已合并
Add faq torch extension #610
jializheng创建于 2024年8月5日
Add faq torch extension #610
已合并
从refs/pull/610/head合入到master
共 2 个文件变更+26-3
| @@ -186,6 +186,7 @@ MindSpeed版本分支的维护阶段如下： | |||
| 186 | 186 | ||
| 187 | # 常见问题 | 187 | # 常见问题 |
| 188 | 188 | ||
| 189 | -| 现象 | 介绍 | | 189 | +| 现象 | 介绍 | |
| 190 | -|----------------------|----------------------------------| | 190 | +|-----------------------|---------------------------------------| |
| 191 | -| Data helpers 数据预处理出错 | [link](docs/faq/data_helpers.md) | | 191 | +| Data helpers 数据预处理出错 | [link](docs/faq/data_helpers.md) | |
| 192 | +| Torch extensions 编译卡住 | [link](docs/faq/torch_extensions.md) | | ||
| @@ -0,0 +1,22 @@ | |||
| 1 | +# Torch extensions 卡住 | ||
| 2 | +## 问题现象 | ||
| 3 | +在模型运行时，卡在如下场景，且等待十几分钟无反应。 | ||
| 4 | +``` | ||
| 5 | +Using ~/.cache/torch_extensions/py38_cpu as PyTorch extensions root... | ||
| 6 | +Using ~/.cache/torch_extensions/py38_cpu as PyTorch extensions root... | ||
| 7 | +Using ~/.cache/torch_extensions/py38_cpu as PyTorch extensions root... | ||
| 8 | +Using ~/.cache/torch_extensions/py38_cpu as PyTorch extensions root... | ||
| 9 | +Using ~/.cache/torch_extensions/py38_cpu as PyTorch extensions root... | ||
| 10 | +Using ~/.cache/torch_extensions/py38_cpu as PyTorch extensions root... | ||
| 11 | +Using ~/.cache/torch_extensions/py38_cpu as PyTorch extensions root... | ||
| 12 | +Using ~/.cache/torch_extensions/py38_cpu as PyTorch extensions root... | ||
| 13 | +``` | ||
| 14 | + | ||
| 15 | +## 问题根因 | ||
| 16 | +此问题为 Pytorch extension 编译问题，编译开始前其中一个线程会生成 `.lock` 文件对编译文件夹进行锁定，其他线程会进行等待。 | ||
| 17 | +如果因为其他原因导致编译的线程中途被强制结束，`.lock` 文件不会被清除，导致第二次编译开始时，所有的线程看到存在 `.lock` 文件，就都会开始进行等待。 | ||
| 18 | + | ||
| 19 | + | ||
| 20 | +## 解决方案 | ||
| 21 | + | ||
| 22 | +删除 `~/.cache/torch_extensions/py38_cpu` 文件夹，再重新启动程序。 | ||