已关闭
【26.2.0众测】inductor 在 CI=true 下触发 make_fallback 断言、低内存编译需单线程等环境注意事项建议补充文档 #4998
程康博创建于 9月21日关闭于 21 天前
9月21日 添加了label:help-wantedbot-triaged
TorchNPU-Bot
9月21日 评论:
9月21日 评论:
检测到社区任务相关 issue,自动添加标签:help-wanted


程康博
9月24日 评论:
9月24日 评论:
众测交付 PR(生态仓 Ascend/pytorch-ecosystem,因 Issue 与 PR 分属两个仓库,以完整链接关联):
https://gitcode.com/Ascend/pytorch-ecosystem/merge_requests/39
该 Issue 对应的环境复现步骤(CI=true 断言、TORCHINDUCTOR_COMPILE_THREADS=1、三后端安装渠道)及 7 个后端改写脚本均在该 PR 的任务2目录中。


21 天前 关闭了 issue
21 天前 issue状态由 TODO 改变为 DONE
21 天前 添加了label:resolved
环境
使用 inductor 系列后端(Triton / MLIR / DVM)跑 distilbert-base-uncased 时遇到三个环境类问题,官方安装/快速开始文档均未提示,建议补充:
1. 环境变量 CI=true 会触发 inductor make_fallback 断言
许多开发/CI 镜像默认带
CI=true,会让 inductor 的 make_fallback 走 CI 严格断言(本机在aten.frexp处直接中断)。必须先env -u CI再运行torch.compile才能正常编译,建议文档显式提示。2. 低内存环境编译大模型必须单线程,否则 OOM Kill
内存 2GB(含 swap)环境用 inductor 编译 distilbert 这类模型,默认并行编译会被 OOM Kill(退出码 137);设置
TORCHINDUCTOR_COMPILE_THREADS=1后正常,实测单模型首次编译约 5 分钟(MLIR 后端 HFusion 全图编译约 27 分钟)。建议文档给出最低资源建议与该环境变量说明。3. 三个后端获取/安装渠道分散,新手难以一次跑通
options={"npu_backend":"mlir"};TORCHINDUCTOR_NPU_BACKEND=dvm;bash configure && cmake && make install_torchair。建议统一提供一张“后端 — 包名 — 获取来源 — 必需环境变量 — 调用示例”对照表。
实验环境(众测任务实测)