已开启
[Bug]: add lightweight NPU fast launch queue task #4345
Erwinnn创建于  26 天前
Erwinnn
26 天前 创建

🐛 问题描述

开启 TORCHINDUCTOR_NPU_FAST_LAUNCH=1 后,稳定的 planned Fast Launch 已能够绕过原 Triton Python launcher,但每次 kernel 调用仍存在以下重复 Host 工作:

  1. 稳态仍进入 BoundFastLaunch,重复经过 _call_direct
  2. 每次通过 _canonical_args_build_runtime_launch_args 重新追加已经稳定的 runtime block;
  3. 即使 grid 为常量,也会重复执行 Python grid resolver、合法性校验和 Block Num 计算;
  4. C++ 每次重新清零 packed buffer,并重复写入 FFTS pointer、固定 scalar、runtime block 和静态 grid;
  5. 已经准备好的 launch callable 仍被包装成通用零输入、零输出 OpCommand,进入 COMPILE_AND_EXECUTE 路径。

欢迎加入社区,感谢您对社区的贡献 🎉!

likedislike
EErwinnn
26 天前 关联了看板:FrameworkPTAdapter 版本issue看板
TorchNPU-BotTorchNPU-Bot成员
26 天前 添加了label:triage-review
TorchNPU-Bot
TorchNPU-Bot成员
26 天前 评论:

issue待分派,添加triage-review标签

likedislike
ascend-robotascend-robot成员
26 天前 添加了label:bug
EErwinnn
26 天前 关联了pull request:perf(inductor): add lightweight NPU fast launch queue task
TorchNPU-BotTorchNPU-Bot成员
26 天前 添加了label:bot-triaged;删除了label:triage-review
TorchNPU-Bot
TorchNPU-Bot成员
26 天前 评论:

检测到当前 issue 已关联 PR,自动添加标签:bot-triaged

likedislike
EErwinnn
23 天前 修改了issue 的描述
EErwinnn
23 天前 修改了issue 的描述
EErwinnn
22 天前 关联了pull request:perf(inductor): finalize planned NPU fast launch submission