已关闭
[Usage]: Qwen3-32B的decode阶段,split_qkv_rmsnorm_rope_kernel_0等Triton自定义算子,未采集到 shape 信息 #39
笑笑创建于  4月2日关闭于  4月10日
笑笑
笑笑
4月2日 创建

在提交新问题之前,请确保您已经在社区中搜索过相关问题,并使用了社区中提供的资源/工具后,仍未找到满意的解决方式。

环境信息

  • 操作系统:OpenEuler aarch64
  • 昇腾硬件信息:A3
  • CANN软件版本:CANN商用版 8.5.0
  • 安装的对应软件版本

使用场景及问题

背景

客户期望使用msprof工具在vllm-ascend推理引擎运行大模型推理时采集Profile信息,通过构建一个单算子执行用例来分析某个算子的性能情况。因此预期msprof采集解析后的 kernel_details.csv 文件中能够显示正确的算子名,以及整网执行到该算子时的入参shape信息,方便构建单算子用例。

现状

vllm拉起Qwen3-32B时,采集Decode阶段的profiling,其中split_qkv_rmsnorm_rope_kernel_0 Profiler采集到的Shape信息为N/A
img_v3_0210b_38067689-0d88-4f47-ad61-c187dd06b75g.jpg

欢迎加入社区,感谢您对社区的贡献 🎉!

likedislike
Mrtutu
Mrtutu成员
4月2日 评论:

👋 您好,欢迎向 MindStudio msprof 提交 Issue!
我们已收到您的反馈,感谢你对开源社区的支持。🎉

📅处理时效: 维护团队将在24小时内 查看并回复您的问题(工作日)。
🔍自助查询: 在等待期间,建议您先查阅以下资料,可能已有解决方案:

📖 MindStudio msprof官方文档
📝 贡献者指南

请确保 Issue 描述清晰,包含复现步骤和日志,这将帮助我们更快定位问题。谢谢!

likedislike
ascend-robotascend-robot成员
4月2日 添加了label:usage
笑笑笑笑
4月2日 修改了issue 的描述
Wangang Yu
Wangang Yu成员
4月2日 评论:

/label add triage-reveiw

likedislike
ascend-robot
ascend-robot成员
4月2日 评论:

Label Command Feedback

@MrYudd, Because of the repository doesn't have the label(s) triage-reveiw, it cannot be added. 🙏

likedislike
Wangang Yu
Wangang Yu成员
4月2日 评论:

/label add triaged

likedislike
ascend-robotascend-robot成员
4月2日 添加了label:triaged
Mrtutu
Mrtutu成员
4月2日 评论:

@Secluded_Ocean 请确认该算子是否是用户自定义算子,如果是需要用户处理shape信息上报逻辑

likedislike
WangJieWangJie成员
4月10日 添加了label:resolved
WangJieWangJie成员
4月10日 issue状态由 TODO 改变为 DONE
WangJieWangJie成员
4月10日 关闭了 issue