已关闭
[Usage]: msprobe支持triton直调算子,真实数据模式采集,训练落盘pt文件时因triton的名称包含特殊字符<>导致落盘异常 #125
zhawanxia2026创建于  3月16日关闭于  3月20日
zhawanxia2026成员
3月16日 创建

在提交新问题之前,请确保您已经在社区中搜索过相关问题,并使用了社区中提供的资源/工具后,仍未找到满意的解决方式。

环境信息

例如:
- 操作系统
- 昇腾硬件信息
- CANN软件版本
- 安装的对应软件版本

A2
cann-9.0.0
msprobe:26.0.0a2

使用场景及问题

mindspeed_llm框架大模型调用栈中插入triton算子,拉起真实数据模型训练执行过程中落盘pt文件报错如下:

Triton.SFTTrainer.forward_step..fn_dot
2026-03-16 09:51:53 (2301434) [WARNING] [msprobe] Triton forward_output_data_collect failed: [msprobe] 非法文件路径: The file path /root/zhawanxia/triton/dump_path/step0/rank0/dump_tensor_data/Triton.SFTTrainer.forward_step..fn_dot.0.forward.output.0.0.pt contains special characters.

欢迎加入社区,感谢您对社区的贡献 🎉!

likedislike
Zzhawanxia2026成员
3月16日 添加了label:usage
捡到宝。
捡到宝。成员
3月16日 评论:

👋 您好,欢迎向 MindStudio Probe 提交 Issue!
我们已收到您的反馈,感谢你对开源社区的支持。🎉

📅处理时效: 维护团队将在24小时内 查看并回复您的问题(工作日)。
🔍自助查询: 在等待期间,建议您先查阅以下资料,可能已有解决方案:

📖 MindStudio-Probe官方文档
📝 贡献者指南

请确保 Issue 描述清晰,包含复现步骤和日志,这将帮助我们更快定位问题。谢谢!

likedislike
捡到宝。捡到宝。成员
3月16日 添加了label:triaged
Zzhawanxia2026成员
3月16日 修改了issue 的描述
Zzhawanxia2026成员
3月16日 issue优先级由 不重要 改变为 次要
Zzhawanxia2026成员
3月16日 添加了label:bug
yangchen
yangchen成员
3月16日 评论:

/label add triaged

likedislike
yangchenyangchen成员
3月16日 关联了pull request:[bugfix]triton dump只取fn name
yangchenyangchen成员
3月16日 删除了关联的pull request:[bugfix]triton dump只取fn name
yangchenyangchen成员
3月16日 关联了pull request:[bugfix]triton dump只取fn name
yangchen
yangchen成员
3月16日 评论:

【根因】取名字包含了整个调用栈的qualname,需要改为name即可

likedislike
yangchen
yangchen成员
3月16日 评论:

/label add resolved

likedislike
ascend-robotascend-robot成员
3月16日 添加了label:resolved
zhawanxia2026成员
3月20日 评论:

根据最新的msprobe编译安装后,再次采集真实数据场景的triton算子相关训练,api中不再带<>了,落盘pt成功,符合预期。
回归通过

likedislike
Zzhawanxia2026成员
3月20日 issue状态由 TODO 改变为 DONE
Zzhawanxia2026成员
3月20日 关闭了 issue