已关闭
[Feature]: monitor训练状态监测工具,需要增加debug日志,判断各个使用场景下关键函数是否调用成功 #292
捡到宝。创建于  5月11日关闭于  6月25日
捡到宝。
捡到宝。成员
5月11日 创建

提交提案之前,请先检索仓库内是否已有相同的提案,如已有请在同一提案中进行讨论。

💻 需求背景、当前现状、期望实现的功能内容、具体的设计方案、以及测试方案

任务来源

本任务来源于#291 MindStudio Probe开源共建任务池

任务背景

monitor训练状态监测工具,支持在各种场景下使能轻量化精度数据的采集,但是由于场景复杂和用户使能失误等等因素,可能出现采集数据不符预期的情况。需要增加debug日志,判断各个使用场景下关键函数是否调用成功,以此来帮助用户定位原因

现状

debug日志较少,关键节点未覆盖、

修改目标

debug日志在各个场景下验证使能完成,需要覆盖以下总要函数:

  • optimizer_pre_step_hook:判断是否已经给optimizer挂上hook,如果optimizer对象不正确会挂不上这个hook
  • fsdp megatron deepspeed框架的聚合前梯度的wrap内:判断是否已经进入unreduce hook, 以及hook内计算的聚合前梯度统计值结果是什么
  • 其他框架:param_hook入口处, generate_wgrad_metric函数内get_metric后的结果
  • 结果落盘:step_final_hook入口处,write_grad_tb函数入口处
  • 采集实际配置:set_config函数
  • 模型参数名称对应:_register_chunk函数内打印name2param、origin2squash属性

交付标准

PR完成合入,提供测试验证截图并由对接人确认。

级别

L2级:中等代码任务

对接人

@zderry

替代方案

补充说明

欢迎加入社区,感谢您对社区的贡献 🎉!

likedislike
捡到宝。捡到宝。成员
5月11日 添加了label:feature, help-wanted
捡到宝。
捡到宝。成员
5月11日 评论:

👋 您好,欢迎向 MindStudio Probe 提交 Issue!
我们已收到您的反馈,感谢你对开源社区的支持。🎉

📅处理时效: 维护团队将在24小时内 查看并回复您的问题(工作日)。
🔍自助查询: 在等待期间,建议您先查阅以下资料,可能已有解决方案:

📖 MindStudio Probe官方文档
📝 贡献者指南

请确保 Issue 描述清晰,包含复现步骤和日志,这将帮助我们更快定位问题。谢谢!

likedislike
捡到宝。捡到宝。成员
5月11日 添加了label:triage-review
yinglinwei成员
5月11日 评论:

/label add triaged

likedislike
ascend-robotascend-robot成员
5月11日 添加了label:triaged
6月18日 评论:

认领这个任务

likedislike
捡到宝。
捡到宝。成员
6月22日 评论:

认领这个任务

@qiangge123a

您好, 感谢认领本任务。为了方便任务跟进和奖励发放,请将您的联系方式和对应issue ID,发至邮箱 jiandaobao19@163.com

likedislike
qiange_star
6月22日 评论:

认领这个任务

likedislike
ascend-robotascend-robot成员
6月25日 关闭了 issue
ascend-robotascend-robot成员
6月25日 添加了label:resolved