Star74
107
代码
代码
Issues17
Pull Requests65
项目讨论
Wiki
分析
Star74
107
已合并
【master】【bugfix】修复单卡dsv4运行报错 #8493
wei_zhuoyi创建于 7月1日
【master】【bugfix】修复单卡dsv4运行报错 #8493
已合并
wei_zhuoyi创建于 7月1日
从wei_zhuoyi/mindformerssingle_fix合入到mindspore/mindformersmaster
W
wei_zhuoyi成员
7月1日

https://atomgit.com/mindspore/mindformers/issues/2413

修改描述 (Description)

修复dsv4单卡训练报错的问题
移除注释中的Megatron信息

修改类型 (Type of Change)

测试结果 (Test Results)

image.png

检查清单 (Checklist)

likedislike
Pull Request已成功合入, 合并人@MindSpore-Bot
（感谢 wei_zhuoyi 的贡献）
Wwei_zhuoyi成员
7月1日 创建了 pull request，commit e62a37e2
MindSpore-BotMindSpore-Bot成员
7月1日 添加了label：mindspore-cla/yes
MindSpore-Bot
MindSpore-Bot成员
7月1日 评论：

CLA Signature Pass

wei_zhuoyi, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
司小南（机器人）司小南（机器人）成员
7月1日 添加了label：pr-check-pass
atomgit-bot
atomgit-bot
7月1日 评论：

变更摘要

此 PR 对 DSv4HybridSelfAttention 类进行了小幅修复和清理：将 linear_o_group_proj 参数的初始化方式从 config.init_method 改为 mint.empty 并显式指定 dtype；同时精简了多处注释和文档字符串，移除了对 Megatron-LM 的引用及冗余说明。

主要改动

  • linear_o_group_proj 参数初始化方式变更：从 config.init_method((o_groups * o_lora_rank, o_chunk)) 改为 mint.empty((o_groups * o_lora_rank, o_chunk), dtype=config.params_dtype)，直接创建未初始化的张量并显式指定数据类型。
  • _build_rotary_pos_emb 文档字符串精简：重写了该静态方法的 docstring，删除了 "Mirrors Megatron-LM dev deepseek_v4_hybrid_attention" 引用以及关于 original_max_position_embeddings 与 max_position_embeddings 区分的说明，保留核心功能描述。
  • 行内注释清理：删除了 rope_type 选择逻辑注释末尾的 "(aligns Megatron-LM dev deepseek_v4_hybrid_attention)" 引用，并调整了注释的换行格式。
likedislike
不准确？
atomgit-bot
atomgit-bot
7月1日 评论：

代码审查

✅ 未发现问题

likedislike
不准确？
Wwei_zhuoyi成员
7月1日 修改标题为 “[master”，原标题为“!61 merge lilei_dsa1_fix into r1.9.0-beta1”
Wwei_zhuoyi成员
7月1日 修改标题为 “【master】【】”，原标题为“[master”
Wwei_zhuoyi成员
7月1日 修改标题为 “【master】【bugfix】修复单卡dsv4运行报错”，原标题为“【master】【】”
Wwei_zhuoyi成员
7月1日 修改了pull request 的描述
Wwei_zhuoyi成员
7月1日 修改了pull request 的描述
W
wei_zhuoyi成员
7月1日 评论：

/retest

likedislike
MindSpore-BotMindSpore-Bot成员
7月1日 添加了label：ci-pipeline-running
MindSpore-BotMindSpore-Bot成员
7月1日 添加了label：SC-RUNNING
MindSpore-BotMindSpore-Bot成员
7月1日 删除了label：SC-RUNNING
MindSpore-BotMindSpore-Bot成员
7月1日 添加了label：SC-SUCC
MindSpore-Bot
MindSpore-Bot成员
7月1日 评论：
阶段 任务名 状态 详情
编码安全与规范检查 CodeCheck ✅ >>>
流水线 PR-pipeline_Mindformers-codecheck ✅ >>>
likedislike
Wwei_zhuoyi成员
7月1日 修改了pull request 的描述
此处折叠了6条事件消息 查看更多
MindSpore-BotMindSpore-Bot成员
7月1日 添加了label：ci-pipeline-passed
MindSpore-Bot
MindSpore-Bot成员
7月1日 评论：
流水线 PR-pipeline_Mindformers#1693 已完成
阶段 任务名 状态 详情
恶意代码检查 Antipoison_Mindformers ✅ >>>
编码安全与规范检查 CodeCheck_Pylint ✅ >>>
开源片段检查 SCA_Mindformers ✅ >>>
开发者测试 UT_Mindformers ✅ >>>
流水线 PR-pipeline_Mindformers ✅ >>>
likedislike
Wwei_zhuoyi成员
7月1日 修改了pull request 的描述
Wwei_zhuoyi成员
7月1日 修改了pull request 的描述
H
hsshuai成员
7月1日 评论：

/lgtm
/approve

likedislike
MindSpore-BotMindSpore-Bot成员
7月1日 添加了label：approvedlgtm-hss-shuai
MindSpore-Bot
MindSpore-Bot成员
7月1日 评论：

Review Code Feedback

  • The label lgtm-hss-shuai, approved was added to this pull request. It means that hss-shuai reviewed the code changes. 👋
Tips
  • If this pull request is not merged while all conditions are met, comment /check-pr to try again. 😄
likedislike
H
husichao成员
7月2日 评论：

/lgtm

likedislike
MindSpore-BotMindSpore-Bot成员
7月2日 添加了label：lgtm-husichao
MindSpore-Bot
MindSpore-Bot成员
7月2日 评论：

Review Code Feedback

  • The label lgtm-husichao was added to this pull request. It means that husichao reviewed the code changes. 👋
Tips
  • If this pull request is not merged while all conditions are met, comment /check-pr to try again. 😄
likedislike
MindSpore-BotMindSpore-Bot成员
7月2日 合入了pull request，合并节点 SHA：14bc761a09b272657e28a5340efdf91737dfdf82