[pytorch][bugfix] align minicpm loss-MindSpeed-LLM-AtomGit

已合并

[pytorch][bugfix] align minicpm loss #3297

wx_4e191bb7af创建于 2025年9月11日从refs/pull/3297/head 合入到 master

[pytorch][bugfix] align minicpm loss #3297

已合并

wx_4e191bb7af创建于 2025年9月11日

从refs/pull/3297/head合入到master

2025年9月11日

（感谢 wx_4e191bb7af 的贡献）

2025年9月11日指派了王姜奔参与评审

2025年9月11日指派了 fengliangjun 参与评审

2025年9月11日添加了   ascend-cla/yes 标签

jzh6229成员2025年9月11日进行代码检视1

mindspeed_llm/core/transformer/transformer_layer.py

167+

168+ # inside the module provided in the `bias_dropout_add_spec` module?

169+ with self.bias_dropout_add_exec_handler():

170+ hidden_states = self.cross_attn_bda(self.training, self.config.bias_dropout_fusion)(

jzh62292025年9月11日评论：

该代码无调用，无引用，用途是什么？

jzh6229成员2025年9月11日进行代码检视1

mindspeed_llm/core/transformer/transformer_layer.py

176+

177+ # Optional Layer norm post the cross-attention.

178+ if self.recompute_pre_mlp_layernorm:

179+ self.pre_mlp_norm_checkpoint = tensor_parallel.CheckpointWithoutOutput()

jzh62292025年9月11日评论：

该代码与transformer_layer的forward重复度较高，重新编写的目的是什么？

此处折叠了103条消息查看更多

2025年9月15日评论：

/lgtm

2025年9月15日添加了   lgtm 标签

2025年9月15日评论：

/approve

2025年9月15日添加了   approved 标签

2025年9月15日合并了Pull Request（通过 API 合并）