已合并
【HunyuanLargeMoE】part of checkpoint #2246
zhoubeirong创建于 2025年2月19日
【HunyuanLargeMoE】part of checkpoint #2246
已合并
从refs/pull/2246/head合入到master
Pull Request已成功合入, 合并人@
（感谢 zhoubeirong 的贡献）wx_4e191bb7af
2025年3月1日 评论：
2025年3月1日 评论：
codecheck-pipeline
2025年3月2日 移除了
ci-pipeline-running
标签
2025年3月2日 添加了
ci-pipeline-failed
标签
2025年3月2日 添加了
ci-pipeline-running
标签
2025年3月2日 移除了
ci-pipeline-failed
标签
此处折叠了148条消息 查看更多
2025年3月2日 移除了
ci-pipeline-failed
标签
2025年3月2日 添加了
ci-pipeline-running
标签
2025年3月2日 移除了
ci-pipeline-failed
标签
2025年3月3日 添加了
ci-pipeline-failed
标签
温一盏
2025年3月3日 评论：
2025年3月3日 评论：
/lgtm
【HunyuanLargeMoE】part of checkpoint
权重修改部分包括：
1、适配CLA，单双层的qkv_linear需要区分
2、原始的q_layernorm的weight的解析，与q_lora_rank绑定（与multi_head_latent_attention强绑定），因此将q_lora_rank单独拎出来，让其可以解析q_layernorm的weight