已合并
新增gemma2-9b mcore全参微调Loss对齐脚本 #1746
AtomGit-Bot创建于 2024年10月5日
新增gemma2-9b mcore全参微调Loss对齐脚本 #1746
已合并
AtomGit-Bot创建于 2024年10月5日
refs/pull/1746/head合入到master
AtomGit-Bot
2024年10月5日

注释掉transformers/models/gemma2/modeling_gemma2.py下1014行附近的logits = logits.float()
具体详见 https://wiki.huawei.com/domains/64729/wiki/101436/WIKI202410094742728
前向对比图
前向对比图
Loss对比图
Loss对比图

likedislike
Pull Request已成功合入, 合并人@
(感谢 AtomGit-Bot 的贡献)
AAtomGit-Bot
2024年10月5日 指派了 王姜奔 参与评审
此处折叠了26条事件消息 查看更多
AAtomGit-Bot
2024年10月14日 合并了Pull Request(通过 API 合并)