master

ascend-robotfix: fix low precision optimizer mxfp8 precision loss

fc66eaa8创建于 3 天前历史提交

文件	最后提交记录	最后更新时间
__init__.py	quant fp8 optimizer	6 个月前
finalize_model_grads.py	quant fp8 optimizer	6 个月前
language_model.py	quant fp8 optimizer	6 个月前
param_and_grad_buffer.py	sync	6 个月前
quant_adamw.py	fix: fix low precision optimizer mxfp8 precision loss Co-authored-by: Tngbuko<tangxiong5@huawei.com> # message auto-generated for no-merge-commit merge: !3512 merge feature/low_precision_optimizer into master fix: fix low precision optimizer mxfp8 precision loss Created-by: Tngbuko Commit-by: Tngbuko Merged-by: ascend-robot Description: ## 修复MXFP8低精度优化器精度不收敛问题 问题背景： 开启低精度优化器 --quant-state mxfp8之后精度对不上 优化措施： 1、 精度敏感层保持高精度FP32 2、 引入k-scaling策略降低量化误差 3、 针对一、二阶动量特性使用不同MXFP8类型 4、修复已知的代码bug 修复后精度验证： 修复前，精度不能收敛，训练20 steps都对不齐  A5 机器上训练300 steps, 开启quant-states fp8，对比bf16基线，平均相对误差为0.09%，<0.1%（千分之一）（左图）；开启quant-states mxfp8，平均相对误差0.1%（千分之一）（右图）  端到端显存收益验证：  See merge request: Ascend/MindSpeed!3512	3 天前
quant_distributed_hooks.py	debug	6 个月前
quant_grad_clip.py	debug	6 个月前
quant_optimizer_hooks.py	低精度优化器 增加reademe Co-authored-by: w30064656<wangzhuangzhuang8@h-partners.com> # message auto-generated for no-merge-commit merge: !3067 merge master into master 低精度优化器 增加reademe Created-by: w30064656 Commit-by: w30064656 Merged-by: ascend-robot Description: 增加reademe 修复bug See merge request: Ascend/MindSpeed!3067	5 个月前