已合并
update qwen2moe update for faster #2334
jzh6229创建于 2025年3月4日
update qwen2moe update for faster #2334
已合并
从refs/pull/2334/head合入到master
Pull Request已成功合入, 合并人@
（感谢 jzh6229 的贡献）2025年3月4日 添加了
ascend-cla/yes
标签
2025年3月4日 添加了
ci-pipeline-running
标签
2025年3月4日 添加了
ci-pipeline-failed
标签
2025年3月4日 移除了
ci-pipeline-running
标签
此处折叠了58条消息 查看更多
2025年3月5日 添加了
ci-pipeline-running
标签
2025年3月5日 移除了
ci-pipeline-running
标签
2025年3月5日 移除了
ci-pipeline-running
标签
优化qwen2moe性能。
通过优化获得poc性能脚本，以gbs768，在4机A3环境跑出3940tps；按32卡算。gpu-pai-megatron换算为3110tps；
通过优化获得稳定运行脚本，以gbs768，在4机A3抛出3034tps；按32卡算。gpu-pai-megatron换算为2400tps；
为对应特性更新st脚本，进行看护，因为gemm-gradient-accumulation-fusion必须依赖cann rc4b080暂未加入看护