feat(trainer): support Qwen3-MoE attention activation swap-hyper-parallel-AtomGit

Star137

Star137

已合并

feat(trainer): support Qwen3-MoE attention activation swap #1177

songjiaqi创建于 8月15日从silkage_jiajia/hyper-parallel_trainer： attention_swap 合入到 mindspore/hyper-parallel： trainer_dev

feat(trainer): support Qwen3-MoE attention activation swap #1177

已合并

songjiaqi创建于 8月15日

从silkage_jiajia/hyper-parallel_trainer attention_swap合入到mindspore/hyper-parallel trainer_dev