已开启
[Feature]: hyper-parallel 注册 npu_mhc_pre_cmhc 融合算子并接入框架 #317
xbgordon创建于 8月6日
8月6日 添加了label:feature
8月6日 关闭了 issue
MindSpore-Bot
8月6日 评论:
8月6日 评论:
8月6日 重新打开了 issue
Mmindspore-ci-bot
9 天前 关联了pull request:[mirror] mindspore-ai/hyper-parallel#92: feat(core/shard): add parallel_mhc_pre_cmhc op
9 天前 关联了pull request:[mirror] mindspore-ai/hyper-parallel#92: feat(core/shard): add parallel_mhc_pre_cmhc op
Mmindspore-ci-bot
9 天前 关联了pull request:[mirror] mindspore-ai/hyper-parallel#56: feat(custom-ops): add mhc_pre_cmhc / situ_glu operators
9 天前 关联了pull request:[mirror] mindspore-ai/hyper-parallel#56: feat(custom-ops): add mhc_pre_cmhc / situ_glu operators


🚀 功能描述
需求背景
非融合
HyperConnectionModule已支持 CMHC 路径(enable_cmhc=True,置换-softmax 混合投影),但融合路径FusedHyperConnectionModule只实现了 Sinkhorn,不支持 CMHC。当use_fused_mhc=True + enable_cmhc=True时会回退到非融合路径,无法享受融合算子的性能收益。需求目标
新增 CMHC 前处理融合算子
npu_mhc_pre_cmhc并接入 hyper-parallel,使use_fused_mhc=True + enable_cmhc=True组合能走融合 CMHC 路径,打通ops-transformer算子层 →hyper-parallelDFunction →mindformers调用链。改动范围
mhc_pre_cmhc.cc(前向)+mhc_pre_cmhc_backward.cc(反向),通过AclnnOpRunner启动 aclnnNpuMhcPreCmhcDFunction(custom_op_impl.py),实现 forward/backward,算子自带 bpropnpu_mhc_pre_cmhc(experimental_ops.py+experimental/__init__.py)parallel_mhc_pre_cmhc(core/shard/ops/)+ yaml 注册__init__.py同步导出关键约束
n(残差流数量)当前仅支持 4gamma保持为 required tensor(nullptr会让 aclnn 运行时崩溃)ops-transformer/mhc/mhc_pre_cmhc/现有替代方案
Thanks for contributing 🎉!
与DFX相关性DF
Thanks for contributing 🎉!
提议的新API
Thanks for contributing 🎉!
是否影响现有API
Thanks for contributing 🎉!
补充信息
Thanks for contributing 🎉!
Thanks for contributing 🎉!