Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
MhcPreBackward 是 MHC 前向算子的反向计算算子,负责计算 gradX、gradPhi、gradAlpha、gradBias 和 gradGamma。 原有 Ascend 950 实现使用通用 Matmul 高阶接口完成 Cube 计算,C0、V2、C1 各阶段之间的流水重叠不足,并存在重复数据搬运和片上缓存利用率不高的问题,尤其在 FP32 短序列场景下,Cube/MTE 等流水等待较多,算子性能未能充分发挥硬件能力。 本需求针对 Ascend 950 对 MhcPreBackward 进行性能优化,并新增 aclnnMhcPreBackwardV2 接口,用于显式选择 Cube 的 HF32 计算模式。原有 aclnnMhcPreBackward 接口保持兼容,继续使用 FP32 模式。
该需求是性能优化需求,主要解决以下问题:
接口设计
Tiling 优化
Cube 计算优化
Cube/Vector 流水优化
兼容性与验证
/assign @hyhhh14
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
Backgroud(背景信息)
MhcPreBackward 是 MHC 前向算子的反向计算算子,负责计算 gradX、gradPhi、gradAlpha、gradBias 和 gradGamma。
原有 Ascend 950 实现使用通用 Matmul 高阶接口完成 Cube 计算,C0、V2、C1 各阶段之间的流水重叠不足,并存在重复数据搬运和片上缓存利用率不高的问题,尤其在 FP32 短序列场景下,Cube/MTE 等流水等待较多,算子性能未能充分发挥硬件能力。
本需求针对 Ascend 950 对 MhcPreBackward 进行性能优化,并新增 aclnnMhcPreBackwardV2 接口,用于显式选择 Cube 的 HF32 计算模式。原有 aclnnMhcPreBackward 接口保持兼容,继续使用 FP32 模式。
Benefit / Necessity (价值/作用)
该需求是性能优化需求,主要解决以下问题:
Design(设计方案)
接口设计
Tiling 优化
Cube 计算优化
Cube/Vector 流水优化
兼容性与验证