Closed
[Requirement|需求建议]: MhcPreBackward算子性能优化 #5265
hyhhh14Add on  Sep 13Closed at  Sep 14
hyhhh14Collaborators
Sep 13 Create

Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.

Backgroud(背景信息)

MhcPreBackward 是 MHC 前向算子的反向计算算子,负责计算 gradX、gradPhi、gradAlpha、gradBias 和 gradGamma。
原有 Ascend 950 实现使用通用 Matmul 高阶接口完成 Cube 计算,C0、V2、C1 各阶段之间的流水重叠不足,并存在重复数据搬运和片上缓存利用率不高的问题,尤其在 FP32 短序列场景下,Cube/MTE 等流水等待较多,算子性能未能充分发挥硬件能力。
本需求针对 Ascend 950 对 MhcPreBackward 进行性能优化,并新增 aclnnMhcPreBackwardV2 接口,用于显式选择 Cube 的 HF32 计算模式。原有 aclnnMhcPreBackward 接口保持兼容,继续使用 FP32 模式。

Benefit / Necessity (价值/作用)

该需求是性能优化需求,主要解决以下问题:

  • 降低通用 Matmul 接口和重复数据搬运带来的开销。
  • 提高 L1、L0A/L0B、L0C 等片上存储的复用率。
  • 增强 C0、V2、C1 阶段及 Cube、Vector、MTE 流水之间的并行度。
  • 改善 FP32 短序列等典型训练场景的执行性能。
  • 在保持原接口兼容和计算精度的基础上,提供 HF32 性能模式。

Design(设计方案)

接口设计

  • 保留原有 aclnnMhcPreBackward 接口,固定使用 FP32 Cube 计算模式,保证现有调用方式和计算行为不变。
  • 新增 aclnnMhcPreBackwardV2 接口,引入 opImplMode 参数。
  • 当前 V2 接口仅支持 opImplMode=1,表示使用 HF32 Cube 计算模式;其他取值在 Host 侧直接返回参数错误。
  • V1、V2 共用输入校验、Contiguous 转换、输出处理和算子执行流程,减少重复实现。

Tiling 优化

  • 在 Tiling 阶段获取 Ascend 950 的 UB、L1、L0A、L0B、L0C 等片上资源信息。
  • 分别为 C0 和 C1 计算并下发独立的低阶 Matmul 配置,包括 baseM/baseN/baseK、L1 K 分块、缓存深度及双缓冲配置。
  • 根据片上存储容量计算各阶段的分块大小和缓存布局,并在 Host 侧完成空间合法性校验。
  • 将计算模式、Cube 缓冲区大小以及 C0/V2/C1 交接粒度统一通过 TilingData 下发。

Cube 计算优化

  • 将 C0、C1 的 Cube 计算封装为独立的低阶计算模块。
  • 使用低阶 Cube 指令显式控制 GM→L1、L1→L0A/L0B、Mmad 和 Fixpipe 流程。
  • 通过 L1、L0A/L0B 和 L0C 双缓冲及事件同步,提高搬运与计算的重叠度。
  • 对 C0 的 B1 数据采用静态全载和片上复用,减少重复的 GM→L1 搬运。
  • FP32 短序列场景下采用分段计算和 L0C 驻留累加,减少中间结果反复写回和读取。

Cube/Vector 流水优化

  • 将反向计算划分为 V0/V1、C0、V2、C1 和 V3 阶段。
  • C0、V2、C1 使用双槽流水:Cube 侧提前发射下一数据块的 C0,同时等待并执行当前数据块的 C1;Vector 侧并行处理当前数据块的 V2。
  • 使用跨核 Flag 精确同步 Cube 与 Vector 数据依赖,在保证数据正确性的前提下提升阶段重叠率。
  • 保持原有 FP32 Vector 计算、归约顺序及可选 gamma、gradXPost 的语义不变。

兼容性与验证

  • 保持原有输入输出类型、Shape、可选输入及输出格式不变。
  • 补充 V1/V2 接口的参数校验、UT、调用样例和接口文档。
  • 覆盖 FP32、HF32、BSND/TND 以及可选 gamma、gradXPost 等组合场景。
  • 通过精度、确定性、压力和性能测试验证优化结果。
likedislike
Hhyhhh14Collaborators
Sep 13 Added label: requirement
Hhyhhh14Collaborators
Sep 13 Associated pull request
Hhyhhh14Collaborators
Sep 13 Deleted associated pull request: feat(mhc_pre_backward): MhcPreBackward算子性能优化
Hhyhhh14Collaborators
Sep 13 Associated pull request
Hhyhhh14Collaborators
Sep 13 Change title to "[Requirement|需求建议]: MhcPreBackward算子性能优化", originally titled "[Requirement|需求建议]: ".
游震Collaborators
Sep 13 Comments:

/assign @hyhhh14

likedislike
CANN-robotCANN-robotCollaborators
Sep 13 Assign hyhhh14 as responsible person
CANN-robotCANN-robotCollaborators
Sep 14 Close issue
CANN-robotCANN-robotCollaborators
Sep 14 Added label: resolved