Closed
[Requirement|需求建议]: RopeWithSinCosCache等4个算子适配ascend960dt #6509
wychenAdd on  24 days agoClosed at  13 days ago
wychen
wychen
24 days ago Create

Backgroud(背景信息)

  • RopeWithSinCosCache
  • MhcPreBackward
  • IndexerCompressEpilog
  • InplacePartialRotaryMulGrad

Benefit / Necessity (价值/作用)

Design(设计方案)

likedislike
wychen
wychen
24 days ago Comments:

/assign @wychencc_

likedislike
CANN-robotCANN-robotCollaborators
24 days ago Assign wychencc_ as responsible person
周云飞
周云飞Collaborators
24 days ago Comments:

感谢提出适配需求!本次需求涉及 RopeWithSinCosCache、MhcPreBackward、IndexerCompressEpilog 和 InplacePartialRotaryMulGrad 四个算子在 ascend960dt 上的支持。

适配可以从目标平台的算子注册、编译配置和内核执行路径入手,确认现有实现能否复用,再针对平台差异调整。验收不仅需要确认编译和调用成功,还需要检查输出精度以及现有输入类型、形状约束是否得到保持。目前的信息尚不足以判断这四个算子在目标平台上的具体支持缺口。

其中,MhcPreBackward 已有普通接口和 V2 接口;V2 的 opImplMode 用于选择 FP32 或 HF32 计算模式。该参数的存在并不代表目标平台已支持这两种模式,适配范围需要区分接口和计算模式,避免将单一路径可用等同于整个算子已适配。

为明确适配和验收范围,请补充计划使用的 CANN 版本、四个算子的代表性输入形状与数据类型,以及 MhcPreBackward 是否需要覆盖 V2 接口和 HF32 模式。这些信息有助于进一步评估实现复用范围和需要调整的部分。

likedislike
wychenwychen
21 days ago Associated pull request
CANN-robotCANN-robotCollaborators
13 days ago Close issue
CANN-robotCANN-robotCollaborators
12 days ago Added label: resolved
周云飞
周云飞Collaborators
5 days ago Comments:

已合入 PR !14574,为 RopeWithSinCosCache 增加 Ascend960DT 的 op_host 配置:复用 Ascend950 的算子配置,新增对应编译分支和 simplified key 配置。

关联 PR:PR #14574

likedislike