Closed
[Requirement|需求建议]: DequantRopeQuantKvcache 支持 Ascend 950 #4523
yulianjieAdd on  Aug 24Closed at  Aug 26
yulianjie
Aug 24 Create

Backgroud(背景信息)

DequantRopeQuantKvcache 用于完成输入反量化、RoPE 位置编码以及量化 KV Cache 更新等融合处理。

现有算子缺少 Ascend 950 平台的 AICore 注册和 binary 配置,无法在 Ascend 950 上完成对应 Kernel 的平台选择。同时,Ascend 950 架构下空 Tensor 可能产生 taskNum == 0 的场景,需要在 Tiling 阶段安全处理,避免启动无有效任务的 Kernel。

本需求为该算子补充 Ascend 950 AscendC 平台支持,并完善空任务场景处理,算子现有接口及计算语义保持不变。

Benefit / Necessity (价值/作用)

  • 使 DequantRopeQuantKvcache 可以在 Ascend 950 平台参与 Transformer 推理流程。
  • 覆盖 FP16、BF16 和部分 INT32 输入组合对应的 Kernel 配置。
  • 保证空 Tensor 或零任务场景能够安全返回,避免无效 Kernel 调度。
  • 复用现有算子接口和实现,降低平台适配对上层网络的影响。

Design(设计方案)

  1. 在 dequant_rope_quant_kvcache_def.cpp 中注册 Ascend 950:
    • 增加 AICore().AddConfig("ascend950")。
  2. 在 op_host/config/ascend950/ 下增加平台配置:
    • 增加 binary JSON,配置四类 Ascend 950 Kernel。
    • 增加 simplified key 配置,默认 key 设置为 0。
  3. 在 Tiling 流程中处理 Ascend 950 空任务:
    • 当 __NPU_ARCH__ == 3510 且 taskNum == 0 时,将 block dim 设置为 0。
    • 保存对应 Tiling 数据及 workspace 信息。
    • 不启动 Kernel,并正常返回 Tiling 成功。
  4. 保持算子原型、输入输出定义和现有平台行为不变。

验收标准

  • Ascend 950 平台能够正确加载该算子的 AICore 配置。
  • 四类目标 Kernel 均具有有效的 binary 配置。
  • simplified key 默认配置正确。
  • taskNum == 0 的空任务场景能够正常完成 Tiling,不发生异常 Kernel 调度。
  • GitCode CI 流水线和 API 检查通过。
  • TTK kernel 直调 L0 用例精度检查 200/200 PASS。
  • TTK 内存越界检查 200/200 PASS。
  • Torch XPU 对比检查 200/200 PASS。
  • 本需求不以性能测试结果作为验收项。

关联 PR

likedislike
Yyulianjie
Aug 24 Added label: requirement
Yyulianjie
Aug 24 Associated pull request
yulianjie
Aug 24 Comments:

/assign

likedislike
CANN-robotCANN-robotCollaborators
Aug 24 Assign lianjieyu as responsible person
CANN-robotCANN-robotCollaborators
Aug 26 Close issue
CANN-robotCANN-robotCollaborators
Aug 26 Added label: resolved