DequantRopeQuantKvcache 用于完成输入反量化、RoPE 位置编码以及量化 KV Cache 更新等融合处理。
DequantRopeQuantKvcache
现有算子缺少 Ascend 950 平台的 AICore 注册和 binary 配置,无法在 Ascend 950 上完成对应 Kernel 的平台选择。同时,Ascend 950 架构下空 Tensor 可能产生 taskNum == 0 的场景,需要在 Tiling 阶段安全处理,避免启动无有效任务的 Kernel。
taskNum == 0
本需求为该算子补充 Ascend 950 AscendC 平台支持,并完善空任务场景处理,算子现有接口及计算语义保持不变。
dequant_rope_quant_kvcache_def.cpp
AICore().AddConfig("ascend950")
op_host/config/ascend950/
0
__NPU_ARCH__ == 3510
/assign
Backgroud(背景信息)
DequantRopeQuantKvcache用于完成输入反量化、RoPE 位置编码以及量化 KV Cache 更新等融合处理。现有算子缺少 Ascend 950 平台的 AICore 注册和 binary 配置,无法在 Ascend 950 上完成对应 Kernel 的平台选择。同时,Ascend 950 架构下空 Tensor 可能产生
taskNum == 0的场景,需要在 Tiling 阶段安全处理,避免启动无有效任务的 Kernel。本需求为该算子补充 Ascend 950 AscendC 平台支持,并完善空任务场景处理,算子现有接口及计算语义保持不变。
Benefit / Necessity (价值/作用)
DequantRopeQuantKvcache可以在 Ascend 950 平台参与 Transformer 推理流程。Design(设计方案)
dequant_rope_quant_kvcache_def.cpp中注册 Ascend 950:AICore().AddConfig("ascend950")。op_host/config/ascend950/下增加平台配置:0。__NPU_ARCH__ == 3510且taskNum == 0时,将 block dim 设置为0。验收标准
taskNum == 0的空任务场景能够正常完成 Tiling,不发生异常 Kernel 调度。关联 PR