Ascend960 quant_batch_matmul_v4算子支持MxFp8Fp4/MxFp8Hif4/Fp8Fp4 TCG/S8S4 KCG kernel及aclnn调用
昇腾解决方案
Ascend960功能补齐
tiling、kernel、aclnn适配
Backgroud(背景信息)
Ascend960 quant_batch_matmul_v4算子支持MxFp8Fp4/MxFp8Hif4/Fp8Fp4 TCG/S8S4 KCG kernel及aclnn调用
Origin(信息来源)
昇腾解决方案
Benefit / Necessity (价值/作用)
Ascend960功能补齐
Design(设计方案)
tiling、kernel、aclnn适配