已关闭
[Feature]: npu_weight_quant_preprocess 支持 A16W4(INT4/FP4/MXFP4)紧凑排布数据流 #444
马琦钧创建于 23 天前关闭于 22 天前
23 天前 添加了label:feature
马琦钧
23 天前 评论:
23 天前 评论:
按 op-plugin 仓库约定(README:问题请提交至 Ascend/pytorch Issues),本 issue 已迁移至 https://gitcode.com/Ascend/pytorch/issues/4358 ,此处关闭。


22 天前 关闭了 issue
22 天前 添加了label:resolved
提交提案之前,请先检索仓库内是否已有相同的提案,如已有请在同一提案中进行讨论。
💻 需求背景、当前现状、期望实现的功能内容、具体的设计方案、以及测试方案
需求背景:WeightQuantBatchMatmulV2 在 Ascend950 上新增 A16W4(INT4/FP4/MXFP4)4-bit 紧凑排布(uint8 载体)weight 支持(ops-nn 侧见 cann/ops-nn#8545),需要 PTA 侧
npu_weight_quant_preprocess配套支持对应数据流。当前现状:
npu_weight_quant_preprocess仅支持 MX A8W4 / int8 等存量流程,不支持 A16S4(INT4 per-tensor/per-channel/per-group)与 A16F4(FP4 per-group/MX)的 4-bit 紧凑 weight 预处理。期望实现的功能:
设计方案:
{N}/{1,N})/ per-group({G,N},G>1)npu_weight_quant_batchmatmul支持 uint8 载体 4-bit ND weight 按打包方向还原逻辑 K/N;is_weight_nz_4bit_compact识别 NZ_C0_8/NZ_C0_16测试方案:
替代方案
补充说明
对应 PR:https://gitcode.com/Ascend/op-plugin/pulls/5676
欢迎加入社区,感谢您对社区的贡献 🎉!