已关闭
[Requirement|需求建议]: WeightQuantBatchMatmulV2 Ascend950 支持 A16S4/A16F4 NZ_C0_16 格式 weight #5113
马琦钧创建于  8月25日关闭于  8月27日
马琦钧
马琦钧成员
8月25日 创建

Describe the current behavior / 问题描述 (Mandatory / 必填)

WeightQuantBatchMatmulV2 在 Ascend950(DAV_3510)上不支持 NZ_C0_16(FORMAT_FRACTAL_NZ_C0_16)格式的 4bit 紧凑 weight(INT4 / FLOAT4_E2M1),A16S4 / A16F4 场景下该格式的 weight 无法通过 Nz 接口(aclnnWeightQuantBatchMatmulNz)输入执行。

Environment / 环境信息 (Mandatory / 必填)

  • 硬件:Ascend950(DAV_3510)
  • 算子:WeightQuantBatchMatmulV2

Steps to reproduce the issue / 重现步骤 (Mandatory / 必填)

在 Ascend950 上通过 aclnnWeightQuantBatchMatmulNz 接口传入 FORMAT_FRACTAL_NZ_C0_16 格式的 INT4 / FP4 weight。

Describe the expected behavior / 预期结果 (Mandatory / 必填)

Ascend950 上 V2/V3 接口保持 ND-only,NZ_C0_16 格式的 4bit 紧凑 weight(INT4 / FLOAT4_E2M1)通过 Nz 接口正常接入并执行。

/

Special notes for this issue/备注 (Optional / 选填)

/

likedislike
马琦钧马琦钧成员
8月25日 关联了pull request:docs: wqbmmv2 补充 Ascend950 NZ_C0_16 文档说明与 A16S4 example
yuning_chenyuning_chen成员
8月25日 将 maqijun 设为负责人
CANN-robotCANN-robot成员
8月27日 关闭了 issue
CANN-robotCANN-robot成员
8月27日 添加了label:resolved