已关闭
[Requirement|需求建议]: WeightQuantBatchMatmulV2 Ascend950 支持 A16S4/A16F4 NZ_C0_16 格式 weight #5113
马琦钧创建于 8月25日关闭于 8月27日
8月25日 关联了pull request:docs: wqbmmv2 补充 Ascend950 NZ_C0_16 文档说明与 A16S4 example
8月25日 将 maqijun 设为负责人
8月27日 关闭了 issue
8月27日 添加了label:resolved
Describe the current behavior / 问题描述 (Mandatory / 必填)
WeightQuantBatchMatmulV2 在 Ascend950(DAV_3510)上不支持 NZ_C0_16(FORMAT_FRACTAL_NZ_C0_16)格式的 4bit 紧凑 weight(INT4 / FLOAT4_E2M1),A16S4 / A16F4 场景下该格式的 weight 无法通过 Nz 接口(aclnnWeightQuantBatchMatmulNz)输入执行。
Environment / 环境信息 (Mandatory / 必填)
Steps to reproduce the issue / 重现步骤 (Mandatory / 必填)
在 Ascend950 上通过 aclnnWeightQuantBatchMatmulNz 接口传入 FORMAT_FRACTAL_NZ_C0_16 格式的 INT4 / FP4 weight。
Describe the expected behavior / 预期结果 (Mandatory / 必填)
Ascend950 上 V2/V3 接口保持 ND-only,NZ_C0_16 格式的 4bit 紧凑 weight(INT4 / FLOAT4_E2M1)通过 Nz 接口正常接入并执行。
Related log / screenshot / 日志 / 截图 (Mandatory / 必填)
/
Special notes for this issue/备注 (Optional / 选填)
/