qbmm mxA8W4 supports k % 8 == 0-ops-nn-AtomGit

已合并

qbmm mxA8W4 supports k % 8 == 0 #5439

yuanshuai000创建于 5月29日从yuanshuai000/ops-nn： qbmm_mxa8w4_k_8_align 合入到 cann/ops-nn： master

qbmm mxA8W4 supports k % 8 == 0 #5439

已合并

yuanshuai000创建于 5月29日

从yuanshuai000/ops-nn qbmm_mxa8w4_k_8_align合入到cann/ops-nn master

yuanshuai000

5月29日

描述

quant_batch_matmul_v4算子mxA8W4支持k方向8对齐

涉及数据类型：x1 float8_e4m3 , x2 float4_e2m1 , x1_scale float8_e8m0 , x2_scale float8_e8m0
涉及format场景：ND、NZ均包含
量化模式：mx量化（T-CG量化不变更）

修改点：

aclnn通路中放宽k方向约束，并且将T-CG量化和MX量化分开校验，MX场景k方向8对齐，T-CG场景仍32对齐
tiling逻辑不变更，仅修改校验及k方向对齐
kernel逻辑不变更，当k维度非32对齐时在正确位置补0至32对齐。
3.1 L1中已有补0逻辑，需要正确处理补0时的偏移到32对齐
3.2 AIV中weight反量化处理中，需要将regbase中和k相关的偏移都32对齐
修改错误的tiling data注册。

关联的Issue

https://gitcode.com/cann/ops-nn/issues/2760

测试

本地验证用例通过，用例覆盖k方向8对齐随机泛化，测试情况如下

用例类型	通过数/用例数
门槛用例	90/90
白盒用例	58/58
泛化用例	200/200
兼容性用例	73/73

CI冒烟通过

文档更新

更新了aclnn文档：

matmul/quant_batch_matmul_v3/docs/aclnnQuantMatmulWeightNz.md
matmul/quant_batch_matmul_v4/docs/aclnnQuantMatmulV5.md

类型标签

Bug修复
新特性
性能优化
文档更新
其他，请描述：

Pull Request已成功合入, 合并人@CANN-robot

（感谢 yuanshuai000 的贡献）

Y yuanshuai000

5月29日创建了 pull request，commit 625d9372

CANN-robot成员

5月29日添加了label：cann-cla/yes

CANN-robot成员

5月29日评论：

Thanks for your pull-request.
The full list of commands accepted by me can be found at here。
You can get sig-info at here

PR Approval Progress

✅ Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module	lgtm status	approve status
//docs/acl*.md	✅ 陈娇, 范其瑞, 蔡雯雯 (3/2)	✅ 陈娇 (1/1)
matmul	✅ 范其瑞, 商晓波, 林鹏翔 (3/2)	✅ 范其瑞, 商晓波 (2/1)

💡 Tip:

Committer can comment /approve or /lgtm

Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

yuanshuai000, thanks for your pull request. All authors of the commits have signed the CLA. 👍

yuanshuai000

5月29日评论：

compile

Y yuanshuai000

5月29日 update merge request[project id: 7665709, iid: 5439, commit_id: 0a0378d5a29dafd398345c6ac8484d2e17d3030d] virtual merging success

此处折叠了184条消息查看更多

CANN-robot成员

6月3日添加了label：lgtm

sxb154714成员

6月3日评论：

/lgtm
/approve

chenjiao成员

6月3日评论：

/approve

CANN-robot成员

6月3日添加了label：approved

CANN-robot成员

6月3日合入了pull request