已合并
qbmm int4 非对称量化 #2281
bynshard创建于 3月3日
qbmm int4 非对称量化 #2281
已合并
bynshard创建于 3月3日
bynshard
3月3日

描述

补齐A5上QBMM支持int4输入的K-G 非对称量化,A3上有该功能。
A5 上芯片不支持的 int4,所以方案为:

  1. workspace计算时多分配一个存放int8 x1x2的空间
  2. 新增kernel代码使得int4输入先转化成half再转化成int8
  3. 转化成int8之后复用之前的QBMM代码计算

关联的Issue

https://gitcode.com/cann/ops-nn/issues/1745

测试

进行了回归测试
对该功能在的A5 进行了测试,通过门槛用例

文档更新

aclnnQuantMatmulV5.md

类型标签

likedislike
Pull Request已成功合入, 合并人@CANN-robot
(感谢 bynshard 的贡献)
Bbynshard
3月3日 创建了 pull request,commit a1ad60d9
CANN-robot
CANN-robot成员
3月3日 评论:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here
You can get sig-info at here


PR Approval Progress

Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module lgtm status approve status
*/*/docs/acl*.md chenqi317, liubo75, gitcode-chenjiao (3/2) gitcode-chenjiao (1/1)
*/*/op_api/*.h tang-lei01, chenqi317, liubo75 (3/2) tang-lei01 (1/1)
*/*/op_host/*_def.cpp tang-lei01, liubo75, chenqi317 (3/2) tang-lei01 (1/1)
*/*/op_host/op_api/*.h chenqi317, tang-lei01, liubo75 (3/2) tang-lei01 (1/1)
matmul liubo75, chenqi317 (2/2) chenqi317, liubo75 (2/1)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

bynshard, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
CANN-robotCANN-robot成员
3月3日 添加了label:cann-cla/yes
CANN-robotCANN-robot成员
3月3日 将sxb154714,chaotang233,crystalhu,fanqirui,zhou-qilong,chenqi317,liubo75,tangweiwei2,wangzitao_leo,zhang-wu设为评审人
CANN-robotCANN-robot成员
3月3日 将sxb154714,chaotang233,crystalhu,fanqirui,chenqi317,liubo75,tangweiwei2,wangzitao_leo,zhang-wu设为审查人
此处折叠了474条消息 查看更多
liubo75成员
3月28日 评论:

/lgtm
/approve

likedislike
CANN-robotCANN-robot成员
3月28日 添加了label:lgtm
CANN-robot
CANN-robot成员
3月28日 评论:

Review Guide

This pull-request passes review.
Committers who wrote a comment of /approve are: chenqi317, liubo75, tang-lei01, gitcode-chenjiao.
Reviewers who wrote a comment of /lgtm are: tang-lei01, gitcode-chenjiao, chenqi317, liubo75.

likedislike
CANN-robotCANN-robot成员
3月28日 关闭了关联的issue
CANN-robotCANN-robot成员
3月28日 合入了pull request