已关闭
[Requirement|需求建议]: MxA8W4实际输出的数值比预期值小64倍 #473
xubinglin创建于  1月23日关闭于  1月26日
xubinglin成员
1月23日 创建

Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.

Backgroud(背景信息)

功能:对bias缩小1/64带入mm计算,搬出时由fixpipe乘以64倍统一在算子内部进行补偿
解决的问题:
MxA8W4的weight反量化出于性能考虑,采用移位方案代替VCVT。由于移位过程无法正确处理指数位,导致实际输出的数值比预期值小64倍。此差异被代入matmul计算,输出结果相差64倍。
原方案希望通过小型化工具在x2_scale乘上64进行补偿,用户使用不方便。

Origin(信息来源)

Benefit / Necessity (价值/作用)

Design(设计方案)

likedislike
Xxubinglin成员
1月23日 关联了pull request:feat: adopt an internal compensation scheme
jiangjiawei成员
1月23日 评论:

感谢您的反馈,正在处理中。

likedislike
CANN-robotCANN-robot成员
1月26日 关闭了 issue
CANN-robotCANN-robot成员
3月20日 添加了label:resolved