Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
功能:对bias缩小1/64带入mm计算,搬出时由fixpipe乘以64倍统一在算子内部进行补偿 解决的问题: MxA8W4的weight反量化出于性能考虑,采用移位方案代替VCVT。由于移位过程无法正确处理指数位,导致实际输出的数值比预期值小64倍。此差异被代入matmul计算,输出结果相差64倍。 原方案希望通过小型化工具在x2_scale乘上64进行补偿,用户使用不方便。
无
感谢您的反馈,正在处理中。
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
Backgroud(背景信息)
功能:对bias缩小1/64带入mm计算,搬出时由fixpipe乘以64倍统一在算子内部进行补偿
解决的问题:
MxA8W4的weight反量化出于性能考虑,采用移位方案代替VCVT。由于移位过程无法正确处理指数位,导致实际输出的数值比预期值小64倍。此差异被代入matmul计算,输出结果相差64倍。
原方案希望通过小型化工具在x2_scale乘上64进行补偿,用户使用不方便。
Origin(信息来源)
无
Benefit / Necessity (价值/作用)
Design(设计方案)