Closed
修复 WeightQuantPreprocess PerGroup scale 的 G/N 取值错误 #4658
zhouhang96Add on 15 hours agoClosed at 14 hours ago
14 hours ago Assign zhouhang96 as responsible person
14 hours ago Close issue
14 hours ago changed custom state from 待办的 to 已完成
11 hours ago Added label: resolved
一、背景信息(必填)
Ascend960 上,A16 PerGroup C064 在 weight 和 scale 均转置时可能读错 scale 的 G、N,导致预处理结果不正确。
二、价值/作用(必填)
修复双转置场景的 scale 处理,保证下游量化矩阵乘读取正确的 scale 布局。
三、设计方案(必填)
沿用现有 PerGroup 处理流程,只修正 G、N 的取值来源。
3.1 使能方式
通过现有 ACLNN WeightQuantPreprocess 接口调用,无需新增开关。
3.2 总体设计
3.2.1 算子支持的数据类型
保持现有数据类型支持范围不变。
3.2.2 host 侧设计
从已校验的 weightScale 逻辑 shape [G,N] 直接读取 G、N,避免从改写后的 weight shape 取值。
3.2.3 kernel 侧设计
沿用现有 kernel,不修改 kernel 实现。
3.3 支持硬件
本次修复针对 Ascend960。
3.4 算子约束限制
沿用现有 PerGroup 的 shape、stride 和 groupSize 约束。