Closed
修复 WeightQuantPreprocess PerGroup scale 的 G/N 取值错误 #4658
zhouhang96Add on  16 hours agoClosed at  15 hours ago
zhouhang96Collaborators
16 hours ago Create

一、背景信息(必填)

Ascend960 上,A16 PerGroup C064 在 weight 和 scale 均转置时可能读错 scale 的 G、N,导致预处理结果不正确。

二、价值/作用(必填)

修复双转置场景的 scale 处理,保证下游量化矩阵乘读取正确的 scale 布局。

三、设计方案(必填)

沿用现有 PerGroup 处理流程,只修正 G、N 的取值来源。

3.1 使能方式

通过现有 ACLNN WeightQuantPreprocess 接口调用,无需新增开关。

3.2 总体设计
3.2.1 算子支持的数据类型

保持现有数据类型支持范围不变。

3.2.2 host 侧设计

从已校验的 weightScale 逻辑 shape [G,N] 直接读取 G、N,避免从改写后的 weight shape 取值。

3.2.3 kernel 侧设计

沿用现有 kernel,不修改 kernel 实现。

3.3 支持硬件

本次修复针对 Ascend960。

3.4 算子约束限制

沿用现有 PerGroup 的 shape、stride 和 groupSize 约束。

likedislike
Zzhouhang96Collaborators
15 hours ago Assign zhouhang96 as responsible person
CANN-robotCANN-robotCollaborators
15 hours ago Close issue
CANN-robotCANN-robotCollaborators
15 hours ago changed custom state from 待办的 to 已完成
CANN-robotCANN-robotCollaborators
12 hours ago Added label: resolved