Closed
[Bug-Report|缺陷反馈]: SparseApplyProximalAdagrad 会改写测试输入,错误接受部分形状,FP32 零更新出现 NaN #9056
andingfangtAdd on  4 days agoClosed at  3 days ago
andingfangt
andingfangt
4 days ago Create

Describe the current behavior / 问题描述 (Mandatory / 必填)

  • 双语 README 用状态行号读取梯度,合法的稀疏索引也可能引用不存在的梯度行。
  • Golden 输入钩子会重采样合法且互异的索引,将小于 1e-6 的有限正学习率抬高,还会把 var 和 grad 中的 NaN、±Inf 改成零,导致测试跑不到指定输入。
  • 合法的零尾维空状态在 Golden 参考路径中会触发 TensorFlow 的零内维错误,无法获得预期的空输出。
  • Host Tiling 会接受 [1,1] 等单元素非标量形状。规范化后的存储形状还可能掩盖非法逻辑形状,部分非 ND 存储格式也能通过 Tiling。
  • FP32 零梯度、零 L1/L2 时,极小的正累加值可能使应保持的 var 变成 NaN。L1 软阈值产生 NaN 时,fmaxf 还可能将其钳为零。
  • GEIR 示例未比较输出数值,却打印精度通过。

Environment Information / 环境信息 (Mandatory / 必填)

cann/ops-nn,算子目录 optim/sparse_apply_proximal_adagrad。源码对照基线为 8c3b841406b00e3fbe9f5f4ed067e9fe398a4ba9。输入保真走 TTK 的 CPU gen_input 入口,空状态参考使用 TensorFlow CPU。设备验证使用 Ascend 950 的 Kernel dyn/cst/bin 和 GEIR binary dynamic 通路。

Steps to reproduce the issue / 重现步骤 (Mandatory / 必填)

  1. 查看双语 README 中的公式。给定 indices=[2]、一行 grad 和至少三行状态,公式会访问 grad[2]。同版本 Kernel 实际读取 grad[0] 并更新状态的第 2 行(从 0 计)。
  2. 通过 TTK gen_input 自动加载随仓 tests/assets/golden.py,对比钩子的实际入参和返回值。分别用 var 中的 FP32 NaN、grad 中的 BF16 +Inf、合法唯一索引 [5,14](状态至少 15 行)和 FP32 lr=5e-7 检查是否被改写。
  3. 调用同一文件的 Golden 参考计算,令 var、accum 的 shape 为 [4,0],grad 为 [1,0],indices=[2]。取 FP32 数据、INT32 索引、lr=0.1、l1=l2=0、use_locking=True,观察 TensorFlow 的返回。
  4. 用注册的 Host Tiling 回调分别送入 lr 存储形状 [1,1]、var 逻辑形状 [] 但存储形状 [1]、以及存储格式 FRACTAL_NZ 的输入,其余字段使用有效值,检查是否被放行。
  5. 用 FP32 零梯度、零 L1/L2、有限正学习率和有限 var 运行 Kernel,并令被更新位置的 accum 为最小正 FP32 次正规数(位型 0x00000001)。打开 use_locking 后对比三个模式的两个状态缓冲区。另用正无穷学习率的原例 533 检查 L1 软阈值产生的 NaN。
  6. 运行 examples/arch35/test_geir_sparse_apply_proximal_adagrad.cpp 的示例,核对成功日志前是否进行过数值比较。

Describe the expected behavior / 预期结果 (Mandatory / 必填)

  • 双语公式按 j 读取 grad[j],用 i = indices[j] 更新 var[i]、accum[i]。测试输入钩子保留 var、grad 的非有限值、合法唯一索引的顺序和类型,以及有限正学习率。
  • 满足其余输入及属性约束的零尾维空状态不更新,Golden 两个输出分别保持对应输入的 shape 和 dtype。
  • Tiling 的 lr、l1、l2 存储形状仅接受 [] 或 [1],根据已知的逻辑形状校验张量关系,执行时七个输入的存储格式须为 ND,已合法转换到 ND 的输入可通过。
  • 有限 var、有限正学习率和有限正累加值下,FP32 精确零更新保留 var 和 accum。L1 软阈值保留自身产生的 NaN。GEIR 示例只报告实际完成的图运行。
  • CPU 输入保真。旧钩子在两个原用例中分别将 768 个 var NaN、60 个 grad +Inf 清零。固定提交 cf6d02b9 经自动 gen_input 和完整 Golden 插件验证 35 条输入,19 条 var、14 条 grad 非有限值输入和 2 条微小正学习率均保留原数据类型和字节。该批只检查钩子的输入处理。

  • 设备精度。独立使用原始数据执行的 5 条 GEIR binary dynamic 用例全部通过。2 条微小正学习率、3 条含非有限值的用例共得到 10 个输出比较,均符合 TTK 按数据类型和输出生效的 mix_tolerance。设备包来自 7b83fa28,其中相关生产源码和 Golden 计算段与 cf6d02b9 对应内容字节一致。该批使用指定输入,自动输入钩子的验证见上一项。

  • Host 和边界验证。18 项 Host UT 通过。GEIR 定向复验拒绝原逻辑形状和格式反例,ND 正常对照通过。相同的 FP32 零更新输入在三个 Kernel 模式下两个输出均逐字节保持,正无穷学习率原例的 NaN 位置符合参考。合法零尾维用例的 Golden 参考返回双空输出。

  • FP32 零更新回归。CPU 仿真的 Kernel UT 修复前后各通过 2/2。GEIR 设备回归修复前通过 1/2,零更新用例的 var 出现 NaN,accum 逐位保持。修复后通过 2/2,零更新和非零梯度对照的两个状态均逐位符合预期。

Special notes for this issue/备注 (Optional / 选填)

本 PR 新增 Host UT。FP32 零更新已完成定向设备验证。 修复 PR !14273

likedislike
andingfangtandingfangt
4 days ago Added label: bug-report
andingfangtandingfangt
4 days ago Modify description of issue
yuning_chen
yuning_chenCollaborators
4 days ago Comments:

问题成立,而且这单把「测试本身在骗人」的几层都挖出来了,价值很高。分层列一下我的意见:

A. Golden/钩子在改写输入(最严重)

  • gen_input 钩子重采样合法互异索引、把小学习率抬到 1e-6 以上、把 NaN/±Inf 改成 0——这是测试输入保真度问题。一旦钩子改输入,用例就再也测不到它声称要测的形态。建议:①钩子必须保持输入逐位不变(只允许做 dtype/布局换算);②若确需「合法化」,必须在报告中显式标注「输入已被改写」并按 skip 处理,不能静默替换。
  • 建议在 TTK 侧加断言:hash(input_before) == hash(input_after),钩子改了就报错。

B. Golden 参考路径错

  • 用状态行号读梯度(稀疏索引合法但可能引用不存在的行)→ 参考实现本身就该按 segment/indices 语义取值,不能靠行号。
  • 零尾维空状态触发 TensorFlow 零内维错误 → 参考路径要单独处理空张量,不能指望 TF 兜。
  • 这两条修完才能谈「kernel 对不对」。

C. Tiling/校验缺口

  • 接受 [1,1] 等单元素非标量形状、存储形状规范化掩盖非法逻辑形状、部分非 ND 存储格式放行——这些是 host 侧校验漏洞,建议按「逻辑 shape 先校验,再谈存储 shape」的顺序收口,别在规范化之后再校验(那时非法信息已经丢了)。

D. 数值

  • FP32 零梯度 + 零 L1/L2 时 var 变 NaN:这是 sqrt(0) 的导数问题,需要在 v + eps 或 max(v,0) 上做 guard,并保证 eps 参与位置正确。
  • fmaxf 把 L1 软阈值产生的 NaN 钳成 0:fmaxf(NaN, 0) 的返回值是实现相关的,用 fmaxf 做「NaN 兜底」是错的,会静默吞掉本应上报的异常。建议改成显式 isnan() 判定后按语义处理。

E. GEIR 示例未比较输出却打印通过:这条和 A 同类——「测试报告通过但什么都没验」。示例里必须有真实的数值比较,否则不如删掉。

建议这单拆成「golden 修复」+「tiling 校验」+「数值 guard」三个 PR 分别验,一次性改完很难评审。

likedislike
yuning_chenyuning_chenCollaborators
4 days ago Assign andingfangt as responsible person
yuning_chen
yuning_chenCollaborators
4 days ago Comments:

您好,问题已收到,当前 @andingfangt 正在处理中。

likedislike
andingfangtandingfangt
4 days ago Modify description of issue
CANN-robotCANN-robotCollaborators
3 days ago Close issue
CANN-robotCANN-robotCollaborators
3 days ago changed custom state from 待办的 to 已完成
CANN-robotCANN-robotCollaborators
3 days ago Added label: resolved