Closed
[Bug-Report|缺陷反馈]: SparseApplyProximalAdagrad 会改写测试输入,错误接受部分形状,FP32 零更新出现 NaN #9056
andingfangtAdd on 4 days agoClosed at 3 days ago
4 days ago Added label: bug-report
4 days ago Modify description of issue
yuning_chen
4 days ago Comments:
4 days ago Comments:
问题成立,而且这单把「测试本身在骗人」的几层都挖出来了,价值很高。分层列一下我的意见:
A. Golden/钩子在改写输入(最严重)
gen_input钩子重采样合法互异索引、把小学习率抬到1e-6以上、把 NaN/±Inf 改成 0——这是测试输入保真度问题。一旦钩子改输入,用例就再也测不到它声称要测的形态。建议:①钩子必须保持输入逐位不变(只允许做 dtype/布局换算);②若确需「合法化」,必须在报告中显式标注「输入已被改写」并按 skip 处理,不能静默替换。- 建议在 TTK 侧加断言:
hash(input_before) == hash(input_after),钩子改了就报错。
B. Golden 参考路径错
- 用状态行号读梯度(稀疏索引合法但可能引用不存在的行)→ 参考实现本身就该按
segment/indices语义取值,不能靠行号。 - 零尾维空状态触发 TensorFlow 零内维错误 → 参考路径要单独处理空张量,不能指望 TF 兜。
- 这两条修完才能谈「kernel 对不对」。
C. Tiling/校验缺口
- 接受
[1,1]等单元素非标量形状、存储形状规范化掩盖非法逻辑形状、部分非 ND 存储格式放行——这些是 host 侧校验漏洞,建议按「逻辑 shape 先校验,再谈存储 shape」的顺序收口,别在规范化之后再校验(那时非法信息已经丢了)。
D. 数值
- FP32 零梯度 + 零 L1/L2 时
var变 NaN:这是sqrt(0)的导数问题,需要在v + eps或max(v,0)上做 guard,并保证eps参与位置正确。 fmaxf把 L1 软阈值产生的 NaN 钳成 0:fmaxf(NaN, 0)的返回值是实现相关的,用fmaxf做「NaN 兜底」是错的,会静默吞掉本应上报的异常。建议改成显式isnan()判定后按语义处理。
E. GEIR 示例未比较输出却打印通过:这条和 A 同类——「测试报告通过但什么都没验」。示例里必须有真实的数值比较,否则不如删掉。
建议这单拆成「golden 修复」+「tiling 校验」+「数值 guard」三个 PR 分别验,一次性改完很难评审。


4 days ago Assign andingfangt as responsible person
yuning_chen
4 days ago Comments:
4 days ago Comments:
您好,问题已收到,当前 @andingfangt 正在处理中。


4 days ago Modify description of issue
3 days ago Close issue
3 days ago changed custom state from 待办的 to 已完成
3 days ago Added label: resolved
Describe the current behavior / 问题描述 (Mandatory / 必填)
1e-6的有限正学习率抬高,还会把var和grad中的 NaN、±Inf 改成零,导致测试跑不到指定输入。[1,1]等单元素非标量形状。规范化后的存储形状还可能掩盖非法逻辑形状,部分非 ND 存储格式也能通过 Tiling。var变成 NaN。L1 软阈值产生 NaN 时,fmaxf还可能将其钳为零。Environment Information / 环境信息 (Mandatory / 必填)
cann/ops-nn,算子目录optim/sparse_apply_proximal_adagrad。源码对照基线为8c3b841406b00e3fbe9f5f4ed067e9fe398a4ba9。输入保真走 TTK 的 CPUgen_input入口,空状态参考使用 TensorFlow CPU。设备验证使用 Ascend 950 的 Kernel dyn/cst/bin 和 GEIR binary dynamic 通路。Steps to reproduce the issue / 重现步骤 (Mandatory / 必填)
indices=[2]、一行grad和至少三行状态,公式会访问grad[2]。同版本 Kernel 实际读取grad[0]并更新状态的第 2 行(从 0 计)。gen_input自动加载随仓tests/assets/golden.py,对比钩子的实际入参和返回值。分别用var中的 FP32 NaN、grad中的 BF16+Inf、合法唯一索引[5,14](状态至少 15 行)和 FP32lr=5e-7检查是否被改写。var、accum的 shape 为[4,0],grad为[1,0],indices=[2]。取 FP32 数据、INT32 索引、lr=0.1、l1=l2=0、use_locking=True,观察 TensorFlow 的返回。lr存储形状[1,1]、var逻辑形状[]但存储形状[1]、以及存储格式FRACTAL_NZ的输入,其余字段使用有效值,检查是否被放行。var运行 Kernel,并令被更新位置的accum为最小正 FP32 次正规数(位型0x00000001)。打开use_locking后对比三个模式的两个状态缓冲区。另用正无穷学习率的原例533检查 L1 软阈值产生的 NaN。examples/arch35/test_geir_sparse_apply_proximal_adagrad.cpp的示例,核对成功日志前是否进行过数值比较。Describe the expected behavior / 预期结果 (Mandatory / 必填)
j读取grad[j],用i = indices[j]更新var[i]、accum[i]。测试输入钩子保留var、grad的非有限值、合法唯一索引的顺序和类型,以及有限正学习率。lr、l1、l2存储形状仅接受[]或[1],根据已知的逻辑形状校验张量关系,执行时七个输入的存储格式须为 ND,已合法转换到 ND 的输入可通过。var、有限正学习率和有限正累加值下,FP32 精确零更新保留var和accum。L1 软阈值保留自身产生的 NaN。GEIR 示例只报告实际完成的图运行。Related log / screenshot / 日志 / 截图 (Mandatory / 必填)
CPU 输入保真。旧钩子在两个原用例中分别将 768 个
varNaN、60 个grad+Inf清零。固定提交cf6d02b9经自动gen_input和完整 Golden 插件验证 35 条输入,19 条var、14 条grad非有限值输入和 2 条微小正学习率均保留原数据类型和字节。该批只检查钩子的输入处理。设备精度。独立使用原始数据执行的 5 条 GEIR binary dynamic 用例全部通过。2 条微小正学习率、3 条含非有限值的用例共得到 10 个输出比较,均符合 TTK 按数据类型和输出生效的
mix_tolerance。设备包来自7b83fa28,其中相关生产源码和 Golden 计算段与cf6d02b9对应内容字节一致。该批使用指定输入,自动输入钩子的验证见上一项。Host 和边界验证。18 项 Host UT 通过。GEIR 定向复验拒绝原逻辑形状和格式反例,ND 正常对照通过。相同的 FP32 零更新输入在三个 Kernel 模式下两个输出均逐字节保持,正无穷学习率原例的 NaN 位置符合参考。合法零尾维用例的 Golden 参考返回双空输出。
FP32 零更新回归。CPU 仿真的 Kernel UT 修复前后各通过 2/2。GEIR 设备回归修复前通过 1/2,零更新用例的
var出现 NaN,accum逐位保持。修复后通过 2/2,零更新和非零梯度对照的两个状态均逐位符合预期。Special notes for this issue/备注 (Optional / 选填)
本 PR 新增 Host UT。FP32 零更新已完成定向设备验证。 修复 PR !14273