| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
fix: 修复 RaggedBinCount 边界、TF 标量适配和 Golden,精简 ST 用例 Co-authored-by: raoliang_sac<raoliang4@huawei.com> # message auto-generated for no-merge-commit merge: !6648 merge fix/august-scan-followup-20261023 into master fix: 修复 RaggedBinCount 边界、TF 标量适配和 Golden,精简 ST 用例 Created-by: raoliang_sac Commit-by: raoliang_sac Merged-by: cann-robot Description: ## 描述 修复 RaggedBinCount 在 Ascend 950 上的三处问题:私有直方图容量/流量计算在大元数据下溢出导致 Tiling 进程异常;合法标量 values 被 V2 InferShape 和 Tiling 拒绝;TensorFlow 源算子注册名误写为 RaggedBinCount,实际名称应为 RaggedBincount。 TF 标量 size 适配补齐:在保留标准源名 RaggedBincount 的基础上,设置 original_type 并通过图展开插入真实 Reshape,将 FP32 weights 路径的标量 size 转为原生要求的 [1],保持 int32/int64 的值依赖。整数与 FP64 weights 保留小写旧目标,不强制转 FP32。新增 4 条框架 UT,通过 RaggedBinCount 自己的 CMake 接入;未改公共 CMake、Kernel 或原生 size 接口。实际测试确认仅修正名称会在 GE 推导失败,适配后标准 TF GraphDef 可执行至 NPU。 Golden 的单 FP64 累加器会把 [2^100, 1, -2^100] 算成 0。为有限、异号的 Promote 输入使用 Torch 残差部分和,保留框架传入的 dtype 和非有限数语义;不根据用例名称选择计算方法。补充相消、标量图模式及仅编译的大元数据回归。 删除图模式样例中无用的 experiment_ops.h 依赖,把样例的 size 建成 Const 并显式设置输入描述,避免图编译读不到分箱数后错误恢复空 weights 形状;修正 dtype 错误日志。README同步标量范围,按现行要求移除产品差异表,调用说明保留GE图模式示例和算子IR入口。生产代码、Golden、样例和文档变更位于 math/ragged_bin_count;SquareSumAll 仅整理 ST CSV。未修改公共代码、Kernel 或 TTK 框架。 此前 CSV 整理阶段仅整理代码仓 arch35 ST CSV:RaggedBinCount 150→31 条(18 条 Kernel、13 条 GEIR),7 个 CSV 合并为 2 个,两个模式因表头不同分开;SquareSumAll 1200→18 条,两种模式共用一个表头一致的 CSV,保留 ttk_kernel_ 文件名以适配现有流水线发现规则。保留分块边界、标量、空输入、dtype、布局和数值回归代表;单个输入最多 8193 个元素。生成脚本及其他测例仓不改,Ragged 的 5 条仅编译元数据 UT 不在本次 ST 精简范围。 ## 关联的Issue https://gitcode.com/cann/ops-math/issues/3861 ## 测试 2026-10-27最终文档修复后的完整本地CI:**PASS**。受测提交d663e469efc3f3fc5c2db4f20cadcf4bed399217,官方master快照062cd425274de90c33afb82df32ae03049cb4881。 - README调用说明移除TF适配源码及节点/shape转换说明,保留GE图模式的真实示例和算子IR入口。仅删除该行5行HTML;产品、原生参数约束、生产代码、CSV及示例均未改变。用户指定的文档指引文件未修改。 - 两个相对链接、表格渲染、diff及文档检查通过;GE示例和TF插件源码哈希匹配此前实测版本,未重复运行NPU/GPU测试,也不把历史运行记为本次新上板结果。 - 指定本地CI统一入口串行覆盖950/A2:Host UT分别132/132、61/61,Graph UT各1/1;两平台定向package、GE依赖、完整pre-commit、15个现存变更文件隔离OAT、文档链接、Golden语法、示例语法及SKIP契约通过。API实际0条,Kernel UT阶段无实际用例计数,均不计数值覆盖。 - squash前后同原基点完整binary/mode diff及Git tree一致,再rebase到上述官方master;rebase后完整PR diff及19个文件状态一致。最终只有一个提交。线上CI针对该受测SHA单独触发,不与本地PASS混用。 以下保留此前阶段验证记录: 2026-10-26 TF 适配增量后的完整本地 CI:**PASS**。受测提交 f0b96ef53c7f1e8bc64a72bb7dfe0a80e5b01c56,本轮官方 master 快照 73b55be428c754e9b2e2fe32cf5da1cd379d8aef。使用指定 /workspace/CI-skills/ci_local_check.sh,按 PR 全部变更识别 RaggedBinCount、SquareSumAll,950/A2 串行定向构建,最大 8 jobs。 - 950 Host UT 132/132、A2 Host UT 61/61;Graph UT 各 1/1。API 实际均 0 条;Kernel UT 阶段未产生实际用例计数,不计数值覆盖。 - 两平台定向 package、生产库/Host UT 的 GE 依赖检查通过;完整 pre-commit、15 个现存变更文件的隔离 OAT、Markdown 链接、Golden Python 语法、图样例语法及 SKIP 退出契约检查通过。 - 原三个提交先 squash 为一个,同原始基点的完整 binary/mode diff 与 Git tree 不变,再 rebase 本轮官方 master;rebase 后全部 PR 文件内容及完整 PR diff 也未变化。没有为 CI 新增生产代码修改。 - 本轮未追加 NPU/GPU 算子测试。此前 TF/GEIR 回归保留原受测版本和同源码证明;GPU SSH 与小规模 CUDA 运算现已恢复,按本次 TF 形状适配范围不把额外三方作为阻塞。线上 CI 单独触发和记录,不能把本地通过称为线上通过。 以下为本次 CI 前的原验证记录: TF 定向回归时 HEAD:32002c41ad100500bc715663db5789c209f63ded;本轮 fetch 的官方 master:6a71e83e286cca85c0098543e72c6bf0eaed2f9b。此次按用户要求只做必要回归,不重跑完整本地 CI。 - 最终提交重新构建 RaggedBinCount Host UT:90/90 PASS,含新增 TF 图转换 UT 4 条。真实 size 连接、OriginShape、int32/int64、binary、旧 dtype 路由和非法属性均覆盖;Issue6 大形状只检查元数据,不分配大张量。 - 真实 TensorFlow GraphDef 经官方 CANN parser 导入后,5 个小用例在 Ascend 950 执行成功:4 个非空输出与 TensorFlow CPU 参考逐字节一致;size=0 检查空输出 shape/dtype,不能计为有效数值覆盖。涵盖 int32/int64、不同 rank 同元素数 weights、空 weights、binary;values 最多 6 个元素。 - 仓库正式 optf_plugin_math 目标构建通过;最终插件放入任务内 vendor/framework 自动加载,未显式 dlopen、未 LD_PRELOAD,标准 TF 标量 size 经 Reshape 进入大写 RaggedBinCount,输出 [2,4] 全值正确。测试后移除临时部署插件。 - 原版本标量 size 失败已实际复现;负 size 和多元素 size 各 1 条正确拒绝。原生 size=[1] 的 TTK GEIR 6 例、静态/动态 12 路径 PASS,显式 --pc=1,TTK 固定 5bc080fe。首轮内存压力下的超时记录保留,不改写为通过。 - 旧 int32/int64/FP64 weights 各做修改前后对照,均导入小写目标,并在旧 RaggedBincountVerify(math_ops.cc:393)相同 dtype 校验失败。未执行到 Kernel,不计精度 PASS,也不据此宣称旧路径完整验证通过。 - GPU SSH 仍在 banner exchange 超时,本轮 TF 用例仅与真实 TensorFlow CPU 参考比较,尚无 GPU 三方结果;此前 GPU 测试不转记到新输入。其他失败和未覆盖范围原样保留。 - 最终构建/测试全程使用任务内独立 CANN,实际 TF 执行使用已授权的正式 weekly20261021.01 包;构建最大 8 jobs,测试串行。pre-commit、3 文件增量 OAT 与本次增量 diff 检查通过。新增修复独立提交,rebase 后完整 binary/mode diff 与 rebase 前一致;本次没有套用旧提交的完整本地 CI 通过结论。 以下保留 2026-10-25 CSV 整理阶段及此前的验证记录,不代表当前提交已通过完整本地或线上 CI。 2026-10-25 CSV 阶段 HEAD:e1fdc59e35e6ee35f9d77ec5faf69551299e0500。CSV 精简前 HEAD:7005de3cdf0406df39345ec5d8c472a90500a1a2;两者之间仅有 CSV 改动。 - 本次检查:3 个 CSV 共 49 条记录完成结构检查;TTK --validate --pc=1 分模式解析共 67 valid / 0 invalid(SquareSumAll 的 18 条分别按 Kernel/GEIR 解析)。检查列数、用例名唯一性、shape 上限和手工数据依赖,git diff --check 通过。 - 按本次任务要求不重跑完整本地 CI,本次未新增 Math NPU 批次。当前提交推送后触发线上 CI,结果以该提交对应任务为准;不能将解析通过表述为实机精度通过。 - SquareSumAll 的共享 CSV 经两种模式解析确认;默认 ST 脚本按文件前缀发现 Kernel 用例,不声称合并后会自动重复执行 GEIR。 以下为 CSV 精简前的验证记录;不替代本次最终 CSV 的完整实机验收。 - 指定本地 CI 统一入口通过,受测 SHA 与下列提交一致;Ascend 950/A2 定向包、GE ABI、完整 pre-commit、全量 12 文件隔离 OAT、Markdown 链接和图样例语法检查通过。Host UT 分别 86/86、47/47,Graph UT 各 1/1;API 实际 0 条,Kernel UT 阶段未产生实际用例数,不额外计入精度覆盖。 - 首次本地 CI 暴露一条旧 UT 仍要求拒绝合法 scalar values;修正为成功并检查输出形状 [2,5],保留 rank 3 等非法输入拒绝测试。原 85/86 失败日志保留;修改后完整入口重新通过。该次补改只涉及算子自己的 UT。 - GPU 已恢复,使用未修改 TTK 官方 master 5bc080fe42c25b2a11654e514de10ac08771cb02、Promote、cross_check L1、显式 --pc=1:19 条冻结历史输入 17 PASS / 2 FAIL,新增 7 条相消排列/符号回归 7/7 PASS。两条 FAIL 中 GPU 为 Inf,NPU 分别为 1.0 和 1.0000001192092896,等于 FP64 参考的正确 FP32 舍入;框架特殊值分支要求 FP32 与未舍入 FP64 精确相等,仍报 NaN/Inf mismatch。未改比较器、阈值或 FAIL 记录,未重新启用已关闭的 TTK PR483。 - 正式 weekly20261021.01 Toolkit+950-ops 安装上部署当前生产源码对应的 custom_math 包,14/14 GEIR、静态/动态共 28/28 路径通过,包含原先失败的两条 int64 标量和未知 rank。此组无 LD_PRELOAD、无 V1 跳过、无安装库改写;真实进程加载路径全部来自新周包。另两条只记录的诊断四路径通过:V1 调用正常返回,V2 查询选中 custom_math 原生推导;不把查询次数当作调用次数。 - 保留旧 weekly20260923.01 包直接 GEIR 10/12、两条 V1 干扰失败的历史记录;新正式周包集成结果不是 canndev 源码整包构建,也不回写旧版本为通过。 - 受影响生产、Golden 和样例文件与既有实测源码一致:大元数据仅编译测试 5/5 BINARY_MATCH(原主线 4/5 Tiling 异常);release Kernel 新相消 7/7、常规 20/20、精度边界 48/48;确定性 GEIR 3 条各 3 次精度/MD5 通过;仓库入口构建运行图样例、独立核对 FP32 [2,4] 的 8 个值全部正确。超大元数据组不分配超大张量、不执行 Kernel。 - 任务内独立 CANN_Master/CANN_Revise 保留,新周包另装在任务内独立目录;构建最多 8 jobs,测试和两个仓库串行。未将 A2 构建和 Host UT 表述为 A2/A3 实机测试;TF 插件编译通过,TF 端到端未执行。Kernel 确定性选项的框架 number/string 序列化缺口仍保留。 - 通用部署脚本的 SUCCESS 文本/inc 目录误判原日志保留;实际包载荷哈希、逐文件 include 检查和执行分别核验,没有改公共脚本或虚造目录。 CSV精简前本地CI受测提交:7005de3cdf0406df39345ec5d8c472a90500a1a2 主线基点:584b2ea6cbaeba684a51a74296d82d4d50ab3b0f。已按单提交、完整 diff/tree 不变检查、最新主线 rebase 顺序整理,本地 CI 验证对应上述 CSV 精简前的提交,本次新增 CSV 提交未重跑完整本地 CI。 此前 2026-10-25 本地 CI 复验(CSV 精简前): 按指定统一入口串行复验,Ascend 950/A2定向构建及本地CI均通过;Host UT分别86/86、47/47,Graph UT两平台各1/1,API实际均为0条。完整pre-commit、隔离OAT、链接及样例静态检查通过;Kernel UT阶段未产生实际用例计数,不额外计入数值覆盖。该轮仅整理提交并rebase,无新增算子或文档修改,未重复运行NPU三方测试。 CSV精简前的CI受测提交:7005de3cdf0406df39345ec5d8c472a90500a1a2;官方master快照:584b2ea6cbaeba684a51a74296d82d4d50ab3b0f。保留原始提交、完整diff/tree核验记录及未跟踪日志;rebase前后目标算子内容一致。线上CI状态单独记录,不以本地通过代替线上通过。 ## 文档更新 局部更新README参数与约束;调用说明保留GE图模式的真实示例和算子IR入口,移除TF适配源码及内部转换说明,不增加环境安装或构建说明。 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他 ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-math!6648 | 23 天前 |