| fix(lars_v2_update): 修复样例输入缓冲误释放导致的 double free/堆破坏 Co-authored-by: zhaixiao<zhaixiao1@huawei.com> # message auto-generated for no-merge-commit merge: !13698 merge fix/lars-v2-update-example-doublefree into master fix(lars_v2_update): 修复样例输入缓冲误释放导致的 double free/堆破坏 Created-by: Onthetreeoh Commit-by: zhaixiao Merged-by: cann-robot Description: ## 修改内容 修复 !12625 引入的样例内存释放缺陷(atomgit-bot 评审两条 Medium 意见,已实测证实)。 ### 根因 ge::Tensor(const TensorDesc&, const uint8_t*, size_t) 为**拷贝语义**(GetData() 返回 Tensor 内部缓冲,与传入指针不同;带 DeleteFunc 的 SetData 重载才是零拷贝转移)。!12625 中注释 "Tensor does not take ownership" 不成立: - delete[] inTensor.GetData() 释放的是 Tensor 自管内存,GEFinalize/input 向量析构时**二次释放** → 堆破坏(glibc: corrupted size vs. prev_size)→ example 间歇性 Abort core dumped(实测复现 4/5 崩,崩溃点均在 "Start to finalize ir graph session" 之后) - GenOnesDataFloat32 的原始 pData 仍泄漏——原泄漏并未修复 ### 修复(examples ×2 文件) 1. GenOnesDataFloat32 构造 Tensor 后立即 delete[] pData(拷贝语义下原始缓冲即刻可释放) 2. 移除 RunGraph 成功/失败两处 delete[] reinterpret_cast<float*>(inTensor.GetData()) 循环 ## 测试 - bash build.sh --run_example lars_v2_update graph --example_name=lars_v2_update --soc=ascend950:两样例 PASS - 二进制直跑 **8/8 全过**(修复前 4/5 Abort/Segfault) - 语义实测:Tensor(desc, data, n) 构造后 GetData() != pData;同模式最小程序 100% 复现 double free or corruption abort ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/7346 See merge request: cann/ops-nn!13698 | 13 days ago |
| fix(lars_v2_update): 静态扫描整改收尾——README约束/支持表补注实现来源、proto标量描述修正与样例资源泄漏修复 Co-authored-by: zhaixiao<zhaixiao1@huawei.com> # message auto-generated for no-merge-commit merge: !12625 merge fix/lars-v2-update-rectification into master fix(lars_v2_update): 静态扫描整改收尾——README约束/支持表补注实现来源、proto标量描述修正与样例资源泄漏修复 Created-by: Onthetreeoh Commit-by: zhaixiao Merged-by: cann-robot Description: ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/7346 ## 修改内容 LarsV2Update 算子静态扫描整改收尾(承接 static-streview 64 项发现中代码侧遗留项 + 两项资料裁定落地)。 ### README - README: 产品支持表按算子整体口径恢复(950PR/950DT 为本仓 AscendC 交付,其余产品线由 CANN 基座包 canndev 内置 TBE 存量实现支持,与仓内 spence 等先例一致) - 约束说明对齐实现:InferShape 直接复制 w 的 shape 不做广播;空 Tensor 语义精确化(totalTiles==0 整体短路、每 tile count<=0 跳过) - 落地两项裁定:① hyperpara/epsilon 传 inf/nan 不校验不拦截,按 IEEE 754 语义透传(与输入 NaN 传播策略一致);② 总元素数无独立软件上限(仅受 HBM 容量约束,w/g/g_new 三份 fp32 缓冲 12×numel 字节;GM 偏移全链 int64) - use_clip=True 时 learning_rate 非零约束补充;调用说明样例路径修正(examples/arch35/) ### op_graph/lars_v2_update_proto.h - 4 个标量输入(w_square_sum/g_square_sum/weight_decay/learning_rate)描述由 Scalar (0-d) 修正为 Size-1 tensor (any rank)——对齐 tiling 实际接受面(元素数为 1 的任意 rank 张量) ### examples(×2) - 修复资源泄漏:RunGraph 成功/失败两条路径均释放 GenOnesDataFloat32 分配的输入 buffer(Tensor 不持有所有权),补 delete session ### tests - Branch-8 tiling UT 移除过时的 TDD red 基线注释(ComputeBranch8Tiling 已实现,用例全过) See merge request: cann/ops-nn!12625 | 26 days ago |
| fix(lars_v2_update): 修复空 tensor 场景 PadAndSqueeze 吞 0 维导致越界写 Co-authored-by: liuwenda4<liuwenda4@huawei.com> # message auto-generated for no-merge-commit merge: !13242 merge fix-lars-v2-update-empty-tensor-oob into master fix(lars_v2_update): 修复空 tensor 场景 PadAndSqueeze 吞 0 维导致越界写 Created-by: Davon14272 Commit-by: liuwenda4 Merged-by: cann-robot Description: ## 描述 修复 LarsV2Update 在空 tensor(w/g 含 0 维)场景下向 0 元素输出缓冲区**越界写**的问题。 **根因**:PadAndSqueeze(optim/lars_v2_update/op_host/lars_v2_update_tiling.cpp)对每一维取 max(所有 input/output),而 4 个标量输入被 1-prepend 补位为 1,导致 0 与 1 一起取 max 后被吞掉: | w=g shape | maximum_bro_shape | 真实元素数 | kernel 实际写出 | |---|---|---|---| | (0,) | [1] | 0 | 1 | | (0,3) | [1,3] | 0 | 3 | | (2,0,3) | [2,1,3] | 0 | 6 | | (0,2,2,2,2,2,2,2) | [1,2,2,2,2,2,2,2] | 0 | 128 | tiling 据此按非空规模切分,total_tiles >= 1,kernel 中为支持空 tensor 而写的两道守卫(Process 的 totalTiles==0 短路、ProcessTile 的 count<=0 跳过)均无法触发,最终向 0 元素的 g_new 执行 DataCopyPad,越界写 prod(maximum_bro_shape) * 4 字节。 越界量随其余维度放大,例如 (batch=0, seq=2048, hidden=4096) 会越界写 **32MB**。该缺陷不会立即崩溃,而是静默踩坏相邻 GM 分配,症状出现在下游算子且不确定,排查成本极高。 **修复**:PadAndSqueeze 增加空维传播——任一参与广播的 input/output 在该维为 0,则 maximum_bro_shape[d] = 0。0 是广播的湮灭元,不是可广播的 1。修复后 count = 0,kernel 既有守卫生效,不写任何数据。 改动对非空 shape 是**可证明的 no-op**(has_zero 为假时仍取原 max_dim)。 ## 关联的Issue 无(补充用例上机测试时发现;越界信号在既有测试报告中已存在,但被同行的精度 PASS 遮蔽) ## 测试 **UT**(optim/lars_v2_update/tests/ut/test_lars_v2_update_tiling.cpp) - 同步修正独立 oracle OraPadAndSqueeze:原 oracle 与实现犯同一错误,导致既有 empty_0_3 用例把错误行为固化为"通过" - PadAndSqueezeTest 新增 12 个空维参数 - 新增 EmptyTensorNoWriteTest(10 例):串联 PadAndSqueeze -> FindSplitAxis -> MultiCoreSplit 并复刻 kernel 两道守卫,断言写出元素数为 0 - 全量 **101 tests PASSED** - **红/绿验证**:仅回退实现(保留 oracle 与 UT)后 **22 tests FAILED**,恢复后 101 PASSED,确认新增用例非空转 **设备实测**(Ascend950PR_9599,TTK kernel 模式,越界检查开启) - 6 例空 tensor (0,) / (0,3) / (2,0,3) / (0,0) / (1,0,1,0,1) / (0,2,2,2,2,2,2,2):dyn_oob_result 由 FAIL,OK **全部转为 OK,OK** - 回归冒烟 7 例全 PASS:rank1-axis0 6700 万元素(72 核)、rank8-axis7(tiling_key=1)、2^31-1 单轴 8GB、hyperpara=inf、负平方和、rank0、16M rank2 ## 文档更新 无需改动。optim/lars_v2_update/README.md 中「支持空Tensor(元素数为0,如shape含0维,输出为空Tensor不报错,Kernel侧totalTiles==0整体短路、每tile count<=0时跳过该tile)」的声明在本修复后成立。 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!13242 | 21 days ago |
| fix(optim): LarsV2Update整改修复与转测准入补全 Co-authored-by: zhaixiao<zhaixiao1@huawei.com> # message auto-generated for no-merge-commit merge: !10615 merge feat/lars-v2-update-remediation into master fix(optim): LarsV2Update整改修复与转测准入补全 Created-by: Onthetreeoh Commit-by: zhaixiao Merged-by: cann-robot Description: ## 描述 LarsV2Update 算子代码检视整改与转测准入补全,共 16 文件。 ### 1. 检视整改(132 条例扫描:6 FAIL / 9 SUSPICIOUS) **P0 缺陷修复:** - op_kernel/arch35/lars_v2_update_kernel.h:GM 元素偏移 int64 直接下发,修复 uint32 截断(FP32 张量超 4G 元素时高位丢失写错 GM 地址) - op_host/lars_v2_update_tiling.cpp:ComputePerBufBytes 预留 SCALAR_BUF_BYTES 后再均分,修复 UB 容量恒超订 512B - op_host/arch35/lars_v2_update_tiling_arch35.cpp:GetTilingData/GetPlatformInfo 改用 OP_CHECK_NULL_WITH_CONTEXT,修复空指针吞错 **P1/P2 加固:** 负数维校验、hasRef 独立哨兵、explicit、常量收敛共享(全大写命名)、22 处 static_cast、UT 安全编译选项。 ### 2. 原型唯一性(转测第 1/2 项) - 删除 op_nn_proto_extend.h 中 LarsV2Update 重复原型(对齐 AdvanceStep 惯例:算子本地 proto.h 唯一交付),消除双定义与字段风格不一致 - 移除 proto.h 双重去重守卫宏,恢复标准单一定义 ### 3. 运行时约束补全(转测第 10/11/13/15.4 项) - Tiling 新增 6 输入 storage format 强校验(FORMAT_ND,与 def.cpp 声明一致) - Tiling 新增 w/g 严格同形校验(实测 w=(4,8), g=(4,1) 被拒) - Tiling 新增标量输入 dtype 与元素数校验(README 约束的代码实现) - README 补空 Tensor 支持与标量广播语义声明(资料-代码对齐) ### 4. 其他 静态 example 补输出校验打印;infershape 清理无用 include;README 约束说明补充 Tiling 校验位置与 NaN 语义披露。 ## 测试 | 验证项 | 结果 | |---|---| | UT(同源编译真实 Tiling 代码) | 80/80 通过 | | GEIR 静态 + 动态(-1/-2) | Ascend950 实卡通过 | | 约束实测 | ND control/空 Tensor PASS;w/g 广播 shape 被拒;格式校验分支入码 | | TTK 两方精度(300 用例,CST+DYN) | 300/300,精度均 100% | | TTK 异常用例 | 有效拦截 10 / 应拦截未拦截 0 / 不可判定 0 | 🤖 Generated with CANNBot See merge request: cann/ops-nn!10615 | 2 months ago |
| fix(lars_v2_update): 修复空 tensor 场景 PadAndSqueeze 吞 0 维导致越界写 Co-authored-by: liuwenda4<liuwenda4@huawei.com> # message auto-generated for no-merge-commit merge: !13242 merge fix-lars-v2-update-empty-tensor-oob into master fix(lars_v2_update): 修复空 tensor 场景 PadAndSqueeze 吞 0 维导致越界写 Created-by: Davon14272 Commit-by: liuwenda4 Merged-by: cann-robot Description: ## 描述 修复 LarsV2Update 在空 tensor(w/g 含 0 维)场景下向 0 元素输出缓冲区**越界写**的问题。 **根因**:PadAndSqueeze(optim/lars_v2_update/op_host/lars_v2_update_tiling.cpp)对每一维取 max(所有 input/output),而 4 个标量输入被 1-prepend 补位为 1,导致 0 与 1 一起取 max 后被吞掉: | w=g shape | maximum_bro_shape | 真实元素数 | kernel 实际写出 | |---|---|---|---| | (0,) | [1] | 0 | 1 | | (0,3) | [1,3] | 0 | 3 | | (2,0,3) | [2,1,3] | 0 | 6 | | (0,2,2,2,2,2,2,2) | [1,2,2,2,2,2,2,2] | 0 | 128 | tiling 据此按非空规模切分,total_tiles >= 1,kernel 中为支持空 tensor 而写的两道守卫(Process 的 totalTiles==0 短路、ProcessTile 的 count<=0 跳过)均无法触发,最终向 0 元素的 g_new 执行 DataCopyPad,越界写 prod(maximum_bro_shape) * 4 字节。 越界量随其余维度放大,例如 (batch=0, seq=2048, hidden=4096) 会越界写 **32MB**。该缺陷不会立即崩溃,而是静默踩坏相邻 GM 分配,症状出现在下游算子且不确定,排查成本极高。 **修复**:PadAndSqueeze 增加空维传播——任一参与广播的 input/output 在该维为 0,则 maximum_bro_shape[d] = 0。0 是广播的湮灭元,不是可广播的 1。修复后 count = 0,kernel 既有守卫生效,不写任何数据。 改动对非空 shape 是**可证明的 no-op**(has_zero 为假时仍取原 max_dim)。 ## 关联的Issue 无(补充用例上机测试时发现;越界信号在既有测试报告中已存在,但被同行的精度 PASS 遮蔽) ## 测试 **UT**(optim/lars_v2_update/tests/ut/test_lars_v2_update_tiling.cpp) - 同步修正独立 oracle OraPadAndSqueeze:原 oracle 与实现犯同一错误,导致既有 empty_0_3 用例把错误行为固化为"通过" - PadAndSqueezeTest 新增 12 个空维参数 - 新增 EmptyTensorNoWriteTest(10 例):串联 PadAndSqueeze -> FindSplitAxis -> MultiCoreSplit 并复刻 kernel 两道守卫,断言写出元素数为 0 - 全量 **101 tests PASSED** - **红/绿验证**:仅回退实现(保留 oracle 与 UT)后 **22 tests FAILED**,恢复后 101 PASSED,确认新增用例非空转 **设备实测**(Ascend950PR_9599,TTK kernel 模式,越界检查开启) - 6 例空 tensor (0,) / (0,3) / (2,0,3) / (0,0) / (1,0,1,0,1) / (0,2,2,2,2,2,2,2):dyn_oob_result 由 FAIL,OK **全部转为 OK,OK** - 回归冒烟 7 例全 PASS:rank1-axis0 6700 万元素(72 核)、rank8-axis7(tiling_key=1)、2^31-1 单轴 8GB、hyperpara=inf、负平方和、rank0、16M rank2 ## 文档更新 无需改动。optim/lars_v2_update/README.md 中「支持空Tensor(元素数为0,如shape含0维,输出为空Tensor不报错,Kernel侧totalTiles==0整体短路、每tile count<=0时跳过该tile)」的声明在本修复后成立。 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!13242 | 21 days ago |
| feat: add larsv2update operate Co-authored-by: Miao_Haifeng<miaohaifeng@huawei.com> # message auto-generated for no-merge-commit merge: !7954 merge mhf_larsv2update_0725 into master feat: add larsv2update operate Created-by: Almost_CANN Commit-by: Miao_Haifeng Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 新增A5版本的AscendC的LarsV2Update算子 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> ## 测试 <!--描述进行了哪些测试来验证你的改动。--> TTK测试、GEIR通路测试、三方测试 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ops-nn\docs\zh\op_list.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!7954 | 3 months ago |
| fix(lars_v2_update): 静态扫描整改收尾——README约束/支持表补注实现来源、proto标量描述修正与样例资源泄漏修复 Co-authored-by: zhaixiao<zhaixiao1@huawei.com> # message auto-generated for no-merge-commit merge: !12625 merge fix/lars-v2-update-rectification into master fix(lars_v2_update): 静态扫描整改收尾——README约束/支持表补注实现来源、proto标量描述修正与样例资源泄漏修复 Created-by: Onthetreeoh Commit-by: zhaixiao Merged-by: cann-robot Description: ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/7346 ## 修改内容 LarsV2Update 算子静态扫描整改收尾(承接 static-streview 64 项发现中代码侧遗留项 + 两项资料裁定落地)。 ### README - README: 产品支持表按算子整体口径恢复(950PR/950DT 为本仓 AscendC 交付,其余产品线由 CANN 基座包 canndev 内置 TBE 存量实现支持,与仓内 spence 等先例一致) - 约束说明对齐实现:InferShape 直接复制 w 的 shape 不做广播;空 Tensor 语义精确化(totalTiles==0 整体短路、每 tile count<=0 跳过) - 落地两项裁定:① hyperpara/epsilon 传 inf/nan 不校验不拦截,按 IEEE 754 语义透传(与输入 NaN 传播策略一致);② 总元素数无独立软件上限(仅受 HBM 容量约束,w/g/g_new 三份 fp32 缓冲 12×numel 字节;GM 偏移全链 int64) - use_clip=True 时 learning_rate 非零约束补充;调用说明样例路径修正(examples/arch35/) ### op_graph/lars_v2_update_proto.h - 4 个标量输入(w_square_sum/g_square_sum/weight_decay/learning_rate)描述由 Scalar (0-d) 修正为 Size-1 tensor (any rank)——对齐 tiling 实际接受面(元素数为 1 的任意 rank 张量) ### examples(×2) - 修复资源泄漏:RunGraph 成功/失败两条路径均释放 GenOnesDataFloat32 分配的输入 buffer(Tensor 不持有所有权),补 delete session ### tests - Branch-8 tiling UT 移除过时的 TDD red 基线注释(ComputeBranch8Tiling 已实现,用例全过) See merge request: cann/ops-nn!12625 | 26 days ago |
| docs: add English translations for operator READMEs and repo docs Co-authored-by: jenny_xiang<jenny.xiang@huawei.com> # message auto-generated for no-merge-commit merge: !13351 merge docs/add-english-docs into master docs: add English translations for operator READMEs and repo docs Created-by: jenny_xiang Commit-by: jenny_xiang Merged-by: cann-robot Description: ## Description Add English translations for 652 markdown documents: - Repo-level guides: README_en.md, CONTRIBUTING_en.md, SECURITY_en.md, CHANGELOG_en.md, codearts_check_rule_config_en.md - Operator READMEs under activation/, conv/, control/, foreach/, hash/, index/, loss/, matmul/, norm/, optim/, pooling/, quant/, rnn/, vfusion/, etc. - API and design docs under docs/ (aclnn_*, ascendir_*, fusion pass docs) - examples/ and torch_extension/ guides Note: a few cross-reference links whose English targets are not published yet temporarily point to their Chinese counterparts to keep links valid; they will be switched back to the English docs in a follow-up PR after this one is merged. ## Related Issue N/A ## Test - Verified all 1,344 intra-repo markdown links in the added files resolve against master: 0 broken links, 0 missing targets. ## Documentation Update - This PR only adds English documentation files (*_en.md); no existing Chinese documents are modified. ## Type Labels - [ ] Bug fix - [ ] New feature - [ ] Performance optimization - [x] Documentation update - [ ] Other, please describe: ## AI/Agent-Generated Declaration - [x] AI-assisted authoring See merge request: cann/ops-nn!13351 | 18 days ago |