| fix(geir examples): 修复样例 placeholder 节点名/索引与建图问题 Co-authored-by: qq_37917228<yanmingkui@huawei.com> # message auto-generated for no-merge-commit merge: !13171 merge fix/lamb_apply_optimizer_assign_placeholder_name into master fix(geir examples): 修复样例 placeholder 节点名/索引与建图问题 Created-by: qq_37917228 Commit-by: qq_37917228 Merged-by: cann-robot Description: ## 描述 修复多个 GEIR 样例(examples/test_geir_*.cpp)的建图与编译问题,涉及 19 个文件,分四类: 1. **placeholder 节点名拼接与 index 属性**(lamb_apply_optimizer_assign、apply_adagrad、lamb_apply_weight_assign、sgd、dynamic_quant_update_scatter、dynamic_quant_update_scatter_v2、wts_arq、bn3_d_training_reduce_grad、bn3_d_training_update、in_training_update_grad):宏参数 inputIndex 是整型常量,"placeholder" + inputIndex 执行的是指针偏移而非字符串拼接,非 0 时节点名从字面量中间截断甚至越界读取。改为 "placeholder" + std::to_string(inputIndex);同时把 set_attr_index(0) 统一为 inputIndex - 1——Data 的 index 属性表示该节点在整图输入中的 0 基序号,多个 Data 节点重复声明第 0 个输入与语义不符,统一后与 SetInputs 顺序一致。 2. **foreach 样例建图顺序**(foreach_add_list_inplace、foreach_addcmul_list):旧 Operator 序列化会按端口名排序,导致静态输入(alpha、scalars)被排到动态输入之前,推导实例表错位。改用 NamedIoNodeBuilder 按 IR 定义顺序构建节点,图输出改由 GNode 端口 SetOutputs 设置。 3. **Session/AddGraph 初始化**(lamb_next_m_v_with_decay、lamb_next_right、lamb_update_with_lr、lamb_update_with_lr_v2):补充 array_ops.h;Session({}) 与 AddGraph(..., {}) 的空花括号实参改为显式的 std::map<AscendString, AscendString>(),避免重载推导歧义。(lamb_next_m_v 的同类问题上游已修复,本 PR 不再改动) 4. **其他样例修正**: - in_training_update_grad:Data 占位节点改用 FORMAT_ND + 6 维 storage shape(Ascend950 CheckInternalFormat 不允许用户图 Data 节点以 NDC1HWC0 作 origin format),算子节点输入 desc 另行声明 NDC1HWC0 以满足 binary 格式白名单 - multi_add_rms_norm_dynamic_quant:修正 op_graph proto 头文件相对路径 - apply_came_part1 / apply_came_part3:删除直接 include graph_infer.cpp ## 关联的Issue - https://gitcode.com/cann/ops-nn/issues/7907 ## 测试 - OAT(OpenHarmony OSS Audit Tool)增量扫描:全部改动文件,0 问题 - 全部改动文件通过仓库 .clang-format 校验 - 本人验证记录中,lamb_apply_optimizer_assign、lamb_next_m_v* 系列、foreach×2 等样例已在 Ascend950 环境(CANN 9.3.0)按 build.sh --run_example 逐项复现与验证 - batch_norm_ext2 样例的同类问题暂不在本 PR 处理:该文件改动会连带触发 kernel ST,其中 10 个 bne2_gt1G_* 超大 shape 用例在 CI 上失败(既有问题,与本 PR 无关),待问题定位后另行提交 ## 文档更新 无需更新文档 ## 类型标签 - [x] Bug修复 ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!13171 | 19 days ago |
| feat: 新增 WtsARQ 算子(AMCT QAT 权重自适应范围伪量化,GE IR 图模式,arch35 RegBase) Co-authored-by: tianqiguang<tianqiguang@huawei.com> # message auto-generated for no-merge-commit merge: !11140 merge master into master feat: 新增 WtsARQ 算子(AMCT QAT 权重自适应范围伪量化,GE IR 图模式,arch35 RegBase) Created-by: tianqiguang Commit-by: tianqiguang Merged-by: cann-robot Description: ## 描述 新增 WtsARQ(Weights Adaptive Range Quantization)算子,用于 AMCT 量化感知训练(QAT)场景:根据输入权重 w 及其量化范围下界 w_min、上界 w_max 自适应计算量化 scale,对 w 做 round-to-nearest(half-to-even)伪量化到 int8 栅格后再反量化回浮点,输出 y。 - 交付形态:GE IR 图模式算子(REG_OP 注册),无 aclnn 接口;TensorFlow 前端经框架插件(framework/wts_arq_tf_plugin.cpp)映射为同一 IR 后调用 - 硬件平台:arch35(Ascend 950 / DAV_3510),RegBase kernel 实现 - 输入:w(float16/float32,ND,rank 0~8)、w_min、w_max(dtype 与 w 一致,受限广播) - 输出:y(shape/dtype 与 w 相同) - 属性:num_bits(int64,仅支持 8)、offset_flag(bool,默认 false) 计算流程:范围修正(w_min=min(w_min,0)、w_max=max(w_max,0))→ scale 计算(offset_flag=false 时 max(|w_min|/128, w_max/127);true 时 w_max/255 - w_min/255)→ 除零保护(scale < float32 eps 取 1.0)→ 伪量化 q=clamp(rint(w/scale)+offset, -128, 127)-offset → 反量化 y=q*scale。 实现要点: - op_host:算子定义(wts_arq_def.cpp)、InferShape(wts_arq_infershape.cpp,支持动态 shape/rank 与受限广播校验)、arch35 tiling(wts_arq_tiling.cpp,动态多核切分、受限广播拷贝策略) - op_kernel:arch35 RegBase kernel(wts_arq_kernel.h,fp32 寄存器级计算链) - op_graph:GE IR 算子注册(wts_arq_proto.h) - config:ascend950 binary.json(float16/float32 两个二进制) - 文档:README.md + docs/zh/op_list.md 算子列表登记 ## 关联的Issue #6254 ## 测试 - 单元测试:tests/ut/op_host/arch35/test_wts_arq_tiling.cpp(tiling)、tests/ut/op_host/test_wts_arq_infershape.cpp(infershape) - 精度验证:tests/assets/golden.py 生成 golden 数据对比 - 示例:examples/test_geir_wts_arq.cpp(GE IR 图模式调用示例) ## 文档更新 - 新增 quant/wts_arq/README.md(功能说明、参数说明、约束说明、调用说明) - 更新 docs/zh/op_list.md(新增 wts_arq 算子条目) ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [ ] AI辅助编写 See merge request: cann/ops-nn!11140 | 1 month ago |
| feat: 新增 WtsARQ 算子(AMCT QAT 权重自适应范围伪量化,GE IR 图模式,arch35 RegBase) Co-authored-by: tianqiguang<tianqiguang@huawei.com> # message auto-generated for no-merge-commit merge: !11140 merge master into master feat: 新增 WtsARQ 算子(AMCT QAT 权重自适应范围伪量化,GE IR 图模式,arch35 RegBase) Created-by: tianqiguang Commit-by: tianqiguang Merged-by: cann-robot Description: ## 描述 新增 WtsARQ(Weights Adaptive Range Quantization)算子,用于 AMCT 量化感知训练(QAT)场景:根据输入权重 w 及其量化范围下界 w_min、上界 w_max 自适应计算量化 scale,对 w 做 round-to-nearest(half-to-even)伪量化到 int8 栅格后再反量化回浮点,输出 y。 - 交付形态:GE IR 图模式算子(REG_OP 注册),无 aclnn 接口;TensorFlow 前端经框架插件(framework/wts_arq_tf_plugin.cpp)映射为同一 IR 后调用 - 硬件平台:arch35(Ascend 950 / DAV_3510),RegBase kernel 实现 - 输入:w(float16/float32,ND,rank 0~8)、w_min、w_max(dtype 与 w 一致,受限广播) - 输出:y(shape/dtype 与 w 相同) - 属性:num_bits(int64,仅支持 8)、offset_flag(bool,默认 false) 计算流程:范围修正(w_min=min(w_min,0)、w_max=max(w_max,0))→ scale 计算(offset_flag=false 时 max(|w_min|/128, w_max/127);true 时 w_max/255 - w_min/255)→ 除零保护(scale < float32 eps 取 1.0)→ 伪量化 q=clamp(rint(w/scale)+offset, -128, 127)-offset → 反量化 y=q*scale。 实现要点: - op_host:算子定义(wts_arq_def.cpp)、InferShape(wts_arq_infershape.cpp,支持动态 shape/rank 与受限广播校验)、arch35 tiling(wts_arq_tiling.cpp,动态多核切分、受限广播拷贝策略) - op_kernel:arch35 RegBase kernel(wts_arq_kernel.h,fp32 寄存器级计算链) - op_graph:GE IR 算子注册(wts_arq_proto.h) - config:ascend950 binary.json(float16/float32 两个二进制) - 文档:README.md + docs/zh/op_list.md 算子列表登记 ## 关联的Issue #6254 ## 测试 - 单元测试:tests/ut/op_host/arch35/test_wts_arq_tiling.cpp(tiling)、tests/ut/op_host/test_wts_arq_infershape.cpp(infershape) - 精度验证:tests/assets/golden.py 生成 golden 数据对比 - 示例:examples/test_geir_wts_arq.cpp(GE IR 图模式调用示例) ## 文档更新 - 新增 quant/wts_arq/README.md(功能说明、参数说明、约束说明、调用说明) - 更新 docs/zh/op_list.md(新增 wts_arq 算子条目) ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [ ] AI辅助编写 See merge request: cann/ops-nn!11140 | 1 month ago |
| AscendRequant, BatchNormExt2, EuclideanNorm等35个算子适配350 Co-authored-by: wsunmoon<wangming176@huawei.com> # message auto-generated for no-merge-commit merge: !11873 merge dvlite into master AscendRequant, BatchNormExt2, EuclideanNorm等35个算子适配350 Created-by: wsunmoon Commit-by: wsunmoon Merged-by: cann-robot Description: ## 描述 AscendRequant, BatchNormExt2, EuclideanNorm等35个算子适配350: 新增350二进制配置json文件 CMakeLists.txt文件配置350 算子信息库新增350 ## 关联的Issue 关联Issue [#7755](https://gitcode.com/cann/ops-nn/issues/7755) ## 测试 编译正常; UT, ST冒烟通过 ## 文档更新 不涉及 ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!11873 | 22 days ago |
| feat: 新增 WtsARQ 算子(AMCT QAT 权重自适应范围伪量化,GE IR 图模式,arch35 RegBase) Co-authored-by: tianqiguang<tianqiguang@huawei.com> # message auto-generated for no-merge-commit merge: !11140 merge master into master feat: 新增 WtsARQ 算子(AMCT QAT 权重自适应范围伪量化,GE IR 图模式,arch35 RegBase) Created-by: tianqiguang Commit-by: tianqiguang Merged-by: cann-robot Description: ## 描述 新增 WtsARQ(Weights Adaptive Range Quantization)算子,用于 AMCT 量化感知训练(QAT)场景:根据输入权重 w 及其量化范围下界 w_min、上界 w_max 自适应计算量化 scale,对 w 做 round-to-nearest(half-to-even)伪量化到 int8 栅格后再反量化回浮点,输出 y。 - 交付形态:GE IR 图模式算子(REG_OP 注册),无 aclnn 接口;TensorFlow 前端经框架插件(framework/wts_arq_tf_plugin.cpp)映射为同一 IR 后调用 - 硬件平台:arch35(Ascend 950 / DAV_3510),RegBase kernel 实现 - 输入:w(float16/float32,ND,rank 0~8)、w_min、w_max(dtype 与 w 一致,受限广播) - 输出:y(shape/dtype 与 w 相同) - 属性:num_bits(int64,仅支持 8)、offset_flag(bool,默认 false) 计算流程:范围修正(w_min=min(w_min,0)、w_max=max(w_max,0))→ scale 计算(offset_flag=false 时 max(|w_min|/128, w_max/127);true 时 w_max/255 - w_min/255)→ 除零保护(scale < float32 eps 取 1.0)→ 伪量化 q=clamp(rint(w/scale)+offset, -128, 127)-offset → 反量化 y=q*scale。 实现要点: - op_host:算子定义(wts_arq_def.cpp)、InferShape(wts_arq_infershape.cpp,支持动态 shape/rank 与受限广播校验)、arch35 tiling(wts_arq_tiling.cpp,动态多核切分、受限广播拷贝策略) - op_kernel:arch35 RegBase kernel(wts_arq_kernel.h,fp32 寄存器级计算链) - op_graph:GE IR 算子注册(wts_arq_proto.h) - config:ascend950 binary.json(float16/float32 两个二进制) - 文档:README.md + docs/zh/op_list.md 算子列表登记 ## 关联的Issue #6254 ## 测试 - 单元测试:tests/ut/op_host/arch35/test_wts_arq_tiling.cpp(tiling)、tests/ut/op_host/test_wts_arq_infershape.cpp(infershape) - 精度验证:tests/assets/golden.py 生成 golden 数据对比 - 示例:examples/test_geir_wts_arq.cpp(GE IR 图模式调用示例) ## 文档更新 - 新增 quant/wts_arq/README.md(功能说明、参数说明、约束说明、调用说明) - 更新 docs/zh/op_list.md(新增 wts_arq 算子条目) ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [ ] AI辅助编写 See merge request: cann/ops-nn!11140 | 1 month ago |
| fix: 修复 CosineEmbeddingLoss golden 超大广播 OOM 与 DeepNorm 空 Tensor 文档 Co-authored-by: tianqiguang<tianqiguang@huawei.com> # message auto-generated for no-merge-commit merge: !13382 merge master into master fix: 修复 CosineEmbeddingLoss golden 超大广播 OOM 与 DeepNorm 空 Tensor 文档 Created-by: tianqiguang Commit-by: tianqiguang Merged-by: cann-robot Description: ## 描述 本 PR 包含两部分:修复 cosine_embedding_loss golden 在超大广播 shape 下的 OOM,以及纠正 deep_norm 文档中与实际行为相反的空 Tensor 支持说明。共 2 个文件(+96 / -7),不涉及算子 kernel 与 op_host 行为变更。 ### 一、CosineEmbeddingLoss golden:超大广播 shape 分块计算,避免 OOM **问题**:当 x1 / x2 广播后的元素数极大时(代码注释示例:x1(179, 1648330) 与 x2(3, 7, 1, 4, 6, 1, 1)),本地 CPU golden 与三方 GPU 参考实现都直接调用 broadcast_tensors 物化整个广播结果,内存需求达数百 GB 量级,导致 OOM,无法产出基准值。 **方法**: - 新增 _needs_chunking():广播后元素数超过 _CHUNK_THRESHOLD(4,000,000)**且** x1 为 2 维、x2 维数大于 2 时启用分块——该结构是超大 broadcast shape 的典型形态。 - 新增 _chunked_loss():沿 x1 元素最多的维度按 _CHUNK_COLS(8192)分块;每块只物化该块的广播子块,算出 cos 与 loss 后累加到标量 total,同时累计元素数 total_n。 - 分块路径仅用于 reduction != "none":none 的输出本身与广播结果同大小,分块无法降低峰值。 - cosine_embedding_loss_golden()(本地 CPU 参考)与 _CosineEmbeddingLossCompose(三方 GPU 参考)两个入口同时接入。 - compute_dtype 推导与未分块路径保持一致:先 promote(fp32, a.dtype),再与输出 dtype 二次 promote,以保留 TTK Promote 提供的更宽精度(如 fp64)。 - target 若在被分块轴上有同大小维度(如 c_s_023 的尾维),同步切片;否则整块参与广播。 数学语义与未分块路径一致,仅累加顺序变化。 ### 二、DeepNorm 文档:空 Tensor 支持说明纠正 aclnnDeepNorm.md 中 x / gx / beta / gamma / meanOut / rstdOut / yOut 共 7 处由「支持空Tensor」改为「不支持空Tensor」。 **依据**:op_host/deep_norm_shape_check.h 的 CheckDeepNormShapeValue() 对 x 的每一维执行 GetDim(i) == 0 判断,命中即返回 GRAPH_FAILED,报错信息为 shape dim cannot be 0;op_host/arch22/deep_norm_tiling.cpp 中亦有 "Input x shape can not be 0."。原文档表述与实际校验行为相反。 > **已知遗留**:英文文档 norm/deep_norm/docs/aclnnDeepNorm_en.md 对应的 7 处仍为 Supports empty tensors. / Empty tensors are supported.,本 PR 未同步修改。 ## 关联的Issue - #7948 ## 测试 - golden 分块路径与未分块路径共用同一 compute_dtype 推导,数学语义一致,仅累加顺序变化。 - 分块参数:阈值 4,000,000 元素,块宽 8192 列。代码注释记录:1024 列时超大用例需 1610 块,改为 8192 后块数大幅下降,显著减少循环开销。 - DeepNorm 部分为文档修正,依据为 deep_norm_shape_check.h 中既有的 0 维校验,不涉及代码行为变更。 > 注:本 PR 未附 ST 执行报告。 ## 文档更新 - norm/deep_norm/docs/aclnnDeepNorm.md:x、gx、beta、gamma、meanOut、rstdOut、yOut 共 7 处空 Tensor 支持性说明由「支持」改为「不支持」。 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!13382 | 18 days ago |
| AscendRequant, BatchNormExt2, EuclideanNorm等35个算子适配350 Co-authored-by: wsunmoon<wangming176@huawei.com> # message auto-generated for no-merge-commit merge: !11873 merge dvlite into master AscendRequant, BatchNormExt2, EuclideanNorm等35个算子适配350 Created-by: wsunmoon Commit-by: wsunmoon Merged-by: cann-robot Description: ## 描述 AscendRequant, BatchNormExt2, EuclideanNorm等35个算子适配350: 新增350二进制配置json文件 CMakeLists.txt文件配置350 算子信息库新增350 ## 关联的Issue 关联Issue [#7755](https://gitcode.com/cann/ops-nn/issues/7755) ## 测试 编译正常; UT, ST冒烟通过 ## 文档更新 不涉及 ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!11873 | 22 days ago |
| feat: 新增 WtsARQ 算子(AMCT QAT 权重自适应范围伪量化,GE IR 图模式,arch35 RegBase) Co-authored-by: tianqiguang<tianqiguang@huawei.com> # message auto-generated for no-merge-commit merge: !11140 merge master into master feat: 新增 WtsARQ 算子(AMCT QAT 权重自适应范围伪量化,GE IR 图模式,arch35 RegBase) Created-by: tianqiguang Commit-by: tianqiguang Merged-by: cann-robot Description: ## 描述 新增 WtsARQ(Weights Adaptive Range Quantization)算子,用于 AMCT 量化感知训练(QAT)场景:根据输入权重 w 及其量化范围下界 w_min、上界 w_max 自适应计算量化 scale,对 w 做 round-to-nearest(half-to-even)伪量化到 int8 栅格后再反量化回浮点,输出 y。 - 交付形态:GE IR 图模式算子(REG_OP 注册),无 aclnn 接口;TensorFlow 前端经框架插件(framework/wts_arq_tf_plugin.cpp)映射为同一 IR 后调用 - 硬件平台:arch35(Ascend 950 / DAV_3510),RegBase kernel 实现 - 输入:w(float16/float32,ND,rank 0~8)、w_min、w_max(dtype 与 w 一致,受限广播) - 输出:y(shape/dtype 与 w 相同) - 属性:num_bits(int64,仅支持 8)、offset_flag(bool,默认 false) 计算流程:范围修正(w_min=min(w_min,0)、w_max=max(w_max,0))→ scale 计算(offset_flag=false 时 max(|w_min|/128, w_max/127);true 时 w_max/255 - w_min/255)→ 除零保护(scale < float32 eps 取 1.0)→ 伪量化 q=clamp(rint(w/scale)+offset, -128, 127)-offset → 反量化 y=q*scale。 实现要点: - op_host:算子定义(wts_arq_def.cpp)、InferShape(wts_arq_infershape.cpp,支持动态 shape/rank 与受限广播校验)、arch35 tiling(wts_arq_tiling.cpp,动态多核切分、受限广播拷贝策略) - op_kernel:arch35 RegBase kernel(wts_arq_kernel.h,fp32 寄存器级计算链) - op_graph:GE IR 算子注册(wts_arq_proto.h) - config:ascend950 binary.json(float16/float32 两个二进制) - 文档:README.md + docs/zh/op_list.md 算子列表登记 ## 关联的Issue #6254 ## 测试 - 单元测试:tests/ut/op_host/arch35/test_wts_arq_tiling.cpp(tiling)、tests/ut/op_host/test_wts_arq_infershape.cpp(infershape) - 精度验证:tests/assets/golden.py 生成 golden 数据对比 - 示例:examples/test_geir_wts_arq.cpp(GE IR 图模式调用示例) ## 文档更新 - 新增 quant/wts_arq/README.md(功能说明、参数说明、约束说明、调用说明) - 更新 docs/zh/op_list.md(新增 wts_arq 算子条目) ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [ ] AI辅助编写 See merge request: cann/ops-nn!11140 | 1 month ago |
| docs: add English translations for operator READMEs and repo docs Co-authored-by: jenny_xiang<jenny.xiang@huawei.com> # message auto-generated for no-merge-commit merge: !13351 merge docs/add-english-docs into master docs: add English translations for operator READMEs and repo docs Created-by: jenny_xiang Commit-by: jenny_xiang Merged-by: cann-robot Description: ## Description Add English translations for 652 markdown documents: - Repo-level guides: README_en.md, CONTRIBUTING_en.md, SECURITY_en.md, CHANGELOG_en.md, codearts_check_rule_config_en.md - Operator READMEs under activation/, conv/, control/, foreach/, hash/, index/, loss/, matmul/, norm/, optim/, pooling/, quant/, rnn/, vfusion/, etc. - API and design docs under docs/ (aclnn_*, ascendir_*, fusion pass docs) - examples/ and torch_extension/ guides Note: a few cross-reference links whose English targets are not published yet temporarily point to their Chinese counterparts to keep links valid; they will be switched back to the English docs in a follow-up PR after this one is merged. ## Related Issue N/A ## Test - Verified all 1,344 intra-repo markdown links in the added files resolve against master: 0 broken links, 0 missing targets. ## Documentation Update - This PR only adds English documentation files (*_en.md); no existing Chinese documents are modified. ## Type Labels - [ ] Bug fix - [ ] New feature - [ ] Performance optimization - [x] Documentation update - [ ] Other, please describe: ## AI/Agent-Generated Declaration - [x] AI-assisted authoring See merge request: cann/ops-nn!13351 | 17 days ago |