master

Files	Last commit	Last update
ci	ci(gen_ops_soc): 恢复 ascend960dt 编译obj分组配置 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !15136 merge fix_2 into master ci(gen_ops_soc): 恢复 ascend960dt 编译obj分组配置 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: ## 描述 恢复 !14790 中 **ascend960dt** 档的 obj 编译拆分组配置。!15083 曾回退该档分组，本次验证后恢复启用。 ## 改动内容 仅 scripts/ci/gen_ops_soc.py 的 group_op_dict（单文件 +6/-1）： - **ascend960dt**：flash_attention_score=5、flash_attention_score_grad=10、mega_moe=40、matmul_all_reduce=40、allto_all_matmul=20、matmul_reduce_scatter_v2=20 - **ascend950 档维持不变**（mega_moe=40、matmul_all_reduce=40 等保留 !14790 合入后配置） - 其他 SoC（910b / 910_93 / 350 / 960pr）不受影响 ## 影响面 仅 CI 编译任务的 obj 分组配置，不涉及算子 kernel / host 代码；!15083 的 squash 提交 ac7aeffcc 之后无其他提交改动该文件，恢复干净应用。 ## 验证 - 本地实跑 python3 scripts/ci/gen_ops_soc.py：正常生成、退出码 0 - pre-commit 全钩子 Passed - 960dt 编译任务的分组调度与耗时已随本 PR 验证 ## 关联 - 原始分组配置： https://gitcode.com/cann/ops-transformer/pull/14790 - 960dt 档回退： https://gitcode.com/cann/ops-transformer/pull/15083 See merge request: cann/ops-transformer!15136	12 days ago
kernel	Pre-Commit 规范整改 — 公共 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !5305 merge refactor into master Pre-Commit 规范整改 — 公共 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: pre-commit是一个Git Hooks框架，用于在git commit时自动运行代码检查和格式化工具。： | Hook | 功能 | 说明 | |------|------|------| | **clang-format** | C/C++ 代码格式化 | 自动格式化代码，保持风格一致 | | **OAT Check** | 开源合规检查 | 检测许可证头、禁止二进制文件提交 | 本PR对于公共文件进行了pre-commit检查 See merge request: cann/ops-transformer!5305	4 months ago
opgen	fix(opgen): reject invalid generated C++ type names Co-authored-by: Ethan_Zou<tianjun.zou@foxmail.com> # message auto-generated for no-merge-commit merge: !13772 merge fix/rated-20261013-opgen-invalid-type-name into master fix(opgen): reject invalid generated C++ type names Created-by: Ethan_Zou Commit-by: Ethan_Zou Merged-by: cann-robot Description: ## 描述 opgen只验证原始名称的字符范围，允许3d_add、_9_value以及仅下划线名称。生成C++类型名时按下划线分词并capitalize：上述名称分别变成数字开头的3dAdd/9Value或空类型名。完整模板替换后出现class 3dAdd及OP_ADD(3dAdd)等无效声明；CLI仍exit0并报告成功，留下不可编译工程。 在复制模板前验证实际派生C++类型名必须非空且满足标识符规则。非法名称exit1，不创建工程；保留正常名称、数字后缀和有效前导下划线的既有映射。 ## 关联的Issue 由统一入口关联本次opgen非法派生类型名Issue。 ## 测试 master基线 27f9054a7f155cc56cbdd48828ae4d98e6124fce；DevEnvC_mmdv8、Ubuntu20.04/aarch64 Host、Python3.11.4、GCC9.4.0、实际完整CANN9.0.0 SDK /home/developer/Ascend/cann-9.0.0/aarch64-linux 与该安装的tools/opbuild/op_build；原生GCC编译完整生成的*_def.cpp为共享库，_GLIBCXX_USE_CXX11_ABI=0，链接真实libregister；实际op_build以OPS_PROTO_SEPARATE=1、OPS_ACLNN_GEN=1、OPS_PROJECT_NAME=aclnn生成产物。未裁剪SDK头或模板、未模拟编译器/producer。未构建完整算子包、编译设备kernel或运行NPU；驱动和芯片不参与，不声明未实测SDK/NPU版本兼容。 CANN_OPGEN_NATIVE_SDK=/home/developer/Ascend/cann-9.0.0/aarch64-linux CANN_OPGEN_NATIVE_OPBUILD=/home/developer/Ascend/cann-9.0.0/tools/opbuild/op_build python3 -m unittest discover -s tests/ut/scripts -p test_opgen_invalid_type_name.py -v 2方法/8场景：原版3d_add、_9_value、_、___均CLI exit0而完整生成OpDef在SDK/GCC下编译失败，4个回归失败；native_add、add_3d、_custom_add、add9四个合法控制完整生成、GCC编译、实际op_build均通过，并核对实际REG_OP类型名、aclnn头/源及两个SoC配置。修复后非法输入在复制前exit1且无工程残留，四个合法控制仍完整原生通过，总8通过。相同最终格式化测试在最新原版和修复执行。当前变更完整pre-commit、两处变更OAT十类0、Git/LFS fsck、diff --check、作者/提交者及唯一源提交核实。 ## 文档更新 回归写明真实SDK/Host OpDef编译及op_build产物验证范围。 ## 类型标签 - [x] Bug修复 - [x] 测试 Closes https://gitcode.com/cann/ops-transformer/issues/6089 See merge request: cann/ops-transformer!13772	12 days ago
package	fix(package): clean built-in AICPU artifacts on uninstall Co-authored-by: qzzzy1<qiziyu2@huawei.com> # message auto-generated for no-merge-commit merge: !15309 merge fix/aicpu-uninstall-shared-dir into master fix(package): clean built-in AICPU artifacts on uninstall Created-by: qzzzy1 Commit-by: qzzzy1 Merged-by: cann-robot Description: ## 描述 修复 ops-transformer built-in AICPU 产物卸载残留问题，同时避免影响基础 CANN 包在共享 AICPU 目录下的文件。 AICPU built-in 产物安装路径为： text opp/built-in/op_impl/aicpu/config/aicpu_transformer.json opp/built-in/op_impl/aicpu/kernel/libtransformer_aicpu_kernels.so 此前这些文件无法随 ops-transformer 卸载被清理。若将整个 config / kernel 目录声明为 copy_entity，又会把共享目录作为整体处理，存在影响基础包文件（如 aicpu_hccl.tar.gz）权限或内容的风险。 本 PR 修改卸载脚本，精确删除 ops-transformer 自己安装的两个文件： bash aicpu_transformer.json libtransformer_aicpu_kernels.so 随后仅在目录为空时删除： text opp/built-in/op_impl/aicpu/config opp/built-in/op_impl/aicpu/kernel opp/built-in/op_impl/aicpu 因此不会影响同目录下的基础 CANN 包文件。 ## 关联的Issue 7166 ## 测试 ### 构建命令 bash source /home/anaconda3/etc/profile.d/conda.sh conda activate pec_py310 source /home/qzy/cann/set_env.sh bash build.sh --pkg --soc=ascend910_93 -n mixed_quant_sparse_flash_mla_metadata,block_sparse_attention -j16 ### TC-01 打包 结果：通过。 text add_aicpu_cust_kernel_modules for mixed_quant_sparse_flash_mla_metadata_cust_obj Merging aicpu json inputs into .../aicpu_transformer.json Linking cust_aicpu_kernels.so using ARM toolchain Build pkg success ### TC-02 安装 安装前模拟基础包共享文件： text cann/opp/built-in/op_impl/aicpu/kernel/aicpu_hccl.tar.gz 权限设置为 644。 安装命令： bash bash build_out/cann-A3-ops-transformer_9.2.0_linux-aarch64.run --quiet --full --install-path=/tmp/final_uninstall_script_test 结果：通过，install_exit=0。 安装后包含： text 644 .../config/aicpu_transformer.json 644 .../kernel/libtransformer_aicpu_kernels.so 644 .../kernel/aicpu_hccl.tar.gz ### TC-03 卸载 命令： bash bash build_out/cann-A3-ops-transformer_9.2.0_linux-aarch64.run --quiet --uninstall --install-path=/tmp/final_uninstall_script_test 结果：通过，uninstall_exit=0。 日志： text Opp package uninstalled successfully! Uninstallation takes effect immediately. ### TC-04 卸载后检查 查找： text aicpu_transformer.json libtransformer_aicpu_kernels.so 结果：均不存在，已卸载。 ### TC-05 共享文件保护 卸载后： text 644 .../kernel/aicpu_hccl.tar.gz 结论： - 文件保留 - 权限保持 644 - 未变为 750 - 未被删除 最终目录： text 755 d .../aicpu 755 d .../aicpu/kernel 644 f .../aicpu/kernel/aicpu_hccl.tar.gz ### 验证结果汇总 | TC | 内容 | 结果 | |---|---|---| | TC-01 | AICPU 产物打包 | ✅ | | TC-02 | 安装成功 | ✅ | | TC-03 | 卸载成功 | ✅ | | TC-04 | transformer json/so 清理 | ✅ | | TC-05 | 基础包 aicpu_hccl.tar.gz 保留且权限不变 | ✅ | ## 文档更新 无 ## 类型标签 - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!15309	10 days ago
util	fix(5162a): 区分 5162 的 soc 版本与短名/series 命名 Co-authored-by: wuxuening<wuxuening2@huawei.com> # message auto-generated for no-merge-commit merge: !15086 merge br_5162_series_rename into master fix(5162a): 区分 5162 的 soc 版本与短名/series 命名 Created-by: wuxuening Commit-by: wuxuening Merged-by: cann-robot Description: ## 描述 对于 Ascend5162 芯片，区分 soc 版本与短名/series 命名（对齐 MC62/Ascend950 惯例）： - soc 版本：保留 Ascend5162A/ascend5162a - 短名/series：ascend5162a 更名为 ascend5162 涉及：CMakeLists.txt（ASCEND_ALL_COMPUTE_UNIT/SOC_VERSION_LIST）、build.sh（SUPPORT_COMPUTE_UNIT_SHORT）、cmake/func.cmake（mc2 跳过）、const_var.py / opdesc_parser.py / parse_compile_scope.py（compute unit → soc 版本映射键更名，值保留 Ascend5162A） 与 opbase PR #1110、canndev PR #82674、ops-math PR #6969、ops-nn PR #13255、ops-cv PR #2364 配套。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/7054 ## 测试 - pre-commit 全量 hook 通过 - 构造三套环境实测三个分支打印路径输出正确 ## 文档更新 无 See merge request: cann/ops-transformer!15086	12 days ago
check_duplicate_headers.sh	整改仓内+安装重名头文件 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !11266 merge clear_h into master 整改仓内+安装重名头文件 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 整改仓内及安装场景下的重名头文件冲突，避免同名头文件在编译包含路径或安装打包时互相覆盖。 **改动原因** - 仓内 attention/、gmm/、示例工程等存在 basename 相同的头文件，易在统一 include 搜索路径下发生错误包含。 - 与 third_party（如 catlass）及主仓多算子之间存在安装侧重名，可能覆盖安装产物。 **采取的方法** 1. **仓内重名**（637b7145f）：对易冲突头文件按模块加前缀消歧，并同步更新引用，例如： - BSA / GBSA：block_epilogue_* / block_mmad_* → bsa_* / gbsa_* - recurrent_kda：recurrent_kda.h → recurrent_kda_arch22.h / recurrent_kda_arch35.h - grouped_matmul：grouped_matmul_kernel.h → grouped_matmul_kernel_arch35.h / fkl_grouped_matmul_kernel.h 等 - metadata：generic_block_sparse_attention_metadata.h → generic_block_sparse_attention_metadata_tiling.h 2. **安装重名**（975ffde47）：对 GBSA/BSA/GMM 基础设施头文件统一加模块前缀（gbsa_ / bsa_ / gmm_，epilogue/gemm/tla 再细分），git mv 后批量更新 #include；**不改** experimental/ 与 third_party/。 3. 同步调整 scripts/check_duplicate_headers.sh 等相关引用。 **范围说明**：本次仅为头文件重命名与 include 路径同步，无业务逻辑变更（约 151 个文件，增删对等）。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5037 ## 测试 ## 文档更新 ## 类型标签 - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!11266	2 months ago
download_3rd_party.sh	fix: 修复离线场景三方件下载与在线构建URL不一致问题 Co-authored-by: Leeshoujem<michael.lixiaojie@huawei.com> # message auto-generated for no-merge-commit merge: !14028 merge fix/offline-3rd-party-download into master fix: 修复离线场景三方件下载与在线构建URL不一致问题 Created-by: Leeshoujem Commit-by: Leeshoujem Merged-by: cann-robot Description: ## 描述 fix: 修复离线场景三方件下载与在线构建URL不一致问题 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!14028	26 days ago
format_cpp.sh	feat(pre-commit): 拦截类钩子报告统一落盘 pre-commit_reports + 健壮性与策略对齐 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !12834 merge fix_2 into master feat(pre-commit): 拦截类钩子报告统一落盘 pre-commit_reports + 健壮性与策略对齐 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5016 ## 描述 #### 🐛 Bug 修复 / ✨ 特性增强 围绕既有 pre-commit 体系的三处完善（8 文件 +38/-12，1 笔提交）：**拦截类钩子报告落盘**、**脚本健壮性修复**、**策略与文档对齐**。全部经 --all-files 全量实测校准。 ### 一、拦截类钩子报告统一落盘 pre-commit_reports/（不入 git） | 改动 | 内容 | |---|---| | scripts/run_codespell.sh（新增） | codespell 输出 tee 到 pre-commit_reports/codespell.log（entry 覆写仍跑托管 venv，PIPESTATUS 保退出码） | | .pre-commit-config.yaml | codespell entry 指向包装脚本 | | scripts/oat_check.sh | 报告落点 oat_reports/result.txt → pre-commit_reports/oat_result.txt（单文件与批量两条写路径同步） | | .gitignore | oat_reports/ → pre-commit_reports/ | | docs/zh/develop/pre-commit_guide.md | 失败排查节补报告位置说明 | 自动修类钩子（clang-format/ruff）直接改好文件无需报告；拼写/合规须人工处理，报告落盘便于复查与喂给 agent 修复。 ### 二、健壮性修复（姊妹仓全量实测暴露的同款隐患） | 改动 | 内容 | |---|---| | scripts/oat_check.sh | eval 拼接改数组传参 + -f 加引——文件名含 ()/&/[]/空格时 eval 会打断 shell 致扫描假死/假过（本仓当前 0 此类文件名，防御性修复） | | scripts/format_cpp.sh | 目录不存在时原仅打印提示仍继续执行，改为报错退出（exit 1） | ### 三、策略与文档对齐 | 改动 | 内容 | |---|---| | OAT.xml | 豁免 requirements*.txt（依赖清单，双过滤器）、*.info（cmake help，双过滤器）——全量扫描 250→240，残留均为真实缺头债（增量消化） | | trailing-whitespace | 补 --markdown-linebreak-ext=md（防静默剥掉 md 双空格硬换行语法，实测：双空格保留、三空格收敛、单空格照删） | | .clang-format | PointerAlignment 改 **Left**（int* p 指针随类型，领导确认口径；引用 & 同规则）；年份 2025→2026 | ## 测试 - 全量 OAT 16 批真实扫描（无双误退出码）；缺头 py 拦截有效、豁免类型放行 - md 双空格保留实测通过；codespell 命中落盘、OAT 报告落盘且目录不被 git 跟踪 - 本提交自身过全部钩子（含 OAT）；yaml/xml/bash 语法全过 ## 留作仓主决策（本 PR 不动） - ruff --ignore 现行清单含 F841,F821,F401 等 F 系列——skills-dev 口径为「F 系列全启用抓真 bug」，两仓策略不同，建议仓主确认后另行统一 - third_party/catlass、third_party/opbase 下同名 oat_check.sh 为上游副本，未动 ## 类型标签 - [x] 🐛 Bug 修复 - [x] ✨ 特性增强 See merge request: cann/ops-transformer!12834	1 month ago
run_codespell.sh	ci(pre-commit): OAT 检查切换为远程 compliance hook Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !13627 merge moonep_8 into master ci(pre-commit): OAT 检查切换为远程 compliance hook Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/6573 ## 描述 #### 🔧 配置变更 按社区统一接入方式（issue #6573，chenyx_2012）切换：OAT 合规检查由「仓内自维护 oat_check.sh + repo: local」切换为「HiAgent/compliance 远程 Python hook」，业务仓不再维护 OAT 脚本，OAT 版本由 rev 标签（v1.0.6）统一管控。 ## 改动（3 文件） - .pre-commit-config.yaml：repo: local 的 oat-check 块替换为 repo: https://gitcode.com/HiAgent/compliance, rev: v1.0.6（id: oat-check，pass_filenames/stages/verbose 与原配置一致） - 删除 scripts/oat_check.sh（本地脚本退役） - .gitignore 补 oat_reports/（远程 hook 报告目录） ## 行为等价性评估（已读 compliance v1.0.6 源码） 本地脚本的全部修复点均由远程 hook 覆盖，且架构更优： | 本地脚本修复点 | 远程 hook 实现 | |---|---| | 120KB 分批（E2BIG 防护） | **in-process 调用**（import oat 直接跑 pipeline），无 subprocess argv 限制，问题不存在 | | RC=1 无报告阻断 | report_file.is_file() 守卫：无报告且 RC!=0 → return 1 阻断 ✅ | | 跨批次旧报告复用 | state_file 按 HEAD SHA 聚合 + lock，_cleanup_stale_run_state 清理同 HEAD 残留 ✅ | | done-marker 去重 | "one terminal report per HEAD" 终局报告模型 + CI 分批调度取代 ✅ | | OAT.xml 支持 | _resolve_oat_xml 读仓根 OAT.xml ✅ | ## 测试 - YAML 解析通过；pre-commit run oat-check 实测通过（hook 环境自动克隆 compliance 仓并安装 OAT） - 报告目录变化：pre_commit_reports/oat_result.txt → oat_reports/result.txt（已 gitignore） ## 类型标签 - [x] 🔧 配置变更 See merge request: cann/ops-transformer!13627	20 days ago