master

cann-robotci: refresh examples and ut completeness check

eb698729Add on 9 days agoHistory

Files	Last commit	Last update
ci	ci: refresh examples and ut completeness check Co-authored-by: NewCoderChenxi<chenxi116@huawei.com> # message auto-generated for no-merge-commit merge: !15020 merge codex/check-examples-ut-20261031 into master ci: refresh examples and ut completeness check Created-by: mayafei Commit-by: NewCoderChenxi Merged-by: cann-robot Description: ## 描述 原检查 PR 分支已再次落后目标分支较多提交。本 PR 以最新 cann/ops-transformer:master 为基线，重新应用算子 examples / tests/ut 完整性检查能力，避免旧分支基线过期导致合并冲突或覆盖最新 CI 配置。 改动内容： - 新增 scripts/ci/check_examples_ut.py：检查正式算子是否有有效 examples 和非空 tests/ut，并输出 build/check_examples_ut.csv。 - 在 .gitcode/workflows/ops-transformer_action.yml 的 stage2/compile 中新增 JOB_check_examples_ut，读取 pr_filelist.txt 执行检查，并在 always() 下上传报告。 - 保留最新 master 上已有的 workflow 配置，仅新增本检查 Job。 ## 关联的Issue 无。 ## 测试 - 基于最新 master 提交 0758c58f81ec8d5fc86166f64f10640d48da8dba 创建分支。 - Python 脚本通过 py_compile 语法检查。 - git diff --check 通过。 - 变更范围为 2 个文件：CI workflow 和检查脚本。 - 依赖 PR CI 执行完整的增量扫描和报告上传验证。 ## 文档更新 无。 ## 类型标签 - [x] 🧪 测试 - [x] 📦 构建/CI See merge request: cann/ops-transformer!15020	9 days ago
kernel	Pre-Commit 规范整改 — 公共 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !5305 merge refactor into master Pre-Commit 规范整改 — 公共 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: pre-commit是一个Git Hooks框架，用于在git commit时自动运行代码检查和格式化工具。： | Hook | 功能 | 说明 | |------|------|------| | **clang-format** | C/C++ 代码格式化 | 自动格式化代码，保持风格一致 | | **OAT Check** | 开源合规检查 | 检测许可证头、禁止二进制文件提交 | 本PR对于公共文件进行了pre-commit检查 See merge request: cann/ops-transformer!5305	3 months ago
opgen	feat(aicpu): AICPU built-in整包准入manifest机制 Co-authored-by: qzzzy1<qiziyu2@huawei.com> # message auto-generated for no-merge-commit merge: !13861 merge feat/aicpu-builtin-package-manifest into master feat(aicpu): AICPU built-in整包准入manifest机制 Created-by: qzzzy1 Commit-by: qzzzy1 Merged-by: cann-robot Description: ## 描述 新增aicpu_builtin_package_manifest.cmake策略文件，控制哪些AICPU算子在整包编译(--pkg)时打包device侧.so和json配置。 ## 关联的Issue 关联Issue [#6592](https://gitcode.com/cann/ops-transformer/issues/6592) ## 测试 | TC-01 | 整包编译（manifest 为空） | ✅ | .run 生成；无 libtransformer_aicpu_kernels.so / aicpu_transformer.json / cust_aicpu_kernel.json；日志 No aicpu opdef/json files to merge, skipping. + No aicpu cust obj targets found, skipping.（证明 built-in 路径已接线且被 manifest 门控） | | ------------- | ----------------------------------------------------------- | ----------------- | ------------------------------------------------------------ | | TC-02 | 自定义包回归（--ops + --vendor_name） | ✅ | cust_aicpu_kernel.json + so 落在 packages/vendors/custom_transformer/op_impl/cpu/{config,aicpu_kernel/impl}，与改动前行为一致，manifest 条目被忽略 | | TC-05 | UT 编译回归（-u --noexec） | ✅ | AddAicpuOpTestCase 正常、*_cases_obj UT 目标生成；manifest 为 FORCE_ALL=ON + 无效条目时 UT 仍不受影响（UT 模式 ENABLE_BUILT_IN=OFF → 恒准入） | | TC-10 | manifest 准入 json 型算子（flash_attn_metadata=ON） | ✅ | 仅该算子进入产物 | | TC-11 | manifest 准入 OpDef 型算子（attention_worker_scheduler=ON） | ✅ | OpDef→ini→json 链路走通，aicpu_transformer_opdef_kernel.json 中间产物生成 | | TC-10+11 联合 | 两类算子混合准入 | ✅ | aicpu_transformer.json 含 ['AttentionWorkerScheduler', 'FlashAttnMetadata']（两来源合并正确）；json 元数据 kernelSo=libtransformer_aicpu_kernels.so、engine=DNN_VM_AICPU、opKernelLib=CUSTAICPUKernel 正确 | | TC-13 | FORCE_ALL=ON 全量放开 | ✅ | 范围内 aicpu 算子全部准入，产物正常 | | TC-14 | 无效条目（不存在的算子/大小写错误） | ✅ | "nonexistent_op=ON"、"Cumsum=ON" 不报错、不产出 | | TC-15 | --noaicpu | ✅ | disable aicpu kernel xxx, skip it. 两算子整体跳过，包内 0 个 aicpu 文件，FORCE_ALL=ON 也不生效 | | TC-21 | 整包安装（manifest 为空） | ✅ | --install-path --full --quiet 安装成功，安装树中无任何 aicpu 路径 | | TC-22 | 整包安装（manifest ON）+ 产物检查 | ✅ | cann/opp/built-in/op_impl/aicpu/config/aicpu_transformer.json + cann/opp/built-in/op_impl/aicpu/kernel/libtransformer_aicpu_kernels.so 存在；file 确认 ARM aarch64；readelf 确认 BIND_NOW + GNU_RELRO；strings 确认两个 kernel 源文件均在 so 内 | | TC-18/19 | 匹配大小写敏感/value 非 ON | ✅（代码路径覆盖） | TC-14 中 "Cumsum=ON"（大小写错）未准入即为证明；STREQUAL 精确匹配 | ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!13861	17 days ago
package	fix: whl安装移动到 install_common_parser 前面，先安装whl包再统一权限规范 Co-authored-by: q00889097<qinhan10@huawei.com> # message auto-generated for no-merge-commit merge: !13948 merge master into master fix: whl安装移动到 install_common_parser 前面，先安装whl包再统一权限规范 Created-by: qinhan123 Commit-by: q00889097 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 本次改动调整了 opp_install.sh 中 whl 包的安装顺序，将 install_es_whl 的调用从 add_init_py 之后提前到 install_whl_package 之后、install_common_parser.sh 之前，目的是先安装 whl 包、再由统一的 install_common_parser 规范权限。同时把原先位于 install_es_whl 内的 ${TARGET_VERSION_DIR}/ops_transformer 目录删除逻辑迁移到 add_init_py 中执行。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!13948	21 days ago
util	960芯片型号支持 Co-authored-by: yangyajie<yangyajie3@huawei.com> # message auto-generated for no-merge-commit merge: !14638 merge master into master 960芯片型号支持 Created-by: yangyajie Commit-by: yangyajie Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!14638	11 days ago
check_duplicate_headers.sh	整改仓内+安装重名头文件 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !11266 merge clear_h into master 整改仓内+安装重名头文件 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 整改仓内及安装场景下的重名头文件冲突，避免同名头文件在编译包含路径或安装打包时互相覆盖。 **改动原因** - 仓内 attention/、gmm/、示例工程等存在 basename 相同的头文件，易在统一 include 搜索路径下发生错误包含。 - 与 third_party（如 catlass）及主仓多算子之间存在安装侧重名，可能覆盖安装产物。 **采取的方法** 1. **仓内重名**（637b7145f）：对易冲突头文件按模块加前缀消歧，并同步更新引用，例如： - BSA / GBSA：block_epilogue_* / block_mmad_* → bsa_* / gbsa_* - recurrent_kda：recurrent_kda.h → recurrent_kda_arch22.h / recurrent_kda_arch35.h - grouped_matmul：grouped_matmul_kernel.h → grouped_matmul_kernel_arch35.h / fkl_grouped_matmul_kernel.h 等 - metadata：generic_block_sparse_attention_metadata.h → generic_block_sparse_attention_metadata_tiling.h 2. **安装重名**（975ffde47）：对 GBSA/BSA/GMM 基础设施头文件统一加模块前缀（gbsa_ / bsa_ / gmm_，epilogue/gemm/tla 再细分），git mv 后批量更新 #include；**不改** experimental/ 与 third_party/。 3. 同步调整 scripts/check_duplicate_headers.sh 等相关引用。 **范围说明**：本次仅为头文件重命名与 include 路径同步，无业务逻辑变更（约 151 个文件，增删对等）。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5037 ## 测试 ## 文档更新 ## 类型标签 - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!11266	2 months ago
download_3rd_party.sh	fix: 修复离线场景三方件下载与在线构建URL不一致问题 Co-authored-by: Leeshoujem<michael.lixiaojie@huawei.com> # message auto-generated for no-merge-commit merge: !14028 merge fix/offline-3rd-party-download into master fix: 修复离线场景三方件下载与在线构建URL不一致问题 Created-by: Leeshoujem Commit-by: Leeshoujem Merged-by: cann-robot Description: ## 描述 fix: 修复离线场景三方件下载与在线构建URL不一致问题 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!14028	20 days ago
format_cpp.sh	feat(pre-commit): 拦截类钩子报告统一落盘 pre-commit_reports + 健壮性与策略对齐 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !12834 merge fix_2 into master feat(pre-commit): 拦截类钩子报告统一落盘 pre-commit_reports + 健壮性与策略对齐 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5016 ## 描述 #### 🐛 Bug 修复 / ✨ 特性增强 围绕既有 pre-commit 体系的三处完善（8 文件 +38/-12，1 笔提交）：**拦截类钩子报告落盘**、**脚本健壮性修复**、**策略与文档对齐**。全部经 --all-files 全量实测校准。 ### 一、拦截类钩子报告统一落盘 pre-commit_reports/（不入 git） | 改动 | 内容 | |---|---| | scripts/run_codespell.sh（新增） | codespell 输出 tee 到 pre-commit_reports/codespell.log（entry 覆写仍跑托管 venv，PIPESTATUS 保退出码） | | .pre-commit-config.yaml | codespell entry 指向包装脚本 | | scripts/oat_check.sh | 报告落点 oat_reports/result.txt → pre-commit_reports/oat_result.txt（单文件与批量两条写路径同步） | | .gitignore | oat_reports/ → pre-commit_reports/ | | docs/zh/develop/pre-commit_guide.md | 失败排查节补报告位置说明 | 自动修类钩子（clang-format/ruff）直接改好文件无需报告；拼写/合规须人工处理，报告落盘便于复查与喂给 agent 修复。 ### 二、健壮性修复（姊妹仓全量实测暴露的同款隐患） | 改动 | 内容 | |---|---| | scripts/oat_check.sh | eval 拼接改数组传参 + -f 加引——文件名含 ()/&/[]/空格时 eval 会打断 shell 致扫描假死/假过（本仓当前 0 此类文件名，防御性修复） | | scripts/format_cpp.sh | 目录不存在时原仅打印提示仍继续执行，改为报错退出（exit 1） | ### 三、策略与文档对齐 | 改动 | 内容 | |---|---| | OAT.xml | 豁免 requirements*.txt（依赖清单，双过滤器）、*.info（cmake help，双过滤器）——全量扫描 250→240，残留均为真实缺头债（增量消化） | | trailing-whitespace | 补 --markdown-linebreak-ext=md（防静默剥掉 md 双空格硬换行语法，实测：双空格保留、三空格收敛、单空格照删） | | .clang-format | PointerAlignment 改 **Left**（int* p 指针随类型，领导确认口径；引用 & 同规则）；年份 2025→2026 | ## 测试 - 全量 OAT 16 批真实扫描（无双误退出码）；缺头 py 拦截有效、豁免类型放行 - md 双空格保留实测通过；codespell 命中落盘、OAT 报告落盘且目录不被 git 跟踪 - 本提交自身过全部钩子（含 OAT）；yaml/xml/bash 语法全过 ## 留作仓主决策（本 PR 不动） - ruff --ignore 现行清单含 F841,F821,F401 等 F 系列——skills-dev 口径为「F 系列全启用抓真 bug」，两仓策略不同，建议仓主确认后另行统一 - third_party/catlass、third_party/opbase 下同名 oat_check.sh 为上游副本，未动 ## 类型标签 - [x] 🐛 Bug 修复 - [x] ✨ 特性增强 See merge request: cann/ops-transformer!12834	1 month ago
run_codespell.sh	ci(pre-commit): OAT 检查切换为远程 compliance hook Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !13627 merge moonep_8 into master ci(pre-commit): OAT 检查切换为远程 compliance hook Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/6573 ## 描述 #### 🔧 配置变更 按社区统一接入方式（issue #6573，chenyx_2012）切换：OAT 合规检查由「仓内自维护 oat_check.sh + repo: local」切换为「HiAgent/compliance 远程 Python hook」，业务仓不再维护 OAT 脚本，OAT 版本由 rev 标签（v1.0.6）统一管控。 ## 改动（3 文件） - .pre-commit-config.yaml：repo: local 的 oat-check 块替换为 repo: https://gitcode.com/HiAgent/compliance, rev: v1.0.6（id: oat-check，pass_filenames/stages/verbose 与原配置一致） - 删除 scripts/oat_check.sh（本地脚本退役） - .gitignore 补 oat_reports/（远程 hook 报告目录） ## 行为等价性评估（已读 compliance v1.0.6 源码） 本地脚本的全部修复点均由远程 hook 覆盖，且架构更优： | 本地脚本修复点 | 远程 hook 实现 | |---|---| | 120KB 分批（E2BIG 防护） | **in-process 调用**（import oat 直接跑 pipeline），无 subprocess argv 限制，问题不存在 | | RC=1 无报告阻断 | report_file.is_file() 守卫：无报告且 RC!=0 → return 1 阻断 ✅ | | 跨批次旧报告复用 | state_file 按 HEAD SHA 聚合 + lock，_cleanup_stale_run_state 清理同 HEAD 残留 ✅ | | done-marker 去重 | "one terminal report per HEAD" 终局报告模型 + CI 分批调度取代 ✅ | | OAT.xml 支持 | _resolve_oat_xml 读仓根 OAT.xml ✅ | ## 测试 - YAML 解析通过；pre-commit run oat-check 实测通过（hook 环境自动克隆 compliance 仓并安装 OAT） - 报告目录变化：pre_commit_reports/oat_result.txt → oat_reports/result.txt（已 gitignore） ## 类型标签 - [x] 🔧 配置变更 See merge request: cann/ops-transformer!13627	14 days ago