ops-transformer/scripts · weixin_54263091/ops-transformer

文件	最后提交记录	最后更新时间
ci	修复kernel编包 Co-authored-by: cui_jiahao<cuijiahao5@h-partners.com> # message auto-generated for no-merge-commit merge: !14645 merge master into master 修复kernel编包 Created-by: cui_jiahao Commit-by: cui_jiahao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!14645	18 小时前
kernel	Pre-Commit 规范整改 — 公共 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !5305 merge refactor into master Pre-Commit 规范整改 — 公共 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: pre-commit是一个Git Hooks框架，用于在`git commit`时自动运行代码检查和格式化工具。： \| Hook \| 功能 \| 说明 \| \|------\|------\|------\| \| clang-format \| C/C++ 代码格式化 \| 自动格式化代码，保持风格一致 \| \| OAT Check \| 开源合规检查 \| 检测许可证头、禁止二进制文件提交 \| 本PR对于公共文件进行了pre-commit检查 See merge request: cann/ops-transformer!5305	3 个月前
opgen	feat(aicpu): AICPU built-in整包准入manifest机制 Co-authored-by: qzzzy1<qiziyu2@huawei.com> # message auto-generated for no-merge-commit merge: !13861 merge feat/aicpu-builtin-package-manifest into master feat(aicpu): AICPU built-in整包准入manifest机制 Created-by: qzzzy1 Commit-by: qzzzy1 Merged-by: cann-robot Description: ## 描述新增aicpu_builtin_package_manifest.cmake策略文件，控制哪些AICPU算子在整包编译(--pkg)时打包device侧.so和json配置。 ## 关联的Issue 关联Issue [#6592](https://gitcode.com/cann/ops-transformer/issues/6592) ## 测试 \| TC-01 \| 整包编译（manifest 为空） \| ✅ \| `.run` 生成；无 libtransformer_aicpu_kernels.so / aicpu_transformer.json / cust_aicpu_kernel.json；日志 `No aicpu opdef/json files to merge, skipping.` + `No aicpu cust obj targets found, skipping.`（证明 built-in 路径已接线且被 manifest 门控） \| \| ------------- \| ----------------------------------------------------------- \| ----------------- \| ------------------------------------------------------------ \| \| TC-02 \| 自定义包回归（--ops + --vendor_name） \| ✅ \| `cust_aicpu_kernel.json` + so 落在 `packages/vendors/custom_transformer/op_impl/cpu/{config,aicpu_kernel/impl}`，与改动前行为一致，manifest 条目被忽略 \| \| TC-05 \| UT 编译回归（-u --noexec） \| ✅ \| `AddAicpuOpTestCase` 正常、`*_cases_obj` UT 目标生成；manifest 为 FORCE_ALL=ON + 无效条目时 UT 仍不受影响（UT 模式 ENABLE_BUILT_IN=OFF → 恒准入） \| \| TC-10 \| manifest 准入 json 型算子（flash_attn_metadata=ON） \| ✅ \| 仅该算子进入产物 \| \| TC-11 \| manifest 准入 OpDef 型算子（attention_worker_scheduler=ON） \| ✅ \| OpDef→ini→json 链路走通，`aicpu_transformer_opdef_kernel.json` 中间产物生成 \| \| TC-10+11 联合 \| 两类算子混合准入 \| ✅ \| `aicpu_transformer.json` 含 `['AttentionWorkerScheduler', 'FlashAttnMetadata']`（两来源合并正确）；json 元数据 `kernelSo=libtransformer_aicpu_kernels.so`、`engine=DNN_VM_AICPU`、`opKernelLib=CUSTAICPUKernel` 正确 \| \| TC-13 \| FORCE_ALL=ON 全量放开 \| ✅ \| 范围内 aicpu 算子全部准入，产物正常 \| \| TC-14 \| 无效条目（不存在的算子/大小写错误） \| ✅ \| `"nonexistent_op=ON"`、`"Cumsum=ON"` 不报错、不产出 \| \| TC-15 \| --noaicpu \| ✅ \| `disable aicpu kernel xxx, skip it.` 两算子整体跳过，包内 0 个 aicpu 文件，FORCE_ALL=ON 也不生效 \| \| TC-21 \| 整包安装（manifest 为空） \| ✅ \| `--install-path --full --quiet` 安装成功，安装树中无任何 aicpu 路径 \| \| TC-22 \| 整包安装（manifest ON）+ 产物检查 \| ✅ \| `cann/opp/built-in/op_impl/aicpu/config/aicpu_transformer.json` + `cann/opp/built-in/op_impl/aicpu/kernel/libtransformer_aicpu_kernels.so` 存在；`file` 确认 ARM aarch64；`readelf` 确认 BIND_NOW + GNU_RELRO；`strings` 确认两个 kernel 源文件均在 so 内 \| \| TC-18/19 \| 匹配大小写敏感/value 非 ON \| ✅（代码路径覆盖） \| TC-14 中 "Cumsum=ON"（大小写错）未准入即为证明；STREQUAL 精确匹配 \| ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!13861	4 天前
package	fix: whl安装移动到 install_common_parser 前面，先安装whl包再统一权限规范 Co-authored-by: q00889097<qinhan10@huawei.com> # message auto-generated for no-merge-commit merge: !13948 merge master into master fix: whl安装移动到 install_common_parser 前面，先安装whl包再统一权限规范 Created-by: qinhan123 Commit-by: q00889097 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 本次改动调整了 opp_install.sh 中 whl 包的安装顺序，将 install_es_whl 的调用从 add_init_py 之后提前到 install_whl_package 之后、install_common_parser.sh 之前，目的是先安装 whl 包、再由统一的 install_common_parser 规范权限。同时把原先位于 install_es_whl 内的 ${TARGET_VERSION_DIR}/ops_transformer 目录删除逻辑迁移到 add_init_py 中执行。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!13948	8 天前
util	feat(attention): ScatterPaKvCache/GatherPaKvCache支持Ascend960 Co-authored-by: yu_qinfei<yuqinfei1@h-partners.com> # message auto-generated for no-merge-commit merge: !13478 merge kvCache_support960 into master feat(attention): ScatterPaKvCache/GatherPaKvCache支持Ascend960 Created-by: yu_qinfei Commit-by: yu_qinfei Merged-by: cann-robot Description: ## 描述新增 ScatterPaKvCache / GatherPaKvCache 两个算子的 Ascend960 平台支持（950/350 实现保持原有不动）。 scatter_pa_kv_cache（含960专属kernel实现）： - 新增 `op_kernel/arch92/` 960 kernel实现（HIFLOAT4、OffsetDtype ScatterDMA、ubBlockFactor分块） - `apt.cpp` 按 `__NPU_ARCH__==9201` 编译期分流 arch92/arch35 入口 - host侧不新增目录：`ScatterPaKvCacheTiling92` 类声明并入 `scatter_pa_kv_cache_tiling.h`，实现并入 `scatter_pa_kv_cache_tiling_arch35.cpp`，tiling入口按 `GetCurNpuArch()==DAV_9201` 运行时分流，950/350沿用原 `ScatterPaKvCacheTiling` - `def.cpp` 新增 ascend960dt 配置与 DataType_960 等向量；新增 `config/ascend960dt` 配置；`proto.h` 新增 DT_HIFLOAT4；aclnn 新增 KEY_VALUE_DTYPE_SUPPORT_LIST_960 gather_pa_kv_cache（无960专属kernel实现，复用现有kernel与tiling）： - tiling 新增 isAscend96_ 平台识别与 FP4 dtype 支持（KV_SUPPORT_DTYPE_96、尾轴偶数校验、NZ字节折半对齐） - `def.cpp` 新增 ascend960dt 配置；`proto.h` 新增 DT_FLOAT4_E2M1/DT_FLOAT4_E1M2/DT_HIFLOAT4；新增 `config/ascend960dt` 配置其他：修正 tiling_base 引用路径（`op_host/` → `tiling_base/`）；修正 GatherPaKvCache 文档笔误。 ## 关联的Issue #5896 https://gitcode.com/cann/ops-transformer/issues/5896 ## 测试无新增测试用例（回蓝代码）。 ## 文档更新 - 更新 `attention/gather_pa_kv_cache/docs/aclnnGatherPaKvCache.md`：dtype 支持列表与 PA_NZ 模式说明更新，修正笔误 ## 类型标签 - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!13478	8 天前
check_duplicate_headers.sh	整改仓内+安装重名头文件 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !11266 merge clear_h into master 整改仓内+安装重名头文件 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述整改仓内及安装场景下的重名头文件冲突，避免同名头文件在编译包含路径或安装打包时互相覆盖。改动原因 - 仓内 `attention/`、`gmm/`、示例工程等存在 basename 相同的头文件，易在统一 include 搜索路径下发生错误包含。 - 与 `third_party`（如 catlass）及主仓多算子之间存在安装侧重名，可能覆盖安装产物。采取的方法 1. 仓内重名（`637b7145f`）：对易冲突头文件按模块加前缀消歧，并同步更新引用，例如： - BSA / GBSA：`block_epilogue_` / `block_mmad_` → `bsa_` / `gbsa_` - recurrent_kda：`recurrent_kda.h` → `recurrent_kda_arch22.h` / `recurrent_kda_arch35.h` - grouped_matmul：`grouped_matmul_kernel.h` → `grouped_matmul_kernel_arch35.h` / `fkl_grouped_matmul_kernel.h` 等 - metadata：`generic_block_sparse_attention_metadata.h` → `generic_block_sparse_attention_metadata_tiling.h` 2. 安装重名（`975ffde47`）：对 GBSA/BSA/GMM 基础设施头文件统一加模块前缀（`gbsa_` / `bsa_` / `gmm_`，epilogue/gemm/tla 再细分），`git mv` 后批量更新 `#include`；不改 `experimental/` 与 `third_party/`。 3. 同步调整 `scripts/check_duplicate_headers.sh` 等相关引用。范围说明：本次仅为头文件重命名与 include 路径同步，无业务逻辑变更（约 151 个文件，增删对等）。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5037 ## 测试 ## 文档更新 ## 类型标签 - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!11266	1 个月前
download_3rd_party.sh	fix: 修复离线场景三方件下载与在线构建URL不一致问题 Co-authored-by: Leeshoujem<michael.lixiaojie@huawei.com> # message auto-generated for no-merge-commit merge: !14028 merge fix/offline-3rd-party-download into master fix: 修复离线场景三方件下载与在线构建URL不一致问题 Created-by: Leeshoujem Commit-by: Leeshoujem Merged-by: cann-robot Description: ## 描述 fix: 修复离线场景三方件下载与在线构建URL不一致问题 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!14028	7 天前
format_cpp.sh	feat(pre-commit): 拦截类钩子报告统一落盘 pre-commit_reports + 健壮性与策略对齐 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !12834 merge fix_2 into master feat(pre-commit): 拦截类钩子报告统一落盘 pre-commit_reports + 健壮性与策略对齐 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5016 ## 描述 #### 🐛 Bug 修复 / ✨ 特性增强围绕既有 pre-commit 体系的三处完善（8 文件 +38/-12，1 笔提交）：拦截类钩子报告落盘、脚本健壮性修复、策略与文档对齐。全部经 `--all-files` 全量实测校准。 ### 一、拦截类钩子报告统一落盘 `pre-commit_reports/`（不入 git） \| 改动 \| 内容 \| \|---\|---\| \| `scripts/run_codespell.sh`（新增） \| codespell 输出 tee 到 `pre-commit_reports/codespell.log`（entry 覆写仍跑托管 venv，`PIPESTATUS` 保退出码） \| \| `.pre-commit-config.yaml` \| codespell entry 指向包装脚本 \| \| `scripts/oat_check.sh` \| 报告落点 `oat_reports/result.txt` → `pre-commit_reports/oat_result.txt`（单文件与批量两条写路径同步） \| \| `.gitignore` \| `oat_reports/` → `pre-commit_reports/` \| \| `docs/zh/develop/pre-commit_guide.md` \| 失败排查节补报告位置说明 \| 自动修类钩子（clang-format/ruff）直接改好文件无需报告；拼写/合规须人工处理，报告落盘便于复查与喂给 agent 修复。 ### 二、健壮性修复（姊妹仓全量实测暴露的同款隐患） \| 改动 \| 内容 \| \|---\|---\| \| `scripts/oat_check.sh` \| `eval` 拼接改数组传参 + `-f` 加引——文件名含 `()`/`&`/`[]`/空格时 eval 会打断 shell 致扫描假死/假过（本仓当前 0 此类文件名，防御性修复） \| \| `scripts/format_cpp.sh` \| 目录不存在时原仅打印提示仍继续执行，改为报错退出（exit 1） \| ### 三、策略与文档对齐 \| 改动 \| 内容 \| \|---\|---\| \| `OAT.xml` \| 豁免 `requirements.txt`（依赖清单，双过滤器）、`.info`（cmake help，双过滤器）——全量扫描 250→240，残留均为真实缺头债（增量消化） \| \| `trailing-whitespace` \| 补 `--markdown-linebreak-ext=md`（防静默剥掉 md 双空格硬换行语法，实测：双空格保留、三空格收敛、单空格照删） \| \| `.clang-format` \| `PointerAlignment` 改 Left（`int* p` 指针随类型，领导确认口径；引用 `&` 同规则）；年份 2025→2026 \| ## 测试 - 全量 OAT 16 批真实扫描（无双误退出码）；缺头 py 拦截有效、豁免类型放行 - md 双空格保留实测通过；codespell 命中落盘、OAT 报告落盘且目录不被 git 跟踪 - 本提交自身过全部钩子（含 OAT）；yaml/xml/bash 语法全过 ## 留作仓主决策（本 PR 不动） - ruff `--ignore` 现行清单含 `F841,F821,F401` 等 F 系列——skills-dev 口径为「F 系列全启用抓真 bug」，两仓策略不同，建议仓主确认后另行统一 - `third_party/catlass`、`third_party/opbase` 下同名 oat_check.sh 为上游副本，未动 ## 类型标签 - [x] 🐛 Bug 修复 - [x] ✨ 特性增强 See merge request: cann/ops-transformer!12834	28 天前
run_codespell.sh	ci(pre-commit): OAT 检查切换为远程 compliance hook Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !13627 merge moonep_8 into master ci(pre-commit): OAT 检查切换为远程 compliance hook Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/6573 ## 描述 #### 🔧 配置变更按社区统一接入方式（issue #6573，chenyx_2012）切换：OAT 合规检查由「仓内自维护 oat_check.sh + repo: local」切换为「HiAgent/compliance 远程 Python hook」，业务仓不再维护 OAT 脚本，OAT 版本由 rev 标签（v1.0.6）统一管控。 ## 改动（3 文件） - `.pre-commit-config.yaml`：`repo: local` 的 oat-check 块替换为 `repo: https://gitcode.com/HiAgent/compliance, rev: v1.0.6`（id: oat-check，pass_filenames/stages/verbose 与原配置一致） - 删除 `scripts/oat_check.sh`（本地脚本退役） - `.gitignore` 补 `oat_reports/`（远程 hook 报告目录） ## 行为等价性评估（已读 compliance v1.0.6 源码）本地脚本的全部修复点均由远程 hook 覆盖，且架构更优： \| 本地脚本修复点 \| 远程 hook 实现 \| \|---\|---\| \| 120KB 分批（E2BIG 防护） \| in-process 调用（import oat 直接跑 pipeline），无 subprocess argv 限制，问题不存在 \| \| RC=1 无报告阻断 \| `report_file.is_file()` 守卫：无报告且 RC!=0 → return 1 阻断 ✅ \| \| 跨批次旧报告复用 \| state_file 按 HEAD SHA 聚合 + lock，`_cleanup_stale_run_state` 清理同 HEAD 残留 ✅ \| \| done-marker 去重 \| "one terminal report per HEAD" 终局报告模型 + CI 分批调度取代 ✅ \| \| OAT.xml 支持 \| `_resolve_oat_xml` 读仓根 OAT.xml ✅ \| ## 测试 - YAML 解析通过；`pre-commit run oat-check` 实测通过（hook 环境自动克隆 compliance 仓并安装 OAT） - 报告目录变化：`pre_commit_reports/oat_result.txt` → `oat_reports/result.txt`（已 gitignore） ## 类型标签 - [x] 🔧 配置变更 See merge request: cann/ops-transformer!13627	1 天前