asc-devkit/scripts · houyuyang/asc-devkit

cann-robot[master] 同步 6612 兼容修复并移除 hccl.h 打包安装

Files	Last commit	Last update
custom	扩展pre-commit hooks (第三批目录) Co-authored-by: Water8L<15279328600@163.com> # message auto-generated for no-merge-commit merge: !4195 merge master into master 扩展pre-commit hooks (第三批目录) Created-by: Water8L Commit-by: Water8L Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 在.pre-commit-config.yaml中根据trailing-whitespace和end-of-file-fixer hook，修改剩下全部目录中对应不合规范的文件 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #xxx--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 fix: Bug 修复 - [x] ✨ feat: 新功能 - [ ] ⚡ perf: 性能优化 - [ ] ♻️ refactor: 代码重构 - [ ] 🧪 test: 新增或修改测试 - [ ] 📝 docs: 文档更新 - [ ] 🔧 ci: CI/CD 配置修改 - [ ] ↩️ revert: 回退 - [ ] 🧹 chore: 其他，请具体描述 See merge request: cann/asc-devkit!4195	3 months ago
package	[master] 同步 6612 兼容修复并移除 hccl.h 打包安装 Co-authored-by: jiangxinyu3<jiangxinyu3@hisilicon.com> # message auto-generated for no-merge-commit merge: !6644 merge fix/master-preserve-hccl-header into master [master] 同步 6612 兼容修复并移除 hccl.h 打包安装 Created-by: jiangxinyu3 Commit-by: jiangxinyu3 Merged-by: cann-robot Description: ## 描述同步 PR #6612 的兼容修复到 master，并移除 PR #6628 临时恢复的 hccl.h 打包安装。新版 asc-devkit 调用已安装旧包的卸载脚本前，检查同一安装环境的 share/info/hccl。若 HCCL 已安装，则从旧 asc-devkit 的 filelist.csv 中移除 include/hccl/hccl.h 文件记录，避免旧卸载流程误删 HCCL 头文件；未安装 HCCL 时保持原清单。覆盖普通旧包卸载与非多版本迁移两条路径，清单修正失败时终止操作。同时删除 host 侧 hccl.h 的 CMake 安装规则，以及 AscHcclLib.xml 中 include/hccl 目录和 hccl.h 文件登记，asc-devkit 不再共同安装和卸载该共享头文件。本次修复覆盖 asc-devkit 直接安装、升级和卸载入口。toolkit 整包升级的旧环境整体卸载，以及 --full 切换 cann 版本目录后的 ops/HCCL 衔接问题不在本 PR 范围内。 ## 关联 PR - https://gitcode.com/cann/asc-devkit/pull/6612 - https://gitcode.com/cann/asc-devkit/pull/6628 ## 验证 - 两个安装脚本与 PR #6612 提交 c9d0160d9e2ca5044724191e832c57a258805f0d 完全一致。 - A5_2p Linux 临时目录脚本回归：9 项通过，覆盖过滤精度、元数据保留、幂等、环境隔离、两条卸载路径和失败传播；旧卸载器使用测试夹具。 - Shell 语法检查、XML 解析及打包安装项移除检查、git diff --check 通过。 - 未执行本次 master 修改的 CANN 编译打包、真实安装包升级或 NPU 验证。 See merge request: cann/asc-devkit!6644	24 days ago
presmoke	删除冒烟任务中histogram的失效路径 Co-authored-by: cgcaof<caochenguang1@h-partners.com> # message auto-generated for no-merge-commit merge: !6630 merge master into master 删除冒烟任务中histogram的失效路径 Created-by: cgcaof Commit-by: cgcaof Merged-by: cann-robot Description: ## 描述删除冒烟任务中histogram的失效路径 ./scripts/presmoke/cases/03_simt_api/02_features/01_api_features/02_atomic_operation/histogram 已经迁移到其他路径 ## 关联的Issue 不涉及 ## 测试不涉及 ## 文档更新不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 fix: Bug 修复 - [ ] ✨ feat: 新功能 - [ ] ⚡ perf: 性能优化 - [ ] ♻️ refactor: 代码重构 - [ ] 🧪 test: 新增或修改测试 - [ ] 📝 docs: 文档更新 - [ ] 🔧 ci: CI/CD 配置修改 - [ ] ↩️ revert: 回退 - [ ] 🧹 chore: 其他，请具体描述 See merge request: cann/asc-devkit!6630	29 days ago
update_version_info	适配子包构建和安装时的一些新特性 Co-authored-by: DragonBornHD84<huangduo4@hisilicon.com>	10 months ago
util	style: ruff 配置行宽 120 并关闭 magic trailing comma Co-authored-by: zhangyujia77<zhangyujia37@huawei.com> # message auto-generated for no-merge-commit merge: !6286 merge style/ruff-line-length-120 into master style: ruff 配置行宽 120 并关闭 magic trailing comma Created-by: zhangyujia77 Commit-by: zhangyujia77 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ruff.toml 新增两项配置并据此重排全仓 Python 代码： `line-length = 120 行宽从默认 88 放宽到 120 [format] skip-magic-trailing-comma = true 忽略末尾逗号的强制展开语义` ### 为什么改 line-length ruff 的 `line-length` 此前从未在仓库任何地方配置过 —— `ruff.toml` 只设了`target-version`,全仓搜 `line-length` 零命中,pre-commit 的 ruff hook 也没传参。所以生效值 88 是 ruff 内置默认(沿用 Black 的约定),不是评估过的技术决策: `$ ruff check --show-settings Settings path: ".../asc-devkit/ruff.toml" linter.line_length = 88` 120 有三层依据: 1. 本仓 C++ 侧已定 120 —— `.clang-format: ColumnLimit: 120`。同一仓库 C++ 120、Python 88 本身不一致。 2. CANN 生态其余 Python 仓统一为 120 —— `pyasc`、`pypto`、`pto-isa`、`ops-test-kit`、`vllm-ascend`(ruff),`torch_npu`、`pytorch`(flake8)。asc-devkit 是其中唯一没配的。 3. 本仓 Python 历史上事实遵守 120 —— ruff-format 落地前,非空行 P99.5 = 119,99.82% 的行 ≤ 120;超 120 的 38 行基本是嵌在 Python 里的 C++ 模板与宏定义。 88 列会把多参数调用强制拆成逐参数一行,一条语句常常变 3-5 行: `python # 前(1 行) raise RuntimeError("Length of ASCENDC_TPL_UINT_{} {} is too short.".format(self.macro_type, self.name)) # 后(5 行) raise RuntimeError( "Length of ASCENDC_TPL_UINT_{} {} is too short.".format( self.macro_type, self.name ) )` ### 为什么关 magic trailing comma 末尾逗号会让 ruff-format 强制保持展开,即使该行放得下。统计范围内现存 886 处此类逗号,绝大多数是 88 列时期 ruff 自己折行时补上的,并非作者意图 ——换到 120 列后这些调用本可收拢,却因那个自动留下的逗号继续保持展开。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #xxx--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 fix: Bug 修复 - [ ] ✨ feat: 新功能 - [ ] ⚡ perf: 性能优化 - [ ] ♻️ refactor: 代码重构 - [ ] 🧪 test: 新增或修改测试 - [ ] 📝 docs: 文档更新 - [ ] 🔧 ci: CI/CD 配置修改 - [ ] ↩️ revert: 回退 - [x] 🧹 chore: 代码格式修改 See merge request: cann/asc-devkit!6286	1 month ago
devkit_dir_check.sh	Add presmoke runner and validation reports Co-authored-by: xun_zhuge<zhugexun@hisilicon.com> # message auto-generated for no-merge-commit merge: !2900 merge presmoke_opt into master Add presmoke runner and validation reports Created-by: xun_zhuge Commit-by: xun_zhuge Merged-by: cann-robot Description: ## 描述本 PR 将 presmoke 看护入口收敛到 `scripts/run_presmoke.sh`，用于统一 910B/950 全量看护和单 case 调试，同时保留旧脚本调用方依赖的成功/失败输出约定。主要变更： - `scripts/run_presmoke.sh` 作为统一入口，默认不带参数时仍按 910B NPU 模式执行。 - 成功时输出 `execute samples success`，失败时输出 `execute samples failed` 并返回非 0。 - 支持固定调度顺序，尽量降低 NPU 队列空闲时间。 - 全量运行前清理 CANN `opp/vendors` 下已安装自定义算子包，避免历史安装污染。 - 保留自定义算子依赖顺序：`custom_op_static_lib`、`parallel_ops_package`、`custom_op` 以及依赖 custom op 的 aclnn/aclop/onnx/tiling_sink 等 case 按依赖顺序执行。 - 报告统一输出到 `presmoke_reports/`，包含最终汇总、case timing、失败列表和 stage 日志。 - `npu-smi info` 仅作为元信息采集，增加短超时保护，避免收尾阶段卡住。 - CPU 模式改为显式 opt-in，可通过 `MODES=cpu` 或 `MODE=cpu` 启用。 ## 关联的Issue 无。 ## 测试本地检查： `bash bash -n scripts/run_presmoke.sh PYTHONPATH=scripts python3 -m unittest discover -s scripts/presmoke/tests -v git diff --check` 910B 全量 NPU 看护验证： `bash ARCH=dav-2201 MODES=npu PRIMARY_CARD=7 RETRY_CARDS="1 2 3 4 5 6" bash scripts/run_presmoke.sh` 结果： - planned：170 - pass/fail/skip：168/0/2 - elapsed：667s - NPU busy/idle：665.697s / 0.893s - NPU utilization：99.9% - effective status：PASS 950 全量 NPU 看护验证： `bash ARCH=dav-3510 MODES=npu PRIMARY_CARD=0 bash scripts/run_presmoke.sh` 结果： - planned：249 - pass/fail/skip：244/3/2 - elapsed：1758s - NPU busy/idle：1757.458s / 0.812s - NPU utilization：接近 100% - effective status：FAIL 950 剩余 3 个失败均为 build 阶段编译失败，不是 NPU run timeout： - `03_simt_api/02_features/00_framework/00_pytorch/torch_library_roll` - `03_simt_api/02_features/01_api_features/00_memory_access/insert_hash_table` - `03_simt_api/03_best_practices/00_memory_optimizations/cache_hint` 典型错误： - `double precision operation is not allowed in aicore function` - `no matching function for call to 'max'/'min'` ## 文档更新更新 `scripts/presmoke/README.md`，补充： - 默认运行方式。 - 910B/950 看护参数示例。 - 单 case 调试方式。 - CPU 模式说明。 - 报告目录和日志说明。 - 运行全量时不要中途覆盖工作目录，避免污染 build/run 分阶段产物。 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 fix: Bug 修复 - [x] ✨ feat: 新功能 - [x] ⚡ perf: 性能优化 - [x] ♻️ refactor: 代码重构 - [ ] 🧪 test: 新增或修改测试 - [x] 📝 docs: 文档更新 - [x] 🔧 ci: CI/CD 配置修改 - [ ] ↩️ revert: 回退 - [ ] 🧹 chore: 其他，请具体描述 See merge request: cann/asc-devkit!2900	4 months ago
fetch_cann_cmake.cmake	适配工程配置，删除冗余代码 Co-authored-by: haipingmao<maohaiping@huawei.com> # message auto-generated for no-merge-commit merge: !1712 merge br_q2_project into master 适配工程配置，删除冗余代码 Created-by: haipingmao Commit-by: haipingmao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 为统一构建配置管理，本次变更将工程配置适配到CANN官方cmake框架，并删除冗余的自定义构建脚本。 ### 背景原先使用自定义的版本管理和依赖检查脚本（`cmake/funcs.cmake`、`scripts/check_build_dependencies.py`、`scripts/generate_version_info.py`），这些脚本与CANN官方提供的cmake功能重复，维护成本高且存在不一致风险。 ### 解决方案 1. 引入CANN cmake框架： - 新增 `cmake/fetch_cann_cmake.cmake`，从CANN获取cmake配置 - 在主 `CMakeLists.txt` 中引入并初始化CANN项目 - 使用CANN提供的版本管理函数替换自定义实现 2. 删除冗余脚本： - 删除 `cmake/funcs.cmake` - 删除 `scripts/check_build_dependencies.py` - 删除 `scripts/generate_version_info.py` - 清理 `.gitignore` 中的重复行 3. 统一安装配置： - 在所有 `install()` 命令中添加 `COMPONENT asc-devkit` 参数 - 将 `OPTIONAL` 统一替换为 `${INSTALL_OPTIONAL}` 变量 4. 清理其他配置： - 移除ccache自动配置 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #xxx--> 关联的Issue [#515](https://gitcode.com/cann/asc-devkit/issues/515) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> - CMake配置正常加载 - 构建流程无异常 - 二进制对比通过 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> NA ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 fix: Bug 修复 - [ ] ✨ feat: 新功能 - [ ] ⚡ perf: 性能优化 - [x] ♻️ refactor: 代码重构 - [ ] 🧪 test: 新增或修改测试 - [ ] 📝 docs: 文档更新 - [ ] 🔧 ci: CI/CD 配置修改 - [ ] ↩️ revert: 回退 - [ ] 🧹 chore: 其他，请具体描述 See merge request: cann/asc-devkit!1712	6 months ago
markdown_link_check.sh	docs: 为docs和examples目录的README添加中英文跳转链接 Co-authored-by: ai_xin<aixin2@hisilicon.com> # message auto-generated for no-merge-commit merge: !5617 merge master into master docs: 为docs和examples目录的README添加中英文跳转链接 Created-by: ai_xin Commit-by: ai_xin Merged-by: cann-robot Description: ## 描述为docs和examples目录的README添加中英文跳转链接 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #xxx--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新更新了README.md文件。 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 fix: Bug 修复 - [ ] ✨ feat: 新功能 - [ ] ⚡ perf: 性能优化 - [ ] ♻️ refactor: 代码重构 - [ ] 🧪 test: 新增或修改测试 - [x] 📝 docs: 文档更新 - [ ] 🔧 ci: CI/CD 配置修改 - [ ] ↩️ revert: 回退 - [ ] 🧹 chore: 其他，请具体描述 See merge request: cann/asc-devkit!5617	2 months ago
oat_check.sh	【fix】pre-commit检查OAT更新时候包的BUG问题 oat_check.sh Co-authored-by: zhangfands<18768316492@163.com> # message auto-generated for no-merge-commit merge: !5506 merge master into master 【fix】pre-commit检查OAT更新时候包的BUG问题 oat_check.sh Created-by: zhangfands Commit-by: zhangfands Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 【fix】pre-commit检查OAT更新时候包的BUG问题 oat_check.sh ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #xxx--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 已通过pre-commit测试 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 fix: Bug 修复 - [ ] ✨ feat: 新功能 - [ ] ⚡ perf: 性能优化 - [ ] ♻️ refactor: 代码重构 - [ ] 🧪 test: 新增或修改测试 - [ ] 📝 docs: 文档更新 - [x] 🔧 ci: CI/CD 配置修改 - [ ] ↩️ revert: 回退 - [ ] 🧹 chore: 其他，请具体描述 See merge request: cann/asc-devkit!5506	2 months ago
run_presmoke.sh	switch presmoke script Co-authored-by: xun_zhuge<zhugexun@hisilicon.com> # message auto-generated for no-merge-commit merge: !4327 merge switch_presmoke into master switch presmoke script Created-by: zhangyujia77 Commit-by: xun_zhuge Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 将presmoke执行入口切换到新的编排脚本： - 使用原`scripts/run_presmoke_v2.sh`的实现替换`scripts/run_presmoke.sh`，统一CI和人工执行入口。 - 保留`scripts/run_presmoke.sh`作为对外调用路径，兼容现有调用方式。 - 删除过渡脚本`scripts/run_presmoke_v2.sh`，避免维护重复入口。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #xxx--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 fix: Bug 修复 - [ ] ✨ feat: 新功能 - [ ] ⚡ perf: 性能优化 - [ ] ♻️ refactor: 代码重构 - [ ] 🧪 test: 新增或修改测试 - [ ] 📝 docs: 文档更新 - [x] 🔧 ci: CI/CD 配置修改 - [ ] ↩️ revert: 回退 - [ ] 🧹 chore: 其他，请具体描述 See merge request: cann/asc-devkit!4327	3 months ago
setup_clangd.py	style: ruff 配置行宽 120 并关闭 magic trailing comma Co-authored-by: zhangyujia77<zhangyujia37@huawei.com> # message auto-generated for no-merge-commit merge: !6286 merge style/ruff-line-length-120 into master style: ruff 配置行宽 120 并关闭 magic trailing comma Created-by: zhangyujia77 Commit-by: zhangyujia77 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ruff.toml 新增两项配置并据此重排全仓 Python 代码： `line-length = 120 行宽从默认 88 放宽到 120 [format] skip-magic-trailing-comma = true 忽略末尾逗号的强制展开语义` ### 为什么改 line-length ruff 的 `line-length` 此前从未在仓库任何地方配置过 —— `ruff.toml` 只设了`target-version`,全仓搜 `line-length` 零命中,pre-commit 的 ruff hook 也没传参。所以生效值 88 是 ruff 内置默认(沿用 Black 的约定),不是评估过的技术决策: `$ ruff check --show-settings Settings path: ".../asc-devkit/ruff.toml" linter.line_length = 88` 120 有三层依据: 1. 本仓 C++ 侧已定 120 —— `.clang-format: ColumnLimit: 120`。同一仓库 C++ 120、Python 88 本身不一致。 2. CANN 生态其余 Python 仓统一为 120 —— `pyasc`、`pypto`、`pto-isa`、`ops-test-kit`、`vllm-ascend`(ruff),`torch_npu`、`pytorch`(flake8)。asc-devkit 是其中唯一没配的。 3. 本仓 Python 历史上事实遵守 120 —— ruff-format 落地前,非空行 P99.5 = 119,99.82% 的行 ≤ 120;超 120 的 38 行基本是嵌在 Python 里的 C++ 模板与宏定义。 88 列会把多参数调用强制拆成逐参数一行,一条语句常常变 3-5 行: `python # 前(1 行) raise RuntimeError("Length of ASCENDC_TPL_UINT_{} {} is too short.".format(self.macro_type, self.name)) # 后(5 行) raise RuntimeError( "Length of ASCENDC_TPL_UINT_{} {} is too short.".format( self.macro_type, self.name ) )` ### 为什么关 magic trailing comma 末尾逗号会让 ruff-format 强制保持展开,即使该行放得下。统计范围内现存 886 处此类逗号,绝大多数是 88 列时期 ruff 自己折行时补上的,并非作者意图 ——换到 120 列后这些调用本可收拢,却因那个自动留下的逗号继续保持展开。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #xxx--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 fix: Bug 修复 - [ ] ✨ feat: 新功能 - [ ] ⚡ perf: 性能优化 - [ ] ♻️ refactor: 代码重构 - [ ] 🧪 test: 新增或修改测试 - [ ] 📝 docs: 文档更新 - [ ] 🔧 ci: CI/CD 配置修改 - [ ] ↩️ revert: 回退 - [x] 🧹 chore: 代码格式修改 See merge request: cann/asc-devkit!6286	1 month ago