| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
refactor: 整理 tests 目录结构 Co-authored-by: Developer user<suyueming@huawei.com> # message auto-generated for no-merge-commit merge: !117 merge master into master refactor: 整理 tests 目录结构 Created-by: su-yueming Commit-by: Developer user Merged-by: cann-robot Description: ## 变更描述 / Description [#10](https://gitcode.com/cann/cann-bench/issues/10) [#22](https://gitcode.com/cann/cann-bench/issues/22) <!-- 本 PR 做了什么，为什么需要 / What does this PR do and why --> ## 改动类型 / Change Type - [ ] Bug 修复 / Bug Fix - [ ] 新功能 / New Feature - [ ] 性能优化 / Performance - [x] 代码重构 / Refactoring - [x] 文档更新 / Documentation - [ ] 测试相关 / Test - [ ] 其它 / Other ## 关联 Issue / Related Issues <!-- Closes #000 可自动关闭 / Closes #000 to auto-close --> - Closes # - References # ## 测试信息 / Testing <!-- 简要测试说明或关键结果 / Brief test description or key results --> - [ ] 单元测试通过 / UT passed - [ ] 集成测试通过 / ST passed - [ ] 人工验证通过 / Manual verified ## 检查清单 / Checklist - [ ] 代码符合规范 / Code follows style guide - [ ] 测试添加并通过 / Tests added and passed - [ ] 文档已更新 / Docs updated if needed - [ ] 无硬编码敏感信息 / No secrets hardcoded - [ ] 提交信息符合规范 / Commit message follows convention See merge request: cann/cann-bench!117 | 1 个月前 | |
docs: 修正评测使用文档（删除已移除的 CLI 参数/子命令；报告文件名对齐实现） Co-authored-by: gxj1123<gao.xuejian1@huawei.com> # message auto-generated for no-merge-commit merge: !197 merge docs/fix-usage-docs into master docs: 修正评测使用文档（删除已移除的 CLI 参数/子命令；报告文件名对齐实现） Created-by: gxj1123 Commit-by: gxj1123 Merged-by: cann-robot Description: ## 背景 quick_start.md / evaluator_design.md / auto_pipeline_usage.md / README.md 中若干命令与参考表引用了 CLI 已不存在的参数/子命令，或给出了框架从不产出的报告文件名，用户照文档执行即失败。已以 src/kernel_eval/cli.py::create_parser 为权威逐条核对（当前 master）。 ## 改动（纯文档） **A3 幽灵参数/子命令（#68）** - --no-subprocess-isolation：CLI 已删除且有守卫测试（tests/ut/test_process_pool.py），从 quick_start 命令、evaluator_design §3.3 表及示例中移除。 - --checker / --agent-skill / --base-model / --enable-accuracy-retry：cli.py 中不存在，从表与示例移除。 - simulate 子命令：不存在，CPU 仿真用 eval --device cpu；订正子命令列表、"仿真" 小节与示例。 - --reports-dir：实际经 scripts/run_evaluation.sh 暴露，参数表由 ✗ 改 ✓；补充 --no-freq-boost。 - auto_pipeline_usage.md：eval args 示例删除 --no-subprocess-isolation（auto_pipeline/core.py::build_eval_args 实际不注入它）。 **A2 报告输出文件名（#67 文档部分）** - 实际文件名为 <bench>_<stage>_eval_<时间戳>.{json,md,html}（cann 分阶段：cann_correctness_eval_* / cann_performance_eval_* / cann_final_eval_*），框架不产出 eval_report.* 或 summary.md；据此更正 quick_start 与 README。 ## 验证 - 逐个 flag/subcommand 与当前 cli.py 的 argparse 定义比对（--no-subprocess-isolation/--checker/--agent-skill/--base-model/--enable-accuracy-retry/simulate 均已确认不存在）。 - 报告文件名对照 report/report_generator.py::save_all 与 staged_eval.py 的 semantic_prefix。 Fixes #68 Refs #67（本 PR 仅修文档 A2；report/summary_generator.py 死代码清理 B2 另行处理） See merge request: cann/cann-bench!197 | 11 天前 | |
修复example文档问题&多卡并行数据采集问题 Co-authored-by: suyueming<suyueming@huawei.com> # message auto-generated for no-merge-commit merge: !195 merge master into master 修复example文档问题&多卡并行数据采集问题 Created-by: su-yueming Commit-by: suyueming Merged-by: cann-robot Description: ## 变更描述 / Description <!-- 本 PR 做了什么，为什么需要 / What does this PR do and why --> ## 改动类型 / Change Type - [x] Bug 修复 / Bug Fix - [ ] 新功能 / New Feature - [ ] 性能优化 / Performance - [ ] 代码重构 / Refactoring - [ ] 文档更新 / Documentation - [ ] 测试相关 / Test - [ ] 其它 / Other ## 关联 Issue / Related Issues [#55](https://gitcode.com/cann/cann-bench/issues/55) [#56](https://gitcode.com/cann/cann-bench/issues/56) [#46](https://gitcode.com/cann/cann-bench/issues/46) <!-- Closes #000 可自动关闭 / Closes #000 to auto-close --> - Closes # - References # ## 测试信息 / Testing <!-- 简要测试说明或关键结果 / Brief test description or key results --> - [ ] 单元测试通过 / UT passed - [ ] 集成测试通过 / ST passed - [ ] 人工验证通过 / Manual verified ## 检查清单 / Checklist - [ ] 代码符合规范 / Code follows style guide - [x] 测试添加并通过 / Tests added and passed - [ ] 文档已更新 / Docs updated if needed - [ ] 无硬编码敏感信息 / No secrets hardcoded - [ ] 提交信息符合规范 / Commit message follows convention See merge request: cann/cann-bench!195 | 10 天前 | |
修复example文档问题&多卡并行数据采集问题 Co-authored-by: suyueming<suyueming@huawei.com> # message auto-generated for no-merge-commit merge: !195 merge master into master 修复example文档问题&多卡并行数据采集问题 Created-by: su-yueming Commit-by: suyueming Merged-by: cann-robot Description: ## 变更描述 / Description <!-- 本 PR 做了什么，为什么需要 / What does this PR do and why --> ## 改动类型 / Change Type - [x] Bug 修复 / Bug Fix - [ ] 新功能 / New Feature - [ ] 性能优化 / Performance - [ ] 代码重构 / Refactoring - [ ] 文档更新 / Documentation - [ ] 测试相关 / Test - [ ] 其它 / Other ## 关联 Issue / Related Issues [#55](https://gitcode.com/cann/cann-bench/issues/55) [#56](https://gitcode.com/cann/cann-bench/issues/56) [#46](https://gitcode.com/cann/cann-bench/issues/46) <!-- Closes #000 可自动关闭 / Closes #000 to auto-close --> - Closes # - References # ## 测试信息 / Testing <!-- 简要测试说明或关键结果 / Brief test description or key results --> - [ ] 单元测试通过 / UT passed - [ ] 集成测试通过 / ST passed - [ ] 人工验证通过 / Manual verified ## 检查清单 / Checklist - [ ] 代码符合规范 / Code follows style guide - [x] 测试添加并通过 / Tests added and passed - [ ] 文档已更新 / Docs updated if needed - [ ] 无硬编码敏感信息 / No secrets hardcoded - [ ] 提交信息符合规范 / Commit message follows convention See merge request: cann/cann-bench!195 | 10 天前 | |
docs: 修正评测使用文档（删除已移除的 CLI 参数/子命令；报告文件名对齐实现） Co-authored-by: gxj1123<gao.xuejian1@huawei.com> # message auto-generated for no-merge-commit merge: !197 merge docs/fix-usage-docs into master docs: 修正评测使用文档（删除已移除的 CLI 参数/子命令；报告文件名对齐实现） Created-by: gxj1123 Commit-by: gxj1123 Merged-by: cann-robot Description: ## 背景 quick_start.md / evaluator_design.md / auto_pipeline_usage.md / README.md 中若干命令与参考表引用了 CLI 已不存在的参数/子命令，或给出了框架从不产出的报告文件名，用户照文档执行即失败。已以 src/kernel_eval/cli.py::create_parser 为权威逐条核对（当前 master）。 ## 改动（纯文档） **A3 幽灵参数/子命令（#68）** - --no-subprocess-isolation：CLI 已删除且有守卫测试（tests/ut/test_process_pool.py），从 quick_start 命令、evaluator_design §3.3 表及示例中移除。 - --checker / --agent-skill / --base-model / --enable-accuracy-retry：cli.py 中不存在，从表与示例移除。 - simulate 子命令：不存在，CPU 仿真用 eval --device cpu；订正子命令列表、"仿真" 小节与示例。 - --reports-dir：实际经 scripts/run_evaluation.sh 暴露，参数表由 ✗ 改 ✓；补充 --no-freq-boost。 - auto_pipeline_usage.md：eval args 示例删除 --no-subprocess-isolation（auto_pipeline/core.py::build_eval_args 实际不注入它）。 **A2 报告输出文件名（#67 文档部分）** - 实际文件名为 <bench>_<stage>_eval_<时间戳>.{json,md,html}（cann 分阶段：cann_correctness_eval_* / cann_performance_eval_* / cann_final_eval_*），框架不产出 eval_report.* 或 summary.md；据此更正 quick_start 与 README。 ## 验证 - 逐个 flag/subcommand 与当前 cli.py 的 argparse 定义比对（--no-subprocess-isolation/--checker/--agent-skill/--base-model/--enable-accuracy-retry/simulate 均已确认不存在）。 - 报告文件名对照 report/report_generator.py::save_all 与 staged_eval.py 的 semantic_prefix。 Fixes #68 Refs #67（本 PR 仅修文档 A2；report/summary_generator.py 死代码清理 B2 另行处理） See merge request: cann/cann-bench!197 | 11 天前 | |
fix(anti-cheat): 性能阶段轮换输入地址使 data_ptr 缓存作弊失效 (Fixes #71) Co-authored-by: gxj1123<gao.xuejian1@huawei.com> # message auto-generated for no-merge-commit merge: !216 merge fix/issue-71-perf-input-pool into master fix(anti-cheat): 性能阶段轮换输入地址使 data_ptr 缓存作弊失效 (Fixes #71) Created-by: gxj1123 Commit-by: gxj1123 Merged-by: cann-robot Description: ## 变更描述 / Description 修复 issue #71：文档（ submission_rules.md §2.5 / benchmark_spec.md §4.6）把“按 data_ptr() 缓存 / 返回预设结果”列为作弊，但对应检测默认关闭——use_input_pool 默认 False 且 src/ 内无任何 True 传入点（防御成死路），enable_accuracy_retry 亦默认 False。默认配置下 warmup/repeat 复用同一 data_ptr，最易利用的缓存类作弊无主动检测。 按 **“仅性能阶段开启、精度阶段不开启”** 的口径接入输入地址轮换。 ## 改动 - **config**：新增 perf_rotate_inputs（默认 True）。仅作用于 profiler 采集路径（性能阶段）；精度阶段（golden / AI 一次执行，非 profiler 分支）不受影响。dataclass 默认值，父/子进程 Config 自动继承，无需额外 CLI 透传。 - **input_pool**：新增 CallInputPool——按实际调用的 args/kwargs 轮换 clone 副本。原 InputPool 只支持位置列表，与性能路径的 kwargs 调用不匹配，**正是它从未被接入的原因**。只 clone 张量（含嵌套 list/tuple），attr 按引用共享；clone 值逐位相等，故性能阶段精度复检不受影响；池大小按内存上限裁剪防 OOM。 - **perf_eval**：run_profiled 的 use_input_pool 现覆盖 args/kwargs 路径；每个 repeat 步喂入不同 data_ptr 的 clone → 按输入地址命中的缓存 cache miss，过期结果由性能阶段精度复检暴露。 - **op_runner**：profiler（性能）分支以 use_input_pool=config.perf_rotate_inputs 调 run_profiled；非 profiler（精度）分支不变。 - **docs**：§2.5 / §4.6 补“强制方式 = 性能阶段轮换输入地址”说明。 ## 为什么精度阶段不开 精度阶段走 op_runner.run(enable_profiler=False) 的非 profiler 分支，从不调用 run_profiled，天然不受影响；enable_accuracy_retry 保持 False 不变。data_ptr 缓存作弊会在性能阶段轮换下产生过期输出，由性能阶段的精度复检判为精度失败。 ## 改动类型 / Change Type - [x] Bug 修复 / Bug Fix - [x] 新功能 / New Feature（性能阶段输入轮换防御） ## 关联 Issue / Related Issues Fixes #71 ## 测试信息 / Testing - 新增 CallInputPool 8 个单测（clone 值相等/地址不同、kwargs 张量 clone + attr 共享、嵌套 list、内存裁剪、clear、func 调用轮换）。 - tests/ut/test_input_pool.py（32）、test_op_runner*.py、test_perf_eval.py（24）、以及 config/scoring/staged 相关 105 项全部通过（CPU）。 - python -m py_compile 四个改动源文件通过。 - [x] 单元测试通过 / UT passed - [ ] 集成测试通过 / ST passed（性能路径需 NPU，本地 CPU 未覆盖 profiler 分支端到端） - [x] 人工验证通过 / Manual verified（CallInputPool 轮换 data_ptr、值一致） ## 检查清单 / Checklist - [x] 代码符合规范 / Code follows style guide - [x] 测试添加并通过 / Tests added and passed - [x] 文档已更新 / Docs updated - [x] 无硬编码敏感信息 / No secrets hardcoded See merge request: cann/cann-bench!216 | 1 天前 | |
feat(triton): 支持 Triton-Ascend submission Co-authored-by: yanyanyanyy<522025320034@smail.nju.edu.cn> # message auto-generated for no-merge-commit merge: !219 merge feat/triton-ascend-support into master feat(triton): 支持 Triton-Ascend submission Created-by: yanyanyanyy Commit-by: yanyanyanyy Merged-by: cann-robot Description: ## 变更说明 - 增加可选 Triton-Ascend 3.2.1 Docker flavor、可写 JIT cache，以及真实 NPU vector-add smoke。 - 沿用现有 cann_bench wheel/callable 协议；同版本 submission 强制重装，并清理 cann_bench 子模块缓存。 - 新增 Exp、Sigmoid、Mish、MaskedScale、SwiGLU 五个可提交 Triton-Ascend 算子示例。 - 增加离线 launch/接口测试、可选真实 NPU 测试、快速指南和完整集成文档。 ## 集成原则 - 不新增 TritonRunner；CANN Bench 仍调用普通 Python callable。 - submission wheel 使用 --no-deps 安装，Triton-Ascend runtime 由评测镜像提供。 - 首次 specialization 在 profiler 外 pre-flight JIT，性能窗口复用已编译 kernel。 - 本 PR 不包含 TileLang、profiler 诊断或其他工作区改动。 ## 验证 - [x] 示例 wheel 构建成功，归档包含 5 个算子和统一导出入口。 - [x] 全量 UT：1019 passed, 5 skipped。 - [x] 真实 Ascend 950PR NPU：10 passed（5 个结构/调用测试 + 5 个真实算子测试）。 - [x] PackageManager、matcher、OpRunner、PerfEvaluator 扩展回归：24 passed, 5 skipped。 - [x] bash/python 语法与 git diff --check 通过。 - [x] Docker image build 未在本机执行（当前主机没有 Docker CLI）；CI/NPU builder 需运行 docker/test_env.py smoke。 ## 关联 Issue Closes #94 See merge request: cann/cann-bench!219 | 1 天前 | |
release: V1.0.0 / tasks-v1.0.0 Co-authored-by: suyueming<suyueming@huawei.com> # message auto-generated for no-merge-commit merge: !212 merge master into master release: V1.0.0 / tasks-v1.0.0 Created-by: su-yueming Commit-by: suyueming Merged-by: cann-robot Description: ## 变更描述 / Description <!-- 本 PR 做了什么，为什么需要 / What does this PR do and why --> ## 改动类型 / Change Type - [ ] Bug 修复 / Bug Fix - [x] 新功能 / New Feature - [ ] 性能优化 / Performance - [ ] 代码重构 / Refactoring - [ ] 文档更新 / Documentation - [ ] 测试相关 / Test - [ ] 其它 / Other ## 关联 Issue / Related Issues <!-- Closes #000 可自动关闭 / Closes #000 to auto-close --> - Closes # - References # ## 测试信息 / Testing <!-- 简要测试说明或关键结果 / Brief test description or key results --> - [ ] 单元测试通过 / UT passed - [ ] 集成测试通过 / ST passed - [ ] 人工验证通过 / Manual verified ## 检查清单 / Checklist - [ ] 代码符合规范 / Code follows style guide - [ ] 测试添加并通过 / Tests added and passed - [ ] 文档已更新 / Docs updated if needed - [ ] 无硬编码敏感信息 / No secrets hardcoded - [ ] 提交信息符合规范 / Commit message follows convention See merge request: cann/cann-bench!212 | 7 天前 |
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 1 个月前 | ||
| 11 天前 | ||
| 10 天前 | ||
| 10 天前 | ||
| 11 天前 | ||
| 1 天前 | ||
| 1 天前 | ||
| 7 天前 |