| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
【fix_bug】align perf_data_collection tooling changes from fix_bug Co-authored-by: eveyin1<qianyin2022@hotmail.com> # message auto-generated for no-merge-commit merge: !350 merge fix_master into master 【fix_bug】align perf_data_collection tooling changes from fix_bug Created-by: eveyin1 Commit-by: eveyin1 Merged-by: ascend-robot Description: # PR Template Thanks for your contribution; we appreciate it a lot. The following instructions will make your pull request healthier and help you get feedback more easily. If you do not understand some items, don't worry, just make the pull request and seek help from maintainers. 感谢您的贡献，我们非常重视。以下说明将使您的拉取请求更健康，更易于获得反馈。如果您不理解某些项目，请不要担心，只需提交拉取请求并从维护人员那里寻求帮助即可。 **PR Type / PR类型** - [ ] Feature（功能新增） - [x] Bugfix（Bug 修复） - [ ] Docs（文档更新） - [ ] CI/CD（持续集成/持续部署） - [ ] Refactor（代码重构） - [ ] Perf（性能优化） - [ ] Test-Cases（测试用例更新） - [ ] Other（其他） ## 🔍 Motivation / 变更动机 **Please describe the motivation of this PR and the goal you want to achieve through this PR.** **请描述您的拉取请求的动机和您希望通过此拉取请求实现的目标。** 对齐后修改几下几个内容 1资料修改 fill_fia_runtime_metadata.py，文件与代码都可以删除 tools/perf_data_analysis/，代码保留，资料删除，仅作为小巧灵验证精度使用 run_comm_bench.sh，注明资料，给A3的脚本 validate_comm_alignment.py，资料删除 parsers/trace_to_csv.py，留代码删资料 MSMODELING_OP_REPLAY_REPEAT_COUNT说明和代码删除 op_replay/probe_dfc_constraints.py，资料删除 2 入参统一 都改成--database-path parse_kernel_details.py --database-path start_microbench.py --database-path - generate_shape_grid.py -data-dir generate_comm_microbench.py --output-dir 3接口 start_microbench.py：--prof-path（扩样的采集数据，不可能提前获取，该参数没有意义）删除 generate_comm_microbench.py --do-run 删除 ------ ## 📝 Modification / 修改内容 **Please briefly describe what modification is made in this PR.** **请简要描述此拉取请求中进行的修改。** tests/.ci/gate_policy.yaml 给两个 perf tooling CLI helper 加临时 CI 覆盖豁免，避免可选 torch/NPU 相关测试被跳过时 CI 覆盖映射误报。 tests/benchmark/ops/perf_database/test_fill_fia_runtime_metadata.py 删除，因为 fill_fia_runtime_metadata.py 这个独立 FIA JSONL backfill 工具被移除，对应 benchmark 测试不再适用。 tests/regression/cli/test_fia_parser_backfill.py 从测试 backfill 工具改为测试 FIA parser/replay helper，保留 FIA 元数据解析、shape 推导、replay 参数推导等回归覆盖。 tests/regression/cli/test_generate_comm_microbench.py 适配 comm microbench CLI：--output-dir 改为 --database-path，移除 --do-run，并补充 parser 行为覆盖。 tests/regression/cli/test_logo_cli_hooks.py 适配 generate_shape_grid.py 参数名变更：--data-dir 改为 --database-path。 tests/regression/cli/test_op_replay.py 增加 get_replay_repeat_count() 的直接覆盖，确认 CLI 传值、默认值和非正数校验行为。 tests/regression/cli/test_perf_tooling_ci_map.py 把新增/修改的 perf CLI policy symbols 显式映射到测试，帮助 CI 覆盖工具识别这些函数已有直接测试。 tests/regression/cli/test_start_microbench.py 适配 start_microbench.py 移除 --prof-path 后的流程：测试改为 mock run_msprof() 返回 profiling 数据，而不是传入已有 PROF 目录。 tools/perf_data_analysis/compute_m6.py 精简顶部长说明，只保留简短 docstring，减少脚本文档和正式文档之间的重复维护。 tools/perf_data_analysis/generate_op_comparison.py 同样精简顶部长说明，保留工具用途，详细说明不再放在脚本头部。 tools/perf_data_analysis/generate_per_shape_comparison.py 精简脚本 docstring，避免大段 usage 文档散落在代码里。 tools/perf_data_collection/README.md 更新英文 README：移除已删除的 FIA backfill 工具说明，统一参数名到 --database-path，同步 comm bench/start microbench 当前行为。 tools/perf_data_collection/README_zh.md 新增中文使用指南，系统说明性能数据库采集工具、参数、输出、环境变量和常见问题。 tools/perf_data_collection/comm_bench/generate_comm_microbench.py 统一 comm benchmark 为直接运行模式：移除 --do-run，--output-dir 改为 --database-path，并调整 kernel/event benchmark 输出逻辑。 tools/perf_data_collection/comm_bench/run_comm_bench.sh 适配 comm microbench 新 CLI，去掉 --do-run，改用 --database-path，并明确这是 A3 通信采集脚本。 tools/perf_data_collection/comm_bench/validate_comm_alignment.py 精简脚本顶部说明和 argparse epilog，保留工具本身，减少文档重复。 tools/perf_data_collection/fill_fia_runtime_metadata.py 删除独立 FIA runtime JSONL backfill 工具；当前分支把 FIA 相关能力收敛到 parser/replay helper 的测试覆盖。 tools/perf_data_collection/generate_shape_grid.py 参数统一：--data-dir 改为 --database-path，和其他性能数据库工具命名一致。 tools/perf_data_collection/op_replay/common.py 移除 MSMODELING_OP_REPLAY_REPEAT_COUNT 环境变量默认值逻辑，repeat count 只来自 CLI 或代码默认值，行为更确定。 tools/perf_data_collection/parsers/parse_kernel_details.py 更新 FIA metadata 注释，去掉“后续由 fill_fia_runtime_metadata.py 填充”的描述，因为该工具已删除。 tools/perf_data_collection/parsers/trace_to_csv.py 精简顶部 docstring，保留工具用途，减少脚本文档冗余。 tools/perf_data_collection/start_microbench.py 移除 --prof-path 离线解析路径，流程统一为由脚本自己执行 msprof、聚合 profiling 结果、成功后清理 profiler 目录。 ------ ## 📐 Associated Test Results / 关联测试结果 **Please provide the related test results, such as test reports, etc.** **请提供相关测试结果，例如测试报告等。** ------ ## 🌟 Use cases (Optional) / 使用案例（可选） **If this PR introduces a new feature, it is better to list some use cases here and update the documentation.** **如果此拉取请求引入了新功能，最好在此处列出一些用例并更新文档。** ------ ## ✅ Checklist / 检查列表 **Before PR**: - [ ] Bug fixes are fully covered by unit tests, the case that causes the bug should be added in the unit tests. / 修复的 Bug 已完全由单元测试覆盖，导致 Bug 的情况应在单元测试中添加。 - [ ] The modification is covered by complete unit tests. If not, please add more unit tests to ensure the correctness. / 此拉取请求中的修改已完全由单元测试覆盖。如果不是，请添加更多单元测试以确保正确性。 - [ ] All relevant documentation (API docs, docstrings, example tutorials) has been updated to reflect these changes. / 所有相关文档（API 文档、文档字符串、示例教程）已更新以反映这些更改。 - [ ] Please ensure code files contain no Chinese comments. / 请保证代码文件中不含中文注释。 ------ See merge request: Ascend/msmodeling!350 | 6 天前 | |
Fix Qwen3 FIA shape grid coverage Co-authored-by: Secluded_Ocean<tangchuxiao0709@qq.com> # message auto-generated for no-merge-commit merge: !429 merge codex/qwen3-fia-shape-coverage into master Fix Qwen3 FIA shape grid coverage Created-by: Secluded_Ocean Commit-by: Secluded_Ocean Merged-by: ascend-robot Description: ## Summary - enumerate dense FIA rows by model TP local head variants - add Qwen3 3.5k prefill/decode grid points so TP4 attention shape is generated - add regression coverage for Qwen3 TP4 3593 decode FIA and TP head variants ## Verification - py -3.10 -m pytest tests/regression/cli/test_generate_shape_grid.py tests/regression/cli/test_perf_tooling_ci_map.py -q - parsed 3.5k_10_data.zip, generated shape grid, backfilled FusedInferAttentionScore missing-only on 2-card A3, final Qwen3-32B 3593 decode run hits attention duration 27.760us with no shape miss See merge request: Ascend/msmodeling!429 | 3 天前 | |
【同步】【非开发代码】代码从 develop 同步到 master Co-authored-by: yydyzr<liuyuncong1@huawei.com> Co-authored-by: gcw_61YBRfIt<chuzhenxing@huawei.com> Co-authored-by: 孔炳翔<1120200577@qq.com> Co-authored-by: zhengxinqian<qianzhengxin@huawei.com> Co-authored-by: hw_whx<wanghexiang7@huawei.com> Co-authored-by: jgong5<steven.gong@gmail.com> Co-authored-by: hw_whx<2952154980@qq.com> # message auto-generated for no-merge-commit merge: !330 merge master into master 【同步】【非开发代码】代码从 develop 同步到 master Created-by: AvadaKedavrua Commit-by: liujiawang;ascend-robot;AvadaKedavrua;lutean;Horacehxw;eveyin1;minghang_c;zwt__;tt0cool;elrond-g;jia_ya_nan;zhenyu_zhang;ChenHuiwen;wangshen001;Hudingyi;wendellX;Secluded_Ocean;jhon-117;yaohan404;jiangruitao;zhenghaojie;stormchasingg;panyj1993;cmh1056291129;yuyinkai1;sunguozhong;genius52;liu_jiaxu;HongMaoShuiGuai;zhengxinqian;weixin_43368449;jsez-li-bin;jgong5;wqh17101;w00609794;yydyzr;JieZhang679;sppedforcy;gcw_61YBRfIt;Jiong Gong;hw_whx;gongjiong;孔炳翔 Merged-by: ascend-robot Description: 代码从 develop 同步到 master，后续基于 master 演进，并支持打包 See merge request: Ascend/msmodeling!330 | 16 天前 |
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 6 天前 | ||
| 3 天前 | ||
| 16 天前 |