| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
【REFACTOR】【TESTS】重构 tests 目录并补充 smoke 测试 Co-authored-by: liujiawang<anonymousdev@163.com> # message auto-generated for no-merge-commit merge: !266 merge refactor-tests into develop 【REFACTOR】【TESTS】重构 tests 目录并补充 smoke 测试 Created-by: AvadaKedavrua Commit-by: liujiawang;AvadaKedavrua Merged-by: ascend-robot Description: # PR Template Thanks for your contribution; we appreciate it a lot. The following instructions will make your pull request healthier and help you get feedback more easily. If you do not understand some items, don't worry, just make the pull request and seek help from maintainers. 感谢您的贡献，我们非常重视。以下说明将使您的拉取请求更健康，更易于获得反馈。如果您不理解某些项目，请不要担心，只需提交拉取请求并从维护人员那里寻求帮助即可。 **PR Type / PR类型** - [x] Feature（功能新增） - [x] Bugfix（Bug 修复） - [x] Docs（文档更新） - [x] CI/CD（持续集成/持续部署） - [x] Refactor（代码重构） - [x] Perf（性能优化） - [x] Test-Cases（测试用例更新） - [ ] Other（其他） ## 🔍 Motivation / 变更动机 现有 UT 目录混合了 smoke、regression、benchmark、模型配置资产和脚本测试，导致本地执行入口不统一、CI 无法稳定做增量选择，nightly 也缺少统一的 test_map 刷新和报告链路。旧的 tests/run_ut.sh 入口难以表达“快速 smoke / 完整 regression / benchmark / PR gate / nightly”这些不同场景，新增或删除源码时也缺少基于 test_map 的覆盖检查。 本 PR 目标是把测试体系拆成清晰分层，并补齐 CI gate、nightly、coverage gate、test_map 构建和文档，让开发者和流水线都能按同一套目录与脚本执行测试。同时修复整理过程中暴露出的少量模型配置、serving 输出文本和文档问题。 ------ ## 📝 Modification / 修改内容 本次按 hunk/主题重新整理为 17 个提交，主要修改如下： - 重构测试目录：将旧 tests/test_tensor_cast、serving_cast/tests、web_ui/tests、tests/tools、tests/perf_database、tests/st 拆分到 tests/smoke/、tests/regression/、tests/benchmark/。 - 统一测试资产：将模型配置移动到 tests/assets/model_config/，同步更新 pre-commit exclude、缓存目录和文档说明。 - 新增共享测试 helper：补充断言、配置工厂、fake subprocess、模型构造、op registry 等公共测试工具，减少测试重复代码。 - 新增 CI gate helper：增加 diff 分类、test_map 读取、AST 符号映射、coverage gate、增量测试选择和 gate policy 配置。 - 新增 nightly helper：增加 pytest 结果解析、报告模型、报告构建、Feishu webhook 通知、test_map 刷新和 benchmark 调度入口。 - 新增统一脚本入口：新增 scripts/run_smoke.sh、scripts/run_regression.sh、scripts/run_benchmark.sh、scripts/run_ci_gate.sh、scripts/run_nightly.sh，替换旧 tests/run_ut.sh。 - 更新配置与文档：补充 pyproject.toml 的 pytest marker/testpaths/filterwarnings，更新 README.md、tests/README.md、docs/en/web_ui.md、web_ui/README.md、tools/perf_data_collection/README.md。 - 修复模型/输出细节：为 DeepseekV32DecoderLayer 注册 config_class；规范 serving_cast optimizer summary 的冒号和 runner 日志文案。 ### 后续 UT 怎么上 - 新增快速兜底用例放到 tests/smoke/：覆盖导入、基础 compile path、轻量 config resolver、轻量 serving/tensor_cast 主路径，要求无 NPU、无大模型权重、反馈快，适合每个 PR 先跑。 - 新增功能回归用例放到 tests/regression/<domain>/：按 tensor_cast、serving_cast、cli、web_ui、scripts/helpers 等领域归档，覆盖具体 bugfix、边界条件、行为契约和工具脚本逻辑。 - 新增长耗时或性能相关用例放到 tests/benchmark/：模型基准、perf_database、trace/CSV 性能数据处理等不阻塞普通 PR gate 的测试归到 benchmark 层。 - 新增模型配置、fixture、样例数据优先放到 tests/assets/ 或就近 fixtures/，避免继续散落在测试包内部；大文件或生成缓存走 .msmodeling_cache/、tests/assets/cache/，不直接进入源码目录。 - 新测试默认使用 tests/helpers/ 的公共构造器和断言工具；需要 fake subprocess、模型配置、op registry 时复用已有 helper，减少每个测试重复 mock 和手写配置。 - 需要 NPU 的用例必须打 @pytest.mark.npu；只应 nightly 跑的大模型/长耗时 compile 用例打 @pytest.mark.nightly，避免进入默认本地和 PR 快速路径。 ### 怎么根据语义上 UT - 测试不再只按文件名机械归类，而是按“被测语义”挂到对应源码符号：产品源码的函数、类、方法、顶层行为需要在 test_map 中映射到验证它的测试 nodeid。 - 新增产品源码时，如果是可执行逻辑，应新增对应 smoke 或 regression 用例，并让 test_map 能找到该源码/符号；确实不需要测试的符号需要在 exemption 中写明原因。 - 修改已有源码时，CI gate 会用 AST 定位变更行落在哪个 top-level definition 或 class/method span，再通过 test_map 选择关联测试；如果符号没有映射，会阻断或扩大测试范围，避免“改了逻辑但没跑语义相关 UT”。 - 删除源码时，CI gate 会检查 test_map 中是否仍有引用该源码的测试，防止遗留无效映射；删除测试时也会检查是否破坏已有源码覆盖关系。 - 跨层依赖变更会按语义优先选择所属 regression layer，无法明确归属或配置变更时升级为更完整的套件，保证增量选择不会漏测。 - test_map 由 nightly 在完整测试通过后刷新，PR gate 消费稳定版本；这样避免每个 PR 临时生成不可信映射，同时让语义映射随主干测试演进。 ### 流水线做了什么调整 - 本地与 CI 统一入口：run_smoke.sh 跑快速 smoke，run_regression.sh 跑完整 regression，run_benchmark.sh 跑 benchmark，run_ci_gate.sh 跑 PR 增量门禁，run_nightly.sh 跑夜间全流程。 - PR gate 从“固定跑一批 UT”改为“diff -> classify changes -> load test_map -> apply gate rules -> run selected pytest -> coverage gate”。配置变更、源码新增/删除、测试新增/删除、源码修改会走不同 gate 规则。 - coverage gate 统一读取 MSMODELING_TEST_LINE_THRESHOLD 和 MSMODELING_TEST_BRANCH_THRESHOLD，默认 line 70、branch 50；pytest 默认排除 npu，PR gate 额外排除 nightly。 - nightly 分两阶段：先跑非 NPU、非 nightly 的 smoke/regression 并在通过后刷新 test_map；再跑 nightly 标记用例与 benchmark，并构建结构化报告。 - 流水线统一支持 MSMODELING_OFFLINE、MSMODELING_TEST_WEIGHTS_PRUNE、MSMODELING_TEST_MAP_PATH 等环境变量，减少不同脚本各自处理缓存、离线和权重清理的差异。 - benchmark 不纳入普通 coverage gate，避免性能/长耗时用例拖慢 PR 门禁；必要时可通过独立 benchmark pipeline 或 nightly 验证。 - pre-commit exclude 同步到新目录，模型配置资产和 fixtures 不再被无意义格式化或误报。 已处理问题清单： - 旧 UT 入口单一，无法区分 smoke、regression、benchmark、nightly 和 PR gate。 - 模型配置资产散落在测试用例目录下，pre-commit 与测试引用路径容易漂移。 - 新增/删除源码缺少 test_map 覆盖检查，CI 不能精准阻断未补测试的变更。 - coverage 阈值、pytest marker、离线模式、权重缓存清理等 CI 参数缺少统一入口。 - nightly 缺少结构化报告、失败摘要和 Feishu 通知链路。 - web UI 测试仍在模块内，未纳入统一 regression 层级。 - DeepseekV32DecoderLayer 缺少 config_class，影响配置类识别一致性。 - serving_cast 部分日志/summary 文案有多余空格或表达不统一。 ------ ## 📐 Associated Test Results / 关联测试结果 提交过程中每个 commit 均触发 pre-commit hook，已通过已检查文件的 trailing whitespace、EOF、YAML/JSON、大文件、merge conflict、private key、ruff、ruff-format、codespell、pylint、bandit、typos 等检查。 本地未额外执行完整 smoke/regression/benchmark 全量测试；推送后以 GitCode CI 结果为准。建议重点关注： - bash ./scripts/run_smoke.sh - bash ./scripts/run_regression.sh - bash ./scripts/run_ci_gate.sh（需设置 MSMODELING_TEST_MAP_PATH） - bash ./scripts/run_nightly.sh（需设置 MSMODELING_TEST_MAP_PATH） ------ ## 🌟 Use cases (Optional) / 使用案例（可选） - 本地快速验证：开发者运行 bash ./scripts/run_smoke.sh 获取快速反馈。 - 本地完整回归：开发者运行 bash ./scripts/run_regression.sh 覆盖主要回归用例。 - PR 增量门禁：CI 设置 MSMODELING_TEST_MAP_PATH 后运行 bash ./scripts/run_ci_gate.sh，按 diff 与 test_map 选择用例并执行 coverage gate。 - 夜间任务：nightly 先跑非 nightly 的 smoke/regression 并刷新 test_map，再执行 nightly/benchmark 并生成报告，可选 Feishu 通知。 ------ ## ✅ Checklist / 检查列表 **Before PR**: - [x] Bug fixes are fully covered by unit tests, the case that causes the bug should be added in the unit tests. / 修复的 Bug 已完全由单元测试覆盖，导致 Bug 的情况应在单元测试中添加。 - [ ] The modification is covered by complete unit tests. If not, please add more unit tests to ensure the correctness. / 此拉取请求中的修改已完全由单元测试覆盖。如果不是，请添加更多单元测试以确保正确性。 - [x] All relevant documentation (API docs, docstrings, example tutorials) has been updated to reflect these changes. / 所有相关文档（API 文档、文档字符串、示例教程）已更新以反映这些更改。 - [x] Please ensure code files contain no Chinese comments. / 请保证代码文件中不含中文注释。 ------ See merge request: Ascend/msmodeling!266 | 26 天前 | |
【test】新增冒烟用例 Co-authored-by: jiangruitao<jiangruitao@huawei.com> # message auto-generated for no-merge-commit merge: !276 merge develop_0602 into develop 【test】新增冒烟用例 Created-by: jiangruitao Commit-by: jiangruitao Merged-by: ascend-robot Description: # PR Template Thanks for your contribution; we appreciate it a lot. The following instructions will make your pull request healthier and help you get feedback more easily. If you do not understand some items, don't worry, just make the pull request and seek help from maintainers. 感谢您的贡献，我们非常重视。以下说明将使您的拉取请求更健康，更易于获得反馈。如果您不理解某些项目，请不要担心，只需提交拉取请求并从维护人员那里寻求帮助即可。 **PR Type / PR类型** - [ ] Feature（功能新增） - [] Bugfix（Bug 修复） - [ ] Docs（文档更新） - [x] CI/CD（持续集成/持续部署） - [] Perf（性能优化） - [x] Test-Cases（测试用例更新） - [ ] Other（其他） ## 🔍 Motivation / 变更动机 **Please describe the motivation of this PR and the goal you want to achieve through this PR.** **请描述您的拉取请求的动机和您希望通过此拉取请求实现的目标。** 补充新增两类编译冒烟测试用例，用于前置拦截各类编译链路回归问题，分担全量Nightly重型测试压力： 1. 本地小配置模型冒烟用例：依托项目本地内置模型配置文件，无需拉取远端模型权重，快速覆盖W8A8动态量化、MTP多token、TP分布式并行三条核心编译链路，提前守护对应Nightly自动化用例回归； 2. 远端配置拉取冒烟用例：仅从HuggingFace/ModelScope拉取模型config.json架构配置、不下载模型权重，基于meta设备完成模型编译，覆盖Qwen系列、DeepSeek-V3.1、GLM4.5V多模态等主流模型编译链路，关联对应全量Nightly测试用例。 目标：在CI阶段低成本、快速校验各编译通路可用性，提前发现编译路径退化问题，减少夜间全量回归测试失败频次。 ------ ## 📝 Modification / 修改内容 **Please briefly describe what modification is made in this PR.** **请简要描述此拉取请求中进行的修改。** 1. 新增本地配置类编译冒烟测试：实现 test_compile_w8a8_dynamic_quant_deepseek、test_compile_with_mtp_tokens_deepseek、test_compile_with_tp_parallel_deepseek三个用例，基于tests/assets/model_config本地deepseek_new小模型配置，限定单层网络，分别开启W8A8动态量化、MTP token、TP多卡并行编译配置，编译构建模型并做非空断言；同时标注每个用例对应的全量Nightly测试Case映射关系。 2. 新增远端配置拉取类编译冒烟测试：实现test_compile_qwen3_vanilla、test_compile_qwen3_moe、test_compile_deepseek_v31、test_vl_compile_glm45v、test_model_load_qwen35_modelscope五个远端模型用例，通过HuggingFace/ModelScope拉取模型架构配置（无权重下载），使用meta设备运行，支持MSMODELING_OFFLINE=1环境变量离线跳过执行；覆盖普通Transformer、MoE、DeepSeek MLA、多模态VL、ModelScope源模型加载等编译场景，多模态用例额外执行推理链路校验结果有效性，全部补充对应Nightly用例映射注释。 3. 所有用例均限制num_hidden_layers_override=1减少测试耗时，保障PR CI执行速度。 ------ ## 📐 Associated Test Results / 关联测试结果 **Please provide the related test results, such as test reports, etc.** **请提供相关测试结果，例如测试报告等。** 本地CI单测执行：8个新增测试用例全部编译构建通过，模型/推理结果非空断言校验成功，无编译异常、无运行时报错； 离线环境配置MSMODELING_OFFLINE=1后，远端模型相关用例正常跳过不阻塞CI； 用例执行耗时短，满足PR CI快速冒烟校验要求。 ------ ## 🌟 Use cases (Optional) / 使用案例（可选） **If this PR introduces a new feature, it is better to list some use cases here and update the documentation.** **如果此拉取请求引入了新功能，最好在此处列出一些用例并更新文档。** 1. 日常开发提PR：自动执行新增冒烟单测，提前捕获量化编译、MTP编译、TP并行编译、MoE/GMM算子融合、多模态编译等链路修改引入的编译回归； 2. 离线打包构建：配置MSMODELING_OFFLINE=1跳过远端配置下载类用例，适配无外网环境CI校验； 3. 夜间全量回归：冒烟用例提前拦截大部分基础编译问题，降低下游Nightly大批量测试失败概率。 ------ ## ✅ Checklist / 检查列表 **Before PR**: - [] Bug fixes are fully covered by unit tests, the case that causes the bug should be added in the unit tests. / 修复的 Bug 已完全由单元测试覆盖，导致 Bug 的情况应在单元测试中添加。 - [] The modification is covered by complete unit tests. If not, please add more unit tests to ensure the correctness. / 此拉取请求中的修改已完全由单元测试覆盖。如果不是，请添加更多单元测试以确保正确性。 - [ ] All relevant documentation (API docs, docstrings, example tutorials) has been updated to reflect these changes. / 所有相关文档（API 文档、文档字符串、示例教程）已更新以反映这些更改。 - [x] Please ensure code files contain no Chinese comments. / 请保证代码文件中不含中文注释。 ------ See merge request: Ascend/msmodeling!276 | 23 天前 | |
【test】新增冒烟用例 Co-authored-by: jiangruitao<jiangruitao@huawei.com> # message auto-generated for no-merge-commit merge: !276 merge develop_0602 into develop 【test】新增冒烟用例 Created-by: jiangruitao Commit-by: jiangruitao Merged-by: ascend-robot Description: # PR Template Thanks for your contribution; we appreciate it a lot. The following instructions will make your pull request healthier and help you get feedback more easily. If you do not understand some items, don't worry, just make the pull request and seek help from maintainers. 感谢您的贡献，我们非常重视。以下说明将使您的拉取请求更健康，更易于获得反馈。如果您不理解某些项目，请不要担心，只需提交拉取请求并从维护人员那里寻求帮助即可。 **PR Type / PR类型** - [ ] Feature（功能新增） - [] Bugfix（Bug 修复） - [ ] Docs（文档更新） - [x] CI/CD（持续集成/持续部署） - [] Perf（性能优化） - [x] Test-Cases（测试用例更新） - [ ] Other（其他） ## 🔍 Motivation / 变更动机 **Please describe the motivation of this PR and the goal you want to achieve through this PR.** **请描述您的拉取请求的动机和您希望通过此拉取请求实现的目标。** 补充新增两类编译冒烟测试用例，用于前置拦截各类编译链路回归问题，分担全量Nightly重型测试压力： 1. 本地小配置模型冒烟用例：依托项目本地内置模型配置文件，无需拉取远端模型权重，快速覆盖W8A8动态量化、MTP多token、TP分布式并行三条核心编译链路，提前守护对应Nightly自动化用例回归； 2. 远端配置拉取冒烟用例：仅从HuggingFace/ModelScope拉取模型config.json架构配置、不下载模型权重，基于meta设备完成模型编译，覆盖Qwen系列、DeepSeek-V3.1、GLM4.5V多模态等主流模型编译链路，关联对应全量Nightly测试用例。 目标：在CI阶段低成本、快速校验各编译通路可用性，提前发现编译路径退化问题，减少夜间全量回归测试失败频次。 ------ ## 📝 Modification / 修改内容 **Please briefly describe what modification is made in this PR.** **请简要描述此拉取请求中进行的修改。** 1. 新增本地配置类编译冒烟测试：实现 test_compile_w8a8_dynamic_quant_deepseek、test_compile_with_mtp_tokens_deepseek、test_compile_with_tp_parallel_deepseek三个用例，基于tests/assets/model_config本地deepseek_new小模型配置，限定单层网络，分别开启W8A8动态量化、MTP token、TP多卡并行编译配置，编译构建模型并做非空断言；同时标注每个用例对应的全量Nightly测试Case映射关系。 2. 新增远端配置拉取类编译冒烟测试：实现test_compile_qwen3_vanilla、test_compile_qwen3_moe、test_compile_deepseek_v31、test_vl_compile_glm45v、test_model_load_qwen35_modelscope五个远端模型用例，通过HuggingFace/ModelScope拉取模型架构配置（无权重下载），使用meta设备运行，支持MSMODELING_OFFLINE=1环境变量离线跳过执行；覆盖普通Transformer、MoE、DeepSeek MLA、多模态VL、ModelScope源模型加载等编译场景，多模态用例额外执行推理链路校验结果有效性，全部补充对应Nightly用例映射注释。 3. 所有用例均限制num_hidden_layers_override=1减少测试耗时，保障PR CI执行速度。 ------ ## 📐 Associated Test Results / 关联测试结果 **Please provide the related test results, such as test reports, etc.** **请提供相关测试结果，例如测试报告等。** 本地CI单测执行：8个新增测试用例全部编译构建通过，模型/推理结果非空断言校验成功，无编译异常、无运行时报错； 离线环境配置MSMODELING_OFFLINE=1后，远端模型相关用例正常跳过不阻塞CI； 用例执行耗时短，满足PR CI快速冒烟校验要求。 ------ ## 🌟 Use cases (Optional) / 使用案例（可选） **If this PR introduces a new feature, it is better to list some use cases here and update the documentation.** **如果此拉取请求引入了新功能，最好在此处列出一些用例并更新文档。** 1. 日常开发提PR：自动执行新增冒烟单测，提前捕获量化编译、MTP编译、TP并行编译、MoE/GMM算子融合、多模态编译等链路修改引入的编译回归； 2. 离线打包构建：配置MSMODELING_OFFLINE=1跳过远端配置下载类用例，适配无外网环境CI校验； 3. 夜间全量回归：冒烟用例提前拦截大部分基础编译问题，降低下游Nightly大批量测试失败概率。 ------ ## ✅ Checklist / 检查列表 **Before PR**: - [] Bug fixes are fully covered by unit tests, the case that causes the bug should be added in the unit tests. / 修复的 Bug 已完全由单元测试覆盖，导致 Bug 的情况应在单元测试中添加。 - [] The modification is covered by complete unit tests. If not, please add more unit tests to ensure the correctness. / 此拉取请求中的修改已完全由单元测试覆盖。如果不是，请添加更多单元测试以确保正确性。 - [ ] All relevant documentation (API docs, docstrings, example tutorials) has been updated to reflect these changes. / 所有相关文档（API 文档、文档字符串、示例教程）已更新以反映这些更改。 - [x] Please ensure code files contain no Chinese comments. / 请保证代码文件中不含中文注释。 ------ See merge request: Ascend/msmodeling!276 | 23 天前 | |
【REFACTOR】【TESTS】重构 tests 目录并补充 smoke 测试 Co-authored-by: liujiawang<anonymousdev@163.com> # message auto-generated for no-merge-commit merge: !266 merge refactor-tests into develop 【REFACTOR】【TESTS】重构 tests 目录并补充 smoke 测试 Created-by: AvadaKedavrua Commit-by: liujiawang;AvadaKedavrua Merged-by: ascend-robot Description: # PR Template Thanks for your contribution; we appreciate it a lot. The following instructions will make your pull request healthier and help you get feedback more easily. If you do not understand some items, don't worry, just make the pull request and seek help from maintainers. 感谢您的贡献，我们非常重视。以下说明将使您的拉取请求更健康，更易于获得反馈。如果您不理解某些项目，请不要担心，只需提交拉取请求并从维护人员那里寻求帮助即可。 **PR Type / PR类型** - [x] Feature（功能新增） - [x] Bugfix（Bug 修复） - [x] Docs（文档更新） - [x] CI/CD（持续集成/持续部署） - [x] Refactor（代码重构） - [x] Perf（性能优化） - [x] Test-Cases（测试用例更新） - [ ] Other（其他） ## 🔍 Motivation / 变更动机 现有 UT 目录混合了 smoke、regression、benchmark、模型配置资产和脚本测试，导致本地执行入口不统一、CI 无法稳定做增量选择，nightly 也缺少统一的 test_map 刷新和报告链路。旧的 tests/run_ut.sh 入口难以表达“快速 smoke / 完整 regression / benchmark / PR gate / nightly”这些不同场景，新增或删除源码时也缺少基于 test_map 的覆盖检查。 本 PR 目标是把测试体系拆成清晰分层，并补齐 CI gate、nightly、coverage gate、test_map 构建和文档，让开发者和流水线都能按同一套目录与脚本执行测试。同时修复整理过程中暴露出的少量模型配置、serving 输出文本和文档问题。 ------ ## 📝 Modification / 修改内容 本次按 hunk/主题重新整理为 17 个提交，主要修改如下： - 重构测试目录：将旧 tests/test_tensor_cast、serving_cast/tests、web_ui/tests、tests/tools、tests/perf_database、tests/st 拆分到 tests/smoke/、tests/regression/、tests/benchmark/。 - 统一测试资产：将模型配置移动到 tests/assets/model_config/，同步更新 pre-commit exclude、缓存目录和文档说明。 - 新增共享测试 helper：补充断言、配置工厂、fake subprocess、模型构造、op registry 等公共测试工具，减少测试重复代码。 - 新增 CI gate helper：增加 diff 分类、test_map 读取、AST 符号映射、coverage gate、增量测试选择和 gate policy 配置。 - 新增 nightly helper：增加 pytest 结果解析、报告模型、报告构建、Feishu webhook 通知、test_map 刷新和 benchmark 调度入口。 - 新增统一脚本入口：新增 scripts/run_smoke.sh、scripts/run_regression.sh、scripts/run_benchmark.sh、scripts/run_ci_gate.sh、scripts/run_nightly.sh，替换旧 tests/run_ut.sh。 - 更新配置与文档：补充 pyproject.toml 的 pytest marker/testpaths/filterwarnings，更新 README.md、tests/README.md、docs/en/web_ui.md、web_ui/README.md、tools/perf_data_collection/README.md。 - 修复模型/输出细节：为 DeepseekV32DecoderLayer 注册 config_class；规范 serving_cast optimizer summary 的冒号和 runner 日志文案。 ### 后续 UT 怎么上 - 新增快速兜底用例放到 tests/smoke/：覆盖导入、基础 compile path、轻量 config resolver、轻量 serving/tensor_cast 主路径，要求无 NPU、无大模型权重、反馈快，适合每个 PR 先跑。 - 新增功能回归用例放到 tests/regression/<domain>/：按 tensor_cast、serving_cast、cli、web_ui、scripts/helpers 等领域归档，覆盖具体 bugfix、边界条件、行为契约和工具脚本逻辑。 - 新增长耗时或性能相关用例放到 tests/benchmark/：模型基准、perf_database、trace/CSV 性能数据处理等不阻塞普通 PR gate 的测试归到 benchmark 层。 - 新增模型配置、fixture、样例数据优先放到 tests/assets/ 或就近 fixtures/，避免继续散落在测试包内部；大文件或生成缓存走 .msmodeling_cache/、tests/assets/cache/，不直接进入源码目录。 - 新测试默认使用 tests/helpers/ 的公共构造器和断言工具；需要 fake subprocess、模型配置、op registry 时复用已有 helper，减少每个测试重复 mock 和手写配置。 - 需要 NPU 的用例必须打 @pytest.mark.npu；只应 nightly 跑的大模型/长耗时 compile 用例打 @pytest.mark.nightly，避免进入默认本地和 PR 快速路径。 ### 怎么根据语义上 UT - 测试不再只按文件名机械归类，而是按“被测语义”挂到对应源码符号：产品源码的函数、类、方法、顶层行为需要在 test_map 中映射到验证它的测试 nodeid。 - 新增产品源码时，如果是可执行逻辑，应新增对应 smoke 或 regression 用例，并让 test_map 能找到该源码/符号；确实不需要测试的符号需要在 exemption 中写明原因。 - 修改已有源码时，CI gate 会用 AST 定位变更行落在哪个 top-level definition 或 class/method span，再通过 test_map 选择关联测试；如果符号没有映射，会阻断或扩大测试范围，避免“改了逻辑但没跑语义相关 UT”。 - 删除源码时，CI gate 会检查 test_map 中是否仍有引用该源码的测试，防止遗留无效映射；删除测试时也会检查是否破坏已有源码覆盖关系。 - 跨层依赖变更会按语义优先选择所属 regression layer，无法明确归属或配置变更时升级为更完整的套件，保证增量选择不会漏测。 - test_map 由 nightly 在完整测试通过后刷新，PR gate 消费稳定版本；这样避免每个 PR 临时生成不可信映射，同时让语义映射随主干测试演进。 ### 流水线做了什么调整 - 本地与 CI 统一入口：run_smoke.sh 跑快速 smoke，run_regression.sh 跑完整 regression，run_benchmark.sh 跑 benchmark，run_ci_gate.sh 跑 PR 增量门禁，run_nightly.sh 跑夜间全流程。 - PR gate 从“固定跑一批 UT”改为“diff -> classify changes -> load test_map -> apply gate rules -> run selected pytest -> coverage gate”。配置变更、源码新增/删除、测试新增/删除、源码修改会走不同 gate 规则。 - coverage gate 统一读取 MSMODELING_TEST_LINE_THRESHOLD 和 MSMODELING_TEST_BRANCH_THRESHOLD，默认 line 70、branch 50；pytest 默认排除 npu，PR gate 额外排除 nightly。 - nightly 分两阶段：先跑非 NPU、非 nightly 的 smoke/regression 并在通过后刷新 test_map；再跑 nightly 标记用例与 benchmark，并构建结构化报告。 - 流水线统一支持 MSMODELING_OFFLINE、MSMODELING_TEST_WEIGHTS_PRUNE、MSMODELING_TEST_MAP_PATH 等环境变量，减少不同脚本各自处理缓存、离线和权重清理的差异。 - benchmark 不纳入普通 coverage gate，避免性能/长耗时用例拖慢 PR 门禁；必要时可通过独立 benchmark pipeline 或 nightly 验证。 - pre-commit exclude 同步到新目录，模型配置资产和 fixtures 不再被无意义格式化或误报。 已处理问题清单： - 旧 UT 入口单一，无法区分 smoke、regression、benchmark、nightly 和 PR gate。 - 模型配置资产散落在测试用例目录下，pre-commit 与测试引用路径容易漂移。 - 新增/删除源码缺少 test_map 覆盖检查，CI 不能精准阻断未补测试的变更。 - coverage 阈值、pytest marker、离线模式、权重缓存清理等 CI 参数缺少统一入口。 - nightly 缺少结构化报告、失败摘要和 Feishu 通知链路。 - web UI 测试仍在模块内，未纳入统一 regression 层级。 - DeepseekV32DecoderLayer 缺少 config_class，影响配置类识别一致性。 - serving_cast 部分日志/summary 文案有多余空格或表达不统一。 ------ ## 📐 Associated Test Results / 关联测试结果 提交过程中每个 commit 均触发 pre-commit hook，已通过已检查文件的 trailing whitespace、EOF、YAML/JSON、大文件、merge conflict、private key、ruff、ruff-format、codespell、pylint、bandit、typos 等检查。 本地未额外执行完整 smoke/regression/benchmark 全量测试；推送后以 GitCode CI 结果为准。建议重点关注： - bash ./scripts/run_smoke.sh - bash ./scripts/run_regression.sh - bash ./scripts/run_ci_gate.sh（需设置 MSMODELING_TEST_MAP_PATH） - bash ./scripts/run_nightly.sh（需设置 MSMODELING_TEST_MAP_PATH） ------ ## 🌟 Use cases (Optional) / 使用案例（可选） - 本地快速验证：开发者运行 bash ./scripts/run_smoke.sh 获取快速反馈。 - 本地完整回归：开发者运行 bash ./scripts/run_regression.sh 覆盖主要回归用例。 - PR 增量门禁：CI 设置 MSMODELING_TEST_MAP_PATH 后运行 bash ./scripts/run_ci_gate.sh，按 diff 与 test_map 选择用例并执行 coverage gate。 - 夜间任务：nightly 先跑非 nightly 的 smoke/regression 并刷新 test_map，再执行 nightly/benchmark 并生成报告，可选 Feishu 通知。 ------ ## ✅ Checklist / 检查列表 **Before PR**: - [x] Bug fixes are fully covered by unit tests, the case that causes the bug should be added in the unit tests. / 修复的 Bug 已完全由单元测试覆盖，导致 Bug 的情况应在单元测试中添加。 - [ ] The modification is covered by complete unit tests. If not, please add more unit tests to ensure the correctness. / 此拉取请求中的修改已完全由单元测试覆盖。如果不是，请添加更多单元测试以确保正确性。 - [x] All relevant documentation (API docs, docstrings, example tutorials) has been updated to reflect these changes. / 所有相关文档（API 文档、文档字符串、示例教程）已更新以反映这些更改。 - [x] Please ensure code files contain no Chinese comments. / 请保证代码文件中不含中文注释。 ------ See merge request: Ascend/msmodeling!266 | 26 天前 | |
【REFACTOR】【TESTS】重构 tests 目录并补充 smoke 测试 Co-authored-by: liujiawang<anonymousdev@163.com> # message auto-generated for no-merge-commit merge: !266 merge refactor-tests into develop 【REFACTOR】【TESTS】重构 tests 目录并补充 smoke 测试 Created-by: AvadaKedavrua Commit-by: liujiawang;AvadaKedavrua Merged-by: ascend-robot Description: # PR Template Thanks for your contribution; we appreciate it a lot. The following instructions will make your pull request healthier and help you get feedback more easily. If you do not understand some items, don't worry, just make the pull request and seek help from maintainers. 感谢您的贡献，我们非常重视。以下说明将使您的拉取请求更健康，更易于获得反馈。如果您不理解某些项目，请不要担心，只需提交拉取请求并从维护人员那里寻求帮助即可。 **PR Type / PR类型** - [x] Feature（功能新增） - [x] Bugfix（Bug 修复） - [x] Docs（文档更新） - [x] CI/CD（持续集成/持续部署） - [x] Refactor（代码重构） - [x] Perf（性能优化） - [x] Test-Cases（测试用例更新） - [ ] Other（其他） ## 🔍 Motivation / 变更动机 现有 UT 目录混合了 smoke、regression、benchmark、模型配置资产和脚本测试，导致本地执行入口不统一、CI 无法稳定做增量选择，nightly 也缺少统一的 test_map 刷新和报告链路。旧的 tests/run_ut.sh 入口难以表达“快速 smoke / 完整 regression / benchmark / PR gate / nightly”这些不同场景，新增或删除源码时也缺少基于 test_map 的覆盖检查。 本 PR 目标是把测试体系拆成清晰分层，并补齐 CI gate、nightly、coverage gate、test_map 构建和文档，让开发者和流水线都能按同一套目录与脚本执行测试。同时修复整理过程中暴露出的少量模型配置、serving 输出文本和文档问题。 ------ ## 📝 Modification / 修改内容 本次按 hunk/主题重新整理为 17 个提交，主要修改如下： - 重构测试目录：将旧 tests/test_tensor_cast、serving_cast/tests、web_ui/tests、tests/tools、tests/perf_database、tests/st 拆分到 tests/smoke/、tests/regression/、tests/benchmark/。 - 统一测试资产：将模型配置移动到 tests/assets/model_config/，同步更新 pre-commit exclude、缓存目录和文档说明。 - 新增共享测试 helper：补充断言、配置工厂、fake subprocess、模型构造、op registry 等公共测试工具，减少测试重复代码。 - 新增 CI gate helper：增加 diff 分类、test_map 读取、AST 符号映射、coverage gate、增量测试选择和 gate policy 配置。 - 新增 nightly helper：增加 pytest 结果解析、报告模型、报告构建、Feishu webhook 通知、test_map 刷新和 benchmark 调度入口。 - 新增统一脚本入口：新增 scripts/run_smoke.sh、scripts/run_regression.sh、scripts/run_benchmark.sh、scripts/run_ci_gate.sh、scripts/run_nightly.sh，替换旧 tests/run_ut.sh。 - 更新配置与文档：补充 pyproject.toml 的 pytest marker/testpaths/filterwarnings，更新 README.md、tests/README.md、docs/en/web_ui.md、web_ui/README.md、tools/perf_data_collection/README.md。 - 修复模型/输出细节：为 DeepseekV32DecoderLayer 注册 config_class；规范 serving_cast optimizer summary 的冒号和 runner 日志文案。 ### 后续 UT 怎么上 - 新增快速兜底用例放到 tests/smoke/：覆盖导入、基础 compile path、轻量 config resolver、轻量 serving/tensor_cast 主路径，要求无 NPU、无大模型权重、反馈快，适合每个 PR 先跑。 - 新增功能回归用例放到 tests/regression/<domain>/：按 tensor_cast、serving_cast、cli、web_ui、scripts/helpers 等领域归档，覆盖具体 bugfix、边界条件、行为契约和工具脚本逻辑。 - 新增长耗时或性能相关用例放到 tests/benchmark/：模型基准、perf_database、trace/CSV 性能数据处理等不阻塞普通 PR gate 的测试归到 benchmark 层。 - 新增模型配置、fixture、样例数据优先放到 tests/assets/ 或就近 fixtures/，避免继续散落在测试包内部；大文件或生成缓存走 .msmodeling_cache/、tests/assets/cache/，不直接进入源码目录。 - 新测试默认使用 tests/helpers/ 的公共构造器和断言工具；需要 fake subprocess、模型配置、op registry 时复用已有 helper，减少每个测试重复 mock 和手写配置。 - 需要 NPU 的用例必须打 @pytest.mark.npu；只应 nightly 跑的大模型/长耗时 compile 用例打 @pytest.mark.nightly，避免进入默认本地和 PR 快速路径。 ### 怎么根据语义上 UT - 测试不再只按文件名机械归类，而是按“被测语义”挂到对应源码符号：产品源码的函数、类、方法、顶层行为需要在 test_map 中映射到验证它的测试 nodeid。 - 新增产品源码时，如果是可执行逻辑，应新增对应 smoke 或 regression 用例，并让 test_map 能找到该源码/符号；确实不需要测试的符号需要在 exemption 中写明原因。 - 修改已有源码时，CI gate 会用 AST 定位变更行落在哪个 top-level definition 或 class/method span，再通过 test_map 选择关联测试；如果符号没有映射，会阻断或扩大测试范围，避免“改了逻辑但没跑语义相关 UT”。 - 删除源码时，CI gate 会检查 test_map 中是否仍有引用该源码的测试，防止遗留无效映射；删除测试时也会检查是否破坏已有源码覆盖关系。 - 跨层依赖变更会按语义优先选择所属 regression layer，无法明确归属或配置变更时升级为更完整的套件，保证增量选择不会漏测。 - test_map 由 nightly 在完整测试通过后刷新，PR gate 消费稳定版本；这样避免每个 PR 临时生成不可信映射，同时让语义映射随主干测试演进。 ### 流水线做了什么调整 - 本地与 CI 统一入口：run_smoke.sh 跑快速 smoke，run_regression.sh 跑完整 regression，run_benchmark.sh 跑 benchmark，run_ci_gate.sh 跑 PR 增量门禁，run_nightly.sh 跑夜间全流程。 - PR gate 从“固定跑一批 UT”改为“diff -> classify changes -> load test_map -> apply gate rules -> run selected pytest -> coverage gate”。配置变更、源码新增/删除、测试新增/删除、源码修改会走不同 gate 规则。 - coverage gate 统一读取 MSMODELING_TEST_LINE_THRESHOLD 和 MSMODELING_TEST_BRANCH_THRESHOLD，默认 line 70、branch 50；pytest 默认排除 npu，PR gate 额外排除 nightly。 - nightly 分两阶段：先跑非 NPU、非 nightly 的 smoke/regression 并在通过后刷新 test_map；再跑 nightly 标记用例与 benchmark，并构建结构化报告。 - 流水线统一支持 MSMODELING_OFFLINE、MSMODELING_TEST_WEIGHTS_PRUNE、MSMODELING_TEST_MAP_PATH 等环境变量，减少不同脚本各自处理缓存、离线和权重清理的差异。 - benchmark 不纳入普通 coverage gate，避免性能/长耗时用例拖慢 PR 门禁；必要时可通过独立 benchmark pipeline 或 nightly 验证。 - pre-commit exclude 同步到新目录，模型配置资产和 fixtures 不再被无意义格式化或误报。 已处理问题清单： - 旧 UT 入口单一，无法区分 smoke、regression、benchmark、nightly 和 PR gate。 - 模型配置资产散落在测试用例目录下，pre-commit 与测试引用路径容易漂移。 - 新增/删除源码缺少 test_map 覆盖检查，CI 不能精准阻断未补测试的变更。 - coverage 阈值、pytest marker、离线模式、权重缓存清理等 CI 参数缺少统一入口。 - nightly 缺少结构化报告、失败摘要和 Feishu 通知链路。 - web UI 测试仍在模块内，未纳入统一 regression 层级。 - DeepseekV32DecoderLayer 缺少 config_class，影响配置类识别一致性。 - serving_cast 部分日志/summary 文案有多余空格或表达不统一。 ------ ## 📐 Associated Test Results / 关联测试结果 提交过程中每个 commit 均触发 pre-commit hook，已通过已检查文件的 trailing whitespace、EOF、YAML/JSON、大文件、merge conflict、private key、ruff、ruff-format、codespell、pylint、bandit、typos 等检查。 本地未额外执行完整 smoke/regression/benchmark 全量测试；推送后以 GitCode CI 结果为准。建议重点关注： - bash ./scripts/run_smoke.sh - bash ./scripts/run_regression.sh - bash ./scripts/run_ci_gate.sh（需设置 MSMODELING_TEST_MAP_PATH） - bash ./scripts/run_nightly.sh（需设置 MSMODELING_TEST_MAP_PATH） ------ ## 🌟 Use cases (Optional) / 使用案例（可选） - 本地快速验证：开发者运行 bash ./scripts/run_smoke.sh 获取快速反馈。 - 本地完整回归：开发者运行 bash ./scripts/run_regression.sh 覆盖主要回归用例。 - PR 增量门禁：CI 设置 MSMODELING_TEST_MAP_PATH 后运行 bash ./scripts/run_ci_gate.sh，按 diff 与 test_map 选择用例并执行 coverage gate。 - 夜间任务：nightly 先跑非 nightly 的 smoke/regression 并刷新 test_map，再执行 nightly/benchmark 并生成报告，可选 Feishu 通知。 ------ ## ✅ Checklist / 检查列表 **Before PR**: - [x] Bug fixes are fully covered by unit tests, the case that causes the bug should be added in the unit tests. / 修复的 Bug 已完全由单元测试覆盖，导致 Bug 的情况应在单元测试中添加。 - [ ] The modification is covered by complete unit tests. If not, please add more unit tests to ensure the correctness. / 此拉取请求中的修改已完全由单元测试覆盖。如果不是，请添加更多单元测试以确保正确性。 - [x] All relevant documentation (API docs, docstrings, example tutorials) has been updated to reflect these changes. / 所有相关文档（API 文档、文档字符串、示例教程）已更新以反映这些更改。 - [x] Please ensure code files contain no Chinese comments. / 请保证代码文件中不含中文注释。 ------ See merge request: Ascend/msmodeling!266 | 26 天前 | |
【FIX】【TEST】修复 README/文档失效链接并默认运行完整 benchmark 套件 Co-authored-by: liujiawang<anonymousdev@163.com> # message auto-generated for no-merge-commit merge: !331 merge fix into develop 【FIX】【TEST】修复 README/文档失效链接并默认运行完整 benchmark 套件 Created-by: AvadaKedavrua Commit-by: liujiawang Merged-by: ascend-robot Description: ## 修改原因 1. README.md 社区区公众号二维码指向 msinsight 仓库旧路径，资源已 404，用户扫码/预览失败。 2. OP_PLUGIN_MAPPING_TUTORIAL.md 中 Op Mapping skill 相对路径错误，文档内链接跳转失败。 3. benchmark 入口默认只跑 tests/benchmark/ops/，tests/benchmark/models/ 模型回归被静默跳过，CI/nightly 覆盖不足。 4. 全量 benchmark 启用后，qwen3-30b-a3b decode/prefill baseline 与当前 compile 输出不一致，需刷新。 --- ## 修改内容 | 类别 | 文件 | 变更 | |------|------|------| | 文档链接 | README.md | 公众号图片 URL 换为可用 user-images 资源；TOC 补全 Contributions / Community 等章节锚点 | | 文档链接 | docs/perf_database/tutorial/OP_PLUGIN_MAPPING_TUTORIAL.md | skill 路径 ../skills/... → ../../../.agents/skills/op-mapping/SKILL.md | | benchmark 默认行为 | scripts/run_benchmark.sh、scripts/helpers/nightly/main.py | 移除 MSMODELING_BENCHMARK_MODELS 开关，固定跑 tests/benchmark/ 全目录 | | 设计文档 | docs/design/ut_refactor.md | 同步 benchmark phase 描述 | | baseline | tests/benchmark/models/cases/qwen3-30b-a3b-{decode,prefill}.json | 刷新 baseline_time_s 与 operator top-N | | lint | experimental/optix/、scripts/、tensor_cast/、tests/ 等 | 为 inspect.* 误报补 pylint: disable 注释 | --- ## 自验证 ### README 公众号图片链接 目的：确认旧链接 404、新链接可访问。 步骤： 1. 检查旧 URL HTTP 状态 2. 检查新 URL HTTP 状态 bash curl -sI "https://raw.gitcode.com/Ascend/msinsight/raw/master/docs/zh/user_guide/figures/readme/officialAccount.jpg" | head -1 curl -sI "https://raw.gitcode.com/user-images/assets/8428112/2a22a707-de26-4bb3-b312-4952035e021b/30be980e7fd65b2486d251b48a7999f3.jpg" | head -1 结果： text HTTP/1.1 404 Not Found HTTP/1.1 200 OK ### Op Mapping skill 文档路径 目的：确认教程内链接指向真实文件。 步骤： 1. 在仓库根目录检查 skill 文件是否存在 bash test -f .agents/skills/op-mapping/SKILL.md && echo OK 结果： text OK ### Benchmark 入口默认全量 目的：确认 run_benchmark.sh 不再依赖 MSMODELING_BENCHMARK_MODELS，默认覆盖 models 子目录。 步骤： 1. 查看脚本 benchmark target 配置 bash grep -n "TESTS_BENCHMARK" scripts/run_benchmark.sh 结果： text run_pytest "${TESTS_BENCHMARK}/" \ ### CI 流水线 目的：确认改动未破坏现有 CI/docs CI。 步骤： 1. 查看 PR #331 CI label 状态 结果：PR 已打标 ci-pipeline-passed、docs-ci-pipeline-success。 See merge request: Ascend/msmodeling!331 | 17 天前 | |
feat：仿真建模支持deepseek-V4模型适配 Co-authored-by: ChenHuiwen<chenhuiwen7@huawei.com> # message auto-generated for no-merge-commit merge: !166 merge deepseek-v4 into develop feat：仿真建模支持deepseek-V4模型适配 Created-by: ChenHuiwen Commit-by: ChenHuiwen Merged-by: ascend-robot Description: Thanks for your contribution; we appreciate it a lot. The following instructions will make your pull request healthier and help you get feedback more easily. If you do not understand some items, don't worry, just make the pull request and seek help from maintainers. 感谢您的贡献，我们非常重视。以下说明将使您的拉取请求更健康，更易于获得反馈。如果您不理解某些项目，请不要担心，只需提交拉取请求并从维护人员那里寻求帮助即可。 **PR Type / PR类型** - [x] Feature（功能新增） - [ ] Bugfix（Bug 修复） - [ ] Docs（文档更新） - [ ] CI/CD（持续集成/持续部署） - [ ] Refactor（代码重构） - [ ] Perf（性能优化） - [ ] Test-Cases（测试用例更新） - [ ] Other（其他） ## 🔍 Motivation / 变更动机 为 msmodeling/tensor_cast 增加对 DeepSeek V4 (Flash/Pro) 模型的端到端支持，使其性能建模流水线能够覆盖 V4 引入的稀疏注意力（NSA / Window / Compressed / Heavily-Compressed 多 layer-type 路由）、HC（Head Compression）混合、Sinkhorn 拆分以及 Hash Routing MoE 等新结构，并补齐对应的 fake-tensor 语义算子与代价模型，让 V4 模型可以直接走通现有 analytic / multistream tracing 流程。 ------ ## 📝 Modification / 修改内容 新增文件 / New files - tensor_cast/transformers/builtin_model/deepseek_v4.py：DeepSeek V4 builtin model profile，包含 DeepseekV4Config / DeepseekV4Model 注册、layer-type 校验（{0, 4, 128} 对应 sliding_attention / compressed_sparse_attention / heavily_compressed_attention）、以及与 transformers AutoConfig / AutoModel 的安全注册逻辑。 - tests/test_tensor_cast/test_deepseek_v4.py 与 tests/test_tensor_cast/data/deepseek_v4/*.json：V4 模型对应的测试数据集与用例（含合法/非法/缺失/截短的 ratios 配置）。 注意力 / Attention（tensor_cast/layers/mla.py，tensor_cast/ops/mla.py，tensor_cast/ops/rotary_embedding.py） - 新增 DeepseekV4SparseAttention 与 MultiheadLatentAttentionTensorCast 适配（含 requires_legacy_kv_b_decomposition、KV-cache window 写入路径等）。 - 新增 get_window_topk_idxs / get_compress_topk_idxs 索引生成工具。 - 新增 HC 路径语义算子：hc_pre_inv_rms、hc_pre_sinkhorn，分别对应参考实现中的 inverse-RMS 缩放与 Sinkhorn 加权 reduction。 - 新增 scatter_nd_update_mla 等 KV 写入算子的代价模型，按参考实现仅计 source 行读 + 更新行写，不计 slot_mapping / 整 cache 张量。 MoE / Gate（tensor_cast/layers/moe_layer.py，tensor_cast/ops/fused_moe.py） - MoELayer 增加 V4 统一 gating 路径：识别 gate 上的 is_v4 / hash 标志位，按参考 Gate.forward 顺序发出 matmul + score func + indices + gather/normalize/route_scale 各算子，使每一步按其真实 dtype（gate matmul 走 fp32）单独计费。 - 新增 moe_gating_top_k（带可选 bias 的 V4 非 hash 层）与 moe_gating_top_k_hash（基于 tid2eid 表的 hash 路由层）两个语义算子。 性能模型 / Performance Model（tensor_cast/performance_model/__init__.py） - 引入 _safe_max_int 工具：在 fake / meta / functional tensor 上 tensor.max().item() 不可用时回退为 None，让 caller 走 shape-based 估算。 - 注册 V4 新算子（scatter_nd_update_mla、HC 系列、MoE 新 gating tail 等）的 PerformanceProperties，与参考实现的内存访问语义对齐。 其他 / Misc - tensor_cast/core/config_resolver.py、input_generator.py、model_runner.py、device.py、transformers/transformations.py、 transformers/custom_model_registry.py、layers/utils.py、model_config.py、compilation/passes/multistream_pass.py：补齐 V4 在 config 解析、输入构造、runner 调度、device profile、模型变换与算子注册各环节的接入。 ------ ## 📐 Associated Test Results / 关联测试结果 **Please provide the related test results, such as test reports, etc.** **请提供相关测试结果，例如测试报告等。**   ------ ## 🌟 Use cases (Optional) / 使用案例（可选） **If this PR introduces a new feature, it is better to list some use cases here and update the documentation.** **如果此拉取请求引入了新功能，最好在此处列出一些用例并更新文档。** ------ ## ✅ Checklist / 检查列表 **Before PR**: - [ ] [Linting tools](https://gitcode.com/Ascend/msmodeling/blob/develop/tensor_cast/README.md#coding-style) are used to fix the potential lint issues. / 使用 [lintrunner 工具](https://gitcode.com/Ascend/msmodeling/blob/develop/tensor_cast/README.md#coding-style) 来修复潜在的 lint 问题。 - [ ] Bug fixes are fully covered by unit tests, the case that causes the bug should be added in the unit tests. / 修复的 Bug 已完全由单元测试覆盖，导致 Bug 的情况应在单元测试中添加。 - [ ] The modification is covered by complete unit tests. If not, please add more unit tests to ensure the correctness. / 此拉取请求中的修改已完全由单元测试覆盖。如果不是，请添加更多单元测试以确保正确性。 - [ ] All relevant documentation (API docs, docstrings, example tutorials) has been updated to reflect these changes. / 所有相关文档（API 文档、文档字符串、示例教程）已更新以反映这些更改。 - [ ] Please ensure code files contain no Chinese comments. / 请保证代码文件中不含中文注释。 ------ See merge request: Ascend/msmodeling!166 | 23 天前 | |
【REFACTOR】【TESTS】重构 tests 目录并补充 smoke 测试 Co-authored-by: liujiawang<anonymousdev@163.com> # message auto-generated for no-merge-commit merge: !266 merge refactor-tests into develop 【REFACTOR】【TESTS】重构 tests 目录并补充 smoke 测试 Created-by: AvadaKedavrua Commit-by: liujiawang;AvadaKedavrua Merged-by: ascend-robot Description: # PR Template Thanks for your contribution; we appreciate it a lot. The following instructions will make your pull request healthier and help you get feedback more easily. If you do not understand some items, don't worry, just make the pull request and seek help from maintainers. 感谢您的贡献，我们非常重视。以下说明将使您的拉取请求更健康，更易于获得反馈。如果您不理解某些项目，请不要担心，只需提交拉取请求并从维护人员那里寻求帮助即可。 **PR Type / PR类型** - [x] Feature（功能新增） - [x] Bugfix（Bug 修复） - [x] Docs（文档更新） - [x] CI/CD（持续集成/持续部署） - [x] Refactor（代码重构） - [x] Perf（性能优化） - [x] Test-Cases（测试用例更新） - [ ] Other（其他） ## 🔍 Motivation / 变更动机 现有 UT 目录混合了 smoke、regression、benchmark、模型配置资产和脚本测试，导致本地执行入口不统一、CI 无法稳定做增量选择，nightly 也缺少统一的 test_map 刷新和报告链路。旧的 tests/run_ut.sh 入口难以表达“快速 smoke / 完整 regression / benchmark / PR gate / nightly”这些不同场景，新增或删除源码时也缺少基于 test_map 的覆盖检查。 本 PR 目标是把测试体系拆成清晰分层，并补齐 CI gate、nightly、coverage gate、test_map 构建和文档，让开发者和流水线都能按同一套目录与脚本执行测试。同时修复整理过程中暴露出的少量模型配置、serving 输出文本和文档问题。 ------ ## 📝 Modification / 修改内容 本次按 hunk/主题重新整理为 17 个提交，主要修改如下： - 重构测试目录：将旧 tests/test_tensor_cast、serving_cast/tests、web_ui/tests、tests/tools、tests/perf_database、tests/st 拆分到 tests/smoke/、tests/regression/、tests/benchmark/。 - 统一测试资产：将模型配置移动到 tests/assets/model_config/，同步更新 pre-commit exclude、缓存目录和文档说明。 - 新增共享测试 helper：补充断言、配置工厂、fake subprocess、模型构造、op registry 等公共测试工具，减少测试重复代码。 - 新增 CI gate helper：增加 diff 分类、test_map 读取、AST 符号映射、coverage gate、增量测试选择和 gate policy 配置。 - 新增 nightly helper：增加 pytest 结果解析、报告模型、报告构建、Feishu webhook 通知、test_map 刷新和 benchmark 调度入口。 - 新增统一脚本入口：新增 scripts/run_smoke.sh、scripts/run_regression.sh、scripts/run_benchmark.sh、scripts/run_ci_gate.sh、scripts/run_nightly.sh，替换旧 tests/run_ut.sh。 - 更新配置与文档：补充 pyproject.toml 的 pytest marker/testpaths/filterwarnings，更新 README.md、tests/README.md、docs/en/web_ui.md、web_ui/README.md、tools/perf_data_collection/README.md。 - 修复模型/输出细节：为 DeepseekV32DecoderLayer 注册 config_class；规范 serving_cast optimizer summary 的冒号和 runner 日志文案。 ### 后续 UT 怎么上 - 新增快速兜底用例放到 tests/smoke/：覆盖导入、基础 compile path、轻量 config resolver、轻量 serving/tensor_cast 主路径，要求无 NPU、无大模型权重、反馈快，适合每个 PR 先跑。 - 新增功能回归用例放到 tests/regression/<domain>/：按 tensor_cast、serving_cast、cli、web_ui、scripts/helpers 等领域归档，覆盖具体 bugfix、边界条件、行为契约和工具脚本逻辑。 - 新增长耗时或性能相关用例放到 tests/benchmark/：模型基准、perf_database、trace/CSV 性能数据处理等不阻塞普通 PR gate 的测试归到 benchmark 层。 - 新增模型配置、fixture、样例数据优先放到 tests/assets/ 或就近 fixtures/，避免继续散落在测试包内部；大文件或生成缓存走 .msmodeling_cache/、tests/assets/cache/，不直接进入源码目录。 - 新测试默认使用 tests/helpers/ 的公共构造器和断言工具；需要 fake subprocess、模型配置、op registry 时复用已有 helper，减少每个测试重复 mock 和手写配置。 - 需要 NPU 的用例必须打 @pytest.mark.npu；只应 nightly 跑的大模型/长耗时 compile 用例打 @pytest.mark.nightly，避免进入默认本地和 PR 快速路径。 ### 怎么根据语义上 UT - 测试不再只按文件名机械归类，而是按“被测语义”挂到对应源码符号：产品源码的函数、类、方法、顶层行为需要在 test_map 中映射到验证它的测试 nodeid。 - 新增产品源码时，如果是可执行逻辑，应新增对应 smoke 或 regression 用例，并让 test_map 能找到该源码/符号；确实不需要测试的符号需要在 exemption 中写明原因。 - 修改已有源码时，CI gate 会用 AST 定位变更行落在哪个 top-level definition 或 class/method span，再通过 test_map 选择关联测试；如果符号没有映射，会阻断或扩大测试范围，避免“改了逻辑但没跑语义相关 UT”。 - 删除源码时，CI gate 会检查 test_map 中是否仍有引用该源码的测试，防止遗留无效映射；删除测试时也会检查是否破坏已有源码覆盖关系。 - 跨层依赖变更会按语义优先选择所属 regression layer，无法明确归属或配置变更时升级为更完整的套件，保证增量选择不会漏测。 - test_map 由 nightly 在完整测试通过后刷新，PR gate 消费稳定版本；这样避免每个 PR 临时生成不可信映射，同时让语义映射随主干测试演进。 ### 流水线做了什么调整 - 本地与 CI 统一入口：run_smoke.sh 跑快速 smoke，run_regression.sh 跑完整 regression，run_benchmark.sh 跑 benchmark，run_ci_gate.sh 跑 PR 增量门禁，run_nightly.sh 跑夜间全流程。 - PR gate 从“固定跑一批 UT”改为“diff -> classify changes -> load test_map -> apply gate rules -> run selected pytest -> coverage gate”。配置变更、源码新增/删除、测试新增/删除、源码修改会走不同 gate 规则。 - coverage gate 统一读取 MSMODELING_TEST_LINE_THRESHOLD 和 MSMODELING_TEST_BRANCH_THRESHOLD，默认 line 70、branch 50；pytest 默认排除 npu，PR gate 额外排除 nightly。 - nightly 分两阶段：先跑非 NPU、非 nightly 的 smoke/regression 并在通过后刷新 test_map；再跑 nightly 标记用例与 benchmark，并构建结构化报告。 - 流水线统一支持 MSMODELING_OFFLINE、MSMODELING_TEST_WEIGHTS_PRUNE、MSMODELING_TEST_MAP_PATH 等环境变量，减少不同脚本各自处理缓存、离线和权重清理的差异。 - benchmark 不纳入普通 coverage gate，避免性能/长耗时用例拖慢 PR 门禁；必要时可通过独立 benchmark pipeline 或 nightly 验证。 - pre-commit exclude 同步到新目录，模型配置资产和 fixtures 不再被无意义格式化或误报。 已处理问题清单： - 旧 UT 入口单一，无法区分 smoke、regression、benchmark、nightly 和 PR gate。 - 模型配置资产散落在测试用例目录下，pre-commit 与测试引用路径容易漂移。 - 新增/删除源码缺少 test_map 覆盖检查，CI 不能精准阻断未补测试的变更。 - coverage 阈值、pytest marker、离线模式、权重缓存清理等 CI 参数缺少统一入口。 - nightly 缺少结构化报告、失败摘要和 Feishu 通知链路。 - web UI 测试仍在模块内，未纳入统一 regression 层级。 - DeepseekV32DecoderLayer 缺少 config_class，影响配置类识别一致性。 - serving_cast 部分日志/summary 文案有多余空格或表达不统一。 ------ ## 📐 Associated Test Results / 关联测试结果 提交过程中每个 commit 均触发 pre-commit hook，已通过已检查文件的 trailing whitespace、EOF、YAML/JSON、大文件、merge conflict、private key、ruff、ruff-format、codespell、pylint、bandit、typos 等检查。 本地未额外执行完整 smoke/regression/benchmark 全量测试；推送后以 GitCode CI 结果为准。建议重点关注： - bash ./scripts/run_smoke.sh - bash ./scripts/run_regression.sh - bash ./scripts/run_ci_gate.sh（需设置 MSMODELING_TEST_MAP_PATH） - bash ./scripts/run_nightly.sh（需设置 MSMODELING_TEST_MAP_PATH） ------ ## 🌟 Use cases (Optional) / 使用案例（可选） - 本地快速验证：开发者运行 bash ./scripts/run_smoke.sh 获取快速反馈。 - 本地完整回归：开发者运行 bash ./scripts/run_regression.sh 覆盖主要回归用例。 - PR 增量门禁：CI 设置 MSMODELING_TEST_MAP_PATH 后运行 bash ./scripts/run_ci_gate.sh，按 diff 与 test_map 选择用例并执行 coverage gate。 - 夜间任务：nightly 先跑非 nightly 的 smoke/regression 并刷新 test_map，再执行 nightly/benchmark 并生成报告，可选 Feishu 通知。 ------ ## ✅ Checklist / 检查列表 **Before PR**: - [x] Bug fixes are fully covered by unit tests, the case that causes the bug should be added in the unit tests. / 修复的 Bug 已完全由单元测试覆盖，导致 Bug 的情况应在单元测试中添加。 - [ ] The modification is covered by complete unit tests. If not, please add more unit tests to ensure the correctness. / 此拉取请求中的修改已完全由单元测试覆盖。如果不是，请添加更多单元测试以确保正确性。 - [x] All relevant documentation (API docs, docstrings, example tutorials) has been updated to reflect these changes. / 所有相关文档（API 文档、文档字符串、示例教程）已更新以反映这些更改。 - [x] Please ensure code files contain no Chinese comments. / 请保证代码文件中不含中文注释。 ------ See merge request: Ascend/msmodeling!266 | 26 天前 | |
【REFACTOR】【TESTS】重构 tests 目录并补充 smoke 测试 Co-authored-by: liujiawang<anonymousdev@163.com> # message auto-generated for no-merge-commit merge: !266 merge refactor-tests into develop 【REFACTOR】【TESTS】重构 tests 目录并补充 smoke 测试 Created-by: AvadaKedavrua Commit-by: liujiawang;AvadaKedavrua Merged-by: ascend-robot Description: # PR Template Thanks for your contribution; we appreciate it a lot. The following instructions will make your pull request healthier and help you get feedback more easily. If you do not understand some items, don't worry, just make the pull request and seek help from maintainers. 感谢您的贡献，我们非常重视。以下说明将使您的拉取请求更健康，更易于获得反馈。如果您不理解某些项目，请不要担心，只需提交拉取请求并从维护人员那里寻求帮助即可。 **PR Type / PR类型** - [x] Feature（功能新增） - [x] Bugfix（Bug 修复） - [x] Docs（文档更新） - [x] CI/CD（持续集成/持续部署） - [x] Refactor（代码重构） - [x] Perf（性能优化） - [x] Test-Cases（测试用例更新） - [ ] Other（其他） ## 🔍 Motivation / 变更动机 现有 UT 目录混合了 smoke、regression、benchmark、模型配置资产和脚本测试，导致本地执行入口不统一、CI 无法稳定做增量选择，nightly 也缺少统一的 test_map 刷新和报告链路。旧的 tests/run_ut.sh 入口难以表达“快速 smoke / 完整 regression / benchmark / PR gate / nightly”这些不同场景，新增或删除源码时也缺少基于 test_map 的覆盖检查。 本 PR 目标是把测试体系拆成清晰分层，并补齐 CI gate、nightly、coverage gate、test_map 构建和文档，让开发者和流水线都能按同一套目录与脚本执行测试。同时修复整理过程中暴露出的少量模型配置、serving 输出文本和文档问题。 ------ ## 📝 Modification / 修改内容 本次按 hunk/主题重新整理为 17 个提交，主要修改如下： - 重构测试目录：将旧 tests/test_tensor_cast、serving_cast/tests、web_ui/tests、tests/tools、tests/perf_database、tests/st 拆分到 tests/smoke/、tests/regression/、tests/benchmark/。 - 统一测试资产：将模型配置移动到 tests/assets/model_config/，同步更新 pre-commit exclude、缓存目录和文档说明。 - 新增共享测试 helper：补充断言、配置工厂、fake subprocess、模型构造、op registry 等公共测试工具，减少测试重复代码。 - 新增 CI gate helper：增加 diff 分类、test_map 读取、AST 符号映射、coverage gate、增量测试选择和 gate policy 配置。 - 新增 nightly helper：增加 pytest 结果解析、报告模型、报告构建、Feishu webhook 通知、test_map 刷新和 benchmark 调度入口。 - 新增统一脚本入口：新增 scripts/run_smoke.sh、scripts/run_regression.sh、scripts/run_benchmark.sh、scripts/run_ci_gate.sh、scripts/run_nightly.sh，替换旧 tests/run_ut.sh。 - 更新配置与文档：补充 pyproject.toml 的 pytest marker/testpaths/filterwarnings，更新 README.md、tests/README.md、docs/en/web_ui.md、web_ui/README.md、tools/perf_data_collection/README.md。 - 修复模型/输出细节：为 DeepseekV32DecoderLayer 注册 config_class；规范 serving_cast optimizer summary 的冒号和 runner 日志文案。 ### 后续 UT 怎么上 - 新增快速兜底用例放到 tests/smoke/：覆盖导入、基础 compile path、轻量 config resolver、轻量 serving/tensor_cast 主路径，要求无 NPU、无大模型权重、反馈快，适合每个 PR 先跑。 - 新增功能回归用例放到 tests/regression/<domain>/：按 tensor_cast、serving_cast、cli、web_ui、scripts/helpers 等领域归档，覆盖具体 bugfix、边界条件、行为契约和工具脚本逻辑。 - 新增长耗时或性能相关用例放到 tests/benchmark/：模型基准、perf_database、trace/CSV 性能数据处理等不阻塞普通 PR gate 的测试归到 benchmark 层。 - 新增模型配置、fixture、样例数据优先放到 tests/assets/ 或就近 fixtures/，避免继续散落在测试包内部；大文件或生成缓存走 .msmodeling_cache/、tests/assets/cache/，不直接进入源码目录。 - 新测试默认使用 tests/helpers/ 的公共构造器和断言工具；需要 fake subprocess、模型配置、op registry 时复用已有 helper，减少每个测试重复 mock 和手写配置。 - 需要 NPU 的用例必须打 @pytest.mark.npu；只应 nightly 跑的大模型/长耗时 compile 用例打 @pytest.mark.nightly，避免进入默认本地和 PR 快速路径。 ### 怎么根据语义上 UT - 测试不再只按文件名机械归类，而是按“被测语义”挂到对应源码符号：产品源码的函数、类、方法、顶层行为需要在 test_map 中映射到验证它的测试 nodeid。 - 新增产品源码时，如果是可执行逻辑，应新增对应 smoke 或 regression 用例，并让 test_map 能找到该源码/符号；确实不需要测试的符号需要在 exemption 中写明原因。 - 修改已有源码时，CI gate 会用 AST 定位变更行落在哪个 top-level definition 或 class/method span，再通过 test_map 选择关联测试；如果符号没有映射，会阻断或扩大测试范围，避免“改了逻辑但没跑语义相关 UT”。 - 删除源码时，CI gate 会检查 test_map 中是否仍有引用该源码的测试，防止遗留无效映射；删除测试时也会检查是否破坏已有源码覆盖关系。 - 跨层依赖变更会按语义优先选择所属 regression layer，无法明确归属或配置变更时升级为更完整的套件，保证增量选择不会漏测。 - test_map 由 nightly 在完整测试通过后刷新，PR gate 消费稳定版本；这样避免每个 PR 临时生成不可信映射，同时让语义映射随主干测试演进。 ### 流水线做了什么调整 - 本地与 CI 统一入口：run_smoke.sh 跑快速 smoke，run_regression.sh 跑完整 regression，run_benchmark.sh 跑 benchmark，run_ci_gate.sh 跑 PR 增量门禁，run_nightly.sh 跑夜间全流程。 - PR gate 从“固定跑一批 UT”改为“diff -> classify changes -> load test_map -> apply gate rules -> run selected pytest -> coverage gate”。配置变更、源码新增/删除、测试新增/删除、源码修改会走不同 gate 规则。 - coverage gate 统一读取 MSMODELING_TEST_LINE_THRESHOLD 和 MSMODELING_TEST_BRANCH_THRESHOLD，默认 line 70、branch 50；pytest 默认排除 npu，PR gate 额外排除 nightly。 - nightly 分两阶段：先跑非 NPU、非 nightly 的 smoke/regression 并在通过后刷新 test_map；再跑 nightly 标记用例与 benchmark，并构建结构化报告。 - 流水线统一支持 MSMODELING_OFFLINE、MSMODELING_TEST_WEIGHTS_PRUNE、MSMODELING_TEST_MAP_PATH 等环境变量，减少不同脚本各自处理缓存、离线和权重清理的差异。 - benchmark 不纳入普通 coverage gate，避免性能/长耗时用例拖慢 PR 门禁；必要时可通过独立 benchmark pipeline 或 nightly 验证。 - pre-commit exclude 同步到新目录，模型配置资产和 fixtures 不再被无意义格式化或误报。 已处理问题清单： - 旧 UT 入口单一，无法区分 smoke、regression、benchmark、nightly 和 PR gate。 - 模型配置资产散落在测试用例目录下，pre-commit 与测试引用路径容易漂移。 - 新增/删除源码缺少 test_map 覆盖检查，CI 不能精准阻断未补测试的变更。 - coverage 阈值、pytest marker、离线模式、权重缓存清理等 CI 参数缺少统一入口。 - nightly 缺少结构化报告、失败摘要和 Feishu 通知链路。 - web UI 测试仍在模块内，未纳入统一 regression 层级。 - DeepseekV32DecoderLayer 缺少 config_class，影响配置类识别一致性。 - serving_cast 部分日志/summary 文案有多余空格或表达不统一。 ------ ## 📐 Associated Test Results / 关联测试结果 提交过程中每个 commit 均触发 pre-commit hook，已通过已检查文件的 trailing whitespace、EOF、YAML/JSON、大文件、merge conflict、private key、ruff、ruff-format、codespell、pylint、bandit、typos 等检查。 本地未额外执行完整 smoke/regression/benchmark 全量测试；推送后以 GitCode CI 结果为准。建议重点关注： - bash ./scripts/run_smoke.sh - bash ./scripts/run_regression.sh - bash ./scripts/run_ci_gate.sh（需设置 MSMODELING_TEST_MAP_PATH） - bash ./scripts/run_nightly.sh（需设置 MSMODELING_TEST_MAP_PATH） ------ ## 🌟 Use cases (Optional) / 使用案例（可选） - 本地快速验证：开发者运行 bash ./scripts/run_smoke.sh 获取快速反馈。 - 本地完整回归：开发者运行 bash ./scripts/run_regression.sh 覆盖主要回归用例。 - PR 增量门禁：CI 设置 MSMODELING_TEST_MAP_PATH 后运行 bash ./scripts/run_ci_gate.sh，按 diff 与 test_map 选择用例并执行 coverage gate。 - 夜间任务：nightly 先跑非 nightly 的 smoke/regression 并刷新 test_map，再执行 nightly/benchmark 并生成报告，可选 Feishu 通知。 ------ ## ✅ Checklist / 检查列表 **Before PR**: - [x] Bug fixes are fully covered by unit tests, the case that causes the bug should be added in the unit tests. / 修复的 Bug 已完全由单元测试覆盖，导致 Bug 的情况应在单元测试中添加。 - [ ] The modification is covered by complete unit tests. If not, please add more unit tests to ensure the correctness. / 此拉取请求中的修改已完全由单元测试覆盖。如果不是，请添加更多单元测试以确保正确性。 - [x] All relevant documentation (API docs, docstrings, example tutorials) has been updated to reflect these changes. / 所有相关文档（API 文档、文档字符串、示例教程）已更新以反映这些更改。 - [x] Please ensure code files contain no Chinese comments. / 请保证代码文件中不含中文注释。 ------ See merge request: Ascend/msmodeling!266 | 26 天前 | |
【REFACTOR】【TESTS】重构 tests 目录并补充 smoke 测试 Co-authored-by: liujiawang<anonymousdev@163.com> # message auto-generated for no-merge-commit merge: !266 merge refactor-tests into develop 【REFACTOR】【TESTS】重构 tests 目录并补充 smoke 测试 Created-by: AvadaKedavrua Commit-by: liujiawang;AvadaKedavrua Merged-by: ascend-robot Description: # PR Template Thanks for your contribution; we appreciate it a lot. The following instructions will make your pull request healthier and help you get feedback more easily. If you do not understand some items, don't worry, just make the pull request and seek help from maintainers. 感谢您的贡献，我们非常重视。以下说明将使您的拉取请求更健康，更易于获得反馈。如果您不理解某些项目，请不要担心，只需提交拉取请求并从维护人员那里寻求帮助即可。 **PR Type / PR类型** - [x] Feature（功能新增） - [x] Bugfix（Bug 修复） - [x] Docs（文档更新） - [x] CI/CD（持续集成/持续部署） - [x] Refactor（代码重构） - [x] Perf（性能优化） - [x] Test-Cases（测试用例更新） - [ ] Other（其他） ## 🔍 Motivation / 变更动机 现有 UT 目录混合了 smoke、regression、benchmark、模型配置资产和脚本测试，导致本地执行入口不统一、CI 无法稳定做增量选择，nightly 也缺少统一的 test_map 刷新和报告链路。旧的 tests/run_ut.sh 入口难以表达“快速 smoke / 完整 regression / benchmark / PR gate / nightly”这些不同场景，新增或删除源码时也缺少基于 test_map 的覆盖检查。 本 PR 目标是把测试体系拆成清晰分层，并补齐 CI gate、nightly、coverage gate、test_map 构建和文档，让开发者和流水线都能按同一套目录与脚本执行测试。同时修复整理过程中暴露出的少量模型配置、serving 输出文本和文档问题。 ------ ## 📝 Modification / 修改内容 本次按 hunk/主题重新整理为 17 个提交，主要修改如下： - 重构测试目录：将旧 tests/test_tensor_cast、serving_cast/tests、web_ui/tests、tests/tools、tests/perf_database、tests/st 拆分到 tests/smoke/、tests/regression/、tests/benchmark/。 - 统一测试资产：将模型配置移动到 tests/assets/model_config/，同步更新 pre-commit exclude、缓存目录和文档说明。 - 新增共享测试 helper：补充断言、配置工厂、fake subprocess、模型构造、op registry 等公共测试工具，减少测试重复代码。 - 新增 CI gate helper：增加 diff 分类、test_map 读取、AST 符号映射、coverage gate、增量测试选择和 gate policy 配置。 - 新增 nightly helper：增加 pytest 结果解析、报告模型、报告构建、Feishu webhook 通知、test_map 刷新和 benchmark 调度入口。 - 新增统一脚本入口：新增 scripts/run_smoke.sh、scripts/run_regression.sh、scripts/run_benchmark.sh、scripts/run_ci_gate.sh、scripts/run_nightly.sh，替换旧 tests/run_ut.sh。 - 更新配置与文档：补充 pyproject.toml 的 pytest marker/testpaths/filterwarnings，更新 README.md、tests/README.md、docs/en/web_ui.md、web_ui/README.md、tools/perf_data_collection/README.md。 - 修复模型/输出细节：为 DeepseekV32DecoderLayer 注册 config_class；规范 serving_cast optimizer summary 的冒号和 runner 日志文案。 ### 后续 UT 怎么上 - 新增快速兜底用例放到 tests/smoke/：覆盖导入、基础 compile path、轻量 config resolver、轻量 serving/tensor_cast 主路径，要求无 NPU、无大模型权重、反馈快，适合每个 PR 先跑。 - 新增功能回归用例放到 tests/regression/<domain>/：按 tensor_cast、serving_cast、cli、web_ui、scripts/helpers 等领域归档，覆盖具体 bugfix、边界条件、行为契约和工具脚本逻辑。 - 新增长耗时或性能相关用例放到 tests/benchmark/：模型基准、perf_database、trace/CSV 性能数据处理等不阻塞普通 PR gate 的测试归到 benchmark 层。 - 新增模型配置、fixture、样例数据优先放到 tests/assets/ 或就近 fixtures/，避免继续散落在测试包内部；大文件或生成缓存走 .msmodeling_cache/、tests/assets/cache/，不直接进入源码目录。 - 新测试默认使用 tests/helpers/ 的公共构造器和断言工具；需要 fake subprocess、模型配置、op registry 时复用已有 helper，减少每个测试重复 mock 和手写配置。 - 需要 NPU 的用例必须打 @pytest.mark.npu；只应 nightly 跑的大模型/长耗时 compile 用例打 @pytest.mark.nightly，避免进入默认本地和 PR 快速路径。 ### 怎么根据语义上 UT - 测试不再只按文件名机械归类，而是按“被测语义”挂到对应源码符号：产品源码的函数、类、方法、顶层行为需要在 test_map 中映射到验证它的测试 nodeid。 - 新增产品源码时，如果是可执行逻辑，应新增对应 smoke 或 regression 用例，并让 test_map 能找到该源码/符号；确实不需要测试的符号需要在 exemption 中写明原因。 - 修改已有源码时，CI gate 会用 AST 定位变更行落在哪个 top-level definition 或 class/method span，再通过 test_map 选择关联测试；如果符号没有映射，会阻断或扩大测试范围，避免“改了逻辑但没跑语义相关 UT”。 - 删除源码时，CI gate 会检查 test_map 中是否仍有引用该源码的测试，防止遗留无效映射；删除测试时也会检查是否破坏已有源码覆盖关系。 - 跨层依赖变更会按语义优先选择所属 regression layer，无法明确归属或配置变更时升级为更完整的套件，保证增量选择不会漏测。 - test_map 由 nightly 在完整测试通过后刷新，PR gate 消费稳定版本；这样避免每个 PR 临时生成不可信映射，同时让语义映射随主干测试演进。 ### 流水线做了什么调整 - 本地与 CI 统一入口：run_smoke.sh 跑快速 smoke，run_regression.sh 跑完整 regression，run_benchmark.sh 跑 benchmark，run_ci_gate.sh 跑 PR 增量门禁，run_nightly.sh 跑夜间全流程。 - PR gate 从“固定跑一批 UT”改为“diff -> classify changes -> load test_map -> apply gate rules -> run selected pytest -> coverage gate”。配置变更、源码新增/删除、测试新增/删除、源码修改会走不同 gate 规则。 - coverage gate 统一读取 MSMODELING_TEST_LINE_THRESHOLD 和 MSMODELING_TEST_BRANCH_THRESHOLD，默认 line 70、branch 50；pytest 默认排除 npu，PR gate 额外排除 nightly。 - nightly 分两阶段：先跑非 NPU、非 nightly 的 smoke/regression 并在通过后刷新 test_map；再跑 nightly 标记用例与 benchmark，并构建结构化报告。 - 流水线统一支持 MSMODELING_OFFLINE、MSMODELING_TEST_WEIGHTS_PRUNE、MSMODELING_TEST_MAP_PATH 等环境变量，减少不同脚本各自处理缓存、离线和权重清理的差异。 - benchmark 不纳入普通 coverage gate，避免性能/长耗时用例拖慢 PR 门禁；必要时可通过独立 benchmark pipeline 或 nightly 验证。 - pre-commit exclude 同步到新目录，模型配置资产和 fixtures 不再被无意义格式化或误报。 已处理问题清单： - 旧 UT 入口单一，无法区分 smoke、regression、benchmark、nightly 和 PR gate。 - 模型配置资产散落在测试用例目录下，pre-commit 与测试引用路径容易漂移。 - 新增/删除源码缺少 test_map 覆盖检查，CI 不能精准阻断未补测试的变更。 - coverage 阈值、pytest marker、离线模式、权重缓存清理等 CI 参数缺少统一入口。 - nightly 缺少结构化报告、失败摘要和 Feishu 通知链路。 - web UI 测试仍在模块内，未纳入统一 regression 层级。 - DeepseekV32DecoderLayer 缺少 config_class，影响配置类识别一致性。 - serving_cast 部分日志/summary 文案有多余空格或表达不统一。 ------ ## 📐 Associated Test Results / 关联测试结果 提交过程中每个 commit 均触发 pre-commit hook，已通过已检查文件的 trailing whitespace、EOF、YAML/JSON、大文件、merge conflict、private key、ruff、ruff-format、codespell、pylint、bandit、typos 等检查。 本地未额外执行完整 smoke/regression/benchmark 全量测试；推送后以 GitCode CI 结果为准。建议重点关注： - bash ./scripts/run_smoke.sh - bash ./scripts/run_regression.sh - bash ./scripts/run_ci_gate.sh（需设置 MSMODELING_TEST_MAP_PATH） - bash ./scripts/run_nightly.sh（需设置 MSMODELING_TEST_MAP_PATH） ------ ## 🌟 Use cases (Optional) / 使用案例（可选） - 本地快速验证：开发者运行 bash ./scripts/run_smoke.sh 获取快速反馈。 - 本地完整回归：开发者运行 bash ./scripts/run_regression.sh 覆盖主要回归用例。 - PR 增量门禁：CI 设置 MSMODELING_TEST_MAP_PATH 后运行 bash ./scripts/run_ci_gate.sh，按 diff 与 test_map 选择用例并执行 coverage gate。 - 夜间任务：nightly 先跑非 nightly 的 smoke/regression 并刷新 test_map，再执行 nightly/benchmark 并生成报告，可选 Feishu 通知。 ------ ## ✅ Checklist / 检查列表 **Before PR**: - [x] Bug fixes are fully covered by unit tests, the case that causes the bug should be added in the unit tests. / 修复的 Bug 已完全由单元测试覆盖，导致 Bug 的情况应在单元测试中添加。 - [ ] The modification is covered by complete unit tests. If not, please add more unit tests to ensure the correctness. / 此拉取请求中的修改已完全由单元测试覆盖。如果不是，请添加更多单元测试以确保正确性。 - [x] All relevant documentation (API docs, docstrings, example tutorials) has been updated to reflect these changes. / 所有相关文档（API 文档、文档字符串、示例教程）已更新以反映这些更改。 - [x] Please ensure code files contain no Chinese comments. / 请保证代码文件中不含中文注释。 ------ See merge request: Ascend/msmodeling!266 | 26 天前 | |
【REFACTOR】【TESTS】重构 tests 目录并补充 smoke 测试 Co-authored-by: liujiawang<anonymousdev@163.com> # message auto-generated for no-merge-commit merge: !266 merge refactor-tests into develop 【REFACTOR】【TESTS】重构 tests 目录并补充 smoke 测试 Created-by: AvadaKedavrua Commit-by: liujiawang;AvadaKedavrua Merged-by: ascend-robot Description: # PR Template Thanks for your contribution; we appreciate it a lot. The following instructions will make your pull request healthier and help you get feedback more easily. If you do not understand some items, don't worry, just make the pull request and seek help from maintainers. 感谢您的贡献，我们非常重视。以下说明将使您的拉取请求更健康，更易于获得反馈。如果您不理解某些项目，请不要担心，只需提交拉取请求并从维护人员那里寻求帮助即可。 **PR Type / PR类型** - [x] Feature（功能新增） - [x] Bugfix（Bug 修复） - [x] Docs（文档更新） - [x] CI/CD（持续集成/持续部署） - [x] Refactor（代码重构） - [x] Perf（性能优化） - [x] Test-Cases（测试用例更新） - [ ] Other（其他） ## 🔍 Motivation / 变更动机 现有 UT 目录混合了 smoke、regression、benchmark、模型配置资产和脚本测试，导致本地执行入口不统一、CI 无法稳定做增量选择，nightly 也缺少统一的 test_map 刷新和报告链路。旧的 tests/run_ut.sh 入口难以表达“快速 smoke / 完整 regression / benchmark / PR gate / nightly”这些不同场景，新增或删除源码时也缺少基于 test_map 的覆盖检查。 本 PR 目标是把测试体系拆成清晰分层，并补齐 CI gate、nightly、coverage gate、test_map 构建和文档，让开发者和流水线都能按同一套目录与脚本执行测试。同时修复整理过程中暴露出的少量模型配置、serving 输出文本和文档问题。 ------ ## 📝 Modification / 修改内容 本次按 hunk/主题重新整理为 17 个提交，主要修改如下： - 重构测试目录：将旧 tests/test_tensor_cast、serving_cast/tests、web_ui/tests、tests/tools、tests/perf_database、tests/st 拆分到 tests/smoke/、tests/regression/、tests/benchmark/。 - 统一测试资产：将模型配置移动到 tests/assets/model_config/，同步更新 pre-commit exclude、缓存目录和文档说明。 - 新增共享测试 helper：补充断言、配置工厂、fake subprocess、模型构造、op registry 等公共测试工具，减少测试重复代码。 - 新增 CI gate helper：增加 diff 分类、test_map 读取、AST 符号映射、coverage gate、增量测试选择和 gate policy 配置。 - 新增 nightly helper：增加 pytest 结果解析、报告模型、报告构建、Feishu webhook 通知、test_map 刷新和 benchmark 调度入口。 - 新增统一脚本入口：新增 scripts/run_smoke.sh、scripts/run_regression.sh、scripts/run_benchmark.sh、scripts/run_ci_gate.sh、scripts/run_nightly.sh，替换旧 tests/run_ut.sh。 - 更新配置与文档：补充 pyproject.toml 的 pytest marker/testpaths/filterwarnings，更新 README.md、tests/README.md、docs/en/web_ui.md、web_ui/README.md、tools/perf_data_collection/README.md。 - 修复模型/输出细节：为 DeepseekV32DecoderLayer 注册 config_class；规范 serving_cast optimizer summary 的冒号和 runner 日志文案。 ### 后续 UT 怎么上 - 新增快速兜底用例放到 tests/smoke/：覆盖导入、基础 compile path、轻量 config resolver、轻量 serving/tensor_cast 主路径，要求无 NPU、无大模型权重、反馈快，适合每个 PR 先跑。 - 新增功能回归用例放到 tests/regression/<domain>/：按 tensor_cast、serving_cast、cli、web_ui、scripts/helpers 等领域归档，覆盖具体 bugfix、边界条件、行为契约和工具脚本逻辑。 - 新增长耗时或性能相关用例放到 tests/benchmark/：模型基准、perf_database、trace/CSV 性能数据处理等不阻塞普通 PR gate 的测试归到 benchmark 层。 - 新增模型配置、fixture、样例数据优先放到 tests/assets/ 或就近 fixtures/，避免继续散落在测试包内部；大文件或生成缓存走 .msmodeling_cache/、tests/assets/cache/，不直接进入源码目录。 - 新测试默认使用 tests/helpers/ 的公共构造器和断言工具；需要 fake subprocess、模型配置、op registry 时复用已有 helper，减少每个测试重复 mock 和手写配置。 - 需要 NPU 的用例必须打 @pytest.mark.npu；只应 nightly 跑的大模型/长耗时 compile 用例打 @pytest.mark.nightly，避免进入默认本地和 PR 快速路径。 ### 怎么根据语义上 UT - 测试不再只按文件名机械归类，而是按“被测语义”挂到对应源码符号：产品源码的函数、类、方法、顶层行为需要在 test_map 中映射到验证它的测试 nodeid。 - 新增产品源码时，如果是可执行逻辑，应新增对应 smoke 或 regression 用例，并让 test_map 能找到该源码/符号；确实不需要测试的符号需要在 exemption 中写明原因。 - 修改已有源码时，CI gate 会用 AST 定位变更行落在哪个 top-level definition 或 class/method span，再通过 test_map 选择关联测试；如果符号没有映射，会阻断或扩大测试范围，避免“改了逻辑但没跑语义相关 UT”。 - 删除源码时，CI gate 会检查 test_map 中是否仍有引用该源码的测试，防止遗留无效映射；删除测试时也会检查是否破坏已有源码覆盖关系。 - 跨层依赖变更会按语义优先选择所属 regression layer，无法明确归属或配置变更时升级为更完整的套件，保证增量选择不会漏测。 - test_map 由 nightly 在完整测试通过后刷新，PR gate 消费稳定版本；这样避免每个 PR 临时生成不可信映射，同时让语义映射随主干测试演进。 ### 流水线做了什么调整 - 本地与 CI 统一入口：run_smoke.sh 跑快速 smoke，run_regression.sh 跑完整 regression，run_benchmark.sh 跑 benchmark，run_ci_gate.sh 跑 PR 增量门禁，run_nightly.sh 跑夜间全流程。 - PR gate 从“固定跑一批 UT”改为“diff -> classify changes -> load test_map -> apply gate rules -> run selected pytest -> coverage gate”。配置变更、源码新增/删除、测试新增/删除、源码修改会走不同 gate 规则。 - coverage gate 统一读取 MSMODELING_TEST_LINE_THRESHOLD 和 MSMODELING_TEST_BRANCH_THRESHOLD，默认 line 70、branch 50；pytest 默认排除 npu，PR gate 额外排除 nightly。 - nightly 分两阶段：先跑非 NPU、非 nightly 的 smoke/regression 并在通过后刷新 test_map；再跑 nightly 标记用例与 benchmark，并构建结构化报告。 - 流水线统一支持 MSMODELING_OFFLINE、MSMODELING_TEST_WEIGHTS_PRUNE、MSMODELING_TEST_MAP_PATH 等环境变量，减少不同脚本各自处理缓存、离线和权重清理的差异。 - benchmark 不纳入普通 coverage gate，避免性能/长耗时用例拖慢 PR 门禁；必要时可通过独立 benchmark pipeline 或 nightly 验证。 - pre-commit exclude 同步到新目录，模型配置资产和 fixtures 不再被无意义格式化或误报。 已处理问题清单： - 旧 UT 入口单一，无法区分 smoke、regression、benchmark、nightly 和 PR gate。 - 模型配置资产散落在测试用例目录下，pre-commit 与测试引用路径容易漂移。 - 新增/删除源码缺少 test_map 覆盖检查，CI 不能精准阻断未补测试的变更。 - coverage 阈值、pytest marker、离线模式、权重缓存清理等 CI 参数缺少统一入口。 - nightly 缺少结构化报告、失败摘要和 Feishu 通知链路。 - web UI 测试仍在模块内，未纳入统一 regression 层级。 - DeepseekV32DecoderLayer 缺少 config_class，影响配置类识别一致性。 - serving_cast 部分日志/summary 文案有多余空格或表达不统一。 ------ ## 📐 Associated Test Results / 关联测试结果 提交过程中每个 commit 均触发 pre-commit hook，已通过已检查文件的 trailing whitespace、EOF、YAML/JSON、大文件、merge conflict、private key、ruff、ruff-format、codespell、pylint、bandit、typos 等检查。 本地未额外执行完整 smoke/regression/benchmark 全量测试；推送后以 GitCode CI 结果为准。建议重点关注： - bash ./scripts/run_smoke.sh - bash ./scripts/run_regression.sh - bash ./scripts/run_ci_gate.sh（需设置 MSMODELING_TEST_MAP_PATH） - bash ./scripts/run_nightly.sh（需设置 MSMODELING_TEST_MAP_PATH） ------ ## 🌟 Use cases (Optional) / 使用案例（可选） - 本地快速验证：开发者运行 bash ./scripts/run_smoke.sh 获取快速反馈。 - 本地完整回归：开发者运行 bash ./scripts/run_regression.sh 覆盖主要回归用例。 - PR 增量门禁：CI 设置 MSMODELING_TEST_MAP_PATH 后运行 bash ./scripts/run_ci_gate.sh，按 diff 与 test_map 选择用例并执行 coverage gate。 - 夜间任务：nightly 先跑非 nightly 的 smoke/regression 并刷新 test_map，再执行 nightly/benchmark 并生成报告，可选 Feishu 通知。 ------ ## ✅ Checklist / 检查列表 **Before PR**: - [x] Bug fixes are fully covered by unit tests, the case that causes the bug should be added in the unit tests. / 修复的 Bug 已完全由单元测试覆盖，导致 Bug 的情况应在单元测试中添加。 - [ ] The modification is covered by complete unit tests. If not, please add more unit tests to ensure the correctness. / 此拉取请求中的修改已完全由单元测试覆盖。如果不是，请添加更多单元测试以确保正确性。 - [x] All relevant documentation (API docs, docstrings, example tutorials) has been updated to reflect these changes. / 所有相关文档（API 文档、文档字符串、示例教程）已更新以反映这些更改。 - [x] Please ensure code files contain no Chinese comments. / 请保证代码文件中不含中文注释。 ------ See merge request: Ascend/msmodeling!266 | 26 天前 | |
【REFACTOR】【TESTS】重构 tests 目录并补充 smoke 测试 Co-authored-by: liujiawang<anonymousdev@163.com> # message auto-generated for no-merge-commit merge: !266 merge refactor-tests into develop 【REFACTOR】【TESTS】重构 tests 目录并补充 smoke 测试 Created-by: AvadaKedavrua Commit-by: liujiawang;AvadaKedavrua Merged-by: ascend-robot Description: # PR Template Thanks for your contribution; we appreciate it a lot. The following instructions will make your pull request healthier and help you get feedback more easily. If you do not understand some items, don't worry, just make the pull request and seek help from maintainers. 感谢您的贡献，我们非常重视。以下说明将使您的拉取请求更健康，更易于获得反馈。如果您不理解某些项目，请不要担心，只需提交拉取请求并从维护人员那里寻求帮助即可。 **PR Type / PR类型** - [x] Feature（功能新增） - [x] Bugfix（Bug 修复） - [x] Docs（文档更新） - [x] CI/CD（持续集成/持续部署） - [x] Refactor（代码重构） - [x] Perf（性能优化） - [x] Test-Cases（测试用例更新） - [ ] Other（其他） ## 🔍 Motivation / 变更动机 现有 UT 目录混合了 smoke、regression、benchmark、模型配置资产和脚本测试，导致本地执行入口不统一、CI 无法稳定做增量选择，nightly 也缺少统一的 test_map 刷新和报告链路。旧的 tests/run_ut.sh 入口难以表达“快速 smoke / 完整 regression / benchmark / PR gate / nightly”这些不同场景，新增或删除源码时也缺少基于 test_map 的覆盖检查。 本 PR 目标是把测试体系拆成清晰分层，并补齐 CI gate、nightly、coverage gate、test_map 构建和文档，让开发者和流水线都能按同一套目录与脚本执行测试。同时修复整理过程中暴露出的少量模型配置、serving 输出文本和文档问题。 ------ ## 📝 Modification / 修改内容 本次按 hunk/主题重新整理为 17 个提交，主要修改如下： - 重构测试目录：将旧 tests/test_tensor_cast、serving_cast/tests、web_ui/tests、tests/tools、tests/perf_database、tests/st 拆分到 tests/smoke/、tests/regression/、tests/benchmark/。 - 统一测试资产：将模型配置移动到 tests/assets/model_config/，同步更新 pre-commit exclude、缓存目录和文档说明。 - 新增共享测试 helper：补充断言、配置工厂、fake subprocess、模型构造、op registry 等公共测试工具，减少测试重复代码。 - 新增 CI gate helper：增加 diff 分类、test_map 读取、AST 符号映射、coverage gate、增量测试选择和 gate policy 配置。 - 新增 nightly helper：增加 pytest 结果解析、报告模型、报告构建、Feishu webhook 通知、test_map 刷新和 benchmark 调度入口。 - 新增统一脚本入口：新增 scripts/run_smoke.sh、scripts/run_regression.sh、scripts/run_benchmark.sh、scripts/run_ci_gate.sh、scripts/run_nightly.sh，替换旧 tests/run_ut.sh。 - 更新配置与文档：补充 pyproject.toml 的 pytest marker/testpaths/filterwarnings，更新 README.md、tests/README.md、docs/en/web_ui.md、web_ui/README.md、tools/perf_data_collection/README.md。 - 修复模型/输出细节：为 DeepseekV32DecoderLayer 注册 config_class；规范 serving_cast optimizer summary 的冒号和 runner 日志文案。 ### 后续 UT 怎么上 - 新增快速兜底用例放到 tests/smoke/：覆盖导入、基础 compile path、轻量 config resolver、轻量 serving/tensor_cast 主路径，要求无 NPU、无大模型权重、反馈快，适合每个 PR 先跑。 - 新增功能回归用例放到 tests/regression/<domain>/：按 tensor_cast、serving_cast、cli、web_ui、scripts/helpers 等领域归档，覆盖具体 bugfix、边界条件、行为契约和工具脚本逻辑。 - 新增长耗时或性能相关用例放到 tests/benchmark/：模型基准、perf_database、trace/CSV 性能数据处理等不阻塞普通 PR gate 的测试归到 benchmark 层。 - 新增模型配置、fixture、样例数据优先放到 tests/assets/ 或就近 fixtures/，避免继续散落在测试包内部；大文件或生成缓存走 .msmodeling_cache/、tests/assets/cache/，不直接进入源码目录。 - 新测试默认使用 tests/helpers/ 的公共构造器和断言工具；需要 fake subprocess、模型配置、op registry 时复用已有 helper，减少每个测试重复 mock 和手写配置。 - 需要 NPU 的用例必须打 @pytest.mark.npu；只应 nightly 跑的大模型/长耗时 compile 用例打 @pytest.mark.nightly，避免进入默认本地和 PR 快速路径。 ### 怎么根据语义上 UT - 测试不再只按文件名机械归类，而是按“被测语义”挂到对应源码符号：产品源码的函数、类、方法、顶层行为需要在 test_map 中映射到验证它的测试 nodeid。 - 新增产品源码时，如果是可执行逻辑，应新增对应 smoke 或 regression 用例，并让 test_map 能找到该源码/符号；确实不需要测试的符号需要在 exemption 中写明原因。 - 修改已有源码时，CI gate 会用 AST 定位变更行落在哪个 top-level definition 或 class/method span，再通过 test_map 选择关联测试；如果符号没有映射，会阻断或扩大测试范围，避免“改了逻辑但没跑语义相关 UT”。 - 删除源码时，CI gate 会检查 test_map 中是否仍有引用该源码的测试，防止遗留无效映射；删除测试时也会检查是否破坏已有源码覆盖关系。 - 跨层依赖变更会按语义优先选择所属 regression layer，无法明确归属或配置变更时升级为更完整的套件，保证增量选择不会漏测。 - test_map 由 nightly 在完整测试通过后刷新，PR gate 消费稳定版本；这样避免每个 PR 临时生成不可信映射，同时让语义映射随主干测试演进。 ### 流水线做了什么调整 - 本地与 CI 统一入口：run_smoke.sh 跑快速 smoke，run_regression.sh 跑完整 regression，run_benchmark.sh 跑 benchmark，run_ci_gate.sh 跑 PR 增量门禁，run_nightly.sh 跑夜间全流程。 - PR gate 从“固定跑一批 UT”改为“diff -> classify changes -> load test_map -> apply gate rules -> run selected pytest -> coverage gate”。配置变更、源码新增/删除、测试新增/删除、源码修改会走不同 gate 规则。 - coverage gate 统一读取 MSMODELING_TEST_LINE_THRESHOLD 和 MSMODELING_TEST_BRANCH_THRESHOLD，默认 line 70、branch 50；pytest 默认排除 npu，PR gate 额外排除 nightly。 - nightly 分两阶段：先跑非 NPU、非 nightly 的 smoke/regression 并在通过后刷新 test_map；再跑 nightly 标记用例与 benchmark，并构建结构化报告。 - 流水线统一支持 MSMODELING_OFFLINE、MSMODELING_TEST_WEIGHTS_PRUNE、MSMODELING_TEST_MAP_PATH 等环境变量，减少不同脚本各自处理缓存、离线和权重清理的差异。 - benchmark 不纳入普通 coverage gate，避免性能/长耗时用例拖慢 PR 门禁；必要时可通过独立 benchmark pipeline 或 nightly 验证。 - pre-commit exclude 同步到新目录，模型配置资产和 fixtures 不再被无意义格式化或误报。 已处理问题清单： - 旧 UT 入口单一，无法区分 smoke、regression、benchmark、nightly 和 PR gate。 - 模型配置资产散落在测试用例目录下，pre-commit 与测试引用路径容易漂移。 - 新增/删除源码缺少 test_map 覆盖检查，CI 不能精准阻断未补测试的变更。 - coverage 阈值、pytest marker、离线模式、权重缓存清理等 CI 参数缺少统一入口。 - nightly 缺少结构化报告、失败摘要和 Feishu 通知链路。 - web UI 测试仍在模块内，未纳入统一 regression 层级。 - DeepseekV32DecoderLayer 缺少 config_class，影响配置类识别一致性。 - serving_cast 部分日志/summary 文案有多余空格或表达不统一。 ------ ## 📐 Associated Test Results / 关联测试结果 提交过程中每个 commit 均触发 pre-commit hook，已通过已检查文件的 trailing whitespace、EOF、YAML/JSON、大文件、merge conflict、private key、ruff、ruff-format、codespell、pylint、bandit、typos 等检查。 本地未额外执行完整 smoke/regression/benchmark 全量测试；推送后以 GitCode CI 结果为准。建议重点关注： - bash ./scripts/run_smoke.sh - bash ./scripts/run_regression.sh - bash ./scripts/run_ci_gate.sh（需设置 MSMODELING_TEST_MAP_PATH） - bash ./scripts/run_nightly.sh（需设置 MSMODELING_TEST_MAP_PATH） ------ ## 🌟 Use cases (Optional) / 使用案例（可选） - 本地快速验证：开发者运行 bash ./scripts/run_smoke.sh 获取快速反馈。 - 本地完整回归：开发者运行 bash ./scripts/run_regression.sh 覆盖主要回归用例。 - PR 增量门禁：CI 设置 MSMODELING_TEST_MAP_PATH 后运行 bash ./scripts/run_ci_gate.sh，按 diff 与 test_map 选择用例并执行 coverage gate。 - 夜间任务：nightly 先跑非 nightly 的 smoke/regression 并刷新 test_map，再执行 nightly/benchmark 并生成报告，可选 Feishu 通知。 ------ ## ✅ Checklist / 检查列表 **Before PR**: - [x] Bug fixes are fully covered by unit tests, the case that causes the bug should be added in the unit tests. / 修复的 Bug 已完全由单元测试覆盖，导致 Bug 的情况应在单元测试中添加。 - [ ] The modification is covered by complete unit tests. If not, please add more unit tests to ensure the correctness. / 此拉取请求中的修改已完全由单元测试覆盖。如果不是，请添加更多单元测试以确保正确性。 - [x] All relevant documentation (API docs, docstrings, example tutorials) has been updated to reflect these changes. / 所有相关文档（API 文档、文档字符串、示例教程）已更新以反映这些更改。 - [x] Please ensure code files contain no Chinese comments. / 请保证代码文件中不含中文注释。 ------ See merge request: Ascend/msmodeling!266 | 26 天前 | |
feat(serving_cast): support chunked prefill modeling Co-authored-by: jia_ya_nan<jiayanan3@h-partners.com> # message auto-generated for no-merge-commit merge: !250 merge feat/chunked-prefill-impl into develop feat(serving_cast): support chunked prefill modeling Created-by: jia_ya_nan Commit-by: jia_ya_nan Merged-by: ascend-robot Description: # PR Template Thanks for your contribution; we appreciate it a lot. The following instructions will make your pull request healthier and help you get feedback more easily. If you do not understand some items, don't worry, just make the pull request and seek help from maintainers. 感谢您的贡献，我们非常重视。以下说明将使您的拉取请求更健康，更易于获得反馈。如果您不理解某些项目，请不要担心，只需提交拉取请求并从维护人员那里寻求帮助即可。 **PR Type / PR类型** - [x] Feature（功能新增） - [ ] Bugfix（Bug 修复） - [ ] Docs（文档更新） - [ ] CI/CD（持续集成/持续部署） - [ ] Refactor（代码重构） - [ ] Perf（性能优化） - [ ] Test-Cases（测试用例更新） - [ ] Other（其他） ## 🔍 Motivation / 变更动机 **Please describe the motivation of this PR and the goal you want to achieve through this PR.** **请描述您的拉取请求的动机和您希望通过此拉取请求实现的目标。** 当前 throughput_optimizer 在混部模式下使用 max_prefill_tokens 作为 prefill token budget，并要求有效输入长度不超过该值。当长上下文请求的 effective_input_length 大于 token budget 时，工具会直接报错，无法模拟实际服务中常见的 chunked prefill 场景。 本 PR 旨在补齐 msmodeling 对 chunked prefill 的建模能力，使吞吐优化器可以在长 prompt 或较小 batch token budget 场景下，自动将 prefill 拆分为多个 chunk 进行估算，并更合理地建模 prefill 与 decode 混部执行对 TTFT、TPOT 和吞吐的影响。 ------ ## 📝 Modification / 修改内容 **Please briefly describe what modification is made in this PR.** **请简要描述此拉取请求中进行的修改。** - 将 CLI 参数 --max-prefill-tokens 重命名为 --max-batched-tokens，用于表达单个 prefill / mixed step 的 token budget。 - 新增 prefill chunk plan 生成逻辑，当 effective_input_length > max_batched_tokens 时自动按 max_batched_tokens 切分 prefill。 - 新增默认调度策略 DecodeFirstWithSlack，支持 decode-first 调度，并允许 15% slack 以避免 decode token 占用导致 prefill chunk 无法调度。 - 聚合模式中新增 chunked prefill 轻量级时间模拟，支持已完成 prefill 的请求提前进入 decode，不再要求所有请求完成 prefill 后统一 decode。 - PD 分离模式中 prefill 阶段支持 chunked prefill，decode 阶段保持原有逻辑。 - 优化 latency cache key，使其区分不同的 query_len、seq_len 和并发形态。 - 输出结果新增 effective_input_length、max_batched_tokens、prefill_num_chunks，便于分析 chunked prefill 配置影响。 - 更新 Web UI 参数生成、表单校验、相关文档和单元测试。 ------ ## 📐 Associated Test Results / 关联测试结果 **Please provide the related test results, such as test reports, etc.** **请提供相关测试结果，例如测试报告等。** 以32条 32k请求为例，无chunk改动前： python -m cli.inference.throughput_optimizer Qwen/Qwen3-32B --device ATLAS_800_A2_280T_64G --quantize-linear-action DISABLED --input-length 32000 --output-length 1024 --tp-sizes 8 --compile --batch-range 32 32 --num-devices 8 --max-prefill-tokens 32000 --log-level info  无chunk改动后： python -m cli.inference.throughput_optimizer Qwen/Qwen3-32B --device ATLAS_800_A2_280T_64G --quantize-linear-action DISABLED --input-length 32000 --output-length 1024 --tp-sizes 8 --compile --batch-range 32 32 --num-devices 8 --max-batched-tokens 32000 --log-level info  结果不变，不影响之前的调度逻辑 chunk为2000： python -m cli.inference.throughput_optimizer Qwen/Qwen3-32B --device ATLAS_800_A2_280T_64G --quantize-linear-action DISABLED --input-length 32000 --output-length 1024 --tp-sizes 8 --compile --batch-range 32 32 --num-devices 8 --max-batched-tokens 2000 --log-level info  chunk为4000： python -m cli.inference.throughput_optimizer Qwen/Qwen3-32B --device ATLAS_800_A2_280T_64G --quantize-linear-action DISABLED --input-length 32000 --output-length 1024 --tp-sizes 8 --compile --batch-range 32 32 --num-devices 8 --max-batched-tokens 4000 --log-level info  chunk为8000： python -m cli.inference.throughput_optimizer Qwen/Qwen3-32B --device ATLAS_800_A2_280T_64G --quantize-linear-action DISABLED --input-length 32000 --output-length 1024 --tp-sizes 8 --compile --batch-range 32 32 --num-devices 8 --max-batched-tokens 4000 --log-level info  从趋势上看，chunk size越小，对tpot越友好；同时chunk 越小，prefill阶段调度越多，ttft会增加，符合预期； 另外，由于开启chunk prefill后，prefill会增加多次计算，导致耗时呈线性增长；可以考虑并行一次性跑完所有切分的prefill，但对资源消耗巨大，考虑在下个PR内提升性能 ------ ## 🌟 Use cases (Optional) / 使用案例（可选） **If this PR introduces a new feature, it is better to list some use cases here and update the documentation.** **如果此拉取请求引入了新功能，最好在此处列出一些用例并更新文档。** ------ ## ✅ Checklist / 检查列表 **Before PR**: - [x] Bug fixes are fully covered by unit tests, the case that causes the bug should be added in the unit tests. / 修复的 Bug 已完全由单元测试覆盖，导致 Bug 的情况应在单元测试中添加。 - [x] The modification is covered by complete unit tests. If not, please add more unit tests to ensure the correctness. / 此拉取请求中的修改已完全由单元测试覆盖。如果不是，请添加更多单元测试以确保正确性。 - [x] All relevant documentation (API docs, docstrings, example tutorials) has been updated to reflect these changes. / 所有相关文档（API 文档、文档字符串、示例教程）已更新以反映这些更改。 - [x] Please ensure code files contain no Chinese comments. / 请保证代码文件中不含中文注释。 ------ See merge request: Ascend/msmodeling!250 | 24 天前 |
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 26 天前 | ||
| 23 天前 | ||
| 23 天前 | ||
| 26 天前 | ||
| 26 天前 | ||
| 17 天前 | ||
| 23 天前 | ||
| 26 天前 | ||
| 26 天前 | ||
| 26 天前 | ||
| 26 天前 | ||
| 26 天前 | ||
| 24 天前 |