dev

ascend-robot[Bugfix][eplb]Enhance EPLB fault logs and fault mode library

671218e1创建于 29 天前历史提交

文件	最后提交记录	最后更新时间
__init__.py	[bugfix]解决测试用例导包失败的问题 Co-authored-by: mazhixin00_00<mazhixin7@huawei.com> # message auto-generated for no-merge-commit merge: !199 merge init into dev [bugfix]解决测试用例导包失败的问题 Created-by: mazhixin00_00 Commit-by: mazhixin00_00 Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20251224 --> # Which issue(s) this PR fixes or accomplishes 有些环境，跑测试用例导包失败的问题  # Test Plan 全量测试 # Test Report  See merge request: Ascend/MindIE-SD!199	4 个月前
test_eplb_fault_modes.py	[Bugfix][eplb]Enhance EPLB fault logs and fault mode library Co-authored-by: guowenna1<guowenna1@huawei.com> # message auto-generated for no-merge-commit merge: !402 merge 0701_fix into dev [Bugfix][eplb]Enhance EPLB fault logs and fault mode library Created-by: guowenna1 Commit-by: guowenna1 Merged-by: ascend-robot Description: # PR Title [Bugfix][eplb]Enhance EPLB fault logs and fault mode library # Which issue(s) this PR fixes or accomplishes Fixes #ISSUE ID # Purpose 本 PR 用于完善 EPLB 故障模式库与运行时日志，满足故障定位工具暂不具备执行指令能力时，用户仅依赖日志内容也能完成定位排查的要求。 主要修改如下： 1. 完善 EPLB 运行时日志中的定位排查信息： - Scheduler 端口绑定失败日志补充端口占用、--host、--port 排查路径。 - Worker 连接 Scheduler 失败日志补充 actual_error、进程状态、端口监听、worker/scheduler 地址一致性、网络连通性排查路径。 - 认证失败日志补充 scheduler --auth_key、worker auth_key、EPLB_AUTH_KEY 对比方法。 - profile 任务入队失败日志补充 scheduler/worker 消费线程、队列积压、lb_interval 和队列容量排查方法。 - scheduler 处理上报失败日志补充 moe_layer_idx、load、local_expert_list、block_num、world_size、mode/redundant 排查方法。 - 布局未更新日志补充 layer_idx、rank 上报完整性、block_num、负载变化和 EPLB 阈值排查方法。 - 未知指令日志补充 instruction producer、TaskPayload.task_type、TASK_DISPATCHER 排查方法。 2. 同步完善中英文 EPLB 故障模式库： - docs/zh/appendix/eplb_fault_mode_library.csv - docs/en/appendix/eplb_fault_mode_library.csv - 将 故障关键日志 从短关键字改为完整日志模板。 - 动态字段使用 {...} 占位。 - 日志内容不包含 EPLB 故障模式编号。 - 故障定位方法与运行时日志中的排查思路保持一致。 3. 补充 EPLB 未知 TaskType 的 ERROR 日志： - 非 TaskPayload 指令输出 Unknown instruction ignored。 - 非法 TaskPayload.task_type 输出 Unknown task type。 - 保持原有异常行为不变，未知任务类型仍抛出 ParametersInvalid。 # Test Plan 测试内容如下： 1. 故障模式库结构校验： - 验证 EPLB 故障模式库 schema。 - 验证故障模式库仅作为文档引用，不进入包发布数据。 - 验证故障模式库只包含 EPLB 故障模式。 2. EPLB 故障模式日志校验： - 验证 scheduler 未运行 / worker 连接失败日志。 - 验证 scheduler 端口不可用日志。 - 验证认证密钥不一致日志。 - 验证 profile 任务入队失败日志。 - 验证 scheduler 处理上报失败异常。 - 验证专家初始放置失败、共享专家放置失败、专家交换状态不一致、布局未更新、未知任务指令等场景。 3. 提交前静态检查： - 对本次修改文件执行 pre-commit run --files。 - 参考 MR 规则表中 Python 相关规则，重点关注日志工具使用、异常处理、导入顺序、格式与行宽等静态检查要求。 # Test Report 已执行并通过： ```shell python -m unittest tests/test_fault_modes.py -v See merge request: Ascend/MindIE-SD!402	29 天前
test_eplb_scheduler.py	[Test]Standardize test infrastructure and fix lint compliance across test suite Co-authored-by: changetheway<guotaoyuan1@h-partners.com> # message auto-generated for no-merge-commit merge: !340 merge test_correct_0608 into dev [Test]Standardize test infrastructure and fix lint compliance across test suite Created-by: changetheway Commit-by: changetheway Merged-by: ascend-robot Description: # Which issue(s) this PR fixes or accomplishes > Fix part of #179 # Purpose 1. **统一测试基础设施** - 新增 tests/conftest.py，通过 pytest 内置机制配置 sys.path 和 ASCEND_CUSTOM_OPP_PATH，替代各测试文件中散落的 sys.path.append / sys.path.insert - 同时将各测试文件中散落的 sys.path.append / sys.path.insert和 ASCEND_CUSTOM_OPP_PATH添加到run.py中和run_test.sh中 - 新增 tests/utils/utils/torch_npu_mock.py，抽取统一的 mock_torch_npu() 工具函数，替代 tests/run.py 和 tests/UT/run.py 中重复的内联 mock 逻辑 2. **修复 lint 合规性** - 移除所有测试文件中手动的 sys.path 操作（由 conftest.py 统一接管） - 添加 # pylint: disable=no-name-in-module 消除 NPU 模块 import 告警 - 统一 @unittest.skipIf 装饰器为多行格式 - 修复 import 排序、去除多余空行和尾逗号 3. **Pre-commit 配置对齐** - pre-commit/pyproject.toml：pylint disable 列表新增 duplicate-code ## 运行测试 ### 全量测试 ** 使用 run_test.sh（推荐，含覆盖率报告）** bash cd tests # 运行全量测试（含覆盖率报告） bash run_test.sh # 仅运行 CPU 兼容测试（无需 NPU 环境） bash run_test.sh --cpu_only # 仅运行 NPU 依赖测试 bash run_test.sh --npu_only ### 执行单个测试用例 方式一：使用 run_test.sh 指定文件 bash cd tests # 运行单个测试文件 bash run_test.sh quantization/test_layer.py # 运行多个测试文件 bash run_test.sh layers/test_embedding.py quantization/test_mode.py # CPU 模式下运行单个文件 bash run_test.sh --cpu_only quantization/test_mode.py 方式二：使用 pytest 方式 bash # pytest 方式（支持更多过滤选项） python -m pytest tests/quantization/test_layer.py -v # Test Plan 1. CPU 模式验证：MINDIE_TEST_MODE=CPU python -m pytest tests/ -k "not NPU"，确认 mock 机制正确加载 2. Lint 检查：pre-commit run --all-files，确认新增 disable 项生效且无新增告警 3. 构建验证：在 CANN 8.x 环境执行 bash build/build_ops.sh，确认 customize_transformer 目录自动创建 4. NPU 模式回归：python tests/run.py，确认全量测试无回归 # Test Report 全量UT测试：  See merge request: Ascend/MindIE-SD!340	1 个月前