MindIE-Motor/tests/node_manager · Ascend/MindIE-Motor

towncharlie[feature] 支持 Prefill 跨机 Pipeline Parallel 拉起

文件	最后提交记录	最后更新时间
core	[refractor] NodeManager代码微重构，提升代码可维护性 Co-authored-by: 吕有辉<lvyouhui@huawei.com> # message auto-generated for no-merge-commit merge: !620 merge refractor/node_manager into master [refractor] NodeManager代码微重构，提升代码可维护性 Created-by: codeDogPro Commit-by: 吕有辉 Merged-by: tobking Description: ## 1. 合入背景 ISSUE：https://gitcode.com/Ascend/MindIE-Motor/issues/368 ## 2. 修改内容 ### 2.1 Service Registry 重构文件: `motor/node_manager/core/services/registry.py` 1. 用 `typing.cast` 消除 `get_preparable()` 中的 `# type: ignore[arg-type,return-value]`。 2. `_MODULE_MAP` 从模块级静态 dict 迁移到 `_ServiceRegistry` 实例属性，新增 `add_discovery_path()` API 支持动态注册后端模块路径。 3. 新增 `get_active_sorted()` 方法，将排序逻辑从 `daemon.py` 内联哨兵模式收归 registry。 4. `_ServiceRegistration.is_active` 改为 `_is_active(active_backends)` 方法，接受解析后的后端列表参数。 5. `discover()` 支持逗号分隔的多后端服务列表（如 `"engine,memcache"`），替代原来的单值匹配。 6. 删除 `__slots__` 限制，2-3 个实例的内存节省可忽略。 7. 新增 `tests/node_manager/core/services/test_registry.py`，20 个单元测试覆盖 register、get_active 过滤、get_preparable 排序、discover 模块导入、重复注册、add_discovery_path、线程安全。 ### 2.2 服务协议提取文件: `motor/node_manager/core/services/protocols.py`（新增） 1. `DaemonService` 和 `PreparableService` 从 `registry.py` 提取到 `services/protocols.py`。 2. `daemon.py` 直接从 `protocols.py` 导入，Protocol 定义与注册中心解耦。 ### 2.3 memcache LocalService 重构文件: `motor/node_manager/core/services/memcache/`（新增目录） 1. 目录拆分： `services/memcache/ __init__.py worker.py ← LocalService 子进程入口（DistributedObjectStore().init(0)） lifecycle.py ← daemon 侧生命周期管理（@register_service、pull/stop/health_check）` 2. 拉起方式改进：`pull()` 使用 `sys.executable -m motor.node_manager.core.services.memcache.worker` 替代内联 `-c` 字符串，取消 `PYTHON_EXEC_PATH` 依赖。保持 `subprocess.Popen(env=...)` 确保与 Engine 子进程的 `MMC_LOCAL_CONFIG_PATH` 隔离。 3. 消除重复检查：提取 `_can_launch` property，统一 `should_launch()` / `pull()` / `prepare()` 中的 `enable`、`backend`、`mode` 条件判断。 4. 简化 `mark_dead()`：用 `poll()` 替代 `wait(timeout=0)` + 三重异常捕获。 5. 移除未使用的 `_endpoints_count`：仅在日志中使用，改为局部变量。 ### 2.4 Engine 解耦 —— 服务配置化文件: `motor/node_manager/core/services/engine.py`, `motor/node_manager/core/daemon.py`, `motor/node_manager/main.py`, `motor/config/node_manager.py` 1. `@register_service(SERVICE_ENGINE)` 新增 `backend="engine"`，从 `backend=None`（始终激活）改为按配置激活。 2. `KVCacheStoreConfig` 新增 `mode` 字段（`"combined"` / `"separated"`），通过 `user_config.json` 控制： `json // Engine + KV 合体 Pod（默认） { "kv_cache_store_config": { "backend": "memcache", "mode": "combined" } } // KV 分离 Pod（只起 LocalService，不拉 Engine，不注册/心跳） { "kv_cache_store_config": { "backend": "memcache", "mode": "separated" } } // Engine only Pod {}` 3. `Daemon` 新增 `has_engine` 属性，`main.py` 据此条件初始化 `EngineManager` / `HeartbeatManager`。 ### 2.5 main.py 重构 —— Application 基类文件: `motor/common/app/application.py`（新增）, `motor/node_manager/node_manager.py`（新增）, `motor/node_manager/main.py` 1. `Application` 基类 — 封装四个组件共享的 boilerplate： - 模块管理（`add_module` / `get_module` / `stop_all_modules`） - 配置热更新传播（`on_config_updated` → 先刷新自身间隔 `_refresh_check_interval`，再传播给所有带 `update_config` 的模块） - 可配置的 daemon loop 间隔（`check_interval` 参数，默认 1s，子类从 config 读取） - 信号处理（SIGINT / SIGTERM → `threading.Event`） - select-based daemon loop（stdin 读取 + `stop_event.wait`） - `run()` 模板方法：banner → init_modules → start_modules → config_watcher → daemon_loop → shutdown 2. `NodeManager(Application)`： - `__init__` 传入 `check_interval=config.basic_config.daemon_loop_interval`（默认 5s，可在 `user_config.json` 中配置） - `_refresh_check_interval()`：配置热更新时同步刷新间隔 - `init_modules()`：根据 `daemon.has_engine` 动态注册模块 - `_on_daemon_tick()`：每 tick 检查 HeartbeatManager 自杀标志 - `exit_code`：自杀时返回 -1（pod rescheduling） 3. `main.py` 瘦身：从 186 行 → 37 行 thin wrapper： `python def main() -> int: config = NodeManagerConfig.from_json() reconfigure_logging(config.logging_config) run_port_setup_or_exit(apply_node_manager_ports, config) nm = NodeManager(config) return nm.run()` 删除所有模块级全局变量（`modules`、`_should_exit`、`config`、`config_watcher`）和 7 个模块级函数。 ### 2.6 测试重构 1. 测试目录镜像源码结构： `tests/node_manager/ __init__.py conftest.py test_config.py core/ __init__.py test_daemon.py test_engine_manager.py test_heartbeat_manager.py test_fault_reporter.py test_api_ready_event.py services/ __init__.py test_registry.py memcache/ __init__.py test_lifecycle.py` 2. `test_main_process_title.py` 从 NodeManager 和 EngineServer 各一份合并为 `tests/common/utils/test_process_title.py`，NodeManager 用例适配新 `NodeManager` 类 API。 ### 2.7 改动文件清单 \| 文件 \| 改动类型 \| \|------\|----------\| \| `motor/common/app/__init__.py` \| 新增 \| \| `motor/common/app/application.py` \| 新增 \| \| `motor/node_manager/node_manager.py` \| 新增 \| \| `motor/node_manager/core/services/protocols.py` \| 新增 \| \| `motor/node_manager/core/services/memcache/__init__.py` \| 新增 \| \| `motor/node_manager/core/services/memcache/worker.py` \| 新增 \| \| `motor/node_manager/core/services/memcache/lifecycle.py` \| 重命名自 local_service.py \| \| `tests/node_manager/core/__init__.py` \| 新增 \| \| `tests/node_manager/core/services/__init__.py` \| 新增 \| \| `tests/node_manager/core/services/memcache/__init__.py` \| 新增 \| \| `tests/node_manager/core/services/test_registry.py` \| 新增 \| \| `tests/node_manager/core/services/memcache/test_lifecycle.py` \| 重命名 \| \| `tests/common/utils/test_process_title.py` \| 合并自两份拷贝 \| \| `motor/node_manager/core/services/registry.py` \| 重构 \| \| `motor/node_manager/core/daemon.py` \| 重构 \| \| `motor/node_manager/core/services/engine.py` \| 改动 \| \| `motor/node_manager/main.py` \| 瘦身 \| \| `motor/config/node_manager.py` \| 改动 \| \| `motor/node_manager/core/__init__.py` \| 删除多余版权声明 \| \| `motor/node_manager/core/services/__init__.py` \| 删除多余版权声明 \| \| `motor/node_manager/__init__.py` \| 删除多余版权声明 \| ## 3. 资料变更不涉及。 ## 4. 接口变更不涉及（所有改动为内部重构，对外接口不变）。 ## 5. 测试结果 `python -m pytest tests/node_manager/ tests/common/utils/test_process_title.py tests/engine_server/ -q 529 passed in 1.47s` 测试覆盖： - registry：注册、过滤、排序、发现、线程安全（20 个用例） - memcache lifecycle：should_launch、prepare、pull、stop、health_check（11 个用例） - daemon：engine pull、参数校验、D2D peer、signal handler（13 个用例） - heartbeat manager：状态上报、端点管理、自杀检测 - engine manager：注册、re-register、ranktable、snapshot - config：配置解析、验证、热加载 - process_title：NodeManager + EngineServer 标题设置（4 个用例） ## 6. CheckList - [x] 代码注释完备 - [x] 正确记录维测日志 - [x] 是否有UT用例（新增 24 个用例，全量 529 passed） - [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 - `_ServiceRegistry` 使用 `threading.Lock` 保护 `_registrations` 和 `_module_map` - `daemon.py` 和 `engine.py` 的锁均为短临界区非嵌套使用 - `Application` 的信号处理仅设 `threading.Event`，清理在主线程执行 See merge request: Ascend/MindIE-Motor!620	9 天前
__init__.py	update license Co-authored-by: y1lou<louyi6@huawei.com> # message auto-generated for no-merge-commit merge: !185 merge update_license into master update license Created-by: y1lou Commit-by: y1lou Merged-by: ascend-robot Description: ## 1. 合入背景 > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 请通过#ISSUE ID关联issue。\ > 注意：`Fixes #ISSUE ID`会自动关闭issue，如问题部分解决请不要使用`Fixes`，可以用`Fix part of #ISSUE ID`替代. ## 2. 修改内容 > 请<ins>描述修改内容的具体实现</ins>，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。 > 如果是需求或者重构类的PR，需要<ins>补充详细设计文档</ins>（说明上下游组件关系、时序图、类图、DFX能力等内容）。 ## 3. 资料变更 > 请确认<ins>是否涉及资料变更</ins>。\ > 如涉及，需要在PR中体现，并简要说明修改内容。\ > 如不涉及，需填写“不涉及”。 ## 4. 接口变更 > 请确认<ins>是否涉及跨代码仓或者客户面可见的接口变更</ins>。\ > 如涉及，需详细说明接口以及对应的变更内容，同时需要在资料中体现。\ > 如不涉及，需填写“不涉及”。 ## 5. 测试结果 > 需体现<ins>测试场景，测试方法以及测试结果</ins>。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 ## 6. CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [ ] 代码注释完备 [ ] 正确记录维测日志 [ ] 是否有UT用例 [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-pyMotor!185	6 个月前
conftest.py	[feature] Motor适配容器快恢, 支持混部/大EP场景 Co-authored-by: lbr711<liuboru1@huawei.com> # message auto-generated for no-merge-commit merge: !108 merge snapshot_engine_server into master [feature] Motor适配容器快恢, 支持混部/大EP场景 Created-by: lbr711 Commit-by: lbr711 Merged-by: towncharlie Description: ## 1. 合入背景 Motor适配容器快恢, 支持混部/大EP场景 Fixes #77 ## 2. 修改内容 1. pymotor支持配置容器快照功能（开关默认关） 2. 配置容器快照时，容器内服务ready后engineserver自动调用engine suspend(device侧快照保存/保存运行时权重)，接着容器进入稳态点 3. 可通过pod readiness探针探测是否进入稳态点 4. 容器从快照恢复后，nodemanager以新身份向controller注册，engineserver自动调用engine resume(device侧快照恢复/重建进程组/重建通信域/重新加载运行时权重/重捕获图), 接着容器进入可服务状态 ## 3. 资料变更不涉及 ## 4. 接口变更业务面新增接口： /suspend /resume ## 5. 测试结果 > 需体现<ins>测试场景，测试方法以及测试结果</ins>。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 ## 6. CheckList > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [ ] 代码注释完备 [ ] 正确记录维测日志 [ ] 是否有UT用例 [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!108	1 个月前
test_config.py	[feature] 支持 Prefill 跨机 Pipeline Parallel 拉起 Co-authored-by: Jechin<yuzechen1@huawei.com> # message auto-generated for no-merge-commit merge: !653 merge feature/prefill-cross-node-pp into master [feature] 支持 Prefill 跨机 Pipeline Parallel 拉起 Created-by: Jechin Commit-by: Jechin Merged-by: towncharlie Description: ## 1. 合入背景 Fixes [#389](https://gitcode.com/Ascend/MindIE-Motor/issues/389) Prefill 跨机 Pipeline Parallel（如 TP=16、PP=2、nnodes=2）场景下，控制面仍按“单机并行积”计算 `local_world_size`（pcp×tp×pp），导致本机设备数校验失败、Endpoint 为空；同时 `master_addr=placeholder` / 静态 `node_rank` 会盖住运行时注入，分布式初始化无法连通。Assembler 在无 Endpoint 时还会误报 start 成功。本 PR 补齐跨机 PP 与跨机 PCP 共用的 nnodes 路径，并让 Deployer 从 vLLM 脚本正确生成 PP/nnodes 配置；并行度读取统一为 CLI 整数优先、缺省回退 `kv_connector_extra_config`（含 `pp_size`）。 ## 2. 修改内容 1. NodeManager 配置（`motor/config/node_manager.py`） - 跨机时按 `(pcp×tp×pp)//nnodes` 折算本机 `local_world_size`（覆盖 PP/PCP） - `pcp×pp` 不能被 `nnodes` 整除时直接报错，避免错误拓扑静默通过 2. EngineServer VLLMConfig（`motor/engine_server/core/vllm/vllm_config.py`） - 跨机场景强制覆盖 `master_addr` / `node_rank` / `headless`，不再被 `placeholder` 挡住 - Mooncake kv extra 合并并行度时保留用户字段（如 `pp_layer_partition`） 3. Controller InstanceAssembler（`motor/controller/core/instance_assembler.py`） - 所有 NodeManager 均无 Endpoint 时，`_send_start_command` 返回失败并打 ERROR，禁止假成功 4. Deployer 转换（`examples/deployer/config_tool/vllm_to_motor.py`） - 保留并正确写出 `pipeline_parallel_size`，按 `tp×pp` 推导 Pod / `nnodes` - 跨机时写入 `nnodes` / `master-port`；不写 `master-addr` / `node-rank`（运行时注入） - dp/tp/pp 统一读取优先级：命令行给了正整数用 CLI，否则回退 `kv_connector_extra_config` 的 `dp_size` / `tp_size` / `pp_size`（kv 中的 size 在写出前剥离） - 去除硬件侧强制 remap tp/dp；`infer__motor_deploy_config` 回传 `nnodes`，与跨机 engine 注入共用一次 `_infer_pod_layout` - 抽取 hybrid 默认 deploy / 权重挂载路径 / preset+cards 等重复逻辑，降低漂移风险 5. UT* - 覆盖 PP 折算、不可整除、placeholder 覆盖、kv 字段保留、空 Endpoint start 失败 - Deployer：CLI>kv、仅 kv 回退（含 `pp_size`）、跨机 `nnodes`/`master-port`、跳过脚本透传多机键等进程视图 mermaid flowchart LR subgraph deploy [Deploy] script["vLLM serve 脚本\nCLI 与 kv extra"] conv["vllm_to_motor\nCLI大于kv"] uc["user_config\nPP nnodes master-port"] end subgraph control [Control Plane] nm0["NodeManager node_rank=0"] nm1["NodeManager node_rank=1"] asm["InstanceAssembler"] end subgraph engine [Engine] es0["EngineServer PP stage0"] es1["EngineServer PP stage1 headless"] end script --> conv --> uc uc --> nm0 uc --> nm1 nm0 -->\|"Register local_world_size"\| asm nm1 -->\|"Register local_world_size"\| asm asm -->\|"StartCmd master_dp_ip/node_rank"\| nm0 asm -->\|"StartCmd"\| nm1 nm0 --> es0 nm1 --> es1 es0 <-->\|"master-port rendezvous"\| es1 ## 3. 资料变更不涉及仓库内用户文档更新（Deployer README / 跨机说明未改）。 ## 4. 接口变更涉及配置约定（客户面可见）： - Prefill 跨机 PP 需配置 `pipeline_parallel_size`、`nnodes`、`master-port`；不要配置 `master-addr` / `node-rank` - Deployer 从 vLLM 脚本转换时会自动生成上述项；`pipeline_parallel_size` 不再被强制改写为 1 - Deployer 并行度语义：`--data/tensor/pipeline-parallel-size` 正整数优先于 kv extra 的 `dp_size`/`tp_size`/`pp_size`；二者皆无时 dp/tp 走手动占位提示，pp 缺省为 1 - 无新增/变更 HTTP API ## 5. 测试结果（自行补充） ## 6. CheckList [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-Motor!653	1 天前