master

towncharlie[feature] 支持 Prefill 跨机 Pipeline Parallel 拉起

6973326f创建于 23 天前历史提交

文件	最后提交记录	最后更新时间
output_config	【Docs】补充 A5 节点标签说明与常用模型 A5 配置示例 Co-authored-by: 高鹏<gaopeng140@huawei.com> # message auto-generated for no-merge-commit merge: !609 merge a5-node-label-docs into master 【Docs】补充 A5 节点标签说明与常用模型 A5 配置示例 Created-by: weixin_63825906 Commit-by: 高鹏 Merged-by: towncharlie Description: ## **1. 合入背景** > 当前环境准备文档与 models 配置示例仅覆盖 A2/A3，缺少 A5（Atlas 850）相关说明，现场部署时无法直接参考。 Fix part of [#363](https://gitcode.com/Ascend/MindIE-Motor/issues/363) ## **2. 修改内容** 1. 在 docs/zh/user_guide/environment_preparation.md「设置节点标签」中补充 A5 / Atlas 850 Server（普通集群）打标签示例： 2. 在 examples/infer_engines/vllm/models 下为常用模型补充 A5/ 配置示例（user_config.json + env.json）： ## **3. 资料变更** 涉及（用户指南节点标签章节、models 配置示例） ## **4. 接口变更** 不涉及 ## **5. 测试结果** > 服务推理正常  ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-Motor!609	1 个月前
run_dp_template_decode.sh	vllm_to_motor全量配置转化工具 Co-authored-by: weixin_63825906<gaopeng140@huawei.com> # message auto-generated for no-merge-commit merge: !471 merge config_tool_2 into master vllm_to_motor全量配置转化工具 Created-by: weixin_63825906 Commit-by: weixin_63825906 Merged-by: towncharlie Description: ## **1. 合入背景** 原先 examples/infer_engines/vllm/models/ 下各模型目录维护了多份静态 user_config.json / env.json，与 vLLM 教程启动脚本内容重复，更新成本高且容易不一致。 本次改为配置按需生成：删除各模型目录下的典型静态配置，仅保留 README.md（模型说明）和 config_tool/（转换工具 + vLLM 启动脚本）。用户从 vLLM 脚本一键生成 Motor 配置，降低维护成本并保证与下游推理引擎配置一致。 Fixes [#266](https://gitcode.com/Ascend/MindIE-PyMotor/issues/266) ## **2. 修改内容** 删除原有典型配置。 新增独立配置转换脚本 vllm_to_motor.py：可从 vLLM 启动脚本生成 user_config.json 和 env.json。 新增基于deepseek v4 flash的配置转化示例 新增使用说明文档README.md ## **3. 资料变更** > 涉及 ## **4. 接口变更** > 不涉及 ## **5. 测试结果** > 服务正常部署   ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [ ] 代码注释完备 [ ] 正确记录维测日志 [ ] 是否有UT用例 [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!471	1 个月前
run_dp_template_hybrid.sh	vllm_to_motor全量配置转化工具 Co-authored-by: weixin_63825906<gaopeng140@huawei.com> # message auto-generated for no-merge-commit merge: !471 merge config_tool_2 into master vllm_to_motor全量配置转化工具 Created-by: weixin_63825906 Commit-by: weixin_63825906 Merged-by: towncharlie Description: ## **1. 合入背景** 原先 examples/infer_engines/vllm/models/ 下各模型目录维护了多份静态 user_config.json / env.json，与 vLLM 教程启动脚本内容重复，更新成本高且容易不一致。 本次改为配置按需生成：删除各模型目录下的典型静态配置，仅保留 README.md（模型说明）和 config_tool/（转换工具 + vLLM 启动脚本）。用户从 vLLM 脚本一键生成 Motor 配置，降低维护成本并保证与下游推理引擎配置一致。 Fixes [#266](https://gitcode.com/Ascend/MindIE-PyMotor/issues/266) ## **2. 修改内容** 删除原有典型配置。 新增独立配置转换脚本 vllm_to_motor.py：可从 vLLM 启动脚本生成 user_config.json 和 env.json。 新增基于deepseek v4 flash的配置转化示例 新增使用说明文档README.md ## **3. 资料变更** > 涉及 ## **4. 接口变更** > 不涉及 ## **5. 测试结果** > 服务正常部署   ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [ ] 代码注释完备 [ ] 正确记录维测日志 [ ] 是否有UT用例 [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!471	1 个月前
run_dp_template_prefill.sh	vllm_to_motor全量配置转化工具 Co-authored-by: weixin_63825906<gaopeng140@huawei.com> # message auto-generated for no-merge-commit merge: !471 merge config_tool_2 into master vllm_to_motor全量配置转化工具 Created-by: weixin_63825906 Commit-by: weixin_63825906 Merged-by: towncharlie Description: ## **1. 合入背景** 原先 examples/infer_engines/vllm/models/ 下各模型目录维护了多份静态 user_config.json / env.json，与 vLLM 教程启动脚本内容重复，更新成本高且容易不一致。 本次改为配置按需生成：删除各模型目录下的典型静态配置，仅保留 README.md（模型说明）和 config_tool/（转换工具 + vLLM 启动脚本）。用户从 vLLM 脚本一键生成 Motor 配置，降低维护成本并保证与下游推理引擎配置一致。 Fixes [#266](https://gitcode.com/Ascend/MindIE-PyMotor/issues/266) ## **2. 修改内容** 删除原有典型配置。 新增独立配置转换脚本 vllm_to_motor.py：可从 vLLM 启动脚本生成 user_config.json 和 env.json。 新增基于deepseek v4 flash的配置转化示例 新增使用说明文档README.md ## **3. 资料变更** > 涉及 ## **4. 接口变更** > 不涉及 ## **5. 测试结果** > 服务正常部署   ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [ ] 代码注释完备 [ ] 正确记录维测日志 [ ] 是否有UT用例 [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!471	1 个月前
vllm_to_motor.py	[feature] 支持 Prefill 跨机 Pipeline Parallel 拉起 Co-authored-by: Jechin<yuzechen1@huawei.com> # message auto-generated for no-merge-commit merge: !653 merge feature/prefill-cross-node-pp into master [feature] 支持 Prefill 跨机 Pipeline Parallel 拉起 Created-by: Jechin Commit-by: Jechin Merged-by: towncharlie Description: ## **1. 合入背景** Fixes [#389](https://gitcode.com/Ascend/MindIE-Motor/issues/389) Prefill 跨机 Pipeline Parallel（如 TP=16、PP=2、nnodes=2）场景下，控制面仍按“单机并行积”计算 local_world_size（pcp×tp×pp），导致本机设备数校验失败、Endpoint 为空；同时 master_addr=placeholder / 静态 node_rank 会盖住运行时注入，分布式初始化无法连通。Assembler 在无 Endpoint 时还会误报 start 成功。本 PR 补齐跨机 PP 与跨机 PCP 共用的 nnodes 路径，并让 Deployer 从 vLLM 脚本正确生成 PP/nnodes 配置；并行度读取统一为 CLI 整数优先、缺省回退 kv_connector_extra_config（含 pp_size）。 ## **2. 修改内容** 1. **NodeManager 配置**（motor/config/node_manager.py） - 跨机时按 (pcp×tp×pp)//nnodes 折算本机 local_world_size（覆盖 PP/PCP） - pcp×pp 不能被 nnodes 整除时直接报错，避免错误拓扑静默通过 2. **EngineServer VLLMConfig**（motor/engine_server/core/vllm/vllm_config.py） - 跨机场景强制覆盖 master_addr / node_rank / headless，不再被 placeholder 挡住 - Mooncake kv extra 合并并行度时保留用户字段（如 pp_layer_partition） 3. **Controller InstanceAssembler**（motor/controller/core/instance_assembler.py） - 所有 NodeManager 均无 Endpoint 时，_send_start_command 返回失败并打 ERROR，禁止假成功 4. **Deployer 转换**（examples/deployer/config_tool/vllm_to_motor.py） - 保留并正确写出 pipeline_parallel_size，按 tp×pp 推导 Pod / nnodes - 跨机时写入 nnodes / master-port；不写 master-addr / node-rank（运行时注入） - **dp/tp/pp 统一读取优先级**：命令行给了正整数用 CLI，否则回退 kv_connector_extra_config 的 dp_size / tp_size / pp_size（kv 中的 size 在写出前剥离） - 去除硬件侧强制 remap tp/dp；infer_*_motor_deploy_config 回传 nnodes，与跨机 engine 注入共用一次 _infer_pod_layout - 抽取 hybrid 默认 deploy / 权重挂载路径 / preset+cards 等重复逻辑，降低漂移风险 5. **UT** - 覆盖 PP 折算、不可整除、placeholder 覆盖、kv 字段保留、空 Endpoint start 失败 - Deployer：CLI>kv、仅 kv 回退（含 pp_size）、跨机 nnodes/master-port、跳过脚本透传多机键等 **进程视图** mermaid flowchart LR subgraph deploy [Deploy] script["vLLM serve 脚本\nCLI 与 kv extra"] conv["vllm_to_motor\nCLI大于kv"] uc["user_config\nPP nnodes master-port"] end subgraph control [Control Plane] nm0["NodeManager node_rank=0"] nm1["NodeManager node_rank=1"] asm["InstanceAssembler"] end subgraph engine [Engine] es0["EngineServer PP stage0"] es1["EngineServer PP stage1 headless"] end script --> conv --> uc uc --> nm0 uc --> nm1 nm0 -->|"Register local_world_size"| asm nm1 -->|"Register local_world_size"| asm asm -->|"StartCmd master_dp_ip/node_rank"| nm0 asm -->|"StartCmd"| nm1 nm0 --> es0 nm1 --> es1 es0 <-->|"master-port rendezvous"| es1 ## **3. 资料变更** 不涉及仓库内用户文档更新（Deployer README / 跨机说明未改）。 ## **4. 接口变更** 涉及配置约定（客户面可见）： - Prefill 跨机 PP 需配置 pipeline_parallel_size、nnodes、master-port；**不要**配置 master-addr / node-rank - Deployer 从 vLLM 脚本转换时会自动生成上述项；pipeline_parallel_size 不再被强制改写为 1 - Deployer 并行度语义：--data/tensor/pipeline-parallel-size 正整数优先于 kv extra 的 dp_size/tp_size/pp_size；二者皆无时 dp/tp 走手动占位提示，pp 缺省为 1 - 无新增/变更 HTTP API ## **5. 测试结果** （自行补充） ## **6. CheckList** [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-Motor!653	23 天前