昇腾自研推理集群管理框架
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
add ISSUE and PR template Co-authored-by: wumingjing<wumingjing@huawei.com> # message auto-generated for no-merge-commit merge: !149 merge master into master add ISSUE and PR template Created-by: wumingjing Commit-by: wumingjing Merged-by: ascend-robot Description: add ISSUE and PR template See merge request: Ascend/MindIE-pyMotor!149 | 7 个月前 | |
[docker]: 修改dockerfile提供方式，改为具体独立的Dockerfile Co-authored-by: LinWei100<linwei100@huawei.com> # message auto-generated for no-merge-commit merge: !271 merge cursor/docker-self-contained-dockerfiles-5ed4 into master [docker]: 修改dockerfile提供方式，改为具体独立的Dockerfile Created-by: LinWei100 Commit-by: LinWei100 Merged-by: towncharlie Description: ## **1. 合入背景** > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 请通过#ISSUE ID关联issue。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. ## **2. 修改内容** > 请<ins>**描述修改内容的具体实现**</ins>，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。 > 如果是需求或者重构类的PR，需要<ins>**补充详细设计文档**</ins>（说明上下游组件关系、时序图、类图、DFX能力等内容）。 ## **3. 资料变更** > 请确认<ins>**是否涉及资料变更**</ins>。\ > 如涉及，需要在PR中体现，并简要说明修改内容。\ > 如不涉及，需填写“不涉及”。 ## **4. 接口变更** > 请确认<ins>**是否涉及跨代码仓或者客户面可见的接口变更**</ins>。\ > 如涉及，需详细说明接口以及对应的变更内容，同时需要在资料中体现。\ > 如不涉及，需填写“不涉及”。 ## **5. 测试结果** > 需体现<ins>**测试场景，测试方法以及测试结果**</ins>。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 Docker镜像回显许可  ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [ ] 代码注释完备 [ ] 正确记录维测日志 [ ] 是否有UT用例 [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!271 | 2 个月前 | |
doc: KV池化文档&KV亲和性调度文档更新 Co-authored-by: zhoujing101<zhoujing101@huawei.com> # message auto-generated for no-merge-commit merge: !439 merge master into master doc: KV池化文档&KV亲和性调度文档更新 Created-by: zhoujing101 Commit-by: zhoujing101 Merged-by: towncharlie Description: ## **1. 合入背景** > KV池化与亲和性调度能力文档需要完善，从原来简略的部署说明改版为完整的用户指南，便于用户快速理解和使用相关功能。 [#252](https://gitcode.com/Ascend/MindIE-PyMotor/issues/252) ## **2. 修改内容** ### 文档重构 1. ** docs/zh/user_guide/features/KV_pool.md** — 完全重构文档结构： - 新增「功能介绍」「前置说明」「原理说明」「常见问题」等章节 - 快速实践步骤化（5步），提供可复制的命令行操作指引 - 典型配置章节重写，以表格形式详细说明各参数含义 - 补充关键配置调优建议，指导用户合理调整池化参数 2. **docs/zh/user_guide/features/KV_cache_affinity.md** — 同步重构文档结构： - 新增「功能介绍」「前置说明」「原理说明」「常见问题」等章节 - 快速实践步骤化（5步），整合镜像构建与部署指引 - 典型配置章节重写，区分 PD 分离与 PD 混部两种配置场景 - 以表格形式详细说明配置参数含义，补充调优建议 - 精简冗余内容，提升可读性 ## **3. 资料变更** 涉及。文档内容变更，重写 docs/zh/user_guide/features/KV_pool.md 和 docs/zh/user_guide/features/KV_cache_affinity.md。 ## **4. 接口变更** 不涉及。 ## **5. 测试结果** 仅文档变更，不涉及功能测试。文档格式检查和链接验证通过。 ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!439 | 1 个月前 | |
update: 更新文件 env.json Signed-off-by: weixin_63825906 <gaopeng140@huawei.com> | 1 个月前 | |
【bugfix】v4和qwen的tokenizer Co-authored-by: ganglv<lvgang1@huawei.com> # message auto-generated for no-merge-commit merge: !445 merge v4_qwen_tokenizer into master 【bugfix】v4和qwen的tokenizer Created-by: ganglv Commit-by: ganglv Merged-by: towncharlie Description: ## **1. 合入背景** > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 请通过#ISSUE ID关联issue。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. 当前 kv cache 亲和性调度，不支持dsv4和qwen的tokenzier ## **2. 修改内容** > 请<ins>**描述修改内容的具体实现**</ins>，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。 > 如果是需求或者重构类的PR，需要<ins>**补充详细设计文档**</ins>（说明上下游组件关系、时序图、类图、DFX能力等内容）。 1. 补充dsv4和qwen的tokenzier 2. 修复找不到.so的问题 ## **3. 资料变更** > 请确认<ins>**是否涉及资料变更**</ins>。\ > 如涉及，需要在PR中体现，并简要说明修改内容。\ > 如不涉及，需填写“不涉及”。 不涉及 ## **4. 接口变更** > 请确认<ins>**是否涉及跨代码仓或者客户面可见的接口变更**</ins>。\ > 如涉及，需详细说明接口以及对应的变更内容，同时需要在资料中体现。\ > 如不涉及，需填写“不涉及”。 不涉及 ## **5. 测试结果** > 需体现<ins>**测试场景，测试方法以及测试结果**</ins>。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。  ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [ ] 代码注释完备 [ ] 正确记录维测日志 [ ] 是否有UT用例 [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!445 | 1 个月前 | |
[feat] Add patching support for vLLM with shuffle option and update deployment scripts Co-authored-by: c00951058<chenchaofeng5@huawei.com> # message auto-generated for no-merge-commit merge: !284 merge c00951058 into master [feat] Add patching support for vLLM with shuffle option and update deployment scripts Created-by: qq_40172610 Commit-by: c00951058 Merged-by: towncharlie Description: ## **1. 合入背景** - 大模型（如 DeepSeek V3.1）在多 NPU / 多 rank 并行加载 safetensors 权重时，各进程默认按相同顺序读取 checkpoint 文件，容易造成共享存储 I/O 热点，拉长 Pod 冷启动时间。 - 当前PyMotor 镜像内 vLLM 0.20.2 尚未 upstream 合入 safetensors 加载 shuffle 能力，需在 Engine Pod 启动 vLLM 前 以 runtime patch 方式注入该优化。 - 本 PR 参照现有 patch/patch_apply.py 的补丁机制，新增 safetensors shuffle 补丁链路，与 boot.sh 启动流程及 motor-config ConfigMap 下发机制配合，无需重新打镜像即可生效。 ## **2. 修改内容** - 新增 patch/patch_apply_shuffle_safetensors.py 运行时补丁入口脚本，仅在 vLLM 版本为 0.20.2 时执行，其他版本 skip 并返回 0。 支持幂等：已 patch 或 patch 失败但目标文件已含 shuffle_safetensors_files 且语法有效时跳过。 - 新增 3 个 vLLM patch 文件（patch/vllm_shuffle_*.patch） - 修改 examples/deployer/startup/boot.sh 在 prefill / decode / union / encode / SINGLE_CONTAINER 角色启动 engine 前，调用 patch_apply_shuffle_safetensors.py。 controller / coordinator 等角色不受影响。 - 修改 examples/deployer/lib/generator/k8s_utils.py 在 create_motor_config_configmap() 中，将上述 1 个脚本 + 3 个 .patch 文件一并打入 motor-config ConfigMap，挂载到 Pod /mnt/configmap，与 boot.sh 中 $SCRIPT_DIR 路径一致。 ## **3. 资料变更** > 不涉及 ## **4. 接口变更** > 不涉及 ## **5. 测试结果** - 功能验证：服务正常 Ready，OpenAI 兼容接口推理正常，无权重加载相关报错。 - 性能验证：对比 patch 前后 Pod 从启动到模型加载完成耗时  ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!284 | 2 个月前 | |
[fix] 删除markdown检查规则 Co-authored-by: 吕有辉<lvyouhui@huawei.com> # message auto-generated for no-merge-commit merge: !451 merge pre-commit_ehance into master [fix] 删除markdown检查规则 Created-by: codeDogPro Commit-by: 吕有辉 Merged-by: towncharlie Description: ## **1. 合入背景** 紧急修复，回退markdown检查规则，CI流水线不能fetch github仓库代码 ## **2. 修改内容** 紧急修复，回退markdown检查规则，CI流水线不能fetch github仓库代 ## **3. 资料变更** > 请确认<ins>**是否涉及资料变更**</ins>。\ > 如涉及，需要在PR中体现，并简要说明修改内容。\ > 如不涉及，需填写“不涉及”。 ## **4. 接口变更** > 请确认<ins>**是否涉及跨代码仓或者客户面可见的接口变更**</ins>。\ > 如涉及，需详细说明接口以及对应的变更内容，同时需要在资料中体现。\ > 如不涉及，需填写“不涉及”。 ## **5. 测试结果** > 需体现<ins>**测试场景，测试方法以及测试结果**</ins>。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [ ] 代码注释完备 [ ] 正确记录维测日志 [ ] 是否有UT用例 [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!451 | 1 个月前 | |
[docs] 添加文档托管网站基础设施 Co-authored-by: Jechin<yuzechen1@huawei.com> # message auto-generated for no-merge-commit merge: !114 merge docs/readthedocs into master [docs] 添加文档托管网站基础设施 Created-by: Jechin Commit-by: Jechin Merged-by: towncharlie Description: ## **1. 合入背景** > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 请通过#ISSUE ID关联issue。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fixes [#80](https://gitcode.com/Ascend/MindIE-PyMotor/issues/80) ## **2. 修改内容** > 请<ins>**描述修改内容的具体实现**</ins>，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。 > 如果是需求或者重构类的PR，需要<ins>**补充详细设计文档**</ins>（说明上下游组件关系、时序图、类图、DFX能力等内容）。 ## **3. 资料变更** > 请确认<ins>**是否涉及资料变更**</ins>。\ > 如涉及，需要在PR中体现，并简要说明修改内容。\ > 如不涉及，需填写“不涉及”。 ## **4. 接口变更** > 请确认<ins>**是否涉及跨代码仓或者客户面可见的接口变更**</ins>。\ > 如涉及，需详细说明接口以及对应的变更内容，同时需要在资料中体现。\ > 如不涉及，需填写“不涉及”。 不涉及 ## **5. 测试结果** > 需体现<ins>**测试场景，测试方法以及测试结果**</ins>。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 不涉及 ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!114 | 3 个月前 | |
[refractor] 提取http相关公共文件，简化utils文件夹内文件数量 Co-authored-by: 吕有辉<lvyouhui@huawei.com> # message auto-generated for no-merge-commit merge: !55 merge master into master [refractor] 提取http相关公共文件，简化utils文件夹内文件数量 Created-by: codeDogPro Commit-by: 吕有辉 Merged-by: towncharlie Description: ## **1. 合入背景** https://gitcode.com/Ascend/MindIE-PyMotor/issues/47 ## **2. 修改内容** 提取utils函数，汇聚目录 ## **3. 资料变更** 涉及 ## **4. 接口变更** 不涉及 ## **5. 测试结果** 服务能正常拉起 ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!55 | 4 个月前 | |
【bugfix】v4和qwen的tokenizer Co-authored-by: ganglv<lvgang1@huawei.com> # message auto-generated for no-merge-commit merge: !445 merge v4_qwen_tokenizer into master 【bugfix】v4和qwen的tokenizer Created-by: ganglv Commit-by: ganglv Merged-by: towncharlie Description: ## **1. 合入背景** > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 请通过#ISSUE ID关联issue。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. 当前 kv cache 亲和性调度，不支持dsv4和qwen的tokenzier ## **2. 修改内容** > 请<ins>**描述修改内容的具体实现**</ins>，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。 > 如果是需求或者重构类的PR，需要<ins>**补充详细设计文档**</ins>（说明上下游组件关系、时序图、类图、DFX能力等内容）。 1. 补充dsv4和qwen的tokenzier 2. 修复找不到.so的问题 ## **3. 资料变更** > 请确认<ins>**是否涉及资料变更**</ins>。\ > 如涉及，需要在PR中体现，并简要说明修改内容。\ > 如不涉及，需填写“不涉及”。 不涉及 ## **4. 接口变更** > 请确认<ins>**是否涉及跨代码仓或者客户面可见的接口变更**</ins>。\ > 如涉及，需详细说明接口以及对应的变更内容，同时需要在资料中体现。\ > 如不涉及，需填写“不涉及”。 不涉及 ## **5. 测试结果** > 需体现<ins>**测试场景，测试方法以及测试结果**</ins>。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。  ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [ ] 代码注释完备 [ ] 正确记录维测日志 [ ] 是否有UT用例 [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!445 | 1 个月前 | |
[update] 更新precommit规则 Co-authored-by: LinWei100<linwei100@huawei.com> # message auto-generated for no-merge-commit merge: !130 merge feat/pre-commit_update into master [update] 更新precommit规则 Created-by: LinWei100 Commit-by: LinWei100 Merged-by: towncharlie Description: ## **1. 合入背景** > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 请通过#ISSUE ID关联issue。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. precommit规则需要更新 ## **2. 修改内容** > 请<ins>**描述修改内容的具体实现**</ins>，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。 > 如果是需求或者重构类的PR，需要<ins>**补充详细设计文档**</ins>（说明上下游组件关系、时序图、类图、DFX能力等内容）。 ## **3. 资料变更** > 请确认<ins>**是否涉及资料变更**</ins>。\ > 如涉及，需要在PR中体现，并简要说明修改内容。\ > 如不涉及，需填写“不涉及”。 ## **4. 接口变更** > 请确认<ins>**是否涉及跨代码仓或者客户面可见的接口变更**</ins>。\ > 如涉及，需详细说明接口以及对应的变更内容，同时需要在资料中体现。\ > 如不涉及，需填写“不涉及”。 ## **5. 测试结果** > 需体现<ins>**测试场景，测试方法以及测试结果**</ins>。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [ ] 代码注释完备 [ ] 正确记录维测日志 [ ] 是否有UT用例 [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!130 | 3 个月前 | |
[特性叠加] 混布新特性支持encoder分离部署 Co-authored-by: zhoujing101<zhoujing101@huawei.com> # message auto-generated for no-merge-commit merge: !273 merge EPD_2 into master [特性叠加] 混布新特性支持encoder分离部署 Created-by: zhoujing101 Commit-by: zhoujing101 Merged-by: towncharlie Description: ## **1. 合入背景** [#174](https://gitcode.com/Ascend/MindIE-PyMotor/issues/174) ## **2. 修改内容** 混布场景支持encoder分离部署  ## **3. 资料变更** “不涉及”。 ## **4. 接口变更** “不涉及”。 ## **5. 测试结果** 部署结果：  多模态推理：   ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!273 | 2 个月前 | |
[fix] 删除markdown检查规则 Co-authored-by: 吕有辉<lvyouhui@huawei.com> # message auto-generated for no-merge-commit merge: !451 merge pre-commit_ehance into master [fix] 删除markdown检查规则 Created-by: codeDogPro Commit-by: 吕有辉 Merged-by: towncharlie Description: ## **1. 合入背景** 紧急修复，回退markdown检查规则，CI流水线不能fetch github仓库代码 ## **2. 修改内容** 紧急修复，回退markdown检查规则，CI流水线不能fetch github仓库代 ## **3. 资料变更** > 请确认<ins>**是否涉及资料变更**</ins>。\ > 如涉及，需要在PR中体现，并简要说明修改内容。\ > 如不涉及，需填写“不涉及”。 ## **4. 接口变更** > 请确认<ins>**是否涉及跨代码仓或者客户面可见的接口变更**</ins>。\ > 如涉及，需详细说明接口以及对应的变更内容，同时需要在资料中体现。\ > 如不涉及，需填写“不涉及”。 ## **5. 测试结果** > 需体现<ins>**测试场景，测试方法以及测试结果**</ins>。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [ ] 代码注释完备 [ ] 正确记录维测日志 [ ] 是否有UT用例 [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!451 | 1 个月前 | |
[docs] 添加文档托管网站基础设施 Co-authored-by: Jechin<yuzechen1@huawei.com> # message auto-generated for no-merge-commit merge: !114 merge docs/readthedocs into master [docs] 添加文档托管网站基础设施 Created-by: Jechin Commit-by: Jechin Merged-by: towncharlie Description: ## **1. 合入背景** > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 请通过#ISSUE ID关联issue。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fixes [#80](https://gitcode.com/Ascend/MindIE-PyMotor/issues/80) ## **2. 修改内容** > 请<ins>**描述修改内容的具体实现**</ins>，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。 > 如果是需求或者重构类的PR，需要<ins>**补充详细设计文档**</ins>（说明上下游组件关系、时序图、类图、DFX能力等内容）。 ## **3. 资料变更** > 请确认<ins>**是否涉及资料变更**</ins>。\ > 如涉及，需要在PR中体现，并简要说明修改内容。\ > 如不涉及，需填写“不涉及”。 ## **4. 接口变更** > 请确认<ins>**是否涉及跨代码仓或者客户面可见的接口变更**</ins>。\ > 如涉及，需详细说明接口以及对应的变更内容，同时需要在资料中体现。\ > 如不涉及，需填写“不涉及”。 不涉及 ## **5. 测试结果** > 需体现<ins>**测试场景，测试方法以及测试结果**</ins>。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 不涉及 ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!114 | 3 个月前 | |
doc tools问题整改 Co-authored-by: xiao-qing123<xiaoqing14@h-partners.com> # message auto-generated for no-merge-commit merge: !74 merge dev into master doc tools问题整改 Created-by: xiao-qing123 Commit-by: xiao-qing123 Merged-by: ascend-robot Description: Fixes [#57](https://gitcode.com/Ascend/MindIE-PyMotor/issues/57) 1、Doc Tools四类问题修改 2、docs目录文档内容格式（接口格式等）整改 See merge request: Ascend/MindIE-PyMotor!74 | 4 个月前 | |
[资料]k8s安装指导优化，新增step by step安装指导 Co-authored-by: weixin_63825906<gaopeng140@huawei.com> # message auto-generated for no-merge-commit merge: !299 merge ziliao3 into master [资料]k8s安装指导优化，新增step by step安装指导 Created-by: weixin_63825906 Commit-by: weixin_63825906 Merged-by: towncharlie Description: ## **1. 合入背景** > 当前motor强依赖k8s和mindcluster软件环境，但环境部署操作步骤较为复杂，本PR优化了k8s的安装流程，并提供了自动化部署脚本，提高环境部署效率 > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fixes [#182](https://gitcode.com/Ascend/MindIE-PyMotor/issues/182) ## **2. 修改内容** > 优化k8s的安装流程，并提供自动化部署脚本，提高环境部署效率 ## **3. 资料变更** > 涉及 ## **4. 接口变更** > 不涉及 ## **5. 测试结果**  ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [ ] 代码注释完备 [ ] 正确记录维测日志 [ ] 是否有UT用例 [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!299 | 2 个月前 | |
【新特性】kvCache亲和性调度部署能力上库 Co-authored-by: zhoujing101<zhoujing101@huawei.com> # message auto-generated for no-merge-commit merge: !284 merge kv2 into master 【新特性】kvCache亲和性调度部署能力上库 Created-by: zhoujing101 Commit-by: zhoujing101 Merged-by: ascend-robot Description: ## **1. 合入背景** 当前PyMotor中，请求调度不考虑KVCache亲和性，请求可能调度到没有KVCache的节点上。推理前，需要将KVCache从RH加载到本地Device上，增加了传输的开销。 本特性，在PyMotor调度中，调用MoonCakeStore Master上命中率查询接口，得到亲和性节点（各节点命中率最高的）。需要考虑D节点也有可能存放prefix cache的场景。 ## **2. 修改内容** kvCache亲和性调度部署能力，以下设计图中的第一条  ## **3. 资料变更** 不涉及 ## **4. 接口变更** 不涉及 ## **5. 测试结果** 执行deploy.py能正常拉起含mooncake__conductor服务的容器：  ## **6. CheckList** [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-pyMotor-private!284 | 5 个月前 | |
doc tools问题整改 Co-authored-by: xiao-qing123<xiaoqing14@h-partners.com> # message auto-generated for no-merge-commit merge: !74 merge dev into master doc tools问题整改 Created-by: xiao-qing123 Commit-by: xiao-qing123 Merged-by: ascend-robot Description: Fixes [#57](https://gitcode.com/Ascend/MindIE-PyMotor/issues/57) 1、Doc Tools四类问题修改 2、docs目录文档内容格式（接口格式等）整改 See merge request: Ascend/MindIE-PyMotor!74 | 4 个月前 | |
[docs] 添加文档托管网站基础设施 Co-authored-by: Jechin<yuzechen1@huawei.com> # message auto-generated for no-merge-commit merge: !114 merge docs/readthedocs into master [docs] 添加文档托管网站基础设施 Created-by: Jechin Commit-by: Jechin Merged-by: towncharlie Description: ## **1. 合入背景** > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 请通过#ISSUE ID关联issue。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fixes [#80](https://gitcode.com/Ascend/MindIE-PyMotor/issues/80) ## **2. 修改内容** > 请<ins>**描述修改内容的具体实现**</ins>，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。 > 如果是需求或者重构类的PR，需要<ins>**补充详细设计文档**</ins>（说明上下游组件关系、时序图、类图、DFX能力等内容）。 ## **3. 资料变更** > 请确认<ins>**是否涉及资料变更**</ins>。\ > 如涉及，需要在PR中体现，并简要说明修改内容。\ > 如不涉及，需填写“不涉及”。 ## **4. 接口变更** > 请确认<ins>**是否涉及跨代码仓或者客户面可见的接口变更**</ins>。\ > 如涉及，需详细说明接口以及对应的变更内容，同时需要在资料中体现。\ > 如不涉及，需填写“不涉及”。 不涉及 ## **5. 测试结果** > 需体现<ins>**测试场景，测试方法以及测试结果**</ins>。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 不涉及 ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!114 | 3 个月前 | |
[test] ut耗时与warning告警优化 Co-authored-by: Jechin<yuzechen1@huawei.com> # message auto-generated for no-merge-commit merge: !269 merge test/ut-speedup-and-warnings-report into master [test] ut耗时与warning告警优化 Created-by: Jechin Commit-by: Jechin Merged-by: towncharlie Description: ## **1. 合入背景** > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 请通过#ISSUE ID关联issue。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fixes [#171](https://gitcode.com/Ascend/MindIE-PyMotor/issues/171) ## **2. 修改内容** > 请<ins>**描述修改内容的具体实现**</ins>，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。 > 如果是需求或者重构类的PR，需要<ins>**补充详细设计文档**</ins>（说明上下游组件关系、时序图、类图、DFX能力等内容）。 | 文件 | 改动性质 | |------|----------| | pytest.ini | 移除第三方 warning 过滤 | | tests/run_tests.sh | warning 不再导致失败 | | tests/coordinator/router/test_router_cdp_separation.py | CDP 重试加速 | | tests/engine_server/core/test_sim_inference.py | health_check 加速 | | tests/coordinator/test_http_server.py | 限流 mock + pylint/ruff 修复 | > 全量并行 UT 耗时从约 31s 降至约 5s（优化前后对比验证过）。 ## **3. 资料变更** > 请确认<ins>**是否涉及资料变更**</ins>。\ > 如涉及，需要在PR中体现，并简要说明修改内容。\ > 如不涉及，需填写“不涉及”。 不涉及 ## **4. 接口变更** > 请确认<ins>**是否涉及跨代码仓或者客户面可见的接口变更**</ins>。\ > 如涉及，需详细说明接口以及对应的变更内容，同时需要在资料中体现。\ > 如不涉及，需填写“不涉及”。 不涉及 ## **5. 测试结果** > 需体现<ins>**测试场景，测试方法以及测试结果**</ins>。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 已测试 ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!269 | 2 个月前 | |
Coordinator支持故障请求重调度 Co-authored-by: wenjinhust<wenjin.sh@huawei.com> # message auto-generated for no-merge-commit merge: !260 merge dev2606/rescheduler/0609 into master Coordinator支持故障请求重调度 Created-by: wenjinhust Commit-by: wenjinhust Merged-by: towncharlie Description: ## **1. 合入背景** > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 请通过#ISSUE ID关联issue。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fixes [#100](https://gitcode.com/Ascend/MindIE-PyMotor/issues/100) ## **2. 修改内容** > 请<ins>**描述修改内容的具体实现**</ins>，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。 > 如果是需求或者重构类的PR，需要<ins>**补充详细设计文档**</ins>（说明上下游组件关系、时序图、类图、DFX能力等内容）。 - CPCD/CDP模式处理下沉到engine_server - Coordinator支持故障请求重调度 ## **3. 资料变更** > 请确认<ins>**是否涉及资料变更**</ins>。\ > 如涉及，需要在PR中体现，并简要说明修改内容。\ > 如不涉及，需填写“不涉及”。 - 不涉及 ## **4. 接口变更** > 请确认<ins>**是否涉及跨代码仓或者客户面可见的接口变更**</ins>。\ > 如涉及，需详细说明接口以及对应的变更内容，同时需要在资料中体现。\ > 如不涉及，需填写“不涉及”。 - 不涉及 ## **5. 测试结果** > 需体现<ins>**测试场景，测试方法以及测试结果**</ins>。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 - 测试以下场景，测试结果符合预期： | 项目 | 测试场景 | 测试结果 | | --- | --- | --- | | 部署模式 | CPCD、CDP | 已覆盖 | | 推理接口 | chat接口、completions接口 | 已覆盖| | stream参数 | true、false | 已覆盖 | | 正常场景 | 简单报文、携带return_token_ids | 符合预期 | | 故障场景 | P故障、D故障、D输出若干token后故障 | 符合预期 | ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!260 | 2 个月前 | |
doc tools问题整改 Co-authored-by: xiao-qing123<xiaoqing14@h-partners.com> # message auto-generated for no-merge-commit merge: !74 merge dev into master doc tools问题整改 Created-by: xiao-qing123 Commit-by: xiao-qing123 Merged-by: ascend-robot Description: Fixes [#57](https://gitcode.com/Ascend/MindIE-PyMotor/issues/57) 1、Doc Tools四类问题修改 2、docs目录文档内容格式（接口格式等）整改 See merge request: Ascend/MindIE-PyMotor!74 | 4 个月前 | |
【controller】Observerability module implementation Co-authored-by: zhang980530<zhanghao680@h-partners.com> Co-authored-by: ganglv<lvgang1@huawei.com> # message auto-generated for no-merge-commit merge: !267 merge master into master 【controller】Observerability module implementation Created-by: zhang980530 Commit-by: zhang980530;ganglv Merged-by: ascend-robot Description: ## **1. 合入背景** 添加observability api，为pymotor运维能力 > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 请通过#ISSUE ID关联issue。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. ## **2. 修改内容** > 请<ins>**描述修改内容的具体实现**</ins>，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。 > 如果是需求或者重构类的PR，需要<ins>**补充详细设计文档**</ins>（说明上下游组件关系、时序图、类图、DFX能力等内容）。 ## **3. 资料变更** 涉及 > 请确认<ins>**是否涉及资料变更**</ins>。\ > 如涉及，需要在PR中体现，并简要说明修改内容。\ > 如不涉及，需填写“不涉及”。 ## **4. 接口变更** 涉及 添加内部上报url/observability/add_alarm用于其他组件将告警上报至告警中心 添加外部查询接口/observability/alarms告警全量查询接口 添加外部查询接口/observability/inventory存量资源全量查询接口 添加外部查询接口/observability/metrics，性能数据查询接口 > 请确认<ins>**是否涉及跨代码仓或者客户面可见的接口变更**</ins>。\ > 如涉及，需详细说明接口以及对应的变更内容，同时需要在资料中体现。\ > 如不涉及，需填写“不涉及”。 ## **5. 测试结果** > 需体现<ins>**测试场景，测试方法以及测试结果**</ins>。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-pyMotor-private!267 | 6 个月前 |
MindIE PyMotor
简介
提供一键式 PD 分离与 PD 混部部署，基于云原生插件化架构灵活适配多种推理引擎（vLLM、SGLang），结合高性能调度与负载均衡能力，构建高可用、可扩展的大规模推理服务。
快速开始
以下是代码仓库智能体，点击 "Ask AI" ，即可开启智能代码学习与问答体验！它们将帮助您更深入地理解 MindIE-PyMotor 的运行原理，并协助解决使用过程中遇到的问题与错误！
环境准备：安装前的相关软硬件环境准备，以及安装步骤，请参见环境准备。
快速部署：快速体验启动服务、接口调用、精度&性能测试和停止服务全流程，请参见快速部署。
最佳实践：PD 分离部署请参见PD 分离服务部署详细指导，PD 混部部署请参见PD 混部服务部署详细指导。
最新消息
[2026/03] 🚀 MindIE-PyMotor正式开源，新增代码仓智能体。
社区活动
MindIE 系列 TC/SIG 会议安排，请查看 Ascend会议中心。
开源社区论坛与技术交流、问题讨论及经验分享，请访问 昇腾论坛。
问题反馈
如果您在使用过程中发现异常，建议先查看仓库的 Issues 列表，确认是否已有相同或相近的问题。
如果现有问题列表中没有对应项，可以直接 创建新的 Issue，并尽量补充完整的问题现象、复现步骤、日志片段和环境信息，便于快速定位。
如果问题涉及安全风险，请不要通过公开 Issue 直接披露，建议按照 security.md 中的方式联系项目维护者。
贡献指南
如果您计划提交代码修改，建议按下面的流程进行：
- Fork 本项目的仓库，并 Clone 到本地。
- 提交前请通过所有单元测试，完整测试入口见 tests/run_tests.sh。
- 提交代码，并新建 Pull Request，需在 Pull Request 回复
compile触发门禁流水线（CI）。 - 代码检视：您需要根据评审意见修改代码，并重新提交更新。此流程可能涉及多轮迭代。
- 审核和测试通过后，会将您的 Pull Request 合并到项目的 master 分支。
许可证
本项目使用 Mulan PSL v2 开源许可证。