| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
【修改说明】EngineServer 代码初始化 Co-authored-by: tiankaijin<tiankaijin1@h-partners.com> # message auto-generated for no-merge-commit merge: !33 merge dev-es into master 【修改说明】EngineServer 代码初始化 Created-by: tiankaijin Commit-by: tiankaijin Merged-by: ascend-robot Description: 【修改说明】EngineServer 代码初始化 See merge request: Ascend/MindIE-pyMotor!33 | 7 个月前 | |
update license Co-authored-by: y1lou<louyi6@huawei.com> # message auto-generated for no-merge-commit merge: !185 merge update_license into master update license Created-by: y1lou Commit-by: y1lou Merged-by: ascend-robot Description: ## **1. 合入背景** > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 请通过#ISSUE ID关联issue。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. ## **2. 修改内容** > 请<ins>**描述修改内容的具体实现**</ins>，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。 > 如果是需求或者重构类的PR，需要<ins>**补充详细设计文档**</ins>（说明上下游组件关系、时序图、类图、DFX能力等内容）。 ## **3. 资料变更** > 请确认<ins>**是否涉及资料变更**</ins>。\ > 如涉及，需要在PR中体现，并简要说明修改内容。\ > 如不涉及，需填写“不涉及”。 ## **4. 接口变更** > 请确认<ins>**是否涉及跨代码仓或者客户面可见的接口变更**</ins>。\ > 如涉及，需详细说明接口以及对应的变更内容，同时需要在资料中体现。\ > 如不涉及，需填写“不涉及”。 ## **5. 测试结果** > 需体现<ins>**测试场景，测试方法以及测试结果**</ins>。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [ ] 代码注释完备 [ ] 正确记录维测日志 [ ] 是否有UT用例 [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-pyMotor!185 | 4 个月前 | |
fix: 并行执行虚拟推理HTTP与AICore采样，并区分AICore不可用与零使用率 Co-authored-by: Jechin<yuzechen1@huawei.com> # message auto-generated for no-merge-commit merge: !321 merge fix/sim-inference-aicore-cycle-and-unavailable into master fix: 并行执行虚拟推理HTTP与AICore采样，并区分AICore不可用与零使用率 Created-by: Jechin Commit-by: Jechin Merged-by: towncharlie Description: ## **1. 合入背景** > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 请通过#ISSUE ID关联issue。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fixes [#203](https://gitcode.com/Ascend/MindIE-PyMotor/issues/203) ## **2. 修改内容** > 请<ins>**描述修改内容的具体实现**</ins>，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。 > 如果是需求或者重构类的PR，需要<ins>**补充详细设计文档**</ins>（说明上下游组件关系、时序图、类图、DFX能力等内容）。 ### 1. aicore.py — npu-smi 命令修正 移除了 npu-smi info watch -s a 的 -d 1 参数。原先带 -d 1 可能指定了 duration/interval，但也许在某些版本的 npu-smi 上导致输出延迟或不兼容。代码通过读取第一行输出后即终止进程，去掉 -d 1 后进程会持续输出，但同样读取首行即 kill，行为一致。 ### 2. sim_inference.py — 核心重构（4 大改动） #### A. 提取 _sample_aicore_usage() 方法 将 AICore 采样逻辑从 worker 线程中提取为独立方法，返回 (max_usage, usage_available) 元组： - **修正了循环条件的 bug**：旧代码 while time.time() < end_time or check_count <= max（or 意味着时间到了还会继续），新代码改为 and，正确地在时间和次数之间做双重上限约束 - 遇到 get_aicore_usage() 报错时立即 break，不再重试整个窗口 #### B. 基于 "代数" (generation) 的协调机制 新增了 3 个 generation 计数器 + 1 个 Event： - _trigger_aicore_sample() — 递增 generation，清空 Event，通知 worker - _read_aicore_sample(generation, sample_finished) — 只在 worker 完成的 generation 与请求的 generation 匹配时才返回结果，**防御了过时数据 (stale data)** 这解决了关键竞态问题：之前的代码在 health_check_loop 中直接读 _max_aicore_usage，没有任何机制保证它来自当前轮次的采样。 #### C. HTTP 请求与 AICore 采样并行执行（最重要的架构改进） **之前（串行）：** 发送虚拟请求 → 等待完成 → 通知 worker 开始采样 → Condition.wait(5s) 阻塞事件循环 → 读取结果 **之后（并行）：** python sim_inference_success, sample_finished = await asyncio.gather( self._send_virtual_request_safe(timeout), # HTTP 请求 asyncio.to_thread( # AICore 采样等待 self._aicore_sample_done.wait, _AICORE_SAMPLE_WINDOW_SEC ), ) - 两个操作同时进行，健康检查周期从 "HTTP时间 + 采样时间" 变为 max(HTTP时间, 采样时间) - 原先在 async 函数中直接调用 threading.Condition.wait() **会阻塞整个 asyncio 事件循环**最多 3 秒，现在通过 asyncio.to_thread 将阻塞操作移到线程池，正确释放事件循环 - 采样等待被限制在 _AICORE_SAMPLE_WINDOW_SEC (5s) 内，超时则标记 sample_finished=False #### D. 区分 "AICore 不可用" 与 "零使用率" 新增 _aicore_usage_available 状态标记： - get_aicore_usage() 成功返回 0% → **可用，使用率为零** - get_aicore_usage() 报错 / 采样超时 → **不可用** 对应的决策逻辑变化： | 场景 | 旧行为 | 新行为 | |---|---|---| | AICore 不可用 + 请求失败 | 会累计失败次数 | **跳过失败计数**（不确定系统真实状态） | | AICore 可用 + 使用率低 + 请求失败 | 累计失败次数 | 累计失败次数（不变） | | AICore 不可用 + 请求成功 | 重置失败计数 | 重置失败计数（合理，系统能正常工作） | ## **3. 资料变更** > 请确认<ins>**是否涉及资料变更**</ins>。\ > 如涉及，需要在PR中体现，并简要说明修改内容。\ > 如不涉及，需填写“不涉及”。 不涉及 ## **4. 接口变更** > 请确认<ins>**是否涉及跨代码仓或者客户面可见的接口变更**</ins>。\ > 如涉及，需详细说明接口以及对应的变更内容，同时需要在资料中体现。\ > 如不涉及，需填写“不涉及”。 不涉及 ## **5. 测试结果** > 需体现<ins>**测试场景，测试方法以及测试结果**</ins>。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!321 | 5 天前 | |
MOTOR与客户端断链后，支持后端引擎释放对应堆积请求 Co-authored-by: tobking<wangjun292@huawei.com> # message auto-generated for no-merge-commit merge: !194 merge br-vllm-native-cancel into master MOTOR与客户端断链后，支持后端引擎释放对应堆积请求 Created-by: tobking Commit-by: tobking Merged-by: towncharlie Description: ## **1. 合入背景** > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 请通过#ISSUE ID关联issue。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. [#144](https://gitcode.com/Ascend/MindIE-PyMotor/issues/144) ## **2. 修改内容** > 请<ins>**描述修改内容的具体实现**</ins>，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。 > 如果是需求或者重构类的PR，需要<ins>**补充详细设计文档**</ins>（说明上下游组件关系、时序图、类图、DFX能力等内容）。 engine server在检测到与coordinator链接断链后，清理该链接对应请求 ## **3. 资料变更** > 请确认<ins>**是否涉及资料变更**</ins>。\ > 如涉及，需要在PR中体现，并简要说明修改内容。\ > 如不涉及，需填写“不涉及”。 不涉及 ## **4. 接口变更** > 请确认<ins>**是否涉及跨代码仓或者客户面可见的接口变更**</ins>。\ > 如涉及，需详细说明接口以及对应的变更内容，同时需要在资料中体现。\ > 如不涉及，需填写“不涉及”。 不涉及 ## **5. 测试结果** > 需体现<ins>**测试场景，测试方法以及测试结果**</ins>。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!194 | 25 天前 | |
[feature] Motor适配容器快恢, 支持混部/大EP场景 Co-authored-by: lbr711<liuboru1@huawei.com> # message auto-generated for no-merge-commit merge: !108 merge snapshot_engine_server into master [feature] Motor适配容器快恢, 支持混部/大EP场景 Created-by: lbr711 Commit-by: lbr711 Merged-by: towncharlie Description: ## **1. 合入背景** Motor适配容器快恢, 支持混部/大EP场景 Fixes #77 ## **2. 修改内容** 1. pymotor支持配置容器快照功能（开关默认关） 2. 配置容器快照时，容器内服务ready后engineserver自动调用engine suspend(device侧快照保存/保存运行时权重)，接着容器进入稳态点 3. 可通过pod readiness探针探测是否进入稳态点 4. 容器从快照恢复后，nodemanager以新身份向controller注册，engineserver自动调用engine resume(device侧快照恢复/重建进程组/重建通信域/重新加载运行时权重/重捕获图), 接着容器进入可服务状态 ## **3. 资料变更** 不涉及 ## **4. 接口变更** 业务面新增接口： /suspend /resume ## **5. 测试结果** > 需体现<ins>**测试场景，测试方法以及测试结果**</ins>。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [ ] 代码注释完备 [ ] 正确记录维测日志 [ ] 是否有UT用例 [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!108 | 18 天前 | |
重新提交【EngineServer】新apiServer支持多引擎EndPoint归一 Co-authored-by: xushuhuan<xushuhuan1@huawei.com> # message auto-generated for no-merge-commit merge: !295 merge new_apiServer into master 重新提交【EngineServer】新apiServer支持多引擎EndPoint归一 Created-by: xushuhuan Commit-by: xushuhuan Merged-by: ascend-robot Description: ## **1. 合入背景** > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 请通过#ISSUE ID关联issue。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. ## **2. 修改内容** > 请<ins>**描述修改内容的具体实现**</ins>，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。 > 如果是需求或者重构类的PR，需要<ins>**补充详细设计文档**</ins>（说明上下游组件关系、时序图、类图、DFX能力等内容）。 ## **3. 资料变更** > 请确认<ins>**是否涉及资料变更**</ins>。\ > 如涉及，需要在PR中体现，并简要说明修改内容。\ > 如不涉及，需填写“不涉及”。 ## **4. 接口变更** > 请确认<ins>**是否涉及跨代码仓或者客户面可见的接口变更**</ins>。\ > 如涉及，需详细说明接口以及对应的变更内容，同时需要在资料中体现。\ > 如不涉及，需填写“不涉及”。 ## **5. 测试结果** > 需体现<ins>**测试场景，测试方法以及测试结果**</ins>。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-pyMotor-private!295 | 3 个月前 | |
update license Co-authored-by: y1lou<louyi6@huawei.com> # message auto-generated for no-merge-commit merge: !185 merge update_license into master update license Created-by: y1lou Commit-by: y1lou Merged-by: ascend-robot Description: ## **1. 合入背景** > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 请通过#ISSUE ID关联issue。\ > 注意： Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. ## **2. 修改内容** > 请<ins>**描述修改内容的具体实现**</ins>，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。 > 如果是需求或者重构类的PR，需要<ins>**补充详细设计文档**</ins>（说明上下游组件关系、时序图、类图、DFX能力等内容）。 ## **3. 资料变更** > 请确认<ins>**是否涉及资料变更**</ins>。\ > 如涉及，需要在PR中体现，并简要说明修改内容。\ > 如不涉及，需填写“不涉及”。 ## **4. 接口变更** > 请确认<ins>**是否涉及跨代码仓或者客户面可见的接口变更**</ins>。\ > 如涉及，需详细说明接口以及对应的变更内容，同时需要在资料中体现。\ > 如不涉及，需填写“不涉及”。 ## **5. 测试结果** > 需体现<ins>**测试场景，测试方法以及测试结果**</ins>。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [ ] 代码注释完备 [ ] 正确记录维测日志 [ ] 是否有UT用例 [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-pyMotor!185 | 4 个月前 |
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 7 个月前 | ||
| 4 个月前 | ||
| 5 天前 | ||
| 25 天前 | ||
| 18 天前 | ||
| 3 个月前 | ||
| 4 个月前 |