master

towncharlie[fix] 补丁增加对 vllm 0.23.0 的支持

b36ea935创建于 4 小时前历史提交

文件	最后提交记录	最后更新时间
openai	[fix] 补丁增加对 vllm 0.23.0 的支持 Co-authored-by: c00951058<chenchaofeng5@huawei.com> # message auto-generated for no-merge-commit merge: !364 merge c00951058 into master [fix] 补丁增加对 vllm 0.23.0 的支持 Created-by: qq_40172610 Commit-by: c00951058 Merged-by: towncharlie Description: ## **1. 合入背景** Motor 在 vLLM 0.23.0 环境下启动 engine_server 时，会因 vLLM 重构 entrypoints 模块路径而报 ModuleNotFoundError，导致推理服务无法正常拉起。本次合入用于补齐对 vLLM 0.23.0 的兼容支持，修复相关导入错误。 ## **2. 修改内容** 在 vllm_openai_compat.py 中集中增加 RequestLogger、process_lora_modules、cli_env_setup 的兼容导入：优先使用 vLLM 0.23.0 新路径，导入失败时回退到旧路径。 同时调整 vllm_endpoint.py、vllm_engine.py、serving_chat.py、serving_completion.py，将上述符号的导入统一改为从 vllm_openai_compat 获取，避免业务代码直接依赖已变更的 vLLM 模块路径。共修改 5 个文件。 ## **3. 资料变更** 不涉及 ## **4. 接口变更** 不涉及 ## **5. 测试结果** p节点，拉起时间约8分钟  d节点，拉起时间约8分钟   ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!364	4 小时前
__init__.py	【fix】修复engine server kv_transfer_config错误问题 Co-authored-by: 吕有辉<lvyouhui@huawei.com> # message auto-generated for no-merge-commit merge: !298 merge fix_engine_server_bug into master 【fix】修复engine server kv_transfer_config错误问题 Created-by: codeDogPro Commit-by: 吕有辉 Merged-by: ascend-robot Description: ## **1. 合入背景** 修复问题单bug ## **2. 修改内容** 1、删除冗余代码 2、修复错误配置kv_transfer_extra_config ## **3. 资料变更** 涉及 ## **4. 接口变更** 不涉及 ## **5. 测试结果** 自验证ok ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-pyMotor-private!298	3 个月前
vllm_config.py	feat(IPv6): A3 单栈 PD 推理 Co-authored-by: LinWei100<linwei100@huawei.com> # message auto-generated for no-merge-commit merge: !330 merge feat/a3-ipv6-pd-inference into master feat(IPv6): A3 单栈 PD 推理 Created-by: LinWei100 Commit-by: LinWei100 Merged-by: towncharlie Description: ## **1. 合入背景** > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 请通过#ISSUE ID关联issue。\ > 注意：Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. ## **2. 修改内容** > 请<ins>**描述修改内容的具体实现**</ins>，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。 > 如果是需求或者重构类的PR，需要<ins>**补充详细设计文档**</ins>（说明上下游组件关系、时序图、类图、DFX能力等内容）。 ## **3. 资料变更** > 请确认<ins>**是否涉及资料变更**</ins>。\ > 如涉及，需要在PR中体现，并简要说明修改内容。\ > 如不涉及，需填写“不涉及”。 ## **4. 接口变更** > 请确认<ins>**是否涉及跨代码仓或者客户面可见的接口变更**</ins>。\ > 如涉及，需详细说明接口以及对应的变更内容，同时需要在资料中体现。\ > 如不涉及，需填写“不涉及”。 ## **5. 测试结果** > 需体现<ins>**测试场景，测试方法以及测试结果**</ins>。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [ ] 代码注释完备 [ ] 正确记录维测日志 [ ] 是否有UT用例 [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!330	5 天前
vllm_endpoint.py	[fix] 补丁增加对 vllm 0.23.0 的支持 Co-authored-by: c00951058<chenchaofeng5@huawei.com> # message auto-generated for no-merge-commit merge: !364 merge c00951058 into master [fix] 补丁增加对 vllm 0.23.0 的支持 Created-by: qq_40172610 Commit-by: c00951058 Merged-by: towncharlie Description: ## **1. 合入背景** Motor 在 vLLM 0.23.0 环境下启动 engine_server 时，会因 vLLM 重构 entrypoints 模块路径而报 ModuleNotFoundError，导致推理服务无法正常拉起。本次合入用于补齐对 vLLM 0.23.0 的兼容支持，修复相关导入错误。 ## **2. 修改内容** 在 vllm_openai_compat.py 中集中增加 RequestLogger、process_lora_modules、cli_env_setup 的兼容导入：优先使用 vLLM 0.23.0 新路径，导入失败时回退到旧路径。 同时调整 vllm_endpoint.py、vllm_engine.py、serving_chat.py、serving_completion.py，将上述符号的导入统一改为从 vllm_openai_compat 获取，避免业务代码直接依赖已变更的 vLLM 模块路径。共修改 5 个文件。 ## **3. 资料变更** 不涉及 ## **4. 接口变更** 不涉及 ## **5. 测试结果** p节点，拉起时间约8分钟  d节点，拉起时间约8分钟   ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!364	4 小时前
vllm_engine.py	[fix] 补丁增加对 vllm 0.23.0 的支持 Co-authored-by: c00951058<chenchaofeng5@huawei.com> # message auto-generated for no-merge-commit merge: !364 merge c00951058 into master [fix] 补丁增加对 vllm 0.23.0 的支持 Created-by: qq_40172610 Commit-by: c00951058 Merged-by: towncharlie Description: ## **1. 合入背景** Motor 在 vLLM 0.23.0 环境下启动 engine_server 时，会因 vLLM 重构 entrypoints 模块路径而报 ModuleNotFoundError，导致推理服务无法正常拉起。本次合入用于补齐对 vLLM 0.23.0 的兼容支持，修复相关导入错误。 ## **2. 修改内容** 在 vllm_openai_compat.py 中集中增加 RequestLogger、process_lora_modules、cli_env_setup 的兼容导入：优先使用 vLLM 0.23.0 新路径，导入失败时回退到旧路径。 同时调整 vllm_endpoint.py、vllm_engine.py、serving_chat.py、serving_completion.py，将上述符号的导入统一改为从 vllm_openai_compat 获取，避免业务代码直接依赖已变更的 vLLM 模块路径。共修改 5 个文件。 ## **3. 资料变更** 不涉及 ## **4. 接口变更** 不涉及 ## **5. 测试结果** p节点，拉起时间约8分钟  d节点，拉起时间约8分钟   ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!364	4 小时前
vllm_openai_compat.py	[fix] 补丁增加对 vllm 0.23.0 的支持 Co-authored-by: c00951058<chenchaofeng5@huawei.com> # message auto-generated for no-merge-commit merge: !364 merge c00951058 into master [fix] 补丁增加对 vllm 0.23.0 的支持 Created-by: qq_40172610 Commit-by: c00951058 Merged-by: towncharlie Description: ## **1. 合入背景** Motor 在 vLLM 0.23.0 环境下启动 engine_server 时，会因 vLLM 重构 entrypoints 模块路径而报 ModuleNotFoundError，导致推理服务无法正常拉起。本次合入用于补齐对 vLLM 0.23.0 的兼容支持，修复相关导入错误。 ## **2. 修改内容** 在 vllm_openai_compat.py 中集中增加 RequestLogger、process_lora_modules、cli_env_setup 的兼容导入：优先使用 vLLM 0.23.0 新路径，导入失败时回退到旧路径。 同时调整 vllm_endpoint.py、vllm_engine.py、serving_chat.py、serving_completion.py，将上述符号的导入统一改为从 vllm_openai_compat 获取，避免业务代码直接依赖已变更的 vLLM 模块路径。共修改 5 个文件。 ## **3. 资料变更** 不涉及 ## **4. 接口变更** 不涉及 ## **5. 测试结果** p节点，拉起时间约8分钟  d节点，拉起时间约8分钟   ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!364	4 小时前