master

towncharlie[fix] 补丁增加对 vllm 0.22.1 的支持

1d705ad9创建于 4 天前历史提交

文件	最后提交记录	最后更新时间
vllm_shuffle_default_loader.patch	[fix] 补丁增加对 vllm 0.22.1 的支持 Co-authored-by: c00951058<chenchaofeng5@huawei.com> # message auto-generated for no-merge-commit merge: !345 merge c00951058 into master [fix] 补丁增加对 vllm 0.22.1 的支持 Created-by: qq_40172610 Commit-by: c00951058 Merged-by: towncharlie Description: ## **1. 合入背景** B071 镜像（mindie-motor-vllm:dev-26.1.0.B071-...）已将 vLLM 升级至 0.22.1。引擎启动时会通过 patch_apply_shuffle_safetensors.py 对 vLLM 源码打 shuffle safetensors 补丁，用于多卡场景下随机化 safetensors 权重文件加载顺序，缓解 I/O 争抢、提升启动速度。本次合入在保持向后兼容的前提下，完成多版本 patch 目录化改造，并新增 0.22.1 适配。 ## **2. 修改内容** 2.1 新增 vLLM 0.22.1 补丁文件，在 examples/deployer/patch/0.22.1/ 下新增 3 个 patch。 2.2 重构 patch 目录结构，支持按版本路由，将原 patch/ 根目录下的 3 个 patch 文件按版本拆分到子目录。 2.3 更新补丁应用脚本，修改 examples/deployer/patch/patch_apply_shuffle_safetensors.py。 ## **3. 资料变更** 不涉及 ## **4. 接口变更** 不涉及 ## **5. 测试结果** 清理缓存：sync && echo 3 | tee /proc/sys/vm/drop_caches 重新拉起服务，测试p/d拉起时长，着重关注权重加载时长。 **p拉起时长约6分钟：**  DeepSeek V3.1 (Worker_DP1_TP0_EP8 pid=963) INFO 06-25 12:19:12 [default_loader.py:400] Loading weights took 152.01 seconds (Worker_DP0_TP0_EP0 pid=962) INFO 06-25 12:19:20 [default_loader.py:400] Loading weights took 161.25 seconds MTP 投机解码 (Worker_DP1_TP0_EP8 pid=963) INFO 06-25 12:19:31 [default_loader.py:400] Loading weights took 7.21 seconds (Worker_DP0_TP0_EP0 pid=962) INFO 06-25 12:19:35 [default_loader.py:400] Loading weights took 6.65 seconds **d拉起时长约6分钟：**  DeepSeek V3.1 (Worker_DP15_EP15 pid=2884) INFO 06-25 12:18:50 [default_loader.py:400] Loading weights took 144.72 seconds ... 省略中间14个。 (Worker_DP0_EP0 pid=2834) INFO 06-25 12:19:13 [default_loader.py:400] Loading weights took 167.43 seconds MTP 投机解码 (Worker_DP2_EP2 pid=2868) INFO 06-25 12:19:27 [default_loader.py:400] Loading weights took 7.91 seconds ...省略中间14个。 (Worker_DP0_EP0 pid=2834) INFO 06-25 12:19:32 [default_loader.py:400] Loading weights took 7.00 seconds ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!345	4 天前
vllm_shuffle_load_config.patch	[fix] 补丁增加对 vllm 0.22.1 的支持 Co-authored-by: c00951058<chenchaofeng5@huawei.com> # message auto-generated for no-merge-commit merge: !345 merge c00951058 into master [fix] 补丁增加对 vllm 0.22.1 的支持 Created-by: qq_40172610 Commit-by: c00951058 Merged-by: towncharlie Description: ## **1. 合入背景** B071 镜像（mindie-motor-vllm:dev-26.1.0.B071-...）已将 vLLM 升级至 0.22.1。引擎启动时会通过 patch_apply_shuffle_safetensors.py 对 vLLM 源码打 shuffle safetensors 补丁，用于多卡场景下随机化 safetensors 权重文件加载顺序，缓解 I/O 争抢、提升启动速度。本次合入在保持向后兼容的前提下，完成多版本 patch 目录化改造，并新增 0.22.1 适配。 ## **2. 修改内容** 2.1 新增 vLLM 0.22.1 补丁文件，在 examples/deployer/patch/0.22.1/ 下新增 3 个 patch。 2.2 重构 patch 目录结构，支持按版本路由，将原 patch/ 根目录下的 3 个 patch 文件按版本拆分到子目录。 2.3 更新补丁应用脚本，修改 examples/deployer/patch/patch_apply_shuffle_safetensors.py。 ## **3. 资料变更** 不涉及 ## **4. 接口变更** 不涉及 ## **5. 测试结果** 清理缓存：sync && echo 3 | tee /proc/sys/vm/drop_caches 重新拉起服务，测试p/d拉起时长，着重关注权重加载时长。 **p拉起时长约6分钟：**  DeepSeek V3.1 (Worker_DP1_TP0_EP8 pid=963) INFO 06-25 12:19:12 [default_loader.py:400] Loading weights took 152.01 seconds (Worker_DP0_TP0_EP0 pid=962) INFO 06-25 12:19:20 [default_loader.py:400] Loading weights took 161.25 seconds MTP 投机解码 (Worker_DP1_TP0_EP8 pid=963) INFO 06-25 12:19:31 [default_loader.py:400] Loading weights took 7.21 seconds (Worker_DP0_TP0_EP0 pid=962) INFO 06-25 12:19:35 [default_loader.py:400] Loading weights took 6.65 seconds **d拉起时长约6分钟：**  DeepSeek V3.1 (Worker_DP15_EP15 pid=2884) INFO 06-25 12:18:50 [default_loader.py:400] Loading weights took 144.72 seconds ... 省略中间14个。 (Worker_DP0_EP0 pid=2834) INFO 06-25 12:19:13 [default_loader.py:400] Loading weights took 167.43 seconds MTP 投机解码 (Worker_DP2_EP2 pid=2868) INFO 06-25 12:19:27 [default_loader.py:400] Loading weights took 7.91 seconds ...省略中间14个。 (Worker_DP0_EP0 pid=2834) INFO 06-25 12:19:32 [default_loader.py:400] Loading weights took 7.00 seconds ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!345	4 天前
vllm_shuffle_weight_utils.patch	[fix] 补丁增加对 vllm 0.22.1 的支持 Co-authored-by: c00951058<chenchaofeng5@huawei.com> # message auto-generated for no-merge-commit merge: !345 merge c00951058 into master [fix] 补丁增加对 vllm 0.22.1 的支持 Created-by: qq_40172610 Commit-by: c00951058 Merged-by: towncharlie Description: ## **1. 合入背景** B071 镜像（mindie-motor-vllm:dev-26.1.0.B071-...）已将 vLLM 升级至 0.22.1。引擎启动时会通过 patch_apply_shuffle_safetensors.py 对 vLLM 源码打 shuffle safetensors 补丁，用于多卡场景下随机化 safetensors 权重文件加载顺序，缓解 I/O 争抢、提升启动速度。本次合入在保持向后兼容的前提下，完成多版本 patch 目录化改造，并新增 0.22.1 适配。 ## **2. 修改内容** 2.1 新增 vLLM 0.22.1 补丁文件，在 examples/deployer/patch/0.22.1/ 下新增 3 个 patch。 2.2 重构 patch 目录结构，支持按版本路由，将原 patch/ 根目录下的 3 个 patch 文件按版本拆分到子目录。 2.3 更新补丁应用脚本，修改 examples/deployer/patch/patch_apply_shuffle_safetensors.py。 ## **3. 资料变更** 不涉及 ## **4. 接口变更** 不涉及 ## **5. 测试结果** 清理缓存：sync && echo 3 | tee /proc/sys/vm/drop_caches 重新拉起服务，测试p/d拉起时长，着重关注权重加载时长。 **p拉起时长约6分钟：**  DeepSeek V3.1 (Worker_DP1_TP0_EP8 pid=963) INFO 06-25 12:19:12 [default_loader.py:400] Loading weights took 152.01 seconds (Worker_DP0_TP0_EP0 pid=962) INFO 06-25 12:19:20 [default_loader.py:400] Loading weights took 161.25 seconds MTP 投机解码 (Worker_DP1_TP0_EP8 pid=963) INFO 06-25 12:19:31 [default_loader.py:400] Loading weights took 7.21 seconds (Worker_DP0_TP0_EP0 pid=962) INFO 06-25 12:19:35 [default_loader.py:400] Loading weights took 6.65 seconds **d拉起时长约6分钟：**  DeepSeek V3.1 (Worker_DP15_EP15 pid=2884) INFO 06-25 12:18:50 [default_loader.py:400] Loading weights took 144.72 seconds ... 省略中间14个。 (Worker_DP0_EP0 pid=2834) INFO 06-25 12:19:13 [default_loader.py:400] Loading weights took 167.43 seconds MTP 投机解码 (Worker_DP2_EP2 pid=2868) INFO 06-25 12:19:27 [default_loader.py:400] Loading weights took 7.91 seconds ...省略中间14个。 (Worker_DP0_EP0 pid=2834) INFO 06-25 12:19:32 [default_loader.py:400] Loading weights took 7.00 seconds ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!345	4 天前