master

towncharlie[fix] 补丁增加对 vllm 0.21.0 的支持

7e3d8fe8创建于 6 天前历史提交

文件	最后提交记录	最后更新时间
vllm_shuffle_default_loader.patch	[fix] 补丁增加对 vllm 0.21.0 的支持 Co-authored-by: c00951058<chenchaofeng5@huawei.com> # message auto-generated for no-merge-commit merge: !322 merge c00951058 into master [fix] 补丁增加对 vllm 0.21.0 的支持 Created-by: qq_40172610 Commit-by: c00951058 Merged-by: towncharlie Description: ## **1. 合入背景** B060 镜像（mindie-motor-vllm:dev-26.1.0.B060-...）已将 vLLM 升级至 0.21.0。前序 PR !284 引入了 safetensors 加载 shuffle 优化，但补丁仅适配 vLLM 0.20.2，在 0.21.0 环境下会被 should_apply_patch() 跳过，shuffle 能力无法生效。 本 PR 在前序 shuffle 补丁机制基础上，扩展对 vLLM 0.21.0 的支持，使 B060 镜像无需重打即可恢复 shuffle 优化能力。 ## **2. 修改内容** 1. 扩展 patch_apply_shuffle_safetensors.py 版本适配逻辑 将 TARGET_VLLM_VERSION = "0.20.2" 扩展为 TARGET_VLLM_VERSIONS = ("0.20.2", "0.21.0")。 按已安装 vLLM 版本动态选择补丁目录：patch/{version}/（如 patch/0.21.0/），实现多版本共存。 保留幂等检测：已 patch 或目标文件已含 shuffle_safetensors_files 且语法有效时跳过。 补丁文件按版本目录重组 2. 原 patch/vllm_shuffle_*.patch 迁移至 patch/0.20.2/。 新增 patch/0.21.0/ 下 3 个补丁，适配 vLLM 0.21.0 源码差异： vllm_shuffle_load_config.patch → config/load.py：新增 LoadConfig.shuffle_safetensors_files: bool = True vllm_shuffle_default_loader.patch → default_loader.py：将配置传入权重加载函数（0.21.0 调用链含 safetensors_prefetch_block_size 等参数，上下文与 0.20.2 不同） vllm_shuffle_weight_utils.patch → weight_utils.py：按 rank 确定性 shuffle 文件列表（random.Random(42 + rank)），分散各 rank 的 I/O 顺序 ## **3. 资料变更** 不涉及 ## **4. 接口变更** 不涉及 ## **5. 测试结果** d拉起时间约5min  p拉起时间约7min  ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!322	6 天前
vllm_shuffle_load_config.patch	[fix] 补丁增加对 vllm 0.21.0 的支持 Co-authored-by: c00951058<chenchaofeng5@huawei.com> # message auto-generated for no-merge-commit merge: !322 merge c00951058 into master [fix] 补丁增加对 vllm 0.21.0 的支持 Created-by: qq_40172610 Commit-by: c00951058 Merged-by: towncharlie Description: ## **1. 合入背景** B060 镜像（mindie-motor-vllm:dev-26.1.0.B060-...）已将 vLLM 升级至 0.21.0。前序 PR !284 引入了 safetensors 加载 shuffle 优化，但补丁仅适配 vLLM 0.20.2，在 0.21.0 环境下会被 should_apply_patch() 跳过，shuffle 能力无法生效。 本 PR 在前序 shuffle 补丁机制基础上，扩展对 vLLM 0.21.0 的支持，使 B060 镜像无需重打即可恢复 shuffle 优化能力。 ## **2. 修改内容** 1. 扩展 patch_apply_shuffle_safetensors.py 版本适配逻辑 将 TARGET_VLLM_VERSION = "0.20.2" 扩展为 TARGET_VLLM_VERSIONS = ("0.20.2", "0.21.0")。 按已安装 vLLM 版本动态选择补丁目录：patch/{version}/（如 patch/0.21.0/），实现多版本共存。 保留幂等检测：已 patch 或目标文件已含 shuffle_safetensors_files 且语法有效时跳过。 补丁文件按版本目录重组 2. 原 patch/vllm_shuffle_*.patch 迁移至 patch/0.20.2/。 新增 patch/0.21.0/ 下 3 个补丁，适配 vLLM 0.21.0 源码差异： vllm_shuffle_load_config.patch → config/load.py：新增 LoadConfig.shuffle_safetensors_files: bool = True vllm_shuffle_default_loader.patch → default_loader.py：将配置传入权重加载函数（0.21.0 调用链含 safetensors_prefetch_block_size 等参数，上下文与 0.20.2 不同） vllm_shuffle_weight_utils.patch → weight_utils.py：按 rank 确定性 shuffle 文件列表（random.Random(42 + rank)），分散各 rank 的 I/O 顺序 ## **3. 资料变更** 不涉及 ## **4. 接口变更** 不涉及 ## **5. 测试结果** d拉起时间约5min  p拉起时间约7min  ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!322	6 天前
vllm_shuffle_weight_utils.patch	[fix] 补丁增加对 vllm 0.21.0 的支持 Co-authored-by: c00951058<chenchaofeng5@huawei.com> # message auto-generated for no-merge-commit merge: !322 merge c00951058 into master [fix] 补丁增加对 vllm 0.21.0 的支持 Created-by: qq_40172610 Commit-by: c00951058 Merged-by: towncharlie Description: ## **1. 合入背景** B060 镜像（mindie-motor-vllm:dev-26.1.0.B060-...）已将 vLLM 升级至 0.21.0。前序 PR !284 引入了 safetensors 加载 shuffle 优化，但补丁仅适配 vLLM 0.20.2，在 0.21.0 环境下会被 should_apply_patch() 跳过，shuffle 能力无法生效。 本 PR 在前序 shuffle 补丁机制基础上，扩展对 vLLM 0.21.0 的支持，使 B060 镜像无需重打即可恢复 shuffle 优化能力。 ## **2. 修改内容** 1. 扩展 patch_apply_shuffle_safetensors.py 版本适配逻辑 将 TARGET_VLLM_VERSION = "0.20.2" 扩展为 TARGET_VLLM_VERSIONS = ("0.20.2", "0.21.0")。 按已安装 vLLM 版本动态选择补丁目录：patch/{version}/（如 patch/0.21.0/），实现多版本共存。 保留幂等检测：已 patch 或目标文件已含 shuffle_safetensors_files 且语法有效时跳过。 补丁文件按版本目录重组 2. 原 patch/vllm_shuffle_*.patch 迁移至 patch/0.20.2/。 新增 patch/0.21.0/ 下 3 个补丁，适配 vLLM 0.21.0 源码差异： vllm_shuffle_load_config.patch → config/load.py：新增 LoadConfig.shuffle_safetensors_files: bool = True vllm_shuffle_default_loader.patch → default_loader.py：将配置传入权重加载函数（0.21.0 调用链含 safetensors_prefetch_block_size 等参数，上下文与 0.20.2 不同） vllm_shuffle_weight_utils.patch → weight_utils.py：按 rank 确定性 shuffle 文件列表（random.Random(42 + rank)），分散各 rank 的 I/O 顺序 ## **3. 资料变更** 不涉及 ## **4. 接口变更** 不涉及 ## **5. 测试结果** d拉起时间约5min  p拉起时间约7min  ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!322	6 天前