| [Feature] 增加云原生部署器 Co-authored-by: sceneryback<afterbreeze@hotmail.com> # message auto-generated for no-merge-commit merge: !67 merge feature/add-deployer into master [Feature] 增加云原生部署器 Created-by: gcw_gxG14I7x Commit-by: sceneryback Merged-by: zhoujing101 Description: ## **1. 合入背景** 本次改动提供一套面向 examples/deployer/deploy.py 的云原生部署方式。它的目标是让部署过程不再依赖人工登录宿主机,也不依赖宿主机上的本地配置文件,而是能够被云平台直接触发。来自真实的云厂商部署需求,在内部平台已验证。 项目原始部署方式默认由运维人员登录某个 Kubernetes 节点,手工执行 examples/deployer/deploy.py,并从本地目录读取配置文件。 这种方式适合开发调试和人工验证,但在云平台场景下会遇到明显问题: * 集群通常是多租户的,同一集群内会并行部署多个推理服务,并通过 namespace 做隔离。 * 云平台用户不应被要求拥有节点登录权限。 * 部署请求通常来自平台控制面或 API,而不是人工在宿主机执行脚本。 * 交付物应该是容器镜像和 Kubernetes 清单,而不是依赖宿主机本地状态。 * 扩缩容、清理等动作也应该被表达为 Kubernetes Job,便于平台统一审计、重试和观测。 因此,这里把现有的部署逻辑封装成了适合容器执行的形式。对云平台而言,只需要两步: 1. 准备一个包含 user_config.json 和 env.json 的 ConfigMap。 2. 创建对应的 deploy / scale / cleanup Job。 底层真正执行部署的仍然是现有的 examples/deployer/deploy.py,这样可以保持与当前人工部署行为一致,同时把入口改造成云原生形态。示意如图:  Fixes https://gitcode.com/Ascend/MindIE-PyMotor/issues/345 ## **2. 修改内容** 本次仅涉及 deployer 部分。 1. 新增 examples/cloud_native_deploy 云原生部署目录,补齐 deployer 镜像 Dockerfile、deploy/scale/cleanup 入口脚本,以及对应的 Kubernetes Job、RBAC 和配置清单;同时将 user_config.json 与 env.json 统一封装进同一个 ConfigMap,并在 Job 中映射为容器内配置文件,使云平台可以通过 “ConfigMap + Job” 方式直接触发部署、扩缩容和清理,而不再依赖人工登录宿主机。 2. 在 user_config.json 中新增 scheduling_queue、coordinator_service_name、prefill_node_selector 和 decode_node_selector 等配置 3. 调整云原生 cleanup 逻辑,使用独立 cleanup.sh 按 namespace 清理集群资源,而不是依赖宿主机上的 output_yamls 4. 修正多服务并存时的 RBAC 冲突问题:保留共享的 ClusterRole,将生成出来的 ClusterRoleBinding 改为按 namespace 唯一化,并让 cleanup 只删除当前 namespace 对应的 binding,不再删除共享的 ClusterRole 5. 新增根目录 Makefile,统一提供 wheel 构建、云原生 deployer 镜像本地构建和 buildx 多架构推送入口,默认镜像仓库为 Docker Hub(在另一个 PR 提交)。 6. 新增 helm 部署,通过 helm install 一键部署,更符合云原生组件的部署规范 ## **3. 资料变更** 涉及部署方式变更,已描述 ## **4. 接口变更** 涉及 user_config.json 变更 ## **5. 测试结果** > 需体现<ins>**测试场景,测试方法以及测试结果**</ins>。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检,自检通过或不涉及,均修改 [ ] 为 [x] [ ] 代码注释完备 [ ] 正确记录维测日志 [ ] 是否有UT用例 [ ] 若涉及多线程场景,考虑了并发场景,不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!67 | 14 天前 |