| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
feat: add Dockerfile for CI env Co-authored-by: zhangxubin<zhangxubin3@h-partners.com> # message auto-generated for no-merge-commit merge: !2797 merge master into master feat: add Dockerfile for CI env Created-by: MoCuishle-M Commit-by: zhangxubin Merged-by: ascend-robot Description: ## What this PR does / why we need it? 本 PR 为 MindSpeed-MM 新增 CI 多版本镜像构建能力，并同步调整了镜像 Tag 命名规范、文档文字表达（torch_npu变更为TorchNPU）。 一、新增文件 1. ci/build_ci_envs.sh（新增） CI 镜像构建入口脚本，调用 docker/build.sh 并以 --build-ci 参数构建基于 CANN<版本> / torch_npu 2.7.1.<版本> / MindSpeed-MM <版本> 的 CI 镜像。 2. ci/mm_ci_trigger.sh（新增） PR 流水线云端测试触发脚本，负责：初始化 NPU/conda 环境、导出 PR 修改文件列表、按分支拉取 Megatron-LM（core_v0.12.1）与 MindSpeed、安装 MindSpeed-MM，并执行 access_control_test.py 进行 UT/ST 测试，结束后清理临时仓库。 3. docker/scripts/ci/build_ci_envs.py（新增） Python 脚本，读取 ci_versions.json，为每个 CI 版本从 base 环境克隆出独立 conda 环境（ci_<版本>），浅克隆对应分支代码，解析 pyproject.toml 安装基础依赖及 JSON 中指定的额外依赖（如指定版本 torch_npu）。 4. docker/scripts/ci/ci_versions.json（新增） CI 版本配置文件，定义 ci_26.0.0、ci_26.1.0、ci_master 三个环境及其各自 torch_npu等自定义依赖。 二、修改文件 5. docker/Dockerfile - 新增 BUILD_CI 构建参数，支持两种构建目标： - BUILD_CI=false（默认）：开发镜像，安装 verl_qwen3vl 并克隆 MindSpeed-MM 仓库。 - BUILD_CI=true：CI 镜像，跳过 verl 与仓库克隆，改为运行 build_ci_envs.py 创建多版本 conda 环境，并预下载 transformers（commit 7a833d1）和 Megatron-LM（core_v0.12.1）到 /workspace。 - 新增 FINAL_WORKDIR 参数，CI 模式工作目录为 /workspace，开发模式为 /workspace/MindSpeed-MM。 - 对原有各步骤补充了详细英文注释。 6. docker/build.sh - 新增 --build-ci 参数（构建 CI 多版本镜像）和 --tag 参数（自定义镜像 tag）。 - 新增基础镜像 CANN 版本自动识别逻辑（DETECTED_CANN_VERSION）。 - 镜像 Tag 命名规范变更： - 旧：{version}-{chip}-{os}-py{py_ver}-{arch} - 新：v{version}-cann{cann_ver}-torch_npu{torch_npu_ver}-{chip}-{os}-py{py_ver}-{arch}[-ci] - CI 构建时自动在 tag 末尾追加 -ci，并传入 BUILD_CI 与 FINAL_WORKDIR 构建参数。 7. docker/OVERVIEW.md / docker/OVERVIEW.zh.md（中英文文档同步更新） - 更新镜像 Tag 字段说明表，新增 CANN 版本、torch_npu 版本、其他字段（ci）等必选/可选字段说明及示例。 - 删除固定的「软件栈」版本表（因其随版本变化）。 - 文档中所有示例镜像名同步更新为新命名格式。 - torch_npu更改名字成TorchNPU 8. docker/scripts/ci/build_ci_envs.py - 华为云链接失效，换成清华的。 三、核心影响 - 镜像 Tag 命名 breaking change：所有镜像 tag 新增 cann 与 torch_npu 版本字段，旧 tag 不再适用。 - 新增 CI 镜像构建链路，使 PR 流水线可在云端复用预置多版本 conda 环境与预下载依赖，提升测试稳定性与效率。 ## Does this PR introduce any user-facing change? 当整个PR流水线整改完之后会在相应的文档中说明如何构建CI环境 ## How was this patch tested? / See merge request: Ascend/MindSpeed-MM!2797 | 9 天前 | |
feat: add Dockerfile for CI env Co-authored-by: zhangxubin<zhangxubin3@h-partners.com> # message auto-generated for no-merge-commit merge: !2797 merge master into master feat: add Dockerfile for CI env Created-by: MoCuishle-M Commit-by: zhangxubin Merged-by: ascend-robot Description: ## What this PR does / why we need it? 本 PR 为 MindSpeed-MM 新增 CI 多版本镜像构建能力，并同步调整了镜像 Tag 命名规范、文档文字表达（torch_npu变更为TorchNPU）。 一、新增文件 1. ci/build_ci_envs.sh（新增） CI 镜像构建入口脚本，调用 docker/build.sh 并以 --build-ci 参数构建基于 CANN<版本> / torch_npu 2.7.1.<版本> / MindSpeed-MM <版本> 的 CI 镜像。 2. ci/mm_ci_trigger.sh（新增） PR 流水线云端测试触发脚本，负责：初始化 NPU/conda 环境、导出 PR 修改文件列表、按分支拉取 Megatron-LM（core_v0.12.1）与 MindSpeed、安装 MindSpeed-MM，并执行 access_control_test.py 进行 UT/ST 测试，结束后清理临时仓库。 3. docker/scripts/ci/build_ci_envs.py（新增） Python 脚本，读取 ci_versions.json，为每个 CI 版本从 base 环境克隆出独立 conda 环境（ci_<版本>），浅克隆对应分支代码，解析 pyproject.toml 安装基础依赖及 JSON 中指定的额外依赖（如指定版本 torch_npu）。 4. docker/scripts/ci/ci_versions.json（新增） CI 版本配置文件，定义 ci_26.0.0、ci_26.1.0、ci_master 三个环境及其各自 torch_npu等自定义依赖。 二、修改文件 5. docker/Dockerfile - 新增 BUILD_CI 构建参数，支持两种构建目标： - BUILD_CI=false（默认）：开发镜像，安装 verl_qwen3vl 并克隆 MindSpeed-MM 仓库。 - BUILD_CI=true：CI 镜像，跳过 verl 与仓库克隆，改为运行 build_ci_envs.py 创建多版本 conda 环境，并预下载 transformers（commit 7a833d1）和 Megatron-LM（core_v0.12.1）到 /workspace。 - 新增 FINAL_WORKDIR 参数，CI 模式工作目录为 /workspace，开发模式为 /workspace/MindSpeed-MM。 - 对原有各步骤补充了详细英文注释。 6. docker/build.sh - 新增 --build-ci 参数（构建 CI 多版本镜像）和 --tag 参数（自定义镜像 tag）。 - 新增基础镜像 CANN 版本自动识别逻辑（DETECTED_CANN_VERSION）。 - 镜像 Tag 命名规范变更： - 旧：{version}-{chip}-{os}-py{py_ver}-{arch} - 新：v{version}-cann{cann_ver}-torch_npu{torch_npu_ver}-{chip}-{os}-py{py_ver}-{arch}[-ci] - CI 构建时自动在 tag 末尾追加 -ci，并传入 BUILD_CI 与 FINAL_WORKDIR 构建参数。 7. docker/OVERVIEW.md / docker/OVERVIEW.zh.md（中英文文档同步更新） - 更新镜像 Tag 字段说明表，新增 CANN 版本、torch_npu 版本、其他字段（ci）等必选/可选字段说明及示例。 - 删除固定的「软件栈」版本表（因其随版本变化）。 - 文档中所有示例镜像名同步更新为新命名格式。 - torch_npu更改名字成TorchNPU 8. docker/scripts/ci/build_ci_envs.py - 华为云链接失效，换成清华的。 三、核心影响 - 镜像 Tag 命名 breaking change：所有镜像 tag 新增 cann 与 torch_npu 版本字段，旧 tag 不再适用。 - 新增 CI 镜像构建链路，使 PR 流水线可在云端复用预置多版本 conda 环境与预下载依赖，提升测试稳定性与效率。 ## Does this PR introduce any user-facing change? 当整个PR流水线整改完之后会在相应的文档中说明如何构建CI环境 ## How was this patch tested? / See merge request: Ascend/MindSpeed-MM!2797 | 9 天前 | |
feat: add Dockerfile for CI env Co-authored-by: zhangxubin<zhangxubin3@h-partners.com> # message auto-generated for no-merge-commit merge: !2797 merge master into master feat: add Dockerfile for CI env Created-by: MoCuishle-M Commit-by: zhangxubin Merged-by: ascend-robot Description: ## What this PR does / why we need it? 本 PR 为 MindSpeed-MM 新增 CI 多版本镜像构建能力，并同步调整了镜像 Tag 命名规范、文档文字表达（torch_npu变更为TorchNPU）。 一、新增文件 1. ci/build_ci_envs.sh（新增） CI 镜像构建入口脚本，调用 docker/build.sh 并以 --build-ci 参数构建基于 CANN<版本> / torch_npu 2.7.1.<版本> / MindSpeed-MM <版本> 的 CI 镜像。 2. ci/mm_ci_trigger.sh（新增） PR 流水线云端测试触发脚本，负责：初始化 NPU/conda 环境、导出 PR 修改文件列表、按分支拉取 Megatron-LM（core_v0.12.1）与 MindSpeed、安装 MindSpeed-MM，并执行 access_control_test.py 进行 UT/ST 测试，结束后清理临时仓库。 3. docker/scripts/ci/build_ci_envs.py（新增） Python 脚本，读取 ci_versions.json，为每个 CI 版本从 base 环境克隆出独立 conda 环境（ci_<版本>），浅克隆对应分支代码，解析 pyproject.toml 安装基础依赖及 JSON 中指定的额外依赖（如指定版本 torch_npu）。 4. docker/scripts/ci/ci_versions.json（新增） CI 版本配置文件，定义 ci_26.0.0、ci_26.1.0、ci_master 三个环境及其各自 torch_npu等自定义依赖。 二、修改文件 5. docker/Dockerfile - 新增 BUILD_CI 构建参数，支持两种构建目标： - BUILD_CI=false（默认）：开发镜像，安装 verl_qwen3vl 并克隆 MindSpeed-MM 仓库。 - BUILD_CI=true：CI 镜像，跳过 verl 与仓库克隆，改为运行 build_ci_envs.py 创建多版本 conda 环境，并预下载 transformers（commit 7a833d1）和 Megatron-LM（core_v0.12.1）到 /workspace。 - 新增 FINAL_WORKDIR 参数，CI 模式工作目录为 /workspace，开发模式为 /workspace/MindSpeed-MM。 - 对原有各步骤补充了详细英文注释。 6. docker/build.sh - 新增 --build-ci 参数（构建 CI 多版本镜像）和 --tag 参数（自定义镜像 tag）。 - 新增基础镜像 CANN 版本自动识别逻辑（DETECTED_CANN_VERSION）。 - 镜像 Tag 命名规范变更： - 旧：{version}-{chip}-{os}-py{py_ver}-{arch} - 新：v{version}-cann{cann_ver}-torch_npu{torch_npu_ver}-{chip}-{os}-py{py_ver}-{arch}[-ci] - CI 构建时自动在 tag 末尾追加 -ci，并传入 BUILD_CI 与 FINAL_WORKDIR 构建参数。 7. docker/OVERVIEW.md / docker/OVERVIEW.zh.md（中英文文档同步更新） - 更新镜像 Tag 字段说明表，新增 CANN 版本、torch_npu 版本、其他字段（ci）等必选/可选字段说明及示例。 - 删除固定的「软件栈」版本表（因其随版本变化）。 - 文档中所有示例镜像名同步更新为新命名格式。 - torch_npu更改名字成TorchNPU 8. docker/scripts/ci/build_ci_envs.py - 华为云链接失效，换成清华的。 三、核心影响 - 镜像 Tag 命名 breaking change：所有镜像 tag 新增 cann 与 torch_npu 版本字段，旧 tag 不再适用。 - 新增 CI 镜像构建链路，使 PR 流水线可在云端复用预置多版本 conda 环境与预下载依赖，提升测试稳定性与效率。 ## Does this PR introduce any user-facing change? 当整个PR流水线整改完之后会在相应的文档中说明如何构建CI环境 ## How was this patch tested? / See merge request: Ascend/MindSpeed-MM!2797 | 9 天前 | |
feat: add Dockerfile for CI env Co-authored-by: zhangxubin<zhangxubin3@h-partners.com> # message auto-generated for no-merge-commit merge: !2797 merge master into master feat: add Dockerfile for CI env Created-by: MoCuishle-M Commit-by: zhangxubin Merged-by: ascend-robot Description: ## What this PR does / why we need it? 本 PR 为 MindSpeed-MM 新增 CI 多版本镜像构建能力，并同步调整了镜像 Tag 命名规范、文档文字表达（torch_npu变更为TorchNPU）。 一、新增文件 1. ci/build_ci_envs.sh（新增） CI 镜像构建入口脚本，调用 docker/build.sh 并以 --build-ci 参数构建基于 CANN<版本> / torch_npu 2.7.1.<版本> / MindSpeed-MM <版本> 的 CI 镜像。 2. ci/mm_ci_trigger.sh（新增） PR 流水线云端测试触发脚本，负责：初始化 NPU/conda 环境、导出 PR 修改文件列表、按分支拉取 Megatron-LM（core_v0.12.1）与 MindSpeed、安装 MindSpeed-MM，并执行 access_control_test.py 进行 UT/ST 测试，结束后清理临时仓库。 3. docker/scripts/ci/build_ci_envs.py（新增） Python 脚本，读取 ci_versions.json，为每个 CI 版本从 base 环境克隆出独立 conda 环境（ci_<版本>），浅克隆对应分支代码，解析 pyproject.toml 安装基础依赖及 JSON 中指定的额外依赖（如指定版本 torch_npu）。 4. docker/scripts/ci/ci_versions.json（新增） CI 版本配置文件，定义 ci_26.0.0、ci_26.1.0、ci_master 三个环境及其各自 torch_npu等自定义依赖。 二、修改文件 5. docker/Dockerfile - 新增 BUILD_CI 构建参数，支持两种构建目标： - BUILD_CI=false（默认）：开发镜像，安装 verl_qwen3vl 并克隆 MindSpeed-MM 仓库。 - BUILD_CI=true：CI 镜像，跳过 verl 与仓库克隆，改为运行 build_ci_envs.py 创建多版本 conda 环境，并预下载 transformers（commit 7a833d1）和 Megatron-LM（core_v0.12.1）到 /workspace。 - 新增 FINAL_WORKDIR 参数，CI 模式工作目录为 /workspace，开发模式为 /workspace/MindSpeed-MM。 - 对原有各步骤补充了详细英文注释。 6. docker/build.sh - 新增 --build-ci 参数（构建 CI 多版本镜像）和 --tag 参数（自定义镜像 tag）。 - 新增基础镜像 CANN 版本自动识别逻辑（DETECTED_CANN_VERSION）。 - 镜像 Tag 命名规范变更： - 旧：{version}-{chip}-{os}-py{py_ver}-{arch} - 新：v{version}-cann{cann_ver}-torch_npu{torch_npu_ver}-{chip}-{os}-py{py_ver}-{arch}[-ci] - CI 构建时自动在 tag 末尾追加 -ci，并传入 BUILD_CI 与 FINAL_WORKDIR 构建参数。 7. docker/OVERVIEW.md / docker/OVERVIEW.zh.md（中英文文档同步更新） - 更新镜像 Tag 字段说明表，新增 CANN 版本、torch_npu 版本、其他字段（ci）等必选/可选字段说明及示例。 - 删除固定的「软件栈」版本表（因其随版本变化）。 - 文档中所有示例镜像名同步更新为新命名格式。 - torch_npu更改名字成TorchNPU 8. docker/scripts/ci/build_ci_envs.py - 华为云链接失效，换成清华的。 三、核心影响 - 镜像 Tag 命名 breaking change：所有镜像 tag 新增 cann 与 torch_npu 版本字段，旧 tag 不再适用。 - 新增 CI 镜像构建链路，使 PR 流水线可在云端复用预置多版本 conda 环境与预下载依赖，提升测试稳定性与效率。 ## Does this PR introduce any user-facing change? 当整个PR流水线整改完之后会在相应的文档中说明如何构建CI环境 ## How was this patch tested? / See merge request: Ascend/MindSpeed-MM!2797 | 9 天前 | |
feat: add Dockerfile for CI env Co-authored-by: zhangxubin<zhangxubin3@h-partners.com> # message auto-generated for no-merge-commit merge: !2797 merge master into master feat: add Dockerfile for CI env Created-by: MoCuishle-M Commit-by: zhangxubin Merged-by: ascend-robot Description: ## What this PR does / why we need it? 本 PR 为 MindSpeed-MM 新增 CI 多版本镜像构建能力，并同步调整了镜像 Tag 命名规范、文档文字表达（torch_npu变更为TorchNPU）。 一、新增文件 1. ci/build_ci_envs.sh（新增） CI 镜像构建入口脚本，调用 docker/build.sh 并以 --build-ci 参数构建基于 CANN<版本> / torch_npu 2.7.1.<版本> / MindSpeed-MM <版本> 的 CI 镜像。 2. ci/mm_ci_trigger.sh（新增） PR 流水线云端测试触发脚本，负责：初始化 NPU/conda 环境、导出 PR 修改文件列表、按分支拉取 Megatron-LM（core_v0.12.1）与 MindSpeed、安装 MindSpeed-MM，并执行 access_control_test.py 进行 UT/ST 测试，结束后清理临时仓库。 3. docker/scripts/ci/build_ci_envs.py（新增） Python 脚本，读取 ci_versions.json，为每个 CI 版本从 base 环境克隆出独立 conda 环境（ci_<版本>），浅克隆对应分支代码，解析 pyproject.toml 安装基础依赖及 JSON 中指定的额外依赖（如指定版本 torch_npu）。 4. docker/scripts/ci/ci_versions.json（新增） CI 版本配置文件，定义 ci_26.0.0、ci_26.1.0、ci_master 三个环境及其各自 torch_npu等自定义依赖。 二、修改文件 5. docker/Dockerfile - 新增 BUILD_CI 构建参数，支持两种构建目标： - BUILD_CI=false（默认）：开发镜像，安装 verl_qwen3vl 并克隆 MindSpeed-MM 仓库。 - BUILD_CI=true：CI 镜像，跳过 verl 与仓库克隆，改为运行 build_ci_envs.py 创建多版本 conda 环境，并预下载 transformers（commit 7a833d1）和 Megatron-LM（core_v0.12.1）到 /workspace。 - 新增 FINAL_WORKDIR 参数，CI 模式工作目录为 /workspace，开发模式为 /workspace/MindSpeed-MM。 - 对原有各步骤补充了详细英文注释。 6. docker/build.sh - 新增 --build-ci 参数（构建 CI 多版本镜像）和 --tag 参数（自定义镜像 tag）。 - 新增基础镜像 CANN 版本自动识别逻辑（DETECTED_CANN_VERSION）。 - 镜像 Tag 命名规范变更： - 旧：{version}-{chip}-{os}-py{py_ver}-{arch} - 新：v{version}-cann{cann_ver}-torch_npu{torch_npu_ver}-{chip}-{os}-py{py_ver}-{arch}[-ci] - CI 构建时自动在 tag 末尾追加 -ci，并传入 BUILD_CI 与 FINAL_WORKDIR 构建参数。 7. docker/OVERVIEW.md / docker/OVERVIEW.zh.md（中英文文档同步更新） - 更新镜像 Tag 字段说明表，新增 CANN 版本、torch_npu 版本、其他字段（ci）等必选/可选字段说明及示例。 - 删除固定的「软件栈」版本表（因其随版本变化）。 - 文档中所有示例镜像名同步更新为新命名格式。 - torch_npu更改名字成TorchNPU 8. docker/scripts/ci/build_ci_envs.py - 华为云链接失效，换成清华的。 三、核心影响 - 镜像 Tag 命名 breaking change：所有镜像 tag 新增 cann 与 torch_npu 版本字段，旧 tag 不再适用。 - 新增 CI 镜像构建链路，使 PR 流水线可在云端复用预置多版本 conda 环境与预下载依赖，提升测试稳定性与效率。 ## Does this PR introduce any user-facing change? 当整个PR流水线整改完之后会在相应的文档中说明如何构建CI环境 ## How was this patch tested? / See merge request: Ascend/MindSpeed-MM!2797 | 9 天前 | |
feat: add Dockerfile for CI env Co-authored-by: zhangxubin<zhangxubin3@h-partners.com> # message auto-generated for no-merge-commit merge: !2797 merge master into master feat: add Dockerfile for CI env Created-by: MoCuishle-M Commit-by: zhangxubin Merged-by: ascend-robot Description: ## What this PR does / why we need it? 本 PR 为 MindSpeed-MM 新增 CI 多版本镜像构建能力，并同步调整了镜像 Tag 命名规范、文档文字表达（torch_npu变更为TorchNPU）。 一、新增文件 1. ci/build_ci_envs.sh（新增） CI 镜像构建入口脚本，调用 docker/build.sh 并以 --build-ci 参数构建基于 CANN<版本> / torch_npu 2.7.1.<版本> / MindSpeed-MM <版本> 的 CI 镜像。 2. ci/mm_ci_trigger.sh（新增） PR 流水线云端测试触发脚本，负责：初始化 NPU/conda 环境、导出 PR 修改文件列表、按分支拉取 Megatron-LM（core_v0.12.1）与 MindSpeed、安装 MindSpeed-MM，并执行 access_control_test.py 进行 UT/ST 测试，结束后清理临时仓库。 3. docker/scripts/ci/build_ci_envs.py（新增） Python 脚本，读取 ci_versions.json，为每个 CI 版本从 base 环境克隆出独立 conda 环境（ci_<版本>），浅克隆对应分支代码，解析 pyproject.toml 安装基础依赖及 JSON 中指定的额外依赖（如指定版本 torch_npu）。 4. docker/scripts/ci/ci_versions.json（新增） CI 版本配置文件，定义 ci_26.0.0、ci_26.1.0、ci_master 三个环境及其各自 torch_npu等自定义依赖。 二、修改文件 5. docker/Dockerfile - 新增 BUILD_CI 构建参数，支持两种构建目标： - BUILD_CI=false（默认）：开发镜像，安装 verl_qwen3vl 并克隆 MindSpeed-MM 仓库。 - BUILD_CI=true：CI 镜像，跳过 verl 与仓库克隆，改为运行 build_ci_envs.py 创建多版本 conda 环境，并预下载 transformers（commit 7a833d1）和 Megatron-LM（core_v0.12.1）到 /workspace。 - 新增 FINAL_WORKDIR 参数，CI 模式工作目录为 /workspace，开发模式为 /workspace/MindSpeed-MM。 - 对原有各步骤补充了详细英文注释。 6. docker/build.sh - 新增 --build-ci 参数（构建 CI 多版本镜像）和 --tag 参数（自定义镜像 tag）。 - 新增基础镜像 CANN 版本自动识别逻辑（DETECTED_CANN_VERSION）。 - 镜像 Tag 命名规范变更： - 旧：{version}-{chip}-{os}-py{py_ver}-{arch} - 新：v{version}-cann{cann_ver}-torch_npu{torch_npu_ver}-{chip}-{os}-py{py_ver}-{arch}[-ci] - CI 构建时自动在 tag 末尾追加 -ci，并传入 BUILD_CI 与 FINAL_WORKDIR 构建参数。 7. docker/OVERVIEW.md / docker/OVERVIEW.zh.md（中英文文档同步更新） - 更新镜像 Tag 字段说明表，新增 CANN 版本、torch_npu 版本、其他字段（ci）等必选/可选字段说明及示例。 - 删除固定的「软件栈」版本表（因其随版本变化）。 - 文档中所有示例镜像名同步更新为新命名格式。 - torch_npu更改名字成TorchNPU 8. docker/scripts/ci/build_ci_envs.py - 华为云链接失效，换成清华的。 三、核心影响 - 镜像 Tag 命名 breaking change：所有镜像 tag 新增 cann 与 torch_npu 版本字段，旧 tag 不再适用。 - 新增 CI 镜像构建链路，使 PR 流水线可在云端复用预置多版本 conda 环境与预下载依赖，提升测试稳定性与效率。 ## Does this PR introduce any user-facing change? 当整个PR流水线整改完之后会在相应的文档中说明如何构建CI环境 ## How was this patch tested? / See merge request: Ascend/MindSpeed-MM!2797 | 9 天前 |
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 9 天前 | ||
| 9 天前 | ||
| 9 天前 | ||
| 9 天前 | ||
| 9 天前 | ||
| 9 天前 |