已合并
[Misc] 刷新MindIE镜像构建流程和文档 #1115
[Misc] 刷新MindIE镜像构建流程和文档 #1115
已合并
KaiMa创建于 7月8日
KaiMa
KaiMa成员
7月8日

合入背景

请描述为什么要做这个PR内的改动。
如涉及,请关联前序PR或同特性/需求下的其他PR。
如果是修复之前PR引入的问题,请关联引入问题的PR。
注意:Fixes #ISSUE ID会自动关闭issue,如问题部分解决请不要使用Fixes,可以用Fix part of #ISSUE ID替代.

支持蓝区组合包镜像构建

Fixes #627

修改内容

请描述修改内容的具体实现,涉及哪些组件之间进行交互,可以用1、2、3、...进行罗列。
如果是需求或者重构类的PR,需要补充详细设计文档(说明上下游组件关系、时序图、类图、DFX能力等内容)。

资料变更

请确认是否涉及资料变更。如涉及,需要在PR中体现,并简要说明修改内容。如不涉及,需填写“不涉及”。

接口变更

请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及,需要详细说明接口以及对应的变更内容,同时需要在资料中体现。如不涉及,需填写“不涉及”。

测试结果

请说明测试场景,测试方法以及测试结果。
测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。

x86 环境构建
image.png

aarch64 环境构建
image.png

CheckList

PR提交人对以下CheckList自检项进行全量自检,自检通过或不涉及,均修改 [ ] 为 [x]。

likedislike
Pull Request已成功合入, 合并人@ascend-robot
(感谢 KaiMa 的贡献)
KaiMaKaiMa成员
7月8日 关联了issue:[Feature]: 开放自定义组合版本镜像打包流程
atomgit-bot
atomgit-bot
7月8日 评论:

变更摘要

此 PR 主要对 MindIE 镜像构建流程进行全面刷新:将镜像品牌从 MindIE-LLM 升级为 MindIE,集成 mindie-sdmindie-motor 两个新组件,统一版本号参数,简化构建参数体系,并增强容器启动时的协议展示与环境加载逻辑。

主要改动

  • 品牌与命名统一:将镜像、日志前缀、环境变量、镜像标签中的 MindIE-LLM 全部替换为 MindIE(如 MINDIE_LLM_VERMINDIE_VERLOG_PREFIX[MindIE-LLM-Docker] 改为 [MindIE-Docker]、镜像标签从 mindie-llm:... 改为 mindie:...
  • 新增 mindie-sd 与 mindie-motor 组件集成:在 Dockerfile 中为 mindie-sd 配置 ASCEND_CUSTOM_OPP_PATH 环境变量,为 mindie-motor 配置 MIES_INSTALL_PATH/LD_LIBRARY_PATH/PYTHONPATH,并在 config.shdownload.sh 中新增对应的下载地址生成函数(url_mindie_sd_whlurl_mindie_motor_whl)和并行下载任务
  • 构建参数简化:将原来独立的 --mindie-llm/--atb-llm 构建参数合并为单一的 --mindie 版本号参数,DockerfileMINDIE_LLM_VERSIONATB_LLM_VERSION 两个 ARG 合并为 MINDIE_VERSION,由统一的 MINDIE_VERSION 驱动所有内部组件版本
  • 容器启动协议与静态初始化entrypoint.sh 新增 /workspace/agreement.txt 协议横幅展示和 Ascend/CANN/ATB 环境脚本自动加载逻辑(load_env_script);Dockerfile 新增静态初始化块,创建 HwHiAiUser/HwDmUser 等系统用户及 /var/driver/var/dmp 等目录,并设置相应权限
  • 下载编排扩展download_all 函数参数从 9 个扩展到 11 个(新增 mindie_sd_vermindie_motor_ver),并行下载任务从 6 个扩展为 8 个,对应的退出码检查列表同步更新
likedislike
不准确?
atomgit-bot
atomgit-bot
7月8日 评论:

代码审查

关闭摘要

已完成对全部 8 个变更文件的审查:

文件 审查结果
docker/Dockerfile 3 个问题(P2、P2、P3)
docker/OVERVIEW.md 无问题(文档变更)
docker/OVERVIEW.zh.md 无问题(文档变更)
docker/build.sh 无问题
docker/entrypoint.sh 1 个问题(P3)
docker/modules/build_image.sh 无问题
docker/modules/config.sh 无问题
docker/modules/download.sh 1 个问题(P1)

发现问题汇总:共 5 个,其中 P1 ×1、P2 ×2、P3 ×2。

整体风险判断:中等风险。最严重的问题是 download.sh 中 SD/Motor 下载缺少 type_ 守卫——当用户使用 --type=run 构建且对应 MindIE 版本无 SD/Motor 的 whl 包时,构建会因下载失败而中断;Dockerfile 中 usermod -a -G HwSysUser HwSysUser 的无操作指令和 ln -sf /lib /lib64 的边界行为问题属于需要关注但不致命的缺陷。其余为低风险的代码整洁/一致性问题。建议在合入前至少修复 P1 的下载守卫问题。

类型 数量
🔴 阻塞 1
🟡 建议 2

⛔ 需要修改

likedislike
不准确?
ascend-robotascend-robot成员
7月8日 添加了label:ascend-cla/yes
ascend-robot
ascend-robot成员
7月8日 评论:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here
You can get sig-info at here


PR Approval Progress

Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module lgtm status approve status
repo-Ascend/MindIE-LLM 纪涛, zouzy5137 (2/2) 纪涛 (1/1)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

KaiMa, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
此处折叠了87条消息 查看更多
ascend-robotascend-robot成员
7月9日 删除了label:ci-pipeline-running
ascend-robotascend-robot成员
7月9日 添加了label:ci-pipeline-passed
ascend-robot
ascend-robot成员
7月9日 评论:
流水线 PR-pipeline_MindIE-LLM_gitcode#5792 (重试第1次) [ commitID:256e75d4 ] 已完成
>>>代码风格自动修复执行成功(无修复内容)
阶段 任务名 状态 详情
编译构建 Build_ops_x86_A3 >>>
Build_ops_arm_A3 >>>
Build_ops_x86_A2 >>>
Build_ops_arm_A2 >>>
Build_linux_x86_abi1_atb >>>
Build_linux_x86_abi1_llm >>>
Build_linux_arm_abi1_atb >>>
Build_linux_arm_abi1_llm >>>
Build_linux_arm_abi0_atb >>>
Build_linux_arm_abi0_llm >>>
恶意代码检查 Antipoison >>>
编码安全与规范检查 pre-commit >>>
开源片段检查 SCA >>>
开发者测试 UT_linux_arm_mindie-llm >>>
UT_linux_arm_atb-models >>>
流水线 PR-pipeline_MindIE-LLM_gitcode >>>
此流水线已支持下列评论快捷指令,仅PR创建者和白名单成员评论有效
  • compile : 运行流水线
  • retry : 重试流水线所有失败子任务
  • retry <任务名> : 仅重试指定失败子任务
  • stop : 停止流水线
likedislike
ascend-robotascend-robot成员
7月9日 合入了pull request
ascend-robot
ascend-robot成员
7月9日 评论:

Pull Request 已合并或已关闭。

If you want to solve this problem, you can click here to do it in the FAQs.

likedislike