已合并
docs: refresh DeepSeek-V4.1 CPT training curve and tech report references #212
docs: refresh DeepSeek-V4.1 CPT training curve and tech report references #212
已合并
zhaowei1936创建于 9月30日
zhaowei1936成员
9月30日

Pull Request 模板


描述

刷新 DeepSeek-V4.1-Flash 续训练(CPT)样例文档:

  • llm_pretrain/deepseek_v4_1/README.md:补充技术报告《DeepSeek-V4昇腾训练支持:基于CANN平台的TorchTitan-NPU + AutoFuse 极简训练优化实践》的引用
  • 新增 DeepSeek-V4.1-Flash 加载完整权重进行 200 step 训练的训练曲线图(llm_pretrain/deepseek_v4_1/images/deepseek_v4_1_cpt.png)

类型

如何测试

文档变更,无需运行测试。已通过以下方式自验证:

  • 技术报告链接指向的文件 docs/llm_pretrain/deepseek-v4_torchtitan_npu_autofuse.md 存在于仓库中
  • 训练曲线图片已随本 PR 一并提交,README 中的相对路径链接可正常显示

Checklist:

其他信息

无

likedislike
Pull Request已成功合入, 合并人@CANN-robot
(感谢 zhaowei1936 的贡献)
Zzhaowei1936成员
9月30日 创建了 pull request,commit 84fda30f
atomgit-bot
atomgit-bot
9月30日 评论:

变更摘要

本 PR 为文档刷新类变更,主要针对 DeepSeek-V4.1-Flash 续训练(CPT)样例文档进行更新。核心内容是在 llm_pretrain/deepseek_v4_1/README.md 中补充对技术报告《DeepSeek-V4昇腾训练支持:基于CANN平台的TorchTitan-NPU + AutoFuse 极简训练优化实践》的引用,并新增一张展示 DeepSeek-V4.1-Flash 加载完整权重进行 200 step 训练的训练曲线图 llm_pretrain/deepseek_v4_1/images/deepseek_v4_1_cpt.png。变更不涉及代码逻辑。

主要改动

  • 补充技术报告引用: llm_pretrain/deepseek_v4_1/README.md 新增对技术报告《DeepSeek-V4昇腾训练支持:基于CANN平台的TorchTitan-NPU + AutoFuse 极简训练优化实践》(对应仓库文件 docs/llm_pretrain/deepseek-v4_torchtitan_npu_autofuse.md)的引用,便于读者查阅训练优化背景。
  • 新增训练曲线图资源: 新增 llm_pretrain/deepseek_v4_1/images/deepseek_v4_1_cpt.png,用于展示 DeepSeek-V4.1-Flash 加载完整权重进行 200 step CPT 训练的训练曲线。
  • README 图片链接接入: 在 README.md 中通过相对路径引入上述训练曲线图,使文档可正常展示该曲线。
likedislike
不准确?
atomgit-bot
atomgit-bot
9月30日 评论:

🤖 本次改动均为数据 / 生成 / 二进制文件(如测试用例、锁文件、媒体资源),没有可审查的代码逻辑,已跳过 AI 代码审查。

likedislike
不准确?
CANN-robotCANN-robot成员
9月30日 添加了label:cann-cla/yes
CANN-robot
CANN-robot成员
9月30日 评论:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here.
You can get sig-info at here.
You can self-configure the PR merge rules for this repository. For more details, please refer to Here.
For more, you also can visit HICANN.


PR Approval Progress

✅ Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module lgtm status approve status
repo-cann/cann-recipes-train ✅ lrwei0709, xuyujun (2/2) ✅ lrwei0709 (1/1)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

zhaowei1936, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
CANN-robotCANN-robot成员
9月30日 将xbjlu,lrwei0709,huangwayne28,zhanghz1,depeng1994,zhangky_gitcode,lianghengyi,LiuXinxin23,diaoyingyu,fafahan,xuyujun,panchao-gitcode设为评审人
CANN-robotCANN-robot成员
9月30日 将xbjlu,lrwei0709,huangwayne28,zhanghz1,depeng1994,zhangky_gitcode,lianghengyi,LiuXinxin23,diaoyingyu,fafahan,xuyujun,panchao-gitcode设为审查人
zhaowei1936成员
9月30日 评论:

/compile

likedislike
Zzhaowei1936成员
9月30日 预合并成功(commit_id: c1bd76a04e00801be9da64df5f16779a8e1d4a08)
CANN-robot
CANN-robot成员
9月30日 评论:
🚀 CI 流水线已启动
📋 执行详情: 点击查看流水线
likedislike
CANN-robotCANN-robot成员
9月30日 添加了label:ci-pipeline-running
张德鹏成员9月30日进行代码检视2
llm_pretrain/deepseek_v4_1/README.md
@@ -4,6 +4,7 @@
44 
55本文面向 `torchtitan-npu` 仓中的 `DeepSeek-V4.1-Flash` 模型训练场景,介绍源码获取、数据准备、模型权重准备与 BF16 转换、镜像准备、Docker 容器拉起、训练配置说明以及多机训练启动方式。
66 
7+围绕超大规模、超长序列、多模态、高可用训练及训练开发者效率提升等复杂场景方案可参见技术报告[基于昇腾950超节点的万亿MoE模型预训练系统参考实践](../../docs/llm_pretrain/ascend950_superpod_moe_pretrain_system_reference.md)。
78 
89## 硬件与软件要求
910 
@@ -161,6 +162,8 @@ python3 convert_bf16.py \
161162HF_ASSETS_PATH=/data/models/DeepSeek-V4.1-Flash/deepseek_v41_tokenizer \
162163bash examples/deepseek_v4_1/deepseek_v4_1_flash_cpt_4k_a5.sh --training.steps 500
163164```
165+DeepSeek-V4.1-Flash 加载完整权重进行 200 step 训练曲线如下:
张德鹏9月30日评论:

图片未直接插入。

likedislike
zhaowei1936成员
9月30日 评论:

已经修改,可以直接显示插入图片

CANN-robotCANN-robot成员
9月30日 删除了label:ci-pipeline-running
CANN-robotCANN-robot成员
9月30日 添加了label:ci-pipeline-passed
Zzhaowei1936成员
9月30日 预合并成功(commit_id: f37dad7e6e700d1ac23298ecdd3a442fc6996051)
Zzhaowei1936成员
9月30日 推送  1 个提交:983e28b1-docs(deepseek_v4_1): embed training curve image directly in README
Zzhaowei1936成员
9月30日 预合并成功(commit_id: 7a193f4d2fb75a5f805ba6ee376b3c1fe095bcc0)
zhaowei1936成员
9月30日 评论:

/compile

likedislike
Zzhaowei1936成员
9月30日 预合并成功(commit_id: 551367f478828fb3938d38c50f11a09badd51702)
CANN-robotCANN-robot成员
9月30日 删除了label:cann-cla/yes
CANN-robotCANN-robot成员
9月30日 添加了label:stat/needs-squash
CANN-robotCANN-robot成员
9月30日 添加了label:cann-cla/yes
CANN-robotCANN-robot成员
9月30日 删除了label:ci-pipeline-passed
CANN-robot
CANN-robot成员
9月30日 评论:

Notification

This pull request has been changed(code update) or closed, so removes the following label(s): ci-pipeline-passed.

likedislike
CANN-robot
CANN-robot成员
9月30日 评论:
🚀 CI 流水线已启动
📋 执行详情: 点击查看流水线
likedislike
CANN-robotCANN-robot成员
9月30日 添加了label:ci-pipeline-running
Zzhaowei1936成员
9月30日 解决了最后一个问题
CANN-robotCANN-robot成员
9月30日 删除了label:ci-pipeline-running
CANN-robotCANN-robot成员
9月30日 添加了label:ci-pipeline-passed
weijinyi成员
9月30日 评论:

/approve

likedislike
CANN-robotCANN-robot成员
9月30日 添加了label:approved
weijinyi成员
9月30日 评论:

/lgtm

likedislike
xuyujun成员
9月30日 评论:

/lgtm

likedislike
CANN-robotCANN-robot成员
9月30日 添加了label:lgtm
CANN-robotCANN-robot成员
9月30日 合入了pull request