已开启
[知识建设] 补充训练性能、内存与精度知识及源码版本边界 #65
zhanghz1创建于  14 天前
zhanghz1
zhanghz1成员
14 天前 创建

知识缺口与目标场景

训练技术资料分布在 cann-recipes-train、TorchTitan-NPU 和 TorchTitan 等仓库,现有知识库缺少部分可直接用于训练性能、内存及精度诊断的实现细节,部分旧卡的默认值和版本边界也需要校正。

本批目标是让使用者按训练问题检索到有固定源码定位、核心操作、适用边界和验证方式的知识,而非仅跳转资料目录。

生产方法与范围

  • 对53份技术资料分别进行独立提取,使用 training-docs-knowledge-ingest 流程,逐份追踪相关跨仓源码、查询已有卡片、自检修正并执行官方规则验证。
  • 计划提交81张新增、14张更新,位于 knowledge/model/training,另含必要导航和当天日志;6份导航或重复输入没有重复建卡。
  • 覆盖图编译/通信/重计算、Host与优化器卸载、低精度及训推一致性、模型损失和分布式调试。
  • 文档与源码固定到具体提交。来源不等同于已复现环境;兼容性、缺失依赖及未验证项分别在卡内标明。所有本批卡保留 draft,不伪造人工复核或NPU验证。

验收场景与已有证据

以下查询在隔离知识仓使用官方 Query 实际命中预期卡首位(model/training、status=all、k=5):

查询 平台条件 预期卡
路由回放 950 guides/rl_routing_capture_replay_lifecycle.md
Auto Overlap a3 optimizations/graph_trainer_npu_auto_overlap.md
Virtual Optimizer include-unlocated concepts/techniques/virtual_optimizer.md
官方编码 950 guides/deepseek_v41_multimodal_sft_mask.md

正文支持核对路由回放生命周期、自动调度适用条件、真实优化器更新语义,以及图文编码与loss mask边界。draft需要显式查询;未定位平台不能当作平台无关。

终版定向检查覆盖95卡与159个Python片段语法,零发现;完整提交前质量门禁另在关联PR报告。没有进行NPU训练或性能收益复现,不声称这些检查证明了训练加速。PR将提供全部可评审卡片及检查摘要,不依赖本机私有路径。

likedislike
zhanghz1zhanghz1成员
14 天前 关联了pull request:WIP: 补充训练性能、内存与精度知识(81张新增、14张更新)