已开启
[Trainer] 代码串讲与关键流程说明 #394
cuiyushi创建于  25 天前
cuiyushi
cuiyushi成员
25 天前 创建

背景

为帮助开发者理解HyperParallel Trainer的整体设计、使用方式和扩展方法,在本Issue中集中进行代码串讲。

串讲内容

一、上层:用户接口与训练全流程

  • Config:面向用户暴露的配置项和扩展方式
  • 从配置解析、模型导入与并行化、训练组件导入到Training Loop的完整流程

二、并行层:新Trainer中的实现与扩展

  • TP与CP
  • EP
  • FSDP

三、训练功能:新Trainer中的功能实现

  • 高性能Module与Function
  • 低精度适配及其与高性能Module的兼容
  • Activation重计算与Swap

记录方式

Committer按模块在本Issue评论区补充代码截图和说明。每条评论建议标明代码路径、模块职责及关键调用关系,便于后续开发和问题定位。

likedislike
cuiyushicuiyushi成员
25 天前 修改了issue 的描述
cuiyushicuiyushi成员
25 天前 修改了issue 的描述
cuiyushicuiyushi成员
25 天前 修改了issue 的描述
阿苏
阿苏成员
25 天前 评论:

image.png
文件名不清晰,如果是针对attention head做的tp,最好在文件名里就体现attention head。

likedislike