为帮助开发者理解HyperParallel Trainer的整体设计、使用方式和扩展方法,在本Issue中集中进行代码串讲。
Committer按模块在本Issue评论区补充代码截图和说明。每条评论建议标明代码路径、模块职责及关键调用关系,便于后续开发和问题定位。
文件名不清晰,如果是针对attention head做的tp,最好在文件名里就体现attention head。
背景
为帮助开发者理解HyperParallel Trainer的整体设计、使用方式和扩展方法,在本Issue中集中进行代码串讲。
串讲内容
一、上层:用户接口与训练全流程
二、并行层:新Trainer中的实现与扩展
三、训练功能:新Trainer中的功能实现
记录方式
Committer按模块在本Issue评论区补充代码截图和说明。每条评论建议标明代码路径、模块职责及关键调用关系,便于后续开发和问题定位。