已关闭
[Feature]: 资料易用性提升 #242
weihaoran创建于  4月29日关闭于  9月8日
weihaoran成员
4月29日 创建

提交提案之前,请先检索仓库内是否已有相同的提案,如已有请在同一提案中进行讨论。

💻 需求背景、当前现状、期望实现的功能内容、具体的设计方案、以及测试方案

需求背景
随着mind-cluster项目的发展和演进,当前文档存在以下问题,需要进行优化和调整:
1、过时内容存在 :TensorFlow相关功能已不再维护或支持,但文档中仍包含大量相关内容,可能导致用户使用过时功能
2、参数说明分散 :YAML参数说明分散在各个章节中,用户需要在不同地方查找不同类型任务的参数,使用体验不佳
3、配置内容不集中 :关于任务发生亚健康故障时保存CKPT的配置内容分散在任务YAML配置示例中,缺乏系统性说明
4、参数配置不清晰 :断点续训章节中的参数配置内容较为笼统,没有按重调度特性进行细分,用户难以理解和配置
5、缺乏验证指导 :文档中缺少对断点续训功能的验证说明,用户无法了解如何验证配置是否生效
6、device plugin的启动参数中存在冗余

当前现状
当前文档结构存在以下问题:
内容过时 :TensorFlow相关功能已不再支持,但文档中仍有大量相关内容
结构混乱 :同类内容分散在不同章节,用户查找困难,使用不友好
说明不足 :重要配置项缺乏详细说明和示例
指导性差 :缺少功能验证指导,用户无法确认配置是否生效

期望实现的功能内容
1、内容更新 :下架不再支持的TensorFlow相关内容
2、结构优化 :合并YAML参数说明,创建统一的API参考章节
3、内容增强 :新增亚健康主动CKPT保存的专门说明
4、配置细化 :将断点续训参数配置按重调度特性细分
5、验证指导 :新增断点续训功能验证章节
6、去除冗余的device plugin的启动参数

具体的设计方案
1、随着项目的发展,TensorFlow相关功能已不再维护或支持,需要从文档中下架这些内容,避免用户使用过时或不支持的功能。同时删除deploy仓相关样例。
①移除所有TensorFlow相关的示例代码
②删除TensorFlow专属的配置参数说明
③移除TensorFlow相关的使用指南和最佳实践
2、yaml参数说明合并,
①创建统一的API参考章节
②按acjob、vcjob和deployment的任务类型分类参数说明
③为每个参数提供清晰的说明、默认值
3、训练恢复,改名为恢复加速
4、配置训练恢复中,新增一个章节:配置亚健康主动ckpt保存,把任务yaml配置示例中的任务发生亚健康故障时配置保存CKPT的内容进行迁移
在配置训练恢复章节下新增专门小节,说明亚健康主动CKPT保存的配置方法,并提供完整的配置示例
5、断点续训章节,参数配置的内容细化到每个重调度特性(job级别重调度、pod级别重调度、进程级别重调度、进程级别在线恢复等)中
6、断点续训章节,配置后新增验证章节:下发任务,正常拉起,出迭代 -> 构造故障,任务恢复,符合预期 -> 删除任务
7、device plugin的启动参数autoStowing,新增已日落的说明。改字段是人工隔离功能之前,故障芯片恢复健康后不会自动加入到资源池中。配置为true时,能够自维护芯片的健康状态。
8、当前使用读环境变量ASCEND_DOCKER_RUNTIME判断是否使用docker runtime,device plugin的启动参数AscendDocker需要删掉,不看资料容易误解可以配置

替代方案

补充说明

欢迎加入社区,感谢您对社区的贡献 🎉!

likedislike
Wweihaoran成员
4月29日 添加了label:feature
Wweihaoran成员
4月29日 修改了issue 的描述
Wweihaoran成员
4月29日 修改了issue 的描述
Wweihaoran成员
4月29日 修改了issue 的描述
Atlas_zxp
Atlas_zxp成员
4月29日 评论:

/label add triaged

likedislike
ascend-robotascend-robot成员
4月29日 添加了label:triaged
此处折叠了37条事件消息 查看更多
ascend-robotascend-robot成员
9月8日 添加了label:resolved