已关闭
[Doc]: feature 文档中 chunkmbs 的参数配置说明似乎有误 #543
gelthin创建于  7月29日关闭于  1 天前
gelthin
7月29日 创建

在提交新问题之前,请确保您已经在社区中搜索过相关问题,并使用了社区中提供的资源/工具后,仍未找到满意的解决方式。

📚 文档问题描述

参照文档:https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/zh/features/chunkmbs.md

image.png
这里是否描述错误?这里应该为 MBS, 而不是 GBS / MBS

建议的替代/修复方案

修复相关的说明。

欢迎加入社区,感谢您对社区的贡献 🎉!

likedislike
ascend-robotascend-robot成员
7月29日 添加了label:document
Ggelthin
7月29日 修改了issue 的描述
Ggelthin
7月29日 修改了issue 的描述
Ggelthin
7月29日 修改了issue 的描述
htwang成员
8月3日 评论:

感谢您的关注,这里的GBS/MBS的中斜线的意思是“除”的含义。感谢您的建议,我们会对该描述进行整改。

likedislike
Hhtwang成员
8月3日 将 htwang 设为负责人
gelthin
8月7日 评论:

我的意思是 chunkmbs 就应该等于 MBS, 而不是 GBS 除以 MBS。参照文档:https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/zh/features/chunkmbs.md

因为看上文:image.png

如果让 chunkmbs = (GBS 除以 MBS) , 这里两处是否是冲突的?

likedislike
Hhtwang成员
6 天前 关联了pull request:docs: swapcore & doc fix
htwang成员
6 天前 评论:

本意是想表达 chunk_mbs是实际使用的时候的mbs,原来的入参MBS会被chunk,chunk的大小的是chunk_mbs,当前已修改相关文档:“一种典型用法是设置micro_batch_size为GBS/DP(DP=1时即GBS),设置梯度累积为1,设置chunkmbs_plan.chunk_mbs为原来的MBS”。

likedislike
gelthin
4 天前 评论:

明白了。
1、原来的配置(不开 chunk_mbs):开启梯度累积,gradient_accumulation 配置为值 gc0(gc0 为某个大于0的整数),则 MBS 配置为值 mbs0 = GBS / (DP * gc0)
2、新配置(开启 chunk_mbs):相当于可以不开启梯度累积,也即 gradient_accumulation=1, 则 MBS 配置为值 mbs1 = GBS / DP, 且配置 chunkmbs_plan.chunk_mbs = GBS / (DP * gc0) = mbs0, 与上面 MBS 配置的值相等。

likedislike
Yyeqm成员
1 天前 issue状态由 TODO 改变为 DONE
Yyeqm成员
1 天前 关闭了 issue
ascend-robotascend-robot成员
1 天前 添加了label:resolved