已关闭
[Doc]: feature 文档中 chunkmbs 的参数配置说明似乎有误 #543
gelthin创建于 7月29日关闭于 1 天前
7月29日 添加了label:document
gelthin
8月7日 评论:
8月7日 评论:
我的意思是 chunkmbs 就应该等于 MBS, 而不是 GBS 除以 MBS。参照文档:https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/zh/features/chunkmbs.md
因为看上文:
如果让 chunkmbs = (GBS 除以 MBS) , 这里两处是否是冲突的?


htwang
6 天前 评论:
6 天前 评论:
本意是想表达 chunk_mbs是实际使用的时候的mbs,原来的入参MBS会被chunk,chunk的大小的是chunk_mbs,当前已修改相关文档:“一种典型用法是设置micro_batch_size为GBS/DP(DP=1时即GBS),设置梯度累积为1,设置chunkmbs_plan.chunk_mbs为原来的MBS”。


gelthin
4 天前 评论:
4 天前 评论:
明白了。
1、原来的配置(不开 chunk_mbs):开启梯度累积,gradient_accumulation 配置为值 gc0(gc0 为某个大于0的整数),则 MBS 配置为值 mbs0 = GBS / (DP * gc0)
2、新配置(开启 chunk_mbs):相当于可以不开启梯度累积,也即 gradient_accumulation=1, 则 MBS 配置为值 mbs1 = GBS / DP, 且配置 chunkmbs_plan.chunk_mbs = GBS / (DP * gc0) = mbs0, 与上面 MBS 配置的值相等。


1 天前 添加了label:resolved
在提交新问题之前,请确保您已经在社区中搜索过相关问题,并使用了社区中提供的资源/工具后,仍未找到满意的解决方式。
📚 文档问题描述
参照文档:https://gitcode.com/Ascend/MindSpeed-MM/blob/master/docs/zh/features/chunkmbs.md
这里是否描述错误?这里应该为 MBS, 而不是 GBS / MBS
建议的替代/修复方案
修复相关的说明。
欢迎加入社区,感谢您对社区的贡献 🎉!