已关闭
[Bug]: 动态图开启use_distribute_dataset时，所有rank初始化数据和index map冗余生成 #2524
zzzkeke创建于 8月18日关闭于 8月29日
8月18日 添加了label：bug
8月18日 添加了label：bug
8月18日 关联组件 由 [] 改变为 [B-SIG-MindFormers-Train]
8月18日 问题后端类型 由 [] 改变为 [Ascend]
8月18日 关联分支 由 [] 改变为 [master]
zzzkeke8月24日 修改标题为 “[Bug]: 动态图开启use_distribute_dataset时，所有rank初始化数据和index map冗余生成”，原标题为“[Bug]: 动态图开启use_distribute_dataset时，所有rank初始化数据”
8月24日 修改标题为 “[Bug]: 动态图开启use_distribute_dataset时，所有rank初始化数据和index map冗余生成”，原标题为“[Bug]: 动态图开启use_distribute_dataset时，所有rank初始化数据”
8月24日 修改了issue 的描述
8月24日 修改了issue 的描述
8月29日 关闭了 issue
8月29日 issue状态由 TODO 改变为 DONE
Checklist
🐞 问题详细描述
当前代码中，数据广播所有rank初始化数据，而不是每个 TP×CP 数据域内只有 src rank 需要真正读取并构造数据集，其余 rank 靠运行时接收 src 广播的 batch。并且每个rank都生成index map并保存，但是每个rank生成结果是一样的。
详细的环境信息描述
NPU
其他辅助信息
版本信息
master/r2.1.0-beta1
Thanks for contributing 🎉!