MindSpore 场景的精度数据采集基线

"statistics"模式(未开启md5)采集时间膨胀参考基线

该基线为MindSpore框架下,使用"statistics"模式采集数据性能膨胀参考基线。测试了38B语言大模型在不同采集模式下,使用8卡时的性能膨胀。

采集模式 无工具(耗时) 加工具但未使能 Dump(耗时) 加工具并使能 Dump(耗时)
L0 ≈340 ms ≈340 ms (无膨胀) ≈1.2 s (膨胀3.5倍)
L1 ≈340 ms ≈0.7–1.2 s (膨胀2~4倍) ≈3.8 s (膨胀11倍)
mix ≈340 ms ≈0.7–1.2 s (膨胀2~4倍) ≈5.5 s (膨胀16倍)

"tensor"模式采集数据量参考基线

该基线为MindSpore框架下,使用"tensor"模式采集数据量参考基线。本基线测试了38B语言大模型在不同采集模式下,不同global_batch_size下,单卡和8卡下,数据量的变化。

38B语言大模型

采集模式 global_batch_size 单卡 8卡
L0 1 262GB 2.1TB
2 480GB 3.8TB
3 928GB 7.4TB
L1 1 2.1TB 17.1TB
2 2.8TB 22.7TB
3 4.2TB 34.3TB
mix 1 2.4TB 19.2TB
2 3.3TB 26.6TB
3 5.1TB 41.4TB