MindSpore 场景的精度数据采集基线
"statistics"模式(未开启md5)采集时间膨胀参考基线
该基线为MindSpore框架下,使用"statistics"模式采集数据性能膨胀参考基线。测试了38B语言大模型在不同采集模式下,使用8卡时的性能膨胀。
| 采集模式 | 无工具(耗时) | 加工具但未使能 Dump(耗时) | 加工具并使能 Dump(耗时) |
|---|---|---|---|
| L0 | ≈340 ms | ≈340 ms (无膨胀) | ≈1.2 s (膨胀3.5倍) |
| L1 | ≈340 ms | ≈0.7–1.2 s (膨胀2~4倍) | ≈3.8 s (膨胀11倍) |
| mix | ≈340 ms | ≈0.7–1.2 s (膨胀2~4倍) | ≈5.5 s (膨胀16倍) |
"tensor"模式采集数据量参考基线
该基线为MindSpore框架下,使用"tensor"模式采集数据量参考基线。本基线测试了38B语言大模型在不同采集模式下,不同global_batch_size下,单卡和8卡下,数据量的变化。
38B语言大模型
| 采集模式 | global_batch_size | 单卡 | 8卡 |
|---|---|---|---|
| L0 | 1 | 262GB | 2.1TB |
| 2 | 480GB | 3.8TB | |
| 3 | 928GB | 7.4TB | |
| L1 | 1 | 2.1TB | 17.1TB |
| 2 | 2.8TB | 22.7TB | |
| 3 | 4.2TB | 34.3TB | |
| mix | 1 | 2.4TB | 19.2TB |
| 2 | 3.3TB | 26.6TB | |
| 3 | 5.1TB | 41.4TB |