背景

大模型训练的数据信息、模型信息、参数信息等各种信息数据量大，一般都分布在不同的卡上或者不同的服务器上。在训练过程中，不仅需要获取到当前执行环境上的各种信息，经常还需要获取到其他执行环境上的信息，甚至进行信息的传递。因此，通信域的概念在大模型训练中必不可少。项目中当前关于通信域的接口亟需完善。

方案

目前业界中对于通信域的接口使用场景是类似的，但由于不同框架中的数据类型定义不一致，接口的参数列表以及实现方式不尽相同，主流的实现方式有PyTorch。
为了既能兼顾多种框架，又尽量降低用户的使用门槛，我们将在platform模块提供统一的接口，接口列表尽可能向主流靠拢，针对不同的框架创建不同的platform继承类。使用户可以选择使用常用框架，也可以通过继承platform模块进行定制化设计。

对外接口

platform中关于通信域的对外接口如下：