简介
-
LLM-DataDist
- LLM-DataDist相关接口存放在:"INSTALL_DIR/include/llm_datadist/llm_datadist.h"。INSTALL_DIR请替换为CANN软件安装后文件存储路径。若安装的Ascend-cann-toolkit软件包,以root安装举例,则安装后文件存储路径为:/usr/local/Ascend/cann。
- LLM-DataDist接口对应的库文件是:libllm_datadist.so。
-
HIXL:Huawei Xfer Library
- HIXL相关接口存放在:"INSTALL_DIR/include/hixl/hixl.h"。INSTALL_DIR请替换为CANN软件安装后文件存储路径。若安装的Ascend-cann-toolkit软件包,以root安装举例,则安装后文件存储路径为:/usr/local/Ascend/cann。
- HIXL接口对应的库文件是:libcann_hixl.so。
- HIXL_CS相关接口存放在:"INSTALL_DIR/include/cs/hixl_cs.h"。INSTALL_DIR请替换为CANN软件安装后文件存储路径。若安装的Ascend-cann-toolkit软件包,以root安装举例,则安装后文件存储路径为:/usr/local/Ascend/cann。
- HIXL_CS接口对应的库文件是:libcann_hixl.so。
支持的产品形态如下:
- Atlas A2 训练系列产品/Atlas A2 推理系列产品:仅支持Atlas 800I A2 推理服务器、A200I A2 Box 异构组件。该场景下Server采用HCCS传输协议时,LLM-DataDist相关接口仅支持D2D。
- Atlas A3 训练系列产品/Atlas A3 推理系列产品:该场景下采用HCCS传输协议时,LLM-DataDist相关接口不支持Host内存作为远端Cache。
- Ascend 950PR/Ascend 950DT:超节点内使用UB协议,超节点间使用RoCE协议。