学习向导

读者对象

本文档用于指导开发者如何使用单边通信库的LLM-DataDist组件的Python接口实现点对点数据传输,构建大模型推理分离式框架,从而提高大模型推理系统的吞吐性能。

本文档需要读者具备以下方面的知识,会有助于更好地理解文档:

  • 了解大模型的基础结构和概念
  • 熟悉大模型推理的流程
  • 具备Python语言程序开发能力
  • 有使用大模型推理框架进行大模型推理的经验,比如vLLM

阅读向导

如果您对LLM-DataDist不太了解,或者首次阅读本文档。建议先阅读表1,帮助您快速了解手册内容,按需访问对应章节。

表1 阅读向导

场景 对应章节 内容说明
我想了解什么是LLM-DataDist及LLM-DataDist能做什么 概述 本章介绍了LLM-DataDist的含义、作用及优势,并介绍了LLM-DataDist的使用场景。
我想体验基于LLM-DataDist构建大模型推理分离式框架的开发过程 快速入门 本章介绍了利用LLM-DataDist进行大模型推理分离式框架的整体开发流程,环境准备,并且给出了可执行的完整参考样例。
我想了解LLM-DataDist的接口能力 功能介绍 本章介绍了LLM-DataDist的接口功能,并给出了使用示例。
我想了解本文档涉及的一些扩展知识 附录 本章介绍了文档中提及的一些扩展知识,包括基本概念、大模型推理流程等。
使用LLM-DataDist进行应用开发时,遇到问题怎么办 错误码 本章介绍了接口错误码,以及原因分析和处理措施。