学习向导
读者对象
本文档用于指导开发者如何使用单边通信库的LLM-DataDist组件的Python接口实现点对点数据传输,构建大模型推理分离式框架,从而提高大模型推理系统的吞吐性能。
本文档需要读者具备以下方面的知识,会有助于更好地理解文档:
- 了解大模型的基础结构和概念
- 熟悉大模型推理的流程
- 具备Python语言程序开发能力
- 有使用大模型推理框架进行大模型推理的经验,比如vLLM
阅读向导
如果您对LLM-DataDist不太了解,或者首次阅读本文档。建议先阅读表1,帮助您快速了解手册内容,按需访问对应章节。
表1 阅读向导
| 场景 | 对应章节 | 内容说明 |
|---|---|---|
| 我想了解什么是LLM-DataDist及LLM-DataDist能做什么 | 概述 | 本章介绍了LLM-DataDist的含义、作用及优势,并介绍了LLM-DataDist的使用场景。 |
| 我想体验基于LLM-DataDist构建大模型推理分离式框架的开发过程 | 快速入门 | 本章介绍了利用LLM-DataDist进行大模型推理分离式框架的整体开发流程,环境准备,并且给出了可执行的完整参考样例。 |
| 我想了解LLM-DataDist的接口能力 | 功能介绍 | 本章介绍了LLM-DataDist的接口功能,并给出了使用示例。 |
| 我想了解本文档涉及的一些扩展知识 | 附录 | 本章介绍了文档中提及的一些扩展知识,包括基本概念、大模型推理流程等。 |
| 使用LLM-DataDist进行应用开发时,遇到问题怎么办 | 错误码 | 本章介绍了接口错误码,以及原因分析和处理措施。 |