昇腾自研大模型推理引擎
MindIE-LLM
昇腾大语言模型推理引擎
📢 Latest News
- [2026/04] 📖 文档站点上线！欢迎访问 MindIE-LLM 文档中心 在线阅读完整文档。
- [2025/12] MindIE LLM 正式宣布开源并面向公众开放！ 会议日历
🚀 简介
MindIE LLM是昇腾的大语言模型推理加速套件，旨在通过深度优化的模型库和推理优化器，专门提升大模型在昇腾硬件上的推理性能和易用性。MindIE LLM基于昇腾硬件，提供业界通用大模型推理能力，多并发请求的调度，包含Continuous Batching、PagedAttention、FlashDecoding等加速特性，使能用户高性能推理需求。
🔍 目录结构
├── mindie_llm # Python 推理框架主模块
│ ├── connector # 请求接入层
│ ├── text_generator # 核心推理引擎
│ ├── modeling # 模型封装抽象
│ ├── runtime # 运行时编译和模型加载
│ ├── utils # 工具模块：日志/张量/Profiling/验证等
├── examples # 示例代码
├── docs # 项目文档介绍
├── src # C++ 核心引擎
│ ├── engine # LLM 引擎的主逻辑（调度/执行）
│ ├── scheduler # 调度器（FCFS/PDDS/Layerwise）
│ ├── block_manager # KV Cache 块管理（LRU/Prefix Cache/CoW）
│ ├── llm_manager # Python/C++ 桥接 API
│ ├── server # 服务端（gRPC/HTTP 接入端点）
│ ├── utils # 基础工具（共享内存/加密/日志/ID 生成等）
│ ├── include # 对外头文件接口
├── scripts # 构建与部署脚本
├── tools # 辅助工具
├── tests # 测试
├── CMakeLists.txt # CMake 构建配置
├── README.md
📢 版本说明
| MindIE 软件版本 | CANN 版本兼容性 |
|---|---|
| 2.3.0 | 8.5.0 |
⚡️ 环境部署
⚡️ 快速入门
快速体验使用MindIE进行大模型推理的全流程，请参见快速入门。
📝 学习文档
- 模型支持列表
- 代码仓模型支持列表：优先使用，提供当前版本经过测试充分验证支持和仅功能支持的模型全集。
- 昇腾社区模型支持列表：提供当前版本经过测试充分验证支持的模型。
- 特性介绍：MindIE LLM 支持的推理特性。
- LLM 使用指南：MindIE LLM 使用指南，包括推理参数配置、在线和离线推理、参数调优等。
📝贡献声明
- 提交错误报告：如果您在MindIE LLM中发现了一个不存在安全问题的漏洞，请在MindIE LLm仓库中的Issues搜索，以防该漏洞被重复提交，如果找不到漏洞可以创建一个新的Issues。如果发现了一个安全问题请不要将其公开，请参阅安全问题处理方式。提交错误报告时应包含完整信息。
- 安全问题处理：本项目中对安全问题处理的形式，请通过邮箱通知项目核心人员确认编辑。
- 解决现有问题：通过查看仓库的Issues列表可以发现需要处理的问题信息，可以尝试解决其中的某个问题。
- 如何提出新功能：请使用Issues的Feature标签进行标记，我们会定期处理和确认开发。
- 开始贡献：
a. Fork本项目的仓库。
b. Clone到本地。
c. 创建开发分支。
d. 本地自测，提交前请通过所有的单元测试，包括为您要解决的问题新增的单元测试。
e. 提交代码。
f. 新建Pull Request。
g. 代码检视，您需要根据评审意见修改代码，并重新提交更新。此流程可能涉及多轮迭代。
h. 当您的PR获取足够数量的检视者批准后，Committer会进行最终审核。
i. 审核和测试通过后，CI会将您的PR合并入到项目的主干分支。
更多贡献相关文档请参见贡献指南。
📝免责声明
版权所有© 2025-2026 MindIE Project.
您对 "本文档" 的复制、使用、修改及分发受知识共享（Creative Commons，CC）署名 —— 相同方式共享 4.0 国际公共许可协议（以下简称 "CC BY-SA 4.0"）的约束。为了方便用户理解，您可以通过访问 https://creativecommons.org/licenses/by-sa/4.0/ 了解 CC BY-SA 4.0 的概要（但不是替代）。关于 CC BY-SA 4.0 的完整协议内容，您可以访问如下网址获取：https://creativecommons.org/licenses/by-sa/4.0/legalcode。