MindIE LLM

📢 Latest News

• [2025/12] MindIE LLM 正式宣布开源并面向公众开放！ 会议日历

🚀 简介

MindIE LLM是昇腾的大语言模型推理加速套件，旨在通过深度优化的模型库和推理优化器，专门提升大模型在昇腾硬件上的推理性能和易用性。MindIE LLM基于昇腾硬件，提供业界通用大模型推理能力，多并发请求的调度，包含Continuous Batching、PagedAttention、FlashDecoding等加速特性，使能用户高性能推理需求。

🔍 目录结构

 ├── mindie_llm                                     # Python 推理框架主模块 
 │   ├── connector                                  # 请求接入层 
 │   ├── text_generator                             # 核心推理引擎 
 │   ├── modeling                                   # 模型封装抽象  
 │   ├── runtime                                    # 运行时编译和模型加载
 │   ├── utils                                      # 工具模块：日志/张量/Profiling/验证等 
 ├── examples                                       # 示例代码 
 ├── docs                                           # 项目文档介绍 
 ├── src                                            # C++ 核心引擎 
 │   ├── engine                                     # LLM 引擎的主逻辑（调度/执行） 
 │   ├── scheduler                                  # 调度器（FCFS/PDDS/Layerwise） 
 │   ├── block_manager                              # KV Cache 块管理（LRU/Prefix Cache/CoW） 
 │   ├── llm_manager                                # Python/C++ 桥接 API  
 │   ├── server                                     # 服务端（gRPC/HTTP 接入端点） 
 │   ├── utils                                      # 基础工具（共享内存/加密/日志/ID 生成等） 
 │   ├── include                                    # 对外头文件接口 
 ├── scripts                                        # 构建与部署脚本 
 ├── tools                                          # 辅助工具 
 ├── tests                                          # 测试                                             
 ├── CMakeLists.txt                                 # CMake 构建配置                          
 ├── README.md    
                              

📢 版本说明

MindIE 软件版本	CANN 版本兼容性
2.3.0	8.5.0

⚡️ 环境部署

• 通过软件包或镜像方式安装MindIE LLM，请参见安装指南。
• 通过拉取最新代码编译安装MindIE LLM，请参见编译安装指南。

⚡️ 快速入门

快速体验使用MindIE进行大模型推理的全流程，请参见快速入门。

📝 学习文档

• 模型支持列表
  • 代码仓模型支持列表：优先使用，提供当前版本经过测试充分验证支持和仅功能支持的模型全集。
  • 昇腾社区模型支持列表：提供当前版本经过测试充分验证支持的模型。
• 特性介绍：MindIE LLM 支持的推理特性。
• LLM 使用指南：MindIE LLM 使用指南，包括推理参数配置、在线和离线推理、参数调优等。

📝贡献声明

1. 提交错误报告：如果您在MindIE LLM中发现了一个不存在安全问题的漏洞，请在MindIE LLm仓库中的Issues搜索，以防该漏洞被重复提交，如果找不到漏洞可以创建一个新的Issues。如果发现了一个安全问题请不要将其公开，请参阅安全问题处理方式。提交错误报告时应包含完整信息。
2. 安全问题处理：本项目中对安全问题处理的形式，请通过邮箱通知项目核心人员确认编辑。
3. 解决现有问题：通过查看仓库的Issues列表可以发现需要处理的问题信息，可以尝试解决其中的某个问题。
4. 如何提出新功能：请使用Issues的Feature标签进行标记，我们会定期处理和确认开发。
5. 开始贡献：
   a. Fork本项目的仓库。
   b. Clone到本地。
   c. 创建开发分支。
   d. 本地自测，提交前请通过所有的单元测试，包括为您要解决的问题新增的单元测试。
   e. 提交代码。
   f. 新建Pull Request。
   g. 代码检视，您需要根据评审意见修改代码，并重新提交更新。此流程可能涉及多轮迭代。
   h. 当您的PR获取足够数量的检视者批准后，Committer会进行最终审核。
   i. 审核和测试通过后，CI会将您的PR合并入到项目的主干分支。

更多贡献相关文档请参见贡献指南。

📝免责声明

版权所有© 2025-2026 MindIE Project.

您对 "本文档" 的复制、使用、修改及分发受知识共享（Creative Commons，CC）署名 —— 相同方式共享 4.0 国际公共许可协议（以下简称 "CC BY-SA 4.0"）的约束。为了方便用户理解，您可以通过访问 https://creativecommons.org/licenses/by-sa/4.0/ 了解 CC BY-SA 4.0 的概要（但不是替代）。关于 CC BY-SA 4.0 的完整协议内容，您可以访问如下网址获取：https://creativecommons.org/licenses/by-sa/4.0/legalcode。

🌟 相关信息

• 安全声明
• LICENSE