描述

RKNN 软件栈能够帮助用户快速将 AI 模型部署到 Rockchip 芯片上。整体框架如下所示：

为了使用 RKNPU，用户需要首先在计算机上运行 RKNN-Toolkit2 工具，将训练好的模型转换为 RKNN 格式的模型，然后使用 RKNN C API 或 Python API 在开发板上进行推理。

• RKNN-Toolkit2 是一个软件开发工具包，供用户在 PC 和 Rockchip NPU 平台上执行模型转换、推理和性能评估。

• RKNN-Toolkit-Lite2 为 Rockchip NPU 平台提供了 Python 编程接口，帮助用户部署 RKNN 模型并加速 AI 应用的实现。

• RKNN Runtime 为 Rockchip NPU 平台提供了 C/C++ 编程接口，帮助用户部署 RKNN 模型并加速 AI 应用的实现。

• RKNPU 内核驱动负责与 NPU 硬件进行交互。该驱动已开源，可以在 Rockchip 内核代码中找到。

支持平台

• RK3588 系列
  • RK3576 系列
  • RK3566/RK3568 系列
  • RK3562 系列
  • RV1103/RV1106
  • RV1103B/RV1106B
  • RV1126B
  • RK2118

注意：

​ 对于 RK1808/RV1109/RV1126/RK3399Pro，请参考：

​ https://github.com/airockchip/rknn-toolkit

​ https://github.com/airockchip/rknpu

​ https://github.com/airockchip/RK3399Pro_npu

下载

• 您还可以从 RKNPU2_SDK 下载所有软件包、Docker 镜像、示例、文档和平台工具，获取代码：rknn
• 您可以在 rknn 模型库 中获取更多示例

说明

• RKNN-Toolkit2 与 RKNN-Toolkit 不兼容
• 支持的 Python 版本包括：
  • Python 3.6
  • Python 3.7
  • Python 3.8
  • Python 3.9
  • Python 3.10
  • Python 3.11
  • Python 3.12
• 最新版本：v2.3.2

RKNN 大模型

如果您想要部署大语言模型（LLM），我们引入了一个新的 SDK，名为 RKNN-LLM。具体详情请参考：

https://github.com/airockchip/rknn-llm

更新日志

v2.3.2

• 支持RV1126B平台
• 优化了 einsum 和 Norm 操作的支持
• 添加了自动混合精度功能
• 增�圾收集优化能力增强

对于旧版本，请参考 更新日志

反馈与社区支持

• Redmine (建议提供反馈，请联系我们的销售或FAE获取 redmine 账户)
• QQ 群聊：1025468710（已满，请加入群聊4）
• QQ 群聊2：547021958（已满，请加入群聊4）
• QQ 群聊3：469385426（已满，请加入群聊4）
• QQ 群聊4：958083853