RAGSDK:基于昇腾的大语言模型知识增强开发套件

RAG SDK是昇腾面向大语言模型的知识增强开发套件,为解决大模型知识更新缓慢以及垂直领域知识回答弱的问题,面向大模型知识库提供垂域调优、生成增强、知识管理等特性,帮助用户搭建专属的高性能、准确度高的大模型问答系统

Branch1Tags0
FilesLast commitLast update
10 months ago
10 months ago
9 months ago
10 months ago
10 months ago
10 months ago
10 months ago
10 months ago
10 months ago
10 months ago
10 months ago
10 months ago
10 months ago
10 months ago

RAGSDK

最新消息

  • 2025.12.30:RAGSDK 开源发布

简介

RAGSDK是昇腾面向大语言模型的知识增强开发套件,为解决大模型知识更新缓慢以及垂直领域知识回答弱的问题,面向大模型知识库提供垂域调优、生成增强、知识管理等特性,帮助用户搭建专属的高性能、准确度高的大模型问答系统。

目录结构

├─build
├─mx_rag
│  ├─cache
│  ├─chain
│  ├─compress
│  ├─document
│  ├─embedding
│  ├─evaluate
│  ├─graphrag
│  ├─knowledge
│  ├─llm
│  ├─reranker
│  ├─retrievers
│  ├─storage
│  ├─summary
│  ├─tools
│  ├─utils
├─ops
├─output
├─script
├─tests
│  ├─data
│  └─python

版本说明

RAGSDK版本配套详情请参考:版本配套详情

环境部署

RAGSDK支持在容器内部署和在物理机内部署两种安装方式。

编译流程

在RAGSDK容器中,构建run包以及执行ut的流程。

  1. 到acendhub,下载ragsdk镜像,运行容器

  2. 下载代码到本地

git clone https://gitcode.com/Ascend/RAGSDK.git
cd RAGSDK
  1. 执行构建脚本
cd build
bash build.sh
  1. 构建完之后,run包在./ouput/目录下,安装run包
cd ../output/
./Ascend-mindxsdk-mxrag_{version}_linux-{arch}.run --install --install-path=<安装路径> --platform=<chip_type>

<chip_type>表示芯片类型,可在安装昇腾AI处理器的服务器执行npu-smi info命令进行查询,将查询到的“Name”最后一位数字删掉,即是--platform的取值。若是Atlas 800I A3 超节点服务器则取值为A3。

  1. 执行测试用例
cd ../tests/
bash run_py_test.sh

快速入门

RAGSDK提供快速构建基于昇腾平台问答系统的能力,提供多模态文档解析、知识库管理等能力,降低用户大模型应用开发门槛,支持对接开源生态。

  • 快速搭建:提供模块化功能接口,支持按需进行调用。通过预置的端到端工作流模板,支持用户通过极少量代码快速搭建问答服务。

  • 多模态解析:支持文档、表格、PDF、图片等多种类型文件的解析,为大模型提供多样性语料。

  • 高性能推理:提供昇腾亲和模型优化加速,实现更高的吞吐和更短的响应时间。

具体的操作请参考:快速入门。

特性介绍

RAGSDK组件提供多模态文档解析、知识库管理等能力,降低用户大模型应用开发门槛,支持对接开源生态。具体特性介绍如下:

特性名称 介绍 Released
文生文场景 link ✅
文本检索图片 link ✅
多轮对话 link ✅
调用Agentic RAG样例 link ✅
chat with ragsdk link ✅

API参考

API参考详见:API参考。

FAQ

相关FAQ请参考:FAQ。

安全声明

  • 当前容器方式部署本组件。
  • 该容器权限具有一定风险,建议用户自行进行安全加强。
  • 其他安全声明详见:安全声明
  • 通信矩阵详见:通信矩阵
  • 公网地址详见:公网地址

分支维护策略

版本分支的维护阶段如下:

状态 时间 说明
计划 1-3个月 计划特性
开发 3个月 开发新特性并修复问题,定期发布新版本
维护 3-12个月 常规分支维护3个月,长期支持分支维护12个月。对重大BUG进行修复,不合入新特性,并视BUG的影响发布补丁版本
生命周期终止(EOL) N/A 分支不再接受任何修改

版本维护策略

版本 维护策略 当前状态 发布日期 后续状态 EOL日期
master 长期支持 开发 2025-12-30 - -

免责声明

  • 本仓库代码中包含多个开发分支,这些分支可能包含未完成、实验性或未测试的功能。在正式发布前,这些分支不应被应用于任何生产环境或者依赖关键业务的项目中。请务必使用我们的正式发行版本,以确保代码的稳定性和安全性。 使用开发分支所导致的任何问题、损失或数据损坏,本项目及其贡献者概不负责。
  • 正式版本请参考release版本

License

RAGSDK以Mulan PSL v2许可证许可,对应许可证文本可查阅LICENSE。

建议与交流

欢迎大家为社区做贡献。如果有任何疑问或建议,请提交issue,我们会尽快回复。感谢您的支持。

Introduction

RAG SDK是昇腾面向大语言模型的知识增强开发套件,为解决大模型知识更新缓慢以及垂直领域知识回答弱的问题,面向大模型知识库提供垂域调优、生成增强、知识管理等特性,帮助用户搭建专属的高性能、准确度高的大模型问答系统

Customize your domain