RAGSDK:基于昇腾的大语言模型知识增强开发套件

RAG SDK是昇腾面向大语言模型的知识增强开发套件,为解决大模型知识更新缓慢以及垂直领域知识回答弱的问题,面向大模型知识库提供垂域调优、生成增强、知识管理等特性,帮助用户搭建专属的高性能、准确度高的大模型问答系统

分支2Tags0
文件最后提交记录最后更新时间
7 个月前
7 个月前
7 个月前
7 个月前
7 个月前
7 个月前
7 个月前
7 个月前
7 个月前
7 个月前
7 个月前
7 个月前
7 个月前

RAGSDK

最新消息

  • 2025.12.30:RAGSDK 开源发布

简介

RAGSDK是昇腾面向大语言模型的知识增强开发套件,为解决大模型知识更新缓慢以及垂直领域知识回答弱的问题,面向大模型知识库提供垂域调优、生成增强、知识管理等特性,帮助用户搭建专属的高性能、准确度高的大模型问答系统。

目录结构

├─build
├─mx_rag
│  ├─cache
│  ├─chain
│  ├─compress
│  ├─document
│  ├─embedding
│  ├─evaluate
│  ├─graphrag
│  ├─knowledge
│  ├─llm
│  ├─reranker
│  ├─retrievers
│  ├─storage
│  ├─summary
│  ├─tools
│  ├─utils
├─ops
├─output
├─script
├─tests
│  ├─data
│  └─python

版本说明

RAGSDK版本配套详情请参考:版本配套详情

环境部署

RAGSDK支持在容器内部署和在物理机内部署两种安装方式。

编译流程

在RAGSDK容器中,构建run包以及执行ut的流程。

  1. acendhub,下载ragsdk镜像,运行容器

  2. 下载代码到本地

git clone https://gitcode.com/Ascend/RAGSDK.git
cd RAGSDK
  1. 执行构建脚本
cd build
bash build.sh
  1. 构建完之后,run包在./ouput/目录下,安装run包
cd ../output/
./Ascend-mindxsdk-mxrag_{version}_linux-{arch}.run --install --install-path=<安装路径> --platform=<chip_type>

<chip_type>表示芯片类型,可在安装昇腾AI处理器的服务器执行npu-smi info命令进行查询,将查询到的“Name”最后一位数字删掉,即是--platform的取值。若是Atlas 800I A3 超节点服务器则取值为A3。

  1. 执行测试用例
cd ../tests/
bash run_py_test.sh

快速入门

RAGSDK提供快速构建基于昇腾平台问答系统的能力,提供多模态文档解析、知识库管理等能力,降低用户大模型应用开发门槛,支持对接开源生态。

  • 快速搭建:提供模块化功能接口,支持按需进行调用。通过预置的端到端工作流模板,支持用户通过极少量代码快速搭建问答服务。

  • 多模态解析:支持文档、表格、PDF、图片等多种类型文件的解析,为大模型提供多样性语料。

  • 高性能推理:提供昇腾亲和模型优化加速,实现更高的吞吐和更短的响应时间。

具体的操作请参考:快速入门

特性介绍

RAGSDK组件提供多模态文档解析、知识库管理等能力,降低用户大模型应用开发门槛,支持对接开源生态。具体特性介绍如下:

特性名称 介绍 Released
文生文场景 link
文本检索图片 link
多轮对话 link
调用Agentic RAG样例 link
chat with ragsdk link

API参考

API参考详见:API参考

FAQ

相关FAQ请参考:FAQ

安全声明

  • 当前容器方式部署本组件。
  • 该容器权限具有一定风险,建议用户自行进行安全加强。
  • 其他安全声明详见:安全声明
  • 通信矩阵详见:通信矩阵
  • 公网地址详见:公网地址

分支维护策略

版本分支的维护阶段如下:

状态 时间 说明
计划 1-3个月 计划特性
开发 3个月 开发新特性并修复问题,定期发布新版本
维护 3-12个月 常规分支维护3个月,长期支持分支维护12个月。对重大BUG进行修复,不合入新特性,并视BUG的影响发布补丁版本
生命周期终止(EOL) N/A 分支不再接受任何修改

版本维护策略

版本 维护策略 当前状态 发布日期 后续状态 EOL日期
master 长期支持 开发 2025-12-30 - -

免责声明

  • 本仓库代码中包含多个开发分支,这些分支可能包含未完成、实验性或未测试的功能。在正式发布前,这些分支不应被应用于任何生产环境或者依赖关键业务的项目中。请务必使用我们的正式发行版本,以确保代码的稳定性和安全性。 使用开发分支所导致的任何问题、损失或数据损坏,本项目及其贡献者概不负责。
  • 正式版本请参考release版本

License

RAGSDK以Mulan PSL v2许可证许可,对应许可证文本可查阅LICENSE

建议与交流

欢迎大家为社区做贡献。如果有任何疑问或建议,请提交issue,我们会尽快回复。感谢您的支持。

项目介绍

RAG SDK是昇腾面向大语言模型的知识增强开发套件,为解决大模型知识更新缓慢以及垂直领域知识回答弱的问题,面向大模型知识库提供垂域调优、生成增强、知识管理等特性,帮助用户搭建专属的高性能、准确度高的大模型问答系统

定制我的领域