文件最后提交记录最后更新时间
update-dockerfile1 个月前
添加RAG skill27 天前
RAG样例调整3 个月前
README.md

RAG SDK

RAG SDK是昇腾面向大语言模型的知识增强开发套件,为解决大模型知识更新缓慢以及垂直领域知识问答弱的问题,面向大模型知识库提供垂域调优、生成增强、知识管理等特性,帮助用户搭建专属的高性能、准确度高的大模型问答系统。

版本配套说明

本版本配套RAG SDK 7.3.0版本使用,依赖的其他配套软件版本为:

软件包简称 配套版本
CANN软件包 8.5.0
二进制算子包 8.5.0
npu-drive驱动包 25.5.0
npu-firmware固件包 25.5.0
Index SDK检索软件包 7.3.0
MindIE推理引擎软件包 2.3.0
Ascend Docker Runtime 7.0.RC1

支持的硬件和运行环境

产品系列 产品型号
Atlas 推理系列产品 Atlas 300I Duo 推理卡
Atlas 800I A2推理产品 Atlas 800I A2 推理服务器

支持的软件运行环境为:Ubuntu 22.04,Python3.11

目录结构与说明

目录 说明
Dockerfile 部署RAG SDK容器,用户若自行准备镜像文件的参考样例,对应《RAG SDK 用户指南》"安装部署/安装RAG SDK"章节。
Samples RAG SDK完整开发流程的开发参考样例,包含"创建知识库"、"在线问答"、"MxRAGCache缓存和自动生成QA"。
langgraph Agentic RAG样例。
sd_samples 安装并运行stable_diffusion模型参考样例。