Demo运行说明
功能描述
基于 FastAPI 构建的多线程并发问答知识库样例。通过 FastAPI 服务端接收问答请求，使用线程池实现并发处理，验证 RAG SDK 在多线程场景下的稳定性。主要特性包括：
- FastAPI 服务化：将 RAG 问答能力封装为 HTTP 接口，支持并发请求
- 线程池并发：使用
ThreadPoolExecutor实现多线程并发问答 - 本地/服务化模型支持：embedding 和 reranker 支持本地部署或 TEI 服务化部署
- 多格式文档加载：支持 docx 等格式文档的加载与入库
前提条件
执行Demo前请先阅读《RAG SDK 用户指南》，并按照其中"安装部署"章节的要求完成必要软、硬件安装。 本章节为"应用开发"章节提供开发样例代码,便于开发者快速开发。
样例说明
详细的样例介绍请参考《RAG SDK 用户指南》"应用开发"章节说明。
Note
注意：创建知识库过程和在线问答过程使用的embedding模型、关系数据库路径、向量数据库路径需对应保持一致。其中关系数据库和向量数据库路径在样例代码中已经默认设置成一致，embedding模型需用户手动设置成一致。
运行及参数说明
1.调用示例。
# 为启动fastapi服务端在线问答
python3 fastapi_multithread.py --llm_url http://x.x.x.x:port/v1/chat/completions
# 访问知识库
python3 fastapi_request.py
Note
说明: 调用示例前请先根据用户实际情况完成参数配置,确保embedding模型路径正确，大模型能正常访问，文件路径正确等，参数可以通过修改样例代码，也可通过命令行的方式传入。
2.参数说明
python3 fastapi_multithread.py --help