Mantis:基于 Python 与本地大模型的私有化 AI 知识库项目

Python版MantisAI; 本地私有知识库系统。

Branch1Tags0

MantisAI-Python版

logo.png

介绍

MantisAI 是一套轻量化本地私有化 AI 知识库解决方案,专为中小制造、工贸企业打造。 无需云端上传内部合同、采购制度、生产手册,所有文档、对话、向量数据全部保存在企业本地服务器,彻底解决公有大模型数据泄露、回答凭空编造的痛点,零基础可视化操作,不用开发代码即可落地企业私有问答 AI。

系统架构

MantisAI架构.png

安装

  1. 安装python: Python 版本推荐:3.10‑3.11
  2. 建立requirements.txt 完整依赖内容如下:
fastapi>=0.110.0
uvicorn[standard]
pydantic>=2.5
chromadb
jieba
rank_bm25
playwright
httpx
jinja2
python‑multipart
  1. 安装 python 依赖包(国内清华镜像加速)

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

  1. 安装 Playwright Chromium

powershell

$env:PLAYWRIGHT_DOWNLOAD_HOST="https://npmmirror.com/mirrors/playwright/"
python -m playwright install chromium
  1. Windows Tesseract OCR 完整部署
  • Windows系统需要做,Linux不需要;代码默认windows系统,若运行在Linux环境,需要修改main.py中的tesseract 路径配置部分
  • 下面再windows环境做:
1)下载安装包:tesseract-ocr-w64-setup-v5.3.0.20221222.exe(UB-Mannheim官方),并安装。
2)安装路径记录:C:\Program Files\Tesseract-OCR
3)配置系统环境变量:此电脑→高级系统设置→环境变量→系统PATH新增C:\Program Files\Tesseract-OCR
4)main.py硬编码兜底路径
import pytesseract
pytesseract.tesseract_cmd = r'C:\Program Files\Tesseract-OCR\tesseract.exe'
os.environ['TESSDATA_PREFIX'] = r'C:\Program Files\Tesseract-OCR\tessdata'
5)下载中文/英文语言包:https://github.com/tesseract-ocr/tessdata
必需文件:chi_sim.traineddata(简体中文)、eng.traineddata(英文)
6)放入:Library\tessdata目录下

运行

  1. 首先需要3类大模型支持,可以是本地或公网的。下面是本地实践。推理模型建议使用deepseek,因为推理能力比较强。
  • 若本地使用ollama则可安装下面三个模型;每种模型必须有一个,但不是一定要使用下面的模型:
作用 模型名称
推理模型 deepseek-r1:7b
向量文件句子嵌入模型 nomic-embed-text
图片,word,excel,ppt文件内容识别 glm-ocr:q8_0
  • 若本地使用llama.cpp则可安装下面三个模型;每种模型必须有一个,但不是一定要使用下面的模型:
作用 模型名称
推理模型 deepseek-r1_Q4_K_M.gguf
向量文件句子嵌入模型 bge-base-zh-v1.5-q4_k_m.gguf
图片,word,excel,ppt文件内容识别 GLM-OCR-Q4_K_M.gguf
  • 启动上面的三个模型
  1. 启动MantisAI
- cd 下载的目录
- python .\main.py

launch.png

3.浏览器打开网页,端口5000;就可进入主页面。

  • 主界面 MainGUI.png
  • markdown2pdf界面 MK2PDF.png

Introduction

Python版MantisAI; 本地私有知识库系统。

Customize your domain