我的第一个ChatBot
Access rate limit exceeded. Please log in to continue.
AI Chat API
一个基于 FastAPI 构建的 AI 聊天应用,前端采用 ChatGPT 风格的深色主题界面,后端支持流式输出,可对接 LM Studio 等本地大模型。
功能特性
- ChatGPT 风格界面 — 深色主题,简洁美观,支持 Markdown 渲染与代码语法高亮
- 流式输出 — AI 回复以打字机效果逐字呈现,体验流畅
- 多会话管理 — 基于
session_id的多用户会话隔离,聊天记录独立存储 - Markdown + 代码高亮 — 集成 marked.js 与 highlight.js,AI 输出的代码块自动高亮
- 双模式后端 — 提供固定回复(演示模式)和 LM Studio 对接(真实 AI)两种后端
技术栈
| 层级 | 技术 |
|---|---|
| 后端框架 | FastAPI |
| AI 接口 | OpenAI Python SDK(兼容 LM Studio) |
| 前端 | 原生 HTML/CSS/JS(无框架依赖) |
| Markdown | marked.js + highlight.js |
项目结构
AI Chat API/
├── apps/
│ ├── main.py # 后端(演示模式:固定回复)
│ └── main1.py # 后端(生产模式:对接 LM Studio)
├── index.html # 前端聊天界面
├── requirement.txt # Python 依赖
├── .env # 环境变量配置
└── README.md
快速开始
1. 环境准备
- Python 3.10+
- LM Studio(如需真实 AI 回复)
2. 安装依赖
pip install -r requirement.txt
3. 配置环境变量
在 .env 文件中配置:
OPENAI_BASE_URL=http://localhost:1234/v1
OPENAI_API_KEY=lm-studio
4. 启动服务
演示模式(固定回复,无需 LM Studio):
uvicorn apps.main:app --reload --port 8000
生产模式(对接 LM Studio 本地模型):
# 先启动 LM Studio 并加载模型(如 gemma-4-e4b-it),确保 API 服务运行在 1234 端口
uvicorn apps.main1:app --reload --port 8000
5. 访问应用
打开浏览器访问 http://localhost:8000,即可开始对话。
API 接口
POST /chat
发送聊天消息,返回流式响应。
请求体:
{
"session_id": "user1",
"message": "你好,请介绍一下自己"
}
响应: text/plain 流式数据
POST /reset
清空指定会话的聊天记录。
请求体:
{
"session_id": "user1"
}
GET /
返回前端聊天界面(index.html)。
架构说明
sequenceDiagram
participant Browser as 浏览器
participant FastAPI as FastAPI 后端
participant LLM as LM Studio (本地模型)
Browser->>FastAPI: POST /chat {session_id, message}
FastAPI->>FastAPI: 管理会话上下文
FastAPI->>LLM: OpenAI 兼容 API 调用 (Stream)
LLM-->>FastAPI: 逐 token 流式返回
FastAPI-->>Browser: StreamingResponse 逐字推送
Browser->>Browser: 实时渲染 Markdown + 高亮
main.py中的generate_response返回固定文本,用于 UI 调试和演示main1.py中的generate_response通过 OpenAI SDK 调用 LM Studio,实现真正的 AI 对话- 前端通过
fetch+ReadableStream消费 SSE 风格的流式响应,实时更新 DOM
许可
MIT License