LLM 模型转发网关 — 软件介绍

一、软件概述

LLM 模型转发网关是一款 Windows 平台的桌面工具（Python + PyQt5 + FastAPI），集「本地聊天客户端」与「局域网 API 转发网关」于一体。它可以把多个上游大模型 API（OpenAI 兼容中转站、Anthropic 官方接口等）统一包装成标准接口，提供给局域网内的 WorkBuddy、Claude Code、各类 SDK 客户端调用，实现一处配置、多端共享、统一鉴权与管理。

二、核心功能

1. 双协议网关转发

• OpenAI 协议入口：/v1/chat/completions（支持流式 SSE / 非流式）
• Anthropic 协议入口：/v1/messages，兼容 Claude Code 与官方 SDK
• 协议双向自动转换，上游是 OpenAI 还是 Anthropic 都能对接；兼容 /v1/models 探测、别名路由等

2. 多模型路由管理

• 模型管理页可新增/编辑/删除多个上游模型（名称、模型 ID、BaseURL、ApiKey、协议、上游模型名、专属系统提示词）
• 按客户端传入的 model 字段精确路由；未注册模型直接拒绝（404），可设默认模型、启用/停用
• 支持批量导入模型 JSON、保存并热加载生效（无需重启网关）

3. 安全与流控

• 网关访问密码鉴权（Bearer / x-api-key）
• IP 黑名单 / 白名单过滤（关闭 / 黑名单 / 白名单三种模式）
• 最大并发连接限制，超限返回 429

4. 运行监控与自检

• 实时统计：当前在线连接、处理中请求数、累计总请求、运行时长、最近客户端
• 网关日志面板：实时滚动、按字节增量拉取、一键导出
• /v1/health 自检接口：一眼确认配置是否加载、上游地址、密钥、鉴权状态

5. 本地聊天客户端

• 图形化聊天窗口，回车发送 / Shift+回车换行，支持清空上下文
• 全局或按模型配置 System Prompt，发送前自动注入/替换

6. 便利特性

• 依赖自动安装（缺 fastapi / uvicorn / requests 时自动 pip 安装）
• 系统托盘运行、启动最小化、Windows 开机自启
• 一键复制网关接口地址与鉴权密钥、局域网 IP 自动探测、端口占用检测
• 网关以独立子进程运行，可随时启停且正确释放端口

三、文件说明

文件	作用
模型转发网关.py	主程序：GUI + 网关服务
启动网关_无界面.py	无 GUI 启动网关（供服务/脚本对接）
自检网关.py	一键自检脚本（纯标准库，5 步连通性诊断）
llm_config.json	网关与接口配置
models.json	模型列表
gateway_stat.json / gateway_logs.txt	请求统计 / 运行日志

四、快速开始

pip install fastapi uvicorn requests PyQt5
python 模型转发网关.py

在「设置」页填写上游 BaseURL、ApiKey，选择协议，勾选「启用API转发网关」并启动；其他电脑客户端把地址指向 http://<你的IP>:8500/v1、ApiKey 填网关密钥即可使用。对接有问题时运行：

python 自检网关.py http://192.168.x.x:8500/v1 123456