localllm:基于 llama-cpp-python 的本地大语言模型运行项目

可在本地或云工作站运行量化大语言模型,支持模型下载、启动、停止等管理,提供 OpenAPI 接口和文档,方便交互与集成。【此简介由AI生成】

分支1Tags0

项目介绍

可在本地或云工作站运行量化大语言模型,支持模型下载、启动、停止等管理,提供 OpenAPI 接口和文档,方便交互与集成。【此简介由AI生成】

定制我的领域
221.55 K119访问 GitHub