localllm:基于 llama-cpp-python 的本地大语言模型运行项目

可在本地或云工作站运行量化大语言模型,支持模型下载、启动、停止等管理,提供 OpenAPI 接口和文档,方便交互与集成。【此简介由AI生成】

Branch1Tags0

Introduction

可在本地或云工作站运行量化大语言模型,支持模型下载、启动、停止等管理,提供 OpenAPI 接口和文档,方便交互与集成。【此简介由AI生成】

Customize your domain
221.55 K119Visit GitHub