Swap GPT for any LLM by changing a single line of code. Xinference lets you run open-source, speech, and multimodal models on cloud, on-prem, or your laptop — all through one unified, production-ready inference API.
项目介绍
在您的应用中，只需更改一行代码，即可将 OpenAI GPT 替换为其他大型语言模型（LLM）。Xinference 让您享有使用所需任意大型语言模型的自由。借助 Xinference，您能够灵活地在云端、本地或笔记本电脑上，运用任何开源语言模型、语音识别模型及多模态模型进行推理运算。【此简介由AI生成】
Apache-2.0 Python2.04 K提交数artificial-intelligencechatglmdeploymentflan-t5gemmaggmlglm4inferencellamallama3llamacppllmmachine-learningmistralopenai-apipytorchqwenvllmwhisperwizardlmtypescript应用
定制我的领域