kubeai:在Kubernetes上部署和扩展机器学习模型,支持LLM、嵌入、重排序及语音转文本

AI Inference Operator for Kubernetes. The easiest way to serve ML models in production. Supports VLMs, LLMs, embeddings, and speech-to-text.

分支38Tags137

项目介绍

Kubernetes 上的 AI 推理操作符。在生产环境中部署机器学习模型的最便捷方案。支持大型语言模型、大型视觉模型、嵌入向量以及语音转文本。【此简介由AI生成】

定制我的领域
121.23 K130访问 GitHub