AI Inference Operator for Kubernetes. The easiest way to serve ML models in production. Supports VLMs, LLMs, embeddings, and speech-to-text.
项目介绍
Kubernetes 上的 AI 推理操作符。在生产环境中部署机器学习模型的最便捷方案。支持大型语言模型、大型视觉模型、嵌入向量以及语音转文本。【此简介由AI生成】
Apache-2.0 Go393提交数aiautoscalerfaster-whisperinference-operatork8skubernetesllmollamaollama-operatoropenai-apivllmvllm-operatorwhisper
定制我的领域