sglang:基于大语言模型与视觉语言模型的快速服务框架项目

可用于高效部署和交互大语言模型与视觉语言模型,提供更快更可控的模型交互体验。核心功能包括高效后端运行时、灵活前端语言及广泛模型支持,支持多种优化技术和模型类型。【此简介由AI生成】

Branch14Tags69

Introduction

可用于高效部署和交互大语言模型与视觉语言模型,提供更快更可控的模型交互体验。核心功能包括高效后端运行时、灵活前端语言及广泛模型支持,支持多种优化技术和模型类型。【此简介由AI生成】

Customize your domain