infinity:基于 PyTorch/Optimum 的多模态模型推理服务项目

Infinity is a high-throughput, low-latency serving engine for text-embeddings, reranking models, clip, clap and colpali

分支24Tags80

项目介绍

Infinity 是一款高吞吐量、低延迟的 REST API,用于服务向量嵌入,支持多种句子转换器模型和框架。【此简介由AI生成】

定制我的领域
222.91 K197访问 GitHub