dynamo:基于 Rust 和 Python 的分布式生成式 AI 推理框架项目

Star4
0
代码
代码
Issues
Pull Requests
讨论
Wiki
分析
Star4
0

A Datacenter Scale Distributed Inference Serving Framework

分支2586Tags78

项目介绍

数据中心级分布式推理服务框架【此简介由AI生成】

Others Rust6.1 K提交数diffusiondisaggregated-servingkubernetesllm-inferenceomnirouting-enginerustsglangtensorrt-llmvllmprometheus应用
定制我的领域
README
727.53 K1.35 K访问 GitHub