Mooncake:基于 PyTorch 生态的 LLM 服务部署平台项目

Mooncake 是面向大模型服务的通信与存储基础设施，致力于让解耦式大模型架构真正能够在真实生产环境中稳定运行、持续扩展、灵活组合，由趋境科技、月之暗面 Kimi 、清华大学 MADSys 实验室、9#AISoft、阿里云、蚂蚁集团等产学研力量共同建设的开源分布式大模型推理架构。