LLM inference server with continuous batching & SSD caching for Apple Silicon — managed from the macOS menu bar
Introduction
适用于 Apple Silicon 的 LLM 推理服务器，具备连续批处理和 SSD 缓存功能 — 可通过 macOS 菜单栏进行管理【此简介由AI生成】
Customize your domainLLM inference server with continuous batching & SSD caching for Apple Silicon — managed from the macOS menu bar
适用于 Apple Silicon 的 LLM 推理服务器，具备连续批处理和 SSD 缓存功能 — 可通过 macOS 菜单栏进行管理【此简介由AI生成】
Customize your domain