The fastest local AI engine for Apple Silicon. 4.2x faster than Ollama, 0.08s cached TTFT, 100% tool calling. 17 tool parsers, prompt cache, reasoning separation, cloud routing. Drop-in OpenAI replacement. Works with Claude Code, Cursor, Aider.
项目介绍
适用于 Apple Silicon 的最快本地 AI 引擎。比 Ollama 快 4.2 倍，缓存首字输出时间仅 0.08 秒，工具调用成功率 100%。具备 17 种工具解析器、提示词缓存、推理分离、云端路由功能。可直接替代 OpenAI，兼容 Claude Code、Cursor、Aider。【此简介由AI生成】
Apache-2.0 Python1.36 K提交数apple-siliconclaude-codecursordeepseekfastapihacktoberfestinferencellmlocal-llmm1m2m3macosmlxollama-alternativeopenai-apipythonqwentool-calling
定制我的领域