ds4:基于 GGML 生态的本地推理引擎项目

可在高性能个人设备上高效运行 DeepSeek V4 系列模型,支持长上下文处理与工具调用。核心功能包括 Metal/CUDA 优化后端、KV 缓存磁盘流、HTTP 服务 API 及集成编码代理,提供专用 GGUF 生成与测试工具。【此简介由AI生成】

分支12Tags77

项目介绍

可在高性能个人设备上高效运行 DeepSeek V4 系列模型,支持长上下文处理与工具调用。核心功能包括 Metal/CUDA 优化后端、KV 缓存磁盘流、HTTP 服务 API 及集成编码代理,提供专用 GGUF 生成与测试工具。【此简介由AI生成】

定制我的领域