foundry-local:基于 ONNX Runtime 的本地 AI 运行时项目

可将生成式 AI 直接嵌入应用,实现设备端推理,确保数据不离开设备、零网络延迟且支持离线使用。提供集成 SDK、CLI 工具,支持文本生成和语音转文本,自动硬件加速,跨平台且可自定义模型。【此简介由AI生成】

分支183Tags25

项目介绍

可将生成式 AI 直接嵌入应用,实现设备端推理,确保数据不离开设备、零网络延迟且支持离线使用。提供集成 SDK、CLI 工具,支持文本生成和语音转文本,自动硬件加速,跨平台且可自定义模型。【此简介由AI生成】

定制我的领域
772.48 K350访问 GitHub