node-llama-cpp:本地运行大语言模型,支持多硬件加速与函数调用,提供预编译二进制

Run AI models locally on your machine with node.js bindings for llama.cpp. Enforce a JSON schema on the model output on the generation level

分支1Tags136

项目介绍

在您的计算机上利用node.js绑定的llama.cpp本地运行AI模型。在生成级别上强制对模型输出应用JSON架构。【此简介由AI生成】

定制我的领域
202.14 K208访问 GitHub