BitNet:基于 C++ 的 1-bit 大语言模型推理框架项目

1-bit LLM 高效推理框架,支持 CPU 端快速运行。

Branch1Tags0

Introduction

1-bit LLM 高效推理框架,支持 CPU 端快速运行。

Customize your domain