BitNet:基于 C++ 的 1-bit 大语言模型推理框架项目

Star188

Star188

Official inference framework for 1-bit LLMs

Introduction

一位低精度语言模型高效推理框架，可在CPU端实现快速运行。【此简介由AI生成】

MIT Python 107Commits

Customize your domain

34739.76 K3.66 KVisit GitHub