ggml

面向机器学习的张量库

快速开始

从源码构建：

git clone https://github.com/ggml-org/ggml
cd ggml

mkdir build && cd build
cmake ..
cmake --build . --config Release -j 8

对于一个极简且带完整注释的示例（矩阵乘法），请参见 examples/simple。

简介

ggml 的主要目标，是成为一款面向机器学习的简单、可移植且高效的张量库，同时保持最低限度的配置。

• 纯 C/C++ 实现，无任何依赖
• 跨平台——x86、ARM、RISC-V、LoongArch、PowerPC、s390x 和 WebAssembly
• 针对 x86、ARM 和 RISC-V 的 SIMD 优化内核
• 广泛的后端支持——CPU、GPU、NPU 和浏览器
• 2 位至 8 位整数量化，以及 MXFP4 和 NVFP4 微缩放格式
• 运行时零内存分配

文档

• GGUF 文件格式
• ggml 简介
• GGML 技巧与窍门

参与贡献

• 若涉及核心 ggml 库的修改（包括 CMake 构建系统），请在 llama.cpp 中提交 PR——这样能提升你的 PR 可见性、测试充分性，并更可能获得审阅