GGUF 量化

引爆

把开放权重模型打包成 GGUF 的量化产物

9,397 New Hugging Face Likes This Week5 Projects Ranked62 Popular Articles
9,397
New Hugging Face Likes This Week

About

What It Is
把开放权重模型打包成 GGUF 格式的量化产物集合:覆盖不同参数量级的基座,按多种量化位宽输出,目标是把权重压到能下载、能放进单机内存或消费级显卡的体积。成员包括官方与社区的量化发布、去过滤改造后的量化版,以及图像模型带 GGUF 与 FP8 两种权重的版本。这类产物通常与基座模型同时上榜,是开放权重落地到本地推理的最后一环。
Why It's Trending
基座模型再强,跑不起来就没有使用价值。GGUF 把「能不能在我的机器上跑」变成可以取舍的问题:同一模型提供多档位宽,按显存与内存选,下载即可离线推理,数据不出内网。因此量化版往往比基座获得更长的使用周期,社区作者也乐于第一时间跟进。

Hot Projects

5
小模型做 3D 场景生成引发试用热潮
用一句话或一张参考图直接生成能跑的 Three.js 三维场景网页;输出是可改可比的代码,约4B参数,普通笔记本就能跑。
大语言模型代码生成
Hugging Face Likes 875·+84 in 24 Hours
量化图像模型持续被下载使用
文生图模型的量化加速版(7.1B):出图更快、显存占用更低,适合批量生产图片(可本地部署)
图像生成模型量化
Hugging Face Likes 5,713·+27 in 24 Hours
同系列版本持续上榜,下载保持活跃
同系列的 3D 代码生成模型(4.7B,GGUF 量化),单卡即可本地运行,适合在 3D 工作流里自动生成脚本
大语言模型3D 生成
Hugging Face Likes 256·+35 in 24 Hours
量化版持续被拉取,本地部署需求稳定
把27B模型转成多档GGUF量化,显存不够的机器挑低比特档也能跑,是本地部署该系列最省事的一条路。
GGUF 量化大语言模型
Hugging Face Likes 5,601·+21 in 24 Hours
量化后笔记本可跑,本地推理用户持续采纳
三值量化模型:27B 规模压到约 5.9GB,笔记本单卡即可跑,适合本地离线推理
模型量化GGUF 量化
Hugging Face Likes 2,952·+3 in 24 Hours

Hot Articles

62
刚刚放出的 FP16 全量权重,把这个 4B 3D 场景模型的二次微调口子打开了

在 4B 这个参数量级上做垂直微调,最尴尬的从来不是"能不能训",而是"拿到的权重能不能当起点"。Qwen3.5-4B-3D-Coder 此前只放出 Q4_K_M 与 Q8_0 两个 GGUF 量化包,这意味着它更像一个"可推理的成品",而不是"可改造的半成品"——量化块里的权重没法当 LoRA 的底座,更没法做全参微调。

2026-11-01
Read Article →
Perplexity 连夜开源 pplx-decider:底层竟是我们都在下的 Qwen3.8-27B

一个月前,闭源决策模型 Jev 抛出的"系统一模型"概念,还在让开源社区集体头疼怎么复刻。一个月后,Perplexity 直接把答案交了出来——不是论文,不是白皮书,而是一个开放权重的模型:pplx-decider-v1.1-27b。它不聊天、不写代码,只干一件事:读入一段文本或一张图片,按你预设的问题和候选项,直接吐出结果、概率与置信度,中间没有任何长篇大论。

2026-10-08
Read Article →
刚刚炸场:27B 大模型真的上手机了,Bonsai 适配 iPhone 引爆端侧 AI

端侧 AI 的军备竞赛,正在从一个数字变成另一个数字:过去几年,行业反复争论"多大的模型才能塞进手机",主流答案停留在 3B~8B;而这一次,PrismML 用两次连续发布把答案直接推到了 27B——2026 年 7 月 14 日,官方宣布 1-bit Bonsai 27B(3.9 GB)首次把 27B 级多模态模型搬上 iPhone 17 Pro;9 月 17 日,基于 Qwen3.8-27B 的第二代 Ternary Bonsai 2 27B 接棒,以 5.95 GB 的体型保留了全精度模型 98.2% 的综合能力。社区里"16GB 显卡跑 27B 大模型"的实测文章随之爆发式涌现,头条、谷歌新闻等平台将其定性为"全球首款手机级 27B 多模态 AI 模型"。

2026-10-08
Read Article →
上线一周逼近 3 万次下载:一个只写 3D 场景代码的 4B 模型凭什么被抢着拉

一个 4B 参数的模型,却在首周被拉走近 3 万次。这个数字之所以值得停下来看一眼,不是因为"小模型"又赢了,而是因为它下载的是2.5 GB 到 4.2 GB 的权重文件,而不是一次网页点击。

2026-11-01
Read Article →
655 万下载的 GGUF 版,才是 Qwen3.8-27B 登顶「HF 史上最受欢迎开源模型」的最大功臣

2026 年 9 月中旬,Hugging Face 更新"最受欢迎开源模型"榜单,阿里千问旗下的 Qwen3.8-27B 一举超越 FLUX.1、DeepSeek-R1、Kimi-K3、Meta-Llama-3 等一众标杆,成为该社区历史上最受欢迎的开源模型。新闻标题里常见的是"能力登顶""Opus 级 Agent""超越 Claude"这类词,但很少有人追问一个关键事实:这 655 万次下载,到底是谁扛下来的?

2026-10-08
Read Article →
一周 15 篇部署文刷屏 CSDN、ModelScope 冲进前十:Bonsai 2 突然全网爆火

9 月中旬之前,本地大模型玩家还在为"27B 参数到底要几张卡"吵架:FP16 权重 54GB,常规 4-bit 量化也要 13GB 起步,16GB 显存只能望洋兴叹。然而就在过去一周,风向突然变了——围绕 Bonsai 2 的部署教程像潮水一样涌进 CSDN,ModelScope 榜单冲进前十,模型页下载量突破 427 万次。这场爆火的源头,是一个听起来有点"反常识"的技术路线:把每个权重硬约束成 {-1, 0, +1} 三值,让 27B 大模型的显存账单降到 7GB 级别。本文基于社区情报与 README.md、KNOWN_ISSUES.md 源码级资料,复盘这场热度是怎么起来的、三进制凭什么能跑、以及它能否长久。

2026-10-08
Read Article →
4146 个场景样本一起开源:这次放的不只是权重,还有整条数据流水线

大多数"开源小模型"的发布止步于权重:一个 .safetensors、一张卡片、几行推荐参数,剩下的全部靠使用者自己猜。Qwen3.5-4B-3D-Coder 这次不同,它把三样东西一起放了出来:4,146 条 Three.js 场景样本的数据集(MIT 协议)、一份训练技术报告,以及从 FP16 全量权重到 Q4_K_M / Q8_0 的量化矩阵。模型本身只是一个 4B 级别的独立微调实验(基于 Qwen3.5-4B,作者 CCORE 明确声明这不是官方发布),真正稀缺的是它旁边那条可以被拆开、被复刻、被迁移的流水线。

2026-11-01
Read Article →
655 万下载背后:Unsloth 的 GGUF 量化到底对 Qwen3.8-27B 做了什么

2026 年 9 月中旬,Hugging Face 更新最受欢迎开源大模型榜单,Qwen3.8-27B 一举超越 FLUX.1、DeepSeek-R1、Kimi-K3、Meta-Llama-3 等一众明星模型,成为该社区历史上最受欢迎的开源模型。紧接着,Perplexity 悄悄放出基于它改造的决策模型 pplx-decider-v1.1-27b,在开源复刻 Jev 的 Decision Index 榜单上冲到第一;网友用单张 RTX 3090 配合 Q4_K_M 量化版,5 小时开发出可玩的僵尸射击游戏;还有人把它叠在 Cerebras 上搭出"AI 电脑桌面",生成速度逼近每秒 2000 token。

2026-10-08
Read Article →
10 月 27 日那个检查点,把「一次生成成功」从碰运气变成了常态

做 3D 代码生成这件事,评估口径很容易跑偏。社区里几乎所有的讨论都停留在“这图好看不好看”“这次生成的樱花树有没有氛围”——但对于一个输出「单文件 HTML + 内联 JavaScript + 远程加载 Three.js」的模型来说,好看只是必要条件,能不能一次跑通才是可用性本身。

2026-11-01
Read Article →
27B 单挑 2.4 万亿 Max:Qwen3.8 家族的「性价比之王」为什么是 27B

2026 年 8 月,阿里开源了 Qwen3.8 家族,舆论焦点几乎全部集中在那个数字上:2.4 万亿参数的 Qwen3.8-Max。但真正让开发者圈沸腾的,是同一时间放出的 27B 稠密模型——它用不到 Max 千分之一的参数量,在 SWEBench、Terminal Bench 等 13 项基准上反超上一代 397B 旗舰,并在 9 月 16 日登顶 Hugging Face「最受欢迎开源模型」历史榜单,成为该社区有史以来最受欢迎的开源模型。本文结合社区实测与仓库源码,拆解 27B 为什么是 Qwen3.8 家族的「性价比之王」。

2026-10-08
Read Article →