GGUF 量化
引爆把开放权重模型打包成 GGUF 的量化产物
About
Hot Projects
5Hot Articles
62在 4B 这个参数量级上做垂直微调,最尴尬的从来不是"能不能训",而是"拿到的权重能不能当起点"。Qwen3.5-4B-3D-Coder 此前只放出 Q4_K_M 与 Q8_0 两个 GGUF 量化包,这意味着它更像一个"可推理的成品",而不是"可改造的半成品"——量化块里的权重没法当 LoRA 的底座,更没法做全参微调。
一个月前,闭源决策模型 Jev 抛出的"系统一模型"概念,还在让开源社区集体头疼怎么复刻。一个月后,Perplexity 直接把答案交了出来——不是论文,不是白皮书,而是一个开放权重的模型:pplx-decider-v1.1-27b。它不聊天、不写代码,只干一件事:读入一段文本或一张图片,按你预设的问题和候选项,直接吐出结果、概率与置信度,中间没有任何长篇大论。
端侧 AI 的军备竞赛,正在从一个数字变成另一个数字:过去几年,行业反复争论"多大的模型才能塞进手机",主流答案停留在 3B~8B;而这一次,PrismML 用两次连续发布把答案直接推到了 27B——2026 年 7 月 14 日,官方宣布 1-bit Bonsai 27B(3.9 GB)首次把 27B 级多模态模型搬上 iPhone 17 Pro;9 月 17 日,基于 Qwen3.8-27B 的第二代 Ternary Bonsai 2 27B 接棒,以 5.95 GB 的体型保留了全精度模型 98.2% 的综合能力。社区里"16GB 显卡跑 27B 大模型"的实测文章随之爆发式涌现,头条、谷歌新闻等平台将其定性为"全球首款手机级 27B 多模态 AI 模型"。
一个 4B 参数的模型,却在首周被拉走近 3 万次。这个数字之所以值得停下来看一眼,不是因为"小模型"又赢了,而是因为它下载的是2.5 GB 到 4.2 GB 的权重文件,而不是一次网页点击。
2026 年 9 月中旬,Hugging Face 更新"最受欢迎开源模型"榜单,阿里千问旗下的 Qwen3.8-27B 一举超越 FLUX.1、DeepSeek-R1、Kimi-K3、Meta-Llama-3 等一众标杆,成为该社区历史上最受欢迎的开源模型。新闻标题里常见的是"能力登顶""Opus 级 Agent""超越 Claude"这类词,但很少有人追问一个关键事实:这 655 万次下载,到底是谁扛下来的?
9 月中旬之前,本地大模型玩家还在为"27B 参数到底要几张卡"吵架:FP16 权重 54GB,常规 4-bit 量化也要 13GB 起步,16GB 显存只能望洋兴叹。然而就在过去一周,风向突然变了——围绕 Bonsai 2 的部署教程像潮水一样涌进 CSDN,ModelScope 榜单冲进前十,模型页下载量突破 427 万次。这场爆火的源头,是一个听起来有点"反常识"的技术路线:把每个权重硬约束成 {-1, 0, +1} 三值,让 27B 大模型的显存账单降到 7GB 级别。本文基于社区情报与 README.md、KNOWN_ISSUES.md 源码级资料,复盘这场热度是怎么起来的、三进制凭什么能跑、以及它能否长久。
大多数"开源小模型"的发布止步于权重:一个 .safetensors、一张卡片、几行推荐参数,剩下的全部靠使用者自己猜。Qwen3.5-4B-3D-Coder 这次不同,它把三样东西一起放了出来:4,146 条 Three.js 场景样本的数据集(MIT 协议)、一份训练技术报告,以及从 FP16 全量权重到 Q4_K_M / Q8_0 的量化矩阵。模型本身只是一个 4B 级别的独立微调实验(基于 Qwen3.5-4B,作者 CCORE 明确声明这不是官方发布),真正稀缺的是它旁边那条可以被拆开、被复刻、被迁移的流水线。
2026 年 9 月中旬,Hugging Face 更新最受欢迎开源大模型榜单,Qwen3.8-27B 一举超越 FLUX.1、DeepSeek-R1、Kimi-K3、Meta-Llama-3 等一众明星模型,成为该社区历史上最受欢迎的开源模型。紧接着,Perplexity 悄悄放出基于它改造的决策模型 pplx-decider-v1.1-27b,在开源复刻 Jev 的 Decision Index 榜单上冲到第一;网友用单张 RTX 3090 配合 Q4_K_M 量化版,5 小时开发出可玩的僵尸射击游戏;还有人把它叠在 Cerebras 上搭出"AI 电脑桌面",生成速度逼近每秒 2000 token。
做 3D 代码生成这件事,评估口径很容易跑偏。社区里几乎所有的讨论都停留在“这图好看不好看”“这次生成的樱花树有没有氛围”——但对于一个输出「单文件 HTML + 内联 JavaScript + 远程加载 Three.js」的模型来说,好看只是必要条件,能不能一次跑通才是可用性本身。
2026 年 8 月,阿里开源了 Qwen3.8 家族,舆论焦点几乎全部集中在那个数字上:2.4 万亿参数的 Qwen3.8-Max。但真正让开发者圈沸腾的,是同一时间放出的 27B 稠密模型——它用不到 Max 千分之一的参数量,在 SWEBench、Terminal Bench 等 13 项基准上反超上一代 397B 旗舰,并在 9 月 16 日登顶 Hugging Face「最受欢迎开源模型」历史榜单,成为该社区有史以来最受欢迎的开源模型。本文结合社区实测与仓库源码,拆解 27B 为什么是 Qwen3.8 家族的「性价比之王」。