GGUF 量化
引爆把模型转成 GGUF 格式供普通显卡与本地引擎运行的量化产物
About
Hot Projects
9Hot Articles
131最近本地部署圈又在传一个新东西。
在端侧语音合成这条赛道上,“能跑”和“跑得好”长期是两件事:小模型音质发虚,大模型手机装不下。ZONOS3-Mini 试图把这两件事同时解掉——总参数 800M 级别的稀疏 MoE 主干,每 token 只激活约 100M,44.1 kHz 输出,支持 43 种语言与零样本音色克隆,权重以 Apache 2.0 放出。开源五天,Hugging Face 页面下载破 1.3 万、点赞 296。
11 月 4 日,一家叫 webAI 的实验室悄悄开源了一个只有 8.8B 参数的小模型,名字叫 TwIL-8B。
先说一个让老玩家有点恍惚的场景。
在 4B 这个参数量级上做垂直微调,最尴尬的从来不是"能不能训",而是"拿到的权重能不能当起点"。Qwen3.5-4B-3D-Coder 此前只放出 Q4_K_M 与 Q8_0 两个 GGUF 量化包,这意味着它更像一个"可推理的成品",而不是"可改造的半成品"——量化块里的权重没法当 LoRA 的底座,更没法做全参微调。
一个月前,闭源决策模型 Jev 抛出的"系统一模型"概念,还在让开源社区集体头疼怎么复刻。一个月后,Perplexity 直接把答案交了出来——不是论文,不是白皮书,而是一个开放权重的模型:pplx-decider-v1.1-27b。它不聊天、不写代码,只干一件事:读入一段文本或一张图片,按你预设的问题和候选项,直接吐出结果、概率与置信度,中间没有任何长篇大论。
端侧 AI 的军备竞赛,正在从一个数字变成另一个数字:过去几年,行业反复争论"多大的模型才能塞进手机",主流答案停留在 3B~8B;而这一次,PrismML 用两次连续发布把答案直接推到了 27B——2026 年 7 月 14 日,官方宣布 1-bit Bonsai 27B(3.9 GB)首次把 27B 级多模态模型搬上 iPhone 17 Pro;9 月 17 日,基于 Qwen3.8-27B 的第二代 Ternary Bonsai 2 27B 接棒,以 5.95 GB 的体型保留了全精度模型 98.2% 的综合能力。社区里"16GB 显卡跑 27B 大模型"的实测文章随之爆发式涌现,头条、谷歌新闻等平台将其定性为"全球首款手机级 27B 多模态 AI 模型"。
11 月 9 日,Zyphra 发布 ZONOS3-Mini:800M 总参数、每 token 约 100M 活跃参数、43 种语言、27 个预置音色、44.1kHz 输出,权重以 Apache 2.0 发布,官方还一并给出了 CUDA、MLX、C++/ggml、WebGPU 四套运行时。按官网说法,它在浏览器里跑在 Pixel 9 上首包延迟低于 570ms,在 M3 MacBook Air 上低于 150ms。
2026 年 11 月 4 日,AI 实验室 webAI 发布 TwIL-8B:一个 8.8B 参数、基于 IBM Granite 4.2 8B 后训练出来的推理模型,主打数学、代码与指令跟随。发布不到一周,同一批资讯源几乎同步产出了一组高度同构的报道——官方渠道的标题是"聚焦数学与编程,长板表现优于 Gemma 4 31B",搜狐、凤凰网等媒体用同一标题转载,社区技术博客则在一两天内密集产出"基准全解读""版本怎么选""本地部署避坑""许可证全解"等文章,标题措辞、数据口径、章节结构几乎可以互换。
一个 753B 参数的 MoE 模型,摆在一张 183 GB 显存的 B200 面前,差的不只是"跑得快不快",而是"根本装不下"。Unsloth 的 UD-IQ2_M 量化版本是 238.58 GB,即便已经把每个权重压到 2.56 bit,仍然比这张卡能提供的内存多出 55 GB 左右。这个仓库(GLM-5.3-SLIM-GGUF)给出的答案不是继续往下砍位宽,而是换一把刀:把每个 MoE 层的 256 个路由专家裁到 192 个,体积降到 179.86 GB,正好卡进单卡。