GGUF 量化

引爆

把模型转成 GGUF 格式供普通显卡与本地引擎运行的量化产物

2,035 New Hugging Face Likes This Week9 Projects Ranked131 Popular Articles
2,035
New Hugging Face Likes This Week

About

What It Is
一类把已有模型转成 GGUF 的单文件产物:把 27B 级通用模型压到普通显卡能跑,或在此基础上叠加社区微调与合并、放宽内容限制后再量化;也有把 753B 大模型压到单张高端加速卡内存的极端精简版,以及三进制量化压到几 GB 的尝试。格式统一后,同一个产物能在常见本地推理引擎里直接加载,作者侧只需转换与打包。
Why It's Trending
本地玩家要的是「下载即可跑」,而 GGUF 把模型权重、量化与分词打包成单一交付物,绕开了环境配置这层门槛。于是量化作者成了模型分发的第二极:官方发权重,第三方发可跑的版本,同一底座会被多个作者反复改造成不同配方。引擎兼容性好、显存门槛低,使这条链路长期有稳定需求。

Hot Projects

9
量化版本被大量下载部署,社区上手速度明显加快
通用大模型的量化版本:约 28B 权重压成 GGUF,消费级显卡即可本地跑起来,适合离线部署和低显存推理
大语言模型GGUF
Hugging Face Likes 6,170·+63 in 24 Hours
适配版本发布后快速进入热度榜前列,本地部署用户下载积极
通用大模型的适配微调版:约 28B 权重、GGUF 格式,针对特定智能体场景调过行为,本地显卡即可跑,省去自己对齐的功夫
大语言模型微调模型
Hugging Face Likes 255·+168 in 24 Hours
专用代码模型获开发者关注,下载稳定
围绕 3D 建模场景的代码生成模型:4.7B 权重并附 GGUF 量化,可在本地为建模脚本生成代码。
3D 图形代码大模型
Hugging Face Likes 1,214·+11 in 24 Hours
小参数模型提供量化版,受到本地部署用户关注
8B 规模的通用对话模型,提供量化权重,可放进消费级显卡或笔记本本地推理
大语言模型本地推理
Hugging Face Likes 440·+3 in 24 Hours
轻量语音模型入榜,端侧合成场景受关注
轻量语音合成模型:约一亿激活参数,可在本地实时生成自然语音,适合端侧配音与语音交互
端侧 AI小模型
Hugging Face Likes 532·+34 in 24 Hours
去审查量化版持续被下载,社区关注稳定
Gemma 4 31B 的去审查量化版:本地 GGUF 运行、输出限制更少,31B 体量需要专业卡或有较大显存的显卡
GGUF 量化去审查模型
Hugging Face Likes 361·+2 in 24 Hours

Hot Articles

131
上线两天点赞破百:个人助理向 27B 微调为何又被本地部署党盯上

最近本地部署圈又在传一个新东西。

2026-11-18
Read Article →
800M 总参、100M 激活:那款塞进手机的语音模型开源五天,下载已破 1.3 万

在端侧语音合成这条赛道上,“能跑”和“跑得好”长期是两件事:小模型音质发虚,大模型手机装不下。ZONOS3-Mini 试图把这两件事同时解掉——总参数 800M 级别的稀疏 MoE 主干,每 token 只激活约 100M,44.1 kHz 输出,支持 43 种语言与零样本音色克隆,权重以 Apache 2.0 放出。开源五天,Hugging Face 页面下载破 1.3 万、点赞 296。

2026-11-14
Read Article →
刚开源就被对标 31B:TwIL-8B 这一局到底赢在哪、输在哪

11 月 4 日,一家叫 webAI 的实验室悄悄开源了一个只有 8.8B 参数的小模型,名字叫 TwIL-8B。

2026-11-11
Read Article →
单卡吞下 750B:SLIM 量化版为何一夜之间被圈内外同时盯上

先说一个让老玩家有点恍惚的场景。

2026-11-09
Read Article →
刚刚放出的 FP16 全量权重,把这个 4B 3D 场景模型的二次微调口子打开了

在 4B 这个参数量级上做垂直微调,最尴尬的从来不是"能不能训",而是"拿到的权重能不能当起点"。Qwen3.5-4B-3D-Coder 此前只放出 Q4_K_M 与 Q8_0 两个 GGUF 量化包,这意味着它更像一个"可推理的成品",而不是"可改造的半成品"——量化块里的权重没法当 LoRA 的底座,更没法做全参微调。

2026-11-01
Read Article →
Perplexity 连夜开源 pplx-decider:底层竟是我们都在下的 Qwen3.8-27B

一个月前,闭源决策模型 Jev 抛出的"系统一模型"概念,还在让开源社区集体头疼怎么复刻。一个月后,Perplexity 直接把答案交了出来——不是论文,不是白皮书,而是一个开放权重的模型:pplx-decider-v1.1-27b。它不聊天、不写代码,只干一件事:读入一段文本或一张图片,按你预设的问题和候选项,直接吐出结果、概率与置信度,中间没有任何长篇大论。

2026-10-08
Read Article →
刚刚炸场:27B 大模型真的上手机了,Bonsai 适配 iPhone 引爆端侧 AI

端侧 AI 的军备竞赛,正在从一个数字变成另一个数字:过去几年,行业反复争论"多大的模型才能塞进手机",主流答案停留在 3B~8B;而这一次,PrismML 用两次连续发布把答案直接推到了 27B——2026 年 7 月 14 日,官方宣布 1-bit Bonsai 27B(3.9 GB)首次把 27B 级多模态模型搬上 iPhone 17 Pro;9 月 17 日,基于 Qwen3.8-27B 的第二代 Ternary Bonsai 2 27B 接棒,以 5.95 GB 的体型保留了全精度模型 98.2% 的综合能力。社区里"16GB 显卡跑 27B 大模型"的实测文章随之爆发式涌现,头条、谷歌新闻等平台将其定性为"全球首款手机级 27B 多模态 AI 模型"。

2026-10-08
Read Article →
开源五天连出十几篇实测:这款百兆级语音模型为什么突然被集体围观

11 月 9 日,Zyphra 发布 ZONOS3-Mini:800M 总参数、每 token 约 100M 活跃参数、43 种语言、27 个预置音色、44.1kHz 输出,权重以 Apache 2.0 发布,官方还一并给出了 CUDA、MLX、C++/ggml、WebGPU 四套运行时。按官网说法,它在浏览器里跑在 Pixel 9 上首包延迟低于 570ms,在 M3 MacBook Air 上低于 150ms。

2026-11-14
Read Article →
同一件事被几家资讯源写成几乎一样的标题:TwIL-8B 开源为何成了'特化小模型'的样本

2026 年 11 月 4 日,AI 实验室 webAI 发布 TwIL-8B:一个 8.8B 参数、基于 IBM Granite 4.2 8B 后训练出来的推理模型,主打数学、代码与指令跟随。发布不到一周,同一批资讯源几乎同步产出了一组高度同构的报道——官方渠道的标题是"聚焦数学与编程,长板表现优于 Gemma 4 31B",搜狐、凤凰网等媒体用同一标题转载,社区技术博客则在一两天内密集产出"基准全解读""版本怎么选""本地部署避坑""许可证全解"等文章,标题措辞、数据口径、章节结构几乎可以互换。

2026-11-11
Read Article →
专家砍半、体积砍到零头:这场「给巨模型减肥」的实验边界在哪

一个 753B 参数的 MoE 模型,摆在一张 183 GB 显存的 B200 面前,差的不只是"跑得快不快",而是"根本装不下"。Unsloth 的 UD-IQ2_M 量化版本是 238.58 GB,即便已经把每个权重压到 2.56 bit,仍然比这张卡能提供的内存多出 55 GB 左右。这个仓库(GLM-5.3-SLIM-GGUF)给出的答案不是继续往下砍位宽,而是换一把刀:把每个 MoE 层的 256 个路由专家裁到 192 个,体积降到 179.86 GB,正好卡进单卡。

2026-11-09
Read Article →