低比特量化

引爆

官方直接以 FP8、8-bit、NVFP4 等低比特权重发布的开源模型

1,604 New GitHub Stars This Week1.1 万 New Hugging Face Likes This Week14 Projects Ranked268 Popular Articles
1,604
New GitHub Stars This Week
1.1 万
New Hugging Face Likes This Week

About

What It Is
一类以低比特权重形式发布的开源模型:发布方直接给出 FP8、8-bit 或 NVFP4 等压缩后的权重,而不是等社区事后量化,目的是在保住能力的同时压低显存占用与推理成本。成员覆盖数 T 参数的稀疏旗舰、数百 B 规模的通用模型与预览版模型,卡片中普遍标明了位宽与激活参数,说明位宽已成为发布规格的一部分。
Why It's Trending
参数越堆越高,全精度权重让部署成本难以承受,官方直接给低比特权重等于把「机器装不装得下」提前解决。对自建推理的团队来说,选型时位宽已和参数量一样成为关键指标,因而每有新旗舰发布,低比特版本都会单独获得一波关注与下载。

Hot Projects

14
新一代开源大模型发布即登顶热度榜,讨论热烈
面向高难度推理的开源旗舰模型:总参数 2.8T、每次只激活 104B,自建部署需多卡集群,适合有算力的团队本地化评估
大语言模型MoE 混合专家
Hugging Face Likes 1,550·+460 in 24 Hours
开源快速版大模型双平台上榜,关注度高
面向高吞吐调用的快速版开源大模型:总参数 763B,需多卡集群部署,适合承接在线问答与批量生成
大语言模型FP8 量化
Hugging Face Likes 5,368·+31 in 24 Hours
新发布的中大型模型预览版,快速起量
新发布的中大型开源模型预览版:64.8B 参数提供 BF16 与 NVFP4 两套权重,需多卡部署,适合团队先行评测
大语言模型模型量化
Hugging Face Likes 343·+54 in 24 Hours
国产稀疏大模型双平台在榜,热度平稳
面向高并发调用的稀疏大模型:总参数 286B、每次激活 14B,在响应速度与能力之间取平衡,适合企业自建服务
大语言模型稀疏混合专家
Hugging Face Likes 213·+21 in 24 Hours
稀疏新模型登上热度榜,关注度有待观察
稀疏开源模型(总参数 39.8B、每次激活 2.5B):推理开销接近小模型,适合想用大模型能力又缺算力的团队。
大语言模型高效推理
Hugging Face Likes 1,362·+2 in 24 Hours
低比特量化版持续被本地部署用户采用
把开源 27B 模型转成低比特 GGUF 的版本:显存占用大幅下降,单张消费级显卡或笔记本即可本地推理
GGUF 量化大语言模型
Hugging Face Likes 5,583·+24 in 24 Hours

Hot Articles

268
65B 稠密开放权重刚放出:一份发布同时给到两档精度

Ripple-65B Preview 的发布页时间戳停在 2026-11-06 00:37 UTC。同一天下午,中文社区已经贴出本地集群跑通后的显存账;同一天,仓库里的 modeling_ricursive.py 头部注释记下了两批针对 DFlash2 投机解码和 KV cache 对齐的修复。对一个刚放出来的开放权重模型来说,这个节奏说明它并非提前几周就推演好的展示品,而是一个边发布边校准、由真实推理路径反推修正的工程产物。

2026-11-06
Read Article →
286B 只激活 14B:文心 5.5 Flash 冲上热度榜前列,讨论全在问“扛不扛得住高并发”

ERNIE 5.5 Flash 的 base 权重在 2026 年 11 月 5 日放出,热度几乎是一夜之间起来的。真正让人兴奋的并不是又一个千亿参数模型,而是“280B 总量、每 token 只激活 14B”这组数字:如果激活开销真能压到这个量级,那么单位请求的显存与算力账单就该向 14B 模型看齐。于是社区讨论很快从“分数多少”转向了一个更工程化的问题:单发便宜是一回事,几十上百路并发同时压上来,这张账还能不能算得过来?

2026-11-05
Read Article →
权重窗口刚到期就兑现:2.8T 的 Kimi K3.1 Pro 开源首日开箱清单

Kimi K3.1 Pro 官方标识

2026-11-05
Read Article →
24 小时 +654 star 之后:FreeToken 凭什么把 290B MoE 塞进游戏本

一个 2026 年 7 月 20 日才建仓的项目,在 11 月初冲到 16,184 star,24 小时内净增 654,fork 数 1,591,open issues 470。同期中文技术社区里,“8GB 显存跑 35B”“RTX 4060 笔记本 39.3 tok/s”“3 次点击在游戏本上聊 290B”这类标题密集出现,连 InfoQ 这类媒体也下场做了转述。

2026-11-03
Read Article →
刚开源数天就冲上热度榜前列:1.7B 端侧模型为什么被抢着试

1.7B 参数、4-bit 量化后约 1 GB 内存、256K 上下文、原生工具调用——这几个数字放在同一张模型卡上,足以让端侧开发者立刻点进下载页。Liquid AI 在 10 月 27 日放出 LFM3 家族,其中文本模型 LFM3-1.7B 是整条产品线的骨架:视觉、音频、Omni 以及两个决策模型 d1-2B / d1-Omni-2B 全部从同一个 LFM3-1.7B-Base 分支出来。中文技术媒体当天的标题很直接——“2B 小模型跑分追平 12B 大模型,还能本地跑”;而在更偏工程的社区里,讨论的重心不是跑分,而是“这东西能不能塞进我的 app 里跑 agent”。

2026-10-28
Read Article →
刚开源就冲上热度榜前列:220.5B 总参只激活 23B,这次押的是什么

最近这半个月,AI 圈有点像过年。

2026-10-23
Read Article →
4.1B 的端侧模型刚露面,讨论量的曲线比下载曲线先立起来

Spark-X2.6-4B 上架后 24 小时,仓库数据面板上出现了端侧小模型发布中不常见的节奏:点赞先到 358,下载才走到 482,而讨论热度按 1h 88 / 6h 18 / 24h 7 的曲线快速衰减。这条"讨论先行、下载滞后"的曲线,恰好是判断一款小模型能否走出冷启动窗口的第一份情报。本文结合发布物本体——仓库里的 config.json、modeling_spark.py、基准图与量化权重——把这三组数字拆开看:它说明用户先验证了什么、再下载什么,以及后续热度曲线大概率会怎么走。

2026-10-23
Read Article →
权重刚开源,M3.1 Flash 先交出一份「三天百万亿 Token」的成绩单

10 月 23 日,MiniMax 把 M3.1-Flash 的完整模型权重开源到本仓库。但真正让开发者圈讨论起来的,不是权重本身,而是权重背后那份先跑出来的流量成绩单:官方口径,M3.1 Flash 上线后 72 小时内处理的 Token 超过 100 万亿(即「三天百万亿」)。这个数字出自上线初期的第三方报道,与 MiniMax 官方 10 月 19 日发布的模型信息可以互相印证——在亮明身份之前,它的早期版本还曾以匿名身份「Space Bunny」在 OpenCode 的公开调用榜上连霸 12 天日榜第一。

2026-10-23
Read Article →
凌晨发布即刷屏:V4.1 Flash 1017 新版本到底更新了什么

2026 年 10 月 17 日,DeepSeek 在几乎没有预热的情况下将 V4.1 Flash 更新至 V4.1-Flash-1017 版本,网页端、APP 与 API 模型同步切换。没有新发布会,甚至 API 调用方式与价格都保持不变——但社区却炸了。原因在于这次"静默更新"的内容量级并不小:性能全面上扬的同时任务耗时与输出长度双双收缩,官方还重点强化了一项被媒体称为"许愿式编程"的能力——在提示词和素材参考极其有限的条件下,从零生成可运行的项目成品。

2026-10-17
Read Article →
Perplexity 连夜开源 pplx-decider:底层竟是我们都在下的 Qwen3.8-27B

一个月前,闭源决策模型 Jev 抛出的"系统一模型"概念,还在让开源社区集体头疼怎么复刻。一个月后,Perplexity 直接把答案交了出来——不是论文,不是白皮书,而是一个开放权重的模型:pplx-decider-v1.1-27b。它不聊天、不写代码,只干一件事:读入一段文本或一张图片,按你预设的问题和候选项,直接吐出结果、概率与置信度,中间没有任何长篇大论。

2026-10-08
Read Article →