低比特量化
引爆官方直接以 FP8、8-bit、NVFP4 等低比特权重发布的开源模型
About
Hot Projects
14Hot Articles
268Ripple-65B Preview 的发布页时间戳停在 2026-11-06 00:37 UTC。同一天下午,中文社区已经贴出本地集群跑通后的显存账;同一天,仓库里的 modeling_ricursive.py 头部注释记下了两批针对 DFlash2 投机解码和 KV cache 对齐的修复。对一个刚放出来的开放权重模型来说,这个节奏说明它并非提前几周就推演好的展示品,而是一个边发布边校准、由真实推理路径反推修正的工程产物。
ERNIE 5.5 Flash 的 base 权重在 2026 年 11 月 5 日放出,热度几乎是一夜之间起来的。真正让人兴奋的并不是又一个千亿参数模型,而是“280B 总量、每 token 只激活 14B”这组数字:如果激活开销真能压到这个量级,那么单位请求的显存与算力账单就该向 14B 模型看齐。于是社区讨论很快从“分数多少”转向了一个更工程化的问题:单发便宜是一回事,几十上百路并发同时压上来,这张账还能不能算得过来?

一个 2026 年 7 月 20 日才建仓的项目,在 11 月初冲到 16,184 star,24 小时内净增 654,fork 数 1,591,open issues 470。同期中文技术社区里,“8GB 显存跑 35B”“RTX 4060 笔记本 39.3 tok/s”“3 次点击在游戏本上聊 290B”这类标题密集出现,连 InfoQ 这类媒体也下场做了转述。
1.7B 参数、4-bit 量化后约 1 GB 内存、256K 上下文、原生工具调用——这几个数字放在同一张模型卡上,足以让端侧开发者立刻点进下载页。Liquid AI 在 10 月 27 日放出 LFM3 家族,其中文本模型 LFM3-1.7B 是整条产品线的骨架:视觉、音频、Omni 以及两个决策模型 d1-2B / d1-Omni-2B 全部从同一个 LFM3-1.7B-Base 分支出来。中文技术媒体当天的标题很直接——“2B 小模型跑分追平 12B 大模型,还能本地跑”;而在更偏工程的社区里,讨论的重心不是跑分,而是“这东西能不能塞进我的 app 里跑 agent”。
最近这半个月,AI 圈有点像过年。
Spark-X2.6-4B 上架后 24 小时,仓库数据面板上出现了端侧小模型发布中不常见的节奏:点赞先到 358,下载才走到 482,而讨论热度按 1h 88 / 6h 18 / 24h 7 的曲线快速衰减。这条"讨论先行、下载滞后"的曲线,恰好是判断一款小模型能否走出冷启动窗口的第一份情报。本文结合发布物本体——仓库里的 config.json、modeling_spark.py、基准图与量化权重——把这三组数字拆开看:它说明用户先验证了什么、再下载什么,以及后续热度曲线大概率会怎么走。
10 月 23 日,MiniMax 把 M3.1-Flash 的完整模型权重开源到本仓库。但真正让开发者圈讨论起来的,不是权重本身,而是权重背后那份先跑出来的流量成绩单:官方口径,M3.1 Flash 上线后 72 小时内处理的 Token 超过 100 万亿(即「三天百万亿」)。这个数字出自上线初期的第三方报道,与 MiniMax 官方 10 月 19 日发布的模型信息可以互相印证——在亮明身份之前,它的早期版本还曾以匿名身份「Space Bunny」在 OpenCode 的公开调用榜上连霸 12 天日榜第一。
2026 年 10 月 17 日,DeepSeek 在几乎没有预热的情况下将 V4.1 Flash 更新至 V4.1-Flash-1017 版本,网页端、APP 与 API 模型同步切换。没有新发布会,甚至 API 调用方式与价格都保持不变——但社区却炸了。原因在于这次"静默更新"的内容量级并不小:性能全面上扬的同时任务耗时与输出长度双双收缩,官方还重点强化了一项被媒体称为"许愿式编程"的能力——在提示词和素材参考极其有限的条件下,从零生成可运行的项目成品。
一个月前,闭源决策模型 Jev 抛出的"系统一模型"概念,还在让开源社区集体头疼怎么复刻。一个月后,Perplexity 直接把答案交了出来——不是论文,不是白皮书,而是一个开放权重的模型:pplx-decider-v1.1-27b。它不聊天、不写代码,只干一件事:读入一段文本或一张图片,按你预设的问题和候选项,直接吐出结果、概率与置信度,中间没有任何长篇大论。