本地推理

最近技术圈有个项目，光看标题很多人第一反应是"又来了，吹牛的吧"。

一个 2026 年 7 月 20 日才建仓的项目，在 11 月初冲到 16,184 star，24 小时内净增 654，fork 数 1,591，open issues 470。同期中文技术社区里，“8GB 显存跑 35B”“RTX 4060 笔记本 39.3 tok/s”“3 次点击在游戏本上聊 290B”这类标题密集出现，连 InfoQ 这类媒体也下场做了转述。

Hugging Face 上的 speridlabs/idol 仓库创建于 2026 年 10 月 28 日，到 11 月 3 日抓取时，下载计数已经停在 7787，点赞 394。这个数字放在动辄百万下载的大模型赛道里并不夸张，但它背后是一个更具体的问题：一张物体照片，能不能在自己那台带独显的机器上，几十秒内变成一个可以在任意 3DGS 查看器里转着看的 .ply 文件？

1.7B 参数、4-bit 量化后约 1 GB 内存、256K 上下文、原生工具调用——这几个数字放在同一张模型卡上，足以让端侧开发者立刻点进下载页。Liquid AI 在 10 月 27 日放出 LFM3 家族，其中文本模型 LFM3-1.7B 是整条产品线的骨架：视觉、音频、Omni 以及两个决策模型 d1-2B / d1-Omni-2B 全部从同一个 LFM3-1.7B-Base 分支出来。中文技术媒体当天的标题很直接——“2B 小模型跑分追平 12B 大模型，还能本地跑”；而在更偏工程的社区里，讨论的重心不是跑分，而是“这东西能不能塞进我的 app 里跑 agent”。

发布两天，社区面板上的曲线很漂亮：小时级增速被拉到日均基线的 8 倍，转发与解读文章挤在同一时间窗口里。但另一块面板上是另一种画面——权重仓库的下载计数几乎贴着零线。注意力曲线和转化曲线，第一次这么明显地分岔。

Spark-X2.6-4B 上架后 24 小时，仓库数据面板上出现了端侧小模型发布中不常见的节奏：点赞先到 358，下载才走到 482，而讨论热度按 1h 88 / 6h 18 / 24h 7 的曲线快速衰减。这条"讨论先行、下载滞后"的曲线，恰好是判断一款小模型能否走出冷启动窗口的第一份情报。本文结合发布物本体——仓库里的 config.json、modeling_spark.py、基准图与量化权重——把这三组数字拆开看：它说明用户先验证了什么、再下载什么，以及后续热度曲线大概率会怎么走。

744B 参数的 MoE 大模型——这是当前开源权重中最顶级的一档，正常推理需要的是 H100 集群级别的显存阵列。25GB 内存——这是当下主流轻薄本、开发机的普遍配置。纯 C、零依赖、单文件推理引擎——这是 1990 年代系统编程的老派路线。

一个月前，闭源决策模型 Jev 抛出的"系统一模型"概念，还在让开源社区集体头疼怎么复刻。一个月后，Perplexity 直接把答案交了出来——不是论文，不是白皮书，而是一个开放权重的模型：pplx-decider-v1.1-27b。它不聊天、不写代码，只干一件事：读入一段文本或一张图片，按你预设的问题和候选项，直接吐出结果、概率与置信度，中间没有任何长篇大论。

端侧 AI 的军备竞赛，正在从一个数字变成另一个数字：过去几年，行业反复争论"多大的模型才能塞进手机"，主流答案停留在 3B~8B；而这一次，PrismML 用两次连续发布把答案直接推到了 27B——2026 年 7 月 14 日，官方宣布 1-bit Bonsai 27B（3.9 GB）首次把 27B 级多模态模型搬上 iPhone 17 Pro；9 月 17 日，基于 Qwen3.8-27B 的第二代 Ternary Bonsai 2 27B 接棒，以 5.95 GB 的体型保留了全精度模型 98.2% 的综合能力。社区里"16GB 显卡跑 27B 大模型"的实测文章随之爆发式涌现，头条、谷歌新闻等平台将其定性为"全球首款手机级 27B 多模态 AI 模型"。

3亿、10亿、30亿——Qwen开源家族用了三年时间，把"下载量"从行业新闻写成了中国AI出海的注脚。就在本周，阿里巴巴宣布开源新一代Qwen3.8系列，同时披露了一个里程碑数字：Qwen家族模型全球累计下载总量突破30亿次。而在这一轮开源浪潮中，扛旗的既不是参数动辄上千亿的"超大杯"，也不是主打极致性价比的Flash小模型，而是发布于2026年8月14日的Qwen3.8-27B——一个"单卡能跑、能力越级"的稠密多模态模型。