本地推理
引爆在自己机器或集群上把模型跑起来的引擎与可部署权重
About
Hot Projects
15Hot Articles
348一个 4B 的语音模型,发布后三天内,中文技术社区里围绕它出现了十几篇同题文章;它的模型卡里只有四个文件、一行 pip install 和一段 20 行的 Python 示例,却把「全双工」这个过去只出现在论文标题里的词,变成了一个可以 localhost:8998 打开的网页。这就是 higurashi 的 Haru-4B。
上一个模型周期里,最容易被误读的一件事是"发布"这个词。对研究者来说,发布意味着权重可下载;对厂商来说,发布往往只是"对外宣布存在"。Inkling 2 Small 把这两种含义拆开用了整整一周:先闭门试用、再放出评测成绩、最后才把 24 个分片和一份多 token 预测头推到仓库里。
11 月 4 日,一家叫 webAI 的实验室悄悄开源了一个只有 8.8B 参数的小模型,名字叫 TwIL-8B。
开源三天,一个「27B」的名字在中文技术社区刷了屏:本地部署教程、字节体积核算、量化档位表接连出现,评论区里最常见的问题不是「效果好不好」,而是「我的卡能不能装下」。Arete-27B 的官方定位其实很窄——它没有新架构、没有新预训练,只是在 Alibaba 的 Qwen3.8-27B 上做了一轮监督微调,把模型在七类价值议题上的表述重新对齐了一遍(README.md 开篇第一句就说得很直白)。
先说一个让老玩家有点恍惚的场景。
Ripple-65B Preview 的发布页时间戳停在 2026-11-06 00:37 UTC。同一天下午,中文社区已经贴出本地集群跑通后的显存账;同一天,仓库里的 modeling_ricursive.py 头部注释记下了两批针对 DFlash2 投机解码和 KV cache 对齐的修复。对一个刚放出来的开放权重模型来说,这个节奏说明它并非提前几周就推演好的展示品,而是一个边发布边校准、由真实推理路径反推修正的工程产物。
Hugging Face 上的 speridlabs/idol 仓库创建于 2026 年 10 月 28 日,到 11 月 3 日抓取时,下载计数已经停在 7787,点赞 394。这个数字放在动辄百万下载的大模型赛道里并不夸张,但它背后是一个更具体的问题:一张物体照片,能不能在自己那台带独显的机器上,几十秒内变成一个可以在任意 3DGS 查看器里转着看的 .ply 文件?
1.7B 参数、4-bit 量化后约 1 GB 内存、256K 上下文、原生工具调用——这几个数字放在同一张模型卡上,足以让端侧开发者立刻点进下载页。Liquid AI 在 10 月 27 日放出 LFM3 家族,其中文本模型 LFM3-1.7B 是整条产品线的骨架:视觉、音频、Omni 以及两个决策模型 d1-2B / d1-Omni-2B 全部从同一个 LFM3-1.7B-Base 分支出来。中文技术媒体当天的标题很直接——“2B 小模型跑分追平 12B 大模型,还能本地跑”;而在更偏工程的社区里,讨论的重心不是跑分,而是“这东西能不能塞进我的 app 里跑 agent”。
2026 年 10 月 17 日,DeepSeek 在几乎没有预热的情况下将 V4.1 Flash 更新至 V4.1-Flash-1017 版本,网页端、APP 与 API 模型同步切换。没有新发布会,甚至 API 调用方式与价格都保持不变——但社区却炸了。原因在于这次"静默更新"的内容量级并不小:性能全面上扬的同时任务耗时与输出长度双双收缩,官方还重点强化了一项被媒体称为"许愿式编程"的能力——在提示词和素材参考极其有限的条件下,从零生成可运行的项目成品。
2026 年 8 月,视频生成赛道的风向标被一根国产模型撬动:MiniMax 在 8 月 3 日正式放出 H3 的模型权重,一周之内,媒体与社区接连用上了"登顶开源社区""定义视频模型领域斩杀线""视频模型的 DeepSeek 时刻"这类定调性表述。几乎同一时间,ComfyUI 官方模板、diffusers、SGLang、vLLM 四套推理栈集体就位,CSDN 上涌现出一批以 RTX 3060 实测、FP8/INT4 量化、LoRA 微调为主题的教程——一个开源项目要在视频圈引发这种规模的"改稿潮",靠的不只是热度,而是能力、价格与生态三者的叠加。本文结合社区情报与仓库源码,拆解 H3 这一周究竟发生了什么、它凭什么立住"斩杀线",以及适配潮背后到底是谁在行动。