本地推理

引爆

在自己机器或集群上把模型跑起来的引擎与可部署权重

1,269 New GitHub Stars This Week4,115 New Hugging Face Likes This Week15 Projects Ranked348 Popular Articles
1,269
New GitHub Stars This Week
4,115
New Hugging Face Likes This Week

About

What It Is
一类让模型脱离云端、跑在自己硬件上的项目:有兼容多种量化格式与常见硬件、无需显卡集群即可离线推理的引擎;有面向本地部署、量化后可放进单张专业卡或 7.2GB 显存消费卡的通用对话模型;也有单张显卡即可运行的小尺寸版本,以及明确面向多卡集群自建高并发服务的快速版。还有把开源对话模型接上接口就能对话的官方示例,用来验证效果或搭内部助手原型。
Why It's Trending
私有化与成本是两条并行的推力:数据不出门的需求长期存在,而按量计费在长会话与批处理下越来越贵,自建成了可算账的选择。引擎侧把量化格式与硬件适配做得足够宽容后,「下载权重 + 一条命令」就能起服务,于是从个人显卡到团队集群都有对应方案,官方示例也降低了第一次跑通的成本。

Hot Projects

15
通用大模型长期位居热度榜前列,社区采用面与下载量持续走高
通用开源大模型:总参数约 28B,适合自建对话、写作与代码助手服务,量化后单张高显存显卡可跑,原始权重需多卡
大语言模型开放权重
Hugging Face Likes 2.1 ten thousand·+174 in 24 Hours
新发布的小尺寸模型迅速冲上热度榜前列,本地部署需求集中爆发
面向本地部署的小尺寸对话模型:约 5B 权重、BF16 发布,12GB 显存就能跑起来,适合挂在个人显卡上做长期在线的轻量助手
大语言模型本地推理
Hugging Face Likes 568·+107 in 24 Hours
新一代开放权重模型在两个平台同时上榜,社区关注迅速集中
开放权重的通用大模型:总参数约 383B,8 位量化后仍需多卡集群部署,适合有自建推理资源的团队承接高并发调用
多模态大语言模型
Hugging Face Likes 472·+41 in 24 Hours
量化版本被大量下载部署,社区上手速度明显加快
通用大模型的量化版本:约 28B 权重压成 GGUF,消费级显卡即可本地跑起来,适合离线部署和低显存推理
大语言模型GGUF
Hugging Face Likes 6,170·+63 in 24 Hours
模型在两个平台同时位列热度榜前茅,部署需求持续旺盛
开源旗舰大模型的轻量版:总参数约 763B,8 位权重下需多卡集群,适合有算力的团队自建高并发推理服务
大语言模型MoE 稀疏模型
Hugging Face Likes 5,891·+58 in 24 Hours
两个平台同时候选,预览版模型受开发者试探
总参数 65B 的预览版模型,同时提供全精度与低精度权重,适合有多卡资源、想提前验证新模型效果的团队试用。
大语言模型开源权重
Hugging Face Likes 68·+5 in 24 Hours

Hot Articles

348
三天冲上热度榜前列:4B 全双工语音模型把「边听边说」做成了默认能力

一个 4B 的语音模型,发布后三天内,中文技术社区里围绕它出现了十几篇同题文章;它的模型卡里只有四个文件、一行 pip install 和一段 20 行的 Python 示例,却把「全双工」这个过去只出现在论文标题里的词,变成了一个可以 localhost:8998 打开的网页。这就是 higurashi 的 Haru-4B。

2026-11-16
Read Article →
权重刚刚开放:Inkling 2 Small 从首日闭门到全量下放的一周

上一个模型周期里,最容易被误读的一件事是"发布"这个词。对研究者来说,发布意味着权重可下载;对厂商来说,发布往往只是"对外宣布存在"。Inkling 2 Small 把这两种含义拆开用了整整一周:先闭门试用、再放出评测成绩、最后才把 24 个分片和一份多 token 预测头推到仓库里。

2026-11-13
Read Article →
刚开源就被对标 31B:TwIL-8B 这一局到底赢在哪、输在哪

11 月 4 日,一家叫 webAI 的实验室悄悄开源了一个只有 8.8B 参数的小模型,名字叫 TwIL-8B。

2026-11-11
Read Article →
刚开源三天就冲上热度榜前列:Arete-27B 挤进 27B 赛道的第一波信号

开源三天,一个「27B」的名字在中文技术社区刷了屏:本地部署教程、字节体积核算、量化档位表接连出现,评论区里最常见的问题不是「效果好不好」,而是「我的卡能不能装下」。Arete-27B 的官方定位其实很窄——它没有新架构、没有新预训练,只是在 Alibaba 的 Qwen3.8-27B 上做了一轮监督微调,把模型在七类价值议题上的表述重新对齐了一遍(README.md 开篇第一句就说得很直白)。

2026-11-09
Read Article →
单卡吞下 750B:SLIM 量化版为何一夜之间被圈内外同时盯上

先说一个让老玩家有点恍惚的场景。

2026-11-09
Read Article →
65B 稠密开放权重刚放出:一份发布同时给到两档精度

Ripple-65B Preview 的发布页时间戳停在 2026-11-06 00:37 UTC。同一天下午,中文社区已经贴出本地集群跑通后的显存账;同一天,仓库里的 modeling_ricursive.py 头部注释记下了两批针对 DFlash2 投机解码和 KV cache 对齐的修复。对一个刚放出来的开放权重模型来说,这个节奏说明它并非提前几周就推演好的展示品,而是一个边发布边校准、由真实推理路径反推修正的工程产物。

2026-11-06
Read Article →
上线六天拿下7787次下载:单图转3D的开源模型正在改写本地部署

Hugging Face 上的 speridlabs/idol 仓库创建于 2026 年 10 月 28 日,到 11 月 3 日抓取时,下载计数已经停在 7787,点赞 394。这个数字放在动辄百万下载的大模型赛道里并不夸张,但它背后是一个更具体的问题:一张物体照片,能不能在自己那台带独显的机器上,几十秒内变成一个可以在任意 3DGS 查看器里转着看的 .ply 文件?

2026-11-03
Read Article →
刚开源数天就冲上热度榜前列:1.7B 端侧模型为什么被抢着试

1.7B 参数、4-bit 量化后约 1 GB 内存、256K 上下文、原生工具调用——这几个数字放在同一张模型卡上,足以让端侧开发者立刻点进下载页。Liquid AI 在 10 月 27 日放出 LFM3 家族,其中文本模型 LFM3-1.7B 是整条产品线的骨架:视觉、音频、Omni 以及两个决策模型 d1-2B / d1-Omni-2B 全部从同一个 LFM3-1.7B-Base 分支出来。中文技术媒体当天的标题很直接——“2B 小模型跑分追平 12B 大模型,还能本地跑”;而在更偏工程的社区里,讨论的重心不是跑分,而是“这东西能不能塞进我的 app 里跑 agent”。

2026-10-28
Read Article →
凌晨发布即刷屏:V4.1 Flash 1017 新版本到底更新了什么

2026 年 10 月 17 日,DeepSeek 在几乎没有预热的情况下将 V4.1 Flash 更新至 V4.1-Flash-1017 版本,网页端、APP 与 API 模型同步切换。没有新发布会,甚至 API 调用方式与价格都保持不变——但社区却炸了。原因在于这次"静默更新"的内容量级并不小:性能全面上扬的同时任务耗时与输出长度双双收缩,官方还重点强化了一项被媒体称为"许愿式编程"的能力——在提示词和素材参考极其有限的条件下,从零生成可运行的项目成品。

2026-10-17
Read Article →
开源一周即登顶:MiniMax H3 凭什么让视频模型圈集体改稿

2026 年 8 月,视频生成赛道的风向标被一根国产模型撬动:MiniMax 在 8 月 3 日正式放出 H3 的模型权重,一周之内,媒体与社区接连用上了"登顶开源社区""定义视频模型领域斩杀线""视频模型的 DeepSeek 时刻"这类定调性表述。几乎同一时间,ComfyUI 官方模板、diffusers、SGLang、vLLM 四套推理栈集体就位,CSDN 上涌现出一批以 RTX 3060 实测、FP8/INT4 量化、LoRA 微调为主题的教程——一个开源项目要在视频圈引发这种规模的"改稿潮",靠的不只是热度,而是能力、价格与生态三者的叠加。本文结合社区情报与仓库源码,拆解 H3 这一周究竟发生了什么、它凭什么立住"斩杀线",以及适配潮背后到底是谁在行动。

2026-10-09
Read Article →