实时决策小模型受关注，双平台均有讨论
面向实时交互的决策小模型：421M 参数、单次前向直接出结果，适合对响应延迟敏感的语音与游戏场景。
HF 点赞 5,862·24H +9
决策模型
萌芽面向即时判断的端侧决策引擎与该系列开放权重模型
HF 本周新增 42点赞1个项目在榜22篇热门文章
42
Hugging Face 本周新增点赞
方向介绍
这是什么
围绕即时判断场景的两类模型：一类是标注为端侧决策引擎的小模型，参数仅数百 M，单次前向响应在毫秒级，适合需要立刻反应的应用；另一类是同系列发布的开放权重模型，包括通用对话版与支持图文理解的视觉语言版，权重开放、可本地部署。两者合起来覆盖「快速判断」与「通用理解」两端，形成从专用小模型到通用权重的一条线。
为什么现在火
很多业务真正需要的是够快的小判断，而不是一次完整长推理：端侧决策引擎把延迟压到毫秒级；同时该系列的开放权重版本持续积累下载与点赞，说明社区在找可自建的轻量选项。两条线一起把决策方向推上榜。
热门项目
1热门文章
22刚刚登榜：Laya 双平台共振——HF 第 11、ModelScope 第 9，5.3k 赞的 System-1 引擎凭什么刷屏
当开源圈的目光几乎全部被「更大、更强的生成式模型」占据时，一个刻意不生成文本的模型，同时登上了 Hugging Face 与 ModelScope 两大平台的榜单前列（HF 第 11、ModelScope 第 9），并收获约 5.3k 社区点赞与 10.6k Star。它就是 Laya——一个把「决策」做成产品、把「不生成」当成卖点的非自回归 System-1 引擎。过去一个月里，围绕它的社区内容也高度反常：没有人在讨论它的文采或创意，教程标题清一色是「LoRA 微调参数配置」「ONNX INT8 端侧部署」「规则编译与调度」「置信度门控」。这份热度究竟是营销造势，还是工程需求的真实投射？本文结合 Laya 仓库源码（README.md、rl_common.py、rl_agent_api.py、eval/results.md），拆解榜单数据背后的架构逻辑与落地价值。
421M 参数、33ms 出决策：Laya 开源即爆火，一场围绕 Jev 的「快 4 倍」数字战开打
2026 年 9 月，一个叫 Laya 的开源项目在国内技术社区突然刷屏。今日头条的标题直白得近乎挑衅——《Laya 开源:比Jev快4倍!421M 参数，33 毫秒完成一次 AI 决策》；CSDN 上一口气冒出十余篇教程与解析，从「33 毫秒出决策」到「不生成文本消灭幻觉」，再到「快 TypeSafe Jev 一个数量级」，叙事层层加码；Google 新闻里还能看到 Laya 被移植到 Apple Silicon、以每秒 60 步玩贪吃蛇的第三方验证。
外网刚炸：Laya 登陆 Apple Silicon，laya-mlx 版 60 步/秒玩贪吃蛇，端侧决策卷起来了
过去一个月，中文技术社区里 "Laya" 这个名字出现的频率明显在上升：33 毫秒单次决策、T4 上批量吞吐 332 题/秒、10.6k Star、比 TypeSafe Jev 快 4 倍……一套"不做生成、只做决策"的非自回归 System 1 引擎，正在被密集地拆解和复刻。但就在中文社区还停留在"在 T4 上调优、在云端部署"的叙事时，外网刚刚放出一个更激进的消息：Laya 已经登陆 Apple Silicon，laya-mlx 版本以每秒 60 步的速度在玩贪吃蛇。这篇发布由 Pasquale Pillitteri 在海外社区放出，随即被 Google News 聚合收录——端侧决策的竞争，已经悄悄从数据中心卷到了你手边的笔记本。
「不生成文本」的模型三天登顶双平台热榜：Laya 33ms 决策引擎刷屏，幻觉焦虑成了流量密码
2026 年 9 月下旬，一个名为 Laya 的开源模型在国内技术社区经历了一场教科书式的"病毒式传播"：9 月 20 日首篇深度解析发出，22 日《33 毫秒出决策：10.6k Star 开源引擎 Laya，用「不生成文本」的方式消灭 AI 幻觉》在 CSDN 获得数百浏览，25 日《每日热评》专栏将「单次前向 33ms，覆盖 100+ 语言」送上热门（710 浏览、24 次收藏），同期头条连发两篇（「比 Jev 快 4 倍！421M 参数」），Google News 上还出现了社区开发者用 laya-mlx 在 Apple Silicon 上以每秒 60 步的速度玩贪吃蛇的实测。三天、双平台、同一个叙事——「不生成文本」的模型。
20 分钟跑通 Laya：pip 安装到首个决策 API，MCP + LangChain 全接线
如果你的 Agent 在每一次"走哪条分支、派给哪个工单队列、这个请求急不急"的判断上都要让大模型生成几百个 token，那么 33 毫秒和 2 秒之间的差距，就是 Laya 存在的理由。Laya 是一个多语言、非自回归的 System 1 决策引擎：不生成文本、不靠提示词，一次前向传播返回带校准概率的结构化答案，实测单问题延迟约 33 ms（T4 GPU），100+ 语言开箱即用。本文不讨论它的架构有多精巧，只讲一件事——从 pip install laya 到第一个 Router.predict，再到把 MCP stdio 服务和 LangChain 组件接进现有 Agent 链路，全程 20 分钟够不够？我们边跑边验证，所有代码与配置均以仓库真实文件为准。
Laya LoRA 微调全实录：r=8/alpha=32 实测参数 + ONNX INT8 端侧落地
Laya 是一个开源的非自回归 System 1 决策引擎：输入一个状态（文本、邮件、工单或 JSON），加上一组类型化问题（typed questions），它在单次前向传播内返回带校准概率的结构化答案，不生成任何文本——因此没有解析成本、也没有幻觉。仓库实测在单张 T4 上单问题延迟约 38 ms（p50），批处理 10 题时摊到 15.6 ms/题；社区公开数据进一步给出 33 ms 与 7.2 ms/题的记录。
手把手用 Laya 替换 RAG 重排：33ms 结构化打分，让召回环节告别大模型
重排（rerank）是 RAG 流水线里最容易被忽视、也最烧钱的一环：召回环节从向量库里捞出 top-k 候选后，通常要再调一个 cross-encoder 大模型，把"查询-文档"对重新过一遍语义打分。代价是三层叠加的——自回归逐 token 解码拖慢时延、按输入输出 token 双重计费、JSON 输出还时不时解析失败或答非所问。问题在于：重排本质上是一个判别式任务，它不需要生成任何新文本，只需要给每个候选一个相关性分数。
决策数据怎么造？Laya 三类原语 choice/score/noul 的标注规范与避坑
Laya 是一个「不做生成、只做决策」的非自回归 System 1 决策引擎：输入一段结构化状态（邮件、工单、对话片段、JSON）和一组类型化问题，一次前向传播直接输出带校准概率的类型化答案，不产出任何自由文本。正因如此，它的微调数据与传统大模型训练语料有本质差异——你不需要「提示词—标准回答」的问答对，需要的是「状态 + 类型化问题 + 结构化答案」的决策记录。答案长什么样、边界怎么划、理由写在哪，直接决定了微调后模型在 typed-decisions 基准上的表现：同一个基准上，微调后的 checkpoint 准确率 0.766，而基础英文 checkpoint 只有 0.362，差距几乎全部来自数据侧。
拆解 Laya：RLCD 机制一次讲透——规则编译与强化学习如何在 33ms 内完成一次决策
一个只有 421M 参数的开源决策引擎，在 T4 上单问题延迟 33ms、批量吞吐最高 332 题/秒，置信度校准 ECE 压到 0.081，还覆盖 100+ 语言——这就是近一个月在社区刷屏的 Laya（10.6k Star）。它宣称"不生成文本、不靠提示词"，把 AI 从"写答案"降维成"做判断"，专攻工单分诊、内容安全、意图路由这类判别式任务。
System 1/System 2 分工论：Laya 非自回归架构的技术底气与边界在哪
"让 AI 做一次决策"和"让 AI 说一段话"，在工程上是两个截然不同的问题。过去两年，Agent 架构里最贵的部分恰恰是那些本该廉价的环节：一封邮件该转给哪个部门、一条工单该给几级优先级、一次对话该不该转人工——这些"判断"被交给了逐 token 生成的 LLM，代价是几十到几百毫秒的延迟、不可复现的输出，以及生成式模型特有的幻觉。开源社区对这一痛点的回应中，Laya 是一个足够极端的样本：它干脆不生成文本，用一次前向传播完成决策，单题实测约 33ms，并把置信度校准做到了 ECE 0.081。