语音处理
扩散语音转写、说话人分离与语音生成模型
About
Hot Projects
6Hot Articles
91一个开源仓库的星标数据开始“自相矛盾”的时候,往往比它一路暴涨更值得读。VibeVoice 现在正处在这样一个节点:累计 5.5 万星(GitHub 页面显示 55.8k)、日增 214 星、小时增速 49 星。三个数字放在一起,第一反应是“有人在刷数据”。但如果把口径拆开、把仓库发布节奏摊开看,会发现这三个数字没有一个在撒谎——它们只是各自测量了不同尺度的东西,而这三把尺子之间的缝隙,恰好暴露了这个项目真实的推进方式,以及内容创作者该把力气花在哪里。
本地语音听写一直有个尴尬的悖论:它最大的卖点是"声音不出设备",而它最大的使用障碍也恰恰来自本地——模型得放在内存里,于是这类工具要么占着几百 MB 甚至上 GB 常驻,要么每次按下快捷键都要等一次冷加载。Hex 3.0 把这个矛盾往前推了一步,公开的对比数字是内存下降超过 82%,常驻占用约 160MB。
先把两个容易被标题带偏的事实摆正。
在 Hugging Face 这个每月都会涌出新模型、新 SOTA 的生态里,一个看起来"其貌不扬"的说话人分离管线——没有百亿参数,没有铺天盖地的营销,仓库里只有两个模型文件夹、一份 YAML 配置和一张动图——却累计被下载了 552 万次,长期稳居平台下载榜前 40 名。它的名字叫 pyannote/speaker-diarization-community-1。
开完一场一小时的会,真正的折磨才刚开始。
过去两年,“本地语音听写”几乎等同于“macOS 专属”。Windows 用户只能等云端服务,Linux 用户则长期停留在“自己编译 Whisper 再写胶水脚本”的阶段。Hex 这个用 Rust 写的本地听写项目,在 2.3.0 版本里把 Windows 拉进了发布矩阵,又在同一条发布流水线上同时覆盖 macOS、Windows x64/ARM64 与 Linux x86_64/ARM64。
十月中下旬,开源语音圈经历了一次罕见的连续发布:先是 Nemotron-3-Diarization 以“8 人同时说话、0.32 秒延迟、1 亿参数、消费级显卡可跑”的标签在中文技术社区刷屏,十来天后,NVIDIA 又在同一天把 Nemotron-3.5-Transcribe-30B-A4B 推上 Build、GitHub、Hugging Face 与 NGC 四个渠道。在社区舆论中,前者的热度明显高于后者,但从工程价值看,真正改变批量音频处理方式的却是后者。
2026 年的技术社区有一个微妙但明显的转向:说话人分离(Speaker Diarization)不再只是学术论文里的 Benchmark 名词,而是频繁出现在「实战」「部署」「系统」等字眼下的工程文章里。以 CSDN 为例,围绕 pyannote.audio 的新文章从 2025 年下半年的「管道深度探索」一路写到 2026 年开年的「智能语音转写系统」与「生产部署实战」,三个月内连续三篇聚焦端到端转写系统的文章相继刷屏。这背后是模型能力的跃迁、是 Whisper 与 diarization 的互补生态,更是会议纪要、客服质检、播客生产这些场景真金白银的落地需求。本文结合社区情报与 pyannote speaker-diarization-community-1 仓库源码,拆解这波「生产落地热」到底发生了什么、谁在推动、谁在买单。
一个本地语音听写工具,在 2026 年 7 月 17 日建仓,到 11 月初拿到 2592 星。放在动辄十万星的榜单里,这个数字连入场券都算不上;但把时间轴和发布记录叠在一起看,它给出的信息比绝对数字更有价值:这是一条由发布节奏驱动、而非由单次爆款驱动的曲线。本文用仓库里的 54 份版本文档、源码里的关键阈值和三个平台的内容快照,拆解这条曲线到底证明了什么、没证明什么。
2026 年 10 月 1 日,微软发布 MAI-Transcribe-2-Streaming:在 Artificial Analysis 的流式语音转写榜上,最终词错误率 2.50%,最终转录延迟 0.13 秒,在 28 个流式模型里排第一,覆盖 60 种语言,报价每小时 0.54 美元。四周后的 10 月 28 日,NVIDIA 把 Nemotron-3.5-Transcribe-30B-A4B 的权重放上 Hugging Face,34B 总参数、4.3B 激活、40 种语言、单条录音最长一小时。