语音处理

扩散

语音转写、说话人分离与语音生成模型

2,564 New GitHub Stars This Week474 New Hugging Face Likes This Week6 Projects Ranked91 Popular Articles
2,564
New GitHub Stars This Week
474
New Hugging Face Likes This Week

About

What It Is
语音方向的模型与应用:覆盖把长音频批量转成文本的转写模型、说话人分离、能一次生成多人对话式长音频的语音生成模型,以及参数很小、消费级显卡即可实时合成的配音模型。共同点是把语音从「单条短音频」推进到会议记录、客服归档、播客与有声内容这类长内容的批量处理,模型的部署门槛也从集群一路降到单卡或 CPU。
Why It's Trending
长音频内容的处理需求(会议、客服、播客)稳定增长,转写与说话人分离直接决定录音后续能不能被检索和使用;生成侧则因为小模型能在普通显卡实时合成,批量配音成本显著下降。识别与合成两端需求同时被拉动,使语音模型长期留在榜单上。

Hot Projects

6
老牌语音模型保持稳定关注,本地语音生成需求不减
微软开源的长篇语音模型:一次生成多人对话式长音频,量化后普通 CPU 也能跑,适合播客和有声内容生产
语音合成音频生成
GitHub Stars 5.7 ten thousand·+72 in 24 Hours
语音转写模型稳居热度榜中段,批量转写需求稳定
语音转写模型:把长音频批量转成文本,稀疏结构每次只激活一部分参数,适合会议记录与客服录音归档。
语音识别MoE 架构
Hugging Face Likes 3,153·+27 in 24 Hours
轻量语音合成模型关注度上升
给做配音与有声内容的人:600M 参数的语音合成模型,消费级显卡即可实时生成自然语音,便于批量配音。
语音合成 TTS音频生成
Hugging Face Likes 383·+10 in 24 Hours
端侧多模态模型关注上升,离线场景需求集中
端侧多模态模型:2.2B 参数可离线运行,支持语音与文本输入输出,适合本地助手类应用。
多模态语音模型
Hugging Face Likes 436·+4 in 24 Hours
近一日新增数百关注,隐私输入工具受青睐
跨平台的本地语音听写工具:按住快捷键说话就出文字,识别全程在本机完成,写邮件记笔记都不用联网。
语音识别本地优先
GitHub Stars 6,233·+228 in 24 Hours

Hot Articles

91
5.5万星之后:VibeVoice 的小时增速和日增星开始背离,这信号怎么读

一个开源仓库的星标数据开始“自相矛盾”的时候,往往比它一路暴涨更值得读。VibeVoice 现在正处在这样一个节点:累计 5.5 万星(GitHub 页面显示 55.8k)、日增 214 星、小时增速 49 星。三个数字放在一起,第一反应是“有人在刷数据”。但如果把口径拆开、把仓库发布节奏摊开看,会发现这三个数字没有一个在撒谎——它们只是各自测量了不同尺度的东西,而这三把尺子之间的缝隙,恰好暴露了这个项目真实的推进方式,以及内容创作者该把力气花在哪里。

2026-11-06
Read Article →
Hex 3.0 刚发就把内存砍到 160MB:本地听写终于能常驻后台了

本地语音听写一直有个尴尬的悖论:它最大的卖点是"声音不出设备",而它最大的使用障碍也恰恰来自本地——模型得放在内存里,于是这类工具要么占着几百 MB 甚至上 GB 常驻,要么每次按下快捷键都要等一次冷加载。Hex 3.0 把这个矛盾往前推了一步,公开的对比数字是内存下降超过 82%,常驻占用约 160MB。

2026-11-01
Read Article →
上线 3 周每小时涨 21 赞:30B 稀疏转写模型把 40 种语言与说话人识别打包开源

先把两个容易被标题带偏的事实摆正。

2026-10-29
Read Article →
552 万次下载:说话人分离界的「老基建」凭什么霸榜 Hugging Face 前 40?

在 Hugging Face 这个每月都会涌出新模型、新 SOTA 的生态里,一个看起来"其貌不扬"的说话人分离管线——没有百亿参数,没有铺天盖地的营销,仓库里只有两个模型文件夹、一份 YAML 配置和一张动图——却累计被下载了 552 万次,长期稳居平台下载榜前 40 名。它的名字叫 pyannote/speaker-diarization-community-1。

2026-10-08
Read Article →
一小时会议丢进去,带发言人的逐字稿直接出来:长音频识别这条线被低估了

开完一场一小时的会,真正的折磨才刚开始。

2026-11-06
Read Article →
三大系统稳定版同日落地:本地语音听写不再是谁的专属功能

过去两年,“本地语音听写”几乎等同于“macOS 专属”。Windows 用户只能等云端服务,Linux 用户则长期停留在“自己编译 Whisper 再写胶水脚本”的阶段。Hex 这个用 Rust 写的本地听写项目,在 2.3.0 版本里把 Windows 拉进了发布矩阵,又在同一条发布流水线上同时覆盖 macOS、Windows x64/ARM64 与 Linux x86_64/ARM64。

2026-11-01
Read Article →
说话人分离刚刷屏,批量转写又被推上台:开源语音这一周两连发

十月中下旬,开源语音圈经历了一次罕见的连续发布:先是 Nemotron-3-Diarization 以“8 人同时说话、0.32 秒延迟、1 亿参数、消费级显卡可跑”的标签在中文技术社区刷屏,十来天后,NVIDIA 又在同一天把 Nemotron-3.5-Transcribe-30B-A4B 推上 Build、GitHub、Hugging Face 与 NGC 四个渠道。在社区舆论中,前者的热度明显高于后者,但从工程价值看,真正改变批量音频处理方式的却是后者。

2026-10-29
Read Article →
2026 年开局,说话人分离突然成了「生产落地」热点:三个月三篇转写系统文章刷屏 CSDN

2026 年的技术社区有一个微妙但明显的转向:说话人分离(Speaker Diarization)不再只是学术论文里的 Benchmark 名词,而是频繁出现在「实战」「部署」「系统」等字眼下的工程文章里。以 CSDN 为例,围绕 pyannote.audio 的新文章从 2025 年下半年的「管道深度探索」一路写到 2026 年开年的「智能语音转写系统」与「生产部署实战」,三个月内连续三篇聚焦端到端转写系统的文章相继刷屏。这背后是模型能力的跃迁、是 Whisper 与 diarization 的互补生态,更是会议纪要、客服质检、播客生产这些场景真金白银的落地需求。本文结合社区情报与 pyannote speaker-diarization-community-1 仓库源码,拆解这波「生产落地热」到底发生了什么、谁在推动、谁在买单。

2026-10-08
Read Article →
上线三个月冲上热度榜前列:一个 2592 星小工具的冷启动曲线

一个本地语音听写工具,在 2026 年 7 月 17 日建仓,到 11 月初拿到 2592 星。放在动辄十万星的榜单里,这个数字连入场券都算不上;但把时间轴和发布记录叠在一起看,它给出的信息比绝对数字更有价值:这是一条由发布节奏驱动、而非由单次爆款驱动的曲线。本文用仓库里的 54 份版本文档、源码里的关键阈值和三个平台的内容快照,拆解这条曲线到底证明了什么、没证明什么。

2026-11-01
Read Article →
竞品把流式转写词错率压到 2.5%,30B 开源转写的下一场硬仗开场

2026 年 10 月 1 日,微软发布 MAI-Transcribe-2-Streaming:在 Artificial Analysis 的流式语音转写榜上,最终词错误率 2.50%,最终转录延迟 0.13 秒,在 28 个流式模型里排第一,覆盖 60 种语言,报价每小时 0.54 美元。四周后的 10 月 28 日,NVIDIA 把 Nemotron-3.5-Transcribe-30B-A4B 的权重放上 Hugging Face,34B 总参数、4.3B 激活、40 种语言、单条录音最长一小时。

2026-10-29
Read Article →