音视频生成

扩散

视频与语音的生成式内容生产工具链

GitHub 本周新增 1.2 万 StarsHF 本周新增 2,020点赞12个项目在榜249篇热门文章
1.2 万
GitHub 本周新增 Stars
2,020
Hugging Face 本周新增点赞

方向介绍

这是什么
一类面向音视频内容生产的生成式项目:视频侧有支持文生视频与图生视频的通用模型版本,有按提示生成短视频片段的新模型,还有用代码批量合成带虚拟人画面、适合规模化产出营销与课程素材的程序化框架;语音侧覆盖长内容配音、面向配音与朗读的开源合成模型,以及在本地完成语音克隆、配音与音色设计、音频不出本机的工作台。共同点是把成片与配音的产能交给模型。
为什么现在火
内容团队对批量出片与配音的需求稳定,而模型侧在长文本连贯性、运动一致性与本地化运行上持续补齐;从模型权重到程序化框架再到本地工作台,形态越往下走越接近可直接交付的生产工具,推动这一簇反复上榜。

热门项目

12
登榜即位居热度榜高位,语音转写方向热度攀升
面向语音转写的稀疏模型:长音频批量转写更省算力(总参数 30B 级,每次仅激活约 4B,需服务器级显卡)
语音识别MoE 稀疏模型
HF 点赞 631·24H +70
单日新增关注超两千,热度快速上升
本地运行的语音工作台:做语音克隆、配音合成与音色设计,音频不出本机,适合内容创作者自用。
语音处理声音克隆
GitHub Stars 9.8 万·24H +1,179
新模型首次上榜即进入前列,实时翻译场景引发关注
面向会议与直播的实时同传模型(总参数 30B、激活 3B):边听边译、不必等整句结束,适合低延迟字幕与口译场景
机器翻译MoE 混合专家
HF 点赞 459
热度榜前列常客,绘图工作流生态带动下载
图像生成模型的轻量版:可直接接入常用绘图工作流,5.5B 大小适合单卡本地出图
图像生成ComfyUI 工作流
HF 点赞 2,300·24H +82
周热度榜在列,一周新增关注五千余
程序化视频生成框架:用代码批量合成带虚拟人画面的视频,适合规模化产出营销与课程素材。
视频生成HTML 动效
GitHub Stars 7.7 万·24H +618
语音合成模型持续被下载,长内容创作讨论活跃
长内容语音合成模型:总参数 35.9B、激活 3B,适合有声书与短剧的批量配音,长文本连贯性更好
语音合成长音频生成
HF 点赞 1,137·24H +7

热门文章

249
上线 3 周每小时涨 21 赞:30B 稀疏转写模型把 40 种语言与说话人识别打包开源

先把两个容易被标题带偏的事实摆正。

2026-10-29
去阅读 →
30B 只激活 3B:混元同传模型开源,先看参数表再看宣传语

2026 年 10 月 26 日,腾讯混元开源了实时同声传译大模型 Hy-SimulMT:支持中英双向的语音到语音翻译,边听边译,同步输出译文文字与语音,并支持实时音色克隆。同一天起,社区围绕"3 秒延迟比专业译员还快""质量比肩人工同传"等宣传语展开讨论。本文不跟着宣传语走,而是直接翻仓库里的 config.json、model.safetensors.index.json 和 README,先核对"30B-A3B"这个数字到底从哪来,再看官方评测数据支撑到什么程度,最后梳理真实部署时绕不开的显存、多卡与音频链路三道门槛。

2026-10-28
去阅读 →
刚刚:发布 3 天下载破 35 万,MOSS-Image 成中文文生图新顶流?

10 月 16 日,OpenMOSS 团队在 GitHub 与 Hugging Face 同步上线 MOSS-Image-Base 与 MOSS-Image-SFT 两个文生图模型。三天过去,Hugging Face 侧累计下载突破 35.4 万、点赞 194,GitHub 仓库收获 740 stars——在文本渲染、中文文字生成普遍拉胯的开源生态里,这个速度值得认真拆一拆:是"中文文生图新顶流"真的出现了,还是又一场三天热度?

2026-10-19
去阅读 →
复旦 MOSS 图像新作开源一周冲上热度榜前列,SFT 版凭什么被关注

从 2023 年那个冲上知乎热搜的"中国版 ChatGPT",到 2026 年 10 月 16 日 OpenMOSS 一口气放出 MOSS-Image-Base 与 MOSS-Image-SFT 两个图像生成权重,MOSS 这条产品线完成了一次从语言到视觉的跨越。GitHub 上 MOSS-Image 主仓库在数日内收获 740+ star、34 次 fork,而 CSDN 等中文技术社区在发布次日(10 月 17 日)就集中涌现出环境搭建、ComfyUI 工作流、JSON Layout、LoRA 微调、Prompt Enhancer 等一系列实操教程——一个发布即被"拆解"的仓库,热度信号是实打实的。本文结合社区情报与 本地仓库 源码,拆解 SFT 版本为什么成为这波关注的焦点。

2026-10-19
去阅读 →
GDC 官宣炸场:芯片巨头联手 ComfyUI,本地视频生成工作流迎来简化

最近 AI 圈有个大动静:NVIDIA(英伟达)和游戏开发者大会 GDC 联手官宣,把"本地 AI 视频生成"这件事,门槛狠狠往下砸了一大截。

2026-10-19
去阅读 →
FLUX.3 Image Klein 发布仅两天,推理框架适配与 ComfyUI 版已全部就位

当 Black Forest Labs 把 FLUX.3 Image Klein 的开放权重挂出来的那一刻,真正的竞赛才刚刚开始:谁能最快把新架构搬进主流推理框架,谁就能抢占社区的第一波流量。而这次生态的反应速度,几乎可以用"发布即就位"来形容——官方单文件 ComfyUI 打包仓库、随 ComfyUI v0.41.0 一起发布的默认工作流模板、以及 "FLUX.3 Image Klein 登陆 Diffusers" 的消息,在模型发布后的两天内全部落地。本文结合社区舆情与本仓库源码,拆解这次"两天就位"背后的模型形态、适配逻辑与工程细节。

2026-10-16
去阅读 →
刚登顶开放权重语音竞技场:Drama 3 预览版把开源 TTS 天花板又顶高了一层

Fish Audio 的第三代语音合成模型 Drama 3(Preview)在开放权重语音竞技场登顶的消息,正在把开源 TTS 圈子的讨论热度推向新高。与以往"单点刷榜"的玩法不同,这次社区里同期出现了它与 ElevenLabs、Cartesia Sonic 3.6、Sesame、Qwen Audio 3.0 等主流模型的横向对比文章,官方博客也罕见地以"我们打造的情感表现力最强的文本转语音模型"来定义这一代产品。本文结合社区舆情与本仓库的源码级证据,拆解 Drama 3 到底把开源 TTS 的天花板顶高了哪一层:榜单位次的含金量、评测维度的意义,以及对下游配音创作者的直接冲击。

2026-10-14
去阅读 →
刚发布就登顶 ModelScope:Qwen-Image-2.1-Turbo 上线两小时冲上榜首,凭什么

2026 年 10 月 9 日,阿里 Qwen 团队同时放出了两枚"炸弹":一是开源加速检查点 Qwen-Image-2.1-Turbo,把图像生成/编辑的去噪步数从 40 步压到 8 步;二是 Pro 与 Turbo 的托管 API 同日上线。随后"上线两小时冲上 ModelScope 榜首"的话题在社区刷屏。一个"换汤不换药"的加速版凭什么有这种热度?本文不追着标题走,而是把这个仓库(hf_mirrors/Qwen/Qwen-Image-2.1-Turbo)从 model_index.json 到 scheduler、transformer 的每一份配置拆开,用源码级证据回答三个问题:这次发布踩在了什么节奏点上、8 步去噪是怎么做到的、以及榜首热度里"口碑"和"发布节奏红利"各占多少。

2026-10-09
去阅读 →
LTX-2.5 悄悄杀回 HuggingFace 前十:167 万下载的老将凭什么还能上榜?

2026 年 8 月 11 日,Lightricks 拆分的开放世界模型公司 LTX 正式发布 LTX-2.5:22B 参数扩散 Transformer(DiT)、原生多镜头生成、音视频同步输出、蒸馏版固定 8 步采样,在 2×GB200 配置下生成 10 秒 720p 图生视频仅需 6.8 秒。这一速度组合让它在发布当天就登上了 IT 之家、17173 等多家科技媒体的头条,也把「比可灵快 58 倍」「比 H3 快 26 倍」之类的数字送进了评论区。

2026-10-08
去阅读 →
一夜刷屏 GitHub:VoiceStudio 一周狂揽 12036 星,凭什么全场增速第一

在 GitHub Trending 的周榜上,新面孔的崛起往往有两种形态:一种是一夜脉冲、昙花一现的"新闻星",另一种是持续攀爬、周复一周刷新纪录的"平台星"。过去七天,VoiceStudio 显然属于后者——周增量 +12036 星、周榜 第 5 名、总星数逼近 54k,更关键的是,它的瞬时增速(growth_1h ≈ 15/h)在榜单公布后依然没有衰减。这说明热度不是一次转发的余波,而是正在被持续的生产力需求喂养。这篇文章拆解三件事:这 12036 颗星从哪来、为什么还在加速、以及它的下一周走势凭什么值得被跟踪。

2026-10-08
去阅读 →