ComfyUI-WanVideoWrapper:基于 ComfyUI 的 WanVideo 包装节点项目

ComfyUI国内环境自由集成工具

Branch3Tags0
FilesLast commitLast update
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago

WanVideo 及其相关模型的 ComfyUI 封装节点

持续开发中(永远)

既然 WanVideo 原生支持,为什么还要用自定义节点?

简短回答:除非是原生尚未支持的模型/功能,否则没必要。

详细回答:由于 ComfyUI 核心代码的复杂性,加上我编码经验有限,很多时候为独立封装器实现新模型和功能要容易快捷得多,因此这是相对快速测试新功能的方式。我把这视为个人沙盒(当然对所有人开放),可以随意尝试而不用担心兼容性问题等,但正因如此,这些代码始终处于开发阶段,容易出现问题。此外,并非所有新模型都值得在核心 Comfy 中实现,不过我也制作了一些修补节点,让它们能在原生工作流中使用,比如本封装器中可用的 ATI 节点。这也是最终目标,本意并非要与原生工作流中的所有功能竞争甚至提供替代方案。尽管说了这么多(显然不是推销),我确实感谢大家使用这些节点来探索 WanVideo 的新版本和可能性。

安装

  1. 将此仓库克隆到 custom_nodes 文件夹。
  2. 安装依赖项:pip install -r requirements.txt 如果使用便携版安装,请在 ComfyUI_windows_portable 文件夹中运行:

python_embeded\python.exe -m pip install -r ComfyUI\custom_nodes\ComfyUI-WanVideoWrapper\requirements.txt

模型

https://huggingface.co/Kijai/WanVideo_comfy/tree/main

文本编码器放入 ComfyUI/models/text_encoders

Clip vision 放入 ComfyUI/models/clip_vision

Transformer(主视频模型)放入 ComfyUI/models/diffusion_models

VAE 放入 ComfyUI/models/vae

你也可以使用原生 ComfyUI 文本编码和 clip vision 加载器代替原模型:

image

GGUF 模型现在也能在主模型加载器中加载。


支持的额外模型:

SkyReels: https://huggingface.co/collections/Skywork/skyreels-v2-6801b1b93df627d441d0d0d9

WanVideoFun: https://huggingface.co/collections/alibaba-pai/wan21-fun-v11-680f514c89fe7b4df9d44f17

ReCamMaster: https://github.com/KwaiVGI/ReCamMaster

VACE: https://github.com/ali-vilab/VACE

Phantom: https://huggingface.co/bytedance-research/Phantom

ATI: https://huggingface.co/bytedance-research/ATI

Uni3C: https://github.com/alibaba-damo-academy/Uni3C

MiniMaxRemover: https://huggingface.co/zibojia/minimax-remover

MAGREF: https://huggingface.co/MAGREF-Video/MAGREF

FantasyTalking: https://github.com/Fantasy-AMAP/fantasy-talking

MultiTalk: https://github.com/MeiGen-AI/MultiTalk

EchoShot: https://github.com/D2I-ai/EchoShot

示例:

ReCamMaster:

https://github.com/user-attachments/assets/c58a12c2-13ba-4af8-8041-e283dbef197e

TeaCache(使用旧的临时 WIP 简单版本,I2V):

注意:新版本中阈值应提高 10 倍

使用系数时,0.25-0.30 的范围似乎不错,起始步数可为 0,对于更激进的阈值,稍后开始可能更合理,以避免早期潜在的步跳过问题,这通常会破坏运动效果。

https://github.com/user-attachments/assets/504a9a50-3337-43d2-97b8-8e1661f29f46

上下文窗口测试:

使用 81 帧窗口大小和 16 帧重叠生成 1025 帧。使用 1.3B T2V 模型时,VRAM 占用低于 5GB,在 5090 上生成耗时 10 分钟:

https://github.com/user-attachments/assets/89b393af-cf1b-49ae-aa29-23e57f65911e


这是首个测试,尺寸为 512x512x81

卸载 20/40 块后,VRAM 占用约 16GB

https://github.com/user-attachments/assets/fa6d0a4f-4a4d-4de5-84a4-877cc37b715f

视频到视频示例:

使用 14B T2V 模型:

https://github.com/user-attachments/assets/ef228b8a-a13a-4327-8a1b-1eb343cf00d8

使用 1.3B T2V 模型:

https://github.com/user-attachments/assets/4f35ba84-da7a-4d5b-97ee-9641296f391e

Introduction

ComfyUI国内环境自由集成工具

Customize your domain