ComfyUI-WanVideoWrapper:基于 ComfyUI 的视频处理包装节点项目

用户可借助此项目在 ComfyUI 中实现视频相关功能,它提供了 WanVideo 的包装节点,支持文本编码、clip视觉加载等核心功能,能进行视频生成与转换等操作。【此简介由AI生成】

Branch4Tags0
FilesLast commitLast update
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago

WanVideo 定制的 ComfyUI 封装节点

开发中

安装指南

  1. 将此仓库克隆到 custom_nodes 文件夹中。
  2. 安装依赖:运行 pip install -r requirements.txt 命令, 或者如果您使用便携式安装,请在 ComfyUI_windows_portable 文件夹中执行以下命令:

python_embeded\python.exe -m pip install -r ComfyUI\custom_nodes\ComfyUI-WanVideoWrapper\requirements.txt

模型

https://huggingface.co/Kijai/WanVideo_comfy/tree/main

文本编码器至 ComfyUI/models/text_encoders

视觉剪辑至 ComfyUI/models/clip_vision

Transformer 至 ComfyUI/models/diffusion_models

Vae 至 ComfyUI/models/vae

您也可以使用 ComfyUI 的原生文本编码和视觉剪辑加载器代替原始模型:

image


示例:

ReCamMaster

https://github.com/user-attachments/assets/c58a12c2-13ba-4af8-8041-e283dbef197e

TeaCache(使用旧版的临时简易版本,I2V):

请注意,新版本中阈值值应为原来的 10 倍

当使用系数时,0.25-0.30 的范围看起来不错,起始步可设为 0,如果阈值设置得更激进,可能需要在后面开始以避免早期可能出现的步跳过,这通常会破坏运动效果。

https://github.com/user-attachments/assets/504a9a50-3337-43d2-97b8-8e1661f29f46

上下文窗口测试:

使用 81 帧的窗口大小和 16 帧的重叠,1025 帧使用了 1.3B 的 T2V 模型,占用不到 5GB 的 VRAM,在 5090 上生成时间为 10 分钟:

https://github.com/user-attachments/assets/89b393af-cf1b-49ae-aa29-23e57f65911e


第一次测试使用了 512x512x81

使用约 16GB,20/40 的块被卸载

https://github.com/user-attachments/assets/fa6d0a4f-4a4d-4de5-84a4-877cc37b715f

Vid2vid 示例:

使用 14B T2V 模型:

https://github.com/user-attachments/assets/ef228b8a-a13a-4327-8a1b-1eb343cf00d8

使用 1.3B T2V 模型:

https://github.com/user-attachments/assets/4f35ba84-da7a-4d5b-97ee-9641296f391e

Introduction

用户可借助此项目在 ComfyUI 中实现视频相关功能,它提供了 WanVideo 的包装节点,支持文本编码、clip视觉加载等核心功能,能进行视频生成与转换等操作。【此简介由AI生成】

Customize your domain