ComfyUI国内环境自由集成工具
| Files | Last commit | Last update |
|---|---|---|
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago | ||
| 1 year ago |
WanVideo 及其相关模型的 ComfyUI 封装节点
持续开发中(永远)
既然 WanVideo 原生支持,为什么还要用自定义节点?
简短回答:除非是原生尚未支持的模型/功能,否则没必要。
详细回答:由于 ComfyUI 核心代码的复杂性,加上我编码经验有限,很多时候为独立封装器实现新模型和功能要容易快捷得多,因此这是相对快速测试新功能的方式。我把这视为个人沙盒(当然对所有人开放),可以随意尝试而不用担心兼容性问题等,但正因如此,这些代码始终处于开发阶段,容易出现问题。此外,并非所有新模型都值得在核心 Comfy 中实现,不过我也制作了一些修补节点,让它们能在原生工作流中使用,比如本封装器中可用的 ATI 节点。这也是最终目标,本意并非要与原生工作流中的所有功能竞争甚至提供替代方案。尽管说了这么多(显然不是推销),我确实感谢大家使用这些节点来探索 WanVideo 的新版本和可能性。
安装
- 将此仓库克隆到
custom_nodes文件夹。 - 安装依赖项:
pip install -r requirements.txt如果使用便携版安装,请在 ComfyUI_windows_portable 文件夹中运行:
python_embeded\python.exe -m pip install -r ComfyUI\custom_nodes\ComfyUI-WanVideoWrapper\requirements.txt
模型
https://huggingface.co/Kijai/WanVideo_comfy/tree/main
文本编码器放入 ComfyUI/models/text_encoders
Clip vision 放入 ComfyUI/models/clip_vision
Transformer(主视频模型)放入 ComfyUI/models/diffusion_models
VAE 放入 ComfyUI/models/vae
你也可以使用原生 ComfyUI 文本编码和 clip vision 加载器代替原模型:
GGUF 模型现在也能在主模型加载器中加载。
支持的额外模型:
SkyReels: https://huggingface.co/collections/Skywork/skyreels-v2-6801b1b93df627d441d0d0d9
WanVideoFun: https://huggingface.co/collections/alibaba-pai/wan21-fun-v11-680f514c89fe7b4df9d44f17
ReCamMaster: https://github.com/KwaiVGI/ReCamMaster
VACE: https://github.com/ali-vilab/VACE
Phantom: https://huggingface.co/bytedance-research/Phantom
ATI: https://huggingface.co/bytedance-research/ATI
Uni3C: https://github.com/alibaba-damo-academy/Uni3C
MiniMaxRemover: https://huggingface.co/zibojia/minimax-remover
MAGREF: https://huggingface.co/MAGREF-Video/MAGREF
FantasyTalking: https://github.com/Fantasy-AMAP/fantasy-talking
MultiTalk: https://github.com/MeiGen-AI/MultiTalk
EchoShot: https://github.com/D2I-ai/EchoShot
示例:
https://github.com/user-attachments/assets/c58a12c2-13ba-4af8-8041-e283dbef197e
TeaCache(使用旧的临时 WIP 简单版本,I2V):
注意:新版本中阈值应提高 10 倍
使用系数时,0.25-0.30 的范围似乎不错,起始步数可为 0,对于更激进的阈值,稍后开始可能更合理,以避免早期潜在的步跳过问题,这通常会破坏运动效果。
https://github.com/user-attachments/assets/504a9a50-3337-43d2-97b8-8e1661f29f46
上下文窗口测试:
使用 81 帧窗口大小和 16 帧重叠生成 1025 帧。使用 1.3B T2V 模型时,VRAM 占用低于 5GB,在 5090 上生成耗时 10 分钟:
https://github.com/user-attachments/assets/89b393af-cf1b-49ae-aa29-23e57f65911e
这是首个测试,尺寸为 512x512x81
卸载 20/40 块后,VRAM 占用约 16GB
https://github.com/user-attachments/assets/fa6d0a4f-4a4d-4de5-84a4-877cc37b715f
视频到视频示例:
使用 14B T2V 模型:
https://github.com/user-attachments/assets/ef228b8a-a13a-4327-8a1b-1eb343cf00d8
使用 1.3B T2V 模型:
https://github.com/user-attachments/assets/4f35ba84-da7a-4d5b-97ee-9641296f391e