使用 ComfyUI 节点搭配 LivePortrait

更新 2

新增了一种备选的人脸检测器：https://github.com/1adrianb/face-alignment

由于它可以使用 blazeface 后置摄像头模型（或 SFD），对于小尺寸人脸的检测效果要远优于只能使用 blazeface short 模型的 MediaPipe。首次运行时的预热时间可能会很长，但随后的运行速度会很快。

使用 blazeface_back_camera 的示例检测：

https://github.com/user-attachments/assets/40b1fdb4-0b1f-4ea8-8322-aa9151055db0

更新

开发中的大部分内容已经合并到主分支，这意味着旧的流程将不再适用，但所有功能都变得更加快速，并新增了许多特性。出于兼容性考虑，旧的 main 分支已被移动到 legacy-branch。

变更内容：

• 添加 MediaPipe 作为 Insightface 的替代方案，使用它时，所有内容现在都遵循 MIT 和 Apache-2.0 许可证。
• 加入 Vid2vid 功能，包括平滑算法（感谢 @melMass）。
• 提升了速度和效率，即使在 Comfy 中也能实现接近实时视图（约 80-100 毫秒延迟）。
• 重新组织节点以提供更多选项。
• 自动跳过未检测到人脸的帧。
• 许多其他我已经忘记提及的内容，改动很多。
• 在 MPS 上提供了更好的 Mac 支持（感谢 @Grant-CP）。

关于此次更新的补充：

• 将 landmark runner 的 onnx 模型转换为 torch 模型，这是我之前没有尝试过的，我只成功生成了 .pth 文件，所以你必须相信我。这允许在没有 onnxruntime 的情况下运行所有这些内容，它在 GPU 上运行，速度几乎一样快。这一选项已在 MediaPipe 裁剪节点中提供： 选择后，它将自动从以下地址下载：https://huggingface.co/Kijai/LivePortrait_safetensors/blob/main/landmark_model.pth

示例：

实时摄像头馈送：

https://github.com/user-attachments/assets/31f77c10-b757-44ae-bb26-39e45ec0b2d9

Image2vid：

https://github.com/user-attachments/assets/cfec0419-d1eb-4e67-8913-890eeb155eef

Vid2Vid：

https://github.com/user-attachments/assets/28438fcb-fbb0-4e4e-baf4-00fe06c455de

我已经将所有 pickle 文件转换为 safetensors：https://huggingface.co/Kijai/LivePortrait_safetensors/tree/main

它们将被放置在以下位置（如果文件夹不存在，将会自动下载）ComfyUI/models/liveportrait

人脸检测器

您可以使用原始默认的 Insightface，或者选择 Google 的 MediaPipe。

最大的区别在于许可：Insightface 严格限定为非商业用途。 MediaPipe 的检测能力稍逊一筹，且在 Windows 上无法在 GPU 上运行，尽管它在 CPU 上的速度要比 Insightface 快得多。

Insightface 不会自动安装，如果您希望使用它，请按照以下说明操作： 如果您有一个可用的编译环境，安装过程可以非常简单：

pip install insightface

或者对于便携式版本，在 ComfyUI_windows_portable 文件夹中：

python_embeded/python.exe -m pip install insightface

如果这失败了（可能性很大），您可以查看反应节点中的故障排除部分以获取替代方案：

https://github.com/Gourieff/comfyui-reactor-node

对于 Insightface 模型，请将以下内容解压到 ComfyUI/models/insightface/buffalo_l：

https://github.com/deepinsight/insightface/releases/download/v0.7/buffalo_l.zip

请注意 Insightface 许可证的性质为非商业用途。