ComfyUI-GGUF

为原生 ComfyUI 模型提供 GGUF 量化支持

目前该项目仍处于高度开发阶段。这些自定义节点为 llama.cpp 推广的 GGUF 格式模型文件提供支持。

虽然量化对常规 UNET 模型（conv2d）而言并不现实，但类似 flux 的 transformer/DiT 模型受量化的影响似乎较小。这使得在低端 GPU 上可以以更低的每权重比特数（可变比特率量化）运行模型。为了进一步节省显存，该节点包还包含一个用于加载量化版本 T5 文本编码器的节点。

注意：“Force/Set CLIP Device”节点并非本节点包的一部分。如果只有一块 GPU，请勿安装该节点。如果你不理解它的用途，也不要将其设置为 cuda:0 后抱怨显存不足（OOM）错误。无需复制上面的工作流，直接使用你自己的工作流，并将内置的“Load Diffusion Model”节点替换为“Unet Loader (GGUF)”节点即可。

安装

如需正常安装自定义节点，请将此仓库克隆到你的自定义节点文件夹（ComfyUI/custom_nodes）中，并安装唯一的推理依赖项（pip install --upgrade gguf）。

git clone https://github.com/city96/ComfyUI-GGUF

要在独立版ComfyUI中安装此自定义节点，请打开ComfyUI_windows_portable文件夹（即存放run_nvidia_gpu.bat文件的目录）内的命令提示符（CMD），然后执行以下命令：

git clone https://github.com/city96/ComfyUI-GGUF ComfyUI/custom_nodes/ComfyUI-GGUF
.\python_embeded\python.exe -s -m pip install -r .\ComfyUI\custom_nodes\ComfyUI-GGUF\requirements.txt

在MacOS Sequoia系统上，torch似乎需要2.4.1版本，因为2.6.X的夜间版本会导致"M1 buffer is not large enough"错误。更多信息及解决方案请参阅此问题。

用法

直接在bootleg类别下使用GGUF Unet加载器即可。将.gguf模型文件放入您的ComfyUI/models/unet文件夹中。

LoRA加载目前仍处于实验阶段，但应该可以通过内置的LoRA加载器节点正常工作。

预量化模型：

• flux1-dev GGUF
• flux1-schnell GGUF
• stable-diffusion-3.5-large GGUF
• stable-diffusion-3.5-large-turbo GGUF

近期也新增了对T5量化的初步支持，您可以通过各种*CLIPLoader (gguf)节点来使用这些量化模型，这些节点可以替代常规节点使用。对于CLIP模型，请继续使用您之前所用的CLIP模型。该加载器可以同时处理gguf和常规safetensors/bin两种格式的文件。

• t5_v1.1-xxl GGUF

关于如何创建自己的量化模型，请参阅tools文件夹中的说明。