ComfyUI-GGUF

GGUF量化支持原生ComfyUI模型

目前这还处于开发阶段（WIP）。这些自定义节点为存储在由llama.cpp推广的GGUF格式中的模型文件提供支持。

虽然在标准的UNET模型（conv2d）上进行量化是不可行的，但像flux这样的变压器/DiT模型似乎受量化影响较小。这允许在低端GPU上使用每个权重变量比特率更低的量化。为了进一步节省显存，还包括了一个加载量化后的T5文本编码器的节点。

注意：**"强制/设置CLIP设备"**不是这个节点包的一部分。如果你只有一个GPU，请不要安装它。如果你不理解它是用来做什么的，不要将其设置为cuda:0，然后抱怨内存溢出错误。不需要复制上面的工作流，只需使用你自己的工作流，将标准的“加载扩散模型”替换为“Unet加载器（GGUF）”节点。

安装

[!重要]
确保你的ComfyUI版本足够新，可以支持在加载UNET时使用自定义操作。

要正常安装自定义节点，请将这个仓库克隆到你的自定义节点文件夹（ComfyUI/custom_nodes）并安装推理所需的唯一依赖项（pip install --upgrade gguf）。

git clone https://github.com/city96/ComfyUI-GGUF

要在独立版本的 ComfyUI 上安装自定义节点，请打开位于 "ComfyUI_windows_portable" 文件夹（即存放您的 run_nvidia_gpu.bat 文件的文件夹）中的命令提示符（CMD），然后使用以下命令：

git clone https://github.com/city96/ComfyUI-GGUF ComfyUI/custom_nodes/ComfyUI-GGUF
.\python_embeded\python.exe -s -m pip install -r .\ComfyUI\custom_nodes\ComfyUI-GGUF\requirements.txt

在 MacOS Sequoia 系统上，torch 版本 2.4.1 似乎为必需，因为 2.6.X 的夜间版本会导致“M1 缓冲区不足”的错误。更多详细信息或解决方法，请参见 这个问题。

使用方法

只需使用位于 bootleg 类别下的 GGUF Unet 加载器。将 .gguf 模型文件放置在您的 ComfyUI/models/unet 文件夹中。

LoRA 加载仍处于试验阶段，但应该可以使用内置的 LoRA 加载器节点正常工作。

预量化模型有：

• flux1-dev GGUF
• flux1-schnell GGUF
• stable-diffusion-3.5-large GGUF
• stable-diffusion-3.5-large-turbo GGUF

最近还新增了对量化 T5 的初步支持，这些可以通过使用各种 *CLIPLoader (gguf) 节点来替代常规节点进行使用。对于 CLIP 模型，请继续使用之前为 CLIP 使用的模型。加载器可以处理两种类型的文件 —— gguf 和常规的 safetensors/bin。

• t5_v1.1-xxl GGUF

有关如何创建自己的量化模型，请查阅 工具 文件夹中的说明。