---

base_model: black-forest-labs/FLUX.1-dev library_name: diffusers tags:

• flux
• flux-diffusers
• text-to-image
• diffusers
• controlnet
• diffusers-training
• flux
• flux-diffusers
• text-to-image
• diffusers
• controlnet
• diffusers-training inference: true

---

promeai/FLUX.1-controlnet-lineart-promeai

promeai/FLUX.1-controlnet-lineart-promeai 包含基于 black-forest-labs/FLUX.1-dev 训练的线稿条件控制网络权重。

以下是一些示例图像。

提示词：可爱动漫少女，蓬松巨大的耳廓狐耳朵与毛茸茸大尾巴，金色凌乱长发，蓝色眼眸，身着女仆装——黑色鎏金叶片图案长裙配白色围裙，张嘴惊讶状，手捧装饰蜡烛的精緻黑森林蛋糕，置身烛光照亮的古老阴暗维多利亚宅邸厨房，窗外是雾霭笼罩的森林，四处陈列奢华物品

输入控制图	生成结果

使用方法

通过 diffusers

import torch
from diffusers.utils import load_image
from diffusers.pipelines.flux.pipeline_flux_controlnet import FluxControlNetPipeline
from diffusers.models.controlnet_flux import FluxControlNetModel

base_model = 'black-forest-labs/FLUX.1-dev'
controlnet_model = 'promeai/FLUX.1-controlnet-lineart-promeai'
controlnet = FluxControlNetModel.from_pretrained(controlnet_model, torch_dtype=torch.bfloat16)
pipe = FluxControlNetPipeline.from_pretrained(base_model, controlnet=controlnet, torch_dtype=torch.bfloat16)
pipe.to("cuda")

control_image = load_image("./images/example-control.jpg")
prompt = "cute anime girl with massive fluffy fennec ears and a big fluffy tail blonde messy long hair blue eyes wearing a maid outfit with a long black gold leaf pattern dress and a white apron mouth open holding a fancy black forest cake with candles on top in the kitchen of an old dark Victorian mansion lit by candlelight with a bright window to the foggy forest and very expensive stuff everywhere"
image = pipe(
    prompt, 
    control_image=control_image,
    controlnet_conditioning_scale=0.6,
    num_inference_steps=28, 
    guidance_scale=3.5,
).images[0]
image.save("./image.jpg")

使用 ComfyUI

我们还提供了一个 ComfyUI 工作流示例。

局限性与偏差

• 本模型不具备提供事实信息的能力，也不应被用于此目的。
• 作为统计模型，该检查点可能放大现有的社会偏见。
• 模型可能无法生成与提示完全匹配的输出。
• 提示遵循效果很大程度上受提示风格的影响。

训练详情

本 ControlNet 在单张 A100-80G GPU 上完成训练，采用精选的专有真实世界图像数据集。训练前期使用 512 图像尺寸 + 3 批次大小，后期切换至 1024 图像尺寸 + 1 批次大小。在此配置下，GPU 显存占用约 70G，历时约 3 天完成 14000 步训练得到此检查点。