krita-ai-diffusion:基于 Krita 的 AI 图像生成与编辑插件项目

Streamlined interface for generating images with AI in Krita. Inpaint and outpaint with optional text prompt, no tweaking required.

分支37Tags86
文件最后提交记录最后更新时间
2 个月前
5 个月前
13 天前
3 个月前
2 年前
2 个月前
13 天前
1 年前
7 个月前
1 年前
3 个月前
1 年前
2 年前
3 个月前
2 年前
5 个月前
6 个月前

生成式 AI for Krita

功能特性 | ⭳ 下载 | 🛠️安装指南 | 🎞️ 演示视频 | 🖼️作品展示 | 📖用户手册 | 💬讨论区 | 🗣️Discord 社区

这是一款能让你在 Krita 内部直接将生成式 AI 融入图像绘制与编辑流程的插件。访问 www.interstice.cloud 了解项目简介,或前往 docs.interstice.cloud 学习安装与使用方法。

本项目的主要目标是:

  • 精准与可控:仅通过文本生成完整图像往往难以预测。为实现你心中的理想效果,你可以将生成范围限定在选区,通过调整强度来优化现有内容,将文本聚焦于特定图像区域,并借助参考图、草图、线稿、深度图等多种方式引导生成过程。
  • 工作流整合:大多数图像生成工具过于强调 AI 参数调节。本项目旨在成为一款不突兀的工具,与 Krita 的图像编辑工作流深度融合、协同增效。你可以流畅地进行绘制、上色、编辑和生成操作,无需为分辨率和技术细节劳心。
  • 本地、开放、免费:我们致力于支持开源模型。你可以自定义预设、导入自己的模型,并在本地硬件上运行所有功能。同时也提供云端生成选项,助你快速上手,无需高额硬件投入。

观看演示视频

功能特性

  • 图像修复(Inpainting):利用选区进行生成式填充、扩展,添加或移除对象
  • 实时绘画(Live Painting):让 AI 实时解读你的画布,提供即时反馈。观看视频
  • 图像放大(Upscaling):将图像放大并增强至 4k、8k 甚至更高分辨率,且不会出现内存不足问题。
  • 扩散模型(Diffusion Models):支持 Flux 2、Z-Image、Stable Diffusion 1.5、XL、Illustrious
  • 编辑模型(Edit Models):通过文本指令对图像进行修改
  • ControlNet:支持涂鸦(Scribble)、线稿(Line art)、边缘检测(Canny edge)、姿态(Pose)、深度(Depth)、法线(Normals)、分割(Segmentation)等多种控制方式
  • IP-Adapter:支持参考图像、风格与构图迁移、人脸替换
  • 区域(Regions):为通过图层定义的图像区域分配单独的文本描述。
  • 任务队列(Job Queue):在处理图像的同时,可排队及取消生成任务。
  • 历史记录(History):随时预览结果,浏览过往生成内容及提示词。
  • 优化默认值(Strong Defaults):多用途的默认风格预设,打造简洁直观的用户界面。
  • 自定义(Customization):创建你自己的预设,包括自定义模型 checkpoint、LoRA、采样器等。

开始使用

请参阅插件安装指南获取详细说明。

以下是简明(更偏技术)的版本:

操作系统

Windows、Linux、MacOS

硬件支持

若要在本地运行,建议配备至少 6 GB 显存的高性能显卡(NVIDIA)。否则,生成图像将耗费很长时间,或可能因内存不足而失败!

NVIDIA GPU通过 CUDA 支持(Windows/Linux)
AMD GPU通过 ROCm 支持(Windows/Linux)
Intel GPU通过 XPU 支持(Windows/Linux)
Apple SiliconmacOS 14+ 上的 MPS
CPU支持,但速度非常慢

安装步骤

  1. 如果尚未安装,请先安装Krita要求版本:5.2.0 或更高
  2. 下载插件
  3. 启动 Krita,通过 工具 ▸ 脚本 ▸ 从文件导入 Python 插件... 安装插件
    • 选择您在上一步下载的 ZIP 压缩包。
    • 有关更多选项,请查阅Krita 官方文档
  4. 重启 Krita,创建新文档或打开现有图像。
  5. 要显示插件面板:设置 ‣ 面板 ‣ AI 图像生成
  6. 在插件面板中,点击“配置”以开始本地服务器安装或进行连接。

Note

如果遇到问题,请查看常见问题解答/常见问题列表以获取解决方案。

您可以通过讨论区、我们的Discord或在此报告问题与我们联系。请注意,Krita 官方渠道不是寻求此扩展相关问题帮助的正确场所!

可选: 自定义 ComfyUI 服务器

本插件使用 ComfyUI 作为后端。 除了自动安装外,您也可以手动安装 ComfyUI 或使用现有的安装实例。如果在启动 Krita 之前,本地服务器已处于运行状态,插件将自动尝试连接。通过这种方式,也可以使用远程服务器。

请查看 所需扩展和模型列表,确保您的安装兼容。

可选: 对象选择工具(分割)

如果您需要一种简单的方式来选择图像中的对象或移除背景,可以使用 单独的插件,该插件添加了 AI 分割工具。

贡献

非常欢迎您的贡献!请查看 贡献指南 以开始参与。

示例展示

带区域的实时绘画(点击查看视频) 观看视频演示

使用写实模型对照片进行局部重绘

对 AI 生成的图像进行修改和内容添加

为图像添加细节并迭代优化小部分区域

修改姿态向量图层以控制角色姿势(点击查看视频) 观看视频演示

控制图层:涂鸦、线稿、深度图、姿态 涂鸦控制图层 线稿控制图层 深度图控制图层 姿态控制图层

技术

项目介绍

Krita中优化的人工智能图像生成界面。支持带可选文字提示的修复和扩展绘画功能,无需调整设置。【此简介由AI生成】

定制我的领域
8010.53 K622访问 GitHub