大家好,这里是和你们一起探索 AI 的花生~

Controlnet 可以说是目前最主要的一款 AI 绘画掌握插件,可以帮我们实现轮廓、深度、动作姿势、颜色等多种掌握效果。
由于每种掌握条件都须要调用不同的掌握模型,加上 SD1.5 和 SDXL 的生态并不互通,大家肯定都至少安装了十几种模型文件,给磁盘空间带来了很大的压力。

最近一款名为 ControlNet++ 的模型却改变了这个状况,它将十多种掌握功能合为一体,只须要安装一个模型,就能和多种不同的预处理器搭配利用,本日就来看看它的详细用法。

一、ControlNet++简介

ControlNet++,也称为 ControlNetPlus,目前更普遍的称呼是 Controlnet Union,它是一款新演习的 ControlNet 掌握架构,领悟了 10 多种掌握模型,适用于 SDXL 1.0 生态。
与独立掌握模型比较,它的处理效果没有明显低落,利用起来也非常方便,以是推出后很快就受到了广泛关注。

万能模型 ControlNet Union 10控制效果一键生成

Controlnet Union 领悟的掌握类型一共有 13 种,可以分为 6 大类:

openpose 动作姿势depth 深度thick line 粗线条 (包括:scribble / hed / softedge / ted-512 )thin line 细线条 (包括:canny / mlsd / lineart / animelineart / ted-1280 )normal 法线贴图segment 语义分割

除了单独利用,Controlnet Union 也支持多重掌握。
也便是我们可以同时开两个掌握窗口,利用不同的预处理器,然后同时选择 Controlnet Union 做为掌握模型,这样运行起来显存压力更小。

Controlnet Union 的模型权重已经开源,目前 SD WebUI 和 ComfyUI 都可以利用,下面先容详细的安装方法。

二、在 SD WebUI 中利用

模型下载链接: https://huggingface.co/xinsir/controlnet-union-sdxl-1.0/tree/main (文末有资源包)

从 Huggingface 高下载名为 diffusion_pytorch_model.safetensor 的模型文件,为了方便识别,将其名称改为 controlnet++_union_sdxl.safetensor,然后放到根目录的 extensions\sd-webui-controlnet\models 文件夹中。

将 Controlnet 插件更新到最新版本,然后启动 WebUI,就能在 Controlnet 掌握列表里看到 controlnet union 的选项了,利用时记得选择 SDXL 系列的大模型。
我的显存是 8G,在用 controlnet union 时涌现了内存不敷的报错,但是利用独立模型时不会有这样的问题,觉得 union 还是会须要更高的 VRAM。

其余 controlnet union 目前不适用于以下预处理器:

带面部和手部的姿势骨架的模型,比如 openpose_full,openpose_hand、openpose_faceonly 等,由于 union 没有对这些内容进行演习,天生的图像会涌现缺点。
seg_ofade20k 语义分割预处理器。

三、在 ComfyUI 中利用

如果想在 ComfyUI 中利用 Controlnet Union,同样先下载文件,改名后并安装到 ComfyUI\models\controlnet 文件夹,或者 SD WebUI 共用路径中的 models\controlnet 文件夹中(模型资源可以在文末资源包中下载)。

下图是一个最根本的 controlnet 调用事情流(文末资源包可下载),在 ComfyUI 中运行起来非常顺利,没有涌现爆显存的情形。
运行此事情流前,须要把稳:

图像尺寸记得与上传的图像保持同等;选择 SDXL 大模型,如果模型不同,天生步数、CFG、采样器等参也须要同步修正;检讨是否精确地选择了 controlnet union 模型。

我还搭建了一个多重掌握事情流,可以同时利用两种掌握条件(超过两个后 controlnet union 的效果就会变差),利用时可以多考试测验不同的 contorlnet 强度,获取更好的效果。
对付新手来说,可以先熟习这两个根本事情流的节点构成,等熟习之后就能将 controlnet union 结合到其他更繁芜的事情流中了。

那么以上便是对新的 AI 绘画掌握模型 Controlnet Union 的先容,从总体上来说它的效果还是不错的,而且利用更方便,也省空间,非常推举大家都利用。
当然如果你想要更精细的出图效果,用最新的独立模型效果肯定会更好。

文章干系链接:

https://github.com/xinsir6/ControlNetPlus/blob/main/README_zh.mdhttps://github.com/Mikubill/sd-webui-controlnet/discussions/2989