大家好，这里是和你们一起探索 AI 的花生~
Controlnet 可以说是目前最主要的一款 AI 绘画掌握插件，可以帮我们实现轮廓、深度、动作姿势、颜色等多种掌握效果。由于每种掌握条件都须要调用不同的掌握模型，加上 SD1.5 和 SDXL 的生态并不互通，大家肯定都至少安装了十几种模型文件，给磁盘空间带来了很大的压力。
最近一款名为 ControlNet++ 的模型却改变了这个状况，它将十多种掌握功能合为一体，只须要安装一个模型，就能和多种不同的预处理器搭配利用，本日就来看看它的详细用法。
一、ControlNet++简介ControlNet++，也称为 ControlNetPlus，目前更普遍的称呼是 Controlnet Union，它是一款新演习的 ControlNet 掌握架构，领悟了 10 多种掌握模型，适用于 SDXL 1.0 生态。与独立掌握模型比较，它的处理效果没有明显低落，利用起来也非常方便，以是推出后很快就受到了广泛关注。
Controlnet Union 领悟的掌握类型一共有 13 种，可以分为 6 大类：
openpose 动作姿势depth 深度thick line 粗线条 (包括：scribble / hed / softedge / ted-512 )thin line 细线条 (包括：canny / mlsd / lineart / animelineart / ted-1280 )normal 法线贴图segment 语义分割除了单独利用，Controlnet Union 也支持多重掌握。也便是我们可以同时开两个掌握窗口，利用不同的预处理器，然后同时选择 Controlnet Union 做为掌握模型，这样运行起来显存压力更小。
Controlnet Union 的模型权重已经开源，目前 SD WebUI 和 ComfyUI 都可以利用，下面先容详细的安装方法。
二、在 SD WebUI 中利用模型下载链接： https://huggingface.co/xinsir/controlnet-union-sdxl-1.0/tree/main （文末有资源包）
从 Huggingface 高下载名为 diffusion_pytorch_model.safetensor 的模型文件，为了方便识别，将其名称改为 controlnet++_union_sdxl.safetensor，然后放到根目录的 extensions\sd-webui-controlnet\models 文件夹中。
将 Controlnet 插件更新到最新版本，然后启动 WebUI，就能在 Controlnet 掌握列表里看到 controlnet union 的选项了，利用时记得选择 SDXL 系列的大模型。我的显存是 8G，在用 controlnet union 时涌现了内存不敷的报错，但是利用独立模型时不会有这样的问题，觉得 union 还是会须要更高的 VRAM。
其余 controlnet union 目前不适用于以下预处理器：
带面部和手部的姿势骨架的模型，比如 openpose_full，openpose_hand、openpose_faceonly 等，由于 union 没有对这些内容进行演习，天生的图像会涌现缺点。seg_ofade20k 语义分割预处理器。三、在 ComfyUI 中利用如果想在 ComfyUI 中利用 Controlnet Union，同样先下载文件，改名后并安装到 ComfyUI\models\controlnet 文件夹，或者 SD WebUI 共用路径中的 models\controlnet 文件夹中（模型资源可以在文末资源包中下载）。
下图是一个最根本的 controlnet 调用事情流（文末资源包可下载），在 ComfyUI 中运行起来非常顺利，没有涌现爆显存的情形。运行此事情流前，须要把稳：
图像尺寸记得与上传的图像保持同等；选择 SDXL 大模型，如果模型不同，天生步数、CFG、采样器等参也须要同步修正；检讨是否精确地选择了 controlnet union 模型。我还搭建了一个多重掌握事情流，可以同时利用两种掌握条件（超过两个后 controlnet union 的效果就会变差），利用时可以多考试测验不同的 contorlnet 强度，获取更好的效果。对付新手来说，可以先熟习这两个根本事情流的节点构成，等熟习之后就能将 controlnet union 结合到其他更繁芜的事情流中了。
那么以上便是对新的 AI 绘画掌握模型 Controlnet Union 的先容，从总体上来说它的效果还是不错的，而且利用更方便，也省空间，非常推举大家都利用。当然如果你想要更精细的出图效果，用最新的独立模型效果肯定会更好。
文章干系链接：
https://github.com/xinsir6/ControlNetPlus/blob/main/README_zh.mdhttps://github.com/Mikubill/sd-webui-controlnet/discussions/2989