若何运用ControlNet插件使AI绘画更可控

AI绘画是一种不须要通过人类主动参与创作而通过打算机视觉即可天生视觉图像的绘画工具，凭借着弘大的数据库和演习样本，就可以根据与图像干系联的关键词，通过其绘画算法输出一张不存在于演习样本数据库中的崭新作品。

AI绘图已成为行业关注焦点。
它的神奇之处在于，可以通过措辞描述天生一幅精品。
不须要学习绘画，不须要操作各种繁芜的作图软件，只须要利用想象力，用措辞描述出画面的内容，AI就能在几秒钟之内把画面呈现出来。

现在盛行的AI绘画工具有Midjourney、Stable Diffusion、DALL·E2、Firefly、文心一格等。
这些AI绘画工具各有特点。

Stable Diffusion对付天生当代艺术图像具有较强的理解力，长于刻画图像的细节。
DALL·E2由其前身DALL·E发展而来，其演习量无比弘大，更适宜用于企业所需的图像天生场景，视觉效果也更靠近于真实的照片。
而Midjourney则利用Discord机器人来收发对做事器的要求，所有的环节基本上都发生在Discord上，并以其独特的艺术风格而有名。
许多艺术家在探求灵感时，都会利用Midjourney天生图像。

ControlNet是一个基于Stable Diffusion功能的插件，它能利用输入图片里的边缘特色、深度特色或人体姿势的骨骼特色等，精确地勾引StableDiffusion天生图像。
它为图像生成功能引入了新的掌握办法，可以更稳定地掌握画面。
这很好地办理了文生图无法掌握天生图片的细节这个难题。

ControlNet能固定构图、定义姿势、描述轮廓，用一张线稿就能天生一张精细的图像，功能非常强大。
实现这些功能的条件是额外给它一些明确的信息指引——一张包含了某种特定信息的图片。

要设计一个海报，一样平常会经历如下几个步骤:确定主题内容、网络素材、确定风格、明确构图、制作草图、制作详细元素笔墨等、排版输出。
这些步骤里，网络素材、制作元素图案和草图等非常花费韶光。
现在这些步骤可以直接交给AI来完成。
在明确主题、风格和详细尺寸之后，出图是非常快速的。
原来须要几小时或几天的事情可缩短至几秒钟。

下面以“夏至”为主题，制作一幅节日海报，突出夏日的幽美景致和欢畅气氛。
由于要用StableDiffusion来制作，为了方便就先把大小定为宽768像素高1024像素的竖版尺寸(制作完成之后，可根据须要再放大)。
夏至是中国的传统节气，以是海报风格确定为国潮风格。
夏至的元素有许多，如蓝天、白云、阳光、远山、湖水、飞鸟、蜻蜓、鱼、田鸡、知了、绿叶、向日葵、荷花、荷叶、柳丝、西瓜、饮料、汽水、阳伞、冰块、冰激凌等等。
为了合营国潮风格确定海报主体是荷花和荷叶，中景是池塘，远景是远山、飞鸟和亭子。

1、选择一种适宜画风景的大模型。
经由多种模型的考试测验，末了选择了大模型:LocsChinaLandscapesv2;为了突出国潮水墨风格，选用了水墨shuimomix-v3这个Lora进行搭配;触发词是shuimo,guochao。
迭代步数:30，采样方法:DPM++2MKarras。

2、提示词书写时要只管即便把描述的场景内容都包括进去。
紧张包括画面质量、画面风格、主体内容特点、场景特点、环境特色、画面透视等几方面。

正向提示词如下:

bestquality,ultra-detailed,hires,8k,greentone，nohumans，lotusflowersinfullbloom,Lotusclose-up,lotusleaves,lotusheads,apooloflotus,summer,fishswimminginthewater,distantgreenmountains,pavilions,quiet, Swarm of Yan flying in the sky, blue sky,white clouds, sunny, fine weather, a prosperousscene, Chinese ink painting style, traditionalink painting style, ancient style, ancient china,painting landscapes, natural, quiet, elegant,the color is bright and fresh, layered sense,perspective sense, shuimo, guochao，<lora:水墨shuimomix-v4_V4.0:1>

负面提示词如下：

NSFW, low quality, low res, monochrome,grayscale，Unclear scenery, improper layout,fuzzy, rough, dull, chaotic, incongruous, vulgar,messy, Too heavy, dull, the subject lacks focus,the color is yellow and twilight, Boulders, orstacked elements, can add to a sense of chaosor disorder. The scene is too complicated, theenvironment is not clear, and the visual Angleof the picture is unbalanced, ugly, chaotic,monotonous, unnatural, abrupt, no originality, nocreativity, lack of level

写完提示词就可以根据这些笔墨天生图像了，天生的图像与描述符合，但在构图方面，有些缭乱。
再多天生几张，还是不满意。

3、掌握Stable Diffusion的构图形式。
这里用到Stable Diffusion的插件ControlNet。
为了更好地让它理解预期的构图形式，须要得当的图片作为参考。

“夏至”这幅图的主体是荷花，以是找了一张荷花特写图片作为参考，按照想要的构图形式，只留下须要的部分，放到得当的位置，做成线稿备用。
如下图所示。

主体参考图

其余还要找到有远山和亭子的背景图片，选择得当的景物，做成线稿。
如下图所示。

背景参考图

做成线稿这个步骤，可以放到StableDiffusion的ControlNet预处理器里完成，由于须要对原图进行取舍修正，为了更方便，用Photoshop进行了处理。

这里采取两个ControlNet来掌握，ControlNet1掌握远景，ControlNet0掌握近景,先掌握远景的画面渲染，再掌握近景画面的渲染，让两部分在步数上有少量的重合，这样两种掌握既不会相互滋扰，画面也会一定程度上领悟在一起。

在文生图下面打开ControlNet，把主体的参考图放到Control Net0里，由于已经把参考图处理成了线稿形式，以是预处理器就选择无。
模型选择:lineart。

荷花是这幅图的主体，需用更多的步数来描绘，为了避免与背景的掌握相互滋扰，以是开始掌握步数(Starting Control Step):0.2，结束掌握步数(Ending Control Step):1。
权重(Control Weight):1。
掌握模式选择(Control Mode):ControlNetis moreimportant。

把背景的参考图放入ControlNet1中，预处理器选择无。
模型选择:lineart。
在这里背景参考图只须要给StableDiffusion供应一个大概的轮廓，细致的描绘可以让StableDiffusion自由发挥，以是掌握权重:0.5。

在步数掌握上，只掌握前面一段的步数，开始掌握步数(Starting Control Step):0，结束掌握步数(Ending Control Step):0.25。
让远景按须要的位置大概画出轮廓就好，再和主体参考掌握在步数上有轻微的交叉，让全体图像更领悟。

设置好ControlNet后，再天生的图，构图层次就基本掌握好了。
多天生几张，挑选满意的图出来。

4、局部重绘。
这张图构图形式和画面都基本满意，但是水里有类似船和人的图像，明显不符合透视。
可以用局部重绘，把船改成鱼，让全体画面更有灵性，于是把这张图放到局部重绘中，用画笔把要改的地方涂黑。

在正向提示词中写上鱼，如many red fish,A group of koi。
提高重绘幅度，再天生，就得到了鱼儿水中游。
多天生几张，探求满意的鱼儿。

5、末了，把天生的图像放入Photoshop中，进行末了的微调，加上笔墨。
如果哪里不满意，还可用Photoshop中的Stable Diffusion插件再次在局部天生新的图案，Photoshop中的Stable Diffusion插件利用方法和直策应用StableDiffusion险些一样，利用起来非常方便。

综上所述，可以看出用Stable Diffusion进行绘画，操作大略快捷，再合营Lora模型和ControlNet等插件，很轻松就能天生出预想的画面，纵然创作者没有美术功底，也可以快速创作出具有繁芜姿态、多种绘画风格的作品。

2022年以来，AI绘画在短短韶光里取得了突飞年夜进的发展，随着版本不断地迭代更新，各种插件的功能越来越完善，使得它广泛运用于游戏开拓、广告设计、艺术创作、建筑设计等领域。
AI绘画在用于设计背景、元素、角色时，可以无限修正优化，效率高，本钱低，可以在短韶光内天生符合哀求的图像。
AI绘图以它强大的算力转化为生产力，推动了设计开拓事情的科技创新发展。

更多关于天生式人工智能的内容，请见《影视制作》2024年2月刊

识别下方二维码或阅读原文 即可在线订阅

现在订阅，即可享受一站式科技信息做事！
随时随地获取《影视制作》近10年精粹内容。
超3000篇论文涵盖了高新视频、网络视听、视音频制播、AI制作、灯光舞美、视效动画等浩瀚广电视听技能领域。
通过搜索关键词，还可在“论文库”中查找须要的文章进行在线阅读和下载，享受“移动线上图书馆”的做事体验！

点击查看➡️「订阅详情先容」