本日禀享内容的视频版如下,视频已添加进度条及配音,文中涉及到的模型已上传,想要原视频以及模型的鹿友"大众年夜众号后台撩我获取:
视频版稍后单独发送
以下是图文版内容:
正文共:3661字 51图
估量阅读韶光:10分钟
实在一贯以来,我以为分享式的学习方法特殊适宜我。在学习的过程中,分享出来,相称于对自己学到的内容进行进一步的梳理和巩固。
前面连续两篇文章,我们分别分享了SD的软件安装、文生图的概述、Ai绘图初体验以及模型的分类。
本日我打算将文生图的内容补充完全,着重分享一些之前没分享过的知识点。我相信通过这三篇连续的文章分享,新手在文生图方面基本上可以算是入门了。
01
Clip跳过层
Clip跳过层我们一样平常很少调度,但为了完全性还是大概解释一下它的浸染。
这里先说一下测试出来的结论:数值越高,天生的图和提词的干系性越低。
例如,在提词器中设置了关键词吉尼龟、可爱、帽子、水,接下来须要找一个不错的状态来固定随机种子:
这里我用XYZ图表脚本天生了一个比拟图,关于XYZ图表的利用我们往后再说:
横向比拟是Clip跳过层从1-10,纵向比拟了两个模型,可以不雅观察到,总的来说数值越高,得到的图像就越短缺我们在提词器中设定的内容:
这一点我以为我们新手仅作理解就好,大部分情形下Clip跳过层的数值保持默认即可。
02
采样迭代步数
采样迭代步数在之前的文生图概述中已经提到过了,当鼠标勾留在上面时,也可以看到它的含义:
大略来说,采样迭代步数便是用多少次来打算你提词器里的内容。
同样我这里设置了在1-40的步数范围内取个中10张图来做比拟:
可以不雅观察到,当步数太低时,天生的图像险些无法呈现内容;个人认为,将步数掌握在30以内比较得当,由于超过30步会增加天生图片所需的韶光,但收益可能有限:
03
采样方法
采样方法在之前已经提到过,它指的是不同的算法。在之前的采样迭代步数比拟的根本上,我在上面增加了所有采样方法的比拟,以便进行纵向比较:
从速度方面来看,DDIM的速率最快,而DPM Adaptive则较慢:
但是这个比拟只能作为参考,由于不同的采样方法可能对不同的模型产生不同的影响。
因此,对付采样方法的选择,我认为最好的方法便是考试测验,以及根据个人的喜好进行选择。
目前在网络上利用最广泛的几种采样办法分别是:Euler a、DPM++ 2M Karras、DPM++ SDE Karras、DDIM:
04
面部修复、平铺及高清修复
面部修复常日用在天生三次元的图,例如我这里天生一个三次元的图,面部会有些崩坏:
开启面部修复功能后,对付天生的三次元图像,崩坏情形可能会有一定改进。但对付二次元图像,建议不要开启面部修复功能:
平铺是用于天生花纹的,我没用过,这个咱们新手就暂时跳过吧:
高清修复功能在一定程度上也可以帮助改进面部效果,例如我这里以男人的图为例进行演示:
对付三次元图像,可以选择R-ESRGAN 4x+算法;对付二次元图像,可以选择R-ESRGAN 4x+ Anime6B算法。这两个算法在高清修复中常日会得到较好的效果。
常日情形下,高清修复的采样次数可以保持默认值为0,这样它会和采样迭代步数保持同等。
而重绘幅度数值越高,天生图像与原图的差异也会越大。一样平常情形下,0.4到0.7的效果都不错:
放大倍率顾名思义便是在原有分辨率的根本上放大多少,千万别给太高,否则显卡会崩,常日2倍就足够了:
可以看到面部得到了改进,并且由于我重绘幅度给的比较高,以是画面的变动比较大。
其余提示一点,当面部崩坏的时候,面部修复和高清修复二选一,不要两个都开,否则会揠苗助长:
05
分辨率
分辨率的设置是尤为关键的,上一篇模型分类的文章中,我们提到了险些所有的模型都是基于SD官方模型演习得来的。
而以官方模型sd1.5为例,演习时候图片的分辨率是512512:
sd2.1的分辨率新增了768768版本:
也便是说险些所有的模型演习的尺寸都是512512或者768768。
因此当我们分辨率太低,例如低于256256,会让SD没地方发挥,导致图像质量低落:
而当我们把分辨率设置过高,例如高于10241024,会让SD乱发挥,构图会有问题,乃至产生鬼畜效果:
这个和宽高比没有关系,例如我把宽改为512,高保持1280也能天生一副正常的图片:
详细分辨率该当如何设置,我的个人建议是至少担保个中一个参数为512或者768,有一些模型它也会写明推举的分辨率。
如果你确实想天生高分辨率图像,建议天生小的分辨率尺寸然后在此根本上开高清修复:
06
天生批次和CFG
天生批次很好理解,相称于每次生多少组图,这些图的随机种子是依次增加的:
每批数量便是每组图有多少张,例如我这里天生了4批,每批数量是2,一共便是8张图:
CFG参数掌握天生图像的提词干系性,数值越高越靠近提词内容,但过高会导致饱和度过曝,我这里同样以吉尼龟为例做了一个比拟图大家可以看看:
07
随机种子
末了一个参数随机种子,说到随机种子我们这里先提一下AI绘图的事情事理,用人话讲AI绘图便是先给一个噪声图,然后通过不断的调度往你的提词靠拢末了天生图片。
随机种子随机的便是这个噪声图,我这里用DDIM这种采样模式天生了一个采样迭代步数1到10的比拟图:
可以看到当采样迭代步数为1的时候,便是一个噪声图,然后随着步数的增加逐渐形成一张图:
之前我们也提过,当你得到一个以为不错的效果时候,可以点击环保图标按钮固定住随机种子。
这样在同样硬件环境以及参数不变的情形下,你每次得到的图可以达到百分之99的相似:
点击骰子按钮随机种子的数值会变成-1,这样每次都会利用一个新的随机种子:
激活倒三角阁下的按钮之后,这里你还可以再设置一个随机种子,然后通过调度差异强度,将两个种子的图片进行稠浊。
下面的宽度和高度是指的天生图时按照你指定的分辨率的构图或者效果天生图片,但实际终极的分辨率还是你上面设置的出图分辨率,这个功能很少用:
08
Ai绘图小案例 吉尼龟
本来以上便是本日要分享的所有内容,但是由于我习气了写案例的文章,以是就顺便把前面举例的吉尼龟案例弄完吧。
找到之前测试过程中还不错的一张图,上传到图片信息选项卡,它会自动读取到你的文生图参数信息,点击文生图:
你的参数设置就会自动填写到文生图的各个栏位:
让我们在此根本上连续调度吧,首先我把模型切换为了ReV Animatedv1.2.2,这个是ReV Animated的最新版本,文末我也会把模型分享给大家。
然后尺寸我把高度改为了768,宽度保持为512,这张图之前用的采样方法是DDIM,然后把采样迭代步数改为30天生图试一下:
出问题了,天生的图片跑出一个女孩出来并且在翻车的边缘徘徊,我只希望涌现吉尼龟。
以是在正向提词框内,我输入了“没有人类”,并且括弧加冒号1.3来提高它的权重。
同时为了避免翻车,反向提词里我输入了“NSFW(不适宜在事情韶光浏览的内容)”,权重为1.4:
接下来我们就须要找到一个比较得当的随机种子状态,固定住进一步微调。
大家可以通过天生多个批次的办法找到自己想要的状态,为了节约韶光,我直接输入之前考试测验好的seed:
C站上看一下这个模型的先容,它是有推举填写的正反向提词内容:
这些紧张都是用于调度画面品质的提词,把它们都抄进提词框吧,模型先容中的权重书写办法我改为了自己习气的写法,这个往后我们再进一步分享:
开始微调吧,提词内首先我把“一个吉尼龟,可爱,帽子,水”改成了“吉尼龟戴着绿色的帽子,可爱,水”:
接着我在可爱后面输入了“chibi”,这个是用于描述Q版形象的意思,我记得吉尼龟的眼睛是赤色的,以是又输入了“赤色眼睛”:
然后我又加入了“站立,伸开短手臂,短腿,微笑”来进一步掌握它的形态,大体觉得就出来了:
现在手部涌现问题了,这个是最不好掌握的,我这里首先把负向提词里和手有关的权重都提高了,但是现在又多出一个手出来:
以是负向提词里我加了一个“多余肢体”在最前面:
现在帽子涌现了赤色,我只想要纯绿色的帽子,以是在负向提词里加了“赤色帽子”。
至于它的位置我建议大家先放到最前面开始考试测验,如果对画面影响太大,就向后移。
如图所示我移动到“低质量”后面的时候,画面影响不太大,但是又多了部分肢体出来:
以是再次提高“多余肢体”的权重,这个权重大家可以多考试测验一下太高或者太低效果都不好:
其余有个知识点是我意外创造的,当我们在提词中连续输入两个逗号,即表示中间有个空缺提词,对画面也有微弱的影响。
由于实在相称于还是改变了提词之间的前后顺序,也便是权重,例如这里意外的长出了尾巴这反而是我想要的:
只是这种微调就须要多多考试测验了,例如我这里尾巴虽然意外的长出来了,但是手指又多了,并且反而降落“多余肢体”的权重能得到满意的效果,有点玄学:
其余我开了高清修复,由于本身我对画面已经比较满意了,以是重绘幅度开得比较低,紧张是为了放大分辨率,算法记得选择精确哦:
末了PS里调色排版看看效果吧:
以上便是本日要分享的所有内容啦,实在内容还是比较多的,希望对大家有所帮助,希望各位鹿友一键三连支持哦!
更多内容欢迎关注"大众年夜众号:
本文由“野鹿志”发布
转载前请联系马鹿野郎