·第一步:初步搭建,做好前期准备。
→首先打开comfyui界面,直接放入渲染好的三维低模图,连接上一个系数缩放节点以备后续须要。
→算法选择lanczos,再加上VAE编码连接到采样器和大模型上。这边大模型我选择了realcartoon-xl这个写实卡通大模型。
→提示词方面,正向提示词我是这样写的,起手式还是三件套画质词,然后对看着图片内容进行描述即可。负面提示词依旧利用模版直接复制,此时就基本搭好了最初始的事情流。
可以先跑一次看看图片的效果,由此判断各个节点的参数如何调度。可以看这张图,楼房很高且不断重复增高,解释原图的高度可能超出了模型的适宜范围。xl模型在演习时一样平常是1024像素的尺寸,太高了di不知道超出的部分该当怎么处理,以是一直的天生重复的东西。
→查看图片的宽高数值后,将缩放数值改为了0.8,采样器改为非常稳定的dpmpp_2mkarros。现在再次天生一次,现在可以看到房屋没有那么多崩坏又重复的地方,前景细节也不错,可以开始进行下一步。
·第二步:利用controlnet掌握画面布局。这边先加入了涂鸦预处理器来掌握画面的线条,然后挂载好controlnet加载器和controlnet运用(高等)以及图像预览节点,重新连接好各个节点,加载器换为与大模型同等的xl的,这样一个controlnet涂鸦小组就设置好了。
→复制这个小组同样的方法,再添加一个深度预处理器来掌握画面的空间关系。将处理器和加载器都换为depth,并前后串联好,然后考试测验天生一次。
→此时不雅观察图片不须要看画面是否好看,只须要不雅观察空间布局和平面布局对不对,如果不对就,查看两个controlnet的预览图的效果怎么样,如果不好就改换一个预处理器考试测验。
这张图虽然画面过拟合了,但是构造和空间都是精确的,以是可以直接开始办理过拟合的问题。之以是产生过拟合是由于各个掌握器的权重都很高,将两个controlnet的强度都降落再考试测验让更多的权重给到提示词。
再次天生可以看到这张图的还原度就会好很多,只是很多地方的细节不是原来的草图上的,以是再次复制前面的controlnet小组,添加一个canny来掌握细节。同样将预处理器和加载器更换为canny,由于canny会产生非常多的小细节,以是将它的权重降落到0.2,此时天生细节就好了很多,以是可以进行第三步。
·第三步:利用IPAdapter决定图片的风格。现在开始办理风格不对的问题,须要提前找几张风格参考图,然后利用IPAdapter,这边已经直接连接好了IPAdapter的四件套,可以先框选后两张图按ctrl+b忽略,忽略的意思是节点连接不会被阻决然毅然则不生效。
加载器要选择plus对应XL模型,权重类型选择style transfer风格迁移,权重先降落至0.5试试,可以看到颜色明显被抄过来了,解释起浸染了。找参考图的时候要把稳原图须要什么,像我找的这三张图,第一张是颜色参考,以及图中帐篷这种塑料材质,房间里瓶瓶罐罐的这些厨房的东西。
第二张是材质参考,这种漫反射拉丝的金属材质以及传送带帐篷。第三张有金属有高反光的玻璃,颜色也更丰富。三张图综合一起会更丰富画面,要把稳三个ipad apple开启肯定会相互抢权重,以是要先分配好。我这边给中间这张的权重更多一些,是由于其余两张都是黄色调,我希望色彩更丰富一些。
现在再来看一下效果,这张图现在有两个问题,第一个是过曝了,第二个仍旧是过拟合。可以看到这些细节的线条都很乱,也便是说这锅粥太浓稠了。
·须要回过分将所有掌握器的权重都调度一遍,看看哪些调料是可以少放的。这里将depth和canny的权重降落了一些,并将canny的结束韶光提前了。由于第一张参考图比较亮,过曝可能是由于它,以是也将它的权重降落了。把稳一定不要一次性改太多,改一点天生一次,弗成再连续开释权重。
·可以看到这张图现在既参考了原图也自由发挥了,有一点不受掌握了,以是将IPAdapter的权重还回去了一点,把controlnet降落了一些。就像这样根据天生图片的结果来调节各个掌握器的权重,一直的考试测验重新天生,直到连续跑一两张都没有涌现大问题。就不再这里过多纠结,可以开始末了一步。
·第四步:局部拼合,还原产品,完成出图。由于没有单独抠出产品,以是烤箱产品也被ai进行了重绘。做海报肯定须要产品坚持原样,这边有两个方法。
→第一个是这个产品单独渲染好有成品图,只须要去ps里进行拼合更换,完善光影即可。
→第二个还是由ai来完成,利用G-DinoSAM语义分割插件来进行抠图,相称于直接加了一个遮罩,玄色的地方不纳入天生的范围,这样天生出来的图还是原滋原味的烤箱。
·接下来要做的便是不断地抽卡,调节权重再抽卡,将局部有满意的图都保存下来,进入到ps里,把图一起放进去,利用蒙版进行拼合,有一些拼合痕迹也没紧要。将拼好的图再次放入comfyui进行优化,也便是将降噪降落在0.2-0.25旁边,它就只会在原图根本上进行优化。
至此城市烤箱的图就天生好了。整体思路大致是这样。
·(图片尺寸、采样器设置)。
·(scnbble/Dapth/canny、均衡权重)。
·(多张参考图结合controlnet均衡权重)。
·(利用ps或者comfyui进行后期处理)。
教程比较难有任何不懂的,欢迎评论区提问。关注我,让你的设计更高效!
@杰视帮设计,关注-点赞-分享。