2、本地支配（配置达标的小伙伴看）
3、利用SD演习IP的流程和技巧（LoRA篇）
4、利用SD稳定天生高质量IP海报
众所周知，各大厂目前都在AIGC的领域探索实践，也有非常多的外部设计师制作了大量的AIGC干系授课，很多同学由于不清楚详细能得到什么代价或者收成而停滞了脚步。本日我来为大家分享一下经由实际探索且落地的Stable diffusion的IP海报天生流程，内容很干请上车坐稳
该当有很多小伙伴苦于没有一个趁手的电脑配置，以及繁琐确当地配置，终极卡在了配置这个环节，本日我将带大家完成SD的云端支配，看完你就能完美的打开SD了
1、打开云端地址：https://www.autodl.com/home
1、注册上岸后，点击算力市场
2、选择按量计费、内蒙A区（注：不要选北京区可能须要SHH企业打开的问题）
3、点击社区镜像
4、输入搜索关键词vel，找到并选择最新stable-diffusion镜像
5、点击立即创建
6、命名自己的做事器，等待创建完成和开机
7、点击JupyterLab，进入MainUI.ipynb
8、左侧目录下，打开MainUI.ipynb，点击第一行代码区域，然后点击上方的“运行”三角，显示“移动完成”后刷新页面
9、将右上角python 3，改为xl_env
10、点击第二行代码区域，然后点击上方的“运行”三角，等待功能模块涌现
11、选择“启动WebUi”，然后勾选前4个常用功能，点击运行WebUi，等待代码运行
12、当看到蓝色的URL时，则表示运行成功了，然后返回AutoDL下自己的做事器
13、点击“自定义做事”，恭喜你成功进入云端SD了
2、云端根本模型的放置位置
1、大模型放置位置：dutodl-tmp——stable-diffusion-webui——models——Stable-diffusion
2、lora放置位置：dutodl-tmp——stable-diffusion-webui——models——Lora
3、VAE放置位置：dutodl-tmp——stable-diffusion-webui——models——VAE
4、ControlNet模型放置位置：dutodl-tmp——stable-diffusion-webui——extensions——sd-webui-controlnet——models
5、起手式位置：dutodl-tmp——stable-diffusion-webui
2、本地支配秋葉Stable diffusion一键包
百度链接https://pan.baidu.com/s/1A4xSvlLHUJ8uplOc7WjZqg；提取码：sejt
夸克链接：https://pan.quark.cn/s/1dd4f17b3504；提取码：yBRx
3、利用SD演习IP的流程和技巧（LoRA篇）先来先容一下什么是LoRA大家刚打仗stable diffusion时，会听到很多专业术语，个中LoRA模型必定是会被提及到的，那么什么是LoRA模型？它有什么浸染呢？
LoRA模型全称是：Low-Rank Adaptation of Large Language Models，可以理解为Stable-Diffusion中的一个插件，仅须要少量的数据就可以进行演习的一种模型。在天生图片时，LoRA模型会与大模型结合利用，从而实现对输出图片结果的调度。
举个例子：大模型好比没有润色过的人物、物品、场景、等；LoRA模型好比是改变人物、物品、场景等内容的形色质构的成分，但仍旧在大模型的底子下。当然LoRA模型不仅仅限定于人物，场景、动漫、风格。
1、演习环境的搭建· 本地：可下载秋葉SD trainer演习器一键包
· 云端：AutoDL云端配置，社区镜像中找到Train进行支配
2、演习集处理（图片处理+打标+演习参数）· 图片处理· 首先我们须要准备演习的IP（也可以是：物品、场景、风格等），演习图的尺寸须要统一，且以64的倍数设置：常用分辨率为512512、512768、7681152。由于如果尺寸分歧一或不是64的倍数，AI在演习过程会对你的图片进行裁切，导致你想要的画面细节被裁减
· 其次我们须要有3种类型的图：白底IP图+场景IP结合图+单独场景图，全体演习集的数量可以有多少准备多少，越多越好（但是要担保差异性，重复的动作或角度须要剔除）
· 打标
· 当我们准备好须要AI演习的图往后我们须要对这些演习图进行描述，可利用自动打标工具或手动打标（手动打标演习效果会更好） ，准备一个txt文本（担保和你描述的图片命名逐一对应），然后进行详细的描述，以下是我的一些举例：
· 在打标描述里须要把稳格式：我们常用的格式是“触发词”+“自然措辞”+“单词”，并且担保全程英文输入，包括标点符号
3、模型演习&参数设置（注：这里的参数须要根据自身演习的IP或内容进行调优，存在是错本钱，这里给大家科普一些根本）
· 补充2个观点：欠拟合、过拟合
· 过拟合：指AI只会天生你给他供应的演习集内容，比如IP动作、场景、元素、等
· 欠拟合：指AI天生的内容和你演习集的内容完备没关联，或者说收敛性很差导致IP不像
· 根本演习参数
• repeat次数（每张图演习的次数，次数不是越高越高，演习太多会导致过拟合，演习太少会导致欠拟合）
• epoch演习轮数（演习集演习的轮数，轮数不是越高越好，演习太多会导致过拟合，演习太少会导致欠拟合）
• dim值（dim代表了演习的精度）
• alpha值（alpha用于掌握模型繁芜性和约束性，alpha 必须≤dim）
• learning rate、unet lr、text encoder lr（学习率决定模型学习的程度，影响演习效果，比如稳定性、泛化性、收敛性）
• 演习优化器（自适应优化器和非自适应，决定了AI学习节奏）
· 演习过程中的不雅观察
· 须要不雅观察演习的Loss值，Loss值须要成递减状态（正常状态），曲线颠簸不易较大。并且须要记录每一次演习的参数和Loss值来剖析后续模型调优的方向
4、模型测试· 模型测试阶段，我们须要启动SD，并且利用XYZ轴来测试每个版本的模型搭配的LoRA权重，以及大模型，终极沉淀出我们最优版本的模型。
· 在测试阶段我们须要环绕着3个核心的点：稳定性、泛化性、以及收敛性进行测试
· 稳定性：模型是不是在大多数prompt输入下，都能够涌现好的效果
· 泛化行：天生的内容是不是有AI创新的内容（动作、场景、元素、等）
· 收敛性：天生的IP以及特色（或其他核心内容）是不是你想要的效果
4、利用SD稳定天生高质量IP海报
1、模型&提示词
· 天生环境模型紧张包括3类，底模、LoRA模型、以及VAE（可以理解为滤镜），我们可以考试测验各种不同的大模型，比如二次元的anything、目前用的最多的Rev、或者真人类的real
· 提示词分为2部分，正向词为你想要的内容，负向词代表你不想要的内容
· 正向词：会涌现3种类型：触发词+提示词+LoRA，越靠前的词汇权重就会越高
· 在天生出好的效果后大家可以对自己的prompt进行保存
2、采样办法
· 大略来说，这些采样器是算法，它们在每个步骤后获取天生的图像并将其与文本提示要求的内容进行比较，然后对噪声进行一些变动，直到它逐渐达到与文本描述匹配的图像
· 常用的采样器如：Euler a、DDIM、DPM++系列，可以根据自己模型来调度考试测验出最好的参数
3、采样迭代步数· SD通过从充满噪点的画布开始创建图像，然后逐渐去噪以达到终极输出。Steps便是掌握这些去噪步骤的数量。常日，越高越好，但一样平常情形下，我们利用的默认值是20个步骤，这实在已经足以天生任何类型的图像
· 如果在测试新提示希望快速得到空想的构图或结果，可利用15-20steps
· 当找到确认的seed后，可将步骤增加到20-30steps
4、面部修复· 面部修复可改进脸部特这个以及细节，让人脸更自然和都雅，建议当找到确认的seed后打开
5、高清修复· 通过利用算法,AI可以首先在较低的分辨率下对图片进行部分渲染,然后将其提升到高分辨率，并在高分辨率下添加细节，建议当找到确认的seed后打开。
· 常用高清算法如： R-ESRGAN 4x++
6、重绘幅度· 可以理解为AI在创作过程中的发散幅度，越高的值会带来越大的创意，反之会更精准。
7、随机种子
· Seed可以理解为你天生图的身份ID，每个天生图都有自己的seed，当确认了根本构图以及想要的根本效果后锁定种子，从而完成微调
8、尺寸、批次、批数
· 尺寸：一样平常会以64的倍数去递增，常用尺寸在前期确认seed之前会用到512768，512512，等
· 天生批次、每批数量：每批、每次次天生的图像数量，建议在前期找画面之前可以开大数量去抽卡，找到自己想要的画面，然后锁定seed
9、点击天生，完成IP海报（记得记住&保存自己的参数模版）
到这里我们全体流程就走完了，接下来我们就可以不断的天生和创新我们的IP海报了
末了我想说在AI绘画领域还有很多须要探索和实践，未来我也会连续与大家分享更多有代价的内容，如果你也喜好AIGC的探索可以留言一起互换一起进步
作者：京东零售 徐仲巍
来源：京东云开拓者社区 转载请注明来源