1、核心技能

PaintsUndo 是一项打破性的技能,旨在通过输入静态图像,自动天生该图像的全体绘画过程视频,可以处理各种类型的图像。

项目的核心在于一系列基于AI的模型,这些模型能够接管图像输入并输出绘画序列,展示从初步素描到终极作品的详细步骤。
这些步骤包括但不限于草图绘制、描线、上色、阴影处理、形状转换、旁边翻转、颜色曲线调度、图层可见性变革,乃至在绘画过程中的创意调度。
这种仿照人类绘画行为的能力,不仅为艺术家供应了新的表达办法,也为AI技能在艺术创作领域的运用开辟了新的路径。

2、模型先容

全新AI对象PaintsUndo一键自动还原图像绘画过程

目前发布了两个模型:单帧模型和多帧模型。

单帧模型采取 SD1.5 的修正架构,以一幅图像和一个操作步骤作为输入,输出一幅图像。
假设一件艺术品常日须要经由 1000 次人工操作才能创作出来(例如一笔是一次操作),那么操作步长是 0-999 之间的整数。
数字 0 是终极完成的艺术品,数字 999 是在纯白画布上绘制的第一笔。

多帧模型基于 VideoCrafter 系列模型,但没有利用原始 Crafter 的 lvdm,所有演习 / 推理代码完备从头开始实现。
项目作者对神经网络的拓扑进行了很多修正,并且经由大量演习后,神经网络的行为与原始 Crafter 有很大不同。

两个模型合营利用,就能天生一段完全的创作过程视频。

是不是很厉害呢?AI的发展越来越快,与我们的事情生活的联系越来越紧密,学会用AI,是这个时期属于你我的课题~