仅需两张关键桢图片。即可自动生成中心动态帧

技能事理大阐发

ToonCrafter的技能事理也是满满的黑科技：

天生式插值框架：与传统的插值方法不同，ToonCrafter不依赖于显式的帧间对应关系，而是通过学习视频数据的潜在表示来进行帧的天生。
领域适配：通过领域适配策略，ToonCrafter能够将真实视频的运动先适配到卡通视频领域，办理了领域差异问题。
双参考3D解码器：利用这种解码器，ToonCrafter能够补偿细节丢失，通过稠浊把稳力残差学习机制（HAR），将输入图像的细节信息注入到天生帧中。
稠浊把稳力残差学习机制（HAR）：在解码过程中，HAR通过交叉把稳力机制和残差学习来增强细节的规复。
伪3D卷积：为了增强韶光上的连贯性，ToonCrafter在解码器中引入了伪3D卷积。
草图编码器：许可用户通过输入草图来掌握天生动画的运动和风格。
扩散模型：基于扩散模型，ToonCrafter从随机噪声中天生连续的视频帧。
迭代去噪过程：通过迭代去噪过程逐步风雅化天生的图像。
端到真个演习和优化：ToonCrafter的各个组件通过端到真个办法进行演习和优化。
多模态输入支持：支持如草图、参考图像等多模态输入，增强天生动画的表现力和掌握性。