办理了什么问题?

1.时空同等性问题:传统的基于图像的方法运用到视频中会导致韶光上的不一致,涌现闪烁和伪影。
ViViD通过时空模块办理了这一问题,确保视频的连贯性。

2.低质量和模糊问题:现有的视频试穿办理方案常日天生低质量和模糊的结果。
ViViD利用广散模型天生高质量的视频,保留了衣物的细节和质感。

3.数据集的限定:现有的视频虚拟试穿数据集普遍分辨率低、种类单一,限定了模型的性能。
ViViD构建了一个高分辨率、种类丰富的数据集,显著提升了模型的表现。

虚拟试衣ViViD视频虚拟试穿技能可随意更换视频中人物的衣服

紧张能力与效果

1.高质量的服装细节保留:ViViD利用服装编码器提取细粒度的服装语义特色,通过把稳力特色领悟机制,将这些细节准确地注入到目标视频中。
这确保了在试穿过程中,服装的颜色、质地和图案等细节都能被高保真地保留和呈现。

2.时空同等性:ViViD引入了姿态编码器和层次化韶光模块,以确保视频帧之间的时空同等性。
姿态编码器帮助模型理解和处理人体姿态与服装之间的交互,而韶光模块则捕捉和整合视频帧间的韶光信息,使得天生的视频更加连贯和自然,避免了闪烁和伪影。

3.多种服装类型的支持:ViViD的数据集包含了上身、下身和连衣裙(包括连体衣)等多种服装类型。
这使得ViViD能够适用于多种试穿场景,包括上半身、下半身和连衣裙,适应多样化的试穿需求。

4.高分辨率视频天生:ViViD利用网络的新数据集,其分辨率高达832×624,能够天生高分辨率的试穿视频。
这确保了视频中的每一帧都具有良好的视觉质量,能够展示出服装的细节和人物的动作。

5.实时视频试穿:基于ViViD的高效演习和推理框架,具有较快的处理速率,能够在合理的韶光内完成视频虚拟试穿,适用于实时或近实时的运用处景。

项目及演示:https://becauseimbatmant0.github.io/ViViD

论文:https:/arxiv.org/pdf/2405.11794

GitHub:https://github.com/alibaba-yuanjing-aigclab/ViViD

#AI开源项目推举##github##AI技能##AI虚拟试衣