详细来说,Tora由一个轨迹提取器(TE)、一个时空DiT和一个运动勾引熔融器(MGF) 组成。TE利用3D视频压缩网络将任意轨迹编码为分层时空运动补丁。MGF将运动贴片集成到DiT模块中,以天生遵照轨迹的连贯视频。Tora的设计与DiT的可扩展性无缝契合,许可精确掌握具有不同持续韶光、宽高比和分辨率的视频内容。在实现高运动保真度方面表现出色,而且可以细致地仿照物理天下动态。干系论文已发布在arXiv上。
目前,Tora项目主页仅供应视频演示。
详细来说,Tora由一个轨迹提取器(TE)、一个时空DiT和一个运动勾引熔融器(MGF) 组成。TE利用3D视频压缩网络将任意轨迹编码为分层时空运动补丁。MGF将运动贴片集成到DiT模块中,以天生遵照轨迹的连贯视频。Tora的设计与DiT的可扩展性无缝契合,许可精确掌握具有不同持续韶光、宽高比和分辨率的视频内容。在实现高运动保真度方面表现出色,而且可以细致地仿照物理天下动态。干系论文已发布在arXiv上。
目前,Tora项目主页仅供应视频演示。