▲ 图源 Stability AI,下同

Stable Video 3D 包含两个变体,个中 SV3D_u 能基于单个图像输入天生轨道视频,无需相机调节;而 SV3D_p 扩展了 SVD3_u 的功能,其可容纳轨道视图,许可沿着指定的摄像机路径创建 3D 视频。

相较之前的 Stable Zero123 模型或开源替代品 Zero123-XL,Stable Video 3D 在质量上有明显提高,并具有更好的多视图功能和更闇练的泛化能力,能更虔诚地展现输入图像的三维全貌。

Stability AI 表示,新模型的水平提升有赖于其基石 Stable Video Diffusion 模型,同时 Stable Video 3D 添加了摄像机路径调节,可天生环绕物体的任意轨道。

Stable Video 3D 利用其多视图同等性来优化 3D NeRF 和网格表示,以提高直接重新视图天生的 3D 网格的质量。

单图像创建多视图3D视频Stability AI宣告Stable Video 3D

为此 Stability AI 设计了一种新的掩码分数蒸馏采样丢失技能,可提高 3D 预测质量。
同时其解纠缠照明优化也减少了照明问题,提升了阴影质量。

Stability AI 表示 Stable Video 3D 已可通过其 Stability AI 会员订阅(IT之家注:对付一样平常个人每月 20 美元)商业利用;而对付非商业用场,则可在 Hugging Face 平台高下载模型权重。