AI视频海内沙场,阿里也了局了。

刚刚,通义万相AI生视频功能上线!

今天下午的阿里云栖大会上,CTO周靖人宣告,官网和App上都可以急速试用了。

比起国外爆火的Sora、Gen-3 Alpha,通义万相是更能听懂中国话,更懂中国风的AI视频模型。

阿里通义万相AI生视频震撼上线更懂中国风的大年夜模型来了

它能够支持最长5秒视频天生,每秒30帧,分辨率为720P。
更惊艳的是,它还能天生与画面匹配的音效。

这背后得到了阿里全自研的视觉大模型加持,并采取了业界领先的核心架构——Diffusion+Transformer。

划重点:手机端App不限次数,完备免用度!
PC端,每天上岸送50个灵感值,可天生10次。

要知道,画饼的Sora还不能用,上线的Gen-3 Alpha等都得充值,还有一些仍旧处于内测当中。

比较之下,通义万相是免费的,次数无限用,还不是期货,不须要排队!

更懂中国风、中国话

既然已经上线,我们就迫不及待地展开试用了。

在通义万相页面上输入提示「黑发古风女孩,快速转身微笑,国风发髻,纯色高清」,一条5s的视频就火热出炉了。

人物还原,眼神灵动,乃至还配有古喷鼻香古色的背景音。

无论是缓缓抬起的眼神,还是头发在空中飞舞的样子,都美得摄民气魄。

转向镜头的瞬间,就被她的样貌惊呆了。

就连中国传统的建筑风格——楼阁式塔,它也能很好地还原出来。

在白雪皑皑的山间,一座雄伟的中国古典建筑巍然耸立,精细的木雕,仿佛置入瑶池一样平常。

再来看看,通义万相天生的古风男子,非常精良地描述了温文尔雅的气质。

古风装扮的男子身着月牙白锦袍,站立在文雅的古典园林中,他的一举一动都透露出温文尔雅的气质。
镜头从他的侧脸缓缓推近,展现出他眸光温顺,仿佛能洞察民气,给人以温暖和安慰。
周围的景致与他的装扮服装相得益彰,共同构建了一幅如诗如画的古典美女图卷。

从某种意义上讲,通义万相是AI视频模型中,更懂国风的那个。

文生视频

在多次试用通义万相的文生视频能力后,不得不感慨:这款AI产品,实在是太有想象力了!
而且,每一个视频,AI都会自动配上BGM。

通过提示词,我们就可以用笔墨掌握画面内容和变革的过程。

晨雾,日出,镜头光晕,清冷风,一个五官精细的年轻中国女子,长长的头发被风吹乱,头发丝飘,散在脸上,穿着夏装,背景海边沙滩

蛛网上挂着透明的水点,形成了俏丽的光斑和折射,通义万相在这个视频中,表示出了对物理光学规律的规律,画面的美感也很动人。

更多无厘头想象的画面,现在都可以变成现实了。
无论是在南极大陆上事情的企鹅邮差,还是在米山中间行驶的玉米列车。

而切实地利用过之后,通义万相对观点组合的语义理解、画面的视觉动态、风格泛化能力、国风理元素的呈现,无不给人留下了深刻印象。

听话,想象蝶变现实

可以看出,通义万相的指令遵照能力,其实令人深刻。

一句话总结——它便是「最听话」的AI生视频模型。

无论是画面内容、空间构图、运动过程、运镜办法,它均有良好的支持。

而这个模型还是原生支持中文的长文本提示词,因此比较起国外的模型,更能理解中文的繁芜语义理解和观点组合天生能力,能将笔墨创意精准呈现。

作甚一个视频模型的想象力?

如果用公式拆解的话,可以理解为:模型的「想象力」=繁芜语义理解+观点组合天生。

无论提示词中的元素多么繁芜,通义万相都能准确呈现。

而涉及到多个不同元素时,它也能准确、有机地结合在一起,表现出超强的观点组合能力。

任何不可思议的画面,比如「猫变成少年」、「月球上建基地,遭遇大水」,我们都可以充分放飞自己的想象力,要什么就有什么。

比如下面这只小兔子,穿着溜冰鞋在冰面上机动地滑行。

兔子生日宴上,小伙伴们一起为她庆生。

两位正在月球上搭建基地的宇航员,背后是浩瀚无垠的太空。

要说最惊艳的,便是下面这只黑猫幻化成冷峻少年的视频,一眼动漫成真。

运动,重现物理天下

在所有AI视频中,对运动的表示无疑都是最磨练模型功力的一道题。

而通义万相,正好有着强大的运动天生能力。

它不仅支持繁芜与大幅度的运动天生,还能非常写实地还原真实天下的物理规律。

比如在这个视频中,猎豹在狭窄的峡谷中奔跑,眼睛紧盯着前方的猎物。

猎豹四肢的动作、起伏的背脊、尾巴的甩动方向,都很符合自然规律。
峡谷场景的一步步推进也很自然。

而这个滑雪爱好者从雪山上快速下滑的视频,无论是滑雪者四肢的动作、变换的重心,还是飞扬的雪粒、光影的变换,都十分自然,马脚极少。

风格泛化

通义万相的风格泛化能力极强,可以根据风格提示词天生相应的视频画面,带来影视级的画面质感和细节表现。

比如这段3D动画风格视频中,帅气的侠客兔子在森林中身披年夜氅提高,质感细腻,达到了大片画质。

而这段勾线动画的视频,将法庭上穿着笔挺状师袍的狐狸状师呈现得活灵巧现。

国漫3D风格的视频中,古装少女端坐在烛光中,夜色氤氲,巧笑倩兮。

下面这个视频是CG厚涂风格,描述了女机器师在未来实验室中调试设备的场景。

音频天生

此外就如上文所言,通义万相还会同时天生声音殊效,后者是和视觉内容高度匹配的,这样就实现了音画同步,增强了视听一体的沉浸感。

上传一张在街道上空任意穿梭的飞碟的图片。

天生的视频中,还为飞碟配上了非常赛博的背景音,而且由近及远,给人一种真实的觉得。

这里,再用「一双似喜非喜含情目,态生两靥之愁,娇袭一身之病」复刻一下林黛玉多愁善感的神色。

视频中的女子很好还原了气郁体质,再加上配乐,又多了一分伤感。

灵感扩写

要说通义万相的独特卖点,便是它的灵感扩写能力了。

在文生视频界面上点击「灵感扩写」,就能把大略的提示词扩写成忠于乐意的长提示词,从而大幅提升了天生效果。

比如利用这个prompt「白色狼群在冰川峡谷中穿行,夜晚月圆」,天生的视频是这样的。

仔细听,配音也颇有亮点:悠远、神秘,乃至带着一点凄婉。

点击「灵感扩写」,更长更丰富的prompt就天生了。

根据扩写后的prompt天生的视频,别具一番风味。

图生视频

通义万相的图生视频功能,也令人惊喜。

要知道,虽然图生视频没有文生视频那么难,但对同等性、想象力,哀求也是很高的。

我们都会有这样的冲动:看到一张美图之后,忍不住会去想象,它动起来是什么样子?现在,通义万相的图生视频功能,完备能知足我们的欲望了。

先由通义万相天生一张在熟年代感的欧美餐厅中,几位顾客就餐的图片。

然后,将其上传,还可以补充一些创意描述。

通义万相天生的视频中,全体画面与原图高度同等,而且想象出一位男子劈面走向女子,和她交谈。

再上传一张梵高大师经典之作「星夜」,并输入创意性描述。

接下来,就能看到这幅画作活灵巧现起来了。

小白兔坐在月饼上,周围的花瓣轻轻飘落。

图生视频一下,如梦似幻的场景急速动了起来。

鲸鱼在空中漂浮的科幻场景,超现实主义的渔夫岛屿,荷塘锦鲤的水墨画,这些场景变成视频后,又达到另一番意境。

全自研视频天生LLM

通义万相AI视频能有如此惊奇的表现,深扒技能背后,竟是阿里团队全自研视觉天生大模型立功。

它在模型框架、演习数据、标注办法和产品设计上,具备了业界领先的生产能力。

值得一提的是,这款全新模型采取了Diffusion+Transformer架构。

Diffusion能够在图像、视频天生任务中,通过逐步图像降噪,让画面显现出来。

其余,Transformer的上风就在于,出色地处理序列数据,并有效地捕捉文本中高下文信息。

与其他模型不同的是,通义万相视觉模型采取了中英文双语标注,能够强化中文长文本理解,而且对中文内容和元素原生支持更好。

也便是说,DiT架构不仅能够处理静态图像,还能处理动态视频,为视觉内容创作带来革命性变革。

这种独特的天生办法,在打算效率上具有很强的上风。

通过逐步降噪来天生终极动画,不仅减少打算量,还提高了天生速率,使得通义万相在短韶光内天生高质量视频。

而且,它能够精准构图和布局,从抽象艺术,到风雅现实主义的各种风格,完备可以拿捏。

也正是这一架构的灵巧性,能够让通义万相应用于多种场景。

不论是电商、广告创意,还是自媒体、影视/动画制作等领域,通义万相能够为创作者供应更多灵感来源。

比如,一辆跑车的宣扬视频,在AI笔下,能够瞬间炫酷起来。

影视动画制作中的一些创意场景,AI的想象力更是无限的。

还等什么,无限次数免费续的通义万相,赶紧去试用吧。