AI视频海内沙场,阿里也了局了。
刚刚,通义万相AI生视频功能上线!
今天下午的阿里云栖大会上,CTO周靖人宣告,官网和App上都可以急速试用了。
比起国外爆火的Sora、Gen-3 Alpha,通义万相是更能听懂中国话,更懂中国风的AI视频模型。
它能够支持最长5秒视频天生,每秒30帧,分辨率为720P。更惊艳的是,它还能天生与画面匹配的音效。
这背后得到了阿里全自研的视觉大模型加持,并采取了业界领先的核心架构——Diffusion+Transformer。
划重点:手机端App不限次数,完备免用度!
PC端,每天上岸送50个灵感值,可天生10次。
要知道,画饼的Sora还不能用,上线的Gen-3 Alpha等都得充值,还有一些仍旧处于内测当中。
比较之下,通义万相是免费的,次数无限用,还不是期货,不须要排队!
更懂中国风、中国话
既然已经上线,我们就迫不及待地展开试用了。
在通义万相页面上输入提示「黑发古风女孩,快速转身微笑,国风发髻,纯色高清」,一条5s的视频就火热出炉了。
人物还原,眼神灵动,乃至还配有古喷鼻香古色的背景音。
无论是缓缓抬起的眼神,还是头发在空中飞舞的样子,都美得摄民气魄。
转向镜头的瞬间,就被她的样貌惊呆了。
就连中国传统的建筑风格——楼阁式塔,它也能很好地还原出来。
在白雪皑皑的山间,一座雄伟的中国古典建筑巍然耸立,精细的木雕,仿佛置入瑶池一样平常。
再来看看,通义万相天生的古风男子,非常精良地描述了温文尔雅的气质。
古风装扮的男子身着月牙白锦袍,站立在文雅的古典园林中,他的一举一动都透露出温文尔雅的气质。镜头从他的侧脸缓缓推近,展现出他眸光温顺,仿佛能洞察民气,给人以温暖和安慰。周围的景致与他的装扮服装相得益彰,共同构建了一幅如诗如画的古典美女图卷。
从某种意义上讲,通义万相是AI视频模型中,更懂国风的那个。
文生视频
在多次试用通义万相的文生视频能力后,不得不感慨:这款AI产品,实在是太有想象力了!
而且,每一个视频,AI都会自动配上BGM。
通过提示词,我们就可以用笔墨掌握画面内容和变革的过程。
晨雾,日出,镜头光晕,清冷风,一个五官精细的年轻中国女子,长长的头发被风吹乱,头发丝飘,散在脸上,穿着夏装,背景海边沙滩
蛛网上挂着透明的水点,形成了俏丽的光斑和折射,通义万相在这个视频中,表示出了对物理光学规律的规律,画面的美感也很动人。
更多无厘头想象的画面,现在都可以变成现实了。无论是在南极大陆上事情的企鹅邮差,还是在米山中间行驶的玉米列车。
而切实地利用过之后,通义万相对观点组合的语义理解、画面的视觉动态、风格泛化能力、国风理元素的呈现,无不给人留下了深刻印象。
听话,想象蝶变现实可以看出,通义万相的指令遵照能力,其实令人深刻。
一句话总结——它便是「最听话」的AI生视频模型。
无论是画面内容、空间构图、运动过程、运镜办法,它均有良好的支持。
而这个模型还是原生支持中文的长文本提示词,因此比较起国外的模型,更能理解中文的繁芜语义理解和观点组合天生能力,能将笔墨创意精准呈现。
作甚一个视频模型的想象力?
如果用公式拆解的话,可以理解为:模型的「想象力」=繁芜语义理解+观点组合天生。
无论提示词中的元素多么繁芜,通义万相都能准确呈现。
而涉及到多个不同元素时,它也能准确、有机地结合在一起,表现出超强的观点组合能力。
任何不可思议的画面,比如「猫变成少年」、「月球上建基地,遭遇大水」,我们都可以充分放飞自己的想象力,要什么就有什么。
比如下面这只小兔子,穿着溜冰鞋在冰面上机动地滑行。
兔子生日宴上,小伙伴们一起为她庆生。
两位正在月球上搭建基地的宇航员,背后是浩瀚无垠的太空。
要说最惊艳的,便是下面这只黑猫幻化成冷峻少年的视频,一眼动漫成真。
运动,重现物理天下
在所有AI视频中,对运动的表示无疑都是最磨练模型功力的一道题。
而通义万相,正好有着强大的运动天生能力。
它不仅支持繁芜与大幅度的运动天生,还能非常写实地还原真实天下的物理规律。
比如在这个视频中,猎豹在狭窄的峡谷中奔跑,眼睛紧盯着前方的猎物。
猎豹四肢的动作、起伏的背脊、尾巴的甩动方向,都很符合自然规律。峡谷场景的一步步推进也很自然。
而这个滑雪爱好者从雪山上快速下滑的视频,无论是滑雪者四肢的动作、变换的重心,还是飞扬的雪粒、光影的变换,都十分自然,马脚极少。
风格泛化
通义万相的风格泛化能力极强,可以根据风格提示词天生相应的视频画面,带来影视级的画面质感和细节表现。
比如这段3D动画风格视频中,帅气的侠客兔子在森林中身披年夜氅提高,质感细腻,达到了大片画质。
而这段勾线动画的视频,将法庭上穿着笔挺状师袍的狐狸状师呈现得活灵巧现。
国漫3D风格的视频中,古装少女端坐在烛光中,夜色氤氲,巧笑倩兮。
下面这个视频是CG厚涂风格,描述了女机器师在未来实验室中调试设备的场景。
音频天生
此外就如上文所言,通义万相还会同时天生声音殊效,后者是和视觉内容高度匹配的,这样就实现了音画同步,增强了视听一体的沉浸感。
上传一张在街道上空任意穿梭的飞碟的图片。
天生的视频中,还为飞碟配上了非常赛博的背景音,而且由近及远,给人一种真实的觉得。
这里,再用「一双似喜非喜含情目,态生两靥之愁,娇袭一身之病」复刻一下林黛玉多愁善感的神色。
视频中的女子很好还原了气郁体质,再加上配乐,又多了一分伤感。
灵感扩写要说通义万相的独特卖点,便是它的灵感扩写能力了。
在文生视频界面上点击「灵感扩写」,就能把大略的提示词扩写成忠于乐意的长提示词,从而大幅提升了天生效果。
比如利用这个prompt「白色狼群在冰川峡谷中穿行,夜晚月圆」,天生的视频是这样的。
仔细听,配音也颇有亮点:悠远、神秘,乃至带着一点凄婉。
点击「灵感扩写」,更长更丰富的prompt就天生了。
根据扩写后的prompt天生的视频,别具一番风味。
图生视频
通义万相的图生视频功能,也令人惊喜。
要知道,虽然图生视频没有文生视频那么难,但对同等性、想象力,哀求也是很高的。
我们都会有这样的冲动:看到一张美图之后,忍不住会去想象,它动起来是什么样子?现在,通义万相的图生视频功能,完备能知足我们的欲望了。
先由通义万相天生一张在熟年代感的欧美餐厅中,几位顾客就餐的图片。
然后,将其上传,还可以补充一些创意描述。
通义万相天生的视频中,全体画面与原图高度同等,而且想象出一位男子劈面走向女子,和她交谈。
再上传一张梵高大师经典之作「星夜」,并输入创意性描述。
接下来,就能看到这幅画作活灵巧现起来了。
小白兔坐在月饼上,周围的花瓣轻轻飘落。
图生视频一下,如梦似幻的场景急速动了起来。
鲸鱼在空中漂浮的科幻场景,超现实主义的渔夫岛屿,荷塘锦鲤的水墨画,这些场景变成视频后,又达到另一番意境。
全自研视频天生LLM
通义万相AI视频能有如此惊奇的表现,深扒技能背后,竟是阿里团队全自研视觉天生大模型立功。
它在模型框架、演习数据、标注办法和产品设计上,具备了业界领先的生产能力。
值得一提的是,这款全新模型采取了Diffusion+Transformer架构。
Diffusion能够在图像、视频天生任务中,通过逐步图像降噪,让画面显现出来。
其余,Transformer的上风就在于,出色地处理序列数据,并有效地捕捉文本中高下文信息。
与其他模型不同的是,通义万相视觉模型采取了中英文双语标注,能够强化中文长文本理解,而且对中文内容和元素原生支持更好。
也便是说,DiT架构不仅能够处理静态图像,还能处理动态视频,为视觉内容创作带来革命性变革。
这种独特的天生办法,在打算效率上具有很强的上风。
通过逐步降噪来天生终极动画,不仅减少打算量,还提高了天生速率,使得通义万相在短韶光内天生高质量视频。
而且,它能够精准构图和布局,从抽象艺术,到风雅现实主义的各种风格,完备可以拿捏。
也正是这一架构的灵巧性,能够让通义万相应用于多种场景。
不论是电商、广告创意,还是自媒体、影视/动画制作等领域,通义万相能够为创作者供应更多灵感来源。
比如,一辆跑车的宣扬视频,在AI笔下,能够瞬间炫酷起来。
影视动画制作中的一些创意场景,AI的想象力更是无限的。
还等什么,无限次数免费续的通义万相,赶紧去试用吧。