在极富动感的音乐中,一名少年踏着滑板穿过了崇山峻岭和西部公路,就在你以为这是某个电影片段时,画面一转,屏幕外的少年只是在原地摆姿势。

以往这种效果,每每通过专业团队搭建绿幕完成,而现在一家公司想用AI技能“取代”绿幕,让人在手机拍摄时,就能实时完成视频抠图。

这便是Versa(上海懿天网络科技)公司推出的新产品“绿幕侠”,该产品希望能够一部分“替代”绿幕,让普通人也参与到微电影短视频的制作当中。

如下图所示,用户进入“绿幕侠”后默认是绿幕,用户还可选择其他视频场景如“梵高的博物馆”、“徒步欧洲”和“像素人”等主题。
视频中的人像会被App自动抠图出来,可改变大小或复制拼贴。
据钛媒体不雅观察,当前产品中内置的许多视频场景由用户上传。

手机也能视频抠图绿幕侠若何让人原地漫游世界

用户可在“绿幕侠”主页可选择不同场景拍摄视频

Versa希望能做成手机真个Adobe,只是前者的受众倾向设计师等专业群体,而Versa公司希望能降落创意设计的门槛。
与Adobe百口桶类似的是,未来versa也打算推出一系列产品,专门办理普通人在图片、拍照、视频和音乐方面的创意设计问题。
其余,除了移动端,这些产品也将逐步在Pad和PC端上落地。

2018年8月,Versa推出了AI图像处理App“马卡龙玩图”,该产品的定位是“手机端Photoshop”,其最主要的功能之一,便是利用打算机视觉中的AI图像语义分割技能进行一键抠图,实现人景分离和图像分离。
用户不仅能一键P掉游客照中的路人,还能穿梭于天下名画、日漫风景等各种场景中。

蔡天懿对钛媒体透露,之后“马卡龙玩图”也会上线视频抠图功能,不过与“绿幕侠”不同的是,前者看重视频的编辑功能,会对已有视频做殊效编辑;而后者重视拍摄过程,可实时抠图完成殊效。

用户在产品的内容社区上传自己的作品(图片来源于马卡龙玩图)

AI图像语义分割是Versa公司系列产品中最核心的技能。
从“马卡龙玩图”到“绿幕侠”,Versa产品的处理工具完成了从图像到视频的超过,两者都基于AI图像语义分割,只是后者面临的技能寻衅更大。

那么,实时的视频抠图要如何实现,实现了部分殊效制作的“绿幕侠”又有着若何的想象力?

视频抠图的技能攻坚战

马卡龙玩图刚上线时仅能做到人景分离,现在已经能做到图像分离,分割几十余种常见实例,除了识别人,人体各部分(如五官、头发和衣服)还有人的附属物(如背的包袋)等等。

视频抠图也是如此,多张图片的连续便成了视频。
帧数越多,人所看到的视频越细腻。
电影的帧数是24帧/秒,而“绿幕侠”的频率已经能达到30帧/秒,相称于1秒处理30张图片,一张图片约为33毫秒。

“绿幕侠”视频抠图示意图(来源产品宣扬片)

在从图像抠图到视频抠图的转变中,Versa团队曾面临一个问题:做实时视频抠图,AI模型的运算选择云端还是手机端?

“我们决定把运算放在手机端而非云端。
这紧张出于实时处理、节省用度和个人隐私三方面的考量,”蔡天懿对钛媒体表示。

他补充道,首先,在云端处理每每有100毫秒的时延,而“绿幕侠”是实时抠图更换背景,有时延便无法做到实时。
其次,视频处理跑在云端须要额外包袱比图片处理高30倍的云端做事器的本钱,且用户数越多本钱越高。
第三,拍照视频都属于个人私隐,上云也会存在安全隐患。
实现手机端运行是绿幕侠App落地的紧张条件。

像前段韶光盛行的FaceApp能让人一键变老,该产品便是要先上传到云端再做打算,不仅会受到网络状况的影响,还被质疑上云会陵犯用户的隐私。

但是把视频抠图放在手机端运行,技能门槛并不低。
这既须要将云真个大算法模型缩小得手机端同时又担保处理效果,又须要能够供应足够算力的手机芯片。

在算法模型的升级上,Versa的AI实验室于今年3月份完成了模型小型化,实现了把模型从云端放得手机真个条件。

蔡天懿对钛媒体举例道:“如果用一台8000块钱电脑的GPU做人景分离,一张图须要100毫秒,一秒仅能做10张图;但Versa的算法模型一秒可处理30张图,还要担保一定的精度。
优化后AI模型增强了其处理能力。

在模型优化后,蔡天懿创造许多芯片依然带不动他们的AI模型,他们须要一个算力足够大的芯片。
当前,“绿幕侠”产品在搭载麒麟810芯片的华为光彩9X新机型上首发,麒麟810芯片内置了华为自研的达芬奇架构NPU,能为AI模型供应足够的算力支持。

“事情的实质是,我们有很好的AI模型,你敢有很好的芯片吗?华为有了”,蔡天懿打趣道。

不过,不同芯片对付AI语义分割的效果也是十分明显的。
据蔡天懿表示,如果在其他芯片算力不足的手机上运行,效果涌现帧数减半、卡顿或者精度不敷也是无可避免的。
这也是该产品在华为光彩9X机型首发的缘故原由。

“绿幕侠”不止于工具

新技能会带来新的工具,新的工具又带来新的玩法。

“除了18-25岁的年轻用户,现在很多跳广场舞的姨妈也在用我们的产品,她们会把自己舞蹈的照片P到荷叶中间去,我们很高兴能为普通人实现创作梦想,”蔡天懿对钛媒体表示。

如何从工具转型为社区,是图像和视频处理工具普遍面临的寻衅。
即便美图秀秀这种头部的美颜修图工具在转型内容社区时也会受挫。
业内人士曾对钛媒体剖析,转型失落败的缘故原由在于该类工具的社区充斥大量自拍照片,内容同质化以是缺少吸引力。

蔡天懿也认为,“用户的创意内容才能使社区内容更多元。
”为此,Versa官方也会推出话题鼓励用户作图并发布在社区中。

除了在C端获客,Versa也正在考虑和短视频直播方和影视制作方互助。
据蔡天懿估量,夹层广告将为短视频直播类产品带来广告收益。
实时视频抠图也将降落传统绿幕殊效和动作捕捉的本钱,并且减少后期制作周期。
在不断优化下,未来或可达到影视制作工业级效果。

Versa还上线了OpenAPI平台,为开拓者们与企业用户供应多种图片API接口如风格渲染、人像分割、智能添补等,并为企业供应定制化的做事。

当前,Versa已经完成来自包括红杉成本、真格基金和臻云创投在内的三轮融资。
去年12月,Versa得到了来自腾讯的数千万美元A轮融资。
Versa还与上海交大联合成立了“脑科学与人工智能”实验室,去年一年揭橥了100多篇干系领域论文。

蔡天懿对钛媒体表示,接下来Versa有三个深化方向:首先是做的更风雅,让边缘清晰到连头发丝也能抠图出来;第二是要更快,希望每秒处理的帧数可以提高;第三是更多,希望不但能把人抠出来,还可以抠更细的物体,比如鞋子、衣服等等。

“你知道钢铁侠的眼镜‘伊迪斯’吗,只要戴上就能把每个物体扫描出来。
我希望能达到这种图像分割的效果,处理的更快也更多。
”蔡天懿说。

(本文首发钛媒体,作者/芦依,编辑/蔡鹏程)

更多精彩内容,关注钛媒体微旗子暗记(ID:taimeiti),或者下载钛媒体App