量子位 宣布 | "大众号 QbitAI
△ 来自《弹丸论破》
漫画汉化组,和动画字幕组,表面看都是翻译,可事情还是很不一样的。
比如,日文动画生肉一样平常没有加字幕,而漫画原来就充满了笔墨。
以是,漫画的汉化组,要先把原文抹掉,才能贴上中文。
须要抹掉的,不但气泡里的对话,还有背景里的旁白,以及字体硕大雄浑的拟声词。
这样巨大的事情量,还是交给AI吧,只要一键:
满篇的笔墨都消逝了,人类完备没有帮忙。
AI的名字叫SickZil-Machine,是一群韩国小伙伴开拓的,已经开源。
不只字去掉了,背景也修补了:
有了它,汉化组再也不用大规模手动擦除了。
面对此情此景,人类表示相见恨晚:
那么,韩国少年们是若何孕育出这只AI的?
一步两步团队说,这是一个完备自动肃清漫画笔墨的AI;但如果人类须要,也可以手动指定肃清某一部分笔墨。
至于是如何擦掉笔墨,AI由两个机器学习模型组成:
一个叫SegNet,卖力把须要抹掉的笔墨部分,分割出来;
一个叫ComplNet,卖力把抹掉之后露出的背景补全。
抠出笔墨的SegNet,借鉴了前辈U-Net图像分割技能:
U-Net构造像个U,从全卷积网络 (FCN) 改进而来。
分割是用成对数据演习的。这里的成对数据,便是漫画原图,加上笔墨部分的mask。
只用了285对数据。
抠出笔墨之后,就该补充背景的ComplNet上场了。它是借鉴了前辈DeepFillv2图像修复算法:
DeepFillv2来自UIUC和Adobe,擦除图像的任意部位,AI都能修补完全。
比如,抹掉一盏路灯,AI便会把路灯背后的建筑物补好。
除此之外,还能按自己的意志修正图片:
把人类的下巴擦掉,再描个短一点的下巴,AI就会给你一张不是马脸的人像了。
当然,漫画未必需要这样高度定制,脑补背景就够。
团队用了31,497张图来演习,个中11,464张是有笔墨的。
终极,成果斐然:
不过,也不一定要全靠AI,人类可以手动选择要 (或不要) 肃清的部分。
先让屏幕显示出AI天生的mask (赤色) 。如果创造不该变红的部分红了,就手动把这一部分从mask里去掉,这样AI就不会把它肃清了。
比如上面,妹子的脸阁下,没有字的地方红了一大块。那么,把这一部分赤色框起来扔掉,就好了。
你也试试吧实在,这个好东西也不一定是汉化组才用得到。
没事做的时候,把漫画原来的台词抹掉,练习填词,也是很康健的活动哟。
比如到了这种时候,人类会说些什么呢:
△来自山下智博
额,哪里康健了?
传送门:
https://github.com/KUR-creative/SickZil-Machine
U-Net传送门:
https://arxiv.org/abs/1505.04597
Deepfillv2传送门:
http://jiahuiyu.com/deepfill2/
— 完 —
诚挚招聘
量子位正在招募编辑/,事情地点在北京中关村落。期待有才华、有激情亲切的同学加入我们!
干系细节,请在量子位"大众号(QbitAI)对话界面,回答“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技能和产品新动态