作者：杜伟
这次，百度文心跨模态大模型让你的创意「飞起来」！
在近年来的 AI 领域，随着 NLP 和 CV 的日益领悟，多模态学习越来越受到学界和业界的重视，个中文本天生图像更是成为征象级研究方向。输入一段措辞描述，AI 即能输出对应的图像，兼具速率与质量。
在这股以文生图风潮中，AI 秘闻深厚的国外大厂纷纭推出多模态文生图模型，比如 DALL-E 2、 GauGAN2 和 Disco Diffusion 等。这些 AI 模型天生的图像都给人留下了深刻的印象，在逼真度、意见意义性、风格等方面各有特点。
DALL-E 2（左）和 Disco Diffusion（右）的不同画风。
海内 AI 巨子在中文多模态特殊是文生图这一赛道也颇有建树，尤以百度基于知识增强的文心跨模态大模型语义理解技能为代表，个中的跨模态天生大模型 ERNIE-ViLG 可以根据用户输入的措辞描述自动创作不同风格（水彩、粉笔画、卡通、油画、蜡笔画、儿童画）的图像。前段韶光，百度数字人度晓晓更是创作出了引发热议的「无界」系列画作，被专业美院教授评价为「已经达到了本科美术生的基本哀求」。
不过，百度并没有知足于此，想要在文生图领域更专、更快，让天生的图像冲破风格的桎梏，同时更关注用户的创意需求。在今日成都举办的 2022 中国图象图形大会上，百度集团副总裁、深度学习技能及运用国家工程研究中央副主任吴甜重磅推出了基于文心大模型的 AI 艺术和创意赞助平台——文心 · 一格，突出创意成为它的显著特色。
百度集团副总裁、深度学习技能及运用国家工程研究中央副主任吴甜
作为业界首个 AI 艺术和创意赞助平台，文心 · 一格面向三类人群，包括 1）画师、设计师、艺术家等视觉内容创作者，2）媒体、作者等笔墨内容创作者和 3）大众用户。他们可以通过文心 · 一格智能天生多样化创意图片，并从中汲取创意灵感，冲破创意瓶颈。
一格平台体验地址：yige.baidu.com
不同于 DALL-E 2 和 Disco Diffusion 等有风格倾向性的 AI 作画工具，一格则取多家之所长，在图画创作上具有更强的实用性和艺术性，支持插画、科幻、中国画、动漫风等十余种不同风格高清艺术画作的天生，既能生产恢弘绚丽的艺术画，也能创作充满创意脑洞的超写实图。
文心 · 一格，一语成画
一格文生图效果到底如何呢？输入措辞描述「太空中不断延伸的环形轨道」，我们得到了如下震荡的太空图。可以看出，一格天生的图像具有极强的写实性，如果不见告你这是出自 AI 之手，一定会有人认为是真实的太空场景。
当然，写实性强只是一格文生图的一方面上风，它在天生写实图像的同时还兼顾了艺术风格。依然用示例说话，输入措辞描述「埃及金字塔」。以往的 AI 模型比较善于天生风景图，但复现真实建筑则有相称难度，有些模型天生的图像偏艺术缺少真实性。一格则在真实性与艺术性之间找到了很好的平衡。
接下来连续欣赏一格天生的另一些创意画作。想理解下传说中的「凤凰」长什么样子，交给一格，少焉之后就能天生恢弘绚丽的画面。
一格天生创意脑洞的超写实图也不在话下，比如「骑摩托的帅气熊猫」、「公园的湖面波光粼粼，倒映着俏丽的建筑」。
所有这些，用户要做的便是动动手指，输入措辞描述，少焉之后就能天生艺术大作。在创作过程中，一格还可以通过指定图像风格、艺术家等办法，针对同一个措辞描述天生多样化的、具备不同风格特点的图像。
一番创作下来，我们可以用 16 个字来概括一格的紧张特点：打破想象、大略易用、快速成画、别具一格。
打破想象：一格拥有非常丰富的创作库，可根据语义遐想和观点组合，自由创作多种风格创意画作，既能天生恢弘绚丽的艺术画，也能天生创意脑洞的超写实图；大略易用：一格利用门槛非常低，用户只需输入一句措辞描述，一格就可创作出不同风格的艺术画作；快速成画：用户输入措辞描述后，一格可在少焉天生一幅高清创意画作；别具一格：一格天生的每幅画作，都是独一无二的。一格文生图过程
一格文生图的过程大致可以分为以下几个步骤。
首先，须要准备海量的图文对数据，数量不仅要多，质量还要好，这样可以让一格在充足的数据中学习「措辞描述」与「艺术画面」的关联。不过，这种关联又是丰富且繁芜的。
依然用示例来讲，如果是让天生一幅风景图，结果出来的是动物图，那就很糟糕了。还有便是，同一个事物有多种艺术风格，例如山峰在中国画中是壁立千仞，在油画中是威严持重，在科幻设定图中或许已经被机器掏空，建立起了霓虹闪烁的未来都邑等。经由海量的数据演习，一格学会了「措辞描述」与「艺术画面」之间的关联。
在此根本上，用户输入一段措辞描述（例如狗、油画），一格将调动以长进修到的知识和能力，以随机化的出发点开始进行初步创作。不同于人类作画过程，一格先是天生画面整体轮廓，然后经由数百轮的迭代，改动完善画面细节。
对付过程中的每一轮迭代，一格都会仔细检讨草稿与措辞描述的同等性，目的便是让作品与输入的措辞描述具有精确的关联。持续的改动使得整体构图不断明晰，模糊和噪声逐渐被精确的配色和轮廓代替，终极形成在审美上与人类履历与知识高度同等的成品。
一格创作过程中，措辞描述是关键，由于用户输入的内容决定了其天生的内容，是作画灵感的根本来源，更是 AI 天生画作最关键的指引。一格从海量数据中学习到的知识，是灵感得以实现的根本，人类画作数千年的积累和沉淀为 AI 文生图供应了无限可能。
与此同时，AI 天生图像过程中的随机性，是灵感的补充，其可以学习一千种人类绘制山峰的办法，乃至创造出第一千零一种。
一格为艺术创作供应灵感
你可能会问，一格文生图有什么意义呢？
对付画师、设计师、艺术家等专业人士来说，他们总会碰着瓶颈期。虽然有很好的创作思路和构想，但却一时想不出好的或自己满意的绘画表现形式；或者艺术创作已经达到了相称的高度，寻求新的打破创新碰着困难；又或者创作出的东西总是达不到自己想要的效果，进行到一半就进行不下去了……
一格平台便是为此而生，它可以启示创意，让人们从 AI 天生的图像中重新汲取灵感。
再者作为媒体人、新闻编辑等事情职员，有时会由于找不到得当的配图而苦恼不已；还有便是大众用户，想体验创作带来的乐趣等。所有这些，一格平台也都能为你供应。
一格背后持续创新的跨模态大模型技能
我们知道，AI 图文创作每每须要办理三个关键寻衅。首先在需求理解阶段，要准确理解需求，降落措辞描述的门槛；其次在原创天生阶段，要精准刻画用户需求表意，支持多样化风格；末了在需求知足阶段，要对天生结果进行选择，担保和提升它们的质量。
然而，办理这些寻衅并不随意马虎。因此，一格平台在构建过程中得到了百度文心大模型供应的强大底层技能支持，尤其是不断改进的跨模态技能。
一方面对文心知识增强跨模态理解大模型的创新，提出了基于多视角比拟学习的 ERNIE-ViL 2.0，在预演习过程同时学习模态间和模态内的多种关联性，提升了「图像」和「文本」跨模态语义匹配效果，检索效果远超 ChineseCLIP、WenLan 等模型。
另一方面是环球规模最大中文跨模态天生模型 ERNIE-ViLG，它将「文天生图」和「图天生文」任务领悟到同一个模型进行端到端学习，从而增强文本和图像的跨模态语义对齐。这次 ERNIE-ViLG 文图天生算法迎来升级，通过渐进式扩散模型，天生空间由小及大、天生轮廓由粗到细，同时根据天生阶段自动选择最优天生网络，文本天生图像的效果取得进一步提升。
左为双向图像 - 文本天生的 ERNIE-ViLG 模型架构，右为渐进式扩散模型算法。
得益于文心跨模态大模型的一系列创新，百度将新技能实用化，研发出了一套支持 AI 作画的文生图系统，供应了从用户需求理解到知足的全流程办理方案。如下图所示，这套系统分为了两大核心组件，分别是文本输入阶段基于知识的 prompt 工程以及天生和输出阶段的跨模态大模型。
首先，对付基于知识的 Prompt 工程，理解用户需求并在此根本上丰富语义细节，降落用户输入描述本钱。其次，基于扩散天生算法实现创意写实与恢弘构图的艺术画作天生。末了，基于跨模态匹配大模型进行天生画作的结果排序，自动选出语义与都雅度最佳的画作。
基于文心大模型的文生图系统。
可以这样说，文心跨模态大模型实现了多视角比拟学习、图文双向天生、渐进式扩散模型等多项技能创新，它们造诣了今日的一格平台。
在不断修炼技能内功的同时，百度还致力于构建生态完全的开放社区，将大模型的能力开释给普通人。更详细地讲，百度为开拓者、广大科技爱好者供应飞桨开源工具和文心大模型 API 做事能力，知足他们多样化的创意探索需求。
一方面，开拓者可以在飞桨 PaddleHub 上直接调用干系的开源模型，享受极大略单纯用的开拓体验，并综合利用供应的 400 多个 AI 开源模型，组合开拓有趣的 AI 运用，知足更多艺术从业者、开拓者对图片天生场景的需求；另一方面，文图天生大模型 ERNIE-ViLG 为开拓者供应了 API 体验调用的入口，上岸飞桨旸谷社区 API 体验专区即可体验其前沿技能能力，并能够灵巧方便、高效快速将文图天生大模型能力集成到产品中。
从之前数字人度晓晓的作词编曲、写作绘画，到 AI 修复传世名画《富春山居图》，大模型赋能下的 AIGC 早已成为比来百度 AI 技能加速落地的着陆点。得益于持续创新的大模型技能，百度不断拓宽 AIGC 的适用范围，并努力发掘更多样化的内容生产办法。
这次，百度在为用户供应 ERNIE-ViLG API 体验智能作画的根本上更进一步，用一格这个面向创意内容的产品级综合文生图平台，为 AIGC 注入了更多活力和想象空间。在可预见的未来，一格天生的超写实与艺术画作，既有可能像度晓晓「无界」系列画作一样成为热卖的数字藏品，还可以用作契合电影、动漫主题的封面大作，更有望在游戏、元宇宙的多样化动态场景画面中找到用武之地。
总之，在新的内容创意和办法不断呈现确当下，AIGC 绝不应只勾留在玩一玩、看一看的阶段，未来一定会在特定的运用处景中为生产者创造代价，既可以是艺术上的，也可以是物质上的。