更受关注的是，这支名为“虎年春晚上的中国文化”的两分钟技能演示视频，是依托大模型技能由 AI 自动天生的，背后的技能来自百度研究院的智能视频合成平台 VidPress。为了更好地表示“国风”，由 VidPress 自动化制作的视频不但画面生动丰富，还利用中国传统乐器古筝作为背景音乐，并配以自动语音合成的讲授进行生动解读。
在 EmTech Digital 科技峰会上，作为现场唯一受邀的中国科技公司，百度美国研发中央副总经理李幸在演讲中详细解读了 VidPress 背后的技能。由百度研究院孵化的 VidPress 是业界首个支撑通用型、大规模生产的智能视频合成平台，用户仅需一键输入新闻图文内容链接，就可以自动化完成视频制作，整套制作流程在数分钟内即可全部完成。
VidPress 事理揭秘
五大步骤实现图文自动转视频
VidPress 的事情事理和剪辑师制作视频的步骤类似：先准备笔墨脚本，然后网络媒体素材，再将素材处理成视频片段，将脚本配音和视频进行对齐，最后进行编辑和检讨。通过 AI 技能，VidPress 可以实现笔墨剖析和择要、视频内容搜索、素材智能化处理、音视频对齐，以及智能剪辑等5个步骤的自动化。
用户输入图文内容后，例如输入某条新闻事宜的链接，平台将利用多个自然措辞处理模型对笔墨内容进行剖析。通过笔墨择要模型，平台可以自动天生一篇字数符合哀求且适宜视频呈现的讲授词，并通过百度笔墨转音频做事（TTS）合成讲授词语音；通过语义理解模型，平台识别故事中的关键信息，包括主题、段落主旨、核心人物或者机构等。
随后，平台会根据对原文的理解,通过自有视频库和精准搜索能力，智能化聚合最新最适宜呈现的内容，以及从同一主题干系新闻里抽取更多的素材及其语义表征，充分保障素材内容的丰富度和干系性。对付网络到的视频素材，平台基于图像识别、视频内容理解等打算机视觉技能进一步解析和理解，自动剪切和精选视频素材。
音视频对齐剪辑是关键的一步。最直接的处理办法是将故事中的每一句话作为一个搜索目标，探求对应的视频片段并拼接起来，但用户真正关注的是故事中的关键点，技能上称为兴趣锚点（anchor point）。通过 VidPress 特有的韶光轴对齐算法，选取出文本中的兴趣锚点，再将媒体片段与兴趣锚点进行干系度打分，将优质媒体片段优先放入韶光轴，并结合适当的素材搭配组织，以此担保视频的整体不雅观感和用户兴趣的持续引发。当时间轴天生完毕之后，数据转交给渲染器，从而天生一个完成的视频。
文心大模型助力 VidPress
打开 AIGC 智能创作想象空间
VidPress 利用了大量自然措辞处理技能对图文内容进行剖析，而这些技能离不开百度文心大模型的支持。
去年12月，百度与鹏城实验室联合发布双方共同研发的环球首个知识增强千亿大模型——鹏城-百度·文心（模型版本号：ERNIE 3.0 Titan），模型参数规模达到2600亿，是目前环球最大中文单体模型，致力于办理传统 AI 模型泛化性差、强依赖于昂贵的人工标注数据、落地本钱高档运用难题，降落 AI 开拓与运用门槛。
鹏城-百度·文心在机器阅读理解、文本分类、语义相似度打算等60多项任务中取得最好效果，并大幅刷新小样本学习任务基准。VidPress 平台的文本择要和语义剖析模型都是基于文心大模型演习的结果。
此外，VidPress 还利用了文心跨模态大模型 ERNIE-ViL。借助飞桨深度学习平台分布式演习领先上风，百度 ERNIE-ViL 首次将场景图（Scene Graph）知识融入多模态预演习，曾在5项多模态任务上刷新天下最好效果。文心跨模态大模型可以对媒体片段与兴趣点进行干系度打分，探求最契合故事的媒体片段。
在视频素材检索和内容质量提升上，源自百度积累多年的视觉技能，VidPress 以智感超清为根本进行画质提升，以多模态预演习大模型为主实现语义理解。秉持领先且实用的理念，百度视觉技能近年来已得到40余项天下冠军，干系专利位列中国申请量及质量第一，得到行业、政府及国家认可10余次，视觉公有云能力连续多次在 IDC/Forrester 等评比中位居市场第一。
来自 EmTech Digital 科技峰会的主理方麻省理工科技评论的高等 AI 编辑 Will Heaven 评价说“人工智能正变得越来越多模态，措辞人工智能和视觉人工智能正在以一种非常酷的办法结合在一起。百度的视频天生系统 VidPress 充分领悟了人工智能最具代表性的各个模型，是跨模态 AI 的代表运用。”
目前，AIGC（人工智能内容生产）正成为越来越主要的新型内容生产办法。VidPress 图文转视频作为个中的主要组成部分，未来会更大规模、更好地做事用户，这不仅会提升效率，也会打开更多内容创作的想象空间。