新华社北京7月12日电(董瑞丰)从检索图像、描述视频,到吟诗作赋、续写文章,再到识别语音、双语翻译,虚拟人“小初”日前亮相2021天下人工智能大会,展示了图、文、音三种模态的智能转换和天生。

“小初”具备这样的能力,得益于一个名为“紫东太初”的跨模态通用人工智能平台。
该平台由中国科学院自动化研究所研发,基于国产化根本软硬件,仅采取一个大模型,即可“磨炼”人工智能在视觉、文本、语音多个场景的理解能力。

中科院自动化所所长徐波先容,“大数据+大模型+多模态”将改变当前单一模型对应单一任务的人工智能研发范式,多模态大模型将成为不同领域的共性平台技能,是迈向通用人工智能的主要路径探索。

“‘紫东太初’实现了图、文、音三种模态的统一表达,以图生音,以音生图,将开拓AI在视频配音、语音播报、标题择要、海报创作等更多元场景的运用。
”徐波说。

中科院自动化所宣告通用AI平台 可实现图文音无缝转换

据理解,中科院自动化所构建了中文预演习模型、语音预演习模型、视觉预演习模型,并通过跨模态语义关联,构建了三模态预演习大模型。