盘古3.0大模型是一个面向行业的大模型系列,包括“5+N+X”三层架构:

第一层L0层是盘古的5个根本大模型,包括自然措辞大模型、视觉大模型、多模态大模型、预测大模型、科学打算大模型,它们供应知足行业场景的多种技能。
第二层L1层是N个行业大模型,既可以供应利用行业公开数据演习的行业通用大模型,包括政务,金融,制造,矿山,气候等;也可以基于行业客户的自有数据,在盘古的L0和L1上,为客户演习自己的专有大模型。
第三层L2层是为客户供应更多细化场景的模型,它更加专注于某个详细的运用处景或特定业务,为客户供应开箱即用的模型做事。

盘古3.0大模型采取了完备分层解耦设计,可以快速适配、快速知足行业的多变需求。
客户既可以为自己的大模型加载独立的数据集,也可以单独升级根本模型,也可以单独升级能力集。
同时,根据客户不同的数据安全与合规诉求,盘古3.0大模型还供应了公用云、大模型云专区、稠浊云多样化的支配形态。

盘古3.0大模型有哪些创新和打破?

盘古3.0大模型在技能上有以下几个方面的创新和打破:

供应了100亿参数、380亿参数、710亿参数和1000亿参数的系列化根本大模型,预演习数据中包含了超过3万亿tokens,利用超1000+TB数据演习,指令微调数据达千万级。
推出了NLP大模型的知识问答、文案天生、代码天生等全新能力集,并在政务热线、网点助手等场景中展示了对话机器人的运用。
推出了多模态大模型的图像天生、图像理解等全新能力集,并在数字内容天生等场景中展示了图文结合问答、图文结合写作等运用。
推出了预测大模型的先导药物筛选、传送带异物检测、台风路径预测等全新能力集,并在气候领域取得了国际顶级学术期刊《Nature》正刊的成果。
推出了科学打算大模型的分子动力学仿照、量子化学打算等全新能力集,并在医药研发等场景中展示了分子构造天生、分子性子预测等运用。
盘古3.0大模型的论文上岸Nature!

盘古3.0大模型的论文《三维神经网络用于精准中期环球景象预报》(Three-dimensional neural networks for accurate medium-range global weather forecasting)于2023年7月6日上岸《Nature》正刊,这是近年来首篇以中国科技公司为唯一署名单位揭橥的Nature正刊论文,也是首篇以AI为主题的气候类论文。
这一成果对付推动AI在气候领域的运用和发展具有主要意义。

华为盘古30对应论文上岸Nature正刊台风轨迹猜测更精准

论文地址如下:

https://www.nature.com/articles/s41586-023-06185-3

该论文提出了一种基于三维卷积神经网络(3D CNN)的AI气候预报模型,可以直接从历史不雅观测数据中学习气候运动规律,无需依赖繁芜的物理方程和参数化方案。

该模型在环球范围内进行了中期(10天)景象预报,其预测结果包括位势、湿度、风速、温度、海平面气压等,可以直接应用于多个气候研究细分场景。
该模型在精度上超过了传统的数值预报方法,同时在速率上也有大幅提升。

下图中赤色为盘古大模型预测,蓝色为传统办法预测,玄色为实际路径。
可以看出,盘古模型预测更为精准。

原来预测一个台风未来10天的路径,须要在3000台做事器的高性能打算机集群上花费5小时进行仿真。
现在基于预演习的盘古气候大模型,通过AI推理的办法,研究者只需单台做事器上单卡配置,10秒内就可以得到更精确的预测结果。

该论文的审稿人高度评价该模型:“华为云盘古气候大模型让人们开始重新核阅气候预报模型的未来,模型的开放将推动该领域的发展。
”目前,盘古气候大模型已经在环球多地落地运用,包括欧洲中期预报中央、中国中心气候台、中国国家卫星气候中央等机构都在实测中创造盘古预测的优胜性。

总结

华为盘古3.0大模型是一个面向行业的AI大模型系列,包括“5+N+X”三层架构,在不同层面供应不同能力和做事。
盘古3.0大模型在技能上有多方面的创新和打破,已经在多个行业和场景中发挥浸染,提升生产效率、降落研发本钱。
盘古3.0大模型的论文上岸《Nature》正刊,是中国科技公司在AI领域取得的主要成果,也是AI在气候领域的主冲要破。