百度集团实行副总裁、百度智能云奇迹群总裁沈抖表示，大模型以及配套的算力管理平台、模型和运用开拓平台，正在迅速成为新一根本举动步伐。
“2024年大模型的家当落地正在加速，目前在千帆大模型平台上，文心大模型日均调用量超过7亿次，累计帮助用户精调了3万个大模型，开拓出70多万个企业级运用。过去一年，文心旗舰大模型贬价幅度超过90%，主力模型全面免费，最大限度降落了企业创新试错的本钱。”沈抖说。
1、升级百舸4.0
大算力是大模型落地的根本条件。为知足企业落地大模型从集群创建、开拓实验，到模型演习、推理的全旅程算力需求，应对超大规模GPU集群高本钱、难运营两大寻衅，百度智能云升级发布百舸AI异构打算平台4.0，面向万卡、十万卡集群全面升级算力管理能力。
首先，在集群创建阶段，企业常日须要进行大量繁芜、噜苏的算力配置和调试事情。
百舸4.0预置了主流的大模型演习工具，能够实现工具层面的秒级支配，并将万卡集群运行准备韶光从几周缩减至1小时，极大地提升支配效率，缩短业务上线周期。
在开拓实验阶段，企业须要针对业务目标对不同架构、参数的模型进行多次测试，进而制订最佳模型演习策略，保障后续演习的性能和效果。
百舸4.0全新升级的可不雅观测大盘，能够对多芯适配、集群效能、任务自动容错等方面进行全方位监测，供应直不雅观决策依据，帮助用户更好地把控整体项目。
在模型演习阶段，稳定和高效是衡量GPU集群水平的“金指标”、“硬通货”。
在稳定性方面，一张GPU涌现故障就会导致集群整体停摆，大量韶光、本钱摧残浪费蹂躏在故障规复和数据回滚上。百舸4.0能够自动筛查集群状态，并基于对GPU故障的精准预测，及时转移事情负载，降落故障发生频次。
此外，百舸独占的故障秒级感知定位、Flash Checkpoint模型任务状态回滚等技能，能够大幅减少集群故障处置韶光，实现靠近无损的集群容错。
目前，百舸在万卡集群上实现了有效演习时长占比99.5%以上，业界领先，极大地节约了客户算力与韶光本钱。此外，百舸4.0通过在集群设计、任务调度、并行策略、显存优化等一系列创新，大幅提升了集群的模型演习效率，整体性能比较业界均匀水平提升高达30%。
在模型推理环节，百舸则通过架构分离、KV Cache、负载分配等一系列加速方法，实现了模型推理的降本提效，尤其在长文本推理方面，推理效率提升超过1倍。
面向未来，沈抖认为，大模型的Scaling Law将在一段韶光内持续有效，很快就会有更多的十万卡集群涌现，但是管理十万卡的难度与管理万卡有着寰宇之别。
首先，在物理空间方面，十万卡集群须要霸占大概10万平方米空间，相称于14个标准足球场的面积；在能耗方面，每天则要花费大约300万千瓦时的电力，相称于北京市东城区一天的居民用电量。
这种对付空间和能源的巨大需求，远远超过了传统机房支配办法的承载能力，跨地域机房支配又会给网络通信带来巨大寻衅。此外，十万卡集群中的GPU故障将会非常频繁，有效演习时长占也将迎来新的寻衅。
针对这些难题，百舸4.0已经构建了十万卡级别的超大规模无拥塞HPN高性能网络、10ms级别超高精度网络监控，以及面向十万卡集群的分钟级故障规复能力。
“百舸4.0正是为支配十万卡大规模集群而设计的。本日的百舸4.0，已经具备了成熟的十万卡集群支配和管理能力，便是冲要破这些新寻衅，为全体家当供应持续领先的算力平台。”沈抖说。
生数科技作为多模态大模型厂商，基于百舸平台开拓出海内首款全面对标OpenAI Sora的视比年夜模型“Vidu”。会上，生数科技联合创始人兼CEO唐家渝宣告，即日起Vidu将通过百度智能云千帆大模型平台面向开拓者、企业用户开放API做事。
对付自建智算中央的客户，百舸4.0此番还对“一云多芯”能力进行了升级。在万卡规模集群上，多芯稠浊演习效能高达95%，保持业界领先。“要培植更大的集群，同时确保供应链的安全和弹性，势必会存在不同芯片稠浊利用的情形，也便是说，对付自建智算中央的客户来说，一云多芯是一定选择。”沈抖说。
以中国邮政储蓄银行为例，2023年，为加速大模型运用落地，邮储银行新增大量来自不同厂商的GPU资源，基于大模型为18个核心业务系统、30多家分行的金融业务供应AI赋能。在百舸的支持下，邮储银行顺利完成了不同型号GPU资源的支配、上线；同时，也实现了GPU、CPU算力的方案重组，有力保障了300多个大小模型、6000多次演习任务。模型迭代韶光也从过去的一个半月大幅缩短至半天，并实现了更好的模型效果。
长安汽车实行副总裁张晓宇表示，基于百舸平台，百度智能云与长安汽车互助探索开拓了整套自动驾驶模型演习的最佳实践方案，实现了GPU资源的风雅化管理与调度。双方紧密合营，在数据加载、打算效率、通信办法等维度进行联合优化，使得算力总体均匀利用率提升到90%以上，综合伙源利用率提升了50%。
2、发布千帆3.0
为了知足企业客户对模型调用、模型开拓、运用开拓的需求，百度智能云发布千帆大模型平台3.0。
在模型调用方面，升级后的千帆平台，不但可以调用包括文心系列大模型在内的近百个国内外大模型，还支持调用语音、视觉等各种传统的小模型。在扩大模型种类的同时，百度智能云持续降落模型调用本钱。过去一年，文心旗舰大模型贬价幅度超过90%、主力模型全面免费，最大限度降落企业创新试错的本钱。
在模型开拓方面，对付须要定制、微调专属模型的客户，千帆3.0不仅供应了最完善的大模型工具链，还支持CV、NLP、语音等传统模型的开拓，并实现数据、模型、算力等资源的统一纳管和调度，为企业供应一站式的大、小模型开拓做事。
模型投入利用后，千帆平台还支持企业将运用中产生的数据，经由采样评估、人工标注、对齐或微调等办法反馈给模型，形成数据飞轮，持续优化模型效果，放大模型在特定场景下的上风。
在运用开拓方面，针对企业落地大模型的高频运用处景，千帆3.0从检索效果、检索性能、存储扩展、调配灵巧性四方面对企业级检索增强天生（RAG）进行了全面升级；针对企业级Agent的开拓，千帆3.0增加了业务自主编排、人工编排、知识注入、影象能力以及百度搜索等80多个官方组件支持。
此外，本次大会还发布了智能化低代码运用开拓平台“AI速搭”，通过自然措辞对话就能进行企业级运用开拓，一句话就可以完成运用创建。
沈抖在大会现场还演示了如何通过对话，在AI速搭平台上开拓一个资产管理运用。只需一句话描述对目标系统的需求，包含资产信息、资产入库、资产领用、资产维修、资产报废等功能模块，大模型就可以清晰地理解需求并天生运用。过去，这样一个运用即利用低代码办法开拓也须要几天的韶光，现在只需几分钟就能完成。
工具平台的不断完善，也促进了过去一年大模型家当落地的爆发式增长。目前，在千帆平台上，文心大模型日均调用量超过7亿次，千帆平台累计帮助用户精调了3万个大模型，开拓出70多万个企业级运用。
三星电子大中华区总裁崔胜植表示，2024年初，三星在环球市场推出Galaxy AI，并与百度智能云达成计策互助，基于千帆平台、百度识图为中国用户带来国际领先的Galaxy AI本地化功能，包括即圈即搜、条记助手、转录助手、谈天佑手、浏览助手等移动AI体验。
在招聘领域，猎聘基于千帆平台，通过调用文心大模型，结合自身丰富的行业know-how，能够对企业岗位需求和求职者简历内容进行语义理解剖析，并实现智能化的简历筛选功能，人岗匹配准确率比较业界均匀水平的70%赶过15个百分点，高达85%，并提升招聘效率50%以上。
在教诲领域，考试宝作为一款职业教诲在线学习App，过去紧张依赖人工为会员供应试题解析做事，速率慢、本钱高，有些试题甚者须要等待一天以上才能得到解析结果。如今，通过提示词工程和调用文心大模型，考试宝实现了试题的智能化解析，只需上传试题就能秒级得到解析结果，单条试题解析本钱也从过去的1.5元降到3厘，降幅高达98%，用户付费意愿也增长了一倍以上。
此外，千帆行业增强版供应了体系化的工具和组件，支持行业客户、互助伙伴在千帆通用底座上不断添加行业特色，从而更方便地开拓适宜自己的行业运用。目前，千帆平台上已经沉淀了包括制造、能源、交通，政务、金融、汽车、教诲、互联网在内的八大行业办理方案。
南方电网数字电网研究院副总经理胡荣表示，去年玄月，南方电网发布了行业垂直领域首个自主可控的大模型“大瓦特”。“大瓦特”既是大模型、小模型及智能体构成的模型体系，也是开放共享的平台与生态体系。平台上，南方电网基于百度智能云千帆平台构建了电力调度值班助手。在应对突发事宜时，电力调度值班助手可以秒级天生处置方案，极大地增强了调度员的应急相应能力。
3、代码助手、智能客服、数字人全面升级
随着大模型家当落地逐渐走向深水区，AI原生运用也将迎来爆发式增长，为了知足企业直接选购成熟AI运用的需求，百度智能云面向数字人、智能客服、代码提效三大领域，升级了三大AI原生运用产品。
基于文心大模型重构的AI原生智能客服运用“客悦”，在用户繁芜意图理解、多模态信息互换等方面实现了大幅提升，让智能客服变得更聪明、更拟人。“问题自助办理率”是智能客服领域最关键的考察指标，当前业内均匀水平是80%，升级后，客悦将这一指标提升至92%，实现业界领先。目前，客悦已累计帮助企业客户做事超过1.5亿人次，交互超过5亿次。
基于大模型能力，新升级的曦灵数字人4.0支持根据笔墨快速天生不同妆造、不同行业特色的3D数字人形象和视频。本次大会期间，曦灵平台宣告：将3D超写实数字人的价格从万元大幅贬价至199元，达到业内最低价。
全新升级的4D（3D+韶光维度）自动绑定技能和创新模态迁移技能，还办理了传统2D数字人动作僵硬的问题，可以实现人物在不同角度、形体、表情的高度同等，纵然是面部微表情也能做到自然、逼真。
全新升级的全流程AI代码提效工具“文心快码”，聚焦研发全生命周期的业务流，实现了从项目接手到终极交付，全流程编码开拓效率与质量的双重提升。
本次大会，文心快码业界首发「企业级代码架构阐明」、「企业级代码审查」，两项全新功能。企业级代码架构阐明能在项目接手初期，实现工程架构的智能解读，帮工程师快速理解业务逻辑；而企业级代码审查则能传承资深工程师的编码履历，智能赞助程序员查缺补漏。
此外，针对市情上通用代码助手缺少对企业历史代码库的理解的痛点，文心快码全新升级的「企业级代码赞助能力」能够深度理解企业代码库，快速学习企业过往的代码与规范，让天生的代码更贴近企业的哀求。
目前，文心快码已包办事超过1万家企业客户，帮助数百万中国开拓者提升编码效率，整体提升研发效率20%。