演讲全文如下：
早上好，非常高兴能够参加本次中国AIGC家当峰会，与各位高朋朋友一起欢迎天生式AI时期的到来，为大家分享高通作为芯片厂商供应的产品和解决方案，能够如何推动AIGC干系家当的规模化扩展。
我们认为终端侧天生式AI时期已经到来，高通在2023年10月发布的第三代骁龙8和骁龙X Elite这两款产品上，已经实现了将大措辞模型完全的搬到了端侧运行，且已经或即将赋能浩瀚的AI手机和AI PC。在手机方面，去年年底和今年年初浩瀚OEM厂商发布的Android旗舰产品，包括三星、小米、光彩、OPPO和vivo等，都已经具备了在端侧运行天生式AI的能力。
基于图像语义理解的多模态大模型发展是当下的主要趋势，在今年2月的MWC巴塞罗那期间，高通也展示了环球首个在Android手机上运行的多模态大模型（LMM）。详细来说，我们在搭载第三代骁龙8的参考设计上运行了基于图像和文本输入、超过70亿参数的大措辞和视觉助理大模型（LLaVa），可基于图像输入天生多轮对话。具有措辞理解和视觉理解能力的多模态大模型能够赋能诸多用例，例如识别和谈论繁芜的视觉图案、物体和场景。设想一下，有视觉障碍的用户就可以在终端侧利用这一技能，实现在城市内的导航。同时，高通在骁龙X Elite上也演示了环球首个在Windows PC上运行的音频推理多模态大模型。
接下来看看高通作为芯片厂商，如何知足天生式AI多样化的哀求。不同领域的天生式AI用例具有多样化的哀求，包括按需型、持续型和泛在型用例，其背后所需的AI模型也是千差万别，很难有一种可以完美适用所有天生式AI用例或非天生式AI用例。比如，有些用例须要进行顺序掌握，对时延比较敏感；有些用例是持续型的，对算力和功耗比较敏感；有些用例须要始终在线，对功耗尤其敏感。
高通公司推出的高通AI引擎便是领先的异构打算系统，它包含多个处理器组件，包括通用硬件加速单元CPU和GPU、专门面向高算力需求的NPU，以及高通传感器中枢，它们在AI推理过程中扮演不同角色。前面提到的顺序实行的按需型任务，可以运行在CPU或GPU上；对AI算力哀求比较高的持续型任务，例如影像处理、天生式AI等，都可以运行在NPU上；对付须要始终在线、对功耗尤其敏感的任务，可以运行在高通传感器中枢上。
我来为大家大略先容一下高通NPU的演进路线，这是非常范例的由上层用例驱动底层硬件设计的案例。2015年及更早之前，AI紧张用于一些比较大略的图像识别、图像分类用例，以是我们给NPU配置了标量和向量加速器。到2016—2022年间，打算拍照观点开始盛行，我们把研究方向从图像分类转移到了AI打算、AI视频等等，包括对自然措辞理解和处理的支持，以及对Transformer模型的支持，我们给NPU硬件在标量和向量加速器的根本之上，增加了张量加速器。2023年，大模型热度很高，我们在业内率先完成了端侧的大模型支持，给NPU配置了专门的Transformer加速模块。2024年，我们会重点支持多模态模型的端侧化，以及支持更高参数量的大措辞模型在端侧的支配。
接下来为大家更深入的先容高通Hexagon NPU。第三代骁龙8上的Hexagon NPU不仅进行了微架构升级，还专门配置了独立的供电轨道，以实现最佳的能效。我们还通过微切片推理技能支持网络深度领悟，获取更极致的性能。此外Hexagon NPU还集成了专门为天生式AI打造的Transformer加速模块，更高的DDR传输带宽，更高的IP主频等前辈技能。所有这些技能相结合，使得Hexagon NPU成为面向终端侧天生式AI的行业领先NPU。
接下来看一个详细案例，虚拟化身AI助手——这是非常范例的充分利用高通异构打算能力的端到端用例。它包括浩瀚繁芜AI事情负载，首先须要自动语音识别（ASR）模型卖力将语音旗子暗记转成文本，这部分事情负载可以跑在高通传感器中枢上；接下来会由大措辞模型卖力处理文本输入，天生回答和对话，这部分事情负载可以跑在NPU上；再通过文本天生语音（TTS）模型把文本输出转变针言音旗子暗记，这部分负载可以跑在CPU；末了由GPU模块卖力基于语音输出同步完成虚拟化身渲染，这样就能得到一个端到真个用语音来交互的虚拟化身助手用例。
前面先容了硬件技能，接下来分享一下高通平台的AI性能。在智好手机领域，第三代骁龙8不管是在鲁大师AIMark V4.3、安兔兔AITuTu这些AI基准测试的总分方面，还是在MLCommon MLPerf推理：Mobile V3.1的详细模型推理性能测试方面，表现都远超于竞品。在PC方面，骁龙X Elite在面向Windows的UL Procyon AI推理基准测试中，表现也超过了基于X86架构的竞品。
高通除了供应领先的硬件平台设计之外，也推出了一个跨平台、跨终端、跨操作系统的统一软件栈，叫做高通AI软件栈（Qualcomm AI Stack）。高通AI软件栈支持所有目前主流的演习框架和实行环境，我们还为开拓者供应不同级别、不同层次的优化接口，以及完全的编译工具链，让开发者可以在骁龙平台上更加高效的完成模型的开拓、优化和支配。值得强调的是，高通AI软件栈是一个跨平台、跨终真个统一办理方案，以是开拓者只要在高通和骁龙的一个平台上完成模型的优化支配事情，便可以非常方便的将这部分事情迁移到高通和骁龙的其他所有产品上。
今年MWC巴塞罗那期间，高通发布了非常重量级的产品，高通AI Hub（Qualcomm AI Hub）。该产品面向第三方开拓者和互助伙伴，可以帮助开拓者更加充分的利用高通和骁龙底层芯片的硬件算力，开拓出自己的创新AI运用。利用高通AI Hub进行运用开拓的过程就像“把大象塞进冰箱”一样大略。第一步，根据用例选择所需模型；第二步，选择须要支配的高通或骁龙平台；第三步，只须要写几行脚本代码，就可以完玉成部模型支配，在终端侧看到运用或算法的运行效果。
目前，高通AI Hub已经支持超过100个模型，个中有大家比较关心的天生式AI模型，包括措辞、文本和图像天生，也包括传统AI模型，例如图像识别、图像分割，自然措辞理解、自然措辞处理等等。详细的模型信息，欢迎大家访问高通AI Hub网站（AIHUB.QUALCOMM.COM）进行查询。
末了总结一下高通的AI领先上风。第一，高通具备无与伦比的终端侧AI性能；第二，高通具备顶尖的异构打算能力，使AI能力能够贯穿全体SoC，将CPU、GPU、NPU和高通传感器中枢的能力都充分开释给运用开拓者；第三，我们供应可扩展的AI软件工具，即前面提到的高通AI软件栈等；末了，我们可以支持广泛的生态系统和AI模型。
(8664705)