作者 | ZeR0编辑 | 漠影
芯东西4月3日宣布，在激烈的“百模大战”后，环球天生式AI竞赛的焦点转向落地运用，AI推理正迎来属于它的时期。
这是一个巨大的金矿，CPU代表英特尔和GPU代表英伟达都在生动地刷新AI推理性能的战绩。当前战况是，CPU牢牢霸占“省钱为王”的攻心大法，GPU则极力加深抬高性能天花板的印象。
在CPU加速AI推理方面，英特尔一向是“头号代言人”。上周，最新MLPerf 4.0推理基准测试发布，英特尔是唯一一家参与测试的CPU厂商，选送了去年年底发布的第五代至强可扩展处理器。
相较第四代至强在MLPerf推理v3.1基准测试中的结果，第五代至强在各项测试中的成绩赶过18%~91%。
这颗芯片寄予了英特尔进入大模型时期连续守卫CPU在AI推理领域主导权的年夜志。比高端GPU或专用AI芯片更便宜、易得的CPU，一贯是传统AI和机器学习推理领域的主角，而至强可扩展处理器是英特尔手中的数据中央“王牌”，其战斗力已经通过历史的考验，接下来的关键战役便是在愈发火热的大模型竞赛中，赢得足够的客户好感。
从英特尔分享的客户案例来看，第五代至强在海内云打算领域已经积累了一些口碑。
比如百度智能云基于第五代至强的四节点做事器跑Llama 2 70B模型，推理结果可达87.5ms；京东基于第五代至强的运用，和前一代处理器比较，在Llama 2 13B模型上有50%的性能提升。
英特尔市场营销集团副总裁、中国区数据中央发卖总经理兼中国区运营商发卖总经理庄秉翰近日向芯东西等媒体分享，基于第五代至强的做事器在会议纪要、大纲总结、内容剖析、文生图、机器人谈天客服、代码撰写等通用运用中都展现出了上风。
面向AI推理的CPU优化正快速发展，第五代至强融入了哪些创新设计？如何最大限度挖掘CPU的推理性能？英特尔资深技能专家从制程技能改进、芯片布局、性能与能效、末级缓存、内存I/O等多个维度系统全面地解构了第五代至强的架构设计，并分享了很多芯片布局的细节。
庄秉翰预报说，今年英特尔将发布新一代英特尔至强可扩展处理器，并有一个非常丰富的产品组合，同时知足性能和社会对能耗的哀求。
基于第五代至强，英特尔将发布下一代性能核，即高主频、高性能的CPU核架构，为主流和繁芜的数据中央运用优化性能；同时针对新兴的，尤其是基于云原生的设计，供应追求相对极致每瓦性能的能效核，看重实现能效优化。
除了芯片基本特性外，定期交付非常主要，英特尔这两年的产品发布非常密集，在强大的实行力推动下，英特尔也将按操持发布未来的产品。
一、AI推理性能均匀提升42%，大模型延迟优于市场哀求
英特尔市场营销集团副总裁、中国区数据中央发卖总经理兼中国区运营商发卖总经理庄秉翰谈道，基于软硬件的优化，比较第四代至强，第五代至强在AI演习、实时推理、批量推理上，基于不同的算法，性能可提升40%旁边。
与第四代至强比较，第五代至强的AI推理性能增加42%，通用打算性能（常规整数打算）提升21%，还有适用于各种负载的精良每瓦性能。
庄秉翰称，在模型调优、推理、运用上，利用通用做事器有非常大的性价比提升。尤其当企业不须要24小时跑大模型，大模型对业务作赞助时，这些只是帮助企业业务提高生产力，尤其是在私有云上，没必要再重新支配一个新的GPU平台，由于一个新的平台意味着需考虑开拓、运维等成分，本钱可能增加，可能给企业带来包袱。
▲庄秉翰分享在第五代至强上跑大模型天生第二个token的延迟
上图展示了通用做事器基于GPT-J 6B和Llama 2 13B在一些通用场景中的推理性能差异。第五代至强在100ms内能够天生第二个token，乃至有时只需20ms或60-70ms。
从横向延迟的角度来看CPU跑大模型的能力，基本上100ms是客户业务的阈值，大于100ms时业务体验就会差一些。
看AI运用性价比的一个评估方法是看能够同时支持多少客户的访问。英特尔看到基于BF16或者是INT8，分别在1个用户、2个用户、4个用户、8个用户时，都能知足100ms的硬需求。
这基于不同token，即输入时有多大的信息量。如果在INT8精度下，基于四节点第五代至强做事器乃至能知足同时有8个用户来访问的需求。
其互助伙伴认为，在通盘考虑支配和运维本钱等成分后，一样平常企业导入基于至强的天生式AI做事，如谈天机器人、知识库问答等运用，比基于做事器的云做事的初期导入本钱低一半旁边。
此外，英特尔多家OEM伙伴推出了基于第五代至强的一体机，在7B、13B、34B的大模型推理上，通过具备AMX、AVX加速的通用途理器，可以支持参数规模大的大模型。
在降落待机功耗方面，第五代至强有单相全集成供电模块（FIVR）模式，单相模式是指在低功耗情形下不须要打开全部相，能有更高的片上电源转换效率；还有增强主动空闲模式，当CPU在功耗没有那么忙的时候，可以节省供电。
虽然在跑性能指标和压力测试时，CPU会跑到100%，但大多数真实运用处景没那么忙。一方面用户要求不那么繁忙，另一方面在很多业务要考虑到性能指标，当在满负荷的情形下，延迟性能指标常日是没有办法知足用户的哀求的。
以是在真实情形下，50%-60%的利用率已是各客户中比较高的利用率。在这种情形下增加系统能效，可大幅度帮助客户达到节电目标。
二、制程技能改进与微架构升级：核心数增至64核，“四芯”爆改“双芯”英特尔在2023年年初发布第四代至强，年底发布第五代至强，两款产品问世相隔不到一年，详细差异到底有多大？
从制程节点来看，第四代和第五代至强都采取Intel 7制程、Dual-poly-pitch SuperFin晶体管技能，具有17个金属层，包括2个厚顶层。
第五代至强优化了晶体管速率，重点关注泄电流掌握和动态电容，同等功耗下频率提升3%，个中泄电流掌握贡献了2.5%，动态电容低落贡献了0.5%。
其性能提升紧张来自微架构升级，包括核心数量、内存带宽、三级缓存等。
第五代至强引入Raptor Cove核心，核心数从最多60核增至64核；LLC大小从1.875MB增加到5MB，而过去英特尔LLC只有1M-2M；DDR速率从4800MT/s提升到了5600MT/s；UPI速率从16GT/s提升到20GT/s；待机功耗降落；并通过和AI干系的新指令集（如AMX、AVX）来提高主频和性能，有助于加速一些天生式AI运用。
核数增加后，AI打算、科学打算和大数据都将吃到“红利”。大数据对热数据哀求不敏感，其采取的是MRU（Most Recently Used）策略，处理完数据后便会打消数据。核数越多，它能够把一个大任务拆分得越细，即同时进行打算，速率会更快，核之间UPI总线也会越来越快。
详细到芯片布局，越来越高的做事器算力需求，须要CPU有更多的核心、内存带宽、I/O，这些推动芯片面积不断增加。
面积增加会带来两个寻衅：一是密度变大，芯片良品率受到的寻衅就变大；二是单片面积过大，可能会超过光刻机的尺寸限定。以是现在主流芯片设计是把一颗大CPU芯片切分成多个子芯片，用多芯片的办法封装在一个芯片上。
英特尔改变了SoC芯片拓扑构造，第四代至强把芯片分为相对对称的四个部分，第五代至强则把切分办法从“切四份”调度成“切两份”，高核心数版本（XCC）由2个互为镜像的芯片组成，利用3个嵌入式硅桥，有7个全带宽SCF（可扩展同等性带宽互连）通路，每个通路有500G带宽。
“双芯”设计有三个好处：一是掌握面积，减少芯片通信所需互连接口占用的额外芯片面积；二是减少芯片间通信导致的功耗；三是降落延迟，从芯片内不同核心访问远端内存，或是不同核访问远端三级缓存时，可以减少访问延迟。
英特尔资深技能专家阐明道，英特尔做了权衡，两个芯片虽是镜像对称，但在设计数据库的管理和验证方面基本上可以认为和芯片设计没有带来更多开销，并在详细布线上带来一定的灵巧性，而且芯片面积相同，对本钱没有太大的影响。
比较之下，如果采取千篇一律的两个芯片，虽然在芯片设计上更省力，但将一个芯片旋转180度后，两个芯片的对齐会使互连网络设计变繁芜。
高下两个芯片中间会有一些mdf连接，这是内部互连的Fabric。SCF网状拓扑互连利用英特尔2.5D封装技能，即EMIB（嵌入式多芯片互连桥接）来进行互连。虽然物理上分离，但得益于高带宽连接，两个芯片可实现逻辑上的无缝连接。
▲第五代至强XCC平面图（图源：Semi Analysis）
每个芯片内部是一个7×7模块化阵列，CPU核心和缓存在中间，DDR接口和内存掌握器在西边和东边，MDF在南边。中间一共有33个硅片，全体芯片有64核，预留了2个冗余核。
UPI、PCIe和加速器在北边。为了优化I/O带宽，英特尔在北边利用两行专用的交错互连，可以最大化增加东西向带宽的上限，避免涌现任何带宽上的瓶颈。
三、320MB三级缓存，5600MT/s内存带宽，核心模块平面图揭秘第五代至强采取RPC（Raptor Cove Core）的核心模块平面图包含5MB三级缓存（LLC）、3.75MB LSF和1MB RSF。
LLC指的是5MB LLC-data，缓存里有data和TAG两部分。3.75MB LSF和1MB RSF是用来做缓存同等性的。LSF是针对两路CPU的一个特性，可以帮助确定这个数据在远端有没有别人在用，如果没有人在用，可自主对数据进行修正。
英特尔架构分为Core和Uncore。原来所有的CPU里的实行逻辑，不管是前端、后端还是L1、L2缓存，都算在Core面积里；LLC算在Uncore里。Core和Uncore都算在7×7阵列模块中。
第五代至强的所有内核共享统一LLC，每个模块的LLC容量达到了5MB，超过上一代的2.5倍，以是总缓存容量高达320MB，在设计上也可以做到同频同延迟下密度提升30%。
在内存带宽和容量方面，第五代至强DDR速率从4800MT/s提升到5600MT/s，同时将LLC容量提升了3倍。这样数据处理不须要到内存了，在芯片内部就能进行处理。
提升到5600MT/s很不随意马虎，由于所有内存速率的增加都是在现有基板和PCB的根本上实现的，要达到更高速率，须要从芯片设计到基板设计以及链路上进行一系列提升。英特尔做了很多在芯片设计优化，包括一些MIM的内存、基板上走线的提升以及片上低噪声的供电方法等。
还有一个4-tap DFE功能，可以采集数据用来做下一个bit吸收的调度，能尽可能减少码间滋扰（ISI），不打开和打开DFE在5600MT/s速率下可带来非常好的旗子暗记完全性表现。
就详细运用而言，数据库类尤其能发挥LLC的上风。在数据库中，核心业务系统数据量很小，但热数据相对集中，大量的前端运用都在访问同一份热数据，如果这些热数据都存在L3之中，无需访问内存时，效率是最高的。
得益于内存I/O部分增强，第五代至强的AI推理能力实现进一步提升，包括支持20B参数以下的大措辞模型，延迟可低于100ms；还有其他类型的增强，比如NLP及图像类AI的增强，紧张是源于LLC、核数和内存带宽的提升。
大数据剖析也会从LLC的提升中受益。不过对付有些大数据业务，数据是单次访问的，LLC表示出的上风就相对有限。
无论是内存还是缓存，面积每每会带来可靠性的问题，由于在大规模数据中央会有一个软故障，是指环境中各种成分形成一些比特的反转，当容量越大反转概率越大，缺点足够多时会涌现一些不可纠正的缺点，导致系统宕机。
针对这个问题，英特尔在LLC当中采纳了新的编码办法——DEC TED。当在一个缓存行错两位时，还可以进行纠正，涌现三位错的时候还可以检测，比单位纠错和两位检错有了更强的纠错能力，极大提升了系统的容错性。增强的LLC数据修复方案也供应了更多灵巧性。
还有丰富的省电功能，使得每次访问仅需唤醒低于2%的数据阵列，达到很好的节电效果。
四、AMX叠加AI加速buff，跑AlphaFold2推理性能超GPU对付通用AI事情负载，第五代至强支持AMX和AVX-512指令集，基于OpenVINO进行优化。
在推理中，指令集上可以进行切分，通过加速器定向加速某一部分。英特尔资深技能专家称“效果替代传统的基于GPU的AI模型完备没问题”。
AMX加速器专门针对矩阵运算，将许多矩阵运算从普通CPU卸载到AMX上，让专用加速器处理专用业务，性能便会大幅提升。AMX和普通核之间的通信是通过英特尔UPI，比PCIe要快。
英特尔想为中小企业和中小模型降落全体AI的起建本钱，在性能测试过程中充分开释了AMX的能力，终极可达到50%本钱的低落。
这表示第五代至强在供应和GPU相似的延迟，例如在小于100ms的同时可实现更低的拥有本钱。
在实际运用中，很多数据中央客户更关注FP16和BF16，AMX也支持BF16。以是大部分都因此FP16或者是BF16来做的，还没有到INT8。不过AMX和底层优化的Kernel都是支持INT8的。“整体而言，我们须要做的是支持客户把int8的性能做到最高。”英特尔资深技能专家说。
在跑DeepMind AlphaFold2蛋白质构造预测模型时，基于AMX-BF16 AI加速，至强CPU能实现比GPU更高的端到端推理性能。
AlphaFold2模型的特点是参数非常高，GPU放不下，且只能放在主存里，会造成CPU和GPU频繁的交互，以是采取CPU要比GPU快很多，乃至达到几倍的提升。GPU的缓存不足，而通过重度优化CPU之后，将业务切分，并把CPU的核都利用起来，效率反而相较于GPU会更高。
英特尔AVX-512指令集在推出后便开放给了生态互助伙伴们，其ICC编译器可以直接拿去用，对底层效率有提升。
面向视频编解码运用，实时编码帧率最少需达到25FPS。在AMX-INT8加持下，第五代至强把吞吐从原来的1.5FPS增强到了33FPS，意味着可以做实时编码。“我们和原有的GPU办理方案是可以媲美的。”英特尔资深技能专家说。
五、不同层次AI软件栈优化，分布式可支持百亿参数大模型除了硬件本身，英特尔弘大的软件团队在x86架构上进行持续优化。每一代CPU都有新特性，有赖于软件栈的利用。不管是前台支持客户还是后台做研发的工程师，大部分都在做不同层面、不同层次AI软件栈的优化。
随着第五代至强发布，英特尔将超过300个深度学习模型上传到社区，支持了超过50个基于机器学习并基于第五代至强优化过的模型，供开拓者调用；并加大了对主流大模型、天生式AI模型的框架等的投入，让用PyTorch和TensorFlow开拓的资产可无缝拓展到至强处理器上。
英特尔还开拓了很多高性能库，比如oneDNN、OneCCL。OneDNN能把单机性能提升到最高，OneCCL供应集群式做运算的可能，让20B参数以上的模型能在CPU上做推理。同时英特尔对底层的虚拟化层、云原生层、OS Kernel层等给予了很多的资源，让最新技能能适配最新软件栈。
不同大小的模型须要不同的算力支持。如果卡在100ms延迟的标准上，一颗第四代或第五代至强可支持13B参数的模型，两颗可做到30B参数的模型。如果想要更短的延迟，只需把模型缩小。而对付6B或7B参数的模型，一颗第四代英特尔至强可扩展处理器能做到60ms。
综合来看，得益于至强处理器强大的AI能力以及内存带宽，一颗至强可扩展处理器可以为小于20B参数的大措辞模型推理供应性能支持。
对付分布式，英特尔至强紧张聚焦在超大模型的推理，比如超过30B参数的模型推理就须要上分布式。此外，比较于全量对打算的高哀求，对付非全量的调优，CPU也是很好的选择。
在oneCCL加持下的分布式推理，可支持更大的模型。英特尔和百度一起用4台基于第五代至强的双路做事器（8颗第五代至强），采取oneCCL和RDMA（远程直接内存访问）网络，能支持70B参数的模型，推理时长可达87ms。
由此可见，CPU也可以做70B参数模型的推理，并且延迟可以达到100ms以内。
以是，GPU并非是大模型的唯一选择，CPU也有能力做同样的事。业务须要不同延迟对应不同的节点数量，将来客户也可以按需调控资源。
CPU另一大上风是灵巧，无论是业务扩容还是通过分布式快速地获取部分资源，不受限定。
除了支持中、小模型外，有些企业不愿意降落模型参数量来丢失业务效果。大措辞模型实现了在公有云网络中利用eRDMA来加速性能。英特尔资深技能专家称，在公有云网络上，英特尔有很强的能力支持超大模型的推理。
目前AI生态都是基于英伟达CUDA构建的，如何让广大AI开拓者可以更好、更快、更轻松地在至强做事器上支配他们的AI运用？
英特尔正与一站式企业级大模型MaaS平台百度千帆互助。百度千帆已开放英特尔至强大措辞模型推理做事白名单测试。用户可在千帆平台中支配大措辞模型推理做事时选择至强CPU平台，得到更高性价比和更低起建本钱，目前已上线Llama、ChatGLM等9个大措辞模型。
六、从云打算时期到AI时期，底层能源利用率成关键竞争力办理方案旨在将底层硬件的能力充分发挥出来，真正将硬件能力转化为用户代价。
在这方面，英特尔在中国投入了许多资源，与中国生态互助伙伴针对CPU的每个特性做了大量优化定制事情。
云打算办理的第一个问题是“资源池化”，池化目的是规模化经营，将资源整合，从而最大化运用底层硬件能力。在云中进行资源池化和底层根本举动步伐自动化时，英特尔通过IPU、XPU等使数据更靠近用户端，存放在内存中，同时通过IPU以及RDMA技能加快网络连接速率。
上端，英特尔致力于将事情负载自动化，个中包括强大的虚拟化技能，使事情负载在调取资源时能减少损耗。但此类优化在AI时期有所改变，在AI中，虚拟化的内容较少，而是转为大规模的物理机。对此，英特尔关注到三个瓶颈——算力、数据、工程化能力，这三项对底层硬件、软件和职员的需求完备不同。
云打算时期须要“压榨”资源。云厂商的核心竞争力之一是实例的性价比，既要为客户节省本钱，又要能为自己也赚得收益。无论是底层硬件的升级换代，还是事情负载的优化，都须要提高端到真个性价比，关键是效率和效能的提升。
进入AI时期，数据中央耗电量极高，一台GPU做事器可达上万瓦的功率，未来建造越来越多的数据中央，可持续性将是一大寻衅。
如何提升能效？有两种办法，一是为前端客户供应智能，二是自身的底层举动步伐智能化。
英特尔在云打算时期在虚拟化技能（包括容器安全性、运行效率、底层指令凑集并、操作系统优化等）上投入“重兵”，提升了虚拟化效率，同时减少了对底层硬件的损耗。到AI时期亦是如此。
譬如TDP（热设计功耗），英特尔在框架层、函数库层面上挖掘硬件能力，通过API接口调用把底层硬件能力用起来；同时在系统层、做事器，将CPU、内存、网络整合成一个统一的有机整体，由于高端GPU做事器对CPU的算力花费也非常大；再往上，英特尔亦大规模投入措辞层、模型层和垂直行业运用。
此外在数据安全和模型安全方面，数据安全涉及到数据的传输安全、存储安全、交流安全等，英特尔都有端到真个办理方案。
在安全方面，第五代至强有一个主要特性叫TDX，即全体安全环境的支配。TDX对付AI来讲也非常主要，通过将客户AI业务转移到具备TDX的CPU安全实例上，只管性能会有一定损耗，但不仅能降落本钱，而且能实现安全推理的环境。
过去10年，英特尔致力于构建一个开放的生态，通过软硬件结合帮助生态互助伙伴们充分挖掘和利用底层CPU能力。
英特尔将推出P-core（性能核）和E-core（能效核）处理器，个中P-core看重整体性能的提升，E-core看重每瓦带来的性能提升。未来，底层能源的利用率是企业的一大上风，谁的能源利用率高，转化率高，谁就更有竞争力。
这是传统的非大模型AI运用。英特尔始终致力于在CPU上支配AI，并基于OpenVINO对全体模型进行优化、量化。包括推举、语音识别、图像识别、基因测序等，英特尔均做了大量的优化。
对付推举系统、大模型、稀疏矩阵等，用CPU效率更高。推举系统的模型非常大，当GPU无法运行时，用CPU反而是主流，由于GPU不足时，就意味着须要跨GPU，或者说和CPU有频繁交互。跟主存有频繁交互时，利用CPU会更快。
结语：AI推理，节省能耗才是刚需在总结CPU和GPU分别更适用什么场景时，英特尔资深技能专家打了个比方：
“CPU更像是一个大侠，十八般身手样样精通，一个人可以应对很多人，单打独斗能力很强。GPU更像是军队，每个人没有什么特色，但是人多，实行的任务大略且并发高，由于GPU业务逻辑非常大略，但是核数浩瀚。”
据分享，英特尔面向降落功耗将全方位发力，工艺逐渐提升到Intel 3、Intel 20A、Intel 18A，并用前辈封装技能把不同制程的芯片通过Chiplet架构放在一起，还有针对不同事情负载做优化，以及微架构、微工艺的调度，每一代都会有两位数的功耗降落幅度。
有时调度运用程序的架构能最大限度降落功耗。例如，演习大模型，假设统共有20个大模型，每个模型的演习周期为3个月，须要1000台机器来演习，每台机器功率为1万瓦。如果规定只需演习个中的5个模型，而剩下15个模型不须要演习，这样就能节省75%的电能。
如今GPU昂贵且难以得到，对付处在业务发展初期的企业而言，在综合考虑产品是否易买、资源是否能充分利用、本钱、延迟等成分的条件下，用CPU做大模型推理不失落为高性价比的选择。