作者|陈玉立

头图|视觉中国

6月尾,谷歌新一代开源模型Gemma2发布,比较今年早些时候推出的轻量级开源模型Gemma,Gemma2有了90亿(9B)和270亿(27B)两种参数规模可用。

就在谷歌捋臂将拳准备与OpenAI一较高下时,前几天其发布的一份报告却引来了媒体的“担忧”——谷歌最新发布的环境报告指出,自2019年以来,其温室气体总排放量增长了48%。

所谓AI革命到现在为止是能源的一场灾祸

仅去年一年谷歌就产生了1430万吨二氧化碳,同比2022年增长13%,紧张由于来自范围2的碳排放同比增长37%。

这些数据显然与谷歌“2030年实现零排放”的目标南辕北辙了,作为环球最大的互联网科技巨子之一,如此“旷达”的碳排放数据显然会为其招来各种非议。

为何碳排放大增?

在谷歌发布的环境报告中,其将碳排放量激增归因于数据中央的能源的利用和供应链排放的增加。
自互联网出身以来,数据中央一贯是高能耗的代表,而今用于演习人工智能的数据中央更是如此。

谷歌在报告中称:“随着我们进一步将人工智能融入到产品中,减少碳排放变得更具有寻衅性,由于人工智能打算强度的提高导致能源需求增加,而根本举动步伐投资的增加也会导致碳排放增加。

据报告数据显示,谷歌仅数据中央的用电量在2023年就增长了17%,估量这一“趋势”将在未来持续下去。

实际上,谷歌的碳排放已经是“极力优化”的结果了,报告指出截至2023年底,谷歌连续七年实现100%可再生能源花费,并借此在2023年实现了63%的碳排放减少。

图源:谷歌2024环境报告

在此根本上,碳排放之以是仍旧大幅增长,紧张是由于数据中央耗能太大,但可再生能源有限,无可奈何。

报告原文指出,谷歌已经努力在环球实现100%可再生能源匹配的目标,但GHG协议为能源采购确立了范围以减少范围2的排放。
这就导致在一些地区我们购买的清洁能源比我们的电力花费量更多(例如欧洲),但在其他地区(如亚太地区)由于清洁能源采购具备一定寻衅,导致采购不敷。
这之间的差异是范围2碳排放统计增加的缘故原由。

图源:谷歌2024环境报告

总而言之,谷歌想表达的无非是“我很努力,但在AI革命的浪潮下无计可施”,颇有一种“发展才是硬道理的意思”。

的确,以如今AI爆发的势头,如果让能源卡了自己的脖子,导致大模型掉队于OpenAI,以至于丢了人工智能时期的“船票”,那可不是谷歌乐意看到的结果。

虽然谷歌在报告中给出了后续解法,比如正在努力提高其人工智能模型、硬件和数据中央的能源效率,以及操持到2030 年实现24/7全天候无碳能源(CFE)这一终极目标。
但随着人工智能的不断发展,大模型的不断迭代,谷歌须要的能耗依然是只会多不会少。

未来,谷歌大概率将持续面对来自公众年夜众及媒体关于景象议题的压力。

AI何以成为“吃电狂魔”?

谷歌并不是唯一一家碳排放不断增加的科技公司。

今年5月,微软透露自2020年以来,其二氧化碳排放量增加了近30%。
而为OpenAI供应大量打算的雷德蒙德也将排放量的增加归咎于其云打算和人工智能业务部门的数据中央举动步伐的培植和配置。

可以说,正在自己开拓大模型的互联网科技公司险些都有“能耗/碳排放巨大”的问题。

大模型究竟有多耗电?灵碳智能创始人李博杰见告虎嗅,根据推测,以GPT-4为例,其演习利用了25000张a100,并花了90-100天进行演习,估量总耗电量在51,000mwh - 62,000mwh旁边。

而一户普通人家一年的用电量大概在1000kwh旁边,因此全部演习耗能相称于5万户人家一年的用电量;同时,此耗电量相称于三峡大坝一年发电量(按一年发电1000亿千瓦时打算)的0.05%,发电侧利用的水量约为2.3亿立方米(三峡电站标准)。

从利用侧来看,1次GPT-4查询估计花费约0.005 kwh。
根据OpenAI公布的数据,GPT每天在环球有数亿次查询,守旧估计每天花费的电量为1gwh。

按一户普通人家一年用电1000kwh算,每天模型推理耗能相称于1000户人家一年的用电量;若按年打算,OpenAI花费的能源在90-200gwh旁边,相称于三峡大坝一年发电量(按一年发电1000亿千瓦时打算)的0.2%,发电侧利用的水量约为9亿立方米(三峡电站标准)。

荷兰科学家亚历克斯·德弗里斯也在他的论文中指出,到2027年,AI耗电量或将靠近人口超过1000万的瑞典或1700万人口的荷兰一年的总用电量,相称于当前环球用电量的0.5%。

一笔账算完堪称胆怯,也怪不得黄仁勋与山姆·奥特曼都会喊出“未来AI的技能取决于能源”这一论调了。

一个很主要的问题是,为什么人工智能大模型如此耗能?

从技能事理的角度看,李博杰认为紧张有4点缘故原由:

目前主流的LLM模型采取了基于transformer架构的深度神经网络算法,这种架构的算法通过自把稳力机制处理数据,并考虑序列的不同部分或句子的全体高下文,从而天生对模型结果的预测。
市情上前辈的LLM常日包含了万亿级别的参数,参数越多,模型繁芜度越高,演习时的打算量就越大。

模型演习的根本数据(如大规模语料库)的存储、处理都须要花费大量的能源。

目前的LLM都采取了并行化的办法进行打算,以是对高性能的GPU集群有着大量的哀求。
高性能的GPU的运作不仅花费大量的能源,同时也对冷却系统提出了很高的哀求。

LLM的推理阶段,用户每一次查询都涉及能源的花费。

这些成分共同导致了人工智能大模型在演习和推理过程中会花费大量能源。

而当下巨子混战大模型的背后,映射的也是环球能源花费的大增。
根据国际能源署的数据,2022年美国2,700个数据中央花费了全国总电力的 4% 以上;到2026年,环球数据中央的电力花费可能会翻一番。

随后,高盛在2024年4月的一项剖析预测,至本世纪末环球数据中央的用电量将增加1.8倍至3.4倍。

华盛顿邮报则是直接指出,不断飙升的用电需求引发了人们的争夺,试图从老化的电网中压迫更多的电力。
但据美国能源信息署数据显示,2023年,美国全口径净发电量为41781.71亿千瓦时,比上一年低落1.2%。
近十年来,美国的整年净发电量一贯在40000亿千瓦时的边缘徘徊。

图源:华盛顿邮报

无可否认,能源危急(紧张是电)已近在面前,且很可能成为制约AI发展的关键成分。

高能耗还得持续下去

AI要想发展必须得坚持这样的高能耗吗?

比尔盖茨曾经在接管媒体采访时表示不用担心,由于人工智能虽然花费能源,但技能会进步,未来的能耗会持续低落。

但关键问题在于,当下大模型的演习是否有尽头?

在第六届北京智源大会上,杨植麟、王小川等4位大模型CEO就AGI的实现进行了一次互换,4位CEO的共识是AGI太迢遥,只有模型贬价最能推动现实落地。

李博杰也认为,即便是算力一贯无限增加,按照目前主流大模型的技能路线,不会达到空想的AGI阶段:“AGI代表了AI算法拥有类似人脑的思考模式。
目前深度神经网络只是对人脑运作时的电旗子暗记传播的一种简化仿照。
根据目前人类对人脑运作模式的理解,人脑的运作还包含神经递质通报,基因调控,分子旗子暗记传导,非神经细胞调节,体液因子调节等多个不同的旗子暗记运输和调节机制。
因此,基于深度神经网络的LLM发展,不会达到类脑智能的水平。

从另一个角度讲,措辞只是人类意识的个中一个维度映射,在这个过程中存在大量的信息丢失和扭曲。
人类在认识天下的过程中,还包含了视觉、听觉、触觉、嗅觉、味觉等多个不同维度。
同时,人类自身的运动学习,感情,社会化的行为和自我意识都是AGI的主要组成部分。

“真正的AGI智能,一定是低能耗的,不过在探索的过程中,会花费大量的能源,能源花费是人类社会的终极问题,”李博杰表示:“从可以预测的未来看,能耗问题给人工智能发展带来的最大的问题是加速环球社会的不平等。
能源条件差的国家会在这一轮技能变革中掉队。

如今,行业虽然正在考试测验办理AI高耗能的问题,比如通过模型的压缩和蒸馏、更高性价比的专用AI芯片和硬件架构等等,但未来高能耗还将坚持一段不短的韶光。

就犹如科技的发展是螺旋上升的过程,AGI的实现也须要依赖各种学科的同步发展。
当下能够期盼的是,如果大模型算法有尽头,希望当我们走到尽头时,AI能够带来真正的生产力革命吧。

正在改变与想要改变天下的人,都在 虎嗅APP