AI大牛沐神来装机了,还是演习100亿参数模型那种。
在还没出装机视频前,李沐老师曾发起了一个小小的问卷调查,趁着显卡贬价,看下童鞋们对装机跑Transformer有多大兴趣。
当时,就连华为天才少年「稚晖君」都来点赞了,足见大家还是很期待的。
这不,沐神带着他的装机视频来了。若何用最低的本钱演习一个100亿模型?
而就在最近,币圈也在一贯降温,同时GPU也明显贬价了不少,就比如英伟达3090TI现在售价1600美元(原价2000美元)。
在这个项目的开始,先装了2台原型机,每台机器都是双卡RTX 3090TI,采取了水冷散热系统,减少了噪音。
一台机器装下来,造价有5000多美元,大约3万5公民币。
话不多说,来看看沐神如何装机的吧~
装机清单装机的需求,首先就假如足够安静。不然太吵的话没法事情。
第二个需求便是散热要好。不然温度过高的话会导致GPU降频。
第三个,重点来了,由于须要跑比较大的Transformer模型,以是GPU的带宽必须足够好。
如果之前装过GPU做事器用来跑CNN的话,跟跑Transformer模型的需求会不太一样。由于Transformer模型比CNN模型要更大,对内存的霸占率会更高。以是GPU的内存大小非常主要。
之前沐神也讲过,要把这样大的Transformer模型放到多个GPU上演习,来自谷歌、微软等的工程师都是利用类似DGA X100这样的机器来跑的。纵然在这样的机器上,GPU的带宽仍旧是一个瓶颈。
购买这种做事器GPU和游戏GPU的差异就在于,前者不在于单卡能跑多快,而是卡与卡之间能够多快地连接出来。
因此装机理念的重点便是:只管即便增大GPU内存,以及GPU之间互联的一个带宽,
如果一台机器想放很多卡的话,就要买涡轮的散热。
如果想要安静的话,就买水冷的散热,沐神买的是4块3090 TI。用水冷的好处是比较安静,坏处便是特殊占地方。
以是,如果要在机箱放四块卡的话,就不要买水冷的版本,而是要买只有一个涡轮风扇的版本。
而且机箱里风的流向是一个特殊主要的问题。如果买带3个风扇的卡,风是从正面进入机箱,然后从四面八方散热,卡挨得紧的话,机箱里的温度就会非常高。
沐神也说,自己在多年前,买了四块2个大风扇的卡放在一起,结果就导致一块卡温度过高烧掉了。
GPU选好往后(华硕的ROG), 剩下的配置就比较大略。CPU用的是AMD的12核CPU,主板是号称PCIE 4.0 16的某牌子,硬盘是2 TB的M.2的硬盘,风扇是120毫米水冷风扇,加一个全尺寸机箱。
装机步骤装机清单完成后,接下来便是详细的装机过程了。步骤如下:
首先放GPU。把稳,放的过程中一定不能用手碰金属的地方,如果有静电的话非常随意马虎造成GPU导电。
把GPU放进去之后,把螺丝拧上。然后把风扇装进去。
插上电源后,把电源线和水管线绑在一起。然后把NVLink的桥给连上去。
末了连上电源,机器就可以运行了。
压力测试在装机完成后,下一步的任务便是连续装上操作系统。
沐神装的是ubuntu22,装上之后就靠远程连上去了。
当然了,沐神也是把各种情形说的比较详细,除了ubuntu22以外,windows和linux在不同的需求下也是可以的。
这里沐神用的SSH进行的远程连接。
沐神的系统已经装上了驱动,同时,他也指出如果还没有驱动的话,也可以用apt-get装上nvidia-driver-515。
装好之后,就可以运行nvidia-smi,看到系统了。
从中可以看到各项信息。比如GPU的数量、温度、瓦数、内存利用等等。
接下来还可以通过nvidia-smi的topo-m矩阵看到nv-link是否正常。
可以看到两个GPU由NV4连接。4表示4个通道,这就代表连接是正常的。
下一题,是测试系统在满负荷的情形下的温度。
沐神表示,测试GPU的是一个叫gpu-burn的小程序,github上可以下载。
这里沐神仿照跑了十分钟,也是看到了两个GPU的温度。沐神还打趣说,都能觉得到GPU在呼呼吹热风。
同理,CPU也可以用这种办法测试温度,用的是cpu-burn。
终极两个GPU的温度勾留在58度和55度,功耗拉到了440多瓦(满功耗480瓦),还挺好的。
末了的一项参数是机器的耗电情形。沐神的测试大概用了1240瓦,意味着每小时用电1.5度。
从目前的数据来看,稳定性还ok。
至于用这台机器跑Transformer性能怎么样,还得等下期视频了。
网友热评
视频发出后,b站的网友也表示出了极大的兴趣。
有满分课代表同学出没,列出了视频中提到的完全配置清单。
还有网友火速前来围不雅观,「跟李沐学装机」。
沐神自己表示,觉得3090ti的卡不是太行。立时有网友搭腔,「弗成就抽了送人吧。」
当然了,这种硬核装机视频下的评论肯定少不了诙谐成分。
只能说,太真实了。
参考资料:
https://b23.tv/KIRbVC3