本文来自"大众年夜众号--布博士(擎创科技产品办理方案专家)

安装深度学习及大模型微调环境时,经历了多次反复操作(如CUDA、cuDNN、PyTorch的安装与卸载)。
为了避免走弯路,总结了以下步骤,供大家参考。

步骤 1:显卡驱动安装

首先在安装完Windows 11后,安装RTX 4090显卡的驱动。
这是后续步骤的根本。
请前往英伟达官网,下载并安装适用于您的显卡的最新驱动程序。

步骤 2:安装Ollama

在显卡驱动安装完成后,安装Ollama,安装后即可利用显卡性能进行大模型推理。

Windows 11上RTX 4090深度进修与大年夜模型微调情形安装指南

步骤 3:安装CUDA

在进行大模型微调时,需安装深度学习环境,包括CUDA。
关键步骤如下:

1. 检讨显卡支持的CUDA版本:在命令行中输入以下命令查看支持的CUDA版本:

nvidia-smi

最大的坑是选择了不被支持的CUDA版本(如CUDA 12.6),导致PyTorch及TensorFlow都无法兼容4090显卡。
因此选择低于12.6版本的CUDA。
后来通过perplexity在线查询反馈上图中表示的是低于12.6版本的cuda都可以。

2. 确认PyTorch兼容版本:由于是实验环境,因此我只考虑pytorch的兼容性,而没有考虑tensorflow。
在 [PyTorch官网](https://pytorch.org/get-started/locally/) 查询PyTorch支持的CUDA版本。
终极选择CUDA 12.4与PyTorch 2.4.0,Python 3.10。

步骤 4:安装CUDA和cuDNN

前往英伟达官网,下载CUDA 12.4及相应的cuDNN版本。
安装过程请参考这篇[博客](https://blog.csdn.net/qq_40379132/article/details/124869378),个中详细先容了安装步骤及系统环境变量的配置方法。

步骤 5:安装PyTorch

1. 安装Miniconda:首先安装Miniconda。

2. 创建虚拟环境:创建用于大模型开拓的虚拟环境并激活该环境。

3. 安装PyTorch:在激活的环境中,利用PyTorch官网供应的安装命令进行安装。
推举利用Conda安装办法,避免依赖包缺失落问题。

conda install pytorch torchvision torchaudio cudatoolkit=12.4 -c pytorch

步骤 6:验证安装成功

在Jupyter Notebook中运行以下代码,验证是否安装成功:

如上图:

true:代表cuda可用0:代表当前设备编号,默认从0开始1:gpu数量,本机只有一个4090NVIDIA GeForce RTX 4090:代表第一个gpu名称

到此,安装完成。
但要把稳的是windows环境中,如果刚安装完,提示找不到dll文件之类的缺点,建议重启,再实行如上代码。

擎创科技,Gartner连续推举的AIOps领域标杆供应商。
公司专注于通过提升企业客户对运维数据的洞见能力,为运维降本增效,充分表示科技运维对业务运营的影响力。

行业龙头客户的共同选择

理解更多运维干货与行业前沿动态

可以右上角一键关注

我们是深耕智能运维领域近十年的

连续多年获Gartner推举的AIOps标杆供应商

下期我们不见不散~