本文来自"大众年夜众号--布博士（擎创科技产品办理方案专家）

在安装深度学习及大模型微调环境时，经历了多次反复操作（如CUDA、cuDNN、PyTorch的安装与卸载）。
为了避免走弯路，总结了以下步骤，供大家参考。

步骤 1：显卡驱动安装

首先在安装完Windows 11后，安装RTX 4090显卡的驱动。
这是后续步骤的根本。
请前往英伟达官网，下载并安装适用于您的显卡的最新驱动程序。

步骤 2：安装Ollama

在显卡驱动安装完成后，安装Ollama，安装后即可利用显卡性能进行大模型推理。

Windows 11上RTX 4090深度进修与大年夜模型微调情形安装指南

步骤 3：安装CUDA

在进行大模型微调时，需安装深度学习环境，包括CUDA。
关键步骤如下：

1. 检讨显卡支持的CUDA版本：在命令行中输入以下命令查看支持的CUDA版本：

nvidia-smi

最大的坑是选择了不被支持的CUDA版本（如CUDA 12.6），导致PyTorch及TensorFlow都无法兼容4090显卡。
因此选择低于12.6版本的CUDA。
后来通过perplexity在线查询反馈上图中表示的是低于12.6版本的cuda都可以。

2. 确认PyTorch兼容版本：由于是实验环境，因此我只考虑pytorch的兼容性，而没有考虑tensorflow。
在 [PyTorch官网](https://pytorch.org/get-started/locally/) 查询PyTorch支持的CUDA版本。
终极选择CUDA 12.4与PyTorch 2.4.0，Python 3.10。

步骤 4：安装CUDA和cuDNN

前往英伟达官网，下载CUDA 12.4及相应的cuDNN版本。
安装过程请参考这篇[博客](https://blog.csdn.net/qq_40379132/article/details/124869378)，个中详细先容了安装步骤及系统环境变量的配置方法。

步骤 5：安装PyTorch

1. 安装Miniconda：首先安装Miniconda。

2. 创建虚拟环境：创建用于大模型开拓的虚拟环境并激活该环境。

3. 安装PyTorch：在激活的环境中，利用PyTorch官网供应的安装命令进行安装。
推举利用Conda安装办法，避免依赖包缺失落问题。

conda install pytorch torchvision torchaudio cudatoolkit=12.4 -c pytorch

步骤 6：验证安装成功

在Jupyter Notebook中运行以下代码，验证是否安装成功：

如上图：

true：代表cuda可用0:代表当前设备编号，默认从0开始1:gpu数量，本机只有一个4090NVIDIA GeForce RTX 4090:代表第一个gpu名称

到此，安装完成。
但要把稳的是windows环境中，如果刚安装完，提示找不到dll文件之类的缺点，建议重启，再实行如上代码。

擎创科技，Gartner连续推举的AIOps领域标杆供应商。
公司专注于通过提升企业客户对运维数据的洞见能力，为运维降本增效，充分表示科技运维对业务运营的影响力。

行业龙头客户的共同选择

理解更多运维干货与行业前沿动态

可以右上角一键关注

我们是深耕智能运维领域近十年的

连续多年获Gartner推举的AIOps标杆供应商

下期我们不见不散~