深度学习之开发环境(CUDA、Conda、Pytorch)准备(4)

news2024/11/6 7:33:37

目录

1.CUDA 介绍

1.1 CUDA 的基本概念

1.2 CUDA 的工作原理

1.3 CUDA 的应用领域

2. 安装CUDA

2.1 查看GPU版本

 2.2 升级驱动(可选)

2.3 查看CUDA版本驱动对应的支持的CUDA ToolKit工具包

2.4 下载Toolkit

2.5 安装(省略)

2.6 验证安装 nvcc -V

2.7 卸载 CUDA版本(可选)

3. Anaconda 介绍

3.1 Anaconda 的主要功能和特点:

3.2 Anaconda 的使用场景

4. 安装Anaconda

4.1 安装(省略)

4.2 配置环境变量Path

4.3 验证

4.4 更改镜像源

4.5 修改默认存储位置(可选,但建议修改)

4.6 常用命令

4.6.1 常用快捷键

4.6.2 常用命令(Jupyter Notebook)

4.6.3 常用命令(Anaconda Prompt )

环境管理

包管理

缓存与配置

 其他常用命令

 5. Pytorch 介绍

PyTorch 的特点

6. 安装Pytorch

6.1 创建conda虚拟环境

6.2 安装 pytorch

验证


1.CUDA 介绍

       CUDA(Compute Unified Device Architecture)是由NVIDIA公司推出的一种并行计算平台和编程模型,它使得开发者能够利用NVIDIA GPU的强大并行计算能力来加速计算密集型任务。CUDA 不仅是一种编程语言,更是一个完整的开发平台,包括了硬件、软件、驱动程序、库和工具等。

1.1 CUDA 的基本概念

  1. 硬件支持:CUDA 要求使用支持 CUDA 技术的 NVIDIA GPU。这些 GPU 包含了大量的计算单元(CUDA Cores),能够同时执行多个线程,以实现并行计算。

  2. 编程模型:CUDA 提供了基于 C/C++ 的编程模型,允许开发者编写在 GPU 上执行的代码。CUDA 代码通常分为两部分:一部分运行在主机(Host,通常是 CPU)上,另一部分运行在设备(Device,通常是 GPU)上。运行在设备上的代码称为核函数(Kernel),它们由主机上的代码调用并在 GPU 上并行执行。

  3. 内存层次结构:CUDA 设计了一个多层次的内存体系结构,包括全局内存(Global Memory)、共享内存(Shared Memory)、常量内存(Constant Memory)、纹理内存(Texture Memory)等。不同类型的内存具有不同的访问特性和速度,合理使用这些内存可以显著提升程序性能。

    9de07c5bcb104851a7742174513ce8cd.png

1.2 CUDA 的工作原理

1b13e588f8c04b0e89dcbe74aec0c4db.png

  1. 主机与设备:在 CUDA 中,CPU 称为主机(Host),GPU 称为设备(Device)。主机负责启动计算任务,并将数据传输到设备上,设备负责执行并行计算任务。

  2. 网格与块:CUDA 中的并行任务组织成网格(Grid),每个网格包含多个块(Block),每个块又包含多个线程(Thread)。这种层次结构允许开发者控制并行程度和数据共享方式。

  3. 核函数:这是在 GPU 上运行的函数,由主机代码调用。每个线程执行核函数的一份拷贝,每个线程处理数据的不同部分。核函数是 CUDA 程序的核心,它们在 GPU 上并行执行,处理大量的数据。

1.3 CUDA 的应用领域

  • 深度学习:许多深度学习框架,如 TensorFlow、PyTorch 等,都支持 CUDA 加速,能够大幅加快模型训练和推理的速度。通过 CUDA,可以利用 GPU 的并行计算能力来加速神经网络的训练和预测。
  • 科学计算:CUDA 可以用于模拟物理、化学等领域中的复杂系统,加速数值计算。例如,在分子动力学模拟、天气预报等方面,CUDA 可以提供显著的性能提升。
  • 图像和视频处理:利用 GPU 的并行处理能力,CUDA 可以加速图像和视频的渲染和处理任务。从图像识别到视频编辑,CUDA 都能提供强大的支持。
  • 金融建模:在金融行业中,CUDA 可以用于快速计算期权定价、风险评估等复杂的金融模型。

2. 安装CUDA

TIP:后续需要安装Pytorch,可先检查Pytorch版本是否与CUDA版本相匹配再决定是否升级CUDA。

       笔者环境:CUDA v11.2,驱动 v462.42 ,但Pytorch 早期版本支持CUDA v11.1 和v11.3,就会比较纠结。

       于是升级驱动 v561.09,CUDA v12.6,但Pytorch 最新版本支持的CUDA v12.1 和v12.4

2.1 查看GPU版本

cmd命令输入 nvidia-smi

8c2064c3a54149068a0c2ea853e97f02.png

 2.2 升级驱动可选

如果显卡驱动版本过低,检查是否可以升级驱动

NVIDIA GeForce 驱动程序 - N 卡驱动 | NVIDIA

手动升级

 自动升级:下载GeForce 

 验证升级:

2.3 查看CUDA版本驱动对应的支持的CUDA ToolKit工具包

CUDA 12.6 Update 1 Release Notes

5fcdb84aa37345fdaf800f1ce7c0f977.png

2.4 下载Toolkit

CUDA Toolkit Archive | NVIDIA Developer

2.5 安装(省略)

2.6 验证安装 nvcc -V

9c853753f74347b1bc1b0c8cb64ec9f6.png

2.7 卸载 CUDA版本(可选)

卸载旧版本,为了安装新版本

控制面板-程序和功能,选择对应的程序进行卸载


3. Anaconda 介绍

        Anaconda 是一个开源的 Python 和 R 语言的分发版本,主要用于数据科学、机器学习和大数据分析。它提供了一个完整的科学计算环境,包含了多种流行的数据分析、可视化、机器学习等工具包,是数据科学和开发人员的常用平台。Anaconda 可以在不同的操作系统上运行,包括 Windows、macOS 和 Linux。

3.1 Anaconda 的主要功能和特点:

  • 包管理和环境管理:

Anaconda 内置了 Conda,一个强大的包管理和环境管理工具。它可以轻松地创建独立的虚拟环境、安装和管理不同版本的 Python 以及其他科学计算相关的库,避免包冲突。

  • 内置常用库:

Anaconda 默认自带超过 1500 个数据科学和机器学习相关的库,比如 NumPy、Pandas、Matplotlib、SciPy、Scikit-learn 等,不需要手动安装,节省开发时间。

  • Jupyter Notebook:

Anaconda 集成了 Jupyter Notebook,这是一个交互式的开发环境,方便进行数据分析和算法调试。开发人员可以在一个网页界面中编写和运行代码,并即时查看结果。

  • 图形界面管理工具:

Anaconda 提供了一个可视化管理界面,叫做 Anaconda Navigator,用户可以通过图形界面轻松管理包、创建环境、启动 Jupyter Notebook 或其他工具,比如 Spyder、RStudio。

  • 跨平台支持:

无论你使用的是 Windows、macOS 还是 Linux,Anaconda 都能提供一致的开发体验,并支持在不同操作系统上进行科学计算。

  • 简化部署:

Anaconda 通过 Conda 包管理器,支持快速的项目部署。它可以将整个开发环境打包,确保在不同机器上都能复现项目的环境配置。

3.2 Anaconda 的使用场景

  • 数据科学: Anaconda 是数据科学家们的理想工具,提供了大量用于数据清洗、分析、建模的工具和库。
  • 机器学习: 内置常用机器学习库如 TensorFlow、Keras、Scikit-learn 等,方便搭建、训练和测试机器学习模型。
  • 大数据分析: 通过与 Hadoop、Spark 等工具的集成,Anaconda 支持大规模数据处理和分布式计算。

4. 安装Anaconda

官网地址:

Download Now | Anaconda

4eecfa9682c0400683e4319c8fc29147.png

镜像地址下载(可选,速度较快):anaconda | 镜像站使用帮助 | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

4.1 安装(省略)

4.2 配置环境变量Path

F:\IT\software\Anaconda3\Library\bin   #替换为你真实的安装路径

aec8be87ee9d4d58826b9d5a31165c44.png

4.3 验证

按下Win+R,输入cmd打开终端。 ac677c04bfda4010861d1f3ec183a28e.png

4.4 更改镜像源

  • 创建 .condarc 文件

不同系统下的 .condarc 目录如下:
- Linux: ${HOME}/.condarc
- macOS: ${HOME}/.condarc
- Windows: C:\Users\<YourUserName>\.condarc

TIP:* Windows 用户无法直接创建名为 .condarc 的文件,

可先执行 conda config --set show_channel_urls yes 生成该文件之后再修改

 .condarc 文件插入以下内容

channels:
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

4.5 修改默认存储位置(可选,但建议修改)

.condarc 文件末尾追加,注意:同时修改envs和pkgs 

envs_dirs:
  - E:\IT\conda_env
pkgs_dirs:    
  - E:\IT\conda_pkgs
  •  验证

conda info ,发现默认路径修改了

conda create env_name ,默认路径也修改了

参考信息 anaconda | 镜像站使用帮助 | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror


4.6 常用命令

  • Jupyter Notebook 使用

打开Jupyter Notebook 即可 / 或者打开Anaconda Prompt 输入jupyter notebook

e1a8f6c0efed40de9895909bad988bf5.png
4.6.1 常用快捷键

Jupyter Notebook有两种输入模式:命令模式和编辑模式。

  • 命令模式(蓝色边框):用于控制单元格的行为,如添加、删除、移动单元格等。
    • A:在当前单元格上方插入新单元格。
    • B:在当前单元格下方插入新单元格。
    • D, D(连续按两次D):删除当前单元格。
    • M:将当前单元格转换为Markdown模式。
    • Y:将当前Markdown单元格转换为代码模式。
    • Enter:进入编辑模式。
  • 编辑模式(绿色边框):用于在单元格中输入代码或文本。
    • Tab:代码补全。
    • Shift + Tab:显示函数的文档字符串。
    • Ctrl + Enter:运行当前单元格。
    • Shift + Enter:运行当前单元格并选中下一个单元格。
    • Alt + Enter:运行当前单元格并在下方插入新单元格。
  • 模式切换:通过按Esc键可以从编辑模式切换到命令模式,通过按Enter键可以从命令模式切换到编辑模式。
  • 代码执行:在编辑模式下,可以使用上述快捷键或点击工具栏中的“运行”按钮来执行单元格中的代码。
  • Markdown支持:Jupyter Notebook支持Markdown语法,可以在Markdown单元格中编写格式化的文本、插入链接、图片等。
4.6.2 常用命令(Jupyter Notebook)
  1. 安装包
    • 使用pip安装库:pip install 包名 -i https://pypi.tuna.tsinghua.edu.cn/simple(使用清华源加速下载)
    • 查看当前环境:import sys; print(sys.executable)
    • 查看已安装包及其版本:pip list
  2. 文件读取
    • 读取Excel文件:使用pandas库,pd.read_excel('文件名.xlsx')
    • 读取CSV文件:使用pandas库,pd.read_csv('文件名.csv')
  3. 系统查看
    • 查看操作系统信息:import platform; print(platform.platform())
    • 查看Python运行环境信息:import sys; print(sys.version)
    • Linux系统查看GPU信息:!nvidia-smi
    • Linux系统查看内存信息:!free -h
    • Linux系统查看CPU信息:cat /proc/cpuinfo
  4. 魔法命令(Magic Commands)
    • %matplotlib inline:在Jupyter Notebook中嵌入Matplotlib生成的图形。
    • %time:测量单个语句的执行时间。
    • %timeit:提供更准确的代码运行时间测量,自动多次执行以计算平均值和标准差。
    • %ls:列出当前目录的文件和文件夹。
    • %pwd:显示当前工作目录。
    • %run:运行外部Python脚本。
    • %load:将外部脚本的内容加载到当前单元格中。
4.6.3 常用命令(Anaconda Prompt )

打开Anaconda Prompt 

a. 环境管理
  • 创建新环境

# 创建一个名为 myenv_name 的新环境,并指定Python版本为3.10。

conda create --name myenv_name python=3.10

# 从environment.yml文件中创建环境。
conda env create -f environment.yml

  • 查看已有环境

# 列出所有已创建的环境

conda info --envs 或 conda env list

  • 激活环境

# 激活名为 myenv_name 的环境

conda activate myenv_name

  • 退出环境

# 退出当前激活的环境

conda deactivate

  • 删除环境

# 删除名为myenv的环境及其中的所有包

conda remove --name myenv_name --all

  • 复制环境

# 复制名为old_env的环境到名为new_env的新环境

conda create --name new_env --clone old_env

b. 包管理
  • 安装包

# 在当前环境中安装numpy包
conda install numpy
# 安装指定版本的numpy包
conda install numpy=1.20
# 从conda-forge频道安装numpy包
conda install numpy -c conda-forge

  • 更新包

# 更新numpy包到最新版本
conda update numpy

  • 卸载包

# 卸载numpy包
conda remove numpy

  • 搜索包

# 搜索numpy包的所有可用版本
conda search numpy

c. 缓存与配置
  • 清理缓存

# 清理conda的缓存,包括下载的包和临时文件

conda clean --all

  • 查看配置

# 显示当前conda的配置信息

conda config --show

  • 添加/删除/设置镜像源

# 添加镜像源

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/

# 删除镜像源:

conda config --remove channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/

# 设置默认镜像源:

conda config --prepend channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/

d. 其他常用命令
  • 查看conda版本

# 显示conda的版本号

conda --version 或 conda -V

  • 查看已安装包

# 在激活的环境中列出所有已安装的包

conda list

# 列出指定环境(如myenv)中已安装的包。

conda list -n myenv


 5. Pytorch 介绍

       PyTorch 是一个开源的机器学习库,由 Facebook 的人工智能研究实验室 FAIR(Facebook AI Research)开发并维护。它主要用于实现深度学习模型,并且提供了强大的 GPU 加速功能。PyTorch 的设计初衷是为了提供灵活性和易用性,使得研究人员可以更方便地进行实验。

PyTorch 的特点

  1. 动态计算图:与一些需要静态图定义的框架不同,PyTorch 支持动态构建计算图,这使得开发者在调试和修改模型时更加灵活方便。

  2. 易于上手:PyTorch 使用 Python 语言编写,API 设计直观,接近自然语言,易于学习和使用。

  3. 自动微分:PyTorch 提供了自动求导的功能,简化了梯度计算的过程,使得开发者能够专注于模型的设计而不是繁琐的数学推导。

  4. 丰富的预训练模型库:PyTorch 拥有大量预训练好的模型,用户可以直接使用这些模型进行迁移学习等任务。

  5. 强大的社区支持:由于其灵活性和易用性,PyTorch 获得了广泛的社区支持,包括大量的插件、教程和第三方库。

  6. 分布式训练支持:PyTorch 提供了分布式训练的支持,可以用于多机多卡的场景,这对于大规模数据集的处理非常有用。

  7. 可移植性和生产环境部署:PyTorch 还提供了工具来将模型转换为 C++ 可执行文件或者 ONNX 格式,便于在生产环境中部署。

6. 安装Pytorch

官网地址:PyTorch

6.1 创建conda虚拟环境

conda create --name deeplearn python=3.10

conda activate deeplearn

6.2 安装 pytorch

conda install pytorch torchvision torchaudio pytorch-cuda=12.4 -c pytorch -c nvidia

验证
(E:\IT\conda_env\deeplearn) C:\Users\*****>python
Python 3.10.14 | packaged by Anaconda, Inc. | (main, May  6 2024, 19:44:50) [MSC v.1916 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import torch
>>> x = torch.rand(5)
>>> x
tensor([0.5679, 0.3314, 0.5000, 0.6988, 0.2062])
>>>

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2166432.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

数据结构讲解二叉树 【一】

&#x1f381;&#x1f381;创作不易&#xff0c;关注作者不迷路&#x1f380;&#x1f380; C语言二叉树 【一】 前言一、数概念及结构1.数的概念1.2树的相关概念1.3树的表示 二、二叉树的概念及结构2.12.2二叉树的性质2.3二叉树的存储结构 三、二叉树的顺序结构实现3.1二叉树…

【有啥问啥】“弱激励学习(Weak Incentive Learning)”的原理与过程解析

“弱激励学习&#xff08;Weak Incentive Learning&#xff09;”的原理与过程解析 一、引言 在机器学习、人工智能以及更广泛的教育与培训领域&#xff0c;学习范式的多样性为提升智能体&#xff08;AI模型、学生或企业员工&#xff09;的能力提供了丰富的路径。弱激励学习作…

【最简单最直观的排序 —— 插入排序算法】

【最简单最直观的排序 —— 插入排序算法】 插入排序是一种简单直观的排序算法。其基本思想是把待排序的记录按其关键码值的大小逐个插入到一个已经排好序的有序序列中&#xff0c;直到所有的记录插入完为止&#xff0c;得到一个新的有序序列。 插入排序的核心就是多趟选择插…

python模块之getopt

getopt.getopt(args, shortopts, longopts[]) 解析命令行选项及参数列表。 args&#xff1a;要解析的参数列表&#xff0c;但不包括当前执行的python脚本名称&#xff0c;一般等同于sys.argv[1:]。 shortopts&#xff1a;要识别的短选项字符串&#xff0c;如果后接:表示需要…

C++入门day4-面向对象编程(下)

前言&#xff1a;C入门day3-面向对象编程&#xff08;中&#xff09;-CSDN博客 初识&#xff1a;继承特性 继承的基础语法 class A{ public:int a; }; class B:public A { public:int b; }; B类通过继承A类后&#xff0c;内部会继承一个int变量 a&#xff1a;从下图我们可以…

Mesa三角形光栅化过程关键代码

1.先看下mesa三角形光栅化效果 2.这里是主要实现代码&#xff0c;Mesa的代码也是非常多&#xff0c;看了好多天。关键实现过程代码这个s_tritemp.h中 3.这里主要介绍渲染一个矩形的过程 a)在glut中两行代码: b) 中间过程代码忽略&#xff0c;进入static GLboolean run_render(…

生活英语口语柯桥学英语“再确认一下“ 说成 “double confirm“?这是错误的!

在追求英语表达的过程中&#xff0c;我们常常会遇到一些看似合理实则错误的表达习惯。今天&#xff0c;我们就来聊聊一个常见的误区——“再确认一下”被误译为“double confirm”。 “再次确认”不是double confirm 首先&#xff0c;我们需要明确&#xff0c;“double confi…

POI从3.14升级为5.2.0

最近word用的功能有点多&#xff0c;3.14功能太少&#xff0c;升级一下。 从5.0.X开始&#xff0c;poi-ooxml–schemas被重命名为poi-ooxml–full 最新版是5.3.0&#xff0c;但是word转pdf的工具最新到poi的5.2.0&#xff0c;所以用这个版本了 properties中变量 <poi.versio…

在docker中找不到文件

问题 这是我的Dockerfile&#xff1a; FROM mcr.microsoft.com/dotnet/sdk:8.0 as build WORKDIR /app EXPOSE 80COPY TotechsThunder.sln TotechsThunder.sln COPY mock/programminglanguages/programminglanguage.js mock/programminglanguages/programminglanguage.js COP…

大觅网之业务部署(Business deployment of Da Mi Network)

&#x1f49d;&#x1f49d;&#x1f49d;欢迎来到我的博客&#xff0c;很高兴能够在这里和您见面&#xff01;希望您在这里可以感受到一份轻松愉快的氛围&#xff0c;不仅可以获得有趣的内容和知识&#xff0c;也可以畅所欲言、分享您的想法和见解。 本人主要分享计算机核心技…

ubuntu20.04.6 触摸屏一体机,外接视频流盒子开机输入登录密码触屏失灵问题解决方法

1. 首先直接运行xrandr命令&#xff0c;查看设备的相关信息&#xff1a; 运行之后会显示当前连接设备的屏幕信息&#xff0c;如下图&#xff0c;LVDS和VGA-0&#xff0c;而HDMI屏幕为disconnect&#xff0c;意为没有连接&#xff1a; 2. 设置开机主屏幕显示&#xff1a; xrand…

TypeScript 设计模式之【建造者模式】

文章目录 **建造者模式**&#xff1a;打造你的梦想之屋建造者的秘密建造者有什么利与害&#xff1f;如何使用建造者搭建各种房子代码实现案例建造者模式的主要优点建造者模式的主要缺点建造者模式的适用场景总结 建造者模式&#xff1a;打造你的梦想之屋 假设你想要一栋完美的…

LeetCode[简单] 876. 链表的中间结点

给你单链表的头结点 head &#xff0c;请你找出并返回链表的中间结点。 如果有两个中间结点&#xff0c;则返回第二个中间结点。 思路 对任意正整数 n&#xff0c;中间结点的编号可以表示成 ⌊2n​⌋1。 解法一 /*** Definition for singly-linked list.* public class L…

数据分析:线性回归计算嵌套的组间差异

文章目录 介绍加载依赖包导入数据数据预处理数据概览线性回归画图森林图的特点:森林图的作用:总结系统信息介绍 在统计学中,嵌套的组间差异分析是一种评估不同组别间差异的方法,尤其适用于层级结构或分组数据。通过线性回归模型,我们可以计算出各个变量对于因变量的影响,…

priority_queue优先级队列(堆)详解。C++经验+1

什么是堆 首先我们先了解什么是堆&#xff1f;堆分为大根堆和小根堆。但其实大根堆会让人误以为是不是大的元素在下面呢&#xff1f;为了防止错误想法&#xff0c;大根堆也可以叫大顶堆。 大顶堆&#xff1a;顶上元素最大&#xff0c;上一层比下一层元素大。 小顶堆&#xff…

AI搜索软件哪个好,AI搜索引擎工具分享

随着AI技术的发展&#xff0c;AI搜索引擎工具正逐渐成为我们信息获取的重要方法。下面小编就来和大家分享一些好用的AI搜索引擎软件&#xff0c;感兴趣的同学可以逐个使用体验一下。因为每个AI搜索引擎工具不同&#xff0c;建议大家搜索的时候可以多个工具搜索&#xff0c;然后…

.netcore nacos注册成功,服务列表找不到任何服务

命令空间id不要自动生成 .netcore 配置文件里&#xff0c;Namespace 配置命名空间id 而不是命名空间名称。

OrangePi 烧录镜像步骤

理解&#xff1a;第一步&#xff1a;烧录镜像。第二步&#xff1a;建立编译环境&#xff08;一般是PC端的Linux虚拟机&#xff09;和板卡端的文件连接。因为要传文件&#xff0c;一般用挂载的方法。第三步&#xff1a;软件程序的编译与部署。 第一步&#xff1a;烧录镜像步骤 …

React学习笔记(四)——React 组件生命周期

目录 1. 生命周期-概览 2. 生命周期-挂载阶段 3. 生命周期-更新阶段 4. 生命周期-卸载阶段 5. setState扩展-发现问题 6. setState扩展-更多用法 7. setState扩展-异步 1. 生命周期-概览 了解react类组件生命周期整体情况 大致步骤&#xff1a; 什么是生命周期React类组…

AntFlow-Vue3 :一个仿钉钉流程审批,且满足99.8%以上审批流程需求的企业级工作流平台,开源且免费!

在现代企业管理中&#xff0c;流程审批的高效性直接影响到工作的流畅度与生产力。最近&#xff0c;我发现了一个非常有趣的项目—— AntFlow-Vue3 。这个项目不仅提供了一个灵活且可定制的工作流平台&#xff0c;还能让用户以可视化的方式创建和管理审批流程。 如果你是一名前…