深度学习框架搭建

news2024/11/22 5:40:57

5.15

首先是了解下,怎么配置环境啊这一套的。。

1.大概了解了一些名词意思

python,不用说了,就是一门语言

anoconda是一些包啊之类的管理工具,挺好用的,管理虚拟环境用的。

jupyter和pycharm都是类似于IDE吧,只不过前者用浏览器就行,轻量级,后者专门的软件,更加专业。

pytorch 一个深度学习框架,集成了一些深度学习的框架

CUDA是电脑有英伟达显卡的话,可以加速,cuDNN是专门为深度学习加速的。

2.之前 已经安装了 anoconda,还有jupyter以及pytorch..

但是用于GPU的CUDA还没有安装。

3,torch

电脑的python 3.7版本并没有安装torch,但是anoconda的安装了。

安装CUDA失败,因为太占空间了,所以放弃了。。安装CUDA,选择了放在D盘,可还是占用了C盘的空间,C盘只剩下2.9G,

都没办法正常使用了。。

(等着在工位的电脑上搞叭,等待我的HDMI线到来)

长知识,大概就是,可以创建多个环境,每个环境下面的一些库啊,工具啊之类的都不一样。。

还有

!!!每次都要active XXX,才可以打开这个虚拟环境。。

以及,anaconda,可以在线安装CUDA和cudnn,但是网上说,这个安装速度很慢。。

5.16

anaconda的作用是 可以管理不同的虚拟环境,方便切换不同的环境,跑不同的代码,比如一个是3.7的python,,另一个是3.6的这样子,可以快速切换。。

  1. 配置conda环境,因为安装的这个版本,没有直接把路径加入到环境的选项,所以安装完anaconda之后,直接在命令行是找不到conda的,所以就找了几个教程,去把anaconda的环境安装到系统环境中

https://blog.csdn.net/qq_51872445/article/details/130023351

  1. 安装的anaconda是py3.10版本,感觉太新了,但是其实是可以创建新的虚拟环境的,每次跑代码的时候,并不是创建的这个base的。。

  1. 查看CUDA版本,因为发现,服务器安装了CUDA和cudnn,所以就不安装了、。

  1. 查找已经安装的环境的命令;

(base) C:\Users\Lenovo>conda env list

# conda environments:

#

py39                     C:\Users\Lenovo\.conda\envs\py39

base                  *  D:\ana

  1. pycharm不显示虚拟环境的解决办法,

PyTorch安装教程_哔哩哔哩_bilibili

这个视频的后半段。

PS :一些看过的还不错的

Pytorch安装命令库:

Start Locally | PyTorch

已经安装好pytorch.

这个视频也挺不错的的。

有幸遇见-b站最全最简洁易学的深度学习环境配置教程Anaconda+Pycharm+CUDA+CUdnn+PyTorch+Tensorflow_哔哩哔哩_bilibili

使用命令行的时候,每次都要激活环境/或者去anaconda界面去找,安装了哪些虚拟环境(本来anaconda就是来管理这些虚拟环境的)

使用pycharm的时候,也要在右下角的解释器那里,选择好。。

这个文档挺新,挺不错的:

Anaconda虚拟环境中安装torch + cuda + cuDNN_anaconda安装cuda_ligous的博客-CSDN博客

##################

5.17

服务器安装可以跑代码的环境+远程跑代码

首先,使用测试命令测试以后发现,原来实验室的电脑本来就已经安装好了CUDA和cudnn,所以剩下的事情就比较简单了。。安装python+conda库+pytorch框架,再使用SSH远程连接应该就可以连接远程服务器跑代码了。。

问了学长,也是这么回复的,GPU这方面就不用设置了,已经给设置好了、、

首先就遇到了问题,没有SSH的插件。。

好家伙社区版不支持。。得装专业版。

问了hj,确实是社区版不支持。

然后就是北航邮箱注册,去下载安装,再去搞学生优惠。。。

安装好之后,又发现问题,识别不了安装过的虚拟环境

BUG:

删除了社区版之后,连接不上。。

换上了专业版,又识别不了,识别不到那个_conda,看到一个教程,换成了conda就成功了。。

PyCharm添加Anaconda中的虚拟环境,Python解释器出现Conda executable is not found(解决方案)_pycharm找不到conda可执行文件_Zouia Gail的博客-CSDN博客

(这个教程不错,强推)

终于有了。。

Py39这个虚拟环境是创建在C盘的,anaconda是再D盘的,,,虚拟环境也可以放在其他盘。。

conda deactivate  可以退出condabase)环境

##################

服务器安装anaonda总结:

第一个问题就是去找命令行,试了好多个命令都安装不了。。

第二个问题就是下载速度慢

第三个问题就是出了个BUG,Xshell按退格键,总是出问题,还麻烦管理员处理了。。

怎么修复Xshell的BUG???

还有就是,貌似要求安装anaconda到一个空白的文件夹里面,搞了好久才明白这个意思。。

我删除那个还删除不掉。。。

解决linux下退格时,出现^H^H^H^H的问题_代码_终结者的博客-CSDN博客

优质文章:

PyCharm添加Anaconda中的虚拟环境,Python解释器出现Conda executable is not found(解决方案)_pycharm找不到conda可执行文件_Zouia Gail的博客-CSDN博客

conda install pytorch torchvision torchaudio pytorch-cuda=11.6 -c pytorch -c nvidia

整了个这个,不知道是不是靠谱。

5.17

一大早来搞这个,还连接不上了,估计是昨晚上停电,服务器关机了。。

5.18

连接远程服务器

https://www.cnblogs.com/LXP-Never/p/15151578.html#top

这里不知道为啥,有上面一个Virtualenv Environment和下面这个,看的教程估计是以前版本的,就只有下面这个,就配置了这个。。

配置完以后,就在远程服务器,成功运行了,就是有点慢。。这里再本地和远程,都是用的python3.9的版本,保证是一样的。。

实际上,看教程的时候,也有去配置一个SFTP的东西,但是当我按照教程配完之后,再去看SFTP的教程,发现都一样,也就是说,直接配置SSH和SFTP应该差不多,或许以后遇到问题再说。。

OK,torch也没问题,其实假如连接远程服务器,相当于这个项目的文件直接就在远程服务器上,也没啥必要非得本地安装torch,因为连接SSH远程服务器以后,使用的解释器就直接是远程的了。。

(当然了,前面还给主机安装了个CPU的pytorch,现在想想貌似没啥必要。。。)

SFTP的教程:

Pycharm远程连接服务器(实践笔记)_pycharm连接远程服务器_暮已深的博客-CSDN博客

SSH教程:

Pycharm远程连接服务器来跑代码_pycharm远程连接服务器跑代码_ac不知深的博客-CSDN博客 (这个最好的)因为我的连接完SSH,后面的SFTP那里自动就设置了,后半部分就没管。。

Pycharm远程连接服务器(实践笔记)_pycharm连接远程服务器_暮已深的博客-CSDN博客

本地Pycharm连接远程服务器详细配置过程(直接在本地使用服务器显卡,很棒)_pycharm远程连接服务器_NorthSmile的博客-CSDN博客

PyCharm连接远程服务器详细教程_pycharm连接服务器_Ann's Blog的博客-CSDN博客

https://www.cnblogs.com/LXP-Never/p/15151578.html#top

PS:实际上,SFTP就是基于SSH的。

服务器搞深度学习框架

实现Linux服务器配置深度学习环境并跑代码完整步骤

实际上,最浪费时间的就是配置torch环境,总是版本不对应,安装不成功,然后下载的网速还很慢。。

PS:

这个也是需要 补充的

linux系统的shell界面出现^H^H^H^H^H^H^H^H^H^H^H^H

PyCharm添加Anaconda中的虚拟环境,Python解释器出现Conda executable is not found(解决方案)_pycharm找不到conda可执行文件_Zouia Gail的博客-CSDN博客

5.18下午

配置好笔记本电脑连接远程服务器(先在远程创建了一个笔记本的python 3.8环境,然后SSH连接好,并做好文件夹的映射,,就完事了。。)

5.17

换了无数次安装命令,终于成功。服务器安装成功 pytorch,,

用的是这个命令。。

所有的命令行汇总

Previous PyTorch Versions | PyTorch

笔记本这方面,

Pytorch的torch使用命令行安装。

Pytorchgpu的torch使用anaconda的界面安装。。

上午11.30搞完。。

https://pytorch.org/get-started/previous-versions/

笔记本再安装专业版pycharm

现在就只剩下连接远程服务器了。。

PS,总结一下::遇到了很多问题,一点点去解决,这个可能顺序有点乱,但是解决方案是真的有用的。。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/544495.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【系统移植】SD卡烧录uboot、linux内核、根文件系统

目录 一、SD卡分区 二、SD卡烧录uboot 三、SD卡烧录linux内核 四、SD卡烧录根文件系统 五、修改uboot环境变量 1、设置 bootcmd 2、设置 bootargs 参考链接:IMX6Q的SD卡启动使用教程_mayue_csdn的博客-CSDN博客 一、SD卡分区 无论是EMMC还是SD卡启动&#…

Promise理解

做一道题,理解一下: function getPrinterList() {let res 初始setTimeout(() > {res 1},1000)return res }let res getPrinterList() console.log(res); //输出初始 在getPrinterList函数中,先分清同步异步. JS执行语句时,会区分同步异步,把所有的同步放在同步队列中,把…

2023-5-19-Debug和Release到底有多少不同?

🍿*★,*:.☆( ̄▽ ̄)/$:*.★* 🍿 💥💥💥欢迎来到🤞汤姆🤞的csdn博文💥💥💥 💟💟喜欢的朋友可以关注一下&#xf…

【HTTPS加密】

🎉🎉🎉点进来你就是我的人了博主主页:🙈🙈🙈戳一戳,欢迎大佬指点! 欢迎志同道合的朋友一起加油喔🤺🤺🤺 目录 1.HTTPS 是什么 1.1 运营商劫持 1.2 关于加密…

面试季,真的太狠了...

金三银四面试季的复盘,真的太狠了… 面试感受 先说一个字 是真的 “ 累 ” 安排的太满的后果可能就是一天只吃一顿饭,一直奔波在路上 不扯这个了,给大家说说面试吧,我工作大概两年多的时间,大家可以参考下 在整个面…

【FMC201】基于FMC标准的1路CameraLink Full 输入 子卡模块

产品概述 FMC201是一款CameraLink信号输入(采集)FMC子卡模块,该模块支持2路CameraLink Base模式或者1路CameraLink Full模式的图像信号输入。板卡具有2个CameraLink端口(SDR26),可以作为采集卡使用。 技术指…

不仅能满足需求,还能提高效率。教你建立自动化测试请求封装

目录 前言: 一、整体框架介绍 二、代码实现 1. config文件配置 2. API封装方法实现 3. 测试用例编写 4. 运行测试用例 三、总结 前言: 在接口自动化测试中,我们都知道一个重要概念就是接口请求封装,可以大幅度提供自动化…

中间件(三)- Zookeeper

Zookeeper 1. Zookeeper介绍1.1 什么是Zookeeper1.2 Zookeeper的应用场景 2. 搭建ZooKeeper服务器2.1 下载安装包2.2 配置文件2.3 启动测试 3. Zookeeper内部的数据模型3.1 zk如何保存数据?3.2 zk中的znode是什么样的数据结构3.3 zk中节点znode的类型3.4 zk的数据持久化 4. Zo…

18-01 数据库架构设计综述

数据库架构设计的基本思路 需求分析阶段(最困难、最耗时) 整个设计过程的基础 需求分析做得是否充分以及准确,决定了数据库设计的速度与质量极端场景下,需求分析做得不好,可能会导致整个数据库设计返工、重做 需求分…

RSBBS 报表接口 query跳转 RRI

这里只讲RSBBS的goto query,不讲query里面的替换路径。 报表接口就是从一个query跳转到另一个目的地。从下面能看到,可以跳转到一个BW系统下的query,或者能跳转到ERP系统的一个ABAP report也行,或者可以通过archive link去从quer…

node之excel转化成json格式的数据

1. node环境(自己看教程搭建) 2.安装node-xlsx和fs yarn node-xlsx 3.写代码。简单实例如下(如果需要处理数据,自己处理) 实例: 目录: b.js var xlsx require(node-xlsx); var fs require(fs); const path requ…

基于布谷鸟优化算法(CS)在微电网优化中的应用研究(Matlab代码实现)

💥💥💞💞欢迎来到本博客❤️❤️💥💥 🏆博主优势:🌞🌞🌞博客内容尽量做到思维缜密,逻辑清晰,为了方便读者。 ⛳️座右铭&a…

【Mybatis】SpringBoot整合Mybatis之增删改查

目录 一、准备 1、选择依赖 2、配置文件 3、映射接口 二、Select 三、Delete 四、Update 五、Insert 一、准备 1、选择依赖 在我们创建SpringBoot项目的时候,需要选择Mybatis与MySQL的依赖 2、配置文件 然后我们需要在配置文件里配置MySQL的连接信息 spr…

UEBA技术在ADAudit Plus中的应用

摘要:用户和实体行为分析(UEBA)技术是当今信息安全领域的重要工具之一。本文将介绍UEBA技术在ADAudit Plus中的应用,探讨其在提供安全性和监控能力方面的优势,并解释为何ADAudit Plus是一种出色的UEBA解决方案。 UEBA …

免费下载|《建设数字中国 升级数智底座-企业数智化底座白皮书》

企业数智化历经多年的演进,已经从最初的“局部推动业务提质增效”,发展为“利用技术全面赋能业务创新活动”,数智化能力的建设正逐步与企业的战略目标深度融合。企业践行数字化优先,以智能化促进发展,根本上需要依托健…

高并发系统的三把利器

目录 1.限流 2.缓存 2.1.缓存的使用场景 3.降级 3.1.什么是降级? 3.2.服务降级方式 4.其他高并发手段 4.1. 集群 4.2.拆分 4.2.1 应用拆分 4.2.2 数据库 4.3. 静态化 4.4.削峰 4.5.限流 5.总结 参考 保护高并发系统的三大利器:限流、熔…

【Proteus仿真】基于VSM 51单片机定时计数器闹钟例程

【Proteus仿真】基于VSM 51单片机定时计数器闹钟例程 🎬例程仿真功能操作演示: ✨本例程可从软件内部所提供的历程中找到,但是需要自行安装SDCC编译器才能对其源代码重新编译。 ⚡需要自行安装SDCC编译器。 🛠Proteus内部安装SDCC编译器方法 🌿将窗口切换到Source Co…

少儿编程 中国电子学会图形化编程等级考试Scratch编程四级真题解析(判断题)2023年3月

2023年3月scratch编程等级考试四级真题 判断题(共10题,每题2分,共20分) 11、在使用自定义积木时,不可以传递布尔型参数 答案:错 考点分析:考查自定义积木的使用,使用自定义积木的时候可以传递数字、文本和布尔型参数,所以错误 12、执行如下图程序后,输出的结果为“…

论文总结+公式分析

目录 1.Learning with Noisy Correspondence for Cross-modal Matching(NCR)1-1.贡献和创新点1-2.图1-2-1.总图1-2-2.Co-divide1-2-3. Co-Rectify1-2-4.Robust Cross-modal Matching 1.Learning with Noisy Correspondence for Cross-modal Matching(NCR) 1-1.贡献和创新点 提…

来报名丨下一代因子挖掘统一框架:打破界限的流式实时计算平台

大家期待已久的量化科技嘉年华,现在正式开启报名啦! 2023年6月2日-3日,DolphinDB 联合主办的 “2023量化科技嘉年华” 将在上海世博中心召开,本次大会主题涵盖因子/数据/交易/算法/算力,通过国内外顶尖量化金融专家最…