Mac搭建anaconda环境并安装深度学习库

news2024/11/17 5:34:10

1. 下载anaconda安装包

根据自己的操作系统不同，选择不同的安装包Anaconda3-2024.06-1-MacOSX-x86_64.pkg，我用的还是旧的intel所以下载这个，https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/，如果mac用的是M1，M2芯片，需要下后缀为_arm64.pkg

2. 安装anaconda

双击打开安装包，一路继续，安装完成打不开请到设置中允许

3. 配置环境变量

打开终端：

source ~/.bash_profile，如果路径中含user/xxx，需要更改用户为自己所在的目录路径，我这里用的opt目录，不用再改，所以直接source ~/.bash_profile，激活环境。

否则需要更改完成保存之后，激活环境

测试环境是否安装成功，如果输出一大堆依赖，则代表安装成功：

conda list

4. 创建3.11.7版本的虚拟环境

1. 命令行输入创建3.17版本的虚拟环境命令：

conda create --name py3117 python=3.11.7

2. 激活虚拟环境：

conda activate py3117

3. 安装常用库：

conda install anaconda

4. 将新的虚拟环境添加到Jupyter：

python -m ipykernel install --name=py3117

5. 安装pytorch, transformers, dashscope, modelscope, gradio 等深度学习的库，这一步最后启动号jupyter再做。

6. jupyter notebook安装目录插件

# (安装了目录插件,我们用jupyter notebook读取python文本时就可以看到python的文本目录了,这样方便查看带有目录的python代码文本。)

# 在 cmd黑色命令窗口或者anaconda prompt 执行如下命令, (windows(windows窗口标志)+R,输入cmd,进入cmd命令窗口)

# 第一步：更新pip
python -m pip install --upgrade pip --user -i https://pypi.tuna.tsinghua.edu.cn/simple

# 第二步：更新Jupyter 
pip install --upgrade jupyter -i https://pypi.tuna.tsinghua.edu.cn/simple


# 第三步：安装 jupyter_contrib_nbextensions  
pip install jupyter_contrib_nbextensions -i https://pypi.tuna.tsinghua.edu.cn/simple


# 第四步：配置 nbextension
jupyter contrib nbextension install --user

# 直接使用以上命令报错：
File "/opt/anaconda3/lib/python3.12/site-packages/jupyter_contrib_core/notebook_compat/nbextensions.py", line 6, in <module>
    from notebook.extensions import BaseExtensionApp
ModuleNotFoundError: No module named 'notebook.extensions' 
# 解决办法：改用以下命令安装
conda install -c conda-forge jupyter_contrib_nbextensions
# 安装后，再次输入成功
jupyter contrib nbextension install --user

###安装问题备注:
出现连接中断之类的,做-i+国内源地址尝试
例如:pip install --upgrade jupyter
加国内源地址:  pip install --upgrade jupyter  -i https://pypi.tuna.tsinghua.edu.cn/simple

常用国内源地址
#清华大学源
https://pypi.tuna.tsinghua.edu.cn/simple

#阿里巴巴源
https://pypi.doubanio.com/simple

#中国科学技术大学源
https://pypi.mirrors.ustc.edu.cn/simple/

#豆瓣源
https://pypi.doubanio.com/simple

# 第五步：启动jupyter notebook，选择 Nbextensions，勾选 Table of Contents(2) ,

选做步骤
勾选Collapsible headings---将标题内部的内容全部折叠起来
Code folding---代码折叠插件,允许你将缩进内容折叠起来,节省屏幕空间
Hinterland---代码提示自动补全功能

Jupyter页面打开《各种库和模型安装》代码包后，先把Kernel（内核）改为py3117(学习另外三个代码包时也保持使用)

切换好内核后，开始逐一安装深度学习的库。

5. 安装深度学习的库

这里可以逐一点击代码框，点Run ，耐心等候下载和安装。下载和安装时，这里会变＊，每完成一个代码框，这里会变成数字码。

如果不想在这里安装，也可以在命令行逐一安装

# python版本必须>3.10
# 推荐在安装库之前，先更新conda
# conda update conda

# 安装dashscope
!pip install dashscope -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装modelscope
!pip install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple

# 报错：ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.
s3fs 2024.3.1 requires fsspec==2024.3.1, but you have fsspec 2024.2.0 which is incompatible.


# 安装pytorch
!pip3 install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装transformers
!pip install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装datasets
!pip install datasets -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装gradio
!pip install gradio -i https://pypi.tuna.tsinghua.edu.cn/simple

# 下载上课用的预训练模型，warning信息请忽略
from modelscope.models import Model
model = Model.from_pretrained('damo/nlp_bert_fill-mask_chinese-base')
model = Model.from_pretrained('damo/nlp_structbert_zero-shot-classification_chinese-base')

如果上面的虚拟环境未切换直接用jupyter安装这些库，则安装到了base内核了，则后续再切换到虚拟环境无法安装的，需要到命令行逐一输入命令安装。

备注：因为老师给的安装没有用国内镜像，我统一加了国内镜像安装，速度会快些。

安装完成各种库和模型后，恭喜你！基本环境完成。