环境:Windows; Intel CPU + Nvidia GPU
1. 创建环境
- 不推荐单次安装过多的库,可能导致安装失败(如超出终端缓存等)
- 注意添加库的顺序 tensorflow-gpu 需要在 cudatoolkit 之前
- 否则下载的 tensorflow-gpu 不支持 gpu 「实测」
TODO: 本文使用 mamba 平替 conda,旨在加速环境的构建速度
mamba 采用 C++ 重建了 conda 库,运行效率高于 conda,关于使用 mamba 提速 conda 相关内容可以参考:
mamba create -n tf-models-gpu-308 python=3.8 tensorflow-gpu cudnn cudatoolkit -c anaconda -c conda-forge
2. 添加提供 GPU 加速的库
- keras 已包含在 tensorflow 中,故不再安装 keras-gpu
- 手动添加 tensorflow-gpu,重复的库不会重复安装,同时可以避免被覆盖
mamba install tensorflow-gpu scikit-learn-intelex numba mkl-devel modin-all ipykernel -c anaconda -c conda-forge
- 安装时,须留意 tensoflow-gpu 是否被覆盖成非 gpu 版本,如下图:(可以采用将 tensorflow-gpu 库置于首位的方式,避免覆盖)
3. 添加常用的库
# 添加一些常用的库
mamba install scipy matplotlib scikit-learn pandas seaborn notebook -c anaconda -c conda-forge
虽然部分包之间相互依赖,但无需担心,conda 会自动处理的
4. 添加 tensorflow-model
tensorflow/models: https://github.com/tensorflow/models
TODO: 关于在 conda 中使用 pip 可以参考:
# 最后使用 pip 添加 tensorflow-model
# tensorflow-model 未提供 conda 安装方式,故使用 pip
pip3 install tf-models-official
5. 参考
- Anaconda | Open Sourcing Anaconda Accelerate: https://www.anaconda.com/blog/open-sourcing-anaconda-accelerate
- Anaconda | Getting Started with GPU Computing in Anaconda: https://www.anaconda.com/blog/getting-started-with-gpu-computing-in-anaconda
- 关于 scikit-learn-intelex 提速: Anaconda | Scikit-learn Speed-up with Intel and Anaconda: https://www.anaconda.com/blog/scikit-learn-speed-up-with-intel-and-anaconda
- Intel® Extension for Scikit-learn*— Intel® Extension for Scikit-learn* 2021.5 documentation: https://intel.github.io/scikit-learn-intelex/
- 关于 Modin 提速 pandas: Anaconda | Scale your pandas workflow with Modin – no rewrite required: https://www.anaconda.com/blog/scale-your-pandas-workflow-with-modin
- Installation — Modin documentation: https://modin.readthedocs.io/en/latest/getting_started/installation.html
- Intel® Distribution of Modin: https://www.intel.com/content/www/us/en/developer/tools/oneapi/distribution-of-modin.html
- Anaconda | Getting Started with GPU Computing in Anaconda: https://www.anaconda.com/blog/getting-started-with-gpu-computing-in-anaconda
- 本文部分操作存在重复,但,是为了尽可能的确保 tensorflow gpu 版本不被覆盖
- 署名:cc01cc: https://github.com/cc01cc
- 欢迎大家转载分享,本作品采用署名-非商业性使用-禁止演绎 4.0 国际进行许可,转载请标明源地址,切莫修改或破坏原文结构,谢谢