docker中使用GPU+rocksdb

news2024/10/5 21:25:18

配置环境

 dell@dell-Precision-3630-Tower  ~  lsb_release -a
No LSB modules are available.
Distributor ID:	Ubuntu
Description:	Ubuntu 20.04.6 LTS
Release:	20.04
Codename:	focal

dell@dell-Precision-3630-Tower  ~  nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2022 NVIDIA Corporation
Built on Wed_Sep_21_10:33:58_PDT_2022
Cuda compilation tools, release 11.8, V11.8.89
Build cuda_11.8.r11.8/compiler.31833905_0

 dell@dell-Precision-3630-Tower  ~  docker version
Client: Docker Engine - Community
 Version:           24.0.6
 API version:       1.43
 Go version:        go1.20.7


 OS/Arch:           linux/amd64
 Context:           default

Server: Docker Engine - Community
 Engine:
  Version:          24.0.6
  API version:      1.43 (minimum version 1.12)
  Go version:       go1.20.7

  OS/Arch:          linux/amd64
  Experimental:     false
 containerd:
  Version:          1.6.24

 runc:
  Version:          1.1.9

 docker-init:
  Version:          0.19.0


#安装方式：sudo apt-get install libcudnn8-dev=8.9.2.26-1+cuda11.8
cudnn:libcudnn8-dev=8.9.2.26-1+cuda11.8

目录结构

请添加图片描述

nvidia-docker和从docker 19开始提供的nvidia-container-toolkit的区别：

nvidia-docker

  • 概述：nvidia-docker 是最初用于在 Docker 容器中提供 GPU 支持的工具。
  • 命令：nvidia-docker 具有自己的命令行工具，并且最初被设计为 docker 命令的替代品。你可以用 nvidia-docker run 来启动一个使用 GPU 的容器。
  • 插件：nvidia-docker 版本 1 和 2 都使用了 Docker 插件系统。版本 2 是 Docker 插件的一种形式，允许用户使用 --runtime=nvidia 标志与标准 docker 命令一起使用。

nvidia-container-toolkit

  • 概述：在 Docker 19.03 版本之后，Docker 引入了一个名为 GPU 的设备请求特性。nvidia-container-toolkit 是一个新的工具，允许用户使用这个新特性，而不再需要 nvidia-docker 的自定义运行时。
  • 命令：与使用 nvidia-docker 不同，使用 nvidia-container-toolkit，你可以使用常规的 docker 命令，但是添加一个 --gpus 参数来启用 GPU 支持。例如：docker run --gpus all nvidia/cuda:10.0-base nvidia-smi。
  • 集成：它更紧密地集成到 Docker CLI 中，允许更好的兼容性和使用体验。

比较和推荐使用

  • nvidia-docker 版本 1 已经弃用，而版本 2 在某些用例中仍然被使用，但逐渐被 nvidia-container-toolkit 替代。
  • 对于 Docker 19.03 及更高版本，官方推荐使用 nvidia-container-toolkit，因为它提供了一个更简洁和标准的方式来在容器中使用 GPU。
  • 使用 nvidia-container-toolkit 允许开发者和运维团队在不更改工作流的情况下，简单地将 GPU 支持添加到他们现有的 Docker 容器中。
  • 尽管在一些老的代码和项目中你仍然可能会看到 nvidia-docker 的使用，但新的项目和开发通常应该使用 nvidia-container-toolkit，除非有明确的理由不这样做。

docker安装GPU工具箱nvidia-container-toolkit

参考链接：

https://zhuanlan.zhihu.com/p/544713249

sudo apt install curl
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
sudo systemctl restart docker

docker拉取含cuda的镜像建立镜像

去Nvidia官网下载cuda版本的Docker：https://hub.docker.com/r/nvidia/cuda

images包含的三种风格：

  • base: Includes the CUDA runtime (cudart)

  • runtime: Builds on the base and includes the CUDA math libraries, and NCCL. A runtime image that also includes cuDNN is available.

  • devel: Builds on the runtime and includes headers, development tools for building CUDA images. These images are particularly useful for multi-stage builds.

  • NVIDIA Container Toolkit

The NVIDIA Container Toolkit for Docker is required to run CUDA images.

For CUDA 10.0, nvidia-docker2 (v2.1.0) or greater is recommended. It is also recommended to use Docker 19.03.

还是自己写一个镜像吧，该镜像拥有cudn，rocksdb环境

# from official ubuntu 20.04
# FROM ubuntu:20.04
# docker pull nvidia/cuda:11.8.0-devel-ubuntu20.04
FROM nvidia/cuda:11.8.0-devel-ubuntu20.04

# RUN mv /etc/apt/sources.list /etc/apt/sources_backup.list && \
# echo "deb http://mirrors.ustc.edu.cn/ubuntu/ focal main restricted " >> /etc/apt/sources.list && \
# echo "deb http://mirrors.ustc.edu.cn/ubuntu/ focal-updates main restricted " >> /etc/apt/sources.list && \
# echo "deb http://mirrors.ustc.edu.cn/ubuntu/ focal universe " >> /etc/apt/sources.list && \
# echo "deb http://mirrors.ustc.edu.cn/ubuntu/ focal-updates universe " >> /etc/apt/sources.list && \
# echo "deb http://mirrors.ustc.edu.cn/ubuntu/ focal multiverse " >> /etc/apt/sources.list && \
# echo "deb http://mirrors.ustc.edu.cn/ubuntu/ focal-updates multiverse " >> /etc/apt/sources.list && \
# echo "deb http://mirrors.ustc.edu.cn/ubuntu/ focal-backports main restricted universe multiverse " >> /etc/apt/sources.list && \
# echo "deb http://mirrors.ustc.edu.cn/ubuntu/ focal-security main restricted " >> /etc/apt/sources.list && \
# echo "deb http://mirrors.ustc.edu.cn/ubuntu/ focal-security universe " >> /etc/apt/sources.list && \
# echo "deb http://mirrors.ustc.edu.cn/ubuntu/ focal-security multiverse " >> /etc/apt/sources.list && \
# echo "deb http://archive.canonical.com/ubuntu focal partner " >> /etc/apt/sources.list
# update system
RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && echo 'Asia/Shanghai' >/etc/timezone \ 
    && apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/3bf863cc.pub \
    && apt clean && apt update && apt install -yq --no-install-recommends sudo \
    && sudo apt install -yq --no-install-recommends python3 python3-pip libgl1-mesa-glx libglib2.0-0 libsm6 libxext6 libxrender-dev openssh-server \
    && sudo pip3 install --upgrade pip \
    && sudo pip3 config set global.index-url https://mirrors.aliyun.com/pypi/simple \
    && sudo pip3 install setuptools

RUN apt-get update && apt-get upgrade -y
# install basic tools
RUN apt-get install -y vim wget curl
# install tzdata noninteractive
RUN DEBIAN_FRONTEND=noninteractive TZ=Etc/UTC apt-get -y install tzdata
# install git and default compilers
RUN apt-get install -y git gcc g++ clang clang-tools
# install basic package
RUN apt-get install -y lsb-release software-properties-common gnupg
# install gflags, tbb
RUN apt-get install -y libgflags-dev libtbb-dev
# install compression libs
RUN apt-get install -y libsnappy-dev zlib1g-dev libbz2-dev liblz4-dev libzstd-dev
# install cmake
RUN apt-get install -y cmake
RUN apt-get install -y libssl-dev
# install clang-13
WORKDIR /root
RUN wget https://apt.llvm.org/llvm.sh
RUN chmod +x llvm.sh
RUN ./llvm.sh 13 all
# install gcc-7, 8, 10, 11, default is 9
RUN apt-get install -y gcc-7 g++-7
RUN apt-get install -y gcc-8 g++-8
RUN apt-get install -y gcc-10 g++-10
RUN echo "deb https://ppa.launchpadcontent.net/ubuntu-toolchain-r/test/ubuntu focal main" |tee -a /etc/apt/sources.list
RUN echo "deb-src https://ppa.launchpadcontent.net/ubuntu-toolchain-r/test/ubuntu focal main" |tee -a /etc/apt/sources.list
RUN curl -sL "http://keyserver.ubuntu.com/pks/lookup?op=get&search=0x60C317803A41BA51845E371A1E9377A2BA9EF27F" |apt-key add
#RUN apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 60C317803A41BA51845E371A1E9377A2BA9EF27F
RUN add-apt-repository -y ppa:ubuntu-toolchain-r/test
RUN apt-get update && apt-get upgrade -y
#RUN apt-get install -y gcc-11 g++-11
# install apt-get install -y valgrind
RUN apt-get install -y valgrind
# install folly depencencies
RUN apt-get install -y libgoogle-glog-dev
# install openjdk 8
RUN apt-get install -y openjdk-8-jdk
ENV JAVA_HOME /usr/lib/jvm/java-1.8.0-openjdk-amd64
# install mingw
RUN apt-get install -y mingw-w64

# install gtest-parallel package
RUN git clone --single-branch --branch master --depth 1 https://github.com/google/gtest-parallel.git ~/gtest-parallel
ENV PATH $PATH:/root/gtest-parallel

# install libprotobuf for fuzzers test
RUN apt-get install -y ninja-build binutils liblzma-dev libz-dev pkg-config autoconf libtool
#解决GnuTLS recv error
RUN apt-get update
RUN apt-get upgrade
RUN apt-get install --reinstall ca-certificates
RUN git clone --branch v1.0 https://github.com/google/libprotobuf-mutator.git ~/libprotobuf-mutator && cd ~/libprotobuf-mutator && git checkout ffd86a32874e5c08a143019aad1aaf0907294c9f && mkdir build && cd build && cmake .. -GNinja -DCMAKE_C_COMPILER=clang-13 -DCMAKE_CXX_COMPILER=clang++-13 -DCMAKE_BUILD_TYPE=Release -DLIB_PROTO_MUTATOR_DOWNLOAD_PROTOBUF=ON && ninja && ninja install
ENV PKG_CONFIG_PATH /usr/local/OFF/:/root/libprotobuf-mutator/build/external.protobuf/lib/pkgconfig/
ENV PROTOC_BIN /root/libprotobuf-mutator/build/external.protobuf/bin/protoc

#install the latest google benchmark
RUN git clone --depth 1 --branch v1.7.0 https://github.com/google/benchmark.git ~/benchmark
RUN cd ~/benchmark && mkdir build && cd build && cmake .. -GNinja -DCMAKE_BUILD_TYPE=Release -DBENCHMARK_ENABLE_GTEST_TESTS=0 && ninja && ninja install

# # clean up
# RUN rm -rf /var/lib/apt/lists/*
# RUN rm -rf /root/benchmark

#以下为build-image.sh
#!/usr/bin/env bash


SHELL_HOME=$(
  cd "$(dirname "$0")" || exit
  pwd
)
source "${SHELL_HOME}/../dev.conf"

# docker build --build-arg \
#   --build-arg http_proxy= xxx\
#   --build-arg https_proxy= xxx\
#   --build-arg all_proxy=socks5 \
#   --tag "${IMAGE_NAME}:${IMAGE_VERSION}" "${SHELL_HOME}"

docker build --tag "${IMAGE_NAME}:${IMAGE_VERSION}" "${SHELL_HOME}"

运行容器

参考链接：https://blog.csdn.net/Maid_Li/article/details/124952650

在启动docker容器的时候要注意加一些cuda的参数

  • --gpus all和-e NVIDIA_VISIBLE_DEVICES=all选择这个容器可见的显卡，直接全部就完事了
  • -e NVIDIA_DRIVER_CAPABILITIES=compute,utility配置了一些cuda必备的包如nvidia-smi之类的
  • 以下为start.sh
#!/usr/bin/env bash

#当前脚本路径
SHELL_HOME=$(
  cd "$(dirname "$0")" || exit
  pwd
)
source "${SHELL_HOME}"/../dev.conf
source "${SHELL_HOME}"/utilities/rocks.conf

CONTAINER_NAME="rocksdb-gpu"

# work dir inside the dev container
SOURCE_DIR_INSIDE="/home/baum/GPU_ROCKS"
#本地源代码目录 
SOURCE_DIR="/nvme/baum/git-project/GPU_ROCKS"
WORK_DIR=/rocks
RECREATE_CONTAINER=""

#我执行的./start.sh -s /nvme/baum/git-project/GPU_ROCKS
function show_usage() {
  echo "
  Start a gdb container for Rocksdb.

  Usage:
    ./start.sh
    ./start.sh -s /path/to/your/cockroachdb/home


  Options:
    -s                Project path of crdb, default is '${HOME}/go/src/github.com/cockroachdb'.
    -r                Recreate the dev container.
    -h                Show this message.
  "
  exit
}

while getopts "s:hr" opt; do
  case $opt in
  s)
    SOURCE_DIR=${OPTARG}
    ;;
  r)
    RECREATE_CONTAINER="true"
    ;;
  h)
    show_usage
    ;;
  *)
    show_usage
    ;;
  esac
done

CONTAINER_RUNNING=$(docker container ls | grep "${CONTAINER_NAME}")
CONTAINER_EXISTED=$(docker container ls -a | grep "${CONTAINER_NAME}")

if [[ ${RECREATE_CONTAINER} == "true" && -n ${CONTAINER_EXISTED} ]]; then
  echo "remove the existing rocksdb-gpu container ..."
  docker rm -f "${CONTAINER_NAME}"
  CONTAINER_EXISTED=""
fi

echo "current SOURCE_DIR is '${SOURCE_DIR}'"

if [[ -z ${CONTAINER_EXISTED} ]]; then
  echo "staring the rocksdb-gpu environment 1 ..."
  #-v 挂载目录，将前一个映射到后一个
  docker run -it -v "${SOURCE_DIR}":/rocks \
    -v "${SOURCE_DIR}":${SOURCE_DIR_INSIDE} \
    --name ${CONTAINER_NAME} \
    --publish "${ROCKS_PORT}"-"${GDB_PORT}":"${ROCKS_PORT}"-"${GDB_PORT}" \
    --network=rocksdb-br \
    --gpus all \
    -e NVIDIA_DRIVER_CAPABILITIES=compute,utility \
    -e NVIDIA_VISIBLE_DEVICES=all \
    --workdir ${WORK_DIR} \
    "${IMAGE_NAME}:${IMAGE_VERSION}" \
    bash
  exit
fi

if [[ -z ${CONTAINER_RUNNING} ]]; then
  echo "starting rocksdb-gpu environment 2 ..."
  docker start "${CONTAINER_NAME}"
fi

echo "logging into rocksdb-gpu environment '${CONTAINER_NAME}' ..."
docker exec -it "${CONTAINER_NAME}" bash

网络配置

本地16017-16019映射到容器16017-16019

#init-docker-network.sh
#!/usr/bin/env bash


SHELL_HOME=$(
  cd "$(dirname "$0")" || exit
  pwd
)
source "${SHELL_HOME}"/dev.conf



echo "create network bridge for rocks ..."
docker network create --subnet="${SUBNET}" "${BRIDGE_NAME}"
docker network list

参考链接：

https://github.com/cnstark/pytorch-docker/blob/main/scripts/build_2.0.1_py3.9.17_cuda11.8.0_devel_ubuntu20.04.sh

https://zhuanlan.zhihu.com/p/544713249

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1092518.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

如果C盘满了怎么办

如果C盘满了怎么办

相信这个问题是困扰了很多人的。 1、清理 1.1清理缓存 这种适合一些小白，清理C盘中的缓存，但是治标不治本。上正文 （1）打开电脑，输入winr （2）输入%temp% 该文件目录下全是缓存文件可以删除&…
阅读更多...
2023年京东双11红包领取入口口令活动时间是从什么时候开始到几月几号结束如何领取2023京东双十一红包优惠券？

2023年京东双11红包领取入口口令活动时间是从什么时候开始到几月几号结束如何领取2023京东双十一红包优惠券？

2023年京东双11红包领取活动时间是什么时候？ 京东双11红包领取活动时间将于2023年10月23日00:00开始至11月11日23:59结束； 2023年京东双11红包领取入口在哪里如何天天免费领取？ 2023年京东双11红包口令「红包到手677」，请在活动…
阅读更多...
完美解决lftp遇到put: Access failed: 553 Could not create file.

完美解决lftp遇到put: Access failed: 553 Could not create file.

目录 一、问题 二、原因 三、解决方法 一、问题 put: Access failed: 553 Could not create file. 二、原因 （1）没有关闭SeLinux （2）linux默认安装vsftp服务之后只允许匿名用户的访问和下载，不支持上传。 三、解决方…
阅读更多...
【Java】nextInt()后面紧接nextLine()读取不到数据/InputMismatchException异常的解决方案

【Java】nextInt()后面紧接nextLine()读取不到数据/InputMismatchException异常的解决方案

错误如下： 有时候还会抛出InputMismatchException异常 看！我只输入了一个5，并没有给str赋值，它就已经将结果打印出来了！这就意味着，str是读取到了数据的，只不过这个数据并不是我们想要的输入的…
阅读更多...
unity ugui text 超链接和下划线，支持部分富文本格式

unity ugui text 超链接和下划线，支持部分富文本格式

unity版本：2021.3.6f1 局限性： 1.测试发现不能使用 size 富文本标签, 2.同一文本不能设置不同颜色的超链接文本 其它：代码中注释掉使用innerTextColor的地方，可以使用富文本设置超链接颜色， 但是下划线是文本本身颜色 …
阅读更多...
Mybatis学习笔记注解/xml映射/动态SQL%%%Mybatis教程

Mybatis学习笔记注解/xml映射/动态SQL%%%Mybatis教程

介绍 Mybatis 是一款优秀的持久层框架，用于简化 JDBC 的开发 MyBatis中文网 Mybatis 入门 快速入门 步骤 创建 SpringBoot 工程、数据库表 user、实体类 User引入 Mybatis 相关依赖，配置 Mybatis（数据库连接信息）编写 SQL 语…
阅读更多...
adb调试Linux嵌入式设备记录

adb调试Linux嵌入式设备记录

1. ADB的全称为Android Debug Bridge，调试设备或调试开发的Android APP。 2.adb的windows下载安装路径：SDK 平台工具版本说明 | Android 开发者 | Android Developers 3.linux中安装adb,参考该链接： https://www.cnblogs.com/androidsu…
阅读更多...
Springboot+vue的财务管理系统（有报告），Javaee项目，springboot vue前后端分离项目。

Springboot+vue的财务管理系统（有报告），Javaee项目，springboot vue前后端分离项目。

演示视频： Springbootvue的财务管理系统（有报告），Javaee项目，springboot vue前后端分离项目。 项目介绍： 本文设计了一个基于Springbootvue的前后端分离的财务管理系统，采用M（model…
阅读更多...
基于Seata的分布式事务方案

基于Seata的分布式事务方案

在Seata中，有4种分布式事务实现方案 XA、AT、TCC、Saga 其中XA利用了数据库的分布式事务特性，AT相当于框架去控制事务回滚。TCC手写三个方法，saga手写两个方法。 AT的性能和编写比较折中，是最常用的一种。TCC一些视频教程中介绍…
阅读更多...
windows系统安装openssl并且转换证书格式

windows系统安装openssl并且转换证书格式

概述 碎碎念，如果你有MAC电脑，就别折腾了，直接用MAC电脑吧,不用安装直接用openssl 本文主要讲到了openssl的基本使用方法，开发环境为windows，开发工具为VS2019.本文主要是说明openssl如何使用，不介绍任何理…
阅读更多...
判断某点是否在三角形内(Python)

判断某点是否在三角形内(Python)

已知三角形的三个顶点坐标，判断某个点是否在三角形中（在三角形的边上，我们也视作在三角形中），我们提供不同的方法。 方法1：内角和等于360 方法2：等面积法 即对于△ABC内的某一点P，…
阅读更多...
LInux文件权限相关知识介绍

LInux文件权限相关知识介绍

LInux文件权限相关知识分享😎 前言🙌Linux相关权限的概念：文件类型基本权限文件访问权限的相关设置方法chmod① 用户表示符/-权限字符②三位8进制数字 总结撒花💞 😎博客昵称：博客小梦 😊最喜欢…
阅读更多...
java+springboot+vue高校毕业生就业统计管理系统022xr

java+springboot+vue高校毕业生就业统计管理系统022xr

系统的设计与实现采用Spring、SpringMVC和MyBatis作为主体框架,系统设计遵循界面层、业务逻辑层和数据访问层的Web开发三层架构。采用B/S结构,使得系统更加容易维护。系统的设计与实现主要实现角色有管理员和用户,管理员在后台管理用户表模块、token表模块、生源信息模块、招聘…
阅读更多...
代码随想录Day19 LeetCode T669修剪二叉搜索树 LeetCode T108将有序数组转化为二叉搜索树 T538 把二叉搜索树转化为累加树

代码随想录Day19 LeetCode T669修剪二叉搜索树 LeetCode T108将有序数组转化为二叉搜索树 T538 把二叉搜索树转化为累加树

LeetCode T669 修剪二叉搜索树 题目链接:669. 修剪二叉搜索树 - 力扣（LeetCode） 题目思路 这题我们有几个思路需要避坑,首先我们不能这样想,比如遇见比low值还小的节点值,不能直接返回null,而是考虑该节点的右子树有没有符合题目需求的节点值存在,同理删…
阅读更多...
Java学习之TreeSet

Java学习之TreeSet

Java TreeSet 底层是红黑树实现 将元素插入TreeSet add() - 将指定的元素插入集合 addAll() - 将指定集合的所有元素插入集合 import java.util.TreeSet;class Main {public static void main(String[] args) {TreeSet<Integer> evenNumbers new TreeSet<>();/…
阅读更多...
二十三、【五种图层】

二十三、【五种图层】

文章目录 像素图层智能图层文字图层形状图层调整图层 像素图层 像素图层由空白像素图层组成&#xff0c;上边没有任何颜色&#xff0c;如下图&#xff0c;我们可以使用画笔工具在空白相处图层上进行修改&#xff1a; 智能图层 智能图层可以记录该图层当前的数据在被编辑后可…
阅读更多...
ShareX使用说明——优秀的录屏软件

ShareX使用说明——优秀的录屏软件

ShareX初识 ShareX 是一个自由及开放源代码的截图录像软件&#xff0c;目前仅支持Windows系统。 项目源代码在GitHub平台上发布&#xff0c; 软件可以在Microsoft商店和Steam上下载。 ShareX is a free and open source program that lets you capture or record any area of y…
阅读更多...
VPN的不同种类及现网应用场景

VPN的不同种类及现网应用场景

学习目标&#xff1a; 1. 企业为什么要部署VPN&#xff1f; 2. 常见的VPN有哪些种类&#xff1f; 3. VPN如何保障数据传输安全&#xff1f; -- VPN - 虚拟私有网络 - 企业最常用的功能之一 - 增值型业务 -- 需求&#xff1a;大一些公司 分公司 - 管理问题 --…
阅读更多...
通过jsoup抓取谷歌商店评分

通过jsoup抓取谷歌商店评分

文章目录 背景实现是否下架预警评分 总的工具类,测试 背景 在谷歌上面发布包,有时候要看看评分,有时候会因为总总原因被下架,希望后台能够对评分进行预警,和下架预警 实现 测试地址: https://play.google.com/store/apps/details?idcom.tencent.mm 通过jsoup解析页面,然后获…
阅读更多...
项目管理之六大目标及成功方程式

项目管理之六大目标及成功方程式

项目管理的六大目标分别是范围、质量、时间、成本、收益和风险。在项目开始之前&#xff0c;需要明确了解项目的范围&#xff0c;并在项目执行过程中对范围进行严格控制&#xff0c;确保项目不偏离既定的范围。同时&#xff0c;需要明确项目的质量标准和预期成果&#xff0c;然…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023