很想实现ros和yolo的联合使用,所以找到了darknet_ros这个包,我感觉难点不在于工程,而在于yolo的环境配置。本文将从环境入手逐步实现功能。
1.设备
相机:realsenseD455
笔记本:T440P
显卡:GT-730M
算力:3.0
2.环境安装
2.1 安装nvidia-smi
直接安装推荐版本就行,安装完需要重启,命令直接如下(如果使用nvidia-smi可以查看显卡信息,那就不需要接下来的操作):
ubuntu-drivers devices
sudo ubuntu-drivers autoinstall
nvidia-smi
reboot
2.2 安装cuda
1.查看cuda版本,会发现第一个命令查到的比第二个命令版本要高,我的是一个11.4,一个9.x,需要对版本进行统一,并且需要根据显卡尽量往高了搞,不然可能会出现yolo版本不支持该显卡算力的情况。因此我们的目标就是安装一个cuda 11.4,让nvcc -V查出来的版本和nvidia-smi版本相同。
nvidia-smi
和
nvcc -V
2.安装(建议不要翻墙,下载会巨慢):
wget https://developer.download.nvidia.com/compute/cuda/11.4.0/local_installers/cuda_11.4.0_470.42.01_linux.run
sudo sh cuda_11.4.0_470.42.01_linux.run
vim ~/.bashrc
export PATH=$PATH:/usr/local/cuda-11.4/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-11.4/lib64
export LIBRARY_PATH=$LIBRARY_PATH:/usr/local/cuda-11.4/lib64
参考链接:链接1,链接2
2.3 安装cudnn
1.下载:
翻墙到Nvidia官网找到对应cuda版本的cudnn版本,这里需要的就是第二个“cuDNN Library for Linux (x86_64)”。
2.安装
解压上一步的压缩包,然后复制到系统环境里,并赋予权限。
tar -zxvf xxxxxxx.tgz
sudo cp -rf cuda/include/cudnn* /usr/local/cuda-11.4/include/
sudo cp -rf cuda/lib64/libcudnn* /usr/local/cuda-11.4/lib64/
sudo chmod a+r /usr/local/cuda-11.4/include/cudnn*
sudo chmod a+r /usr/local/cuda-11.4/lib64/libcudnn*
3.测试
输入命令,显示如下安装成功:
cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2
参考链接:链接1,链接2
2.4 安装annconda
1.下载
Anaconda3-2022.05-Linux-x86_64.sh
2.安装,一直回车/Yes
bash Anaconda3-2022.05-Linux-x86_64.sh
3.测试
# 查看版本
conda --version
conda list
# 环境列表
conda env list # 或 conda info --env
4.关闭base
在安装完成后之后会发现电脑用户名前面多了个(base),这里解决anaconda安装后出现的(base)问题。
关闭:
conda config --set auto_activate_base false
开启:
conda config --set auto_activate_base true
参考链接:链接1,链接2
2.5 安装realsense
这个网上很多教程,这里只列出关键的几个命令:
sudo add-apt-repository "deb https://librealsense.intel.com/Debian/apt-repo $(lsb_release -cs) main" -u
sudo apt-get install librealsense2-dkms
sudo apt-get install librealsense2-utils
参考链接:链接1,链接2,链接3,链接4
3.darknet_ros
3.1 下载
在工程里放入darknet_ros,下载链接:github
在工程里放入realsense-ros,下载链接:github
用catkin工具编译下。
3.2 启动摄像头
1.更新环境变量
source devel/setup.bash
2.启动
roslaunch realsense2_camera rs_camera.launch
3.查看话题
rostopic list
4.图像的话题名称为:
/camera/color/image_raw
3.3完整启动
第一步:
roslaunch realsense2_camera rs_camera.launch
第二步:
roslaunch darknet_ros darknet_ros.launch
3.4 GPU和CUDA加速
1.修改makefile文件
GPU=1
CUDNN=1
OPENCV=1
OPENMP=0
DEBUG=0
ARCH=
-gencode arch=compute_35,code=sm_35 \
-gencode arch=compute_50,code=[sm_50,compute_50] \
-gencode arch=compute_52,code=[sm_52,compute_52]
# -gencode arch=compute_20,code=[sm_20,sm_21] \ This one is deprecated?
# This is what I use, uncomment if you know your arch and want to specify
# ARCH= -gencode arch=compute_52,code=compute_52
VPATH=./src/:./examples
SLIB=libdarknet.so
ALIB=libdarknet.a
EXEC=darknet
OBJDIR=./obj/
CC=gcc
CPP=g++
NVCC=/usr/local/cuda-11.4/bin/nvcc
AR=ar
ARFLAGS=rcs
OPTS=-Ofast
LDFLAGS= -lm -pthread
COMMON= -Iinclude/ -Isrc/
CFLAGS=-Wall -Wno-unused-result -Wno-unknown-pragmas -Wfatal-errors -fPIC
ifeq ($(OPENMP), 1)
CFLAGS+= -fopenmp
endif
ifeq ($(DEBUG), 1)
OPTS=-O0 -g
endif
CFLAGS+=$(OPTS)
ifeq ($(OPENCV), 1)
COMMON+= -DOPENCV
CFLAGS+= -DOPENCV
LDFLAGS+= `pkg-config --libs opencv` -lstdc++
COMMON+= `pkg-config --cflags opencv`
endif
ifeq ($(GPU), 1)
COMMON+= -DGPU -I/usr/local/cuda-11.4/include/
CFLAGS+= -DGPU
LDFLAGS+= -L/usr/local/cuda-11.4/lib64 -lcuda -lcudart -lcublas -lcurand
endif
ifeq ($(CUDNN), 1)
COMMON+= -DCUDNN
CFLAGS+= -DCUDNN
LDFLAGS+= -lcudnn
endif
OBJ=gemm.o utils.o cuda.o deconvolutional_layer.o convolutional_layer.o list.o image.o activations.o im2col.o col2im.o blas.o crop_layer.o dropout_layer.o maxpool_layer.o softmax_layer.o data.o matrix.o network.o connected_layer.o cost_layer.o parser.o option_list.o detection_layer.o route_layer.o upsample_layer.o box.o normalization_layer.o avgpool_layer.o layer.o local_layer.o shortcut_layer.o logistic_layer.o activation_layer.o rnn_layer.o gru_layer.o crnn_layer.o demo.o batchnorm_layer.o region_layer.o reorg_layer.o tree.o lstm_layer.o l2norm_layer.o yolo_layer.o iseg_layer.o image_opencv.o
EXECOBJA=captcha.o lsd.o super.o art.o tag.o cifar.o go.o rnn.o segmenter.o regressor.o classifier.o coco.o yolo.o detector.o nightmare.o instance-segmenter.o darknet.o
ifeq ($(GPU), 1)
LDFLAGS+= -lstdc++
OBJ+=convolutional_kernels.o deconvolutional_kernels.o activation_kernels.o im2col_kernels.o col2im_kernels.o blas_kernels.o crop_layer_kernels.o dropout_layer_kernels.o maxpool_layer_kernels.o avgpool_layer_kernels.o
endif
EXECOBJ = $(addprefix $(OBJDIR), $(EXECOBJA))
OBJS = $(addprefix $(OBJDIR), $(OBJ))
DEPS = $(wildcard src/*.h) Makefile include/darknet.h
all: obj backup results $(SLIB) $(ALIB) $(EXEC)
#all: obj results $(SLIB) $(ALIB) $(EXEC)
$(EXEC): $(EXECOBJ) $(ALIB)
$(CC) $(COMMON) $(CFLAGS) $^ -o $@ $(LDFLAGS) $(ALIB)
$(ALIB): $(OBJS)
$(AR) $(ARFLAGS) $@ $^
$(SLIB): $(OBJS)
$(CC) $(CFLAGS) -shared $^ -o $@ $(LDFLAGS)
$(OBJDIR)%.o: %.cpp $(DEPS)
$(CPP) $(COMMON) $(CFLAGS) -c $< -o $@
$(OBJDIR)%.o: %.c $(DEPS)
$(CC) $(COMMON) $(CFLAGS) -c $< -o $@
$(OBJDIR)%.o: %.cu $(DEPS)
$(NVCC) $(ARCH) $(COMMON) --compiler-options "$(CFLAGS)" -c $< -o $@
obj:
mkdir -p obj
backup:
mkdir -p backup
results:
mkdir -p results
.PHONY: clean
clean:
rm -rf $(OBJS) $(SLIB) $(ALIB) $(EXEC) $(EXECOBJ) $(OBJDIR)/*
2.修改CMakeLists.txt
这里按正常需要改成自己电脑的算力,不过对于我的而言该版本的CUDA不支持3.0的算力,删除了设置3.0的就可以解决。
完工!