1. 概述
GR-CNN:https://paperswithcode.com/paper/antipodal-robotic-grasping-using-generative
2. 环境搭建及模型训练
GR-CNN:https://github.com/skumra/robotic-grasping
下载源码创建环境
#下载robotic-grasping源码
git clone https://github.com/skumra/robotic-grasping.git
#切换到对应文件夹
cd robotic-grasping/
#创建python3.8的grasp1环境
conda creat -n grasp1 python=3.8
#激活grasp1环境
conda activate grasp1
#关闭grasp1环境
conda deactivate grasp1
安装torch
pythorch:cuda安装:https://pytorch.org/get-started/previous-versions/#wheel-14
#1.查看系统显卡信息,查看最高支持cuda版本
nvidia-smi
#2.查看已经安装的cuda版本
nvcc -V
#3.安装cuda,注意30系需要11以上
##NVIDIA 显卡30系11.0
conda install pytorch==1.7.0 torchvision==0.8.0 torchaudio==0.7.0 cudatoolkit=11.0 -c pytorch
##NVIDIA 显卡20系及以下10.2
conda install pytorch==1.7.0 torchvision==0.8.1 torchaudio==0.7.0 cudatoolkit=10.2 -c pytorch
## CPU Only
conda install pytorch==1.7.0 torchvision==0.8.0 torchaudio==0.7.0 cpuonly -c pytorch
#4.安装相关依赖库
pip install -r requirements.txt
#5.模型训练
## Cornell训练
python train_network.py --dataset cornell --dataset-path <Path To Dataset> --description training_cornell
## jacquard训练
python train_network.py --dataset jacquard --dataset-path '/home/robot/robotic-grasping/data/Jacquard' --description training_jacquard --use-dropout 0 --input-size 100
#6.出现requires the 'inagecodecs' package
pip install imagecodecs-lite
深度学习反馈这个,是因为np.float从1.24起被删除。所用的代码是依赖于旧版本的Numpy。您可以:更新sklearn到一个不使用np.float的新版本(如果它存在)或者将你的Numpy版本降级到1.23.5.
操作:
pip uninstall numpy
pip install -U numpy==1.23.5
模型评估
python evaluate.py --network 'trained-models/jacquard-rgbd-grconvnet3-drop0-ch32/epoch_48_iou_0.93' --dataset jacquard --dataset-path '/home/robot/robotic-grasping/data/Jacquard' --iou-eval --input-size 100
3. GR-CNN源码讲解
sudo pip install tensorflow
tensorboard --logdir="./logs"
4.手眼标定
标定版:棋盘格文件及标定矫正程序(链接直接下载,CAD文件可修改)
5. 相机内参的原理及应用
6.上位机与机械臂通讯
UR设置端口
电脑设置
8. 机器人学习路线