题目:Deep Learning to Plan Robust Grasps with Synthetic Point Clouds and Analytic Grasp
引言
传统抓取方法的局限性
- 缺乏泛化能力
- 需要大量计算资源和手工标注数据
- 【前两种依赖物体形状、材料、质量等先验知识+通常要对物体建模+姿态评估+运动学分析】
- 只能处理单个物体抓取
与机器人抓取规划相关的研究工作
- 基于物理模型的解析方法
1.基于几何形状
2.基于力学稳定性的抓取规划方法
🎈1.使用物理模型来描述机器人、物体和环境之间的相互作用;
🎈2.通过优化算法来寻找最优抓取姿态
- 基于数据驱动的经验方法
1.基于学习的抓取规划方法
2.基于深度学习的抓取规划方法
🎈相比于基于学习的抓取规划方法,基于深度学习的方法更注重特征提取和模型优化,从而提高抓取精度和效率
- 基于传感器反馈的抓取规划方法
1.使用机器人手爪上的力/触觉传感器或视觉传感器等实时获取物体和环境信息,根据这些信息进行抓取规划
2.需要对物体和环境进行实时建模,并且需要高精度的传感器来获取准确的反馈信息。
本文贡献
- Dex-Net2.0数据集
1.1500个3D物体模型+6.7百万个抓取姿态
2.每个物体在每个稳定姿态下的点云渲染图+将抓取与渲染图像中的像素位置和方法相关联
- 一个抓取方法
GQ-CNN卷积神经网络
作用:从深度图像中预测每个抓取姿态的成功概率,并按照概率排序抓取姿态
输入:深度图像、深度信息
输出:一组用于计算抓取稳定性函数的参数
中间:4个卷积层+一个池化层+三个全连接层
后续处理:选择抓取概率最高的前N个姿态作为候选姿态+使用物理仿真+其他评估方法对姿态进行评估,以选择最终的抓取姿态
研究问题与目标
🎈研究问题:基于深度相机获取的点云数据上,如何规划一个稳健的平面平行夹爪抓取姿态,以确保在感知和控制不确定性下成功地抓取单个刚性物体呢?
🎈研究目标:
- 学习一个稳健函数Q_*(u,y∈[0,1]来预测抓取成功率
- 将这些姿态按照成功概率排序以实现快速抓取规划
针对研究目标提出的解决方案
- 数据集构建:Dex-Net2.0数据集
- 数据预处理:三维模型转换为深度图像+深度图裁剪旋转等,从而得到标准化的训练数据集
- CNN模型训练:使用标准化的训练数据集训练卷积神经网络模型
- 稳定性评估
实验
分类性能评估
不同抓取规划方法在未知物体上的