基于3D视觉的智能机器人抓取方法与流程

本发明涉及机器人智能控制技术领域，尤其是涉及到一种基于3d视觉的智能机器人抓取方法。

背景技术：

3c数码产品(包括计算机、通信类、消费类电子产品的合称)由于其智能化、使用方便、功能强大，越来越受到消费者的欢迎。目前，3c产品的产量也在逐步攀升。

随着3c产品生产过程中的人工成本的快速上升，厂家越来越希望从自动化生产获得更低的成本、更高的效率以及最佳的良品率。机器人技术作为近年来快速发展的智能自动化技术，在工业生产中得到了越来越多地应用。3c行业中，目前也使用了智能机器人的抓取系统，用于3c产品的输送与装配作业中。

发明人在研究中发现，现有技术的智能机器人抓取系统，大都都是基于二维机器视觉，通过识别输送过程中的工件的二维特征(包括定位和颜色等)，以便机器人进行抓取装配，其应用场景中的工件一般比较简单和规则化，以至于仅通过二维特征就容易被机器人所抓取，不适用于更加复杂或具有不易抓取的物体形状(例如具有易滑动的圆弧表面形状)的场景。另外，基于二维机器视觉的抓取系统，工件在输送过程中一般不能有堆叠，如果产生堆叠，一是容易识别失败，二是没有有效地方法确定出供机器人精确稳定抓取的区域。另外，现有的技术泛化能力较差，当抓取目标变更后，以往的抓取策略就不再适用。综上所述，为了推进3c产品的智能化生产技术，有必要提供新的基于3d机器视觉的智能抓取方法。

技术实现要素：

有鉴于此，有必要针对上述的问题，提供一种基于3d视觉的机器人抓取方法，相比于现有技术，能够实现对具有更加复杂形状的工件的抓取，并具备抓取策略的泛化能力，实现对工件的稳定抓取。

一种基于3d视觉的智能机器人抓取方法，包括：

步骤1，完成智能抓取系统的手眼标定；

步骤2，完成基于卷积神经网络的抓取规划模型的训练；

步骤3，完成智能智能机器人在真实环境下的抓取。

所述步骤1的流程具体包括：

搭建所述智能抓取系统，所述智能抓取系统包括kinect-2.0、yumi机器人及计算机；所述kinect-2.0用于作为视觉传感器采集3d视觉数据，所述计算机与所述kinect-2.0、所述yumi连接，以完成抓取规划模型训练，并控制所述yumi机器人实现抓取；

所述kinect-2.0利用3d相机获取待抓取目标三维6dof的姿态点云数据；

采用眼在手外的手眼标定方式；

对所述待抓取目标三维6dof的姿态点云数据进行标定，完成3d相机与所述yumi机器人的数据互联，以得到相机坐标系和机器人坐标系的参数转换。

所述采用眼在手外的手眼标定方式，包括以下步骤：

标定3d相机的深度图像坐标系与红外相机坐标系求解齐次变化矩阵；

将标定板放在固定位置，读取标定板角点在深度图像中的坐标并将其转换为红外坐标系下坐标记录数据；

控制机器人手臂移动至该坐标记录数据在机器人坐标系之下xyz；

反复上述流程采集多组公共点数据，使用迭代最近点算法求解出三维坐标系旋转偏移矩阵；

利用前面得到的相机参数完成抓取目标三维点云数据的配准。

深度图像坐标系与红外坐标系的关系为：

其中，odxdydzd坐标系表示红外相机坐标系，ooudvd坐标系表示深度图像坐标系，o1xy为红外相机成像平面坐标系，其x轴与ud轴平行，y轴与vd平行，原点o1的坐标为坐标系odxdydzd坐标原点是红外相机的光心；

其中，p(ud,vd)为深度图像坐标系上一点，在红外坐标系相对应的点为p(xd,yd,zd)，fx与fy表示红外相机的焦距，与表示图像坐标系的中心点坐标。

机器人坐标系与3d相机的深度坐标系的转换模型为：

其中，[xryrzr]表示yumi机器人坐标系的点坐标，[xkykzk]为3d相机的深度坐标系，λ为两个坐标系尺度比例因子，[δtxδtyδtz]为坐标系平移增量。

所述步骤2的流程，包括：

对深度图像数据进行预处理操作去除采集过程中产生的噪声；

将预处理后的点云数据输入到全卷积网络fcn中，完成3d物体识别，并得到初步的候选抓取区域坐标；

基于深度强化学习的c空间自主路径规划及实时避障；

将前面生成的候选抓取区域坐标和c空间路径在仿真环境下依据深度强化学习dqn理论进行循环试错运行，直到抓取策略足够稳定后，将深度强化学习训练后的抓取策略输出。

所述全卷积网络fcn是一种基于多模态hha编码的深度学习网络。

多模态hha编码模块的输入特征融合过程包括：

多模态卷积神经网络将3d视场传感器输出的depth深度图像进行hha编码；

多模态卷积神经网络与rgb彩色图像进行对齐操作，并输入到resnet50模块；

对输入的rgb信息和depth信息做特征融合。

全卷积神经网络fcn的处理过程包括：

对深度数据进行采样聚类得到一些图心，并以每一个图心为基础做全局池化；

进入多任务阶段，将下采样得到的特征图输入分割和分类的子网络，分类的子网络找多尺度下实现对物体的分类和包围框检测，分割的网络实现物体可抓取区域检测。

损失函数为

l(pos,neg)＝∑lclass+∑(lclass+αlboundbox+βlgraspregion)，

其中，pos表示正样本，neg表示负样本，lclass指识别所得种类的误差，lboundbox是指物体的包围框误差，lgraspregion指抓取检测区域的误差。

深度学习强化的训练阶段包括：

通过3d视觉传感器观测环境，并给机器人输入rgb-d；

机器人随机初始化的深度神经网络根据输入state，输出空间里面的机器人动作参数；

机器人执行该动作后，环境观测机器人的动作有无触碰障碍物，并给出一个反馈；

机器人的dnn网络获得反馈，计算网络损失，训练dnn网络的参数；

深度强化学习模型根据3d视觉传感器的连续rgb-d数据集作为输入，并把内部已训练好的深度神经网络输出策略和之前建立的传感器-机器人坐标变换模型相结合，引导机器人躲避障碍物，进行路径规划仿真。

训练阶段的反馈函数为：

reward＝al1+bl2，

其中，reward表示训练阶段的反馈函数，l1表示障碍物度量二范数，l2表示目标物度量二范数。

本发明的优点在于：基于3d视觉的智能机器人自主抓取方法，能在非结构环境下完成3d物体识别定位、自主无碰撞路径规划等工作，在工业机器人的拾取、分拣、码垛、装配等工作环境下都有非常重要的应用价值，能显著提高工业机器人在3c行业种类繁多、产线快速更新特点下的自适应能力。

附图说明

图1为本发明实施例提供的一种基于3d视觉的智能机器人抓取方法的流程示意图；

图2为本发明实施例提供的机器人智能抓取系统；

图3为本发明实施例提供的多模态hha编码模块；

图4为本发明实施例提供的前端全卷积网络的结构示意图；

图5为本发明实施例提供的基于深度强化学习的c空间路径规划算法原理图；

图6为本发明实施例提供的深度强化学习中的dnn网络结构。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合附图和具体的实施例对本发明的技术方案进行详细说明。需要指出的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例中：

如图1，一种基于3d视觉的智能机器人抓取方法，包括以下步骤：

步骤1：完成抓取系统的手眼标定；

步骤2：完成基于卷积神经网络的抓取规划模型训练；

步骤3：完成机器人在真实环境下的抓取。

步骤1中，抓取系统的手眼标定包括以下步骤：

①搭建机器人智能抓取系统，其如图2所示：

智能抓取系统由kinect-2.0、yumi机器人及计算机构成；其中，yumi机器人作为执行器负责抓取，kinect-2.0作为视觉传感器负责数据采集；计算机与kinect-2.0、yumi机器人分别通过usb-3.0和网线连接。

②利用3d相机获取抓取目标三维6dof的姿态点云数据。

③采用眼在手外(eye-to-hand)的手眼标定方式：

对待抓取目标三维6dof的姿态点云数据进行标定，完成3d相机与智能机器人的数据互联，以得到相机坐标系和机器人坐标系之间的参数转换；

所述eye-to-hand的手眼标定方式，包括以下步骤：

标定3d相机的深度图像坐标系与红外相机坐标系求解齐次变化矩阵；

将标定板放在固定位置，读取标定板角点在深度图像中的坐标并将其转换为红外坐标系下坐标记录数据；

式1表示深度图像像素坐标系与红外坐标系的关系，式中，fx与fy表示红外相机的焦距，ud与vd表示图像坐标系的中心点坐标；

控制机器人手臂移动至该位置记录该点在机器人坐标系之下xyz；

反复上述流程采集多组公共点数据，并使用迭代最近点算法求解出三维坐标系旋转偏移矩阵；

式2表示三维坐标系转换模型，式中，[xryrzr]表示机器人坐标系的点坐标，[xkykzk]为3d相机的深度坐标系，λ为两个坐标系尺度比例因子，[δtxδtyδtz]^t平移矩阵为坐标系平移增量。

④利用前面得到的相机参数完成抓取目标三维点云数据的配准；

由于点云数据的无序性特征，在采集的数据基础上还需利用区域生长的方法对局部缺失数据点进行补全；

所述点云数据的配准方法，包括以下步骤：

采用最小二乘法计算目标函数整体误差；

使用svd分解方法将目标函数简化求解旋转矩阵；

根据式3求解平移参数；

式3中，(xi,yi,zi)表示原始坐标，(x'i,y'i,z'i)表示目标坐标，λ表示深度相机和机器人坐标比例因子，r表示旋转矩阵。

步骤2中，基于卷积神经网络的抓取规划模型训练包括以下步骤：

①对深度图像数据进行预处理操作去除采集过程中产生的噪声；

图像预处理包括：梯度计算、深度图缺失值补全、二值化等操作。

②将预处理后的点云数据输入到一个全卷积网络(fcn)中，完成3d物体识别，并得到初步的候选抓取区域坐标；

所述全卷积网络(fcn)是指一种基于hha的编码深度图像的方法，多模态hha编码模块如图3所示：

其输入是将深度图像转换为3种不同的通道(水平差异、对地高度以及表面法向量的角度)，结合原来的rgb彩色三通道，一共是6个通道数据输入的深度神经网络；

所述多模态hha编码模块的输入特征融合过程包括以下几个步骤：

多模态卷积神经网络将3d视场传感器输出的depth深度图像进行hha编码；

多模态卷积神经网络与rgb彩色图像进行对齐操作，并格子输入到resnet50模块；

对输入的rgb信息和depth信息做特征融合；

所述全卷积网络(fcn)的输出包括物体种类、包围框、可抓取区域，前端全卷积网络的结构示意图如图4所示，其处理过程包括以下几个步骤：

对深度数据进行采样聚类得到一些图心，并以每一个图心为基础做全局池化；

进入多任务阶段，将下采样得到的特征图输入分割和分类的子网络，分类的子网络找多尺度下实现对物体的分类和包围框检测，分割的网络实现物体可抓取区域检测；

所述多模态、多任务深度卷积神经网络的损失函数定义如下式4所示；

式4中，pos表示正样本，neg表示负样本，lclass是指识别所得种类的误差、lboundbox是指物体的包围框误差、lgraspregion指抓取检测区域的误差。

③基于深度强化学习的c空间自主路径规划及实时避障，其算法原理如图5所示：

依靠3d视觉系统，实时区分动态环境中的目标地点及障碍物，训练深度神经网络输出运动策略，引导机器人抓取目标物体；

所述c空间为机器人每个臂的转角形成空间；

将机器人的动作在c空间中描述成一个点，并参考平面中点的路径规划方法，进行路径规划研究。

④将前面生成的候选抓取区域坐标和c空间路径在仿真环境下依据深度强化学习(dqn)理论进行循环试错运行，直到抓取策略足够稳定后，将经深度强化学习训练后的抓取策略输出；

深度强化学习中的dnn网络结构如图6所示：

所述深度强化学习的训练阶段包括以下几个步骤：

通过3d视觉传感器观测环境，并给机器人输入rgb-d；

机器人随机初始化的深度神经网络根据输入state，输出空间里面的机器人动作参数；

机器人执行该动作后，环境观测机器人的动作有无触碰障碍物，并给出一个反馈；

机器人的dnn网络获得反馈，计算网络损失，训练dnn网络的参数；

训练阶段的反馈函数定义如下式5所示；

reward＝a×l1+b×l2--式5

在式5中，reward表示训练阶段的反馈函数，l1表示障碍物度量二范数，l2为目标物度量二范数；

深度强化学习模型根据3d视觉传感器的连续rgb-d数据集作为输入，并把内部已训练好的深度神经网络输出策略和之前建立的传感器-机器人坐标变换模型相结合，引导机器人躲避障碍物，进行路径规划仿真。

步骤3中，根据坐标系转换参数将抓取点映射到机器人坐标系，将由深度强化学习训练后的抓取策略应用到真实环境中，完成目标的抓取。

本发明的优点在于：基于3d视觉的智能机器人自主抓取方法，能在非结构环境下完成3d物体识别定位、自主无碰撞路径规划等工作，在工业机器人的拾取、分拣、码垛、装配等工作环境下都有非常重要的应用价值，能显著提高工业机器人在3c行业种类繁多、生产线快速更新特点下的自适应能力。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。