一种基于三维视觉的智能机器人抓取方法与流程

本发明属于计算机视觉与智能机器人领域，具体涉及一种基于三维视觉的智能机器人抓取方法。
背景技术：
：智能机器人抓取在机器人作业和与外界交互中起着至关重要的作用，目前基于机器视觉的机器人抓取算法主要分为基于模型和基于数据驱动的算法。与传统的基于模型的机器人抓取方法相比，基于数据驱动的抓取方法基本能够在非结构化环境中抓取物体。但由于各种物体不同的形状结构与传感器噪声所引起的不确定性，导致在非结构化环境下可靠地抓取不同种类的物体仍是一项艰巨的任务。目前基于数据驱动的机器人抓取方法大多基于rgb、深度或rgb-d图像来生成矩形抓取区域，但因为简化了三维空间下机器人平行夹具的抓取部位，导致这些方法缺乏对物体表面几何信息和抓取质量指标的考虑，从而难以找到最佳的抓取部位。为此，基于三维视觉的智能机器人抓取方法能够在点云中学习一个更加鲁棒的机器人抓取部位的表征，相比矩形抓取的表征，三维空间下的抓取表征能够更准确的表示具有高抓取质量指标的夹具抓取姿态。而更精确的三维空间下的抓取检测有助于执行更可靠地物体抓取，为此，如何在三维空间中准确地检测出具有更高抓取质量的抓取部位，以获取能够在非结构化环境下可靠地抓取不同种类的物体的机器人抓取算法是目前突出的问题。技术实现要素：本发明的目的在于克服上述不足，提供一种基于三维视觉的智能机器人抓取方法，能够在三维空间中准确地检测出具有更高抓取质量的抓取部位，以保证在非结构化环境下机器人能够可靠地抓取不同种类的物体，从而实现机器人作业与外界交互的可靠性与安全性。为了达到上述目的，本发明采用以下技术手段：一种基于三维视觉的智能机器人抓取方法，包括以下步骤：以包含目标物体的观测点云为输入，使用深度卷积网络的点抓取置信度评估网络评估观测点云中每个点的抓取置信度，获得适合作为抓取部位中心的点；以抓取区域的特征为输入，使用基于抓取锚点机制的区域抓取部位检测网络进行物体抓取部位检测；以抓取闭合区域和抓取区域特征融合后的特征为输入，使用抓取部位优化网络优化检测出的抓取部位，得到优化后的抓取部位；选取具有最高抓取质量指标的抓取部位，通过坐标系变换得到此抓取部位在机器人坐标系中的位置与姿态，以此规划机器人的夹具姿态，完成机器人作业。作为本发明的进一步改进，所述观测点云是通过kinect传感器获取当前场景下的观测点云。作为本发明的进一步改进，所述抓取置信度评估网络建立方法为：输入的观测点云被送入训练好的点云特征提取网络中，训练的损失为每个点的抓取置信度的分类损失，通过最小化上述损失函数对网络参数进行优化，获得抓取置信度评估网络模型。作为本发明的进一步改进，所述获得适合作为抓取部位中心的点具体过程如下：通过训练好的点云特征提取网络实现所有输入点云到组特征的编码，再通过距离差值的方法实现组特征到逐点特征的解码从而实现输入点云的特征提取；之后通过一个训练好的二分类的分割网络对每个点提取出的特征进行分割，每个预测为正类的点均适合作为抓取部位中心。作为本发明的进一步改进，所述物体抓取部位检测是通过区域抓取部位检测网络，将预测出适合作为抓取部位中心的点作为回归中心，预测对应的抓取部位。作为本发明的进一步改进，所述预测对应的抓取部位具体过程如下：通过最远点采样方法选取尽可能覆盖具有不同结构的k1个回归点，得到k1个点的抓取区域；在每个抓取区域上引入预设抓取方向的抓取基准，以每个抓取区域的特征为输入，通过最大池化层和多层感知器对抓取部位相对于预设抓取基准的位置、方向和角度的偏差值进行回归；结合回归的偏差值和对预设基准的分类结果，得到k1个检测的抓取部位提案。作为本发明的进一步改进，所述抓取基准的分类和回归需要首先进行标定抓取部位和预设抓取基准的匹配；当预设基准和标定抓取部位的抓取方向差值小于特定阈值，即匹配成功，并给匹配成功的预设基准赋予正标签，需要回归的残差即为标定抓取部位和对应正标签的预设基准的差值。训练的损失包括了对预设抓取基准分类的损失和抓取部位相对于预设抓取基准的位置、方向和角度的偏差值的回归损失。通过最小化上述损失函数对网络进行训练，获得区域抓取部位检测网络的模型。作为本发明的进一步改进，所述优化得到更准确的抓取部位，具体过程如下：在得到的抓取部位提案中选择k2个对应的抓取闭合区域中包含超过一定数量点的提案进行优化；通过坐标转换将选定的抓取闭合区域中的点从世界坐标系转换到抓取坐标系下，通过多层感知器获取k2个抓取闭合区域的特征；结合抓取闭合区域特征与抓取区域的特征得到对应的融合特征；以融合特征为输入，通过最大池化层和多层感知器对抓取部位相对于抓取提案的位置、方向和角度的偏差值进行回归，最终得到k2个优化后的预测抓取部位。作为本发明的进一步改进，所述提案进行优是指以抓取区域特征和夹具闭合区域融合后的特征为输入，送入最大池化层和多层感知器；在训练过程中，首先对选出的k2个预测的抓取部位提案进行分类，若预测的抓取部位提案与对应的标定的抓取部位接近时，将此预测的抓取部位提案赋予正标签；在回归抓取部位的偏差时，只对赋予正标签的抓取部位提案的位置、方向和角度进行优化。作为本发明的进一步改进，所述抓取部位接近是指抓取方向和角度之差分别小于2π/9和π/3。与现有技术相比，本发明具有以下优点：本发明提出的基于三维视觉的智能机器人抓取方法基于观测点云，通过提出抓取区域、抓取锚点机制、抓取部位优化网络能够检测具有高抓取质量指标的抓取部位，使得三维抓取部位检测的精度得到了大大的提升，而同时因为点云特征提取网络参数共享的设置，整个网络的前向传播的时间并没有增加，提升了算法的实时性。本发明基于深度学习算法，点抓取置信度评估网络、区域抓取部位检测网络和抓取部位优化网络通过共享点云特征提取网络的参数，提升了算法的实时性；利用抓取区域、抓取锚点机制、抓取部位优化网络能够检测出具有高抓取质量指标的抓取部位，提升了三维抓取部位的检测精度。基于深度相机观测的三维点云，本发明可以使机器人在非结构化环境下准确地抓取不同种类的物体，以提高智能机器人作业和与外界交互的安全性与可靠性。附图说明以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。图1为本发明的方法框架图；图2为本发明的点抓取置信度评估网络原理图；图3为本发明的区域抓取部位检测网络原理图；图4为本发明的抓取部位优化网络原理图；图5为可视化物体的抓取部位检测结果示意图。具体实施方式为了使本
技术领域：
的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本发明保护的范围。本发明一种基于三维视觉的智能机器人抓取方法，包括：以包含目标物体的观测点云为输入，使用深度卷积网络的点抓取置信度评估网络评估观测点云中每个点的抓取置信度，获得适合作为抓取部位中心的点。以抓取区域的特征为输入，使用基于抓取锚点机制的区域抓取部位检测网络进行物体抓取部位检测。以抓取闭合区域和抓取区域特征融合后的特征为输入，使用抓取部位优化网络优化检测出的抓取部位，得到更准确的抓取部位。选取具有最高抓取质量指标的抓取部位，通过坐标系变换得到此抓取部位在机器人坐标系中的位置与姿态，以此规划机器人的夹具姿态，完成机器人作业。如图1所示，本发明一种基于三维视觉的智能机器人抓取方法，包括以下步骤：步骤一：通过kinect传感器获取当前场景下的观测点云p；步骤二：通过点抓取置信度评估网络，完成对当前场景下的观测点云p中每个点的抓取置信度评估，以获得适合作为抓取部位中心的点。如图2所示，具体过程如下：通过训练好的点云特征提取网络实现所有输入点云到组特征的编码，再通过距离差值的方法实现组特征到逐点特征的解码从而实现输入点云的特征提取。之后通过一个训练好的二分类的分割网络对每个点提取出的特征进行分割，每个预测为正类的点均适合作为抓取部位中心；优选的，输入的观测点云p被送入训练好的点云特征提取网络中。为训练点抓取置信度评估网络，本申请在生成的抓取数据集中加入点抓取置信度这一指标，直观地表示了观测点云中每个点附近具有高抓取质量指标的抓取部位的密度。训练的损失为每个点的抓取置信度的分类损失，通过最小化上述损失函数对网络参数进行优化，获得抓取置信度评估网络模型。步骤三：通过区域抓取部位检测网络，将步骤一中预测出适合作为抓取部位中心的点作为回归中心，预测对应的抓取部位。如图3所示，具体过程如下：一个物体存在多种抓取方式，因此无需将步骤一中所有的正类点都用作回归点，于是通过最远点采样方法选取尽可能覆盖具有不同结构的k1个回归点，得到这k1个点的抓取区域(以这些点为中心的球体区域)；在每个抓取区域上引入预设抓取方向的抓取基准，以每个抓取区域的特征为输入，通过最大池化层和多层感知器对抓取部位相对于预设抓取基准的位置、方向和角度的偏差值进行回归；结合回归的偏差值和对预设基准的分类结果，得到k1个检测的抓取部位提案。优选的，在步骤二分类得到的正类点中选取k1个点作为回归点，选取以这k1个点为中心的抓取区域所对应的点云特征提取提取的特征为抓取区域特征。以抓取区域特征为输入，送入最大池化层和多层感知器，输出k1个抓取部位提案。作为优选实施例，为实现较高的抓取部位定位精度，本申请采用了基于抓取基准的分类和回归代替直接回归抓取部位的方式。基于抓取基准的分类和回归需要首先进行标定抓取部位和预设抓取基准的匹配。当预设基准和标定抓取部位的抓取方向差值小于特定阈值，即匹配成功，并给匹配成功的预设基准赋予正标签，需要回归的残差即为标定抓取部位和对应正标签的预设基准的差值。训练的损失包括了对预设抓取基准分类的损失和抓取部位相对于预设抓取基准的位置、方向和角度的偏差值的回归损失。通过最小化上述损失函数对网络进行训练，获得区域抓取部位检测网络的模型。在该步骤中，通过提取抓取区域的特征以及提出的抓取锚点机制提升了检测的精度，相比使用单点特征直接回归的方式，在本申请构建的抓取数据集上提升了5.79％的精度。步骤四：通过抓取部位优化网络，以步骤三预测的抓取部位为基础，优化得到更准确的抓取部位。如图4所示，具体过程如下：与抓取区域相比，通过步骤三得到的抓取部位提案的夹具闭合区域包含的信息更接近于真实的抓取部位；在得到的抓取部位提案中选择k2个对应的抓取闭合区域中包含超过50个点的提案进行优化；通过坐标转换将选定的抓取闭合区域中的点从世界坐标系转换到抓取坐标系下，通过多层感知器获取k2个抓取闭合区域的特征；结合抓取闭合区域特征与抓取区域的特征得到对应的融合特征；以融合特征为输入，通过最大池化层和多层感知器对抓取部位相对于步骤三得到的抓取提案的位置、方向和角度的偏差值进行回归，最终得到k2个优化后的预测抓取部位。优选的，以抓取区域特征和夹具闭合区域融合后的特征为输入，送入最大池化层和多层感知器。在训练过程中，本申请首先对选出的k2个预测的抓取部位提案进行分类，若预测的抓取部位提案与对应的标定的抓取部位接近(抓取方向和角度之差分别小于2π/9和π/3)时，将此预测的抓取部位提案赋予正标签。在回归抓取部位的偏差时，只对赋予正标签的抓取部位提案的位置、方向和角度进行优化。因此最终的损失函数由抓取部位提案的分类损失和正标签的抓取部位提案的回归损失组成。通过随机梯度下降的方法最小化该损失函数完成网络的训练。抓取部位优化网络在本申请构建的抓取数据集上取得了1.11％的性能提升。步骤五：在抓取部位优化网络得到的预测的抓取部位中选取具有最高抓取质量指标的抓取部位，通过坐标系变换得到此抓取部位在机器人坐标系中的位置与姿态，以此规划机器人作业时的夹具姿态，完成机器人作业。补充仿真实例步骤六：本发明使用有效抓取比例作为评估标准，以评估本方法在三维空间下的抓取部位检测任务上的性能。计算有效抓取比例的流程为：首先获取抓取部位优化网络输出的所有赋予正标签的抓取部位，这些输出的抓取部位个数记为k；之后根据数据集中物体坐标系与世界坐标系的映射关系将这些抓取部位转换至物体坐标系，计算转换至物体坐标系下的抓取部位在其对应物体上的抓取质量分数；根据设定的抓取质量分数阈值统计为正例抓取部位的个数kt；有效抓取比例即为kt与k的比例。本发明在测试集上的有效抓取比例达到了92.47％，远超出了之前一些三维空间下的抓取部位检测算法。本发明分别统计了部分在训练集中物体的抓取部位检测性能，以及未在训练集中物体的抓取部位检测性能，结果如表1所示。表1训练集中出现的物体芥末瓶明胶盒香蕉桃子有效抓取比例94.41％99.30％99.92％87.28％训练集中未出现的物体糖果盒布丁盒高尔夫球锤子有效抓取比例87.06％97.45％85.76％72.44％图5可视化了这些物体的抓取部位检测结果，其中第一行的物体是训练集中出现的物体，第二行的物体是训练集中未出现的物体，蓝色的是正例抓取部位，红色的是负例抓取部位。综上所述，本发明基于深度学习算法，点抓取置信度评估网络、区域抓取部位检测网络和抓取部位优化网络通过共享点云特征提取网络的参数，提升了算法的实时性；利用抓取区域、抓取锚点机制、抓取部位优化网络能够检测出具有高抓取质量指标的抓取部位，提升了三维抓取部位的检测精度。基于深度相机观测的三维点云，本发明可以使机器人在非结构化环境下准确地抓取不同种类的物体，以提高智能机器人作业和与外界交互的安全性与可靠性。以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。应该理解，以上描述是为了进行图示说明而不是为了进行限制。通过阅读上述描述，在所提供的示例之外的许多实施例和许多应用对本领域技术人员来说都将是显而易见的。因此，本教导的范围不应该参照上述描述来确定，而是应该参照前述权利要求以及这些权利要求所拥有的等价物的全部范围来确定。出于全面之目的，所有文章和参考包括专利申请和公告的公开都通过参考结合在本文中。在前述权利要求中省略这里公开的主题的任何方面并不是为了放弃该主体内容，也不应该认为申请人没有将该主题考虑为所公开的发明主题的一部分。当前第1页12