一种密集堆叠场景下的机器人目标抓取检测方法

本发明涉及图像处理领域，尤其涉及一种密集堆叠场景下的机器人目标抓取检测方法。

背景技术：

1、机器人目标抓取涉及环境感知、抓取检测和运动控制等诸多难点，特别是堆叠目标抓取对机器人来说极具挑战性的任务。现有目标抓取研究方法优点参差不齐，堆叠场景下的目标抓取效果差强人意，机器人抓取方法性能还有很大的提升空间。

技术实现思路

1、为了解决上述问题，本发明提出了一种密集堆叠场景下的机器人目标抓取检测方法。

2、具体方案如下：

3、一种密集堆叠场景下的机器人目标抓取检测方法，包括：构建抓取检测模型，通过训练集对模型进行训练，通过训练后的模型进行抓取检测；

4、模型包括特征提取模块、目标检测模块和抓取模块；

5、特征提取模块中包括五个卷积子模块，其中，前四个卷积子模块采用端到端串联方式链接；第四个卷积子模块输出的卷积特征图一方面输入至目标检测模块的rpn网络中，另一方面通过特征共享输入至目标检测模块的roi池化层中，而rpn网络输出得到的roi区域作为roi池化层的另一个输入；roi池化层的输出作为第五个卷子模块的输入，第五个卷子模块输出roi池化特征；

6、目标检测模块中包括rpn网络、roi池化层和目标类别检测器；rpn网络输出的roi区域输入roi池化层，与特征提取模块中第五个卷积子模块共同将roi特征组合成roi池化特征；roi池化特征输入目标类别检测器后，输出分类结果；

7、抓取模块由抓取检测器组成，抓取检测器的输入为roi池化特征，抓取检测器以一个由3个卷积层组成的残差块作为roi池化特征的检测头。

8、进一步的，抓取检测模型对应的目标函数为：

9、

10、其中，i表示输入图像，g*表示物体的最佳抓取，q表示抓取置信度，g＝{g1,g2,...,gn}表示所有抓取组成的向量，i∈[1,n]表示物体的抓取个数，gi表示物体的第i个抓取，gi＝{x,y,h,w,θ,cls}，其中，(x,y)表示抓取矩形框中心位置的图像坐标，h和w分别表示抓取矩形框的长和宽，θ表示抓取矩形框相对水平轴的夹角，cls表示抓取物体的类别，prob(.)表示求概率，s表示第s类目标。

11、进一步的，rpn网络中包含三个卷积核大小为3×3的卷积层，分别为中间卷积层、roi区域回归器和roi区域检测器，且roi区域回归器和roi区域检测器同时与中间卷积层级联，输出图像的roi区域。

12、进一步的，目标类别检测器包括由9个卷积层组成的残差块，该残差块作为roi池化特征的检测头。

13、进一步的，抓取检测器执行以下步骤：

14、抓取检测器将每个roi拆分成w×h个网格单元，每个网格单元对应roi池化特征图上的一个像素，抓取检测器在每个网格单元上以定向锚框作为先验，输出候选抓取框；w和h分别表示roi的宽和高包括的网格单元数量；

15、抓取检测器在每个滑动窗口位置生成多个抓取建议，用k来表示最大抓取建议数，回归层输出5k个元素，用于编码k个抓取建议的坐标；

16、抓取分类器提供2k个置信度分数，分别表示锚框可抓取和不可抓取的概率；对于每个roi，抓取检测器将预测w×h×k个候选抓取。

17、进一步的，模型的总损失由目标检测损失lod和抓取检测损失lgd两部分组成；

18、目标检测损失lod的计算公式为：

19、

20、其中，ncls表示训练rpn的一个批次样本的锚框数，i表示第i个锚框，nreg表示训练目标回归器的正样本数，p(i)表示第i个锚框被正确分类的概率，r(i)和分别表示第i个锚框预测的roi和真实roi标签，系数α用于平衡目标分类和回归损失；smoothl1(.)表示smooth l1损失函数；

21、抓取检测损失lgd的计算公式为：

22、

23、其中，ng表示训练抓取检测器roi上的抓取锚框数，npos和nneg分别表示抓取正样本和负样本数，和分别表示第i个锚框被分类为“可抓取”和“不可抓取”的概率，g(i)和分别表示第i个锚框预测的抓取和真实抓取标签，系数β用于平衡抓取检测和回归损失。

24、本发明采用如上技术方案，实现了机器人密集堆叠抓取检测任务，既能够实现多目标类别检测，又能实现目标抓取位置的精确检测。

技术特征：

1.一种密集堆叠场景下的机器人目标抓取检测方法，其特征在于，包括：构建抓取检测模型，通过训练集对模型进行训练，通过训练后的模型进行抓取检测；

2.根据权利要求1所述的密集堆叠场景下的机器人目标抓取检测方法，其特征在于：抓取检测模型对应的目标函数为：

3.根据权利要求1所述的密集堆叠场景下的机器人目标抓取检测方法，其特征在于：rpn网络中包含三个卷积核大小为3×3的卷积层，分别为中间卷积层、roi区域回归器和roi区域检测器，且roi区域回归器和roi区域检测器同时与中间卷积层级联，输出图像的roi区域。

4.根据权利要求1所述的密集堆叠场景下的机器人目标抓取检测方法，其特征在于：目标类别检测器包括由9个卷积层组成的残差块，该残差块作为roi池化特征的检测头。

5.根据权利要求1所述的密集堆叠场景下的机器人目标抓取检测方法，其特征在于：抓取检测器执行以下步骤：

6.根据权利要求1所述的密集堆叠场景下的机器人目标抓取检测方法，其特征在于：模型的总损失由目标检测损失lod和抓取检测损失lgd两部分组成；

技术总结
本发明涉及一种密集堆叠场景下的机器人目标抓取检测方法，包括：构建抓取检测模型，通过训练集对模型进行训练，通过训练后的模型进行抓取检测；模型包括特征提取模块、目标检测模块和抓取模块；特征提取模块用于目标特征提取，目标检测模块用于目标类别检测，抓取模块用于目标的抓取检测。本发明实现了机器人密集堆叠抓取检测任务，既能够实现多目标类别检测，又能实现目标抓取位置的精确检测。

技术研发人员：仲训杲,赵晶,龚涛,苗春晓,关健生,杨贵志
受保护的技术使用者：厦门理工学院
技术研发日：
技术公布日：2024/3/21