一种基于组合分割模型的耐火砖抓取检测方法及抓取装置

本发明涉及机器人抓取设备，尤其涉及一种基于组合分割模型的耐火砖抓取检测方法及抓取装置。

背景技术：

1、耐火砖是一种能耐燃烧与耐高温的砖体，该材料呈淡黄色或带褐色，主要用于砌冶炼炉。耐火砖人工砌筑是一项高度重复和劳动强度大的工种。以焦炉砌体工程为例，焦炉炉体结构复杂、砖型种类繁多、砌筑工作量大、质量要求高且环境艰苦，对砌筑工人的技能和身体素质要求高。面对招工难、用工成本高的行业困境，焦炉砌筑施工行业亟需发展智能砌筑机器人技术，提高砌筑质量和效率。

2、抓取作为砌筑机器人与环境交互的重要手段，也是一项重要的基本技能。利用视觉图像信息进行抓取检测可以提高砌筑机器人的环境感知能力和智能化水平，抓取检测的目的是利用图像信息获取待抓取目标在机器人空间下的抓取位姿。抓取检测任务中不仅要准确识别待砌砖块的种类，还要识别出砖块的抓取位置。不准确的抓取识别将会导致抓取失败，进而影响后续砌筑操作。考虑到砌筑机器人抓取砖块时，其前端夹爪与砖块的接触点在位于边界上，耐火砖的边界轮廓是抓取检测中的一个重要识别特征。实例分割方法结合了目标检测与语义分割思想的优点，可以区分一幅图像中同一类别的不同实例，但受标注误差及深度学习反卷积等操作影响，分割结果难免会丢失一些图像细节信息，导致边界轮廓分割不精细。而活动轮廓模型擅长细节处的曲线演化，可以得到较高的分割精度，并能够提供连续、光滑的闭合轮廓分割结果，不过无法学习高层的语义信息，对于复杂背景图像往往找不到目标位置。

3、综上所述，提供一种能够针对图像信息提取耐火砖边缘检测方法及耐火砖抓取装置，实现对耐火砖的准确识别与可靠抓取，是非常必要的。

技术实现思路

1、有鉴于此，本发明提出了一种基于组合分割模型的、能提高实例分割掩膜轮廓精细度，提高机器人抓取稳定性的耐火砖抓取检测方法及抓取装置。

2、本发明的技术方案是这样实现的：

3、一方面，本发明提供了一种基于组合分割模型的耐火砖抓取检测方法，包括如下步骤：

4、s1：配置用于抓取耐火砖的桁架机器人及其夹爪组件，以及用于采集耐火砖图像的rgb-d摄像机；桁架机器人还具有三轴移动功能和相对于铅垂方向的旋转功能；

5、s2：离线准备阶段，完成rgb-d摄像机标定、手眼标定以及yolov8实例分割网络模型训练；

6、s3：在线抓取检测阶段，通过rgb-d摄像机同时采集获取rgb图像和深度图像，利用抓取检测算法对rgb图像进行处理分析，输出矩形抓取框参数；然后利用图像配准获取rgb图像与深度图像的映射关系，得到矩形抓取框中心点在摄像机坐标系下的三维坐标，利用手眼标定的结果获取耐火砖在机器人三维抓取空间坐标系内的抓取位置。

7、在以上技术方案的基础上，优选的，步骤s2所述完成rgb-d摄像机标定、手眼标定以及yolov8实例分割网络模型训练，是首先进行rgb-d摄像机的内参进行标定，获得rgb图像所在的图像坐标系与三维的摄像机坐标系的变换矩阵；

8、然后手眼标定是获取桁架机器人及其夹爪组件所在的机器人三维抓取空间坐标系的三维坐标与摄像机坐标系中的三维坐标的变换矩阵；

9、最后再进行yolov8实例分割网络模型训练，是通过对rgb-d摄像机已获取的若干rgb图像进行实例分割的训练，获得yolov8实例分割网络模型的最优参数。

10、优选的，步骤s3所述通过rgb-d摄像机同时采集获取rgb图像和深度图像，利用抓取检测算法对rgb图像进行处理分析，输出矩形抓取框参数，是利用步骤s2训练后的yolov8实例分割网络模型得到目标物体掩膜作为初始轮廓；然后对rgb-d摄像机获取的原始rgb图像进行灰度处理后的结果，结合初始轮廓作为chan-vese主动轮廓分割模型的输入，进行水平集曲线演进，得到光滑、连续的闭合分割边界轮廓，以该闭合分割边界轮廓的外接矩形作为矩形抓取框g，并进一步获得矩形抓取框g的五维参数，数学表示为g＝{x，y，θ，w，h}，其中x和y为矩形抓取框的中心点在平面图像中的坐标，θ为矩形抓取框的相对于平面图像的x轴的旋转角度；w和h分别为矩形抓取框的宽度和高度。

11、进一步优选的，步骤s3所述利用图像配准获取rgb图像与深度图像的映射关系，是根据rgb-d摄像机获取的rgb图像和深度图像观测的是机器人三维抓取空间坐标系下的同一个点，对rgb-d摄像机中的rgb镜头所在坐标系，即摄像机坐标系和深度红外镜头所在坐标系分别进行外参标定，获取摄像机坐标系与深度红外镜头所在坐标系的坐标变换关系，得到图像配准后的rgb图像和深度图像。

12、更进一步优选的，步骤s3所述获得矩形抓取框中心点在摄像机坐标系下的三维坐标，利用手眼标定的结果获取耐火砖在机器人三维抓取空间坐标系内的抓取位置，是将图像配准后的rgb图像中的耐火砖，在摄像机坐标系中的位置g表示为：g＝{p，d，r，w}，其中p是耐火砖的抓取中心点的三维坐标，d表示桁架机器人的夹爪组件朝向耐火砖抓取中心点的垂直距离，r表示桁架机器人的夹爪组件相对于铅垂方向的旋转角度，w为桁架机器人的夹爪组件所张开的宽度；根据已经进行过手眼标定的内容，将耐火砖在摄像机坐标系中位姿g转换为机器人三维抓取空间坐标系内的各轴向的行程或者旋转角度。

13、再进一步优选的，所述矩形抓取框的宽度w或者桁架机器人的夹爪组件所张开的宽度w不小于耐火砖的宽度。

14、另一方面，本发明提供了一种耐火砖抓取装置，包括

15、桁架机器人，相对于地面固定设置；

16、旋转组件，设置在所述桁架机器人远离地面的一端，所述旋转组件沿着铅垂方向延伸设置并与桁架机器人转动连接；

17、夹爪组件，设置在所述旋转组件靠近地面的一端，并与旋转组件固定连接；

18、rgb-d摄像机，设置在所述桁架机器人远离地面的一端，用于获取夹爪组件正下方的耐火砖的图像信息；

19、其中，桁架机器人及其抓取组件根据上述基于组合分割模型的耐火砖检测方法，将耐火砖的图像信息转换到机器人三维抓取空间坐标系下，使夹爪组件完成耐火砖的抓取。

20、优选的，所述桁架机器人包括第一本体、第一移动机构、第二移动机构和第三移动机构；第一本体相对于地面固定设置，以第一本体的长度方向为x轴方向，以第一本体的宽度方向为y轴方向，以铅垂方向为z轴方向，第一本体远离地面的一端的顶点作为原点构建机器人三维抓取空间坐标系；

21、所述第一移动机构设置在第一本体远离地面的一端，第一移动机构与第一本体滑动连接，第一移动机构沿着机器人三维抓取空间坐标系的x轴方向移动；

22、所述第二移动机构设置在第一移动机构的活动端上，第二移动机构沿着机器人三维抓取空间坐标系的y轴方向移动；

23、所述第三移动机构设置在第二移动机构的活动端上，第三移动机构沿着机器人三维抓取空间坐标系的z轴方向移动；

24、旋转组件和rgb-d摄像机均设置在所述第三移动机构的活动端上，旋转组件与第三移动机构的活动端转动连接，旋转组件的输出端沿着铅垂方向朝着地面延伸；rgb-d摄像机与第三移动机构的固定端固定连接；

25、夹爪组件设置在旋转组件远离第三移动机构的一端，并与旋转组件固定连接。

26、优选的，所述夹爪组件包括安装板、第一电机、第二电机、驱动齿轮、第一传动轴、第二传动轴、从动齿轮、第一夹板和第二夹板；所述安装板具有开口部，开口部内设置有与安装板内表面铰连接的第一传动轴和第二传动轴，安装板远离开口部的一端与旋转组件远离第三移动机构的一端固定连接；第一电机和第二电机设置在安装板上，且第一电机和第二电机的输出轴伸入开口部内，第一电机的输出轴上设置有驱动齿轮；第一传动轴或者第二传动轴的端部固定设置有从动齿轮，从动齿轮与驱动齿轮啮合设置；第一传动轴的表面还与第一夹板啮合设置，第二传动轴还与第二夹板啮合设置；第一夹板和第二夹板分别与安装板滑动连接；所述第一电机和第二电机对应驱动第一传动轴与第二传动轴同步转动，改变第一夹板与第二夹板的间距的大小；第一夹板和第二夹板还具有位置锁定功能。

27、进一步优选的，所述第一夹板和第二夹板相邻的端面均设置有摩擦层，第一夹板或者第二夹板的表面与摩擦层之间还设置有压力传感器，压力传感器与桁架机器人电性连接。

28、本发明提供的一种基于组合分割模型的耐火砖抓取检测方法及抓取装置，相对于现有技术，具有以下有益效果：

29、(1)针对耐火砖平面抓取检测问题，本技术设计了一套基于组合分割模型的图像目标检测方法及其抓取装置，采用能同时获取彩色图像和深度图像的rgb-d摄像机作为图像采集装置，用图像上检测出的五维矩形抓取框表示抓取位姿，限定了抓取装置的夹取部位和起始位置；

30、(2)以待抓取耐火砖上表面的边界轮廓作为分割检测目标，为克服复杂背景干扰，先采用yolov8实例分割模型对彩色图像进行处理，分割出目标掩膜，并输出目标掩膜图像；为得到较为精细的边缘轮廓，进一步采用chan-vese主动轮廓模型，以灰度处理后的彩色图像以及目标掩膜图像作为模型输入进行水平集曲线演进，进而得到平滑、闭合的边界轮廓，提高了轮廓的精细程度和分辨率；

31、(3)为检测出图像中目标对象矩形抓取框，以分割封闭区域面积中心作为抓取中心点、封闭区域的最小外接矩形的方向角作为抓取角度，该方法计算简单，并对复杂背景图像具有很好的鲁棒性和抗干扰效果；

32、(4)具有位置锁定功能的第一夹板和第二夹板能够配合摩擦层，保持抓取状态的耐火砖不会掉落，进一步设置的压力传感器能够反馈抓取信号给桁架机器人的控制部分。