一种基于机器视觉的钢筋绑扎方法及系统与流程

1.本发明涉及钢筋绑扎工序领域，特别是涉及一种基于机器视觉的钢筋绑扎方法及系统。


背景技术：

2.目前中国国内建筑行业中的钢筋绑扎工序属于典型的劳动密集型产业，行业普遍采用人工捆扎的方式。这种传统的劳动方式存在劳动强度大，捆扎效率低，捆扎力度不均的问题，经常会导致钢筋捆扎不合格的情况。同时，在一些高支模，深基坑等位置进行人工作业的时候，也伴随着较高的安全风险，由此引发的安全事故不在少数。此外，随着人口老龄化加剧、新一代年轻劳动力从事繁重枯燥的体力劳动的意愿逐渐降低，以钢筋绑扎行业为代表的建筑行业缺乏劳动力的问题也越来越严重。基于以上钢筋绑扎行业劳动强度大、人工作业效率低下、安全事故频发、劳动力匮乏的现状，提出了基于红外探测的钢筋绑扎机器人，利用钢筋绑扎机器人进行绑扎，但是上述方法由于钢筋一定程度上的变形弯曲，会导致出现钢筋交叉点重复绑扎、漏绑的问题。


技术实现要素：

3.本发明的目的是提供一种基于机器视觉的钢筋绑扎方法及系统，能够避免钢筋交叉点重复绑扎、漏绑的问题，并且能够提高钢筋绑扎效率。
4.为实现上述目的，本发明提供了如下方案：
5.一种基于机器视觉的钢筋绑扎方法，所述钢筋绑扎方法应用于桁架式钢筋绑扎机器人，所述桁架式钢筋绑扎机器人中机械臂末端搭载深度相机；所述钢筋绑扎方法包括：
6.根据深度相机的视野参数以及钢筋操作面的尺寸参数确定深度相机在钢筋操作面的拍摄点的坐标；
7.在第一拍摄点，利用深度相机获取待绑扎钢筋的图像信息；所述图像信息包括：rgb图像和深度图像；
8.根据所述图像信息确定钢筋交叉点的像素坐标；
9.对钢筋交叉点进行排序，确定钢筋绑扎规划路线；
10.根据钢筋绑扎规划路线控制机械臂依次进行钢筋绑扎；
11.第一拍摄点的钢筋绑扎的任务完成后，获取下一拍摄点的图像信息，返回所述根据所述图像信息确定钢筋交叉点的像素坐标的步骤，直至完成所有拍摄点的钢筋绑扎的任务。
12.可选地，所述根据所述图像信息确定钢筋交叉点的像素坐标，之后还包括：
13.根据所述钢筋交叉点的像素坐标以及已绑扎交叉点列表中钢筋交叉点的像素坐标确定像素值差；
14.判断所述像素值差是否小于像素阈值；
15.若小于，则确定所述钢筋交叉点已完成绑扎，并删除所述钢筋交叉点；
16.若大于等于，则确定所述钢筋交叉点未完成绑扎，并将所述钢筋交叉点加入到未绑扎交叉点列表。
17.可选地，所述对钢筋交叉点进行排序，确定钢筋绑扎规划路线，具体包括：
18.将所有待排序的钢筋交叉点添加到集合q中；
19.对集合q中的全部钢筋交叉点按照x轴坐标大小进行升序排列；
20.将集合q中的第一个钢筋交叉点的x轴坐标作为参考值，遍历排序后的钢筋交叉点；
21.若被遍历的钢筋交叉点的x轴坐标与第一个钢筋交叉点的x轴坐标之差的绝对值小于设定像素值，则将所述被遍历的钢筋交叉点确定为与第一个钢筋交叉点同一横向钢筋条上的钢筋交叉点；
22.将同一横向钢筋条上的钢筋交叉点作为一组；
23.若当前组数是奇数组钢筋交叉点，则将对应的钢筋交叉点按照y轴坐标进行升序排列依次添加到绑扎规划路线r中；
24.若当前组数是偶数组钢筋交叉点，则将对应的钢筋交叉点按照y轴坐标进行降序排列依次添加到绑扎规划路线r中；
25.将当前组的钢筋交叉点从集合q中剔除，并返回所述将集合q中的第一个钢筋交叉点的x轴坐标作为参考值，遍历排序后的钢筋交叉点的步骤，直至集合q为空集合，确定钢筋绑扎规划路线。
26.可选地，所述根据钢筋绑扎规划路线控制机械臂依次进行钢筋绑扎，具体包括：
27.根据所述深度相机的参数将所述钢筋绑扎规划路线中钢筋交叉点的像素坐标转换为相机坐标系下的坐标；
28.获取机械臂位置信息；
29.根据机械臂位置信息，将相机坐标系下的钢筋交叉点坐标转换为世界坐标系下的坐标。
30.一种基于机器视觉的钢筋绑扎系统，所述钢筋绑扎系统应用于所述的一种基于机器视觉的钢筋绑扎方法；所述钢筋绑扎系统包括：
31.拍摄点的坐标确定模块，用于根据深度相机的视野参数以及钢筋操作面的尺寸参数确定深度相机在钢筋操作面的拍摄点的坐标；
32.图像信息获取模块，用于在第一拍摄点，利用深度相机获取待绑扎钢筋的图像信息；所述图像信息包括：rgb图像和深度图像；
33.钢筋交叉点的像素坐标确定模块，用于根据所述图像信息确定钢筋交叉点的像素坐标；
34.钢筋绑扎规划路线确定模块，用于对钢筋交叉点进行排序，确定钢筋绑扎规划路线；
35.钢筋绑扎模块，用于根据钢筋绑扎规划路线控制机械臂依次进行钢筋绑扎；
36.钢筋绑扎的任务完成模块，用于第一拍摄点的钢筋绑扎的任务完成后，获取下一拍摄点的图像信息，返回所述根据所述钢筋交叉点的像素坐标确定模块，直至完成所有拍摄点的钢筋绑扎的任务。
37.可选地，还包括：
38.像素值差确定模块，用于根据所述钢筋交叉点的像素坐标以及已绑扎交叉点列表中钢筋交叉点的像素坐标确定像素值差；
39.第一判断模块，用于判断所述像素值差是否小于像素阈值；
40.钢筋交叉点删除模块，用于若小于，则确定所述钢筋交叉点已完成绑扎，并删除所述钢筋交叉点；
41.未绑扎交叉点列表更新模块，用于若大于等于，则确定所述钢筋交叉点未完成绑扎，并将所述钢筋交叉点加入到未绑扎交叉点列表。
42.可选地，所述钢筋绑扎规划路线确定模块具体包括：
43.集合q确定单元，用于将所有待排序的钢筋交叉点添加到集合q中；
44.第一排序单元，用于对集合q中的全部钢筋交叉点按照x轴坐标大小进行升序排列；
45.钢筋交叉点遍历单元，用于将集合q中的第一个钢筋交叉点的x轴坐标作为参考值，遍历排序后的钢筋交叉点；
46.分组单元，用于若被遍历的钢筋交叉点的x轴坐标与第一个钢筋交叉点的x轴坐标之差的绝对值小于设定像素值，则将所述被遍历的钢筋交叉点确定为与第一个钢筋交叉点同一横向钢筋条上的钢筋交叉点；将同一横向钢筋条上的钢筋交叉点作为一组；
47.绑扎规划路线第一更新单元，用于若当前组数是奇数组钢筋交叉点，则将对应的钢筋交叉点按照y轴坐标进行升序排列依次添加到绑扎规划路线r中；
48.绑扎规划路线第二更新单元，用于若当前组数是偶数组钢筋交叉点，则将对应的钢筋交叉点按照y轴坐标进行降序排列依次添加到绑扎规划路线r中；
49.钢筋绑扎规划路线确定单元，用于将当前组的钢筋交叉点从集合q中剔除，并返回所述将集合q中的第一个钢筋交叉点的x轴坐标作为参考值，遍历排序后的钢筋交叉点的步骤，直至集合q为空集合，确定钢筋绑扎规划路线。
50.可选地，所述钢筋绑扎模块具体包括：
51.坐标第一转换单元，用于根据所述深度相机的参数将所述钢筋绑扎规划路线中钢筋交叉点的像素坐标转换为相机坐标系下的坐标；
52.机械臂位置信息获取模块，用于获取机械臂位置信息；
53.坐标第二转换单元，用于根据机械臂位置信息，将相机坐标系下的钢筋交叉点坐标转换为世界坐标系下的坐标。
54.根据本发明提供的具体实施例，本发明公开了以下技术效果：
55.本发明所提供的一种基于机器视觉的钢筋绑扎方法及系统，能配合机械臂实现钢筋绑扎任务的全自动化，钢筋绑扎的速度更快，作业效率高，且不会出现由于人工绑扎力度不均匀导致绑扎不合格的问题。相比于现有的基于红外探测的钢筋绑扎机器人，本发明提出采用机器视觉的方法对钢筋交叉点进行识别检测，能够大幅减小钢筋交叉点位置识别的误差，可以避免由于钢筋一定程度上的变形弯曲而导致漏绑、错绑的问题；且本发明方法对钢筋布设的要求更低，实际操作更为便捷，从而使钢筋绑扎效率更高。
附图说明
56.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所
需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
57.图1为本发明所提供的一种基于机器视觉的钢筋绑扎方法流程示意图；
58.图2为深度相机的视野参数示意图；
59.图3为深度相机拍摄点确认方法示意图；
60.图4为对钢筋交叉点进行分组示意图；
61.图5为钢筋交叉点标号排序和“s”形轨迹规划示意图；
62.图6为钢筋绑扎规划路线确定流程示意图。
具体实施方式
63.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
64.本发明的目的是提供一种基于机器视觉的钢筋绑扎方法及系统，能够避免钢筋交叉点重复绑扎、漏绑的问题，并且能够提高钢筋绑扎效率。
65.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
66.本发明所提供的一种基于机器视觉的钢筋绑扎方法，所述钢筋绑扎方法应用于桁架式钢筋绑扎机器人，所述桁架式钢筋绑扎机器人中机械臂末端搭载深度相机。
67.所述桁架式钢筋绑扎机器人包括：主控箱、u形槽、钢筋操作面、导轨、横梁、机械臂支架、深度相机、机械臂以及自动绑扎装置。
68.主控箱用于钢筋绑扎机器人的电源控制、任务调度及实现，其任务主要包括控制机械臂移动、控制深度相机采集图像信息，控制自动绑扎装置作业等。
69.u形槽用于固定纵向钢筋条和横向钢筋条。
70.钢筋操作面为纵向钢筋条和横向钢筋条交叉形成的单层钢筋网状结构。
71.桁架式钢筋绑扎机器人的x轴方向上布设了两条导轨；横梁可以相对于导轨在x轴方向上进行移动；机械臂支架布设在横梁一侧，且能相对于横梁在y轴方向上进行运动；深度相机固连于机械臂支架上，相对于钢筋操作面可以在x轴和y轴方向上进行移动，以此可以实现在各个拍摄点处采集待绑扎钢筋的深度图像和rgb图像等信息。
72.机械臂能够相对于机械臂支架在z轴方向上进行移动，相对钢筋操作平面则能够在x轴，y轴和z轴三个方向上进行移动，即拥有三个自由度。可以用于驱动机械臂末端的自动绑扎装置到各个钢筋交叉点上方进行钢筋绑扎作。
73.自动绑扎装置固连于机械臂末端，用来完成钢筋交叉点的自动绑扎任务。
74.图1为本发明所提供的一种基于机器视觉的钢筋绑扎方法流程示意图，如图1所示，所述钢筋绑扎方法包括：
75.s101，根据深度相机的视野参数以及钢筋操作面的尺寸参数确定深度相机在钢筋操作面的拍摄点的坐标。
76.如图2所示，x轴方向上采集图像的视野参数为a，y轴方向上采集图像的视野参数为b。以y方向为例说明相机拍摄点y轴坐标确认方法。设参数l＝0.8*b，即深度相机在y轴方向采集图像的视野参数的1.8倍。如图3所示，在y方向上，首先使第一个拍摄点与钢筋操作面左边界距离为l/2，最后一个拍摄点与钢筋操作面的右边界距离也为l/2，接着在第一个拍摄点与最后一个拍摄点之间每隔距离l依次插入一个拍摄点，直至插入的拍摄点与最后一个拍摄点在y轴上的距离d《l为止。
77.拍摄点的x轴坐标确认方法同上。按照此方法，当相机视野覆盖整个钢筋操作面的时候，便可以得到深度相机在各个拍摄点出的坐标。
78.s102，在第一拍摄点，利用深度相机获取待绑扎钢筋的图像信息；所述图像信息包括：rgb图像和深度图像。
79.s103，根据所述图像信息确定钢筋交叉点的像素坐标。
80.s103之后还包括：
81.根据所述钢筋交叉点的像素坐标以及已绑扎交叉点列表中钢筋交叉点的像素坐标确定像素值差。
82.判断所述像素值差是否小于像素阈值。
83.若小于，则确定所述钢筋交叉点已完成绑扎，并删除所述钢筋交叉点。
84.若大于等于，则确定所述钢筋交叉点未完成绑扎，并将所述钢筋交叉点加入到未绑扎交叉点列表。
85.s104，对钢筋交叉点进行排序，确定钢筋绑扎规划路线。
86.由于在实际场景中，横向钢筋条由于较长的原因总是伴随着一定程度的弯曲，因此位于同一条横向钢筋条上的钢筋交叉点的x轴坐标会在某一很小的区间内随机波动，而这个区间范围远远小于x轴方向上的位于相邻横向钢筋条的间距；同时，基于机器视觉的钢筋交叉点识别算法输出结果又是无序的，因此如图5所示，判断待绑扎钢筋交叉点的所在行和列，并对其进行标号排序，以此来实现机械臂绑扎任务的“s”形轨迹规划，如图6所示，具体步骤如下：
87.s401，将所有待排序的钢筋交叉点添加到集合q中。
88.s402，对集合q中的全部钢筋交叉点按照x轴坐标大小进行升序排列。
89.s403，将集合q中的第一个钢筋交叉点的x轴坐标作为参考值，遍历排序后的钢筋交叉点。
90.s404，若被遍历的钢筋交叉点的x轴坐标与第一个钢筋交叉点的x轴坐标之差的绝对值小于设定像素值，则将所述被遍历的钢筋交叉点确定为与第一个钢筋交叉点同一横向钢筋条上的钢筋交叉点。
91.s405，将同一横向钢筋条上的钢筋交叉点作为一组，并如图4所示。
92.s406，若当前组数是奇数组钢筋交叉点，则将对应的钢筋交叉点按照y轴坐标进行升序排列依次添加到绑扎规划路线r中。
93.s407，若当前组数是偶数组钢筋交叉点，则将对应的钢筋交叉点按照y轴坐标进行降序排列依次添加到绑扎规划路线r中。
94.s408，将当前组的钢筋交叉点从集合q中剔除，并返回s403，直至集合q为空集合，确定出钢筋绑扎规划路线。
95.s105，根据钢筋绑扎规划路线控制机械臂依次进行钢筋绑扎。
96.s105具体包括：
97.根据所述深度相机的参数将所述钢筋绑扎规划路线中钢筋交叉点的像素坐标转换为相机坐标系下的坐标；
98.获取机械臂位置信息；
99.根据机械臂位置信息，将相机坐标系下的钢筋交叉点坐标转换为世界坐标系下的坐标。
100.s106，第一拍摄点的钢筋绑扎的任务完成后，获取下一拍摄点的图像信息，返回所述s103，直至完成所有拍摄点的钢筋绑扎的任务。
101.本发明所提供的一种基于机器视觉的钢筋绑扎系统，应用于所述的一种基于机器视觉的钢筋绑扎方法，所述钢筋绑扎系统包括：
102.拍摄点的坐标确定模块，用于根据深度相机的视野参数以及钢筋操作面的尺寸参数确定深度相机在钢筋操作面的拍摄点的坐标。
103.图像信息获取模块，用于在第一拍摄点，利用深度相机获取待绑扎钢筋的图像信息；所述图像信息包括：rgb图像和深度图像。
104.钢筋交叉点的像素坐标确定模块，用于根据所述图像信息确定钢筋交叉点的像素坐标。
105.钢筋绑扎规划路线确定模块，用于对钢筋交叉点进行排序，确定钢筋绑扎规划路线。
106.钢筋绑扎模块，用于根据钢筋绑扎规划路线控制机械臂依次进行钢筋绑扎。
107.钢筋绑扎的任务完成模块，用于第一拍摄点的钢筋绑扎的任务完成后，获取下一拍摄点的图像信息，返回所述根据所述钢筋交叉点的像素坐标确定模块，直至完成所有拍摄点的钢筋绑扎的任务。
108.本发明所提供的一种基于机器视觉的钢筋绑扎系统，还包括：
109.像素值差确定模块，用于根据所述钢筋交叉点的像素坐标以及已绑扎交叉点列表中钢筋交叉点的像素坐标确定像素值差。
110.第一判断模块，用于判断所述像素值差是否小于像素阈值。
111.钢筋交叉点删除模块，用于若小于，则确定所述钢筋交叉点已完成绑扎，并删除所述钢筋交叉点。
112.未绑扎交叉点列表更新模块，用于若大于等于，则确定所述钢筋交叉点未完成绑扎，并将所述钢筋交叉点加入到未绑扎交叉点列表。
113.所述钢筋绑扎规划路线确定模块具体包括：
114.集合q确定单元，用于将所有待排序的钢筋交叉点添加到集合q中。
115.第一排序单元，用于对集合q中的全部钢筋交叉点按照x轴坐标大小进行升序排列。
116.钢筋交叉点遍历单元，用于将集合q中的第一个钢筋交叉点的x轴坐标作为参考值，遍历排序后的钢筋交叉点。
117.分组单元，用于若被遍历的钢筋交叉点的x轴坐标与第一个钢筋交叉点的x轴坐标之差的绝对值小于设定像素值，则将所述被遍历的钢筋交叉点确定为与第一个钢筋交叉点
同一横向钢筋条上的钢筋交叉点；将同一横向钢筋条上的钢筋交叉点作为一组。
118.绑扎规划路线第一更新单元，用于若当前组数是奇数组钢筋交叉点，则将对应的钢筋交叉点按照y轴坐标进行升序排列依次添加到绑扎规划路线r中。
119.绑扎规划路线第二更新单元，用于若当前组数是偶数组钢筋交叉点，则将对应的钢筋交叉点按照y轴坐标进行降序排列依次添加到绑扎规划路线r中。
120.钢筋绑扎规划路线确定单元，用于将当前组的钢筋交叉点从集合q中剔除，并返回所述将集合q中的第一个钢筋交叉点的x轴坐标作为参考值，遍历排序后的钢筋交叉点的步骤，直至集合q为空集合，确定出钢筋绑扎规划路线。
121.所述钢筋绑扎模块具体包括：
122.坐标第一转换单元，用于根据所述深度相机的参数将所述钢筋绑扎规划路线中钢筋交叉点的像素坐标转换为相机坐标系下的坐标。
123.机械臂位置信息获取模块，用于获取机械臂位置信息。
124.坐标第二转换单元，用于根据机械臂位置信息，将相机坐标系下的钢筋交叉点坐标转换为世界坐标系下的坐标。
125.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
126.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。