一种复杂环境下的带电作业机器人线缆定位方法与流程

本发明创造属于图像识别领域，尤其是涉及一种复杂环境下的带电作业机器人线缆定位方法。

背景技术：

目前主流的带电作业机器人的作业方式为机器人位于绝缘斗臂车内，操作人员在地面通过传感器获得平台及机器人的信息，远程操作机器人或机器人自主完成作业。

目前国内外，带电作业机器人领域主要采用以下两种作业方式：一是操作员处于斗臂车的绝缘斗内进行操作的模式。缺点是操作员仍然处于高压环境中，存在安全风险；二是机械臂位于绝缘斗臂车内，操作员在地面进行遥操作的方式。目前存在的主要问题是操作人员远程通过摄像机等设备回传的信息对高空环境进行判断，或通过虚拟现实(vr)以及增强现实(ar)实现平台信息的重建，此类方法操作复杂，存在误操作的风险，操作人员需要具备一定的专业知识以及较高的熟练程度。

目前的带电作业机器人由于在不同地域的线缆架设方式、架设地点不同，而且受到传感器的视野限制及安装角度等因素影响，从而导致反馈的信息不完整或不直观，且受到天气、高楼、其他线路等的影响，使得视觉传感器的图像极大可能存在线缆交叉、遮挡等问题，导致操作起来极其困难。

技术实现要素：

有鉴于此，本发明创造旨在提出一种复杂环境下的带电作业机器人线缆定位方法，以通过双目相机进行线缆识别，获得线缆的空间位置和姿态，并综合光照环境及纹理复杂程度判断，并利用激光发射器进行人工辅助定位，可极大程度降低复杂环境对最终的线缆定位的影响，提升方法的适应性以及稳定性。

为达到上述目的，本发明创造的技术方案是这样实现的：

一种复杂环境下的带电作业机器人线缆定位方法，包括以下步骤：

(1)将作业平台移动到线缆附近，所述平台上的作业机器人的双目相机采集线缆图像；

(2)利用所述双目相机所采集的图像，获得目标作业点的空间姿态信息，转至步骤(6)；

(3)若无法获得目标作业点的空间姿态信息，则判断环境复杂度；

(4)若为非复杂环境，则人工选取图像中的作业区域，从而获取目标作业点的空间姿态信息；

若为复杂环境，则通过激光发射器在线缆上选取两个激光端点a、b；

(5)步骤(4)所述的两个端点的中心点即为目标作业点c，根据c点的空间坐标，以及a、b点所描述的空间向量，从而获得目标作业点的空间姿态信息；

(6)操作人员确认姿态信息后，将确认信息发送至机器人控制系统，进行带电作业。

进一步，步骤(1)所述作业平台移动到线缆的下方，所述机器人的双目相机的基线方向与线缆方向相垂直；所述线缆覆有黑色表层，所述双目相机固定于机器人的一端，其镜头前设有滤光片。

进一步，所述滤光片为红光带通滤光片，波长为650nm或625nm～665nm红光高透。

进一步，所述激光发射器为波长650nm、可调节焦距式激光发射器。

进一步，步骤(2)所述获得线缆的空间姿态信息的方法包括如下步骤：

(21)根据双目相机的任意一侧采集图像，生成灰度图；

(22)根据步骤(21)所生成的灰度图，获得边缘图，从而得到图像内直线分布；

(23)去除直线分布内的错误直线以及重合直线，由正确的直线组成线缆图；

(24)通过步骤(23)所获得线缆图任一范围的两个测量端点a、b坐标，以及双目相机的立体匹配获得深度图像，获得测量端点a、b的三维坐标；

(25)以步骤(24)所述两端点的中心点作为目标作业点，将两端点描述为目标作业点的方向向量，获得目标作业点的空间姿态信息。

进一步，步骤(24)所述立体匹配的步骤为：

(241)在定位前对双目相机的焦距、基线长度等内、外参数进行标定，获得两台相机的内参数矩阵、畸变矩阵，以及两台相机的外参数，即旋转矩阵、平移矩阵。

(242)根据双目相机内、外参数进行畸变校正，并进行立体校正，使两幅图像完成行对准。

(243)对行对准的两幅图像通过匹配算法，获得视差图。

(244)根据视差图与相机内、外参数，获得任意点的三维坐标。

进一步，步骤(3)所述的判断分析环境复杂度的方法包括如下步骤：

(31)利用图像的灰度级直方图的二阶矩阵计算纹理复杂度t及平均灰度m；

(32)若纹理复杂度t小于设定阈值，则为非复杂背景；若其大于设定阈值，则为复杂背景；

(33)获取采集图像的亮度分布，根据步骤(31)所述平均灰度进行二值化处理；

(34)灰度值大于平均灰度值且大于220的像素灰度值设为255，若小于平均灰度值或小于220的像素灰度值像素灰度值为0；

(35)统计灰度值255的像素个数，若小于设定值，则为复杂光照，若大于设定值，则为非复杂光照；

(36)若采集环境包括复杂光照或复杂背景，则为复杂环境；非复杂光照且非复杂背景则为非复杂环境。

进一步，步骤(31)所述的纹理复杂度t的计算公式为，

平均灰度m的计算公式为，

其中，zi表示灰度，p(zi)为第i级灰度值zi的像素个数即直方图，l为不同灰度级的数量；w为图像宽度，h为图像高度。

进一步，步骤(4)所述的非复杂环境下获取作业目标点的空间姿态信息的方法包括如下步骤：

(41)判断结果若为非复杂环境，则人工选取图像中的作业区域，根据平均灰度值m设置阈值，进行二值化处理；

(42)获得线缆最小外接矩形及两个端点的二维坐标，通过视差图获得三维坐标

(43)然后根据步骤(24)～(25)，获得作业目标点的空间位置和姿态。

进一步，步骤(5)所述，a、b两点在线缆的无明显缺损及弯曲段上选取。

相对于现有技术，本发明创造所述的一种带电作业机器人线缆定位方法具有以下优势：

(1)通过线缆图像的采集环境的纹理复杂程度以及过曝光情况，从而可以确定带电工作维护作业环境的环境复杂程度，以此为依据因素，确定复杂光照、复杂背景等不同环境的线缆定位方案，以保证线缆上目标作业点识别的可靠性以及准确性；

(2)本发明在所述作业机器人的双目相机的镜头上添加滤光片，并且配合使用激光发射器辅助定位，可以用于室外复杂环境的线缆定位及识别，由于双目相机在复杂背景下成像纹理混乱，匹配特征不明显，导致立体匹配较困难，而激光光斑在图像中为高亮，则保证了光斑在复杂背景下的立体匹配的准确率。

附图说明

构成本发明创造的一部分的附图用来提供对本发明创造的进一步理解，本发明创造的示意性实施例及其说明用于解释本发明创造，并不构成对本发明创造的不当限定。在附图中：

图1为本发明创造实施例所述的工作流程图；

图2为本发明创造实施例所述的实施布局示意图。

附图标记说明：

1-线缆；2-双目相机；3-激光光束；4-激光发射器。

具体实施方式

需要说明的是，在不冲突的情况下，本发明创造中的实施例及实施例中的特征可以相互组合。

在本发明创造的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明创造和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明创造的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明创造的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明创造的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明创造中的具体含义。

下面将参考附图并结合实施例来详细说明本发明创造。

一种复杂条件下的带电作业机器人线缆定位系统，包括：双目相机滤光片以及激光发射器：

如图1所示，双目相机2固定于机器人的一端，为提供良好的背景，所述双目相机2采集视野尽量垂直向上，背景为天空；滤光片为红光带通滤光片，波长为650nm,625nm-665nm红光高透，其它光截止。双目相机2位于高空作业平台，并连接至机器人内部的工控机，然后通过无线传输设备将图像及结果传输至地面操作台。激光发射器4发射红光，发射元件为激光二极管，波长为650nm，功率大，激光光束3集中，可调节焦距，激光能量不会对线缆外皮造成损害，放置于地面的三脚架，由地面操作人员操作。

如图2所示，对于单(双)回路架设方式的定位步骤如下：

(1)将作业平台斗臂车移动到位，作业平台移动到线缆1下方位置，机器人携带双目相机2到达线缆1下方，使线缆1的方向与双目相机2的基线方向尽量垂直，以仰视角采集线缆1图像；

(2)图像处理，获得线缆1位姿。对于单回路的配网线路，存在三根线缆(双回路的配网线路，存在六根线缆)，线缆为黑色，由于双目相机的镜头前增加了滤光片，降低了天空及太阳光的亮度；利用双目相机2的左相机图像，首先提取灰度图，利用canny算子边缘检测，然后利用hough变换检测图像中的直线段，求取每根直线的参数方程y＝kx+b，根据斜率k滤除不合理的候选直线，并保留近似平行的直线组。

从图像的左侧到右侧依次将直线排序，去掉重合直线，计算相邻直线的距离，距离的计算方法如下：

y表示整幅图像1/2的高度，利用直线方程求对应的x，即求每条直线与高度方向的水平分割直线的交点。

将相邻两条直线的差作为两条直线的距离。将直线根据距离进行组合，两根近似平行且距离满足的直线组成一根线缆。

然后获得线缆1上在垂直方向的中部矩形范围内的两个端点的坐标，根据双目相机2的焦距、基线长度等内、外参数进行双目标定，并完成立体校正，然后进行立体匹配获得视差图，求取两个点的三维坐标，用中心点作为目标点的空间坐标，用两个点描述目标点的方向向量，即空间姿态。

(3)若视野范围内的线缆1均求取完成，则人工最终确认，若识别正确，则结束识别直接转至步骤(7)，若识别错误，则转至步骤(4)。

(4)若识别错误，则判断环境是否为复杂环境，如多云天气、高楼、阳光直射等。

首先利用图像的灰度级直方图的二阶矩阵(方差)描述纹理复杂度t：

其中，zi表示灰度，p(zi)为相应的直方图，其中l是不同灰度级的数量。

m平均灰度：

w为图像宽度，h为图像高度。

若纹理复杂度t小于一定阈值，则判断为非复杂背景，否则为复杂背景。

然后获取相机图像的亮度分布，根据平均灰度设置阈值进行二值化，灰度值大于平均灰度值且大于220的像素灰度值设为255，若小于平均灰度值或小于220的像素灰度值像素灰度值为0，统计灰度值为255的像素个数，根据像素个数判断是否有过曝光情况，若是则证明太阳光直射影响了线缆的识别或测距，此时为复杂光照，否则为非复杂光照。

有复杂背景或复杂光照情况之一，均视为复杂背景，否则为非复杂背景，此时为复杂背景导致的识别失败或立体匹配导致的测距失败。

(5)若为非复杂环境，则可人工选取图像中的某个矩形区域作为作业区域，根据平均灰度值设置阈值，进行二值化，然后求线缆最小外接矩形，获得两个端点的二维坐标，通过立体匹配获得的视差图计算三维坐标，然后计算作业目标点的空间位置和姿态。

其中视差图的获得步骤为：

在定位前对双目相机2的焦距、基线长度等内、外参数进行标定，获得两台相机的内参数矩阵、畸变矩阵，以及两台相机的外参数，即旋转矩阵、平移矩阵。

根据双目相机2内、外参数进行畸变校正，并进行立体校正，使两幅图像完成行对准。

对行对准的两幅图像通过匹配算法，获得视差图。

根据视差图与相机2内、外参数，获得任意点的三维坐标。

(6)若为复杂环境，则在线缆1上距离杆塔约0.5米距离的无明显缺损、弯曲的范围内选择两个点a、b投射激光点，作为线段的两个端点，以此确定作业目标点：

通过调整激光发射器4的三脚架，将激光3对准线缆，使激光光斑能出现在双目相机的公共视野中，由于激光光斑能量强，在带有滤光片的相机中呈现为高亮，显著性好，且滤光片去除了部分干扰光线，背景的干扰程度极大的下降，更便于图像处理，点击屏幕图像上的激光光斑，求光斑的重心，获取重心位置对应的三维坐标，然后在该线缆上移动光斑，按照上述方法获取第二个点的三维坐标，作为线段的两个端点；通过这两个点计算作业目标点的空间位置和姿态。

(7)操作人员确认无误后将确认信号发送至机器人控制系统，进行带电作业。

本发明涉及的机器人用于完成剥皮、带电断接引流线等工作，作业对象为线缆，现有技术主要利用多视角相机观察线缆，或利用双目相机或深度摄像头进行三维重建的方式，由于传感器的安装位置及传感器的数量限制，很难恢复完整的三维空间，且计算过程复杂，实时性很难保证；而本发明在双目相机上安装滤光片，完成线缆识别，若初识别失败，则判断光照环境以及纹理复杂程度，当处于非复杂环境下则手动辅助定位，操作人员利用回传图像确定目标位置；若处于复杂环境下，则利用与滤光片同波长的激光发射器在线缆上形成亮斑，通过处理亮斑完成线缆的定位。

以上所述仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明创造的保护范围之内。