一种配网带电作业机器人电力线实时姿态估计方法

1.本发明涉及自动化及机器人技术领域，具体地涉及一种配网带电作业机器人电力线实时姿态估计方法。


背景技术：

2.在现有的机器人进行配网带电作业中，对于在室外强光下的电力线识别定位一直是一个问题。由于室外不同天气下光照强度不一致，使用rgb相机拍摄得到的是较为灰暗的图像，无法准确进行图像的目标电力线的识别分割。常用的导线分割方法有很多种，整体大致可以分为两类，一类是通过电力线周围背景的颜色和电力线颜色的区别进行阈值分割，基于颜色的区域生长的分割等；另一类是通过深度学习的方法进行分割。这两种方法较为简单，但受背景以及图片整体颜色影响较大，对电力线的识别定位还是不太准确。


技术实现要素：

3.本发明实施例的目的是提供一种配网带电作业机器人电力线实时姿态估计方法，该方法可以实现对配电网场景的多电力线进行实时姿态估计。
4.为了实现上述目的，本发明实施例提供一种配网带电作业机器人电力线实时姿态估计方法，所述方法包括：
5.获取电力线的rgb图像和深度图；
6.根据所述rgb图像和所述深度图获取关于所述电力线的点云图；
7.将关于所述电力线的rgb图像输入至训练好的所述mask r-cnn模型中，以获取关于所述电力线的掩模；
8.获取所述电力线的掩模在所述rgb图像中的第一像素区域；
9.获取所述点云图中每个点云的第二像素区域；
10.将所述第一像素区域和所述第二像素区域进行匹配，得到与所述掩膜对应的点云以作为第一点云；
11.根据所述rgb图像判断所述电力线是否为直线；
12.在判断所述电力线为直线的情况下，通过ransac算法对所述第一点云进行拟合，以拟合成直线，且得到所述直线的单位空间向量；
13.获取所述掩模的第二重心；
14.将所述掩模的第二重心的像素点在所述第一点云的位置作为所述直线的位置，且所述直线的位置和所述电力线的位置相同。
15.可选地，在判断所述电力线不是直线的情况下，通过b样条曲线对所述第一点云进行拟合，以得到所述电力线的姿态。
16.可选地，在判断所述电力线不是直线的情况下，通过b样条曲线对所述第一点云进行拟合，以得到所述电力线的姿态包括：
17.获取关于所述电力线的第一点云；
18.将关于所述电力线的第一点云进行区域划分；
19.计算每个区域内所有的所述第一点云的第一重心；
20.将所述第一重心代表区域内所有的所述第一点云；
21.获取每个区域内的所述第一重心，将所述第一重心按照x轴方向排序；
22.将排序好的所述第一重心的坐标带入进1段3次的b样条曲线的公式(1)中确定控制点的三维坐标：
[0023][0024]
其中，[xi,yi,zi]代表所述控制点pi(i＝0,1,2,...,n)的三维坐标，t为所述b样条曲线的单参数，且t在预设阈值内变动，x(t)、y(t)、y(t)为所述第一重心的三维坐标，f
j，k
(t)为所述b样条曲线的基函数，j为所述基函数的序号，k为所述基函数的次数，j∈[0，3]，k＝3；
[0025]
根据所述控制点的三维坐标和公式(2)得到所述电力线的姿态：
[0026][0027]
其中，p(t)为所述电力线的姿态。
[0028]
可选地，获取所述掩模的第二重心包括：
[0029]
获取所述掩模的灰度值；
[0030]
根据公式(3)获取所述掩模的图像的零阶矩和一阶矩；
[0031][0032]
其中，v(r，s)表示所述掩模的图像在(r，s)点上的灰度值，m
00
表示所述掩模的图像的零阶矩，m
10
、m
01
表示所述掩模的图像的一阶矩；
[0033]
根据公式(4)求取所述掩模的第二重心：
[0034][0035]
其中，(xc，yc)为所述掩模的第二重心。
[0036]
可选地，所述方法包括：
[0037]
获取不同条件下的所述电力线的图像；
[0038]
构建初始mask r-cnn模型；
[0039]
将所述电力线的图像输入至所述初始mask r-cnn模型中以对所述初始mask r-cnn模型进行训练。
[0040]
可选地，获取不同条件下的所述电力线的图像包括：获取白天晴天各个时间段光照条件下的所述电力线的图像和在阴天弱光条件下所述电力线的图像。
[0041]
可选地，所述方法包括：
[0042]
获取关于所述电力线的第一点云；
[0043]
获取通过所述ransac算法得到的直线的拟合中心线；
[0044]
根据公式(5)获取所有所述第一点云到所述拟合中心线的平均距离：
[0045][0046]
其中，是通过ransac算法得到的所述拟合中心线，m
l
(x
l
，y
l
，z
l
)是所述拟合中心线上的一个点，mae为所有所述第一点云到所述拟合中心线的平均距离，是所述拟合中心线的单位空间向量，dn是点pn(x
pn
，y
pn
，z
pn
)到所述拟合中心线的距离；
[0047]
根据所述第一点云到所述拟合中心线的平均距离和公式(6)获取所述电力线的直径：
[0048][0049]
其中，d为所述电力线的直径。
[0050]
可选地，所述电力线的rgb图像和深度图通过双目相机获取。
[0051]
通过上述技术方案，本发明提供的一种配网带电作业机器人电力线实时姿态估计方法通过获取在同一帧下关于电力线的rgb图像和深度图，并根据rgb图像和深度图获取关于该电力线的点云图，在将该rgb图像输入至mask r-cnn模型后可以得到关于电力线的掩模，然后将该掩模和点云图匹配以得到关于电力线的点云，并将该关于电力线的点云进行拟合，以实现对电力线的姿态的估计。
[0052]
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0053]
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
[0054]
图1是根据本发明的一个实施方式的一种配网带电作业机器人电力线实时姿态估计方法的流程图；
[0055]
图2是根据本发明的一个实施方式的一种配网带电作业机器人电力线实时姿态估计方法的电力线非直线时获取电力线的姿态的流程图；
[0056]
图3是根据本发明的一个实施方式的一种配网带电作业机器人电力线实时姿态估计方法的获取第二重心的流程图；
[0057]
图4是根据本发明的一个实施方式的一种配网带电作业机器人电力线实时姿态估计方法的获取训练后的mask r-cnn模型的流程图；
[0058]
图5是根据本发明的一个实施方式的一种配网带电作业机器人电力线实时姿态估计方法的获取电力线的直径的流程图；
[0059]
图6是根据本发明的一个实施方式的一种配网带电作业机器人电力线实时姿态估计方法的配电网场景下的直线电力线；
[0060]
图7是根据本发明的一个实施方式的一种配网带电作业机器人电力线实时姿态估计方法的配电网场景下的弯曲电力线。
具体实施方式
[0061]
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
[0062]
图1是根据本发明的一个实施方式的一种配网带电作业机器人电力线实时姿态估计方法的流程图。在本发明中，获取电力线的姿态的方法可以包括：
[0063]
在步骤s1中，获取电力线的rgb图像和深度图。
[0064]
在步骤s2中，根据rgb图像和深度图获取关于电力线的点云图。
[0065]
在步骤s3中，将关于电力巷的rgb图像输入至训练好的mask r-cnn模型中，以获取关于电力线的掩模。
[0066]
在步骤s4中，获取电力线的掩模在rgb图像中的第一像素区域。
[0067]
在步骤s5中，获取点云图中每个点云的第二像素区域。
[0068]
在步骤s6中，将第一像素区域和第二像素区域进行匹配，得到与掩模对应的点云以作为第一点云。
[0069]
在步骤s7中，根据rgb图像判断电力线是否为直线。
[0070]
在步骤s8中，在判断电力线为直线的情况下，通过ransac算法对第一点云进行拟合，以拟合成直线，且得到直线的单位空间向量。
[0071]
在步骤s9中，获取掩模的第二重心。
[0072]
在步骤s10中，将掩模的第二重心的像素点在第一点云的位置作为直线的位置，且直线的位置和电力线的位置相同。
[0073]
在本发明中，获取同一帧下的电力线的rgb图像和对应的深度图后，根据获取到的rgb图像和深度图获取关于电力线的点云图。电力线的数量可以是一个，也可以是多个。将该rgb图像输入至训练好的mask r-cnn模型中，可以获取该电力线的掩模，该掩模就是该电力线在该rgb图像中占据的像素区域。因为该点云图由rgb图像和深度图求得，因此，该点云图中的所有的点云在rgb图像中都有相应的像素区域，则掩模可以和点云图中的点云进行匹配，在获取掩模对应的第一像素区域和每个点云的第二像素区域后，将第一像素区域和第二像素进行匹配，可以得到与该掩模对应的点云，该点云可以是第一点云，该第一点云是关于该电力线的点云。在获得第一点云后，可以根据获取的rgb图像判断该电力线是否是直线。如图6所示，若该电力线是架空线路上的主线，被拉的比较值，此时可以将该电力线视为直线求解其姿态，可以通过ransac算法对该第一点云进行拟合，以将该第一点云拟合成直线，并且经过ransac算法拟合后，可以得到该直线的单位空间向量，该单位空间向量可以是该电力线的单位空间向量。在得到该电力线的单位空间向量后，可以获取关于该电力线的掩模的第二重心，因为该第二重心的像素点的位置可以和第一点云中的像素区域位置对应，因此，可以将该掩模的第二重心的像素点在该第一点云的位置作为该直线的位置，因为该直线为关于电力线的第一点云拟合的，则该直线的位置可以和电力线的位置相同，则该掩模的重心的像素点在第一点云中的位置可以作为该电力线的位置。
[0074]
在本发明的一个实施方式中，如图1所示，在判断电力线不是直线的情况时，也可以得到该电力线的姿态。
[0075]
在步骤s11中，通过b样条曲线第一点云进行拟合，以得到电力线的姿态。
[0076]
如图7所示，当电力线是断开悬垂状态，则电力线是自然弯曲的，不能使用ransac
算法对第一点云进行拟合，也不能使用该算法求解该电力线的姿态，此时，可以使用b样条曲线对该第一点云进行拟合，然后得到该电力线的曲线方程，此时该电力线的曲线方程可以表示该电力线的姿态。
[0077]
在本发明的一个实施方式中，如图2所示，通过b样条曲线对第一点云进行拟合，以得到电力线的姿态包括：
[0078]
在步骤s12中，获取关于电力线的第一点云。
[0079]
在步骤s13中，将关于电力线的第一点云进行区域划分。
[0080]
在步骤s14中，计算每个区域内所有的第一点云的第一重心。
[0081]
在步骤s15中，将第一重心代表区域内所有的第一点云。
[0082]
在步骤s16中，获取每个区域内的第一重心，将第一重心按照x轴方向排序。
[0083]
在步骤s17中，将排序好的第一重心坐标带入进1段3次的b样条曲线段的公式(1)中，确定控制点的三维坐标：
[0084][0085]
其中，[xi,yi,zi]代表控制点pi(i＝0,1,2,...,n)的三维坐标，t为b样条曲线的单参数，且t在预设阈值内变动，x(t)、y(t)、y(t)为第一重心的三维坐标，f
j,k
(t)为b样条曲线的基函数，j为所述基函数的序号,k为所述基函数的次数，j∈[0,3]，k＝3。
[0086]
在步骤s18中，根据控制点的三维坐标和公式(2)得到电力线的姿态：
[0087][0088]
其中，p(t)为电力线的姿态。
[0089]
在本发明中，当电力线是自然弯曲的状态时，则不能直接使用ransac算法对第一点云进行拟合，因此，可以通过b样条曲线对第一点云进行拟合。可以获取关于该电力线的第一点云，将该第一点云进行区域划分，每个区域的范围是相同的，因此可以计算在该区域内的所有的点云的第一重心，该第一重心可以代表该区域内的所有的第一点云。因此，在获取每个区域的第一重心，然后将该第一重心进行排序后可以得到表示点云中心线变化趋势的离散点曲线。该点云中心线变化趋势的离散点曲线可以表示该电力线，也可以表示该b样条曲线，因此，可以将这些第一重心的坐标带入进1段3次的b样条曲线的公式(1)中确定控制点的三维坐标。该b样条曲线可以代表该电力线的姿态。通过公式(1)可以求出该b样条曲线的控制点的三维坐标，然后将该控制点的三维坐标带入进公式(2)中可以得到该b样条曲线的参数方程，该b样条曲线的方程可以代表该电力线的姿态。
[0090]
在本发明的一个实施方式中，如图3所示，获取该掩模的第二重心可以包括：
[0091]
在步骤s19中，获取掩模的灰度值。
[0092]
在步骤s20中，根据公式(3)或获取掩模的图像的零阶矩和一阶矩：
[0093]
[0094]
其中，v(r，s)表示掩模的图像在(r，s)点上的灰度值，m
00
表示掩模的图像的零阶矩，m
10
、m
01
表示掩模的图像的一阶矩。
[0095]
在步骤s21中，根据公式(4)求取掩模的第二重心：
[0096][0097]
其中，(xc，yc)为掩模的第二重心。
[0098]
在本发明中，通过mask r-cnn模型得到的各个掩模的图像已经是单通道二值图，因此，可以通过该掩模的图像的零阶矩和一阶矩来求取该掩模的重心。因为点云图的前二维度和rgb图像的前2维度的大小是一致的，因此，在求取第二重心以后，可以在点云图中寻找与该第二重心一致的点云，然后可以用该点云的位置代表该点云所在的直线的位置。
[0099]
在本发明的一个实施方式中，如图4所示，训练该mask r-cnn模型可以包括：
[0100]
在步骤s22中，获取不同条件下的电力线的图像。
[0101]
在步骤s23中，构建初始mask r-cnn模型。
[0102]
在步骤s24中，将电力线的图像输入至初始mask r-cnn模型中，以对初始mask r-cnn模型进行训练。
[0103]
数据集数据的数量和丰富程度很大程度上会影响深度学习训练结果的准确度。在本发明中，初始mask r-cnn模型在未经训练前，在对图像分割时，输出的掩模可能不符合标准，因此，需要将不同环境，不同条件下的电力线的图像输入至该初始mask r-cnn模型中，以对该初始mask r-cnn模型模型进行训练，以使得将关于电力线的图像输入训练后的mask r-cnn模型后，该mask r-cnn模型能够输出符合标准的关于电力线的掩模。
[0104]
在本发明的一个实施方式中，在获取电力线的图像时，可以通过乘坐斗臂车的绝缘斗上升至电力线的下方，手持相机采集电力线的图像。在该图像中的电力线的数量在1到6根之间，拍摄距离在0.5米至3米之间。拍摄的图像可以包括白天各个时间段光照条件下的情形，同时包括阴天弱光条件下的情形。该图像的背景大多数可以是以天空为主，同时可以包含以树枝、树叶以及以建筑为背景的照片。
[0105]
在本发明的一个实施方式中，当判断该电力线为直线的情况下，求取该电力线的直径可以包括：
[0106]
在步骤s25中，获取关于电力线的第一点云。
[0107]
在步骤s26中，获取通过ransac算法得到的直线的拟合中心线。
[0108]
在步骤s27中，根据公式(5)获取所有第一点云到拟合中心线的平均距离：
[0109][0110]
其中，是通过ransac算法得到的拟合中心线，m
l
(x
l
,y
l
,z
l
)是拟合中心线上的一个点，mae为所有第一点云到拟合中心线的平均距离，是拟合中心线的单位空间向量，dn是点pn(x
pn
,y
pn
,z
pn
)到拟合中心线的距离。
[0111]
在步骤s28中，根据第一点云到拟合中心线的平均距离和公式(6)获取电力线的直径：
[0112]
[0113]
其中，d为电力线的直径。
[0114]
由于电力线的外形属于窄条状黑色低纹理物体，通过rgb图像和深度图得到的点云并不是半个圆柱体，而是呈现条状的平面点云。当通过ransac算法得到直线的拟合中心线后，可以根据公式(5)求取该电力线的第一点云到该拟合中心线的平均距离。因为该第一点云可以呈相对于该拟合中心线对称，因此，当该电力线处于接近直线的情况下，可以通过该第一点云到拟合中心线的平均距离和公式(6)求取该电力线的直径。
[0115]
在本发明的一个实施方式中，工作人员可以通过双目相机获取电力线的rgb图像和深度图。工作人员在通过双目相机获取电力线的rgb图像和深度图时，可以将该双目相机的两个摄像头完全平行放置，并且焦距相同，以获取同一帧下的关于电力线的rgb图像和深度图。
[0116]
通过上述技术方案，本发明提供的一种配网带电作业机器人电力线实时姿态估计方法通过获取在同一帧下关于电力线的rgb图像和深度图，并根据rgb图像和深度图获取关于该电力线的点云图，在将该rgb图像输入至mask r-cnn模型后可以得到关于电力线的掩模，然后将该掩模和点云图匹配以得到关于电力线的点云，并将该关于电力线的点云进行拟合，以实现对电力线的姿态的估计。
[0117]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0118]
以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。