基于点云及关键点追踪技术的输电线路导线舞动监测方法与流程

1.本发明属于输电线路智能运检技术领域，尤其涉及一种基于点云及关键点追踪技术的输电线路导线舞动监测方法。


背景技术：

2.输电线路分布广泛且场景复杂，在北方地区的冬季，受大风、低温、降水等恶劣天气的影响，输电线路架空导线容易发生异常舞动的现象，尤其是导线覆冰，增加了导线舞动发生的概率和危害。为及时发现并处理导线舞动的情况，当前常用的技术手段有实时监控、加速度传感器和图像处理等方法。通过监拍设备实时监控的方式能够及时发现导线舞动的情况，但该方式需要大量的人工成本，且对监拍设备自身的续航能力要求较高。通过基于加速度传感器的方式检测导线舞动，采集的数据精准，检测的灵敏度较高，缺点是容易受交变磁场、温度等因素的影响，且需要在停电条件下安装，安装较为复杂。通过图像处理的方式，可以较好地解决人工成本高和安装困难的问题，能够较为容易的提取导线并进行导线舞动分析，但此方法的精度较差，仅基于图像或视频难以精确地计算导线舞动振幅。
3.本背景技术所公开的上述信息仅仅用于增加对本技术背景技术的理解，因此，其可能包括不构成本领域普通技术人员已知的现有技术。


技术实现要素：

4.本发明针对上述问题，设计并提供一种基于点云及关键点追踪技术的输电线路导线舞动监测方法，旨在提高检测效率及准确度，并降低成本，达到及时管控输电线路舞动隐患的目的。
5.为实现上述发明目的，本发明采用下述技术方案予以实现：
6.基于点云及关键点追踪技术的输电线路导线舞动监测方法，所述方法包括以下步骤：
7.获取监拍设备拍摄的输电线路视频并抽取至少一帧检测帧图像；
8.采集输电通道内的点云图像，点云图像的覆盖范围与输电线路视频的视角范围至少有部分重叠；
9.配准所述检测帧图像和点云图像，将点云图像投影到检测帧图像中；
10.在检测帧图像中选取若干个有效检测区域，任一所述有效检测区域中均包括目标导线，计算有效检测区域与实际物理距离的转换比例；
11.在有效检测区域内采用双峰阈值法提取有效检测区域内的导线图像；
12.计算所述导线图像的强角点并将强角点作为导线关键点；
13.通过光流法在输电线路视频中跟踪导线关键点，记录跟踪的导线关键点坐标，组成跟踪坐标点序列k；
14.对跟踪坐标点序列k进行高斯滤波处理，得到滤波坐标序列p；
15.对滤波坐标序列p进行傅里叶变换，计算像素变化的振幅和频率；
16.生成导线关键点的舞动曲线；
17.计算像素变化的振幅与转换比例的乘积，得到实际振幅。
18.进一步的，所述在有效检测区域内采用双峰阈值法提取有效检测区域的导线图像的步骤包括：
19.计算有效检测区域的灰度直方图，获取灰度直方图双峰的位置；
20.以灰度直方图双峰峰谷进行阈值分割，小于阈值的区域灰度值设置为0，大于阈值的区域灰度值设置为255；
21.将设置区域灰度值后的灰度直方图作为有效检测区域内的导线图像输出。
22.进一步的，所述在有效检测区域内采用双峰阈值法提取有效检测区域的导线图像的步骤还包括：
23.对设置区域灰度值后提取出的图像进行腐蚀处理，并将腐蚀处理后的图像作为有效检测区域内的导线图像输出。
24.进一步的，所述计算有效检测区域与实际物理距离的转换比例的步骤包括：
25.获取有效检测区域的深度，记为z；
26.获取监拍设备的相机内参fy；
27.转换比例r满足：
[0028][0029]
进一步的，在所述计算有效检测区域与实际物理距离的转换比例的步骤中，以所述有效检测区域内一点的深度作为所述有效检测区域的深度。
[0030]
进一步的，所述通过光流法在输电线路视频中跟踪导线关键点，记录跟踪的关键点坐标，组成跟踪坐标点序列k的步骤包括：将导线关键点的坐标作为初始关键点坐标；使用lucas-kanada光流算法计算得到沿着时间方向的新的特征点坐标，并将新的特征点的坐标作为下一次光流计算的坐标输入，迭代循环得到多个特征点坐标，并组成坐标序列k。
[0031]
进一步的，所述对滤波坐标序列p进行傅里叶变换，计算像素变化的振幅和频率的步骤包括：
[0032]
对滤波坐标序列p进行快速傅里叶变换得到频谱q；
[0033]
对频谱q进行逆傅里叶变换得到频谱q1；
[0034]
从频谱q1中得到导线舞动的频率，根据导线舞动的频率计算舞动周期；
[0035]
计算频谱q1中每一个舞动周期内的像素变化的极大值和极小值，并记录极大值和极小值出现的帧。
[0036]
与现有技术相比，本发明的优点和积极效果是：
[0037]
1)本发明基于图像处理的算法监测导线舞动，相较于实施监控的巡检方法，明显提升了对输电线路舞动的管控力度，降低人工成本，相较于基于加速度传感器的方法，安装简便，适用于更多的场景。
[0038]
2)本发明采用点云与图像映射的方式计算像素与真实距离的转换比例，弥补了基于经验估测或导线实际宽度与像素比例转换导致误差较大的缺陷。
[0039]
3)本发明在原有的光流法基础上增加了提取导线的操作，使得导线更加明显，降低关键点跟踪误差。
[0040]
结合附图阅读本发明的具体实施方式后，本发明的其他特点和优点将变得更加清楚。
附图说明
[0041]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0042]
图1为根据本技术一些实施方式所提供的基于点云及关键点追踪技术的输电线路导线舞动监测方法的流程图；
[0043]
图2为根据本技术一些实施方式所提供的基于点云及关键点追踪技术的输电线路导线舞动监测方法一个具体实例中的检测帧图像；
[0044]
图3为根据本技术一些实施方式所提供的基于点云及关键点追踪技术的输电线路导线舞动监测方法一个具体实例中的点云图像；
[0045]
图4为根据本技术一些实施方式所提供的基于点云及关键点追踪技术的输电线路导线舞动监测方法一个具体实例中的配准图像；
[0046]
图5为根据本技术一些实施方式所提供的基于点云及关键点追踪技术的输电线路导线舞动监测方法一个具体实例中第一有效检测区域的导线图像；
[0047]
图6为根据本技术一些实施方式所提供的基于点云及关键点追踪技术的输电线路导线舞动监测方法一个具体实例中第二有效检测区域的导线图像；
[0048]
图7为根据本技术一些实施方式所提供的基于点云及关键点追踪技术的输电线路导线舞动监测方法一个具体实例中第一有效检测区域导线关键点的舞动曲线；
[0049]
图8为根据本技术一些实施方式所提供的基于点云及关键点追踪技术的输电线路导线舞动监测方法一个具体实例中第二有效检测区域导线关键点的舞动曲线。
具体实施方式
[0050]
为了使本发明的目的、技术方案及优点更加清楚明白，以下将结合附图和实施例，对本发明作进一步详细说明。
[0051]
需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“竖”、“横”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0052]
本技术提供一种基于点云及关键点追踪技术的输电线路导线舞动监测方法，旨在提高检测效率及准确度并降低成本，达到及时管控输电线路舞动隐患的目的。本技术所提供的基于点云及关键点追踪技术的输电线路导线舞动监测方法具体包括如图1所示的多个步骤。
[0053]
步骤s10：获取监拍设备拍摄的输电线路视频，并将输电线路视频转换为多帧帧图像。在转换出的多帧帧图像中选择若干检测帧图像。在可选的实施方式中，选择出的检测帧图像优选为无云、烟、雾遮挡的图像。
[0054]
步骤s11：采集输电通道内的点云图像。点云图像由激光雷达采集，点云图像的输出数据包括但不限于三维空间坐标、反射强度以及时间戳，点云图像的视野覆盖范围包括至少两座杆塔以及杆塔之间的完整导线，点云图像的视野覆盖范围与输电线路视频的视角范围至少部分重叠。
[0055]
步骤s12：配准检测帧图像和点云图像，将点云图像投影到检测帧图像中。
[0056]
更具体地说，在本技术的一些实施方式中，基于检测帧图像和点云图像的配准关系配准检测帧图像和点云图像，配准后将点云图像中的点投影到检测帧图像中，并赋予投影点更新的颜色参数。
[0057]
在实际使用环境中，监拍设备和激光雷达的数据各有优劣，仅仅凭其中一者无法实现精确高效的检测，需要将帧图像和点云图像融合以增强监拍设备的感知能力，克服其各自的局限性，优势互补。
[0058]
在本技术的一些实施方式中，在点云图像中标定监拍设备，以监拍设备的所在位置作为参考点进行标定，使得检测帧图像和点云图像重合，即求解出检测帧图像和点云图像的配准关系。
[0059]
更具体地说：
[0060]
配准关系基于相机坐标系与世界坐标系的转换公式得到，相机坐标系与世界坐标系之间的转换公式可以表示为：
[0061]
p1＝(p-t)
·r[0062]
在上式中，p代表世界坐标系中的三维点，p1代表相机坐标系中的三维点，也就是说，通过求解平移向量t和旋转矩阵r即可以得到检测帧图像和点云图像的配准关系。
[0063]
而像素坐标系与相机坐标系转换公式可表示为：
[0064]
u＝x
′
*f
x
/z
′
+c
x
[0065]
v＝y
′
*fy/z
′
+cy[0066]
在上式中，(u,v)代表像素坐标，(x
′
,y
′
,z
′
)代表相机坐标系中的三维点，其中z
′
代表拍摄物体平面到相机平面的距离，也即深度；f
x
、fy、c
x
、cy代表监拍设备的相机内参，即参数矩阵；其中深度信息可以由激光雷达获取的深度图像获得，也可以根据点云图像转换的深度图像获得。
[0067]
基于上述两组公式的原理，在监拍设备的相机内参已知的条件下，可以实现像素坐标系、相机坐标系和世界坐标系之间的转换，从而可以求解出平移向量t和旋转矩阵r。激光雷达所采集的点云图像与监拍设备所采集的检测帧图像之间的融合还可以采用现有技术中公开的成熟算法，例如自动驾驶领域中的相关图像处理方法，
[0068]
建立配准关系之后，可以将点云图像中的点投影到检测帧图像中，并赋予投影点更新的颜色参数，例如rgb参数,即得到融合实拍图像和深度信息的融合图像。
[0069]
步骤s13：在检测帧图像中选取若干个有效检测区域。任一有效检测区域中均包括目标导线，并且有效检测区域具有与目标导线有明显差异的良好背景。根据像素坐标系和相机坐标系的映射关系，获得有效检测区域内每一个导线像素点在相机坐标系中对应的三维坐标点，计算有效检测区域与实际物理距离额转换比例。
[0070]
在本技术一些可选的实施方式中，以有效检测区域内一点的深度作为有效检测区域的深度，即计算有效检测区域内任意一个像素点与实际物理距离的转换比例r，转换比例
r满足：
[0071][0072]
其中z代表有效检测区域的深度，也即一个像素点的深度，也即有效检测区域到监拍设备的距离，fy为相机内参。
[0073]
步骤s14:在有效检测区域内采用双峰阈值法提取有效检测区域内的导线图像。
[0074]
上述步骤s14具体包括：
[0075]
步骤s14-1：计算有效检测区域的灰度直方图，获取灰度直方图双峰的位置。
[0076]
步骤s14-2:以灰度直方图双峰峰谷进行阈值分割，小于阈值的区域灰度值设置为0，大于阈值的区域灰度值设置为255。
[0077]
步骤s14-3：将设置区域灰度值后的灰度直方图作为有效检测区域内的导线图像输出。
[0078]
在本技术一些可选的实施方式中，上述步骤s14还包括：
[0079]
步骤s14-4:对设置区域灰度值后提取出的图像进行腐蚀处理，并将腐蚀处理后的图像作为有效检测区域内的导线图像输出。
[0080]
步骤s15：计算导线图像的强角点，并将强角点作为导线关键点。
[0081]
步骤s16：通过光流法在输电线路视频中跟踪导线关键点，记录跟踪的导线关键点坐标，组成跟踪坐标点序列k。
[0082]
上述步骤s16具体包括：
[0083]
通过lucas-kanade光流法在输电线路视频中跟踪导线关键点，记录每一帧的关键点坐标，组成坐标序列k。
[0084]
上述步骤s16具体包括：
[0085]
步骤s16-1：将导线关键点的坐标作为初始关键点坐标。
[0086]
步骤s16-2：使用lucas-kanada光流算法计算得到沿着时间方向的新的特征点坐标，并将新的特征点的坐标作为下一次光流计算的坐标输入。
[0087]
步骤s16-3：迭代循环得到多个特征点坐标，并组成坐标序列k。
[0088]
光流方程可以表示为：
[0089]ix
x1+iyy1+i
t
＝0
[0090]
使用lucas-kanada方法求解光流方程时默认初始关键点坐标的灰度值不发生变化，即在当前帧中初始关键点的灰度与下一帧中该点的灰度值相同。在上式中i
x
和iy分别代表沿着x方向和y方向上的梯度，也即在x方向和y方向上的灰度变化，也就是x方向和y方向相邻像素灰度值之差；i
t
是图像沿着时间方向上的梯度，表示同在一个位置的点，在两个时刻的灰度值变化。在使用lucas-kanada方法求解光流方程时，优选可以通过设定的多个特征点，例如检测帧图像中的若干个角点建立多个线性光流方程，并解出f
x
和fy。这样，但两个时刻间隔(帧与帧之间的时间差)已知的条件下，将导线关键点的坐标作为初始关键点坐标，即可以迭代计算得到沿着时间方向的新的特征点坐标，并将新的特征点的坐标作为下一次光流计算的坐标输入，经过多次迭代循环得到多个特征点的坐标，最终组成坐标序列k。
[0091]
在本技术的一些可选的实施方式中，还可以选用其它的光流法跟踪导线关键点。
[0092]
步骤s17：对跟踪坐标点序列k进行高斯滤波处理，将高斯滤波处理后的坐标序列记作滤波坐标序列p。
[0093]
步骤s18：对滤波后的序列p进行傅里叶变换，计算像素变化的振幅和频率。
[0094]
上述步骤s18具体包括：
[0095]
步骤s18-1：对滤波坐标序列p进行快速傅里叶变换得到频谱q。
[0096]
步骤s18-2：对频谱q进行傅里叶变换得到频谱q1。
[0097]
步骤s18-3：从频谱q1中得到导线舞动的频率，根据导线舞动的频率计算舞动周期。
[0098]
步骤s18-4：计算频谱q1中每一个舞动周期内的像素变化的极大值和极小值，并记录极大值和极小值出现的帧。每一个舞动周期内像素变化的极大值和极小值即是像素变化的振幅。
[0099]
步骤s19：生成导线关键点的舞动曲线。
[0100]
步骤s20：计算像素变化的振幅与转换比例的乘积，得到实际振幅。
[0101]
本技术所提供的基于点云及关键点追踪技术的输电线路导线舞动监测方法，具有以下优点和有益效果：
[0102]
1)本发明基于图像处理的算法监测导线舞动，相较于实施监控的巡检方法，明显提升了对输电线路舞动的管控力度，降低人工成本，相较于基于加速度传感器的方法，安装简便，适用于更多的场景。
[0103]
2)本发明采用点云与图像映射的方式计算像素与真实距离的转换比例，弥补了基于经验估测或导线实际宽度与像素比例转换导致误差较大的缺陷。
[0104]
3)本发明在原有的光流法基础上增加了提取导线的操作，使得导线更加明显，降低关键点跟踪误差。
[0105]
以下给出本发明所提供的基于点云及关键点追踪技术的输电线路导线舞动监测方法的一个监测实例。
[0106]
图2为检测帧图像的一个具体示例，其中框选出的为两个有效检测区域：第一有效检测区域r1和第二有效检测区域r2。检测帧图像自输电线路视频中选择，输电线路视频每秒20帧，共315帧。
[0107]
图3为采集的输电通道内的点云图像的一个具体示例。
[0108]
在一种可选的实施方式中，监拍设备相机在点云图像中的位置标定为平移向量t，t＝[-3.60000038,0,9.1000042]。监拍设备的相机内参矩阵为常数，可以表示为：
[0109][0110]
由上述相机内参矩阵可以得到：
[0111]fx
为1.63720930e+03；fy为1.25714286e+03；c
x
为6.47000000e+02，cy为3.64000000e+02。
[0112]
旋转调整并得到旋转矩阵r。
[0113]
当旋转矩阵r满足下式时，检测帧图像和点云图像具有理想的配准效果。
[0114]
旋转矩阵r表示为：
[0115][0116]
将点云图像中的点投影到检测帧图像中，并赋予投影点更新的颜色参数(rgb值)，配准的图像如图4所示。
[0117]
获取有效检测区域的深度值，在本实施例中，第一有效检测区域和第二有效检测区域的深度值分别为61.1715、63.2419，计算第一有效检测区域和第二有效检测区域与实际距离的转换比例分别为：
[0118]
r1＝61.1715/1.25714286e+03＝0.04866
[0119]
r2＝63.2419/1.25714286e+03＝0.05031
[0120]
在有效检测区域内采用双峰阈值法提取检测区域内的导线，图5为第一有效检测区域的导线图像，图6为第二有效检测区域的导线图像。
[0121]
以第一有效检测区域为例，计算第一有效检测区域导线图像中的强角点作为导线关键点，导线关键点坐标为[530.00000000，79.00000000]。
[0122]
通过lucas-kanade光流法在输电线路视频中跟踪导线关键点，记录每一帧的关键点坐标，组成坐标序列k。
[0123]
坐标序列k满足：
[0124]
k＝[
[0125]
[530.00000000，79.00000000]
[0126]
[532.00897217，80.46961975]
[0127]
[530.55291748，78.60522461]
[0128]
[531.56463623，81.39559937]
[0129]
[531.29705811，78.72509003]
[0130]
[532.19781494，81.40917206]
[0131]
[531.65612793，79.39675903]
[0132]
[531.88897705，80.8106308]
[0133]
[532.62384033，80.33839417]
[0134]
[532.61102295，80.63100433]
[0135]
......
[0136]
]。
[0137]
对坐标序列k进行高斯滤波处理，将高斯滤波处理后的坐标序列记作滤波坐标序列p，滤波坐标序列p可表示为：
[0138]
p＝[
[0139]
[530.91901357，79.60166870]
[0140]
[531.01340800，79.67489186]
[0141]
[531.17032198，79.79638235]
[0142]
[531.35492294，79.93317942]
[0143]
[531.54771271，80.06251053]
[0144]
[531.74314881，80.17798639]
[0145]
[531.94702731，80.28517094]
[0146]
[532.17052353，80.39049217]
[0147]
[532.41700331，80.49164417]
[0148]
[532.67717017，80.57554450]
[0149]
......
[0150]
]
[0151]
对滤波后的序列p进行傅里叶变换得到频谱q
[0152]
q＝[0.00000000+0.00000000j,0.04188295-0.27216157j,-1.96076991+0.80253731j,-0.28919203+0.04149086j,0.14103947+0.06460338j,-0.19157908+0.12516596j,-0.09213347+0.08469219j,-0.19166163+0.0750948j,-0.09140031+0.10393374j,-0.01667801+0.05739859j......]
[0153]
对频谱q进行逆傅里叶变换得到q1:
[0154]
q1＝[0.00000000,0.06329114,0.12658228,0.18987342,0.25316456,0.3164557,0.37974684,0.44303797,0.50632911,0.56962025......]
[0155]
从频谱q1中得到导线舞动的频率为0.12658228，根据导线舞动的频率计算舞动周期为7.89999991秒，计算频谱q1中每一个舞动周期内像素变化的极大值和极小值，即为像素变化的振幅，记录极大值和极小值出现的帧，可以得到极大值所在帧为[91,181,247,277]，极小值所在帧为[80,96,243,250,280]。
[0156]
像素变化的振幅与转换比例r的乘积即为真实振幅。
[0157]
真实振幅可以表示为：
[0158]
[0.3689105837016053,0.3643173507559021,0.35668191652432374,0.3476992338059159,0.33831808352006915,0.3288081631382658,0.31888743518824103,0.30801210935812273,0.2960184031489561,0.28335868373882117......]。
[0159]
生成第一有效检测区域和第二有效检测区域导线关键点的舞动曲线如图7和图8所示。
[0160]
通过本实施例对视频的关键点的计算和跟踪，可以很好的跟踪导线的位置；采用导线提取、关键点跟踪技术，实现了对输电线路舞动自动监测，并分析舞动的振幅和频率，后续可根据分析结果进行舞动风险等级划分，及时发现并处理可能对输电通导线造成危害的舞动现象，增强对输电通道的管控力度。
[0161]
以上实施例仅用以说明本发明的技术方案，而非对其进行限制；尽管参照前述实施例对本发明进行了详细的说明，对于本领域的普通技术人员来说，依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明所要求保护的技术方案的精神和范围。