一种沿输电线路的隐患定位方法及终端与流程

1.本发明涉及监控技术领域，尤其涉及一种沿输电线路的隐患定位方法及终端。


背景技术：

2.目前，输电线路周围隐患位置的测距方法主要有两种。一种是无人机携带可见光或红外摄像装置进行巡检，然后人工或计算机识别图片或视频判定隐患危害；但无人机巡检无法全天候实时监测，难以对存在的隐患进行及时有效预警。另一种是在线路杆塔上安装可见光或红外摄像监测装置，该技术可全天候采集输电线路周围环境实时图像，通过测距技术判定隐患危害等级。现存的摄像机测距技术通常是基于双目测距原理，结合一个可见光摄像机和一个红外摄像机或两个红外摄像机来实现：在两个摄像机同时识别出隐患后，通过隐患在两个摄像机画面中的视差及相机内外参计算出隐患距离。但此方法应用的局限性在于双目测距要求两个摄像机的镜头中心距离在80cm~120cm之间，而受限于安装位置，当前常用的单体防山火云台的两个摄像头距离通常在50cm以内。因此基于双目测距原理的隐患定位方法无法在单体防山火云台上应用。此外，目前绝大多数的防山火云台只能监测火灾发生，而不能确定隐患火点的物理位置，这对于维护救援以及隐患对于输电线路的影响程度判断造成了一定的盲目性。


技术实现要素：

3.本发明所要解决的技术问题是：提供一种沿输电线路的隐患定位方法及终端，用于单体监控装置云台中，提高隐患评估和维护救援的及时性。
4.为了解决上述技术问题，本发明采用的技术方案为：一种沿输电线路的隐患定位方法，包括步骤：获取目标区域的点云数据以及初始图像，建立所述点云数据与初始图像之间的映射关系，生成深度图；获取待测图像，得到有效隐患信息在所述待测图像中的目标位置信息；获取所述待测图像对应的监控装置的源位置信息，根据所述深度图、目标位置信息以及源位置信息，得到隐患位置信息。
5.为了解决上述技术问题，本发明采用的另一种技术方案为：一种沿输电线路的隐患定位终端，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的一种沿输电线路的隐患定位方法的各个步骤。
6.本发明的有益效果在于：通过点云测距算法建立目标区域中初始图像与点云三维数据的映射关系，生成深度图，当已知隐患在待测图像中的坐标时，通过深度图即可得到隐患与待测图像所对应的监控装置的距离，实现隐患的距离定位，最后结合监控装置的源位置信息、待测图像中的目标位置信息以及距离，计算出隐患的地理位置。这种基于监控装置的测距方式，精度高，并且算法简单，计算效率高，能够在发现隐患的第一时间内获取隐患
位置信息，提高隐患评估和维护救援的及时性。
附图说明
7.图1为本发明实施例提供的一种沿输电线路的隐患定位方法的步骤流程图；图2为本发明实施例提供的一种沿输电线路的隐患定位方法的定位效果图；图3为本发明实施例提供的隐患监测装置的程序流程图；图4为本发明实施例提供的一种沿输电线路的隐患定位终端的结构示意图；标号说明：1、一种沿输电线路的隐患定位终端；2、存储器；3、处理器。
具体实施方式
8.为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
9.请参照图1，本发明实施例提供了一种沿输电线路的隐患定位方法，包括步骤：获取目标区域的点云数据以及初始图像，建立所述点云数据与初始图像之间的映射关系，生成深度图；获取待测图像，得到有效隐患信息在所述待测图像中的目标位置信息；获取所述待测图像对应的监控装置的源位置信息，根据所述深度图、目标位置信息以及源位置信息，得到隐患位置信息。
10.从上述描述可知，本发明的有益效果在于：通过点云测距算法建立目标区域中初始图像与点云三维数据的映射关系，生成深度图，当已知隐患在待测图像中的坐标时，通过深度图即可得到隐患与待测图像所对应的监控装置的距离，实现隐患的距离定位，最后结合监控装置的源位置信息、待测图像中的目标位置信息以及距离，计算出隐患的地理位置。这种基于监控装置的测距方式，精度高，并且算法简单，计算效率高，能够在发现隐患的第一时间内获取隐患位置信息，提高隐患评估和维护救援的及时性。
11.进一步的，所述获取目标区域的点云数据以及初始图像，建立所述点云数据与初始图像之间的映射关系，生成深度图包括：获取目标区域的点云数据；通过所述监控装置获取目标区域的初始图像；选取所述初始图像的特征点并记录所述特征点的二维坐标；在所述点云数据中获取所述特征点的三维坐标；获取所述监控装置预设的内参矩阵，根据所述二维坐标、三维坐标以及内参矩阵求解所述监控装置的位姿旋转矩阵以及平移向量；根据所述内参矩阵、位姿旋转矩阵以及平移向量建立所述点云数据与初始图像之间的映射关系，生成深度图。
12.由上述描述可知，通过无人机获取安装有监控装置周围环境的点云数据，同时通过监控装置获取周围环境的初始图像，通过特征点确定初始图像与点云数据之间的映射关系，从而生成深度图；而根据深度图即可获取到初始图像中对应坐标点与监控装置之间的距离关系，即只要得到隐患在待测图像中的坐标点，就可得到隐患距离当前监控装置有多
远，由此，便能够计算隐患的地理位置。这种隐患定位方式，结合监控装置的图像特性，将检测与定位功能一步到位，提高维护救援的及时性。
13.进一步的，所述根据所述内参矩阵、位姿旋转矩阵以及平移向量建立所述点云数据与初始图像之间的映射关系，生成深度图具体为：；；其中，d为所述点云数据中其中一个点a的深度值；（x，y，z）为所述点a的三维坐标；（u，v）为所述点a的二维坐标；s为尺度因子；m为内参矩阵；r为位姿旋转矩阵；t为平移向量。
14.由上述描述可知，基于监控装置内部的参数关系，建立点云数据与初始图像之间的像素点坐标的映射关系，从而实现将点云数据的三维数据写入图像中，则通过监控装置获取的初始图像即可得到深度值，这种定位方式不仅适用于带全景摄像头的监控装置，而且算法简单，精确度较高。
15.进一步的，所述生成深度图之后还包括：获取所述深度图未生成深度值的像素点，对所述像素点进行插值处理。
16.由上述描述可知，由于点云数据的点密度与初始图像的点密度并不匹配，因此，在所有点云数据完成映射后，初始图像中仍然有部分像素点并不具有对应的深度值，此时，深度图为镂空状态，所以需要对深度图进行插值处理，使得深度图中每一像素点都有对应的深度值，从而保证隐患定位算法的精确性。
17.进一步的，所述监控装置包括全景监控装置和云台监控装置；所述初始图像以及待测图像均通过所述全景监控装置获取；所述获取待测图像，得到有效隐患信息在所述待测图像中的目标位置信息包括：根据所述有效隐患信息调整所述云台监控装置的云台角度，使得隐患位置位于所述云台监控装置的监控范围，将所述云台角度标记为第一位置信息，根据所述第一位置信息获取待测图像；根据所述全景监控装置与所述云台监控装置之间的映射关系，得到所述有效隐患信息在所述待测图像中的目标位置信息。
18.由上述描述可知，当监控装置通过隐患检测算法获取到有效隐患信号后，则转动云台监控装置，使得有效隐患目标位于云台监控装置的监控范围，将云台监控装置的监控方向作为隐患的第一位置信息，而后通过云台监控装置与全景监控装置之间的坐标映射关系，转换得到全景监控装置所对应的监控方向，通过全景监控装置的监控方向获取隐患在待测图像中的对应位置。本发明将原本繁琐复杂的隐患定位计算简化为云台监控装置与全景监控装置之间的坐标转换，降低算法的运算难度，提高了运算效率。此外，这种测距方式不受双目测距原理中镜头的距离限制，其适用场景更广。
19.进一步的，所述全景监控装置包括多个监控端口；所述待测图像包括多个子图像，每一所述子图像对应一个监控端口；所述获取待测图像，得到有效隐患信息在所述待测图像中的目标位置信息具体
为：对多个监控端口与所述云台监控装置进行联动标定，建立多个监控端口与所述云台监控装置之间的映射关系；根据所述有效隐患信息调整所述云台监控装置的云台角度，使得隐患位置位于所述云台监控装置的监控范围，将所述云台角度标记为第一位置信息；根据所述第一位置信息的水平坐标确定所述有效隐患信息对应的监控端口，并根据所述监控端口选取对应的子图像；根据所述监控端口与所述云台监控装置之间的映射关系获取所述有效隐患信息在所述子图像中的目标位置信息。
20.由上述描述可知，待测图像一般由多个子图像拼接生成，而每一子图像对应着不同角度的拍摄方位，先将拍摄子图像的监控端口与云台监控装置建立映射关系后，则通过云台监控装置的监控方向可以快速锁定对应监控方向的监控端口，从而获取其子图像，实现隐患在待测图像中的快速定位，且分图定位的方式减少了画面中的干扰因素，提高隐患定位精度。
21.进一步的，所述目标位置信息包括水平方位角；所述隐患位置信息包括经度和纬度；所述获取所述待测图像对应的监控装置的源位置信息，根据所述深度图、目标位置信息以及源位置信息，得到隐患位置信息包括：根据所述深度图获取所述目标位置信息对应的深度值；获取所述待测图像对应的监控装置的源位置信息；根据所述深度值、水平方位角以及源位置信息，得到隐患位置信息：；；其中，lng为隐患位置信息的经度；lat为隐患位置信息的纬度；（lng0，lat0）为所述源位置信息；angle为水平方位角；d为深度值。
22.由上述描述可知，基于监控装置自身的经纬度位置信息，结合云台监控装置捕捉有效隐患目标时所得到的方位角以及待测图像的深度值，即可推算出当前的隐患地理位置。本发明所采用的隐患定位方式是基于监控装置的摄像特性，以云台监控装置和全景监控装置所获取的待测图像作为媒介进行定位，不受双目测距原理的距离限制，不仅能够降低隐患定位算法的难度，而且能够保证定位的精度。
23.进一步的，所述使得隐患位置位于所述云台监控装置的监控范围具体为：使得隐患位置位于所述云台监控装置的监控范围的中心或角点。
24.由上述描述可知，将隐患调整至监控范围的固定位置，便于捕捉隐患的准确位置。
25.进一步的，所述建立所述点云数据与初始图像之间的映射关系具体为：将所述点云数据映射至所述初始图像中。
26.由上述描述可知，将点云数据映射至初始图像中，便于云台监控装置与图像坐标之间的转换以及深度值的计算。
27.请参照图4，本发明另一实施例提供了一种沿输电线路的隐患定位终端，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的一种沿输电线路的隐患定位方法的各个步骤。
28.本发明实施例提供了一种沿输电线路的隐患定位方法及终端，可应用于具有全景监控装置的双光（红外光相机和可见光相机）监控云台设备中，实现在目标环境中对异常事件的监测，例如监测输电线路零部件的运行以及是否发生火灾等场景中，提高隐患评估和维护救援的及时性，以下通过具体实施例来说明：请参照图1，本发明的实施例一为：一种沿输电线路的隐患定位方法，包括步骤：s1、获取目标区域的点云数据以及初始图像，建立所述点云数据与初始图像之间的映射关系，生成深度图。
29.其中，所述s1包括：s11、获取目标区域的点云数据；s12、通过所述监控装置获取目标区域的初始图像；s13、选取所述初始图像的特征点并记录所述特征点的二维坐标；s14、在所述点云数据中获取所述特征点的三维坐标；s15、获取所述监控装置预设的内参矩阵，根据所述二维坐标、三维坐标以及内参矩阵求解所述监控装置的位姿旋转矩阵以及平移向量；s16、根据所述内参矩阵、位姿旋转矩阵以及平移向量建立所述点云数据与初始图像之间的映射关系，生成深度图。
30.具体的，所述s16具体为：；；其中，d为所述点云数据中其中一个点a的深度值；（x，y，z）为所述点a的三维坐标；（u，v）为所述点a的二维坐标；s为尺度因子；m为内参矩阵；r为位姿旋转矩阵；t为平移向量。
31.所述s16之后还包括：s17、获取所述深度图未生成深度值的像素点，对所述像素点进行插值处理。
32.s2、获取待测图像，得到有效隐患信息在所述待测图像中的目标位置信息。
33.s3、获取所述待测图像对应的监控装置的源位置信息，根据所述深度图、目标位置信息以及源位置信息，得到隐患位置信息。
34.其中，所述监控装置包括全景监控装置和云台监控装置；所述初始图像以及待测图像均通过所述全景监控装置获取。需要说明的是，所述初始图像为不包含隐患目标的常态化检测图像；所述待测图像为包含隐患目标的初始图像。
35.所述s2包括：
s21、根据所述有效隐患信息调整所述云台监控装置的云台角度，使得隐患位置位于所述云台监控装置的监控范围，将所述云台角度标记为第一位置信息，根据所述第一位置信息获取待测图像；即所述第一位置信息为所述云台监控装置监控方向的经纬度。根据所述有效隐患信息将隐患位置调整至所述云台监控装置的监控范围内的特定位置，所述特定位置包括但不限于监控范围的画面中心、监控范围的角点等。
36.s22、根据所述全景监控装置与所述云台监控装置之间的映射关系，得到所述有效隐患信息在所述待测图像中的目标位置信息。
37.其中，所述目标位置信息为所述待测图像中的像素点坐标。
38.具体的，所述全景监控装置包括多个监控端口；所述待测图像包括多个子图像，每一所述子图像对应一个监控端口。
39.所述s22包括：s221、对多个监控端口与所述云台监控装置进行联动标定，建立多个监控端口与所述云台监控装置之间的映射关系；s222、根据所述有效隐患信息调整所述云台监控装置的云台角度，使得隐患位置位于所述云台监控装置的监控范围，将所述云台角度标记为第一位置信息；s223、根据所述第一位置信息的水平坐标确定所述有效隐患信息对应的监控端口，并根据所述监控端口选取对应的子图像；s224、根据所述监控端口与所述云台监控装置之间的映射关系获取所述有效隐患信息在所述子图像中的目标位置信息。
40.具体的，所述目标位置信息包括水平方位角；所述隐患位置信息包括经度和纬度。
41.所述s3包括：s31、根据所述深度图获取所述目标位置信息对应的深度值；s32、获取所述待测图像对应的监控装置的源位置信息；其中，所述源位置信息为所述监控装置的地理位置信息。
42.s33、根据所述深度值、水平方位角以及源位置信息，得到隐患位置信息：；；其中，lng为隐患位置信息的经度；lat为隐患位置信息的纬度；（lng0，lat0）为所述源位置信息；angle为水平方位角；d为深度值。
43.具体的，所述建立所述点云数据与初始图像之间的映射关系具体为：将所述点云数据映射至所述初始图像中。
44.请参照图2至图3，本发明的实施例二为：将一种沿输电线路的隐患定位方法应用于包含全景监控装置和云台监控装置的火点监测设备中，实现沿输电线路的火点定位：
将包含全景监控装置和云台监控装置的火点监测设备安装于高处；其中，全景监控装置包括多个监控端口；在一种可选的实施方式中，全景监控装置包括6个监控端口，所述监控端口沿顺时针方向依次标记为c0、c1、c2、c3、c4以及c5，六个监控端口每个监控端口对应的监控只需要获取角度为60度的视野就能够实现360度全景图像的获取，避免大角度摄像头边缘畸变导致图像定位不准确。
45.s101、通过无人机获取所述火点监测设备周围3km内的激光点云数据。获取目标区域的点云数据的方式包括但不限于通过架设于固定位置的智能设备采集点云数据；例如通过雷达设备和/或视觉设备采集目标区域的雷达数据和/或图像数据，以生成目标区域的点云数据。
46.s102、通过所述监控端口抓拍所述火点监测设备周围区域，分别获取每一监控端口所对应的子图像p0、p1、p2、p3、p4以及p5。
47.s103、在点云标定软件中加载所述激光点云数据，并打开子图像p0；在子图像p0上手动选取至少4个在激光点云数据中可识别的特征点，并记录记录所述特征点的二维坐标。
48.s104、在激光点云数据中获取与步骤s103中所述特征点对应的三维坐标。
49.s105、获取监控端口c0预设的内参矩阵m：；其中，f
x
为监控端口c0在x方向的焦距，fy为监控端口c0在y方向的焦距，c
x
、cy为监控端口c0的光心坐标；根据所述二维坐标、三维坐标以及内参矩阵通过pnp算法求解所述监控装置的位姿旋转矩阵r以及平移向量t。
50.s106、根据所述内参矩阵、位姿旋转矩阵以及平移向量建立所述点云数据与初始图像之间的映射关系，生成深度图：；；其中，d为所述点云数据中其中一个点a的深度值；（x，y，z）为所述点a的三维坐标；（u，v）为所述点a的二维坐标；s为尺度因子；m为内参矩阵；r为位姿旋转矩阵；t为平移向量。
51.s107、通过步骤s106对激光点云数据的遍历计算后，对应范围中的激光点云数据已经映射至子图像p0上；获取深度图中未生成深度值的像素点，对所述像素点进行插值处理；此处，需要进行插值处理的像素点称为插值点；其中，插值处理基于最小像素距离原则，获取距离所述插值点最近的像素点的深度值，将所述深度值作为插值点的深度值。
52.s108、返回执行步骤s103，直至子图像p1-p5均已生成对应的深度图，将上述6张深度图导入所述火点监测设备中。
53.在一种可选的实施方式中，在步骤s102中，获取到子图像p0-p5后，将所述子图像
进行拼接，生成一张完整的全景图像；以该全景图像为处理对象，执行步骤s103至s107，生成一张完整的深度图。
54.s109、当火点监测设备检测到有效火点后，调整云台监控装置的监控范围，将有效火点置于云台监控装置的画面中心；其中，此过程使用3d控球算法实现，可通过多次调整使得有效火点位于云台监控装置的画面中心；最终得到云台监控装置的水平坐标。
55.s1010、对监控端口c0-c5与云台监控装置进行联动标定，建立监控端口与云台监控装置之间的映射关系：将云台监控装置定义为枪球联动映射算法中的球机，监控端口c0-c5定义为枪球联动映射算法中的枪机。
56.设火点监测设备的内参矩阵为k，旋转矩阵为r，x为枪机某一摄像头画面上的点，x为球机的云台角度；因为x可认为是经纬度，那么通过球面坐标转换关系s，就可以将x转成单位球面上的点p；又因为枪球的光心近似重合，则球机所在的世界坐标系原点和枪机自身的摄像机坐标系原点重合，故，p=sx，x=krp。
57.用户输入点（x，x），其中，x是枪机画面点的坐标，x是球机画面点的坐标，x=（pan，tilt）；前向映射关系：将枪机坐标x转化为球机坐标x，输入x，输出x；x=s.inv*r.inv*k.inv*x；其中，s.inv表示s的逆关系，即，将单位球面点转化为经纬度；r.inv、k.inv分别表示对旋转矩阵r和内参矩阵k求逆。
58.后向映射关系：将球机坐标x转成枪机坐标x，输入x，输出x；x=k*r*s*x；其中，r为旋转矩阵，k为内参矩阵，s为球面坐标转换关系。
59.s1011、根据所述第一位置信息的水平坐标确定所述有效火点信息对应的监控端口，并根据所述监控端口选取对应的子图像。
60.在本实施例中，6个监控端口在水平方向上呈环形均匀分布，单个监控端口在水平方向上覆盖60
°
的监控范围。将子图像p1画面中心所对应的云台监控装置的水平坐标定义为h0，则监控端口c0所对应的云台监控装置的水平坐标范围rc0为h0
±
30
°
，监控端口c1所对应的云台监控装置的水平坐标范围rc1为h0
±
30
°
+60
°
，以此类推，可得到监控端口cn所对应的云台监控装置的水平坐标范围rcn为h0
±
30
°
+n*60
°
，n=[0,5]。其中，h0可通过控制云台监控装置的监控范围中心与监控端口的监控范围中心重合得到。
[0061]
具体的，根据所述云台监控装置的水平坐标确定其所在的水平坐标范围，从而确定对应的监控端口。
[0062]
s1012、根据所述监控端口与所述云台监控装置之间的后向映射关系，计算有效火点信息在子图像中的目标位置信息（u,v）。
[0063]
s1013、根据所述子图像对应的深度图获取所述目标位置信息（u,v）对应的深度值d。此处，深度值即为火点到火点监测设备的距离，单位为m。
[0064]
s1014、获取火点监测设备的地理位置信息（lng0，lat0）；s1015、读取电子罗盘数据，获得所述云台监控装置的水平方位角，即为火点的方位与正北方向的夹角，记为angle，单位为角度。根据所述深度值d、水平方位角angle以及地
理位置信息（lng0，lat0），得到火点位置信息（lng，lat）：；；在本实施例中，参照图3，所述一种沿输电线路的火点定位方法的工作步骤为：s201、云台监控装置进行巡检，判断是否检测到有效火点，若是，则执行步骤s202；若否，则返回执行s201。
[0065]
s202、调整云台监控装置的监控范围，将有效火点置于云台监控装置的画面中心。
[0066]
s203、根据当前云台监控装置的第一位置信息确定有效火点对应的监控端口。
[0067]
s204、根据监控端口与云台监控装置之间的后向映射关系获取有效火点在待测图像中的目标位置信息。
[0068]
s205、根据预先生成的深度图，获取有效火点与监控装置之间的距离。
[0069]
s206、根据云台监控装置的源位置信息、第一位置信息中的水平方向角以及距离计算火点的位置信息。
[0070]
s207、发送告警信息，并上报火点图片以及位置信息。
[0071]
本发明的实施例三为：一种沿输电线路的隐患定位方法，其与实施例一的不同之处在于：所述监控装置包括云台监控装置；所述初始图像以及待测图像均通过所述云台监控装置获取。
[0072]
s301、通过所述云台监控装置在低倍率状态下获取多个不同场景的初始图像。
[0073]
s302、获取所述多个场景对应的点云数据，建立所述点云数据与每一场景对应的初始图像之间的映射关系，生成深度图。
[0074]
s303、识别到有效隐患后，调整所述云台监控装置将所述有效隐患定位至监控范围的中心。
[0075]
s304、根据当前所述云台监控装置的位置信息计算有效隐患在对应的待测图像中的像素坐标；s305、根据深度图，计算出有效隐患与所述监控装置的距离；s306、获取所述监控装置的地理位置、像素坐标以及距离计算有效隐患的地理位置。
[0076]
请参照图4，本发明的实施例四为：一种沿输电线路的隐患定位终端1，包括存储器2、处理器3及存储在所述存储器2上并在所述处理器3上运行的计算机程序，所述处理器3执行所述计算机程序时实现实施例一中的各个步骤。
[0077]
综上所述，本发明提供的一种沿输电线路的隐患定位方法及终端，在包含全景监控装置和云台监控装置的单体防山火云台上，利用枪球联动映射算法建立全景监控装置与云台监控装置的映射关系，当防山火云台识别到隐患目标时，先通过云台监控装置捕捉山火位置，而后通过全景监控装置与云台监控装置之间的映射关系，基于云台监控装置的位
置坐标获取山火在待测图像中的位置坐标，提高隐患目标在待测图像中的定位精度；同时利用点云测距算法建立目标区域中图像与点云三维数据的映射关系，生成深度图；由此，基于位置坐标就可以计算出单体防山火云台识别到的山火目标对应的点云三维数据，再通过深度图计算出隐患目标距离当前单体防山火云台的距离。最后结合防山火云台的地理位置信息、隐患在待测图像中的坐标位置信息以及隐患与防山火云台之间的距离，计算出隐患目标的地理位置。这种基于防山火云台的图像定位法，精度高，并且算法简单，计算效率高，能够在发现隐患的第一时间内获取隐患位置信息，提高火灾评估和救援的及时性。
[0078]
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。