一种直升机巡线过程中的动态热点追踪锁定方法与流程

本发明涉及电力巡检技术领域，尤其涉及一种直升机巡线过程中的动态热点追踪锁定方法。

背景技术：

近年来，随着我国超(特)高压输电线路建设的高速发展，高电压、大功率、长距离输电线路越建越多，穿越的地理环境越来越复杂，直升机巡线作为一种高效的巡检技术在国内多个电网运营单位得到了应用。国内直升机电力作业业务逐步已步入了快速发展、稳步提升的轨道，实现了输电线路直升机巡视的常态化和规模化。

传统的直升机巡检作业，主要以直升机/无人机为平台，搭载红外、可见光等设备对架空输电线路进行巡查和检测的作业，而采用直升机/无人机进行线路巡检时，常用的一种巡检手段是搭载光电吊舱进行可见光/红外成像。采用吊舱法巡检时，通常为一人使用相机和稳像仪进行目视巡检，另外一人操作巡检光电吊舱进行红外巡检。这种巡检作业需两人分别操作进行巡检，然后后期进行数据处理，缺陷数据不能得到及时的处理，智能化水平不足，数据实时性和准确性方面越来越不能满足电力线巡检作业的要求。

技术实现要素：

本发明公开一种直升机巡线过程中的动态热点追踪锁定方法，解决传统光电吊舱图像跟踪在电力巡线中的缺陷，采用基于位置和图像相结合的跟踪技术，力求在实时性和准确性方面达到电力线巡检作业要求。

采用的技术方案为：一种直升机巡线过程中的动态热点追踪锁定方法，通过计算机智能追踪锁定红外热点，并自动识别杆塔编号，实现热点的自动存储，包括如下步骤：

s1：设定飞机的工作区域为第一工作区域、第二工作区域、第三工作区域、第四工作区域及其范围，划分锁定目标的区域为第五工作区域、第六工作区域、第七工作区域，其中，第一工作区域、第二工作区域、第三工作区域分别与第五工作区域、第六工作区域、第七工作区域对应；

s2：飞机按导航路线进入第一工作区域飞行，吊舱自动寻找第五工作区域的高温目标，分别定位飞机和高温目标的坐标，计算飞机与高温目标之间的相对位置；

s3：飞机进入第二工作区域飞行，吊舱自动对准第六工作区域的高温目标；分别定位飞机和高温目标的坐标，计算飞机与高温目标之间的相对位置，初步锁定高温目标；

s4：飞机进入第三工作区域飞行，获取高温目标在第七工作区域的数字信息，完成高温目标的锁定跟踪。

进一步地，所述第一工作区域、第二工作区域、第三工作区域、第四工作区域分别为远离区、待检区、工作区和危险区；所述第五工作区域、第六工作区域、第七工作区域为远离区锁定，待检区锁定和工作区锁定。

优选的，所述步骤s3包括如下子步骤：

步骤一：控制红外摄像头采集红外图像，确保红外图像中存在温度值高于预设的温度阈值的高温目标；

步骤二：获取可见光摄像头采集到的多帧可见光图像中包含高温目标的第一帧可见光图像，确定高温目标在第一帧可见光图像中的目标位置；

步骤三：以步骤二的目标位置为初始位置，跟踪步骤一的高温目标在目标检测图像中的位置；

步骤四：判断高温目标在目标检测图像中的位置是否处于预设的图像区域内，如果否，则进入步骤五；如果是，则进入步骤六；

步骤五：调整吊舱的姿态，以使高温目标始终处于可见光摄像头预设的视场区域内；

步骤六：获取该目标检测图像的下一帧检测图像作为新的目标检测图像，跟踪所述高温目标在目标检测图像中的位置，重复步骤四。

优选的，采用双通道数据分析方法进行高温目标的跟踪。

进一步地，所述双通道数据分析方法为采用可见光摄像机和红外摄像机及控制设备组成双通道，红外摄像机监控目标温度，可见光摄像机对场景中的其它目标进行识别，控制吊舱跟踪高温目标，把高温目标放在屏幕中央，利用光学变焦功能，达到取证的目的。

优选的，所述红外摄像机为50mm长焦电动640×480像素热像仪，可见光摄像机为30倍光学变倍摄像机。

优选的，所述吊舱为全数字动态红外热像仪。

本发明方法的工作原理为：本发明方法基于位置和图像相结合的跟踪技术，通过红外自动追踪功能，确保其始终追踪到锁定的检测部件目标，然后通过分析检测部件的红外数据特征，并通过控制程序，使得当前检测目标保持在中心位置。

与现有技术相比，本发明的有益效果是：

(1)本发明方法能自动识别杆塔编号，实现热点的自动存储，提升直升机红外发热检测的自动化水平，提高红外发热缺陷的检出率。

(2)有效提高缺陷数据处理效率，提升输电线路直升机现场智能化巡检水平，降低人工工作量，有效提高直升机巡检作业工作效率，在实时性和准确性方面达到电力线巡检作业的要求。

附图说明

图1是本发明方法的高温目标锁定流程图。

图2是本发明方法的红外图像分析流程图。

图3为本发明方法的mean-shift算法的程序流程图。

图4为本发明方法的mean-shift算法的迭代过程流程图。

具体实施方式

下面结合附图及实施例对本发明作进一步说明。

设置飞机的四个工作区域划分：远离区、待检区、工作区和危险区，区域范围均可以设定。将锁定目标按顺序分为远离区锁定，待检区锁定和工作区锁定，锁定目标为自动锁定，对于需要手动锁定的情况，将其归为手动拍摄模式。

a)远离区锁定

飞行员按导航路线飞行在远离区，吊舱开始自动寻找被测目标。机载系统控制程序将结合gps信息、飞机飞行姿态检测仪的数据信息，控制吊舱进行初步的方位对准。在这种情况下，主要依靠的是gps信息和电子地图的计算来进行的锁定。gps定位飞机(x，y，z)的坐标，电子地图定位被测物(x，y，z)的坐标。这样，可以在地图上计算出飞机与被测物之间的距离和角度。

b)待检区锁定

飞机飞行进入待检区，吊舱开始自动对准被测目标。

此时机载系统控制程序将使用射频读卡器读取杆塔号；然后使用gps的经纬度信息定位飞机位置，利用导航地图定位被测杆塔位置，解算出飞机与杆塔的相对位置；然后根据飞机飞行姿态检测仪的数据信息判断飞机的倾仰角度，横向的翻滚角度；根据以上信息，控制吊舱水平旋转和垂直旋转；最后控制吊舱锁定杆塔，将整个杆塔放置在全数字动态红外热像仪的视场内。所述吊舱为全数字动态红外热像仪。

在这种情况下，飞行姿态的检测是非常重要的，由于知道了飞机的各种角度和速度，可以帮助我们快速准确锁定被测目标。

c)工作区锁定

飞机飞行进入工作区，工作区的锁定主要采用红外图像识别与跟踪技术。在上一阶段中，飞机已锁定杆塔，机载系统控制程序将控制吊舱跟踪杆塔到达工作区。此时，将可以进行红外、可见光、可见光照相机的依次拍摄。这样的拍摄顺序设计是由于所采用的红外热像仪为全数字红外热像仪，可以得到原始的红外16位数字信息，而不仅仅是图像视频信号，从而可以进行红外数据的定量判断，而可见光和可见光照相机只能够进行定性的判断。定量的判断可以更好的完成杆塔的锁定跟踪，更好的分析被测目标的问题。而定量的判断只能够用人工去干预判断，很难实现控制程序自动分析判断来跟踪杆塔。

d)危险区提示：

在巡视线路的两侧设置一定的危险区域，并提示直升机驾驶人员与带电体的安全距离，以此来确保直升机作业的安全性。

所述高温目标锁定流程如图1所示，其包括步骤为：步骤一，首先，使用电力巡检设备控制红外摄像头采集红外图像，并判断红外图像中是否存在温度值高于预设的温度阈值的高温目标，如果没有，则结束；如果有，则进入步骤二。

步骤二：使用电力巡检设备获取可见光摄像头采集到的多帧可见光图像中包含高温目标的第一帧可见光图像，并确定高温目标在第一帧可见光图像中的目标位置。

步骤三：电力巡检设备以目标位置为初给位置，跟踪高温目标在目标检测图像中的位置。

步骤四：电力巡检设备判断高温目标在目标检测图像中的位置是否处于预设的图像区域内，如果是，则进入步骤五；如果否，则进入步骤六；

步骤五：电力巡检设备调整吊舱的姿态，以使高温目标始终处于可见光摄像头预设的视场区域内；

步骤六：电力巡检设备获取该目标检测图像的下一帧检测图像作为新的目标检测图像，跟踪所述高温目标在目标检测图像中的位置，重复步骤四。

保证红外热点追踪需要一个完整的图像信息处理系统往往包括视频数据的采集、图像的传输、数据的处理以及视频图像的实时信息同步输出、结合实时直升机姿态对吊舱进行控制，从而实现吊舱的追踪。为了稳定可靠地进行热点追踪，采集双通道数据分析方法，双通道可同时播放同步记录的红外视频、可见光视频；吊舱可对红外可见光控制，红外采用50mm长焦电动640×480像素热像仪，可见光采用30倍光学变倍；由1台可见光摄像机和1台红外摄像机及相关控制设备组成。一台摄像头监控目标温度，另外一台摄像头对场景中的异常目标进行识别，控制吊舱去跟踪高温目标，把高温目标放在屏幕中央，利用光学变焦功能，达到取证的目的。并把高精度的gps、飞机罗盘姿态参数采集的数据与视频每帧写入同步信息，从而实现了实时采集信息的帧同步。达到直升机热点追踪的目的，更准备定位并追踪目标、实现可见光与红外视频信息的多种特征的有效利用、实现双通道的准确跟踪成为能提高直升机巡检效率。

(1)视频采集模块

主要完成双通道视频数据的采集工作，由于经a/d采样后得到的视频数据并不能直接进行处理，所得到的数据需要根据标志位完成有效数据的提取，并完成视频格式的转换。采集高精度gps信息、罗盘的飞行姿态。

1)摄像头输出的模拟视频信号经解码后输出avi格式的数字视频信号；

2)视频采集模块采用fifo缓冲提取到的有效视频信号，对视频信号的提取；

3)通过采集gps信息、采集罗盘的飞行姿态。使用先进的定向技术，使用10m长基线，能达到0.05°的高精度定向。通过高精度的gps、罗盘的飞行姿态数据采集，并所gps数据进行实时与视频进行采集输入。提供直升机准确追踪数据基础。

(2)分析处理模块

采集视频数据并对数据另开缓冲进行分析，实现高温目标的实时跟踪功能。具体而言，红外图像分析流程如图2所示，为获取图像，并缓存多张→获取当前帧图像数据→拷贝图像效据到缓冲区→拷贝其他数据到缓冲区→通知图像分析→meanshift追踪分析。

通过缓冲帧数据，进行mean-shift跟踪算法。在保证视频显示与存储同时，可见光对进行对感兴趣目标进行识别，把目标中心位置控制在图像中心点，从而实现目标位置跟踪、锁定吊舱的控制中心。这样保存在双通道，红外测温，发现高温，切换可见光对感兴趣目标，目标比如金具、线夹等电力设备进行跟踪。在目标跟踪及识别等领域的图像处理算法中，针对目标特征提取和特征匹配等运算通常占用了大部分的计算资源，有相当多的算法是基于全局匹配的，这使得算法在匹配计算上花销的资源，随着处理视频分辨率的增加而变得非常巨大。开辟一个缓冲区，并对缓冲区在另一线程进行分析并实时输出结果。并把结果信息同步保存到视频帧数据。

mean-shift算法的程序流程如图3所示，首先获取目标中心位置坐标，确定目标窗大小，然后进行mean-shift算法迭代得到目标位置估计，判断该点巴氏距离与阈值关系，如果小于阈值rl则认为找到正确的目标位置，在下一帧图像中，将上一帧中最后得到的目标位置作为当前帧中候选模型的起始点，重新开始mean-shift迭代；若巴氏距离大于设定阈值rl且小于rh认为得到的目标位置不准确，但仍可能通过后续迭代修正目标，下一帧仍以该点为算法起始点；若阈值大于rh则认为算法丢失目标，需要重新确定目标位置。

mean-shift算法的迭代过程如图4所示，首先以给定位置(x，y)为起点，对灰度值分区，根据核函数计算候选区域灰度直方图px和py，计算归一化系数ch，得到归一化直方图分布pcx和pcy，然后计算各像素点权值wi，对窗口内像素点位置加权平均得到新的候选点，计算该点的灰度直方图分布计算其与目标直方图的巴氏距离并与设定阈值比较，小于阈值则迭代结束，以该点作为目标位置，若不小于阈值，且迭代次数少于设定值，则用该点位置坐新一次迭代的初始位置。

(3)吊舱控制模块

完成吊舱转动控制，从而实现吊舱的高温目标追踪。通过分析红外最高温，获取最高温的图像位置，微调吊舱使红外最高温至图像中心点，并将所述中心位置反馈给吊舱，以调整所述吊舱的姿态。这样以来，吊舱对关注区域调至中心点，对目标mean-shift分析与追踪。对关注的目标进行详细关注，直升机进行悬停。

控制吊舱水平旋转和垂直旋转；最后控制吊舱锁定杆塔，将整个杆塔放置在全数字动态红外热像仪的视场内，所述吊舱为全数字动态红外热像仪。通过分析红外最高温，获取最高温的图像位置，微调吊舱使红外最高温至图像中心点，并将所述中心位置反馈给吊舱，以调整所述吊舱的姿态。这样以来，吊舱对关注区域调至中心点，对目标mean-shift分析与追踪。对关注的目标进行详细关注，直升机进行悬停。

1)机载系统控制程序将结合gps信息、飞机飞行姿态检测仪的数据信息，控制吊舱进行初步的方位对准。

在这种情况下，主要依靠的是gps信息和电子地图的计算来进行的锁定。gps定位飞机(x，y，z)的坐标，电子地图定位被测物(x，y，z)的坐标。这样，可以在地图上计算出飞机与被测物之间的距离和角度。

2)据以上信息，控制吊舱水平旋转和垂直旋转；最后控制吊舱(此时为全数字动态红外热像仪)锁定杆塔，将整个杆塔放置在全数字动态红外热像仪的视场内。

3)分析红外最高温，获取最高温的图像位置，微调吊舱使红外最高温至图像中心点，并将所述中心位置反馈给吊舱，以调整所述吊舱的姿态。这样以来，吊舱对关注区域调至中心点，对关注的目标进行详细关注，直升机进行悬停，吊舱进行自动控制。

(4)视频显示模块

进行视频的输出显示，对输出视频数据进行时序控制，完成视频的输出显示。采集双道道进行采集，红外全矩阵进行温度采集，高清的可见光同步采集，并把实时采集的gps、飞行姿态信息进行帧同步写入，并保存信息。这样以来，红外与可见光、信息进行同步写入。达到直升机追踪过程中，把数据进行同步保存，并提高直升机的追踪的有效控制，降低控制的延时性。

1)视频数据在机柜进行实时显示。

视频显示模块实现视频数据在vga显示器上输出显示功能，数字图像在vga显示器上显示需要完成vga的时序构建和数字信号到模拟信号的转换。输出视频按照原视分辨率输出显示，红外选用分辨率大小相近的320*240@30hz的标准vga显示模式。

2)实时采集的gps、飞行姿态信息进行帧同步写入，并保存信息。

gps、姿态信息与视频数据的帧同步写入和读出。红外显示模块的30hz，可见光为20mhz。

本发明方法首先设定锁定的检测部件目标，然后开启红外自动追踪功能，通过分析检测部件的红外数据特征，使得追踪的可行性和准确性大大优于使用可见光数据跟踪，通过控制程序，使得当前检测目标保持在中心位置。

以上实施例仅用以说明本发明的技术方案，而非对其进行限制；尽管参照前述实施例对本发明进行了详细的说明，对于本领域的普通技术人员来说，仍然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明所要求保护的技术方案的精神和范围。