一种飞行器目标自动跟踪方法与流程

本发明属于计算机视觉技术领域，涉及运动目标的跟踪技术，特别是涉及一种基于卷积神经网络探测与crf目标跟踪的飞行器目标自动跟踪方法。

背景技术：

包括民航飞机、无人机在内的飞行器的定位与导航方法一直是导航与飞控领域的研究重点。

基于计算机视觉的无人机目标跟踪系统是指通过目标检测和跟踪算法从拍摄的图像序列中估计目标的运动信息，再通过控制伺服系统自动调整光电经纬仪的镜头，使得被跟踪的目标一直出现在镜头范围内，从而有效地完成飞行器目标自动跟踪的系统。目前计算机视觉技术的发展趋势是借助更大更深的网络来深度学习，更好的性能表现通常依赖于训练更大的网络或者把多种模型综合到一起。

卷积神经网络yolov2使用一个轻量级卷积神经网络实现飞行器目标的识别，但是在跟踪方面，它并不能很好地在运动镜头上分辨当前目标是否为上一帧图像上的同一个目标，因此不利于跟踪某一个相同飞行器目标的情况；同时其原始结构无法使用单通道图像目标，结构对于红外图像有一定冗余，需要进一步修改以提升运算速度。

核化相关滤波器（kernelizedcorrelationfilter，kcf）是一种鉴别式跟踪方法，一般都是在跟踪过程中训练一个目标检测器，使用目标检测器去检测下一帧预测位置是否是目标，然后再使用新检测结果去更新训练集进而更新目标检测器。跟踪器kcf能够实现分辨当前目标是否为上一帧图像上的同一个目标，但是它没有新目标探测能力，因此对于飞行器发射或释放出的新的飞行目标无法判断。

质心跟踪算法是现有光电经纬仪常用的一种目标探测跟踪方式，该方式通过检测目标质心完成目标探测和跟踪，但是该方式不适用于多目标情况，也不能够判断目标类型。

技术实现要素：

本发明的目的是克服现有技术的不足，提供一种基于卷积神经网络探测与crf目标跟踪的飞行器目标自动跟踪方法。

为了实现上述目的，本发明提供一种飞行器目标自动跟踪方法，包括如下步骤：

第一步，初始目标的自动跟踪

11）对光电经纬仪接收到的红外图像进行预处理，使用参数γ=2对图像进行伽马校正；

12）使用经过修改的yolo卷积神经网络检测校正的图像中是否有飞行器目标及飞行器释放的飞行目标；若无则重复步骤11）～12）；

13）如果探测到飞行器目标，则将飞行器目标存入备选缓存，同时记录该目标的图像坐标；

14）启动kcf跟踪器，对飞行器目标的图像坐标初始化，开始跟踪循环；

第二步，目标的跟踪切换

21）如果探测到备选缓存以外新的目标，则把新目标存入目标缓存，并启动判断逻辑；

22）判断该目标是否为飞行器再次释放的飞行目标；如果不是，kcf跟踪器跟踪当前目标，重复步骤21）～22）；

23）如果是飞行器再次释放的飞行目标，则判断是否到达需要跟踪的批次数n；如果未到达，kcf跟踪器跟踪当前目标，重复步骤21）～23）；

24）如果达到了批次n，将记录该飞行目标图像坐标，启动kcf跟踪器对图像坐标初始化，开始新目标跟踪循环；

第三步，跟踪循环

31）对上一个循环得到的目标图像坐标或kcf跟踪器初始化的校正图像或者进行扩增，得到搜索窗口坐标；

32）在搜索窗口坐标内使用kcf跟踪器搜索目标，得到目标脱靶量（即是目标坐标）；如果有对应目标，则输出脱靶量并进入下一个跟踪循环；如果没有对应目标，输出跟踪中断信号，结束循环。

所述的一种飞行器目标自动跟踪方法，其步骤21）中是通过目标的相对位置、相对速度和当前图像判断相似度来判断是否为新的目标。

本发明的有益效果是：

本发明方法在目标探测阶段使用经过修改的yolo卷积神经网络，在目标跟踪阶段使用kcf跟踪，这个安排发挥了卷积神经网络优秀的探测能力，能够基于目标类型进行决策，发挥了kcf固定跟踪同一个目标的能力。

本发明方法发挥了kcf固定跟踪同一个目标的能力，从而有效的避免了纯yolo无法确定同一个目标的问题，实现了kcf欠缺的对新目标决策的功能，能够基于目标类型进行决策，避免了质心算法盲目判断新目标的情况。

本发明方法能够实现准确的跟踪目标转换功能：先自动跟踪视野中的飞行器，然后跟踪飞行器释放的第n个飞行目标，其中n为需要跟踪的批次数。

本发明方法在镜头随伺服系统运动的多目标情况下，准确跟踪同一个目标，并输出脱靶量。

本发明方法能实现高于25hz的脱靶量输出频率，大大提高了运算速度。

附图说明

图1是本发明的初始目标自动跟踪流程图；

图2是本发明的目标跟踪切换流程图；

图3是本发明的跟踪循环流程图。

具体实施方式

下面结合附图对本发明作进一步的说明。

本发明公开了一种飞行器目标自动跟踪方法。本发明方案有两组配套硬件及系统。

1，带有信号处理嵌入式系统、伺服系统和光电经纬仪，其中光电经纬仪包含有由红外镜头和成像电路构成的红外相机，光电经纬仪内的触发器每隔10ms发送一个触发信号，触发红外相机曝光，相机曝光完成后，把红外图像信号通过经纬仪内的光模块变成光纤信号，光纤信号经过光纤传输到地面计算机（工控机）上，再经过光端机和采集卡变成数字信号，传输给检测软件；经纬仪是成熟的技术产品，能够通过伺服系统控制镜头在方位0～360°，俯仰-5～185°内运动。

2，地面计算机使用i7-6700的cpu，16g的内存，nvidia2080ti的gpu，6t的硬盘，连接有光端机，布设windows7系统，接收图像，计算其中目标坐标，通过串口输出脱靶量到经纬仪，同时通过串口与伺服系统进行信息交换。

3，软件运行主要步骤：开启自动跟踪软件，光端机解析光纤信号得到的红外图像，启动目标检测模块，即进入目标自动跟踪流程，如果目标自动跟踪流程得到有效目标，进入跟踪循环流程，同时启动目标跟踪切换流程，在目标跟踪切换流程得到脱靶量后，将脱靶量通过串口传输到光电经纬仪上，经纬仪上的系统依据脱靶量与焦距控制伺服系统转动，从而保持目标在红外视场范围中心，其中目标自动跟踪流程和目标跟踪切换流程内部使用卷积神经网络探测目标的计算通过调用gpu实现加速运算。

参照图1至图3所示，具体的步骤如下。

第一步，初始目标自动跟踪流程。

11）接收来自红外传感器的图像，对图像进行预处理。

12）使用参数γ=2对图像进行伽马校正。

13）校正图像传递给目标探测线程和目标跟踪线程。

14）探测线程中，使用修改的卷积神经网络检测图像中是否有飞行器目标、飞行器释放的一个或多个飞行目标和状态异常的目标（飞行目标解体坠落或消失）。

15）如果探测到飞行器目标，则把飞行器目标存入备选缓存，同时将目标图像坐标传递给目标跟踪线程。如果没有探测到飞行器目标，重新开始初始目标自动跟踪流程。

16）当目标跟踪线程收到与图像和目标坐标，启动kcf跟踪器初始化，开始跟踪循环。

第二步，目标跟踪切换流程。

21）接收来自红外传感器的图像，对图像进行预处理。

22）使用参数γ=2对图像进行伽马校正。

23）校正图像传递给目标探测线程和目标跟踪线程。

24）探测线程中，使用修改的卷积神经网络检测图像中是否有飞行器目标、飞行器释放的一个或多个飞行目标和状态异常的目标（飞行目标解体坠落或消失）。

25）如果探测到备选缓存以外新的目标，则把新目标存入目标缓存，并启动判断逻辑；如果不是新目标，kcf跟踪器跟踪当前目标，重新开始切换流程。

本步骤中是通过目标的相对位置、相对速度和当前图像判断相似度来判断是否为新的目标。

26）判断目标是否为飞行器新释放的目标。如果不是，kcf跟踪器跟踪当前目标，重新开始切换流程；如果是飞行器新释放的目标，判断是否到达需要跟踪的批次数n。如果未到达，kcf跟踪器跟踪当前目标，重新开始切换流程；如果达到了批次n，将目标图像坐标传递给目标跟踪线程，重新启动kcf跟踪初始化，开始新目标跟踪循环。

第三步，跟踪循环流程。

31）在kcf跟踪器已经被初始化的情况下，接收校正图像。

32）对图像中初始化或者上一个循环得到的目标图像坐标进行扩增，得到搜索窗口坐标。

33）在搜索窗口坐标内使用kcf跟踪器搜索目标，得到目标脱靶量（即是目标坐标）。如果有对应目标，则输出脱靶量并进入下一个跟踪循环；如果没有对应目标，输出跟踪中断信号，结束循环。

本发明方法能够实现准确的跟踪目标转换功能（飞行器—飞行器释放的飞行物）：先自动跟踪视野中的飞行器（比如飞机），然后跟踪飞行器释放（发射）的第n个飞行目标，其中n为需要跟踪的批次数。

本发明方法在镜头随伺服系统运动的多目标情况下，准确跟踪同一个目标，并输出脱靶量。本发明方法能实现高于25hz的脱靶量输出频率，大大提高了运算速度。

上述实施例仅例示性说明本发明的原理和功效，以及部分运用的实施例，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。