基于机器学习的低小慢目标的光电识别跟踪方法与流程

本发明属于除无线电波外的电磁波跟踪系统技术领域，尤其涉及一种基于机器学习的低小慢目标的光电识别跟踪方法。

背景技术：

无人机、巡航导弹等低空空袭兵器是当前空袭作战的主要攻击方式，并且无人机还具有成本低廉、质量轻尺寸小、机动性好、可在危险条件下执行任务等特点，使得防空系统压力剧增，严重威胁重大活动、重点区域的安全保障工作。而探测是拦截与打击的必要前提，因此针对无人机等低小慢目标的预警与识别是未来信息化条件下防空作战夺取战争主动权的重要保障。对于低小慢目标的探测，主要有雷达探测、声学探测和光电探测等方法。

对于雷达探测，由于低小慢目标的雷达反射面积非常小，而且飞行速度慢，其造成的多普勒效应也不明显，所以传统雷达对低小慢目标的探测效果并不好，存在低空探测盲区大，回波小且弱，容易与气象干扰、杂波干扰或鸟群相混淆，角分辨率低等缺点。

对于声学探测，低小慢目标的噪声主要是发动机噪声和飞行过程中产生的空气扰动噪声，但目前低小慢目标的飞行动力很大一部分是电动力，噪声较小，加上飞行速度较慢，使得其噪声水平很低，难以探测。

所谓光电探测，利用目标反射或直接辐射的光波对目标实施探测的技术。目标在太阳光、星光或人工照明的照射下，由于几何形状和表面反射特性的不同，会在光电传感器上呈现为特定对比度分布的图像。它的优点在于体积小、重量轻、成本低、抗电磁干扰能力强、隐蔽性强、角分辨率高；缺点在于传统的识别和跟踪算法的识别准确性较低，目标对比度、目标姿态变化、光照角度、背景的不均匀性及背景亮暗、大气湍流等对目标捕获概率具有一定的影响。

国内外已经公布的针对低小慢目标的光电识别跟踪系统中，主要还是使用帧间差分法、背景减除法、光流法、矩不变量等传统方法。而这些方法在对光照角度、目标姿态等影响因素的鲁棒性上存在很大改进空间。

技术实现要素：

本发明所要解决的技术问题是，提供一种基于机器学习的低小慢目标的光电识别跟踪方法，利用光电系统采集的图像，在目标有效像素数很少的情况下，仍能实现对低小慢目标的高精度快速识别。

本发明解决其技术问题所采用的技术方案是：提供一种基于机器学习的低小慢目标的光电识别跟踪方法，该方法包括以下步骤，步骤一，首先确定目标的方向，然后(利用云台)调整相机的方向角和俯仰角，使得目标位于相机的视野范围内；步骤二，相机逐帧读入图像；步骤三，目标识别的在线检测，将读入的图像作为神经网络的输入，经过机器学习已经训练好的网络，得到网络的输出，包括目标的分类和位置的束缚框；如果输出的分类属于低小慢目标，则进入下一步，否则跳过下一步，直接读入下一帧图像；步骤四，进行目标跟踪。

按上述技术方案，所述步骤四中包括以下步骤：

s1，由第一帧图像给出的束缚框，扩大得到补白束缚框，也就得到了下一帧目标可能存在的预测区域，以当前的补白束缚框作为正样本，以当前正样本的循环移位作为负样本，利用机器学习的方法，训练得到一个目标检测分类器；

s2，对接下来的一帧图像，同样对上一帧的补白束缚框循环移位，对得到的样本束缚框内的图像进行分类，选择响应最强(相关系数最大)的束缚框作为当前帧目标所在的补白束缚框；根据当前帧与上一帧的补白束缚框之间位置变化，获得目标的位置变化；

s3，获得当前帧目标精确位置后，按照当前补白束缚框循环移位得到负样本更新检测分类器，如此循环往复，实现目标的连续跟踪；

s4，根据目标的移动方向控制转台的偏转，使得目标始终位于相机视野范围内，并根据束缚框大小的变化，对相机进行调焦。使得目标的屏占比不至于太小而看不清，也不至于太大而容易逃出视野范围。

按上述技术方案，所述步骤一之前，还包括，神经网络的离线训练。这一步是在系统构建的时候已经完成的，并不需要每次使用前重复进行。

按上述技术方案，所述步骤一中，根据雷达信息确定目标的方向。

按上述技术方案，所述步骤二中，相机读入图像的帧频为10～50fps。

本发明产生的有益效果是：一，采用机器学习的方法，可实现复杂背景下低小慢目标的识别与实时跟踪。在保证实时性的前提下，提高了识别和跟踪的准确性。在目标仅有6个有效像素的不利条件下，仍能实现95％的识别正确率；二，利用采集的目标视频流进行训练，自动识别与跟踪的准确性会随着使用时间的增加而提高；三，保留了人为干预的空间，从而保证了系统识别和跟踪的正确性。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是卷积神经网络结构示意图；

图2是神经网络训练流程图；

图3为本发明实施例光电识别跟踪方法的系统流程图；

图4为本发明实施例基于机器学习的目标识别流程图；

图5为本发明实施例基于机器学习的目标跟踪流程图；

图6为本发明实施例无人机识别的现场示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明实施例中，提供一种基于机器学习的低小慢目标的光电识别跟踪方法，如图3、图5、图6图所示，该方法包括以下步骤，步骤一，首先确定目标的方向，然后利用云台调整相机的方向角和俯仰角，使得目标位于相机的视野范围内；步骤二，相机逐帧读入图像；步骤三，目标识别的在线检测，将读入的图像作为神经网络的输入，经过机器学习已经训练好的网络，得到网络的输出，包括目标的分类和位置的束缚框；如果输出的分类属于低小慢目标，则进入下一步，否则跳过下一步，直接读入下一帧图像；步骤四，进行目标跟踪。步骤一中，根据雷达信息确定目标的方向。步骤二中，相机读入图像的帧频为30fps。

进一步地，所述步骤四中包括以下步骤：

s1，由第一帧图像给出的束缚框，扩大得到补白束缚框，也就得到了下一帧目标可能存在的预测区域，以当前的补白束缚框作为正样本，以当前正样本的循环移位作为负样本，利用机器学习的方法，训练得到一个目标检测分类器；

s2，对接下来的一帧图像，同样对上一帧的补白束缚框循环移位，对得到的样本束缚框内的图像进行分类，选择响应最强(相关系数最大)的束缚框作为当前帧目标所在的补白束缚框；根据当前帧与上一帧的补白束缚框之间位置变化，获得目标的位置变化；

s3，获得当前帧目标精确位置后，按照当前补白束缚框循环移位得到负样本更新检测分类器，如此循环往复，实现目标的连续跟踪；

s4，根据目标的移动方向控制转台的偏转，使得目标始终位于相机视野范围内，并根据束缚框大小的变化，对相机进行调焦。使得目标的屏占比不至于太小而看不清，也不至于太大而容易逃出视野范围。

按上述技术方案，所述步骤一之前，还包括，神经网络的离线训练。这一步是在系统构建的时候已经完成的，并不需要每次使用前重复进行。

具体分为以下的步骤：首先，将图像的大小归一化到224*224。然后，利用已经训练好的卷积神经网络的方法，对图像进行特征提取。整个神经网络包括30个卷积层和3个全连接层。具体说来，先将输入图像分成s*s个格子，每个格子负责检测“落入”该格子的物体，即物体的中心位置位于该格子内。每个格子输出b个束缚框(包含物体的矩阵区域)信息，以及c个物体属于某种类别的概率信息。束缚框信息包含5个数据值，分别是x，y，w，h和置信度。其中x，y是指当前格子预测得到的物体的中心位置的坐标偏移值，w，h是束缚框的宽度和高度，置信度是指当前束缚框是否包含物体以及物体位置的准确性，计算方式为：置信度＝p(object)*iou。其中，若束缚框内包含物体，则p(object)＝1；否则p(object)＝0。iou(intersectionoverunion)为预测束缚框与物体真实区域的交集面积。因此，神经网络最终的全连接层的输出维度是s*s*(b*5+c)。实际中采用s＝9，b＝4，c＝15。

接下来，计算表示误差的损失函数：

其中，x,y,w,c,p为网络预测值，x,y,w,c,p帽为标注值。表示物体落入格子i的第j个束缚框内，表示物体未落入格子i的第j个束缚框内。

最后，利用带标记框的公开图像数据库，依照背向传输的方法和误差函数的值，不断更新整个神经网络的网络参数w，得到最终的网络参数，如图2所示，其中α表示学习速率。

图4为基于机器学习的目标识别流程图。通常分为离线训练与在线检测两个阶段。离线训练阶段对训练样本中的前景目标与背景分别进行特征表达，建立起目标或背景表观模型，再进行分类器训练得到分类器模型。在线检测阶段对测试样本在多个尺度上进行滑动窗口扫描后，采用同样的特征表达方法建立起表观模型，然后再用离线阶段训练得到的分类器模型对其进行分类，从而判断各个窗口是否为前景目标。

机器学习方法的本质就是图像的特征表达，也就是将原始图像像素映射到一个可区分维度空间数据的过程，与人工设计的特征相比，尽管机器学习的计算过程相对复杂，但摆脱了对人类经验的依赖，从而实现了对图像或目标模型最本质的刻画，利用机器学习得到的特征可以获得更高准确率的识别结果。利用机器学习的方法进行目标识别，目前最主流的方式是通过无监督的深度学习，逐层构建一个多层网络，使机器自动地学习隐含在数据内部的关系。这个网络的输入就是原始的图像数据，输出就是目标的位置和分类结果。网络中各个节点的权值是利用经过标记的数据集训练得到的。

根据神经网络构成单元的不同，基于深度学习的特征表达方法可以分为限制玻尔兹曼机(restrictedboltzmannmachine,rbm)、基于自编码机(autoencoder,ae)和基于卷积神经网络(convolutionalneuralnetwork,cnn)，以及在它们的基础上的各种变体。其中，卷积神经网络提取了高层特征，提高了特征的表达能力，并将目标检测的关键步骤融合在同一模型中，通过端到端的训练，进行整体的功能优化，增强了特征的可分性。一个用于目标识别和分类的多层卷积神经网络的构建方法如图1所示，其中，卷积层用来提取图像特征，全连接层用来预测图像位置和类别概率值。

本发明建立了一种基于机器学习的针对低小慢目标的光电识别跟踪方法，使得由此搭建的光电系统能对无人机、巡航导弹等低小慢目标进行自动识别和实时跟踪。低小慢目标在飞行过程中，飞行高度一般在1000米以下，速度较慢，飞行速度一般小于200km/h，雷达反射面积小，小于2平方米，难发现、难捕捉、难处置、难应对，对重要目标的空防安全形成极大威胁。与传统的识别跟踪算法相比，建立的方法在保证实时性的同时，提高了自动识别的准确性，增强了对光照、目标姿态等影响因素的鲁棒性。本方法不仅可以用于可见光的光电成像设备，还可以用于红外，以及多波段融合的成像设备，扩展了单一识别跟踪算法的应用范围，提高了算法的适应性。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。