本发明属于图像处理与计算机视觉技术领域，涉及一种基于运动特征和深度学习特征的无人机小目标检测方法。
背景技术：
目前，随着商业无人机的可用性和成熟度急剧增长，无人机的销售成倍增长，在公共领域飞行的无人机已经屡见不鲜。无人机不仅出现在热门综艺的镜头里、浪漫求婚仪式上，还可以在农田上空喷洒农药、代替工人进行高空清洗作业，用于测绘拍摄、森林防火、军事侦察等等。但是，随着无人机的迅速发展，无人机造成的危险事故也在增长，给公共安全、隐私泄露、军事安全等方面带来了威胁。
近年来，检测无人机技术大致可以分为声音检测(acousticsdetection)、射频检测(radiofrequency)、雷达检测(radardetection)、视觉检测(visualdetection)等。声音检测使用麦克风阵列来探测无人机飞行的转子噪声，然后将探测到的噪声与记录了所有无人机声音的数据库进行匹配，识别出该噪声是否属于无人机从而判断出是否有无人机靠近。声音检测的方法容易受到环境噪声的干扰，同时，构建无人机声音特征的数据库十分耗时。射频检测是通过无线接收器监控一定频率范围内的射频来检测无人机。这种方法很容易将未知的射频发射机误报为无人机。雷达检测是通过检测验证接收到的目标散射和反射的电磁波来判断是否是无人机。雷达设备的费用以及能源消耗十分的昂贵，并且易受到环境影响而产生盲区。视觉检测一般是通过一个或多个成像设备来检测无人机，利用某种方法分析图像序列来判断是否有无人机存在。基于视觉的无人机检测不易受到环境噪声的干扰，可以定位无人机所在位置，还可以辨别出无人机是否携带危险物品，甚至可以检测无人机的飞行轨迹、飞行速度等信息。因此，基于视觉的检测方法相比其他手段具有巨大的优势，同时也能弥补其他检测手段的不足。
目前基于视觉的无人机检测的研究工作较少。很显然，在越远的距离检测到无人机，对于提前规避无人机的危险更有利。无人机相比行人、飞机、车辆等目标大小更小，尤其是在远距离成像中，无人机的尺寸非常小，这使得基于视觉的无人机检测更加困难。因此，目前需要一种能有效检测视频中无人机小目标的检测算法。
技术实现要素：
有鉴于此，本发明的目的在于提供一种基于运动特征和深度学习特征的无人机小目标检测方法，利用目标跟踪算法来跟踪无人机并滤除虚假目标，结合无人机尺寸小等特点，对卷积神经网络结构进行了改进，使深度学习算法适用于小目标的情况，并能够有效的检测出复杂场景中的无人机，提高了无人机检测的准确率。
为达到上述目的，本发明提供如下技术方案：
一种基于运动特征和深度学习特征的无人机小目标检测方法，该方法包括以下步骤：
s1：通过视频稳像算法对输入的视频的数据集进行处理，补偿摄像头运动；
s2：通过低秩矩阵分析方法从运动补偿后的视频图像中检测运动候选目标区域ⅰ，并通过图像后处理模块去除运动候选目标区域ⅰ中细小的噪声点；
s3：将视频的数据集分为训练集和测试集，利用训练集训练得到改进的候选区域生成网络模型；通过改进的区域生成网络模型对测试集的视频图像处理生成候选目标区域ⅱ；
s4：将候选目标区域ⅰ和候选目标区域ⅱ进行融合得到候选目标区域ⅲ；
s5：根据候选目标区域ⅲ，利用训练集训练得到基于双通道的深度神经网络，然后将基于双通道的深度神经网络应用于测试集的候选目标得到识别结果；
s6：利用相关滤波算法预测目标的位置，跟踪匹配稳定的目标，滤除虚假目标，得到无人机所在位置。
进一步，步骤s1中，所述的视频稳像算法包括：
s11：利用surf算法对每一帧图像提取特征点；
s12：通过得到的两帧图像之间的特征匹配点计算得到两帧之间的仿射变换模型；
s13：利用得到的仿射变换模型对当前帧进行补偿。
进一步，步骤s2中，利用低秩矩阵分析方法检测运动候选目标区域ⅰ的过程包含以下步骤：
s21：将输入视频序列图像数据{f1,f2,...,fn}向量化构成图像矩阵
s22：通过rpca算法将矩阵c分解为低秩矩阵l和稀疏矩阵s，其中得到的低秩矩阵l表示目标背景，稀疏矩阵s表示得到的候选运动目标；
s23：利用形态学开闭运算对得到的候选运动目标进行噪声滤除处理，滤除运动候选区域中细小的噪声点。
进一步，步骤s3中，所述改进的候选区域生成网络模型包含依次连接的五个卷积层和两个全连接层，其中第一层卷积层与第二层卷积层之间、第二层卷积层与第三层卷积层之间以及第五层和第一全连接层之间均设置有池化层；
步骤s3具体为：
s31：将视频的数据集分为训练集和测试集；
s32：对于训练集的数据，提取图像中的人工标注的正样本，然后随机采样若干区域作为负样本；
s33：利用训练集的正负样本训练得到改进的候选区域生成网络模型；
s34：通过改进的区域生成网络模型对测试集的视频图像处理生成候选目标区域ⅱ。
进一步，步骤s32中随机采样的区域的宽度和高度大小范围由正样本的宽度和高度决定，且负样本与正样本的重叠区域满足：
其中iou为重叠率，rg为正样本区域，rn为随机采样负样本区域。
进一步，步骤s4中融合得到候选目标区域ⅲ具体为：
s41：对候选目标区域ⅰ进行密集采样得到密集种子候选区域；
s42：计算密集种子候选区域与候选目标区域ⅱ之间的相似性，当满足
时合并两个候选区域，其中，sim为密集种子候选区域与候选目标区域ⅱ的相似度；
s43：遍历所有的候选目标区域ⅰ得到最终的候选目标区域ⅲ。
进一步，步骤s5中，所述基于双通道的深度神经网络包含前端模块和后端模块；
所述前端模块由两个并行的深度神经网络模型组成，其中一个以候选目标区域直接作为输入，经过一个6层卷积神经网络和1个全连接层；另一个以候选目标区域为中心，在原图目标区域上建立一个扩展区域作为输入，经过一个6层卷积神经网络和1个全连接层；
所述后端模块以前端模块得到的两个全连接层的输出作为输入，经过2个全连接层和1个softmax层得到每个候选区域的分类信息作为最终的分类结果；
步骤s5具体为：
s51：对于训练数据集，将步骤s4得到的候选目标区域ⅲ的训练数据集分为正负样本，输入到基于双通道的深度神经网络训练得到最优权重；
s52：将最优权重应用到步骤s4得到的测试集的候选目标区域进行分类，得到最终的识别结果。
进一步，步骤s6具体包括：
s61：已知当前帧t的前一帧目标的中心位置(xt-1,yt-1)，对于步骤s5中训练得到的改进的候选区域生成网络模型，将改进的候选区域生成网络模型的最后三层卷积层得到的卷积特征图阵列进行稀疏化，然后利用稀疏化后的特征图提取目标的深度特征；
s62：对改进的候选区域生成网络模型的最后三层卷积层的输出特征分别构造相关滤波器，由后向前，将每一层的特征与对应的相关滤波器进行卷积，计算相应的置信分数f，从而得到候选目标在当前帧的新的中心位置(xt,yt)；
s63：在新的中心位置周围提取深度特征，更新相关滤波器的参数；
s64：考虑到无人机目标运动的稳定性和连续性，对于跟踪帧数少于阈值的候选目标区域轨迹进行滤除，最终得到的跟踪目标为无人机的检测结果。
进一步，构造相关滤波器的步骤为：
s621：设输出特征的大小为m×n×d，深度特征为x，构造相关滤波器的目标函数：
其中，w*为相关滤波器的目标函数，w为相关滤波器，xm,n为在(m,n)像素处的特征，λ为正则化参数λ(λ≥0)，y(m,n)表示在(m,n)处像素的标签；
y(m,n)服从二维高斯分布：
其中σ为高斯内核的宽度；
s622：利用快速傅里叶变换将目标函数转换到频域，得到目标函数的最优解，
y是y的傅里叶变换，⊙表示hadamard积，wd为目标函数的最优解，
s623：给定下一帧图像的候选目标区域，对于候选区域的深度特征z，对应相关滤波器的响应图为：
其中f-1表示傅里叶变换，
进一步，步骤s63中更新相关滤波器的参数满足：
pt、qt为中间变量，wt为更新后的第t帧的相关滤波器的目标函数，t为视频帧号，η为学习率。
本发明的有益效果在于：
1)本发明提出了一种基于无人机运动特征和深度学习特征的方法检测无人机。该方法能在背景复杂且无人机较小的情况下有效的检测到目标。
2)本方法改进了传统的深度神经网络结构，有效的解决了现有的基于深度神经网络的目标检测算法不适用于小目标的问题。
3)本方法提出了一种基于多层深度特征和相关滤波器的在线跟踪算法，能较好的跟踪预测无人机轨迹并滤除虚假目标。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为本发明基于运动特征和深度学习特征的无人机小目标检测方法的示意图；
图2为视频稳像算法示意图；
图3为卷积神经网络结构示意图；
图4为利用改进的区域生成网络生成候选目标示意图；
图5为基于双通道的深度神经网络示意图；
图6为基于深度特征的在线跟踪算法示意图。
具体实施方式
下面将结合附图，对本发明的优选实施例进行详细的描述。
在本发明中，基于运动特征的候选目标检测模块，对原始视频进行视频稳像后，通过低秩矩阵分析提取视频中的运动目标区域；
基于深度特征的候选目标检测模块，通过改进的区域生成网络模型对视频图像提取候选目标；
改进的候选区域生成网络是在传统的区域生成网络基础上修改了网络结构以及候选区域的尺度大小，并且更换了输出特征图的网络层；
候选区域融合模块是将步骤s2与s3得到的候选区域进行融合；
基于双通道的深度神经网络的候选目标识别模块是针对小目标的特点改进传统的深度神经网络模型对候选区域进行分类识别，得到最终的识别结果；
基于深度特征的在线跟踪算法改进了传统的基于人工特征的跟踪算法，利用卷积神经网络提取的目标的特征，更具有鲁棒性。
图1为本发明基于运动特征和深度学习特征的无人机小目标检测方法示意图，如图所示，本发明所述方法具体包括以下步骤：
步骤s1：首先通过视频稳像算法对输入的原始视频的数据集进行处理，补偿摄像头运动，其具体流程图如图2所示：
s101：利用surf算法对图像提取关键点，构造surf特征点描述符。
s102：计算两帧图像对应特征点的欧氏距离，然后选取最小的距离，设定阈值，当对应特征点距离小于阈值时，保留匹配点，否则剔除。
s103：将两帧图像进行双向匹配，通过重复s12步骤，当匹配的特征点对与步骤s12得到的结果一致时，得到最终的特征匹配点。
s104：将摄像头运动设定为仿射变换模型，根据上述步骤得到的特征匹配点，利用最小二乘法计算得到两帧图像之间的仿射变换模型。
s105：根据得到的仿射变换模型，通过当前帧与设定的基准帧配准，得到补偿过后的当前帧，保存到新的视频中，最终得到稳定的视频。
s106：计算得到的补偿后当前帧与基准帧之间的偏移度，若偏移度大于阈值，则更新当前帧为基准帧，否则继续读取下一帧。
步骤s2：通过低秩矩阵分析的方法对补偿后的视频检测运动候选目标区域，并通过图像后处理模块去除运动候选区域中细小的噪声点。
步骤s3：将数据集分为训练集和测试集，利用训练数据集训练得到改进的候选区域生成网络模型；通过训练得到的改进的区域生成网络对测试集的视频图像生成候选目标。改进的区域生成网络模型结构如图4所示：
在步骤s3中，利用数据集正负样本训练改进的候选区域生成网络模型；通过训练得到的改进的区域生成网络对测试集的视频图像生成候选目标，具体包括以下过程：
首先针对无人机的特点对传统的候选区域生成网络结构改进，得到改进的候选区域生成网络，改进的候选区域生成网络修改了网络结构和特征提取的尺度大小，并且更换了输出特征图的网络层；然后利用训练数据集训练得到改进的候选区域生成网络模型的最优权重；最后把最优权重应用到测试数据集上得到候选目标矩形框。
改进的区域生成网络主要在卷积神经网络(convolutionalneuralnetwork，cnn)的基础上额外增加了两个全卷积层，一个是区域分类层，用于判断候选区域是前景目标还是背景，另一个是区域边框回归层，用于预测候选区域的位置坐标。其中，卷积神经网络是由五个卷积层，三个池化层以及两个全连接层构成，如图3所示。传统的区域生成网络通常对最后一层卷积层产生的特征图进行处理，但是小目标往往更依赖浅层特征，因为浅层特征有更高的分辨率，因此，本方法将之改为第四个卷积层。区域生成网络通过滑动网络在第四个卷积层输出的特征图上滑动，这个滑动网络每次与特征图上9个不同尺度大小的窗口全连接，然后映射到一个低维向量，最后将这个低维向量送入到两个全连接层，得到候选目标的类别和位置。与传统的区域生成网络不同的是，方法中9个尺度大小相比原来的大小减小，更加有利于小目标的检测。
步骤s3具体为：
s31：将视频的数据集分为训练集和测试集；
s32：对于训练集的数据，提取图像中的人工标注的正样本，然后随机采样若干区域作为负样本；
s33：利用训练集的正负样本训练得到改进的候选区域生成网络模型；
s34：通过改进的区域生成网络模型对测试集的视频图像处理生成候选目标区域ⅱ。
步骤s32中对图像进行负样本的采样，采样的区域的宽度和高度大小的范围由正样本的最大(最小)宽度和高度决定，并且负样本的区域与正样本的重叠率不能超过满足：
其中iou为重叠率，rg为正样本区域，rn为随机采样负样本区域。
步骤s4：对步骤s2得到的候选目标区域进行密集采样得到更密集的候选目标框，然后与步骤s3得到的候选目标通过融合得到最终的候选目标。
具体融合方式包括：
s41：将步骤s2得到的运动候选区域作为种子候选区域，对种子候选区域进行进一步的密集采样，得到密集的种子候选区域；
s42：计算种子候选区域与步骤s3得到的候选区域之间的相似性，当相似性大于μ(μ∈[0.6,1])时，合并两个候选区域，遍历所有的种子候选区域得到最终的候选区域。区域a和区域b相似性sim计算公式为：
步骤s5：根据本方法提出的一种针对小目标检测的基于双通道的深度神经网络模型，利用训练数据集训练得到该网络模型，然后将其应用于测试集的候选目标得到识别结果。基于双通道的深度神经网络模型结构如图5所示：
基于双通道的深度神经网络模型主要有两个部分组成，前端模块和后端模块。前端模块由两个并行的深度神经网络模型组成，一个以候选目标区域直接作为输入，经过6个卷积层和1个全连接层，得到4096维的特征；另一个以候选目标区域为中心，在原图上取4倍的目标区域的一个扩展区域作为输入，经过6个卷积层和1个全连接层，得到4096维的特征。后端模块以前端模块得到的两个4096的特征串起来作为输入，经过2个全连接层层和1个softmax层得到每个候选区域的分类信息作为最终的分类结果。
在步骤s5中，根据本方法提出的一种针对小目标检测的基于双通道的深度神经网络，利用训练数据集训练得到该网络模型，然后将其应用于测试集的候选目标得到识别结果，具体包括：
s51：对于训练数据集，将步骤s4得到的训练数据集的候选目标区域分为正负样本，输入改进的基于双通道的深度神经网络训练得到最优权重。
s52：将最优权重应用到步骤s4得到的测试数据集的候选目标区域进行分类，得到最终的识别结果。
步骤s6：将本方法提出的基于深度特征的目标跟踪方法应用于步骤s5的识别结果，利用相关滤波算法预测目标的位置，跟踪匹配的稳定目标从而滤除虚假目标，得到最终的无人机所在位置。基于深度特征的目标跟踪算法具体流程图如图6所示：
s601：输入当前帧前一帧的候选目标区域，利用步骤s5中训练得到的神经网络模型，首先将模型最后三层卷积层得到的卷积特征图阵列稀疏化，然后利用稀疏化后的特征图提取目标的深度特征；
s602：对上述每一卷积层输出特征分别构造相应的相关滤波器，由后向前，将每一层的特征与对应的相关滤波器进行卷积，计算相应的置信分数，从而得到该候选目标在当前帧的新位置；
s603：在候选目标新的中心位置周围提取深度特征，用以更新相关滤波器的参数。
s604：考虑到无人机目标运动的稳定性和连续性，对于跟踪帧数少于阈值的候选目标区域轨迹进行滤除，最终得到的跟踪目标为无人机的检测结果。
对于步骤s604中提到的阈值的取值范围为5-20。
在步骤s6中，所述对大小为m×n×d的输出特征分别构造相应的相关滤波器，具体包括：
首先，设大小为m×n×d的深度特征为x，构造相应相关滤波器的目标函数为：
其中，λ(λ≥0)为正则化参数；y(m,n)表示在(m,n)处像素的标签，标签服从二维高斯分布：
然后，利用快速傅里叶变换将目标函数转换到频域，可推导得到目标函数的最优解为：
最后，当给定下一帧图像的候选目标区域后，对于候选区域的深度特征z，则对应相关滤波器的响应图为：
进一步，在步骤s6中，所述相关滤波器的参数wd的更新策略，具体包括：
其中，t是视频帧号，η是学习率。
最后说明的是，以上优选实施例仅用以说明发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。