一种无人机地面运动小目标实时检测系统及方法与流程

本发明涉及运动目标检测领域，具体涉及一种无人机地面运动小目标实时检测系统及方法。

背景技术：

运动目标检测与识别是计算机视觉中的基本问题，尤其是远距离对运动小目标的检测是当前所面临的重要难题。对于光学探测中的目标检测和识别，主要基于两种信息：一种是目标的视觉特征，包括纹理、颜色和形状信息；一种是目标的运动信息。常用的目标检测方法包括帧间差分和背景提取、图像分割和特征匹配、光流法以及目前发展火热的机器学习方法。这些方法有的实时性好，但受背景影响大或者需要先验知识；有的具有较好的检测效果，但是计算量大或者容易受到噪声影响；机器学习的方法对尺度、旋转变形的目标有较好的适应性，但是目标很小时无法进行有效识别。对于无人机地面运动小目标的检测和识别来说，具有目标小、计算实时性要求高的特点，现有的方法不能满足目标检测要求。因此，研究一种无人机地面运动小目标实时检测与识别方法具有重要意义。

技术实现要素：

本发明的目的在于解决无人机对地面运动小目标的实时检测与识别问题，一种无人机地面运动小目标实时检测方法，能够实时对地面小目标实时检测发现，通过相机变焦对目标进行识别跟踪。

为了实现上述目的，本发明提出了一种无人机地面运动小目标实时检测系统，所述系统包括：可变焦相机和微型计算平台；

所述可变焦相机，用于拍摄视频图像，还用于根据变焦指令进行变焦，拍摄目标视频图像；

所述微型计算平台，包括cpu处理器和gpu处理器；

所述cpu处理器，用于执行下述步骤：

获取视频图像，对图像进行降采样；

对降采样的图像进行运动目标检测，得到检测的若干个运动小目标；

以图像中心为坐标原点，计算每一个检测出的目标的重心相对于原点的位置；

选择一个目标，根据该目标在图像中的位置计算其实际空间中相对于相机的坐标位置，向无人机控制系统发出姿态调整指令，使相机指向目标；然后向可变焦相机发送变焦指令；

所述gpu处理器，用于执行下述步骤：将目标视频图像输入预先训练好的深度神经网络，输出所识别到的目标种类和概率，并对目标进行轮廓圈选。作为上述系统的一种改进，所述对降采样的图像进行运动目标检测，得到检测的若干个目标；具体包括：

对降采样的图像进行运动目标检测，得到检测结果；

对检测结果进行二值化处理，背景所在位置的像素为0，运动目标所在位置的像素值为1；

根据所检测最小目标的像素个数以及虚警率的大小设定腐蚀参数以及膨胀参数，对所检测出的小目标进行腐蚀和膨胀操作，

对值为1的像素进行聚类处理，每一类对应一个运动目标。

作为上述系统的一种改进，所述运动目标检测包括：背景提取、帧间差分、光流法、图像分割、特征匹配以及机器学习。

基于上述系统，本发明还提出了一种基于无人机平台的运动小目标实时检测方法，所述方法包括：

获取可变焦相机的视频图像，对图像进行降采样；

对降采样的图像进行运动目标检测，得到检测的若干运动小目标；

以图像中心为坐标原点，计算每一个检测出的目标的重心相对于原点的位置；

选择一个目标，根据该目标在图像中的位置计算其实际空间中相对于相机的坐标位置，向无人机控制系统发送指令调整无人机姿态，使相机指向目标，同时通过向可变焦相机发送变焦指令使相机变焦，然后获取相机拍摄的目标视频图像；

将目标视频图像输入预先训练好的深度神经网络，输出所识别到的目标种类和概率，并对目标进行轮廓圈选。

作为上述方法的一种改进，所述对降采样的图像进行运动目标检测，得到检测的若干个目标；具体包括：

对降采样的图像进行运动目标检测，得到检测结果；

对检测结果进行二值化处理，背景所在位置的像素为0，运动目标所在位置的像素值为1；

根据所检测最小目标的像素个数以及虚警率的大小设定腐蚀参数以及膨胀参数，对所检测出的小目标进行腐蚀和膨胀操作，

对值为1的像素进行聚类处理，每一类对应一个运动目标。

作为上述方法的一种改进，所述运动目标检测包括：背景提取、帧间差分、光流法、图像分割、特征匹配以及机器学习。

作为上述方法的一种改进，所述方法还包括：深度神经网络的训练步骤，具体包括：

在不同地点、不同角度、不同距离下，使用无人机采集若干张所要识别的目标类型的目标图像数据，对所采集的数据进行标注，标注内容包括对目标进行轮廓圈选、标注目标类别，生成训练样本；

建立采用ssd-mobilenet结构的深度神经网络，其中在mobilenet中将标准卷积核分离为深度卷积核和点卷积核；特征图的通道数为m，卷积核大小为dk*dk，输出通道数为n，输出特征图大小为df*df，则标准卷积核为m*dk*dk*n，分离后的深度卷积核大小为dk*dk*m，点卷积核大小为m*n*1*1；在ssd网络中，将vgg结构替换成mobilenet结构；

利用训练样本对深度神经网络进行训练，采用的损失函数包括分类损失和定位损失两部分，得到训练好的深度神经网络。

与现有技术相比，本发明的优点在于：

本发明的方法将运动目标检测分为两个步骤：一是通过利用运动信息对远距离可疑目标进行检测，二是对相机进行变焦实现基于深度神经网络的近距离目标识别，第一步使用处理器的cup进行计算，第二步使用gpu进行计算；通过这种两步走的方式，能够有效提升目标检测精度和实时性、并降低虚警率。

附图说明

图1为本发明的实施例1的无人机地面运动小目标实时检测系统的结构图；

图2为本发明的实施例2的无人机地面运动小目标实时检测方法的流程图。

具体实施方式

下面结合附图和具体实施例对本发明的技术方案进行详细的说明。

实施例1：

本发明的基本原理是通过无人机搭载可变焦相机和微型计算平台，通过相机获取地面视频数据，利用目标的运动信息对视频中的运动小目标进行检测，检测结果作为疑似目标，然后针对选定的可疑目标，对相机进行变焦，近距离观测目标，利用目标的纹理、尺寸和形状信息对目标进行识别。微型计算平台主要用于接收相机数据，进行目标的检测和识别、相机控制指令的发布。

本发明的实施例1提供了一种无人机地面运动小目标实时检测系统，所述系统包括：可变焦相机和微型计算平台；

所述可变焦相机，用于拍摄视频图像，还用于根据变焦指令进行变焦，拍摄目标视频图像；

所述微型计算平台，包括cpu处理器和gpu处理器；

所述cpu处理器，用于执行下述步骤：

获取视频图像，对图像进行降采样；

对降采样的图像进行运动目标检测，得到检测的若干个运动小目标；

以图像中心为坐标原点，计算每一个检测出的目标的重心相对于原点的位置；

选择一个目标，根据该目标在图像中的位置计算其实际空间中相对于相机的坐标位置，向无人机控制系统发出姿态调整指令，使相机指向目标；然后向可变焦相机发送变焦指令；

所述gpu处理器，用于执行下述步骤：将目标视频图像输入预先训练好的深度神经网络，输出所识别到的目标种类和概率，并对目标进行轮廓圈选。

实施例2

在目标距离较远时利用运动信息对可疑目标进行检测和粗定位，根据可疑目标的位置信息调整相机姿态并控制相机进行变焦，实现对可以目标的近距离观察，获得更清晰的目标信息，然后使用深度学习的方法对目标进行识别。

如图2所示，本发明的实施例2提供了一种无人机地面运动小目标实时检测方法，具体步骤为：

步骤1)通过无人机所搭载的相机获取视频，将视频输入到无人机所搭载的微型计算平台中进行处理；

步骤2)为了提升处理速度，对图像进行降采样,根据实际输入图像的分辨率设定降采样率，将图像分辨率降低至720p；

步骤3)对降采样的图像进行运动小目标检测：

1)能够使用的目标检测方法包括但不限于背景提取、帧间差分、光流法、图像分割、特征匹配以及机器学习等方法，对检测结果进行二值化处理，背景所在位置的像素为0，运动目标所在位置的像素值为1；

2)对所检测出的小目标进行腐蚀和膨胀操作，根据所检测最小目标的像素个数以及虚警率的大小设定腐蚀参数以及膨胀参数；

3)腐蚀膨胀后，对值为1的像素进行聚类处理，每一类对应一个运动目标，计算每个目标的重心位置；

步骤4)以图像中心为坐标原点，计算每一个检测出的目标的重心相对于原点的位置，根据目标检测个数的需求筛选出距离图像中心最近的几个目标并按照距离远近进行编号处理；

以上步骤使用微型计算平台的cpu进行运算；

步骤5)选择某个编号的目标，根据目标在图像中的位置计算其实际空间中相对于相机的坐标位置，调整相机姿态，使得相机指向目标，同时对相机进行变焦控制，近距离观察目标；

步骤6)相机开始变焦后转入基于深度学习的目标识别程序，将预先训练好的深度神经网络参数存储到微型计算平台中，对视频中每一帧图像中的目标进行识别，该步骤使用微型计算平台的gpu进行运算，目标识别原理如下：

1)根据所要识别的目标类型采集目标数据用于神经网络的训练，使用无人机在不同地点、不同角度、不同距离下采集目标图像数据，采集图像数量在1万张以上，对所采集的数据进行标注，标注内容包括对目标进行圈选、标注目标类别和属性；

2)深度神经网络结构采用ssd-mobilenet结构，其中在mobilenet中将标准卷积核分离为深度卷积核和点卷积核。设特征图的通道数为m，卷积核大小为dk*dk，输出通道数为n，输出特征图大小为df*df，则标准卷积核为m*dk*dk*n，分离后的深度卷积核大小为dk*dk*m，点卷积核大小为m*n*1*1；在ssd网络中，将vgg结构替换成mobilenet结构，采用的损失函数包括分类损失和定位损失两部分；

3)设定好网络结构后，使用所采集的数据集进行训练，得到用于目标识别的网络参数并将网络参数存储到移动处理器中；

4)对于每一帧输入的图像进行目标的识别，输出所识别到的目标种类和概率，圈选出目标轮廓；

步骤7)根据每一帧中所识别的目标位置，实时调整无人机姿态以及相机指向，对目标进行跟踪。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。