一种基于虚拟样本生成的少样本无人机图像识别方法与流程

本发明属于机器学习领域，具体涉及实用性很强的一种基于虚拟样本生成的少样本无人机图像识别方法。

背景技术：

近年来，无人机产业的应用和前景受到各行业关注，无人机数量暴增，安全隐患也随之而来。无人机无序黑飞，侵犯公民隐私，用于违法犯罪活动，威胁空中航道安全等事件频繁出现，因此，对无人机进行监控和管制显得愈发重要。利用随处可见的超清摄像头对无人机进行识别和监控是一种有效的监管方式，因而研究基于图像的无人机检测和识别方法具有重要的实际意义。一方面，无人机图像识别的难点在于图像尺寸极小和类内间距较大，原因有距离远、运动范围大引起的无人机图像尺寸极小和尺度差异大，以及天气环境、飞行高度和拍摄角度等也使无人机图像之间差异明显；另一方面，由于无人机识别任务的学习样本较少、无人机种类繁多、场景多样、获取样本困难等原因，导致样本集不够充足，从而造成识别模型的泛化能力不高。

小目标检测和识别方法一直处于学术研究前沿领域，主要有深度学习和传统机器学习方法两类。深度学习中fpn模型对尺度变化的小目标检测和识别任务有很好的效果，yolo系列算法在检测和识别小目标的表现中也较为突出，但这类算法的良好性能是建立在充足样本量的基础上，少样本条件下的模型性能并不突出；传统机器学习方法性能主要由特征提取和分类器决定，hog特征和svm模型的方案在小目标检测和识别等图像任务中有突出表现，而结合svm和latentsvm的dpm模型比svm具有更好的性能。

少样本学习领域是目前机器学习前沿领域之一，其中构造大量的虚拟样本以改善模型识别能力的虚拟样本生成方法，是解决样本量不足问题的一种有效的方法。图像的虚拟样本生成方法有很多种，最简单有效的就是随机剪裁、翻转、旋转、重采样等样本增强方法；qr分解重构方法利用最大化矩阵列向量的独立性和保留主要成分的思想，生成保留原图像主要分量的虚拟样本；加权融合方法生成的虚拟样本能保持多个原图像中的特征分布，使分类器学习到样本的主要特征分布信息；gan作为图像生成的新热门方法，可以生成“以假乱真”的虚拟样本。

技术实现要素：

本发明的目的在于提供一种基于虚拟样本生成的少样本无人机图像识别方法。

本发明的目的是这样实现的：

一种基于虚拟样本生成的少样本无人机图像识别方法，包括以下步骤：

步骤1：通过摄像装置由地对空远距离拍摄一段帧数为n的无人机飞行的短视频，获取n个的无人机区域作为正样本，结合其它相关视频收集树、楼、云、鸟、风筝、气球等干扰小区域作为负样本，作为训练样本集；

步骤2：采用基于卷积网络的w-gan方法生成虚拟样本，利用总数为n的正样本图像训练gan模型，通过模型中的生成器随机地生成数量为3n的虚拟样本；

步骤3：将总数为n的正样本图像以每组两幅的方式划分为0.5n组，利用qr重构加权融合方法对每组样本生成4幅图像，共获得数量为2n的虚拟样本；

步骤4：对总数为n的正样本图像，利用包括镜像翻转、重采样的其它虚拟样本生成方法获得数量为4n的虚拟样本；

步骤5：生成数量为9n的虚拟样本用于提升识别模型的泛化能力，将虚拟样本作为正样本加入到训练集中，训练快速dpm模型，获得在少样本条件下的能准确识别无人机图像的识别器。

所述步骤2基于卷积网络的w-gan模型生成方法，具体包括：

(2-a)模型中的生成器网络结构为2个全连接层和2个反卷积层组成，网络结果具体为：

第1层为使用relu函数激活的全连接层，输出为1024大小的向量；

第2层为使用relu函数激活的全连接层，输出为8192大小的向量，然后重组为8×8×128大小的多维向量组；

第3层为卷积核为4×4、步长为2的反卷积层，并使用relu函数激活，输出为16×16×64大小的图；

第4层为卷积核为4×4、步长为2的反卷积层，并使用tanh函数激活，输出为32×32×3大小的图；

(2-b)模型中的判别器网络结构为2个卷积层和2个全连接层组成，网络结构具体为：

第1层为卷积核为4×4、步长为2的卷积层，并使用leakyrelu函数激活，输出为16×16×128大小的图；

第2层为卷积核为4×4、步长为2的卷积层，并使用leakyrelu函数激活，输出为8×8×256大小的图，然后重组为16384大小的向量；

第3层为使用leakyrelu函数激活的全连接层，输出为1024大小的向量；

第4层为不使用激活函数的全连接层，输出为1大小的向量；

(2-c)使用数量为n的正样本集训练模型得到已训练好的生成器，再利用生成器随机生成数量3n的虚拟样本。

所述步骤3中qr重构加权融合方法生成虚拟样本的具体步骤包括：(3-a)根据qr分解所得酉矩阵q和上三角阵r，直接进行重构得到的图为完整的信息图

i(q,r)＝q·r

其中，由于上三角阵r的特性，对应的矩阵q其第i列向量对原图像矩阵第i列至最后一列的元素值均有贡献，而不影响第i列之前的元素值，因此，信息图元素值的完整性向左逐渐递增；对其中一张图像il进行qr分解，计算包含图像信息的酉矩阵ql和上三角阵rl；利用矩阵q、r和重构系数w进行重构得到左向信息图i：

i(ql,rl,w)＝ql32×(32·w)·rl(32·w)×32

4个重构系数0.25、0.5、0.75、1.0分别获得对应的4幅左向信息图；(3-b)对组内另一张图像ir先进行镜像翻转得到对称的图像，采用与(3-a)相同的处理方式得到酉矩阵qr和上三角阵rr，进而获取对称图像的左向信息图，并再次进行镜像翻转得到4幅右向信息图ig：

ig(qr,rr,w)＝g(qr32×(32·w)·rr(32·w)×32)

其中，g(·)为将矩阵镜像翻转；

(3-c)将同一重构系数下的左向信息图i和右向信息图ig进行加权融合：

得到4幅融合后的虚拟图像iw；最终数量0.5n组的图像经qr重构加权融合后获得数量为2n的虚拟样本。

所述步骤5中快速dpm模型，具体包括：

(5-a)根据无人机的四个机翼和机身的明显特征，dpm模型的部件滤波器个数选为5；

(5-b)计算图像的两层hog特征金字塔，底层特征图作为根滤波器的输入，顶层特征图作为部件滤波器的输入；

(5-c)根滤波器的锚点固定为图像中心(x0,y0)，图像的总响应值得分公式为：

其中，r0为根滤波器得分，ri为部件滤波器得分，为根滤波器锚点与部件的检测点间的距离。

本发明的有益效果在于：虚拟样本生成方法中，采用了基于卷积网络的w-gan使得模型生成高质量的无人机虚拟图像，qr重构加权融合方法生成的虚拟图像具备两幅图像特征的分布，在不过度失真的情况下，增加样本的有效信息和多样性，从而提升了模型的泛化能力；识别算法部分中，快速dpm模型采用固定了根滤波器输入的特征图和锚点的位置以及符合无人机模块化特征的部件模型，提升了运行速度和准确率。

附图说明

图1是本发明实施例提供的基于虚拟样本生成的少样本无人机图像识别方法流程示意图；

图2是本发明实施例提供的基于卷积网络的w-gan框架示意图；

图3是本发明实施例提供的实际图像以及w-gan生成的虚拟样本图样例；

图4是本发明实施例提供的qr重构加权融合方法示意图；

图5是本发明实施例提供的qr重构加权融合方法生成的虚拟样本效果图；

图6是本发明实施例提供的快速dpm模型框架示意图。

具体实施方式

下面结合附图对本发明做进一步描述。

针对现有技术的以上缺陷，本发明提出了一种基于虚拟样本生成的少样本无人机图像识别方法，改善少样本的模型泛化能力不足状况，并结合无人机图像的模块化特征，解决了少样本条件下的无人机识别难题。为实现上述目标，本发明的方法方案如下：

一种基于虚拟样本生成的少样本无人机图像识别方法，其特征在于，包括以下步骤：

(1)通过摄像装置由地对空远距离拍摄一段帧数为n的无人机飞行的短视频，获取n个的无人机区域作为正样本，结合其它相关视频收集树、楼、云、鸟、风筝、气球等干扰小区域作为负样本，作为训练样本集；

(2)采用基于卷积网络的w-gan方法生成虚拟样本，利用总数为n的正样本图像训练gan模型，通过模型中的生成器随机地生成数量为3n的虚拟样本；

(3)将总数为n的正样本图像以每组两幅的方式划分为0.5n组，利用qr重构加权融合方法对每组样本生成4幅图像，共获得数量为2n的虚拟样本；

(4)对总数为n的正样本图像，利用包括镜像翻转、重采样的其它虚拟样本生成方法获得数量为4n的虚拟样本；

(5)生成数量为9n的虚拟样本用于提升识别模型的泛化能力，将虚拟样本作为正样本加入到训练集中，训练快速dpm模型，获得在少样本条件下的能准确识别无人机图像的识别器。

进一步的，所述基于卷积网络的w-gan模型生成方法，具体包括：

(2-a)模型中的生成器网络结构为2个全连接层和2个反卷积层组成，网络结果具体为：

第1层为使用relu函数激活的全连接层，输出为1024大小的向量；

第2层为使用relu函数激活的全连接层，输出为8192大小的向量，然后重组为8×8×128大小的多维向量组；

第3层为卷积核为4×4、步长为2的反卷积层，并使用relu函数激活，输出为16×16×64大小的图；

第4层为卷积核为4×4、步长为2的反卷积层，并使用tanh函数激活，输出为32×32×3大小的图。

(2-b)模型中的判别器网络结构为2个卷积层和2个全连接层组成，网络结构具体为：

第1层为卷积核为4×4、步长为2的卷积层，并使用leakyrelu函数激活，输出为16×16×128大小的图；

第2层为卷积核为4×4、步长为2的卷积层，并使用leakyrelu函数激活，输出为8×8×256大小的图，然后重组为16384大小的向量；

第3层为使用leakyrelu函数激活的全连接层，输出为1024大小的向量；

第4层为不使用激活函数的全连接层，输出为1大小的向量。

(2-c)使用数量为n的正样本集训练模型得到已训练好的生成器，再利用生成器随机生成数量3n的虚拟样本。

进一步的，所述qr重构加权融合方法生成虚拟样本的具体步骤包括：

(3-a)根据qr分解所得酉矩阵q和上三角阵r，直接进行重构得到的图为完整的信息图：

i(q,r)＝q·r

其中，由于上三角阵r的特性，对应的矩阵q其第i列向量对原图像矩阵第i列至最后一列的元素值均有贡献，而不影响第i列之前的元素值，因此，信息图元素值的完整性向左逐渐递增。

对其中一张图像il进行qr分解，计算包含图像信息的酉矩阵ql和上三角阵rl。利用矩阵q、r和重构系数w进行重构得到左向信息图i：

i(ql,rl,w)＝ql32×(32·w)·rl(32·w)×32

4个重构系数0.25、0.5、0.75、1.0分别获得对应的4幅左向信息图。

(3-b)对组内另一张图像ir先进行镜像翻转，得到对称的图像，采用与(3-a)相同的处理方式得到酉矩阵qr和上三角阵rr，进而获取对称图像的左向信息图，并再次进行镜像翻转，得到4幅右向信息图ig：

ig(qr,rr,w)＝g(qr32×(32·w)·rr(32·w)×32)

其中，g(·)为将矩阵镜像翻转。

(3-c)将同一重构系数下的左向信息图i和右向信息图ig进行加权融合：

得到4幅融合后的虚拟图像iw。

最终数量0.5n组的图像经qr重构加权融合后获得数量为2n的虚拟样本。

进一步的，所述快速dpm模型，具体包括：

(5-a)根据无人机的四个机翼和机身的明显特征，dpm模型的部件滤波器个数选为5。

(5-b)计算图像的两层hog特征金字塔，底层特征图作为根滤波器的输入，顶层特征图作为部件滤波器的输入。

(5-c)根滤波器的锚点固定为图像中心(x0,y0)，图像的总响应值得分公式为：

其中，r0为根滤波器得分，ri为部件滤波器得分，为根滤波器锚点与部件的检测点间的距离。

本发明提出了一种基于虚拟样本生成的少样本无人机图像识别方法。首先利用基于卷积网络的w-gan、qr重构加权融合等虚拟样本生成方法扩充样本数量，改善了少样本条件下模型泛化能力不足状况，再通过快速dpm模型对待识别的无人机图像进行识别，充分利用无人机图像的模块化特点保证识别的准确性和鲁棒性。可以看出，虚拟样本生成方法中，采用了基于卷积网络的w-gan使得模型生成高质量的无人机虚拟图像，qr重构加权融合方法生成的虚拟图像具备两幅图像特征的分布，在不过度失真的情况下，增加样本的有效信息和多样性，从而改善模型的泛化能力；识别算法部分中，快速dpm模型采用固定了根滤波器输入的特征图和锚点的位置以及符合无人机模块化特征的部件模型，提升了运行速度和准确率。

为使本发明的目的、方法方案及优点更加清楚明白，下面将结合具体实施例中的所有附图对本发明的方法方案进行清楚、完整地描述。应当理解，所描述的实施例仅用于解释说明本发明，而不是全部的实施例并且并不限制本发明。

由于种类多、成像受环境影响大等原因，无人机的识别任务处于少样本条件下；采集到一段无法正确识别目标的无人机飞行视频，经处理后，使得识别器能准确识别无人机是本发明的方法目标。图1为本发明实施例提供的基于虚拟样本生成的少样本无人机图像识别方法流程示意图，具体的实施步骤如下：

s1、通过摄像装置由地对空远距离拍摄一段帧数为n的无人机飞行的短视频，获取n个的无人机区域作为正样本，结合其它相关视频收集树、楼、云、鸟、风筝、气球等干扰小区域作为负样本，统一缩放至32×32的大小，作为训练样本集。

无人机正样本是通过人工或其它手段截取包含无人机的矩形区域，因飞行姿势、环境等因素，图像呈现较大差别。各类干扰小区域作为负样本，除空中小物体干扰外，树、楼、云的部分区域也易成为算法的干扰。将所有样本图像缩放至32×32大小，不影响图像质量的同时，方便后续算法进行处理。

s2、利用基于卷积网络的w-gan方法生成虚拟样本，将总数为n的正样本图像，训练gan模型，通过模型中的生成器随机地生成数量为3n的虚拟样本。

目前流行的生成式对抗网络(generativeadversarialnetworks,gan)是生成虚拟样本的可靠方法。但gan具有难以训练和易出现模式崩溃的问题，且生成图像的质量也有较大差别。为了生成较好质量的无人机正样本图片，本发明方法提出基于卷积网络的w-gan方法。w-gan由生成器g和判别器d组成，其目标函数如下所示：

图2是本发明实施例提供的基于卷积网络的w-gan框架示意图，模型中的生成器与判别器为互对称的卷积网络结构，提升模型性能并适应低分辨率下的无人机图像。其中，生成器g的网络结构为2个全连接层和2个反卷积层组成，具体为：

第1层为使用relu函数激活的全连接层，输出为1024大小的向量；

第2层为使用relu函数激活的全连接层，输出为8192大小的向量，然后重组为8×8×128大小的多维向量组；

第3层为卷积核为4×4、步长为2的反卷积层，并使用relu函数激活，输出为16×16×64大小的图；

第4层为卷积核为4×4、步长为2的反卷积层，并使用tanh函数激活，输出为32×32×3大小的图。

判别器d的网络结构为2个卷积层和2个全连接层组成，网络结构具体为：

第1层为卷积核为4×4、步长为2的卷积层，并使用leakyrelu函数激活，输出为16×16×128大小的图；

第2层为卷积核为4×4、步长为2的卷积层，并使用leakyrelu函数激活，输出为8×8×256大小的图，然后重组为16384大小的向量；

第3层为使用leakyrelu函数激活的全连接层，输出为1024大小的向量；

第4层为不使用激活函数的全连接层，输出为1大小的向量。

使用数量为n的正样本集训练基于卷积网络的w-gan模型，得到已训练好的生成器后，随机生成数量为3n的虚拟样本。图3(a)所示为本发明实施例提供的正样本集实际图像样例；图3(b)所示为原w-gan方法生成的虚拟样本的样例，容易看出其生成的虚拟样本图像存在较大噪声和图像质量差的问题；图3(c)所示为基于卷积网络的w-gan方法生成的虚拟样本的样例，可以看出，该方法生成的图像与原正样本的图像相似度较高，解决了噪声问题且提升虚拟图像质量，表明模型已经完全学习到了原正样本的特征分布。

s3、将总数为n的正样本图像以每组两幅的方式划分为0.5n组，利用qr重构加权融合方法对每组样本生成4幅图像，共获得数量为2n的虚拟样本。

图4是本发明实施例提供的qr重构加权融合方法示意图，总数为n的正样本图像被划分为0.5n组，每一组有两幅图像，对于每组进行qr重构加权融合，具体为：

首先，对其中一张图像il进行qr分解，计算包含图像信息的酉矩阵ql和上三角阵rl。其中，矩阵q和r可以通过相乘方式重组为与原图像完全相同的完整信息图，如下所示：

i(q,r)＝q·r

其中，由于上三角阵r的特性，对应的矩阵q其第i列向量对原图像矩阵第i列至最后一列的元素值均有贡献，而不影响第i列之前的元素值，因此，信息图元素值的完整性向左逐渐递增。因此，可以由重构系数w来保留前32×w列，决定q、r矩阵所包含的信息份量。由于qr分解所得的信息图具有的左向完整特性，利用矩阵ql、rl和重构系数w进行计算得到左向信息图i，如下式所示：

i(ql,rl,w)＝ql32×(32·w)·rl(32·w)×32

4个重构系数0.25、0.5、0.75、1分别获得对应的4幅左向信息图。

然后，对组内另一张图像ir先进行镜像翻转，得到对称的图像，采用与上一步骤相同的处理方式得到酉矩阵qr和上三角阵rr，进而获取对称图像的左向信息图，并再次进行镜像翻转得到4幅右向信息图ig，如下式所示：

ig(qr,rr,w)＝g(qr32×(32·w)·rr(32·w)×32)

其中，g(·)为将矩阵镜像翻转。

最后，将同一重构系数下的左向信息图和右向信息图进行加权融合，如下式所示：

得到融合后的虚拟图像iw。

最终数量为n的正样本图像经qr重构加权融合后可获得数量为2n的虚拟样本。图5展示了本发明实施例提供的qr重构加权融合方法生成的虚拟样本效果图。

s4.对总数为n的正样本图像，利用其它虚拟样本生成方法对每个样本生成4幅图像，共获得数量为4n的虚拟样本。

s41.利用镜像翻转方法，对数量为n的正样本图像，获得数量为n的虚拟图像样本。

对一幅图像i进行镜像翻转，如下式所示，得到对称的虚拟图像i’(xi,yj)：

i'(xi,yj)＝i(x27-i,yj)

镜像翻转方法获得的虚拟图像为原图关于y轴对称的图，由于无人机自身的对称性特点，该虚拟图像与真实图像非常接近。

s42.利用重采样方法，对数量为n的正样本图像，由3种重采样系数获得数量为3n的虚拟图像样本。

对一幅图像进行重采样，先将图像按3种采样系数0.4、0.6、0.8分别进行下采样，得到缩小的图片，再利用双线性插值方法进行上采样，获得的3幅重采样图像为虚拟样本。重采样方法获得图像可以视为无人机距离变远时捕捉的图像，同样与真实图像十分接近，增强了样本集的多尺度特性。

s5.生成数量为9n的虚拟样本用于提升识别模型的泛化能力，将虚拟样本作为正样本加入到训练集中，训练快速dpm模型，获得在少样本条件下的能准确识别无人机图像的识别器。

本发明所述的各虚拟样本生成方法获得的虚拟样本数量为9n，结合原正样本，共获得数量10n的正样本，结合原负样本得到新的样本集。

dpm(deformablepartsmodel，可形变部件模型)是一个非常成功的目标检测算法，其通过根模版与部件模版计算目标的匹配得分，进行分类。dpm模型先计算输入图像的多层hog特征金字塔，然后通过滑动窗口搜索找到目标的最大得分位置。但该方案存在大量相似的匹配计算，算法耗费时间较长。由于无人机的模块化特征，dpm部件匹配与整体匹配相结合的思想非常适合用于无人机目标的识别任务。为进一步优化算法运行速度，本发明提出快速dpm模型，图6是本发明实施例提供的快速dpm模型框架示意图，具体为：

s51.根据无人机的四个机翼和机身的明显特征，dpm模型的部件滤波器个数选为5。

s52.计算图像的两层hog特征金字塔，底层特征图作为根滤波器的输入，顶层特征图作为部件滤波器的输入。

s53.根滤波器的锚点固定为图像中心(x0,y0)，图像的响应值得分公式如下式所示：

其中，r0为根滤波器得分，ri为部件滤波器得分，为根滤波器锚点与部件的检测点间的距离。

对dpm模型进行训练后，得到已训练的无人机识别器。其识别过程为：输入图像，计算两层hog特征金字塔，根滤波器计算底层特征图的得分，5个部件滤波器在顶层特征图进行滑动搜索方式计算卷积所得响应值并寻找最优位置；若图像的总响应得分高于阈值，则判断为无人机目标；反之，则判断为非无人机目标。

综上可知，虚拟样本生成方法结合dpm模型的识别方法适合针对于少样本下的无人机小图像识别任务，实用性很强；所述的基于卷积网络的w-gan模型可以生成高质量的无人机虚拟图像，所述的qr重构加权融合方法生成的虚拟图像具备两幅图像特征的分布，在不过度失真的情况下，增加样本的有效信息和多样性，从而提升模型的泛化能力；所述的快速dpm模型采用固定根滤波器输入的特征图和锚点的位置以及符合无人机模块化特征的部件模型，提升了运行速度和准确率。

以上描述了本少样本无人机图像识别方法的基本原理、主要特征和实用的特点，本行业的方法人员应该了解，以上实施例的说明只是用于帮助理解本发明的方法技术和核心思想，并不限制本发明，同时，根据本申请的思想，在具体实施方式和应用范围上均会有改变之处，这些改变都落入本发明的保护范围内。