本发明涉及数字图像处理技术领域，更具体的说是涉及一种基于难样本挖掘的机场检测方法。
背景技术：
近年来，随着遥感成像技术的提升，遥感数据量成爆炸式增长。针对海量的遥感数据，利用机器自动挖掘大数据中包含的关键信息，有利于将人们从繁琐重复性地判别任务中解放出来，其中针对机场检测问题，由于其在军民两方面都具有较强的应用性而受到了广泛关注。
由于遥感图像中旋转角度、尺度、光照等因素的影响，使得机场检测仍然是一个相当具有挑战性的问题。目前大多数机场检测方法都是先在全幅面的遥感图像中提取机场候选区域，然后针对候选区域提取机场特有的几何、纹理等底层特征用于确认该候选区域是否为机场。同时为了提升大幅面遥感图像中机场检测的速度与效率，部分方法将视觉中显著性检测的方法引入到机场检测中，假定机场区域在遥感图像中具有较高的显著性，从而加速机场候选区域的定位过程。
然而，当前大多数机场检测方法都是基于底层特征(如尺度不变的特征描述子sift等)或是基于人为设计机场特有的几何特征来进行检测，由于手动设计的特征泛化能力较差，难以满足多尺度条件下的机场检测的应用需求。
因此，如何提供一种基于难样本挖掘的机场检测方法是本领域技术人员亟需解决的问题。
技术实现要素：
有鉴于此，本发明提供了一种基于难样本挖掘的机场检测方法，本发明将深度卷积神经网络引入到遥感图像机场检测，不仅利用卷积网络提取遥感图像中目标的高层语义特征信息，通过高层语义特征筛选机场候选区域，同时还对候选区域是否为机场进行二次确认，提升遥感图像中机场检测的查全率与准确率。
为了达到上述目的，本发明采用如下技术方案：
一种基于难样本挖掘的机场检测方法，所述方法包括以下步骤：
将光学遥感图像与对应标注真值作为所述光学遥感图像的训练数据；
候选区域提取网络的训练；
区域分类网络的训练；
候选区域提取与区域分类网络的耦合训练；
基于难样本挖掘的端到端深度卷积网络的微调；
端到端深度卷积神经网络的机场检测。
优选的，在上述基于难样本挖掘的机场检测方法中，所述将光学遥感图像与对应标注真值作为所述光学遥感图像的训练数据的步骤具体包括：
对全幅面光学遥感图像进行图像标注，获取全幅面光学遥感图像中标注真值；
在标注的全幅面光学遥感图中以250个像素为步长，滑动提取固定窗口大小的图像数据，垂直、水平方向滑动次数分别记为row与col；根据全幅面光学遥感图像标注真值，记录滑动窗口截取到的机场区域图像数据的真值框坐标；
滑动窗口中真值框坐标与所述全幅面光学遥感图像中标注真值的关系表达式为：
(x′k,y′k)＝(xk-col×250,yk-row×250)，其中，(xk,yk)与(x′k,y′k)分别是所述全幅面光学遥感图像标注真值坐标与所述滑动窗口中真值框坐标，且k∈{1,2}分别表示坐标左上、右下角点。
优选的，在上述基于难样本挖掘的机场检测方法中，所述候选区域提取网络的训练步骤具体包括：
根据零均值标准差为0.01的高斯分布随机生成所述候选区域提取网络中各卷积层的权重参数；
对训练数据中的每幅图像提取高层语义特征信息；
根据高层语义特征信息计算图像中逐个候选区域的损失函数；
随机从所有候选区域的损失函数中挑选出nbatch个进行反向传播用于更新所述候选区域提取网络中各卷积层的权重参数；
选取候选区域时正负样本比例为1:1，当图像中正样本数目不足时，则添加负样本作为候选区域。
优选的，在上述基于难样本挖掘的机场检测方法中，所述区域分类网络的训练步骤具体包括：
根据训练好的区域提取网络，对训练数据中的每幅图像提取候选区域，将提取到的候选区域的图像数据与候选区域的标注真值作为所述区域分类网络的训练数据，对所述区域分类网络进行训练。
优选的，在上述基于难样本挖掘的机场检测方法中，所述候选区域提取与区域分类网络的耦合训练步骤具体包括：
根据所述区域分类网络中前五层卷积层参数初始化所述候选区域网络中对应的前五层卷积层，实现所述候选区域提取与所述区域分类网络的共享与耦合。
优选的，在上述基于难样本挖掘的机场检测方法中，所述候选区域提取与区域分类网络的耦合训练步骤之后还包括：
固定共享的卷积层权重参数；
对所述候选区域提取网络中除共享的卷积层以外特有的卷积层权重参数进行微调；
根据微调后的所述候选区域提取网络生成不同的候选区域，再将生成的候选区域与候选区域的标注真值输入到所述区域分类网络中，对所述区域分类网络中除共享的卷积层以外特有的全连接层权重参数进行微调。
优选的，在上述基于难样本挖掘的机场检测方法中，所述基于难样本挖掘的端到端深度卷积网络的微调步骤具体包括：
利用所述区域提取网络对训练数据区分的难易程度进行评分，根据损失函数
lcls(p,u)＝-logpu
其中，i表示候选区域的索引号，pi表示第i个候选区域是目标区域的概率，pi*为真值标签，取值为{0,1}，1表示候选区域为正样本，即机场区域，反之则为0，表示候选区域为负样本，即背景区域；ti表示对候选区域位置的预测值矢量，ti*表示候选区域真实位置的矢量；lcls(p,u)表示区域分类损失函数；lreg(t,u)表示区域回归损失函数；ncls与nreg分别表示待分类候选区域与回归候选区域的个数；λ为平衡因子。
优选的，在上述基于难样本挖掘的机场检测方法中，所述基于难样本挖掘的端到端深度卷积网络的微调步骤具体还包括：
根据再次微调后的所述区域提取网络得到的候选区域与候选区域的标注真值作为训练数据，对区域分类网络中的全连接层权重参数进行微调；
对候选区域正确分类的难易程度进行评分，计算各候选区域的损失函数l(pi,ti)，根据损失值最大的前
优选的，在上述基于难样本挖掘的机场检测方法中，所述基于难样本挖掘的端到端深度卷积网络的微调步骤之后还包括：
将所述区域提取网络与区域分类网络进行级联，得到端到端卷积神经网络。
优选的，在上述基于难样本挖掘的机场检测方法中，所述端到端深度卷积神经网络的机场检测步骤具体包括：
将光学遥感图像输入至端到端深度卷积神经网络中，所述端到端深度卷积神经网络输出机场所在区域最小外接矩形框的左上、右下点坐标，并且评估出其为机场区域的概率。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于难样本挖掘的机场检测方法，先利用训练数据对区域提取网络进行训练，再利用区域提取网络提取的机场侯选区域与候选区域标注真值训练区域分类网络，并将区域提取网络和区域分类网络的卷积层共享，实现网络的耦合，并对区域提取网络和区域分类网络进行微调；微调后的区域提取网络和区域分类网络自动挖掘训练数据中的难样本，在自动构造的难样本集上对区域提取网络和区域分类网络进行二次微调，获取端到端深度卷积神经网络，能够提高网络对机场目标的查全率，同时降低虚警与漏检的概率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1附图为本发明基于难样本挖掘的机场检测方法的流程示意图；
图2附图为本发明基于难样本挖掘的机场检测方法的检测结果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种基于难样本挖掘的机场检测方法，所述方法包括以下步骤：将光学遥感图像与对应标注真值作为光学遥感图像的训练数据；候选区域提取网络的训练；区域分类网络的训练；候选区域提取与区域分类网络的耦合训练；基于难样本挖掘的端到端深度卷积网络的微调；端到端深度卷积神经网络的机场检测。与现有技术相比，本发明提出的基于难样本挖掘的机场检测方法，先利用训练数据对区域提取网络进行训练，再利用区域提取网络提取的机场侯选区域与候选区域标注真值训练区域分类网络，并将区域分类网络的前五层卷积层权重参数初始化区域提取网络中对应的前五层卷积层，实现网络的共享和耦合，并对区域提取网络和区域分类网络进行微调；根据区域提取网络的损失函数挖掘难样本，并依此对区域提取网络进行二次微调；利用微调后的区域提取网络获取区域分类网络训练数据，再次训练区域分类网络，区域分类网络自动挖掘训练数据中的难样本，在自动构造的难样本集上对区域分类网络进行二次微调，获取端到端深度卷积神经网络，能够提高网络对机场目标的查全率与检测精度，同时降低虚警与漏检的概率。
请参阅图1，图1为本发明基于难样本挖掘的机场检测方法的流程示意图。本发明基于难样本挖掘的机场检测方法具体包括以下步骤：
步骤s101：将光学遥感图像与对应标注真值作为所述光学遥感图像的训练数据；
具体执行方法：光学遥感图像由于幅面较宽，视场较大具有更丰富的纹理信息等原因，使得其在计算机中存储所需容量也较大，然而由于显存与内存等计算机内部存储设备的容量限制，难以直接将光学遥感图像作为训练数据用于优化模型。因此本发明为了对全幅面光学遥感图像数据进行了切分，从中提取有效部分作为训练数据，主要包含以下两个步骤：
a.对全幅面光学遥感图像进行图像标注，标注图像中机场所在区域的外接矩形框，并记录该矩形框的左上、右下角点坐标分别为(x1,y1)与(x2,y2)，作为全幅面光学遥感图像标注真值；
b.在标注的全幅面光学遥感图中以250个像素为步长，设定滑动窗口大小为500×600像素，依次从右往左、从上往下滑动提取固定窗口大小的图像数据，垂直、水平方向滑动次数分别记为row与col；根据全幅面光学遥感图像标注真值，若窗口中包含机场区域，则将该窗口截取到的图像数据作为训练数据，并记录此时窗口数据中的真值框位置。滑动窗口中真值框坐标与全幅面光学遥感图像中标注真值的关系表示为：
(x′k,y′k)＝(xk-col×250,yk-row×250)
其中(xk,yk)与(x′k,y′k)分别是全幅面光学遥感图像标注真值坐标与滑动窗口中真值框的坐标，且k∈{1,2}表示左上、右下角点。
步骤s102：利用训练数据对候选区域提取网络进行训练得到初始化的区域提取网络，并提取训练数据中的机场候选区域；
具体执行方法：利用零均值标准差为0.01的高斯分布随机生成候选区域提取网络中各卷积层的权重参数，然后对训练数据中的每幅图像提取高层语义特征，并基于语义特征计算图像中逐个候选区域的损失函数；随机从所有候选区域的损失中挑选出nbatch个进行反向传播用于更新网络中各卷积层的权重参数。选取候选区域时正负样本比例为1:1,当图像中正样本数目不足时，则添加负样本来保证挑选出固定数目的候选区域。在候选区域提取网络中所使用的损失函数l(pi,ti)由区域分类损失函数lcls(p,u)与区域回归损失函数lreg(t,u)两部分组成，定义如下：
lcls(p,u)＝-logpu
其中，i表示候选区域的索引号，pi表示第i个候选区域是目标区域的概率，真值标签pi*表示候选区域是否为目标区域，取值为{0,1}，1表示候选区域为正样本，即机场区域，反之则为0，表示候选区域为负样本，即背景区域；ti表示对候选区域位置的预测值矢量，ti*表示候选区域真实位置的矢量；lcls(p,u)表示区域分类损失函数；lreg(t,u)表示区域回归损失函数；ncls与nreg分别表示待分类候选区域与回归候选区域的个数；λ为平衡因子；
针对回归损失函数lreg(t,u)中，x，y，w，h分别表示候选区域真值框中心x轴坐标值、y轴坐标值，候选区域真值框的宽度和高度。
采用随机梯度下降算法对候选区域提取网络中各层权重参数进行迭代优化求解。计算过程为
vt+1＝uvt-α▽l(wt)
wt+1＝wt+vt+1
其中wt表示第t次迭代更新时的网络各卷积层的权重参数，vt表示第t次迭代时微调更新的权值变量。
步骤s103：利用机场候选区域与标注真值训练区域分类网络，并将该网络的卷积层与区域提取网络共享；
具体执行方法：利用步骤s102中训练好的区域提取网络，对训练数据中的每幅图像提取候选区域，将提取到的候选区域与候选区域标注真值作为区域分类网络的训练数据，对区域分类网络进行训练，基于由区域分类损失函数与区域回归损失函数两部分组成的损失函数，采用随机梯度下降算法对区域分类网络中各层权重参数的优化求解，具体求解方式与步骤s102中相同；
当区域分类网络训练达到最大迭代次数或迭代截止条件后，利用区域分类网络中前五层卷积层参数初始化候选区域网络中对应的前五层卷积层，实现两类网络的共享与耦合，将候选区域提取与区域分类网络合并为一个统一的端到端深度卷积神经网络。
步骤s104：固定网络中共享的卷积层，对区域提取网络与区域分类网络进行微调；
具体执行方法：在保持区域提取网络与区域分类网络中共享的卷积层参数不变的条件下，首先对候选区域提取网络中除共享的卷积层以外的特有的卷积层权重参数进行微调，然后利用微调后的区域提取网络生成不同的候选区域，再将生成的候选区域与候选区域真值标注输入到区域分类网络中，对区域分类网络中除共享的卷积层以外的特有的全连接层权重参数进行精细调整，获取端到端的深度卷积网络。
步骤s105：利用区域提取网络对训练数据区分的难易程度进行评分，将较难区分的数据挑选出来用于区域提取网络的再训练；
具体执行方法：本发明中将难样本挖掘过程引入到了区域提取网络与区域分类网络的耦合训练中，主要针对候选区域提取与区域分类两部分进行难样本的挖掘。
首先利用上步耦合训练中得到的区域提取网络对训练数据中机场候选区域提取的难易程度进行评分，评分以损失函数
lcls(p,u)＝-logpu
其中，各项参数取值同步骤s102中的参数取值。
由以上公式，可以发现损失函数
步骤s106：针对区域提取网络得到的候选区域与候选区域标注真值，通过区域分类网络挑选其中难以正确分类的候选区域作为难样本，微调区域分类网络；
具体执行方法：区域分类网络的难样本挖掘过程分为两步，首先利用基于难样本挖掘训练得到候选区域提取网络对所有训练数据中的机场候选区域进行提取，然后以所有候选区域作为训练数据对区域分类网络中的全连接层权重参数进行微调，微调过程不改变共享卷积层任何参数；然后再次将机场候选区域输入到微调后的区域分类网络中，利用网络的前向传播过程，计算各候选区域的损失函数l(pi,ti)，并基于此损失函数对所有候选区域正确分类的难易程度进行评分。挑选出损失值最大的前
步骤s107：将区域提取网络与区域分类网络进行级联得到最终用于机场检测的端到端卷积神经网络。
步骤s108：通过端到端卷积神经网络对光学遥感图像中机场进行检测
具体执行方法：将光学遥感图像输入至端到端深度卷积神经网络中，端到端深度卷积神经网络输出机场所在区域最小外接矩形框的左上、右下点坐标，并且评估出其为机场区域的概率。
请参阅图2，图2为本发明基于难样本挖掘的机场检测方法的检测结果示意图。
图中第一行为未进行难样本挖掘的网络机场检测结果，第二行为挖掘难样本且针对难样本数据集进行微调后的端到端深度卷积神经网络机场检测的结果，图中蓝色框表示虚警区域，红色框表示正检区域，绿色框表示真值标注的机场区域。且未进行难样本挖掘网络与难样本挖掘训练后端到端深度卷积神经网络的平均检测精度分别为79.29％和83.02％，检测实验证明通过难样本的挖掘，并基于难样本数据集对端到端卷积神经网络进行微调能够有效提升网络的检测精度，降低虚警与漏检的概率。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。