本发明创造属于基于图像的自动目标识别领域，尤其涉及一种基于深度学习的军船、民船自动识别方法。
背景技术：
新形势下，网络化联合作战呈现出陆、海、空、天、电磁、赛博多维立体战场一体化作战特点，通过多平台(地面、机载、无人机载、舰载、车载、星载、水面、水下、舰挂、数据库系统)，多源传感器(sar/isar、红外摄像头、高光谱/多光谱/微光/eo/可见光、声纳、激光、毫米波)等途径可以获得海量的图像、视频数据，数据来源具有“5v+1c”的特点，即：volume(大容量)、variety(多样性)、velocity(时效性)和veracity(准确性)、value(价值)和complexity(复杂性)。因此，如何从这些不同类型、不同时机、不同分辨率的海量图像、视频大数据中查找出需要的军船、民船类别、位置信息，从而为指挥员决策提供情报支持，显得尤为重要。
面对以tb/pb级呈现的海量观测图像、视频数据，应用中存在着“大海捞针”的情况，一方面数据多到无法处理，另一方面需要的目标又找不到，导致无法快速及时的给出精确判断，贻误战机。军事应用领域迫切需要一种智能的自动目标识别技术来对海量图像、视频资源做自动分析，进而为战术决策提供重要依据。
基于深度学习的军船、民船识别技术是采用自动数据处理方法，对多源探测信息中的目标数据进行识别和分类。近年来得益于大数据、云计算和人工智能技术的快速发展和大规模已标记数据集的出现，尤其是以深度学习算法为基础的智能目标识别技术的突破，大力的推动了基于图像的自动目标识别技术的发展。得益于深度学习强大的特征表达的能力，在模式识别和计算机视觉领域快速发展，迅速替代了以往基于先验知识的人工构造特征的方式。其中，卷积神经网络(convolutionalneuralnetwork，cnn)在目标识别任务上的成功应用极大地提高了目标分类任务的精确率。该方法在不同场景、不同分辨率等复杂情况下较传统方法仍具有较高的准确率和鲁棒性。
传统的深度学习目标识别网络各层特征不复用，包含权重参数过大的全连接层，导致特征提取不是最优。本专利通过稠密连接卷积等层和全卷积的方式设计了一个前沿的面向军船民船的军事目标识别系统。
故，针对现有技术存在的技术问题，实有必要提出一种技术方案以克服现有技术的缺陷。
技术实现要素：
有鉴于此，确有必要提供一种基于深度学习的军船、民船自动识别方法，实现对大量视频、图像数据进行更加高效的处理，以期在武器装备智能化，态势估计等军事应用领域提供支撑。
为了解决现有技术存在的技术问题，本发明的技术方案为：
一种基于深度学习的军船、民船自动识别方法，包括以下步骤：
步骤(1)：通过基于稠密全卷积神经网络的区域采样算法(denseconnectedregionproposalnetwork,drpn)生成尽可能少的、高质量的采样区域。
drpn算法有如下步骤：
步骤(1-1)，采样算法模型名为drpn，drpn算法输入为任意尺寸的包含军船、民船的红外或者可见光图片，输出为对应于每一个类的多个采样区域。算法模型是一个自下而上的网状结构，算法模型通过多个稠密卷积块(denseblock)堆叠而成。算法模型每一层是一个4维矩阵，用元组(n,c,h,w)表示，n表示训练时批处理图片的数量，c表示每一层的通道数，h表示特征图的高度(在输入端表现为输入图片的高)，w表示特征图的宽度，其中4维矩阵通过卷积、池化、归一化、线性激活函数(rectifiedlinearunits,relu)等操作不断变换。在单一尺度训练时，将(h,w)大小的输入图片统一调整大小至w＝600,h＝1000。
步骤(1-2)，输入通道的特征图片经过稠密卷积网络层变换后，生成了多个w×h大小的特征图，特征图的每一个像素(神经元)具有很宽泛的感受野(约为196×196)。对于大小为w×h(如60×40)的特征图，将其按照像素点划分为w×h个网格，对于网格的每一个像素点，在特征图上分别取h个尺寸不一的“框”，我们称之为锚点框，因此，对于一个w×h的特征图我们将产生w×h×k个锚点框，对于一个60×40大小的特征图，算法将产生21600个采样区域，这些采样区域包含了大量的前景区域(包含目标)和背景区域(不包含目标)，并且，高度重复的采样区域占据了很大一部分，因此在w×h×k个样本中挑选最能代表样本特征的锚点框显得尤为重要。在训练drpn算法时，采用样本抑制算法(nonmaximumsuppression,nms)提炼锚点框，具体的：(1)正样本：对于任意一个锚点框，它和前景区域有最大的重叠区域，或者它和前景区域有大于70％的重叠区域；(2)负样本：对于任意一个锚点框，它满足不是正样本的前提下，并且和所有前景区域有低于30％的重叠区域。对于每一个锚点框，算法都输出相对应的置信得分，置信得分反应了锚点框是前景区域还是背景区域的概率(正负样本的概率)。与此同时，对于每一个锚点，算法预测了k个回归器用于修正位置坐标，负样本不参与回归预测，drpn算法在深层次的特征图上表现为锚点框对真实目标背景框的非线性回归预测。
步骤(1-3)，为了共享稠密卷积网络的计算量和存储空间，同时做到端到端的训练和测试，本文采用联合代价函数训练drpn。对于每一个锚点框，稠密区域采样算法需要输出锚点框是正负样本的概率，本文采用多分类的softmax代价函数，在drpn算法中，softmax表现为二分类的代价函数(即退化为逻辑回归代价函数)，对于n个锚点框，算法输出2×n个置信得分。如下所示softmaxloss代价函数，m表示批处理样本的大小(如256)，k表示softmax输出单元的数量，这里二分类k＝2，如下所示，
前景锚点框粗略的表示了前景区域在一张图片中的坐标位置，算法需要对前景区域进行坐标回归，如下所示：g表示真实背景框，p表示锚点框，函数f表示一个锚点框到真实背景框的映射函数。真实背景框g用元组(gx,gy,gw,gh)表示，其中(gx,gy)表示真实背景框中心点坐标，(gw,gh)表示真实背景框对应的宽和高。借助于深度学习高超的函数逼近能力，f不需要手工设置，它是通过深度学习算法多次训练迭代的方式学习得到，本文中通过drpn算法获取，如下式所示：fx(p)、fy(p)、fw(p)、fh(p)需要算法学习得到，使用f*(p)表示对应函数映射关系(*表示x,y,w,h)，在卷积神经网络中有下式，其中φ(p)表示算法中间层学习得到的特征图矩阵，
g＝f(p)
gx＝pwfx(p)+px
gy＝phfy(p)+py
gw＝pwexp(dw(p))
gh＝phexp(dh(p))
w*通过最小化代价函数获得，λ为正规化参数，λ＝1000，t*为待回归的对象，公式如下：
tx＝(gx-px)/pw
ty＝(gy-py)/ph
tw＝log(gw/pw)
th＝log(gh/ph)
步骤(1-4)，在分别设定了分类和区域采样算法的代价函数后，设计代价函数联合计算采样区域的类别损失(loss)和位置损失，通过这种方式算法做到了端到端的训练。如下式所示：算法设计了一个联合代价函数，lcls和lreg分别表示分类和锚点框回归的代价函数，其中ncls表示一次训练选取的锚点框数量(如256)或者nreg表示选取锚点框的特征图大小(如2400)，λ设置为10，公式如下：
在分别设定了分类和区域采样算法的代价函数后，本文采用的代价函数联合计算了采样区域的类别损失(loss)和位置损失，通过这种方式算法做到了端到端的训练。lcls和lreg分别表示分类和锚点框回归的代价函数，其中ncls表示一次训练选取的锚点框数量(如256)或者nreg表示选取锚点框的特征图大小(如2400)，λ设置为10，公式如下：
步骤(2)：通过基于稠密全卷积神经网络的快速区域分类算法(denseconnectedfastclassificationnetwork,dfcn)对dprn生成的采样区域分类。
dfcn算法具体步骤如下：
步骤(2-1)，基于深度学习的dfcn分类算法卷积层由稠密连接的卷积块组成：(1)dfcn输入为一个包含了军船、民船的图片(2)dfcn在深层次的特征图上提取目标特征进行分类；(3)dfcn具有一个特殊的位置敏感的池化层，对于每个置信区域，分别根据执位置，计算k2(c+1)个置信得分。
步骤(3)：使用重采样算法对吴分类的下采样样本重新训练。
步骤(3-1)，训练dfcn时不同于传统的控制正负样本比例的训练方法，本专利使用了基于深度学习的重采样算法，对于一次训练过程中错分类的置信区域都重新进行训练，采用这种算法提高了识别准确率，减少了训练过程中超参数的设置。
步骤(4)：为了使drpn和dfcn共享卷积层特征，本专利提供了两种联合训练方法：
步骤(4-1)，端到端的训练方法。将drpn和dfcn看作一个统一的整体，在采用批量随机梯度下降算法(mini-batchstochasticgradientdescent,msgd)训练训练算法的过程中，前向传递阶段用drpn产生的采样区域直接训练dfcn，反向传递阶段drpn和dfcn梯度依次反传，多次迭代后直到算法收敛。
步骤(4-2)，drfcn2分步训练算法，具体如下：
步骤(4-2-1)，使用msgd算法训练drpn，稠密连接的卷积模块用超前训练的权重初始化；
步骤(4-2-2)，使用步骤(1)drpn产生的采样区域训练dfcn，稠密连接的卷积模块用超前训练的权重初始化；
步骤(4-2-3)，使用步骤(2)dfcn稠密连接的卷积层初始化drpn，保持稠密连接部分权重不变，只微调drpn独有的层，到此为止，drpn和dfcn已经共享了卷积层；
步骤(4-2-4)，保持稠密连接的卷积层块权值不变，使用步骤(3)drpn生成的采样区域训练dfcn，这一步只微调dfcn独有的层；
步骤(4-2-5)，算法收敛，训练结束。
与现有技术相比较，本发明的有益效果：实时检测视频中的目标，替代以军船、民船识别任务中人工处理视频数据的方式；不同于传统深度网络模型单向连接的建模方式，该算法通过卷积模块稠密连接的方式，复用了深度网络模型中每一层的特征，极大的提高了深度网络模型的特征表达能力。实验结果表明：在目标识别平均准确率和深度网络模型大小两个方面，drfcn2算法均明显优于已有基于深度学习的目标识别算法。与此同时，drfcn2在解决梯度弥散、梯度膨胀方面效果显著。
附图说明
图1drfcn2算法总体结构。
图2drpn算法总体结构图。
图3算法数据流动方式。
图4锚点框与真实背景框转换示意图。
图5重采样算法示意图。
图6dfcn算法结构图。
如下具体实施例将结合上述附图进一步说明本发明。
具体实施方式
以下将结合附图对本发明提供的基于深度学习的军船、民船自动识别方法作进一步说明。
针对现有技术存在的相关技术问题，本发明从军船、民船智能识别的理念出发，结合深度学习在目标检测方面最前沿的技术手段，提出一种基于稠密全卷积神经网络的目标识别方法，该方法能够准确检测出军船、民船。
为了解决现有技术存在的技术问题，本发明提出一种基于深度学习的军船、民船自动识别方法——drfcn2，具体的如图1，包括以下步步骤(1)：通过基于稠密全卷积神经网络的区域采样算法(denseconnectedregionproposalnetwork,drpn)生成尽可能少的、高质量的采样区域。
drpn算法有如下步骤：
(1-1)，drpn算法模型如图2所示，drpn算法输入为任意尺寸的包含军船、民船的红外或者可见光图片，输出为对应于每一个类的多个采样区域。如图3，算法模型是一个自下而上的网状结构，算法模型通过多个稠密卷积块(denseblock)堆叠而成。算法模型每一层是一个4维矩阵，用元组(n,c,h,w)表示，n表示训练时批处理图片的数量，c表示每一层的通道数，h表示特征图的高度(在输入端表现为输入图片的高)，w表示特征图的宽度，其中4维矩阵通过卷积、池化、归一化、线性激活函数(rectifiedlinearunits,relu)等操作不断变换。在单一尺度训练时，将(h,w)大小的输入图片统一调整大小至w＝600,h＝1000。
(1-2)，输入通道的特征图片经过稠密卷积网络层变换后，生成了多个w×h大小的特征图，特征图的每一个像素(神经元)具有很宽泛的感受野(约为196×196)。如图4所示，对于大小为w×h(如60×40)的特征图，将其按照像素点划分为w×h个网格，对于网格的每一个像素点，在特征图上分别取h个尺寸不一的“框”，我们称之为锚点框，因此，对于一个w×h的特征图我们将产生w×h×k个锚点框，对于一个60×40大小的特征图，算法将产生21600个采样区域，这些采样区域包含了大量的前景区域(包含目标)和背景区域(不包含目标)，并且，高度重复的采样区域占据了很大一部分，因此在w×h×k个样本中挑选最能代表样本特征的锚点框显得尤为重要。在训练drpn算法时，采用样本抑制算法(nonmaximumsuppression,nms)提炼锚点框，具体的：(1)正样本：对于任意一个锚点框，它和前景区域有最大的重叠区域，或者它和前景区域有大于70％的重叠区域；(2)负样本：对于任意一个锚点框，它满足不是正样本的前提下，并且和所有前景区域有低于30％的重叠区域。对于每一个锚点框，算法都输出相对应的置信得分，置信得分反应了锚点框是前景区域还是背景区域的概率(正负样本的概率)。与此同时，对于每一个锚点，算法预测了k个回归器用于修正位置坐标，负样本不参与回归预测，drpn算法在深层次的特征图上表现为锚点框对真实目标背景框的非线性回归预测。
(1-3)，为了共享稠密卷积网络的计算量和存储空间，同时做到端到端的训练和测试，本文采用联合代价函数训练drpn。对于每一个锚点框，稠密区域采样算法需要输出锚点框是正负样本的概率，本文采用多分类的softmax代价函数，在drpn算法中，softmax表现为二分类的代价函数(即退化为逻辑回归代价函数)，对于n个锚点框，算法输出2×n个置信得分。如下所示softmaxloss代价函数，m表示批处理样本的大小(如256)，k表示softmax输出单元的数量，这里二分类k＝2，如下所示，
前景锚点框粗略的表示了前景区域在一张图片中的坐标位置，算法需要对前景区域进行坐标回归，如下所示：g表示真实背景框，p表示锚点框，函数f表示一个锚点框到真实背景框的映射函数。真实背景框g用元组(gx,gy,gw,gh)表示，其中(gx,gy)表示真实背景框中心点坐标，(gw,gh)表示真实背景框对应的宽和高。借助于深度学习高超的函数逼近能力，f不需要手工设置，它是通过深度学习算法多次训练迭代的方式学习得到，本文中通过drpn算法获取，如下式所示：fx(p)、fy(p)、fw(p)、fh(p)需要算法学习得到，使用f*(p)表示对应函数映射关系(*表示x,y,w,h)，在卷积神经网络中有下式，其中φ(p)表示算法中间层学习得到的特征图矩阵，
g＝f(p)
gx＝pwfx(p)+px
gy＝phfy(p)+py
gw＝pwexp(dw(p))
gh＝phexp(dh(p))
w*通过最小化代价函数获得，λ为正规化参数，λ＝1000，t*为待回归的对象，公式如下：
tx＝(gx-px)/pw
ty＝(gy-py)/ph
tw＝log(gw/pw)
th＝log(gh/ph)
(1-4)，在分别设定了分类和区域采样算法的代价函数后，本文采用的代价函数联合计算了采样区域的类别损失(loss)和位置损失，通过这种方式算法做到了端到端的训练。lcls和lreg分别表示分类和锚点框回归的代价函数，其中ncls表示一次训练选取的锚点框数量(如256)或者nreg表示选取锚点框的特征图大小(如2400)，λ设置为10，公式如下：
步骤(2)：通过基于稠密全卷积神经网络的快速区域分类算法(denseconnectedfastclassificationnetwork,dfcn)对dprn生成的采样区域分类。
dfcn算法具体步骤如下：
(2-1)，如图6，基于深度学习的dfcn分类算法卷积层由稠密连接的卷积块组成：(1)dfcn输入为一个包含了军船、民船的图片(2)dfcn在深层次的特征图上提取目标特征进行分类；(3)dfcn具有一个特殊的位置敏感的池化层，对于每个置信区域，分别根据执位置，计算k2(c+1)个置信得分。
步骤(3)：使用重采样算法对吴分类的下采样样本重新训练。
步骤(3-1)，训练dfcn时不同于传统的控制正负样本比例的训练方法，本专利使用了基于深度学习的重采样算法，对于一次训练过程中错分类的置信区域都重新进行训练，采用这种算法提高了识别准确率，减少了训练过程中超参数的设置。
步骤(4)：为了使drpn和dfcn共享卷积层特征，本专利提供了两种联合训练方法：
(4-1)，端到端的训练方法。将drpn和dfcn看作一个统一的整体，在采用批量随机梯度下降算法(mini-batchstochasticgradientdescent,msgd)训练训练算法的过程中，前向传递阶段用drpn产生的采样区域直接训练dfcn，反向传递阶段drpn和dfcn梯度依次反传，多次迭代后直到算法收敛。
(4-2)，drfcn2分步训练算法，具体如下：
(4-2-1)，使用msgd算法训练drpn，稠密连接的卷积模块用超前训练的权重初始化；
(4-2-2)，使用步骤(1)drpn产生的采样区域训练dfcn，稠密连接的卷积模块用超前训练的权重初始化；
(4-2-3)，使用步骤(2)dfcn稠密连接的卷积层初始化drpn，保持稠密连接部分权重不变，只微调drpn独有的层，到此为止，drpn和dfcn已经共享了卷积层；
(4-2-4)，保持稠密连接的卷积层块权值不变，使用步骤(3)drpn生成的采样区域训练dfcn，这一步只微调dfcn独有的层；
(4-2-5)，算法收敛，训练结束。
与现有技术相比，本发明具有如下技术效果：(1)基于稠密全卷积神经网络，重新设计了一个改进的目标识别模型，在保持识别准确率的前提下缩减了模型大小；(2)算法可以面向军船、民船识别；(3)解决了梯度弥散、梯度膨胀的问题。
以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本发明中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本发明所示的这些实施例，而是要符合与本发明所公开的原理和新颖特点相一致的最宽的范围。