一种基于聚合变换特征提取策略的舰船目标检测方法与流程

本发明涉及海上的舰船目标检测方法，尤其涉及一种基于聚合变换特征提取策略的舰船目标检测方法。
背景技术：
：众所周知，我国领海面积辽阔、海洋矿产丰富，沿海边境情况十分复杂。舰船目标作为海洋的主体，对舰船目标进行精准的检测是其它海洋应用必备的基础组成部分，也是建设海洋强国之路上必不可少的关键技术。随着深度学习领域研究的不断深入，基于深度卷积神经网络的目标分类和检测网络性能也越来越好。它利用多层计算网络模型来替代了传统人工构造特征的方式，提取得到更为丰富的图像特征。而针对海上舰船目标检测的应用方向，对于网络模型性能的要求很高。为了提高特征提取模块的性能，传统的改进策略一般会选择采取加深网络深度(例如resnet)或加宽网络宽度(例如googlenet)这两种方法，但这两类改进方法往往会导致超参数的增加，使得计算的成本上升。如果一味地为了高性能的特征提取能力而增加网络的深度和宽度势必会造成计算量的上升，所以如何在不增加计算成本的前提下拓展网络以提高特征提取能力成为了一个亟待解决的问题。技术实现要素：针对现有技术存在的问题，本发明提出一种基于聚合变换特征提取策略的舰船目标检测方法。该发明的优势是结合聚合变换的思想，设计出特有的特征提取模块，在保证网络原有计算复杂度的前提下，提升特征提取能力。由于各分支的网络结构是相同的，因此不会增加额外的网络超参数，使得网络设计变得更简单。为解决其技术问题，本发明采用的技术方案如下：一种基于聚合变换特征提取策略的舰船目标检测方法，其特征在于，包括以下步骤：步骤s1：结合多分支聚合变换的概念，设计并得到一种优化的特征提取网络resnet_ac；步骤s2：将步骤s1中设计得到的resnet_ac，在自建海洋环境相关目标分类数据集dataset-classify上进行训练，得到特征提取网络模型；步骤s3：将步骤s2训练得到的特征提取网络模型移植到目标检测网络rfcn中，并基于自建舰船目标检测数据集dataset-detect，最终训练得到能更好应用于舰船目标检测的网络模型。其中，所述步骤s1进一步包括：步骤s11：借鉴传统ann网络聚合变换策略如图1所示：其中x＝[x1，x2,···,xc]为c维的输入向量，ωi为第i维对应的权重值；步骤s12：融合s11中的聚合变换思想，将之引入卷积神经网络中。把输入特征图类比为ann的输入向量x，把卷积核类比成ann的权重ω，对卷积神经网络进行聚合变换，可定义为：其中，ti(x)代表每个通道集对应的卷积计算分支，x为各个特征图集中对应的输入像素框，bn代表待聚合变换集的分支基数(branchnumber，bn)，类比于ann网络聚合分解中的通道数c；步骤s13：于是，基于聚合变换策略的残差学习模块的输出便可以表示为：其结构如图2所示。步骤s14：将s13中得到的基于聚合变换策略的残差学习模块引入常规残差学习网络resnet，最终得到基于聚合变换策略的残差学习特征提取网络resnet_ac。其中，所述步骤s2进一步包括：步骤s21：利用公有数据集imagenet中海洋环境相关的目标类别，结合已有的海洋环境视频图像数据，建立相关分类数据集dataset-classify，用于训练特征提取网络；步骤s22：结合步骤s1设计得到的基于聚合变换策略的残差学习特征提取网络resnet_ac，在步骤s21建立的海洋环境相关目标分类数据集dataset-classify上进行训练，得到特征提取网络模型。其中，所述步骤s3进一步包括：步骤s31：基于海上真实环境拍摄的视频图像，标注建立了面向舰船目标的检测数据集，用于训练目标检测网络；步骤s32：将步骤s2训练得到的特征提取网络模型移植到目标检测网络rfcn中，并基于步骤s31中自建舰船目标检测数据集dataset-detect，最终训练得到能更好应用于舰船目标检测的网络模型。与现有技术相比，本发明的有益效果是：对于摄像头采集的舰船目标海洋图像数据，通过基于聚合变换特征提取模块的深度神经网络模型进行目标检测，在不改变网络原有计算复杂度的情况下，提升网络性能，网络准确度大大提高。使用特有的多分支聚合变换算法，能够大幅降低超参数的数量，简化网络设计。与现有的特征提取算法相比，本发明所设计的多分支聚合变换方法在原有的resnet基础上，在各层之间增加多个相同拓扑结构的卷积计算分支并进行分组卷积来提升特征提取网络的性能。其结果本发明改进前后的网络分类效果如下表所示：表1改进前后的网络分类效果另外，利用本发明基于聚合变换改进的残差神经网络卷积能够有效增加其卷子核之间的对角相关性，能够有效防止网络出现过拟合状态。附图说明图1传统ann神经网络内积计算流程图；图2是基于聚合变换策略的残差学习模块计算流程图；图3是改进前后网络的结构对比图；图4是自建海洋环境相关目标分类数据集流程；具体实施方式以下结合附图对本发明做进一步描述。针对现有技术存在的缺陷，本发明提出一种基于聚合变换的深度神经网络目标检测方法，可以在保持网络计算复杂度不变的情况下，进一步提升网络的特征提取能力。具体的实验步骤如下：步骤s1：结合多分支聚合变换的概念，设计并得到一种优化的特征提取网络resnet_ac；步骤s2:将步骤s1中设计得到的resnet_ac，在自建海洋环境相关目标分类数据集dataset-classify上进行训练，得到特征提取网络模型；步骤s3：将步骤s2训练得到的特征提取网络模型移植到目标检测网络rfcn中，并基于自建舰船目标检测数据集dataset-detect，最终训练得到能更好应用于舰船目标检测的网络模型。其中，所述步骤s1进一步包括：步骤s11：借鉴传统ann网络聚合变换策略如图1所示：在传统的神经网络中，神经元之间最简单的内积计算便是一种典型的聚合变换计算，其中x＝[x1，x2,···,xc]为c维的输入向量，ωi为第i维对应的权重值。步骤s12：融合s11中的聚合变换思想，引入卷积神经网络中。把输入特征图类比为输入向量x，把卷积核类比成权重ω，对卷积神经网络进行聚合变换，定义为：其中，ti(x)代表每个通道集对应的卷积计算分支，x为各个特征图集中对应的输入像素框，bn代表待聚合变换集的分支基数(branchnumber，bn)，类比于ann网络聚合分解中的通道数c。在聚合变换的时候，每一个变换计算分支ti()都由相同拓扑结构的子分支组成。步骤s13：于是，基于聚合变换策略的残差学习模块的输出便可以表示为：其计算流程如图2所示。具体流程包括：将输入的数据分解为bn个待聚合变换集的分支；对各个分解后的分支进行计算；得到各个分支的计算结果后，再将他们求和相加聚合所有变换计算值并与原始输入相加，得到输出结果。步骤s14：将s13中得到的基于聚合变换策略的残差学习模块引入常规残差学习网络resnet，最终得到基于聚合变换策略的残差学习特征提取网络resnet_ac。resnet_ac网络采用拓扑子结构的卷积通道数(channelnumber,cn)为4，在各层之间增加32个相同拓扑结构的卷积计算分支。网络具体结构如图3所示。由计算可得图3左侧resnet残差模块参数量为:256×64+3×3×64×64+64×256＝69632≈70k,图3右侧resnet_ac残差模块为(256×4+3×3×4×4+4×256)×32＝70144≈70k。由此可见，在改进前后两者的网络参数模型大小并没有变化，并且在改进前后各层的输入输出通道数、卷积核尺寸均没有改变，所以resnet和resnet_ac的网络计算复杂度是相同的。因此提升了网络特征提取能力而没有改变网络参数模型大小。其中，所述步骤s2进一步包括：步骤s21：利用公有数据集imagenet中海洋环境相关的目标类别，结合已有的海洋环境视频图像数据，建立相关分类数据集dataset-classify。具体流程如图4。从海上舰船目标检测识别这一实际应用背景出发，根据先验知识在imagenet数据集中选出和海洋环境相关的目标类别，另外借助已有的舰船图像数据对目标进行了更加精细的分类和扩充。自建数据集dataset-classify一共36类舰船及海上相关目标可见光图片，其中包含48204张训练集，1870张验证集，然后缩放至caffe框架所需的输入尺寸256×256。为了提高运算效率，将图片数据和标签数据编码得到lmdb格式的数据库文件。最后得到训练和测试的lmdb文件。详细类别信息如表2所示：表2dataset-classify分类数据集信息文件夹编号类名文件夹编号类名n02687172航空母舰n04273569快艇n02981792双体船n03763968远洋班轮n03095699游艇n04266014纵帆船n03344393消防船n02879718船屋n02981792划艇n04366367轮船n03670208救生艇n02814860灯塔n03100240货柜船n02704792水陆两用车n03345487码头n03873416船桨n02859443船库n03874293明轮,桨轮n02894605防波堤,海堤n04552348军用飞机n02951358独木舟n03527444半履带车n04147183帆船n06794110船载小艇n04347754潜艇,潜水艇补充数据巡洋舰n04612504沉船补充数据驱逐舰n03977966海盗船补充数据导弹舰n09428293海滨,海岸补充数据渔政船n03447447狭长小船补充数据护卫舰n04487081三体船补充数据战列舰步骤s22：结合步骤s1设计得到的基于聚合变换策略的残差学习特征提取网络resnet_ac，在步骤s21建立的海洋环境相关目标分类数据集dataset-classify上进行训练，得到特征提取网络模型。其中，所述步骤s3进一步包括：步骤s31：基于海上真实环境拍摄的视频图像，标注建立了面向舰船目标的检测数据集，用于训练目标检测网络。为了能让改进后的目标检测网络能够更好地应用于舰船目标检测这一具体应用领域，通过采集基于海上真实环境拍摄的视频图像，制作标注了而成自建舰船目标检测数据集。由于训练需要的是带有标签的舰船目标图像数据集，所以对采集基于海上真实环境拍摄的视频图像进行相关标注工作，将舰船目标分为两类进行标注，分别为：军船和民船。一张图片数据对应一个xml标注文件，最终得到13295张舰船目标图片，一共包含25643个目标框。为了方便区别，本文将该自建舰船数据集记为dataset-detect。由于候选训练测试需要，本文将dataset-detect按照6:2:2的比例进行划分，得到自建的训练、验证和测试数据集，相关内容如表3所示。表3自建舰船目标数据集步骤s32：将步骤s2训练得到的特征提取网络模型移植到目标检测网络rfcn中，并基于步骤s31中自建舰船目标检测数据集dataset-detect，最终训练得到能更好应用于舰船目标检测的网络模型。由于聚合变换操作过程中同层所有分支的拓扑结构是一样的，所以能够大幅降低超参数的数量，从而简化网络设计，而且利用分组卷积能够有效增加卷子核之间的对角相关性，能够有效防止网络出现过拟合状态。其中在步骤s12中设置聚合变换分支基数为32和拓扑子结构的卷积通道数为4，是由以下实验确定的：在保证模型参数复杂度相当的前提下，通过改变具体的分支基数和拓扑子结构的卷积通道数来调整聚合变换结构，然后分别在自建分类数据集dataset-classify上进行实验。表4中的内容为是关于在保证网络模型参数条件下分支基数bn与卷积通道数cn之间的关系(以conv2层卷积为例)。实验在控制变量bn时都选用底为2的整数次幂，是为了网络设计方便以及分组卷积操作更以实现。又因为在resnet50和restnet101中conv1和conv2中的卷积通道数最小为64，所以实验中设置的分支基数bn必须小于等于64。表4保持模型参数量不变前提下的bn-cn组合信息表根据以上bn和cn的关系组合，分别在dataset-classify上训练对应的模型，最终结果如表5所示。表5各组bn-cn组合在dataset-classify上的检测结果比对表从表2我们可以清楚地看出，使用了聚合变换方法改进过的resnet_ac网络的目标分类准确率都高于原网络，这便证明在使用相同拓扑子结构的特征提取分支时，利用聚合变换方法的resnet_ac特征提取能力会优于普通的resnet网络。采用上述技术方案，与现有的特征提取网络方法相比，本发明所设计的多分支聚合变换的方法，在各层之间增加多个相同拓扑结构的卷积计算分支，而没有改变网络参数模型大小，同时进一步提高了网络的特征提取能力。该发明可以用于识别出海面重要舰船目标，利用基于深度学习的图像检索模块，在采集到的历史多源图像大数据中挖掘出该舰船目标的航行轨迹，为辅助进行舰船作战意图分析提供支持；可以用于海军战役、战术指挥控制系统，海战场探测系统，远洋搜救、护渔、护航系统等。在民事领域中可以应用于海上交通、海洋空间规划、渔业管理、资源勘探等。相对而言，基于聚合变换的舰船目标检测技术，通过新型多分支聚合变换的特征提取技术，具有准确性高，网络设计简单等优点。当前第1页12