深度学习特征与视觉特征联合训练的船只目标检测方法与流程

本发明属于船只检测计算机视觉领域，具体涉及一种深度学习特征与视觉特征联合训练的船只目标检测方法。

背景技术：

我国拥有广阔的海岸线、海域以及丰富的海洋资源，随着经济不断发展，海上船只数量越来越多，船只检测有着迫切的实际需求。船只目标检测就是利用计算机视觉和图像处理技术，从图像中检测出感兴趣的船只目标，进一步可以提取大量的有用信息，在军事和民用领域都有着广泛的应用前景。例如在民用领域，通过获取船只的位置、大小、行驶方向、行驶速度等信息，可以对特定海域、海湾港口进行监测，对海洋水运交通、非法捕鱼、非法走私、非法倾倒油污等进行监测等，对于经济发展、环境保护、海域使用管理、海洋权益维护都具有重要意义。

现今社会中，视频监控摄像头无处不在，而在监控中心的电视墙上也会同时显示多路监控画面，如果只是依靠人眼观察检测，很容易错过视频中的异常事件。随着计算机网络的迅速发展，人们越来越青睐于利用计算机视觉代替人眼对传感器得到的视频图像进行分析，获取图像中的目标信息。图片目标检测一般分为两个步骤：特征提取和分类器分类定位，针对船只检测使用的特征主要有两大类：视觉特征和卷积神经网络(cnn)提取的特征。

(一)视觉特征。视觉特征使用较多的是颜色、形状和纹理。

(1)颜色特征。由于颜色往往和目标或场景十分相关，因此颜色特征是应用最为广泛的视觉特征。此外，颜色特征对图像本身的尺寸、方向、视角的依赖性较小，具有较高的鲁棒性。较常用的颜色特征有：颜色直方图和信息熵。

(2)形状特征。形状特征描述了目标局部的性质，其所反映的目标形状信息与人的直观感受不完全一致。较常用的形状特征有：面积、长宽比和不变矩等。其中，不变矩是目标经过平移、旋转、缩放以及比例变换后仍保持不变的矩特征量，可以选择7个几何不变矩(hu)来表征目标区域的形状特性。

(3)纹理特征。纹理特征描述了图像或图像区域所对应目标的表面性质。作为一种统计特征，纹理特征具有旋转不变性，并且对噪声有较强的抵抗能力。但是当图像的分辨率变化的时候，所计算出来的纹理可能会有较大偏差。另外，由于有可能受到光照、反射情况的影响，从2-d图像中反映出来的纹理不一定是3-d物体表面真实的纹理。灰度共生矩阵是最为常用的纹理特征，具有较强的适应能力和鲁棒性。

(二)cnn特征

自然图像有其固有特性，即对于图像的某一部分，其统计特性与其他部分相同。这意味着在这一部分学习到的特征也能用在另一部分上，因此对于图像上的所有位置，可以使用同样的学习特征。换句话说，对于大尺寸的图像r×c(r为行数，c为列数)识别问题，首先从图像中随机选取一小块区域a×b(a为行数，b为列数)作为训练样本，从该小块样本中学习到一些特征，然后将这些特征作为滤波器，与原始整个图像作卷积运算，从而得到原始图像中任意位置上卷积后的特征映射图。该方法能够对多种目标进行特征的自动学习，获得船只的高维特征，检测结果精度相比传统方法有了大幅度提升。

然而，传统特征和cnn特征应用于船只检测存在以下局限性：

(1)传统特征具有优秀的可解释性和可控性，在平静海面下的检测结果良好。但是当有云影、海浪等干扰时，误检率较高。且人工选取特征的速度较慢，不利于实际应用。

(2)卷积神经网络可以自动地学习船只的高维特征，检测速度也较快。但是黑匣子式的特征理解性差，且不同大小地船只在经过卷积之后，特征保留程度不同，也会导致不同船只检测效果的不一致。

技术实现要素：

本发明解决的技术问题是：克服上述现有技术的不足，提供一种深度学习特征与视觉特征联合训练的船只目标检测方法。

本发明技术方案根据权利要求定稿待补，暂不处理

对比现有技术，本发明具有下列优点和积极效果：

传统特征提取过程综合考虑了船只形状、颜色和纹理的特点，使得检测过程具有可解释性，可以规范cnn反向传播过程学习到传统特征以外的其他特征。此外，hu不变矩特征只有7个，局部最大化触发(lomo，localmaximaloccurrence)特征中使用的颜色直方图特征hsv和尺度不变性纹理特征(siltp，scaleiivariantlocalternarypattern)计算也较简单，因此总体计算速度不会减慢。

cnn特征提取部分采用基于区域的卷积神经网络，该方法快速高效、准确度高。对于复杂场景如云雾、阴天、下雨等情况依然具有较好的检测结果，鲁棒性高。可以提取到与传统特征互补的特征，并且速度极快，可以达到实时监测的效果。

深度学习特征与传统特征联合训练，一方面能够利用经典的船只检测算子，让检测过程简单化，更利于理解；另一方面，联合训练，特征互补，可以让检测过程全自动化，不需要人机交互，利用实际应用。

附图说明

图1为本发明实施例的总体流程图。

图2为本发明实施例步骤③-a中hu不变矩提取的流程图。

图3为本发明实施例步骤③-b中lomo特征提取的流程图。

图4是本发明实施例步骤⑤中融合网络的结构图。

具体实施方式

为了更好地理解本发明的技术方案，下面结合附图和实施例对本发明做进一步的详细说明。

参见图1，本发明实施例所提供方法包括以下步骤：

①样本数据采集。

本发明所需采集的数据主要为可见光下的沿海区域监控视频帧数据。对于采集到的视频数据，具体实施时可通过解码提取获得每帧图像，大小为1920×1080像素。根据帕斯卡数据集(pascalvoc)的标准，对包含船只目标的图像进行标注，产生的标注文件为每张图片上船只目标的最小包围矩形的四个顶点坐标和对应影像，从而构建船只图像样本库。

②cnn特征提取。

将步骤①得到的样本统一尺寸到224×224大小，然后输入到卷积神经网络中进行训练，得到船只目标的训练结果模型。本发明实施例所使用的基于区域的卷积神经网络包括如下层结构：

1)第一层：卷积核大小为11×11，maxpooling的卷积大小为2×2，再连接一个bn层，输出的特征图featuremap大小为55×55

2)第二层：卷积核大小为5×5，maxpooling的卷积大小为2×2，再连接一个bn层，输出的特征图featuremap大小为27×27

3)第三层：卷积核大小为3×3，maxpooling的卷积大小为2×2，再连接一个bn层，输出的特征图featuremap大小为13×13

4)第四层：卷积核大小为3×3，输出的特征图featuremap大小为13×13

5)第五层：卷积核大小为3×3，输出的特征图featuremap大小为13×13

6)两个全连接层fc7和fc8

5个卷积层、3个池化层(maxpooling)、3个归一化层(bn层)和2个全连接层，最终一个全连接层fc8的输出为一个4096维的向量，即为cnn特征。

具体实施时，深度学习网络由多个交替的卷积层，池化层，全连接层组成，主要采用反向传播算法(bp算法)更新网络参数，由一个输入层，多个隐藏层和一个输出层组层。层与层之间通过不同的卷积方式连接。对于普通卷积层，上一层的特征层被一个可学习的卷积核进行卷积，然后通过一个激活函数，就可以得到输出特征层。每一个输出层可能是组合卷积多个输入层的值：

其中，mj表示选择的输入层的集合，i是输入层单元的索引值，j是输出层单元的索引值，表示输入层与输出层之间的权重，即卷积核每个位置上面的数值，表示各层之间的加性偏置，f()表示该输出层的激活函数，表示l层的第j个输出层，表示l-1层的第i个输入层，l用于标识第l层卷积层，*表示卷积。

对于池化层来说，有n个输入层，就有n个输出层，只是每个输出层都变小了。

其中，down()表示一个下采样函数。一般是对输入图像的不同n×n区域内所有像素进行求和。这样输出图像在两个维度上都缩小了n倍，具体实施时用户可预设n的取值。每个输出层都对应一个属于自己的乘性偏置β和一个加性偏置b，表示第l层的第j个输出层的乘性偏置量，表示第l层的第j个输出层的加性偏置量，表示l层的第j个输出层，表示l-1层的第j个输入层。

对于输出的全连接层来说，卷积输入多个特征层，再对这些卷积值求和得到一个输出层，这样的效果往往是比较好的。实施例用αij表示在得到第j个输出特征层中第i个输入层的权值或者贡献。这样，第j个输出层可以表示为：

其中，表示输入层与输出层之间的权重，即卷积核每个位置上面的数值，表示各层之间的激活偏置，表示l层的第j个输出层，表示l-1层的第j个输入层，nin表示得到的第j个输出层结果与nin个输入层有关。

③传统特征提取。

提取步骤①得到的船只目标区域的传统特征，本发明使用的视觉特征包括：hu不变矩特征以及lomo特征，实施例的实现具体如下：

a不变矩，属于形状特征，是图像中具有平移、缩放和旋转不变性的数字特征。图2是hu不变矩的提取流程图。首先对输入图像进行预处理，实施例中预处理包括中值滤波平滑和二值化两个操作，然后利用slic(simplelineariterativeclustering，简单的线性迭代聚类)分割算法进行区域分割，最后计算每个船只区域的7个hu不变矩特征。平滑和二值化、分割为现有技术，本发明不予赘述。假设输入图像在预处理阶段被离散为m×n大小的数字图像f(x,y)，(x,y)表示图像上像素点的坐标，其几何矩定义为：

其中，p为图像x方向的阶数，q为图像y方向的阶数。集合{mpq}由f(x,y)唯一确定，反之f(x,y)也由{mpq}唯一确定。

图像f(x,y)的中心矩upq定义为：

其中，x0、y0为图像的中心坐标，其计算公式为：

其中，m10、m01是图像的1阶几何矩，m00是图像的0阶几何矩。由此可以得到图像的不大于3阶的中心矩分别为u00、u01、u10、u11、u20、u02、u12、u21、u30、u03。

对于一般的灰度图像而言，中心矩有以下规律：

1)u20和u02是区域灰度分别围绕通过灰度中心的垂直轴线和水平轴线的惯性矩。若u20>u02，则说明图像在水平方向上拉长；反之，则说明图像在垂直方向上拉长。

2)u30和u03的幅值可以用来度量物体分别对于垂直轴线和水平轴线的对称性。若u30＝0，则物体对于垂直轴线是对称的；若u03＝0，则物体对于水平轴线是对称的。对于旋转和尺度敏感，可通过归一化得到尺度不变性，归一化中心矩ηpq定义为：

其中，r为中间变量，p大于等于0，q大于等于0，且p+q大于等于2。

利用2阶和3阶中心矩可以导出7个具有平移、缩放和旋转不变性的特征集合φ1～φ7：

φ1＝η20+η02

φ3＝(η30-3η12)²+(3η21-η03)²

φ4＝(η30+η12)²+(η21-η03)²

φ5＝(η30-3η12)(η30+η12)[(η30+η12)²-(3η21+η03)²]+(3η21+η03)(η03+η21)[3(η30+η12)²-(η21+η03)²]

φ6＝(η20-η02)²[(η30+η12)²-(η21+η03)²]+4η11(η30+η12)(η21+η03)

blomo特征即localmaximaloccurrencefeature，是颜色特征和纹理特征的综合，该特征从颜色和摄像机视角两个方面来描述图片中的船只。

图3是lomo特征的提取流程图，首先采用图像增强retinex算法对输入的图像进行预处理，减少光照带来的影响。retinex算法考虑了图片的颜色信息，旨在输出一幅接近人类感知、色彩丰富的彩色图像，尤其可以增强阴影区域的细节信息。

其次将经过预处理的影像均分成5个垂直条带，在每个垂直条带内，使用20×20大小(size)的子窗口，以10个像素的重叠度(strip)来定位船只区域的局部块。即先将图像均分成5个垂直条带，然后再在每个条带内，使用20×20的子窗口大小，strip＝10进行滑动，n即为子窗口的个数。以船只大小为1280×480为例，每一个垂直条带的大小为256×480，每个垂直条带内20×20大小的子窗口个数为n＝25×47＝1175，则一共有子窗口1175×5＝5875，具体的个数需要根据船只目标的大小来定。

在每个子窗口内，提取两种siltp直方图(即siltp0.34，3和siltp0.34，5，一共3⁴个)和一个8×8×8的联合hsv直方图，每一个直方图代表了子窗口内一种模式的发生概率。siltp通过引入尺度不变局部对比容差来改善lbp描述子，实现了对图像尺度变化的不变性以及对噪声的鲁棒性。假设子窗口内像素点的位置为(xc，yc)，siltp的计算方式为：

其中，ic是子窗口中心像素点的灰度值，iq是半径为r的q邻域所对应的像素点的灰度值，是将所有邻域的二进制值连成字符串，t为阈值范围，st(ic，iq)表示某一像素位置的二进制值。参见图3，两个方向的siltp中，siltp0.34，3表示在半径为3的4邻域内，以0.3为阈值提取纹理特征。同理，siltp0.34，5表示在半径为5的4邻域内，以0.3为阈值提取纹理特征。

然后比较处于同一垂直位置上的所有子窗口，选取这些子窗口中每一类直方图中的最大值，作为最终的直方图。得到的直方图实现了对视角变化的不变性，同时也捕捉了船只目标的局部区域特征。

实施例中，具体实现如下：

1)颜色是描述可见光影像的重要特征。但是，由于安置在沿海区域的摄像机光照情况不可控制，相机的设置也不同。因此，图片之间的颜色在不同的相机视图中会有所不同。

本发明：

首先采用retinex算法对输入的图像进行预处理，减少光照带来的影响。retinex算法考虑了图片的颜色信息，旨在输出一幅接近人类感知、色彩丰富的彩色图像，尤其可以增强阴影区域的细节信息。

其次针对retinex算法预处理过后的图片，应用hsv颜色直方图提取颜色特征；除此之外，还应用了siltp(scaleinvariantlocalternarypattern)描述子提取图片的光照不变纹理特征。siltp通过引入尺度不变局部对比容差来改善lbp描述子，实现了对图像尺度变化的不变性以及对噪声的鲁棒性。

2)不同摄像头下的船只通常会以不同的视角出现，这也会给船只检测带来困难。因此，

本发明使用滑动窗口来描述船只区域的局部细节。具体地：

首先使用20×20大小的子窗口，以10个像素的重叠度来定位船只区域的局部块。在每个子窗口内，提取两种siltp直方图(3⁴个)和一个8×8×8的联合hsv直方图，每一个直方图代表了子窗口内一种模式的发生概率。

然后比较处于同一垂直位置上的所有子窗口，选取这些子窗口中每一类直方图中的最大值，作为最终的直方图。得到的直方图实现了对视角变化的不变性，同时也捕捉了船只目标的局部区域特征。

本发明以船只目标大小1280×480为例，缩放后还将得到640×240和320×120大小的目标。通过连接全部特征，得到的最终特征拥有(8×8×8个颜色直方图+3⁴×2个siltp直方图)×(127+63+31个垂直条带)＝694×221＝153,374个维度。

④特征降维。

将步骤③得到的不变矩形状特征和lomo特征进行连接，维度会非常大，本发明实施例采用主成分分析pca算法，将连接后的传统特征降维到4096维度。主成分分析算法为现有技术，本发明不予赘述。

⑤构建特征融合网络。

为将cnn特征和传统特征映射到统一的特征空间，本发明提出了一种特征融合网络fcnn。图4是融合网络的结构图，该网络在反向传播过程中，深度学习超参数会受传统特征的影响进行更新。融合后的特征会比单独的cnn特征和传统特征更具有区别性。

实施例具体实现如下，

fc7、fc8层为卷积神经网络的输出层，传统特征的输出也为4096维的特征向量，融合层(fusion层，即fc9层)的输入为cnn特征和传统特征：

x＝[lomo+hu，cnnfeatures]

其中，x是fusion层的输入，lomo是局部最大化特征，hu是不变矩特征，cnnfeatures是卷积神经网络特征。融合层的输出(4096维)zfusion(x)为：

其中，h()表示激活函数，采用修正线性单元relu，为权重，bfusion为偏移量。

假设目标检测的船只类别数目为t，则fc9层的输出为4096×1维的向量，softmax层(回归层)的输出为t×1的向量，每一行的值的大小范围为0到1，代表了这个样本属于每个类的概率。fc9层到softmax层的计算过程即为网络训练，寻找最佳的t×4096矩阵，使得softmax层损失最小的过程。计算过程根据bp算法，迭代后第l层的超参数为：

其中，

表示迭代后第l层的权重，表示迭代后第l层的偏移量；

w^(l)表示迭代前第l层的权重，b^(l)表示迭代前第l层的偏移量；

δw^(l)表示迭代后第l层的权重梯度，δb^(l)表示迭代后第l层的偏移量梯度；

α表示第l层的激活率，λ表示第l层的学习率，m表示样本的个数。

损失函数p(y＝j|x；θ)的计算公式为：

其中，

y表示网络的一个输出节点；

j表示输出的值即类别编号；

；表示输入向量；

θ表示全部模型参数，大小是k*(n+1)；

e表示自然对数；

表示第j个类别的模型参数；

表示第k个类别的模型参数；

n表示类别总数；

k表示第k个类别。

网络最后一层使用交叉熵损失：

其中，

pk为最后一层的输出，j为将每个类别的概率输出做运算之后得到的交叉熵损失。

⑥训练特征融合网络fcnn。

利用样本数据训练特征融合网络fcnn，利用测试数据对训练所得特征融合网络fcnn进行验证和测试。

实施例采用了训练图片3500张，测试图片3500张，在利用训练图片完成融合网络训练后，利用测试图片进行测试。将检测图片输入训练完成的模型即可得到结果。

至此，本专利所使用的一种深度学习特征与传统特征联合训练的船只目标检测方法具体实施过程介绍完毕。具体实施时，本发明技术方案所提供流程可由本领域技术人员采用计算机软件技术实现自动运行。

本文中所描述的具体实例仅仅是对本发明作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。