一种船舶智能识别跟踪方法与流程

文档序号：18476084发布日期：2019-08-20 21:05阅读：470来源：国知局

本发明涉及水面船舶目标的跟踪和检测领域，具体地说，是一种船舶智能识别跟踪方法。

背景技术：

船舶跟踪与识别作为智能船舶视觉感知的一个基本任务，目前传统的跟踪方法是通过ais系统和雷达技术结合的手段来进行船舶的跟踪，而面向于智能船舶，不能将跟踪的目标船舶视为质点。因此，结合神经网络和卡尔曼滤波算法的优势，构建一种船舶动态跟踪模型。通过对海事监控船舶视频的背景像素进行建模，构建特征约束方程来校验特征像素的运动状态，估计船舶运动参数来获得船舶运动位置参数，最后结合主动轮廓模型算法找到船舶轮廓来确定跟踪的船舶位置。

对于船舶类型的识别传统方法是通过ais数据和合成孔径雷(sar)对数据进行人工分析出船舶的类型。基于深度学习理论的方法是以端到端的卷积神经网络对象检测模型，采用选择性搜索方法在输入图像上选择若干候选包围盒,对每个包围盒利用卷积神经网络提取特征,输入到为每个类训练好的支持向量机分类器,通过roipooling网络层把不同大小的输入映射到一个固定尺度的特征向量，对每个区域都提取一个固定维度的特征表示，再通过正常的softmax分类函数得到包围盒属于每个类的分数，最后使用非极大值抑制方法舍弃部分重复包围盒,得到类型识别结果。考虑到水上交通中船舶成像尺寸的变化，光照变化、船舶成像视角变化和交叉会遇局面中的船舶成像重叠以及人工参与等问题，严重影响了船舶跟踪识别率。

技术实现要素：

针对以上问题，该发明提出一种船舶智能识别跟踪方法，基于darknet网络和yolov3算法，能够更加准确、实时进行目标的跟踪和识别。

为了实现上述目的，本发明提出一种船舶智能识别跟踪算法。本发明采取的技术方案是：利用darknet基础网络和训练网络对船舶样本数据进行特征提取学习，得到物体的特征图模型，通过yolov3算法进行特征图之间的局部特征交互，从而匹配定位，在此基础上构建分类算法，实时识别船舶类型，该方法包括以下步骤：

步骤一：收集不同类型船舶图片，作为船舶图像原始数据，进行标签预处理，为后续的识别跟踪模型做初始化，步骤一包括数据预处理，具体实施步骤如下：

(一)数据预处理：

(1)下载pascalvoc2007标准化数据集，清空其原有数据，保留jpegimages文件夹，annotations文件夹和imagesets文件夹；

(2)将收集到的不同类型的船舶原始图像数据存放于jpegimages文件夹中，包括训练图片和测试图片，其中训练图片和测试图片数量比列为8：2；

(3)通过labelimg标记工具，生成模型可读的xaml文件存放在annotations文件夹中，每一个xaml文件都对应于jpegimages文件夹中的一张图片；

(3)在imagesets文件夹下建立main文件夹，存放的是每一种船舶图片类型对应的图像数据信息，包括训练数据集，检测数据集，验证数据集，训练和验证数据集；

步骤二：构建深层网络模型，对输入的船舶图像样本数据进行卷积操作提取相应特征，进行组合学习，得到物体的特征图模型，在此基础上添加特征交互层，分为三个尺度，每个尺度内，通过卷积核的方式实现特征图局部的特征交互，步骤二包括船舶特征提取网络结构和特征交互层结构，具体实施步骤如下：

(一)船舶特征提取网络：

(1)输入预处理好的船舶图片，利用高分辨率分类器提高图像的分辨率，进行规范化处理；

(2)通过32层卷积核，每个卷积核大小为3*3，步伐为1进行卷积操作，获得特征映射矩阵；

(3)通过卷积层的船舶特征图矩阵提取出高度抽象的船舶特征，其中是第r层卷积网络的第n个输出的特征映射，函数f表示第r层卷积神经网络神经元的激活函数，是第r-1个网络层的第m个输入的船舶特征映射，是第n个网络输出层的船舶特征映射和第m个输入特征映射的连接权重，参数是第r层卷积神经网络的第n个特征映射的偏置量；

(4)在每一个卷积层后添加归一化层，通过函数进行批量标准化处理，将卷积层输出的矩阵数据分布归一化为均值为0,方差为1的分布，其中x^k表示输入数据的第k维，e[x^k]表示该维的平均值，√var[x^k]表示标准差；

(5)引入修正线性单元g(x)＝max(0,xr)作为激活函数，对于输入该层的数据进行单侧抑制，把归一化层输出的数据作为激活函数的输入数据，当输入数据xr>0时，梯度恒为1，当xr<0时，该层的输出为0；

(6)循环步骤(2)-(5)，构建层数为53层的基础网络结构；

(7)在此基础网络结构上，通过残差函数f(x)＝h(x)-x1来构建新的网络结构，当基础网络中卷积层的输入与输出的维度一样时，采用跨层跳跃连接方式，在卷积层后添加残差层，改变其原有基础网络结构，将深层神经网络结构的逐层训练改为逐阶段训练，把网络结构分为若干个子段，每个小段包含比较浅的网络层数，每一个小段学习总差的一部分，最终达到总体较小的损失，其中h(x)是输入到求和后的网络映射函数，f(x)是求和前网络映射函数，x1是该卷积层的输入数据，当f(x)＝0，就构成了一个恒等映射h(x)＝x1；

(二)特征交互层结构：

(1)在步骤二中构建的网路结构后添加特征交互层，分为三个不同尺度大小的交互层，采用多个尺度融合的方式进行船舶特征交互，3种交互层如下：

(a)小尺度特征交互层：在网络结构之后添加七层卷积层进行卷积操作，把卷积后的特征图信息给下一个特征交互层；

(b)中尺度特征交互层：把上一层的特征图进行上采样操作使之扩大两倍，再与基础网络结构中具有相同维度大小的特征图相加,再次通过卷积后输出特征图信息；

(c)大尺度特征交互层：把中尺度特征交互层的特征图进行上采样操作使之扩大两倍，再与基础网络结构中具有相同维度大小的特征图相加，通过卷积后输出特征图信息；

(2)最后，通过损失函数来衡量特征图模型的性能，当损失函数的值越接近0，该模型性能就越稳定，采用均方和误差作为损失函数，由坐标误差、iou误差和分类误差三部分组成，其表达式为：

其中，前面两行表示坐标误差，第一行是包围盒中心坐标的预测，第二行为宽和高的预测，第三、四行表示包围盒的置信度损失，第五行表示预测类别的误差，符号为预测值,无帽子的为训练标记值，表示判断物体落入网格i的第j个包围盒内，如果某个单元格中没有目标,则不对分类误差进行反向传播，当包围盒中的物体与真实框中具有最高iou的一个进行坐标误差的反向传播,其余不进行；

步骤三：通过特征提取网络对输入待检测的船舶图片提取特征，得到一定尺寸的特征图，然后将输入图像分成相应大小的网格，通过数据标准化处理以及维度聚类、细粒度特征操作，网格直接预测出的包围盒与真实边框中目标物体的中心坐标进行匹配定位，在此基础上添加多标签多分类的逻辑回归层，对每个类别做二分类从而实现对目标物体进行分类识别，步骤三包括坐标预测，匹配定位和分类识别，具体实施步骤如下：

(一)坐标预测，匹配定位：

(1)对于输入待检测的船舶图片，通过特征提取网络的卷积层降采样处理，得到大小为13*13，通道数为3的卷积特征图，然后将图像分割成相应大小的网格；

(2)通过锚点操作，使用3种尺度和3种不同长宽比例的窗口尺寸在13*13的卷积特征图上进行滑窗操作，以当前滑动窗口中心为中心映射到原图的一个区域，该区域的中心对应一个尺度和长宽比，每一个中心可以预测9种不同大小的先验框；

(3)采用iou得分评判标准，定义新的距离公式d(box,centroid)＝1-iou(box,centroid)，改进k-means聚类方法自动找到更好的先验框宽高维度，其中box是预测先验框的坐标，centroid是聚类所有簇的中心；

(4)按照下列算法进行先验框聚类：

(a)从输入的数据集合中随机选择一个点作为第一个聚类中心；

(b)对于每个点，我们都计算其和最近的一个种子点的距离，记作d(x)；

(c)选择一个新的数据点作为新的聚类中心，选择的原则是为d(x)数值较大的点，被选取作为聚类中心的概率较大；

(d)重复(b)和(c)直到k个聚类中心被选出来；

(e)利用这k个初始的聚类中心来运行k-means算法；

(5)特征图上的每个网格预测的先验框包含5个预测值，分别为tx,ty,tw,th,to，其中前四个是坐标，to是置信度，由实际预测的tx,ty,tw,th得到bx,by,bw,bh的过程表示为：

bx＝σ(tx)+cx

by＝σ(ty)+cy

bw＝pwe^tw

bh＝phe^th

pr(object)*iou(b,centroid)＝σ(t0)

其中，cx，cy为边框的中心坐标所在的网格距离左上角第一个网格的个数，tx,ty为预测的边框的中心点坐标，σ函数为logistic函数，将坐标归一化到0-1之间，最终得到的bx,by为归一化后的相对于网格位置的值，tw,th为预测的边框的宽和高，pw,ph为候选框的宽和高，最终得到的bw,bh为归一化后相对于候选框位置的值；

(6)通过平方和距离误差损失函数来衡量船舶坐标的预测值与实际值之间的差异，当船舶样本个数为n时，此时的损失函数表示为：

其中，y-f(x)表示的是残差，整个式子表示的是残差的平方和，求解的最小化目标函数值就是坐标值的相似性，且函数值越小，差异性越好；

(7)按照下列步骤定位坐标进行匹配跟踪船舶：

(e)通过对于输入待检测的船舶图片，进行特征图网格划分；

(f)每一个网格会预测3个候选框，每一个候选框都会预测一个物体的坐标值，通过步骤(6)的损失函数代价值小于阈值0.1，进行下一步操作；

(g)通过步骤(5)操作，对图片中的船舶进行位置定位；

(h)确定其船舶位置后，用边界框标记出船舶，通过船舶特征匹配和实时定位坐标进行跟踪船舶；

(二)分类识别

(1)基于步骤一中的特征交互层结构，利用锚点的设计方式使用聚类操作得到9个聚类中心,将其按照大小均分给3种尺度：

(a)尺度1：从特征提取网络结构获取的大小为13*13，通道为1024的特征图进行卷积操作，不改变特征图大小，通道数最后减少为75；

(b)尺度2：将上一层的特征图进行卷积操作，生成13*13、256通道的特征图，然后进行上采样，生成26*26、256通道的特征图，同时与基础网络结构层的26*26、512通道的特征图进行合并，再进行卷积操作；

(c)尺度3：与尺度2类似,使用了32*32大小的特征图进行融合；

(2)将特征交互层处理后的特征图采用多标签分类操作，在网络结构上添加了多标签多分类的逻辑回归层，用逻辑回归层来对每个类别做二分类；

(3)通过交叉熵代价函数，衡量逻辑回归层的预测值与实际值之间的差异，当函数值越小，说明预测值越接近真实值，其表达式为：

其中，x表示船舶数据样本，n表示数据样本的总数；

(4)通过步骤三的(1)和(2)操作，对于得到的特征图进行等尺寸比例的划分网格，每个网格都预测c个船舶类型概率，表示一个网格在包含船舶目标的条件下属于某种船舶类型的概率，其表达式为：

其中pr(classt|object)表示目标的类别概率，表示预测框与真实框交叉的面积，pr(classt)表示类别概率，pr(object)是目标存在的概率；

(5)按照下列算法进行船舶类型分类：

(a)在预测的船舶类别中，将得分少于阈值0.2的设置为0，然后再按得分从高到低排序；

(b)用非极大值抑制算法计算边界框的iou值，当iou大于0.5，该边界框重复率较大，该得分设为0，去掉重复率较大的边界框，如果不大于0.5，则不改；

(c)再选择剩下得分里面最大的边界框，重复步骤(b)直到最后；

(d)最后保留的边界框得分如果大于0，那么船舶类型的就是这个得分所对应的类别；

(6)在输出层加入sigmoid函数把船舶类型预测的数值作为函数的输入数值，经sigmoid函数后，其数值约束在0到1的范围内，如果输出值大于设定阈值0.75，就识别出船舶类型，并在边界框左上方标记出该船舶类别名称。

附图说明：

为了更清楚地说明本发明技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图：

图1是本发明一种船舶智能识别跟踪方法的流程图；

图2是本发明一种船舶智能识别跟踪方法的深层网络结构的过程图；

图3是本发明一种船舶智能识别跟踪方法的目标位置预测和分类识别的过程图。

具体实施方式：

为了更好地理解本发明的技术特征、目的和效果，下面结合附图对本发明进行更为详细地描述。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明专利。需要说明的是，这些附图中均采用非常简化的形式且均使用非精准的比率，仅用于方便、清晰地辅助说明本发明专利。

本发明提出一种船舶智能识别跟踪方法，适用于对监控视频的图像帧中，正常成像大小的船舶图像的识别和跟踪。本发明是通过网络的方式收集的不同类型船舶图片，以2万张图片，7种船舶类型为样本数据。本发明中正常成像大小的船舶图像是指：船舶成像尺寸不小于该帧图像实际尺寸的0.10％，且成像长度或宽度不小于13个像素。本发明的船舶监控视频来源于船上摄像头所采集的监控数据。本研究的实验平台是windows10操作系统，16gram，cpu处理器的主频是3.2ghz，gpu为gtx1050ti，仿真平台是pycharm(2018版)。

如图1所示，根据本发明的智能船舶识别跟踪方法具体流程为：

步骤一：本次实验是通过网络的方式，收集2万张不同类型船舶图片，按照船舶前景占图片背景低于90％的比例从中筛选出7种船舶类型，共8千张图片作为船舶图像原始数据，进行标签预处理，为后续的识别跟踪模型做初始化；

步骤二：构建深层网络模型，对输入的船舶图像样本数据进行卷积操作提取相应特征，进行组合学习，得到物体的特征图模型，在此基础上添加特征交互层，分为三个尺度，每个尺度内，通过卷积核的方式实现特征图局部的特征交互，进行特征融合；

步骤一具体流程为：

步骤一：通过从网络收集2万张不同类型船舶图片，按照船舶前景占图片背景低于90％的比例从中筛选出7种船舶类型，分别包括集装箱船、油轮、化学品船、lng船、杂货船、散货船和其他船舶，其中集装箱船图片为2300张，油轮图片1420张，化学品船1240，lng船图片1250张，杂货船图片2750张，散货船图片2060张，其他船舶的图片1500张，共12520张图片作为船舶图像原始数据，进行标签预处理，为后续的识别跟踪模型做初始化；步骤一包括数据预处理，具体实施步骤如下：