一种基于深度学习的船舶特征重识别方法、应用方法及系统与流程

本发明涉及计算机视觉与图像识别领域，具体涉及一种基于深度学习的船舶特征重识别方法、应用方法及系统。

背景技术：

目前水上交通主要包括以下特点：一、水面背景具有波动性，且对光照十分敏感；二、江面没有像路面一样划定行驶线，船舶运动在江面呈现角度范围较车辆大得多；三、江面船舶行驶场景广阔，且船舶体积相差大，甚至可以达到10倍以上；因此，船舶目标在尺度检测方面难度较大，智能视频图像分析在水上船舶监管的应用上受到限制。

现有技术中，海事监管普遍利用ais系统和雷达系统，在直观程度上，ais和雷达系统并不能给管理人员直观的信息感知。且二者在应用上也存在着一定的不足，具体的包括，一、不能像视频一样直观监控水上船舶现场，从而加大了水上交通事故调查及搜救指挥来的难度及效率；二、ais系统是主动发送船舶信息的设备，船主可以随意修改ais信息，或关闭ais设备，不利于水上执法的监管；三、构建一个雷达系统的代价比较昂贵，而且雷达检测对于环境的依赖严重，容易受到建筑物、高大植物影响。

公开号为cn108806334a的发明专利公开了一种基于图像的智能船舶身份识别方法，对于首次经过航道的船舶建立基于图像的船舶信息数据库，把抓拍区域的船舶特征与船舶数据库的船舶信息进行匹配，以判定船舶身份，主要是利用surf(speededuprobustfeatures,加速稳健特征)对在航道内抓拍到的船舶进行特征提取作为待检索的船舶特征，再对待检索的船舶特征与船舶特征库进行暴力匹配，获取匹配点最多的船舶图像；该申请采用的特征是十几年前的人工设计特征surf，而surf特征主要关注图像的边缘特征点，不足以应对复杂的海面情况，对于在海面雾天拍摄到的图像，并不能提供足够的细节，且人工设计特征在一定程度上是机械性的，也就是说，只关注于特征点的局部信息，导致两张不同的图像，有某局部相似也能得到高的匹配分数。

公开号为cn107886051a的发明专利公开了一种基于图像的船舶身份识别方法，主要利用背景差分法将原始图像与参考背景图像进行差分，从而获得在原始图像中的船舶目标二值图像，然后从船舶目标的二值图像中提取运动船舶目标的参数信息，所述参数信息包括船舶的位置、尺寸及颜色，将这些信息当成船舶的特征，再与船舶自身返回的ais信息做比对，判断该船舶是否修改了ais信息，若修改了信息则报警；该申请采用传统的背景差分方法作为图像处理手段获取海事领域船舶图像，检测率受到海面影响非常大，且由于海面具有波动性，水面反光会引起摄像头像素的剧烈变化，很容易引起误检。

技术实现要素：

为了解决现有技术中的上述问题，即为了解决由于匹配不准确、检测错误率高造成的水上监管、船舶信息查询效率低等问题，本申请提供了一种基于深度学习的船舶特征重识别方法、应用方法及系统。

本发明实施例一方面提供了一种基于深度学习的船舶特征重识别方法，所述方法包括：

训练包括不同类型船舶图像构成的初始数据集，生成深度特征提取网络；

按照预设样本数量采集首次经过航道的船舶图像样本，标识所述船舶图像样本，并将所述船舶图像样本输入深度特征提取网络提取船舶图像的深度特征构建船舶特征数据库；

收集海面船舶图像建立船舶目标检测数据集，进行单一船舶目标检测，通过yolo算法训练船舶目标检测网络；

利用所述深度特征提取网络、船舶特征数据库及船舶目标检测网络进行船舶特征重拾别。

进一步优选的，所述“训练包括不同类型船舶图像构成的初始数据集，生成深度特征提取网络”的包括：

收集不同类型的船舶图像；

搭建训练网络结构，采用随机梯度下降法进行训练。

进一步优选的，所述“标识所述船舶图像样本，并将所述船舶图像样本输入深度特征提取网络提取船舶图像特征构建船舶特征数据库”，其方法包括：

获取船舶自动识别系统标识和/或人工标识的基础信息；

关联存储所述基础信息与所述船舶图像样本的深度特征。

作为本发明的又一方面，本发明实施例还提供一种船舶特征重识别的应用方法，所述应用方法包括，

获取视频流，采用船舶目标检测网络进行检测，获得船舶定位信息，分割目标区域；

将所述目标区域输入深度特征提取网络，提取表示所述船舶图像的深度特征；

采用pcb分块匹配对比所述表示所述船舶图像的深度特征与所述船舶特征数据库，确定所述船舶身份数据。

进一步优选的，所述“获取视频流，采用船舶目标检测网络进行检测，获得船舶定位信息，分割目标区域”的方法包括，

将所述视频流输入所述船舶目标检测网络，依次定位所述视频流的原始图像帧中的船体区域，判断所述船体区域的位置是否满足预设条件；

若是，获得网络输出类标签及所述船体区域的坐标位置；

采用图像处理函数库将所述船体区域分割，获得目标区域；

若否，则进行下一图像帧的检测。

进一步优选的，所述方法还包括，

训练所述深度特征提取网络的初始数据集至少包括一个背景类，所述背景类至少包括水面、桥梁或浮漂中的一种或多种样本数据。

进一步优选的，所述“采用pcb分块匹配对比所述表示所述船舶图像的深度特征与所述船舶特征数据库，确定所述船舶身份数据”方法包括，将所述表示所述船舶图像的深度特征与所述船舶特征数据库中存储的船舶图像特征进行基于部分的卷积基线网络的分块处理；

计算余弦距离，并根据所述余弦距离确定匹配度。

作为本发明的又一方面，本发明实施例一种基于深度学习的船舶特征重识别系统，所述系统包括：

深度特征提取网络，用于提取船舶图像的深度特征；

船舶特征数据库，用于关联存储预设样本船舶的基础信息与所述船舶图像的深度特征；

船舶目标检测网络，用于检测视频流中的船舶，获得船舶定位信息，分割目标区域；

基于部分的卷积基线网络，用于采用pcb分块匹配对比所述表示所述船舶图像的深度特征与所述船舶特征数据库，确定所述船舶身份数据。

作为本发明的第四方面，本发明实施例一种计算机可读存储介质，其上存储有计算机程序，

所述程序被处理器执行时，实现如上述实施例的基于深度学习的船舶特征重识别方法，和/或所述程序被处理器执行时实现如上述实施例的基于深度学习的船舶特征重识别的应用方法。

作为本发明的又一方面，本发明实施例还提供一种服务器，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任意实施例所述的基于深度学习的船舶特征重识别方法，和/或实现如上述任意实施例所述的基于深度学习的船舶特征重识别的应用方法。

本发明实施例至少实现了如下技术效果：

一、本发明实施例采用对图像感知领域具有高效的处理能力的深度特征提取网络提取有区分度的深度特征，再利用训练好的船舶目标检测网络对特定时期出现的船舶进行信息检索，将检测出的目标区域与船舶特征数据库中的深度特征做匹配进行船舶重识别；利用深度特征提取网络自主提取具备高层感知语义，不依赖于像素级别的改变，而关注于整体特征，解决了由于匹配不准确、检测错误率高造成的水上监管、船舶信息查询效率低等问题，能有效进行目标船舶甄别，其中，目标船舶包括存在有违法行为或信息不明的船舶。

二、本发明实施例采用pcb分块方式进行匹配，在通过深度特征提取网络关注整体特征之余能兼顾局部特征，对于只出现部分的船舶也具有很好的识别效果；采用矩阵式运算匹配，匹配速度高。

三、本发明实施例还能够解决船舶变换、隐藏身份逃避监管等问题，对海事交通管理、事故调查，水利打击非法采砂，航道船舶过闸收费，海关打击走私活动等都有智能辅助作用，而且，本发明实施例流程简单、操作简单，在海事领域，与现有技术中的船舶识别方法在效率、成本、准确率上具备明显优势。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所记载的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明一实施例中的船舶特征重识别方法的流程图；

图2为本发明一实施例中的船舶特征重识别的应用方法的流程图；

图3为本发明一实施例中的船舶目标检测网络的检测结果图；

图4为本发明一实施例中的通过深度特征匹配后的匹配结果图；

图5为本发明一实施例中的pcb分块匹配的示意图；

图6为本发明一实施例中的船舶特征重识别系统的示意图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

本发明可用于海事领域，能够在视频监控下，各个算法实现集船舶目标检测、船舶目标分割、船舶深度特征提取、船舶特征检索重识别等功能一体化，本发明的算法体系主要包括深度特征提取网络、船舶特征数据库及船舶目标检测网络。

本发明实施例一方面提供了一种基于深度学习的船舶特征重识别方法，如图1，所述方法包括：

s101训练包括不同类型船舶图像构成的初始数据集，生成深度特征提取网络；

s102按照预设样本数量采集首次经过航道的船舶图像样本，标识所述船舶图像样本，并将所述船舶图像样本输入深度特征提取网络提取船舶图像的深度特征构建船舶特征数据库；

s103收集海面船舶图像建立船舶目标检测数据集，进行单一船舶目标检测，通过yolo算法训练船舶目标检测网络；

s104利用所述深度特征提取网络、船舶特征数据库及船舶目标检测网络进行船舶特征重拾别。

在本实施例中，在s101中，建立训练的初始数据集并训练深度特征提取网络，采用多种不同类型的船舶图片，可将同一艘船放至同一文件夹中，采集不同船舶的种类，所述种类尽量多，同一艘船舶的图片也尽量多，例如，可以根据拍摄角度的不同，进行多样化的拍摄，从而构成一个完整而庞大的初始数据集，利用所述初始数据集训练设计好的深度特征提取网络，使得该网络对提取出来的深度特征对船舶具有高度的区分特性；在s102中，在设定的时间段内，对于首次经过航道的每艘船舶，预设样本数量可以设置为n个，其中n不小5，进行标识，建立基于图像的船舶信息数据库；其中，每个样本均输入s101中训练好的网络进行船舶图像的深度特征的提取；当查询到匹配的深度特征，就能查找到对应的船舶信息；在s103中，首先建立船舶目标检测网络的数据集，收集海面上存在船舶的图片，使用标注工具标注船舶所在的位置并赋予标签，只做单一的船舶目标检测，建立好数据库好，按照目标检测框架yolo算法进行训练，得到训练好参数的船舶目标检测网络模型，用于视频图像中判断视场区域是否存在着船舶检测，本步骤获得的船舶目标检测网络模型具有较高的专一性；在s104中，在获取视频流输入船舶目标检测网络，在通过上述步骤获得所述深度特征提取网络进行提取，将提取后的深度特征与船舶特征数据库进行匹配，实现对视频流中船舶特征的重识别。

进一步优选的，s101的方法包括：

收集不同类型的船舶图像；

搭建训练网络结构，采用随机梯度下降法进行训练。

在本实施例中，收集不同类型的船舶图像中，训练初始数据集建立时，优选地收集1000多不同的船舶且不低于每种船舶100张的照片进行训练；船舶种类的多样性保证了网络能学习到特征的多样性，使得特征的表达能力比较强，不同的船舶特征差异明显；在搭建训练网络结构后，参数优化采用sgd，即随机梯度下降法，可以利用收集到的多种船舶，比如1000种船舶，每种有20多张照片，用预设的网络利用这些照片做一个classification(分类任务)，正确分类不同的船舶，使网络具备了区分不同船舶的能力，测试时候提取网络中间的特征当成船舶的深度特征，用来做距离匹配。

进一步优选的，在s102中，“标识所述船舶图像样本，并将所述船舶图像样本输入深度特征提取网络提取船舶图像特征构建船舶特征数据库”，其方法包括：

获取船舶自动识别系统标识和/或人工标识的基础信息；

关联存储所述基础信息与所述船舶图像样本的深度特征。

在本实施例中，标识方法可以是ais，也可以是人工标识，也可以是二者结合，或是其他标识方法；通过采集到船舶的图像信息和ais信息，将其标识获得的船舶信息与匹配出的深度特征进行绑定后，关联存储，生成船舶特征数据库，当查询到数据库中的某个深度特征，就能查询到绑定的ais信息，进而锁定船舶等各方面信息。

基于同一发明构思，本发明实施例还提供了一种船舶特征重识别的应用方法、船舶特征重识别的系统，由于该应用方法、系统所解决问题的原理与前述实施例的方法相似，因此具体的实施可以参见前述实施例的方法的实施，重复之处不再赘述。

作为本发明的又一方面，本发明实施例还提供一种船舶特征重识别的应用方法，如图2所示，所述应用方法包括，

s201获取视频流，

s202采用船舶目标检测网络进行检测，判断是否存在船舶，若是，则转至s203；若否，则转至s201；

s203获得船舶定位信息，分割目标区域；

s204将所述目标区域输入深度特征提取网络，提取表示所述船舶图像的深度特征；

s205采用pcb分块匹配对比所述表示所述船舶图像的深度特征与所述船舶特征数据库，判断是否匹配，若是，则转至s206；若否，则转至s207；

s206确定所述船舶身份数据；

s207新增所述船舶特征数据库的船舶图像样本。

在本实施例中，所述应用方法是在上述实施例基础上实现的，及所述应用方法也可以理解由六个步骤进行方案实施：1)建立训练数据集并训练深度特征提取网络；2)船舶特征数据库的建立；3)训练yolo船舶目标检测网络；4)船舶检测与分割；5)船舶图像深度特征的提取；6)船舶特征pcb分块匹配。

在本实施例中，s201中，视频流可以为待检测的海上情况的视频；s202中，船舶目标检测网络为上述实施例中通过yolo算法训练获得的船舶目标检测网络，检测结果示意图可参见图3；s203中，利用图像学操作手段对目标区域进行分割，去除背景，从而减少后序步骤的噪声引入；s204中，将s203中分割出来的船舶区域图像的目标区域，输入深度特征提取网络，提取出能表征该船舶图像的深度特征；在s205中，将提取出来深度特征与船舶特征数据库进行pcb分块匹配对比，从而自动判定抓拍船舶的身份；当匹配度不小于匹配阈值时，判定为匹配，进行s206，深度特征匹配结果图可参见图4；当匹配度小于匹配阈值时，则判断未不匹配，进行下一深度特征匹配，且在s207中，将该深度特征对应的船舶图像样本新增到所述船舶特征数据库的船舶图像样本中。在本实施中，由于深度特征提取网络的位移、尺度、形变不变性，所以提取出来的深度特征同时具备了位移、尺度、形变不变性；使得网络对同一种图像的不同尺度、角度都能提取到相似甚至相同的特征，匹配准确率高。

本发明实施例是基于深度特征提取网络自主学习不同船舶之间的区分性特征，而不是单纯依靠船舶的边缘特征来甄别，两种不同的船舶最大的不同信息蕴含在整体和细节中，深度网络能自主去学习这种信息，去感知及提取海面图像提取高层语义，自主分析是否该画面中具有船舶，从而框定图像中船舶目标，而不是对像素级别的分析，所以环境影响对检测效果影响能降到最低，在采样到越多环境下的样本时，网络能学习到的语义越准确。

进一步优选的，所述“获取视频流，采用船舶目标检测网络进行检测，获得船舶定位信息，分割目标区域”的方法包括，

将所述视频流输入所述船舶目标检测网络，依次定位所述视频流的原始图像帧中的船体区域，判断所述船体区域的位置是否满足预设条件；

若是，获得网络输出类标签及所述船体区域的坐标位置；

采用图像处理函数库将所述船体区域分割，获得目标区域；

若否，则进行下一图像帧的检测。

在本实施例中，将船舶检测作为回归问题求解，基于一个单独的端到端的网络，完成从原始图像的输入到物体位置和类别的输出；输入前端摄像头采集到的目标图像的视频流，然后，根据所述船舶目标检测网络，对输入的抓拍的原始图像中的船体区域进行定位，得到网络输出类标签和对应的坐标位置，然后使用图像处理函数库opencv将船体区域裁剪出来。

在本实施例中，其中的预设条件可以船舶目标中心位于整个图像的中间三分之一的区域间，也可以是其他范围的区域间，例如，当检测到船舶存在时，当判断船舶目标中心位于整个图像的中间三分之一的区域间时，则判定船舶大部分船体出现在了图像上，确定所述图像帧包含船舶，这种判定方式有得于分割出来的船舶是比较完整的而不部分船体，当没有在该区域间时，则判定未包括船舶，当船舶只出现了小部分船体在画面中，如果用来做匹配，信息则缺失较多，故不作后续处理。

进一步优选的，所述方法还包括，

训练所述深度特征提取网络的初始数据集至少包括一个背景类，所述背景类至少包括水面、桥梁或浮漂中的一种或多种样本数据。

在本实施例中，在建立初始数据集时建立一个独立的背景类，背景类中包括背景数据，所述背景数据包括与船舶无关的画面，如水面、桥梁、浮漂等在海面中不是船体的实物；用以区分正常船舶照片，其中所述正常船舶照片为包含整个船舶而且船舶尽可能占据整个画面的图像，而非正常船舶照片为画面相当大的一部分是被海域环境占据，例如船舶船体占据照片大小小于2/3；建立的初始数据集会训练深度特征提取网络产生的高维分割超平面将背景部分切割，减少背景噪声引入，其中，背景类建立的过程为对不包含船舶的多种海域环境取样。

进一步优选的，所述“采用pcb分块匹配对比所述表示所述船舶图像的深度特征与所述船舶特征数据库，确定所述船舶身份数据”方法包括，

将所述表示所述船舶图像的深度特征与所述船舶特征数据库中存储的船舶图像特征进行基于部分的卷积基线网络的分块处理；

计算余弦距离，并根据所述余弦距离确定匹配度。

在本实施例中，

将深度特征进行pcb(part-basedconvolutionalbaseline，基于部分的卷积基线)分块处理，具体分块方式可以参照图5，将抓拍图像帧对应的深度特征与船舶特征数据库做余弦距离，如下式：

其中<x，y>为两个向量的内积，||.||为向量的二阶范数。

利用余弦距离来度量两个船舶深度特征的相似性，当匹配分数高于预设匹配阈值时，则认为两个图像的匹配度比较高，是同一艘船的概率比较大；如果匹配度大于设定匹配阈值，则检索出相应的船舶身份信息；其中预设阈值可以设置为0.5-0.75范围内，如0.6、0.7等，如果匹配度均小于设定的最小阈值，其中最小阈值的范围可以为0.3-0.5，如0.3、0.35、0.4等，则认为该船舶为首次出现的船舶，故将此次抓拍的图像特征信息加入船舶特征数据库。

现有技术中，人工设计特征在匹配的速度上存在明显限制，在数十张图像的数据库中，暴力匹配的速度在十秒以内，而一旦达到上千甚至上万级别，匹配的时间线性增长，实用性差；在本实施例中，由于提取出来的船舶特征是以向量的形式保存，在检索的时候做余弦距离采用矩阵运算的形式保证了速度，在上万张图像中检索能做五秒以内。

作为本发明的又一方面，本发明实施例一种基于深度学习的船舶特征重识别系统，如图6所示，所述系统包括：

深度特征提取网络11，用于提取船舶图像的深度特征；

船舶特征数据库12，用于关联存储预设样本船舶的基础信息与所述船舶图像的深度特征；

船舶目标检测网络13，用于检测视频流中的船舶，获得船舶定位信息，分割目标区域；

基于部分的卷积基线网络14，用于采用pcb分块匹配对比所述表示所述船舶图像的深度特征与所述船舶特征数据库，确定所述船舶身份数据。

本实施例实现了水上目标身份识别功能，首先在出现在航道中的船舶进行抓拍，通过将抓拍后的视频流输入船舶目标检测网络13，确定船舶图像，然后对将船舶图像输入深度特征提取网络11得到船舶的深度特征，最终通过基于部分的卷积基线网络14与船舶特征数据库12进行pcb分块对比匹配，得到匹配分数最高的数据图像就为该船舶预先录入的图像，从而得到该船舶预先采集好的信息让执法人员进行比对；本实施系统能对航运船只进行自动化监控，对于追踪犯罪嫌疑船舶具有高效的作用，减轻河道相差管理单位的人力负担，有效打击海事犯罪行为；同时可以通过与ais系统对比，有效的发现船舶违法变更ais信息逃避监管等行为，确保了船舶在河道航行的安全，巩固了河道出入系统的稳定。

基于同一发明构思，本发明实施例还提供了计算机可读存储介质及服务器，由于该计算机可读存储介质及服务器所解决问题的原理与前述实施例的方法相似，因此具体的实施可以参见前述实施例的方法的实施，重复之处不再赘述。

作为本发明的第四方面，本发明实施例一种计算机可读存储介质，其上存储有计算机程序，

所述程序被处理器执行时，实现如上述实施例的基于深度学习的船舶特征重识别方法，和/或所述程序被处理器执行时实现如上述实施例的基于深度学习的船舶特征重识别的应用方法。

作为本发明的又一方面，本发明实施例还提供一种服务器，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任意实施例所述的基于深度学习的船舶特征重识别方法，和/或实现如上述任意实施例所述的基于深度学习的船舶特征重识别的应用方法。

本发明实施例的技术方案能够通过视频图像分析，检测海面船舶目标，提取船舶深度特征，实现船舶的匹配重识别，解决船舶变换、隐藏身份逃避监管等问题；对海事交通管理、事故调查、水利打击非法采砂、航道船舶过闸收费及海关打击走私活动等都有智能辅助作用，为水上各监管部门提供了一种准确、高效的智能水上船舶身份识别手段。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编

程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。