一种小型船舶检测方法及系统与流程

本发明涉及大数据挖掘，具体涉及一种小型船舶检测方法及系统。

背景技术：

1、船舶作为海面上的重要目标，船舶识别研究一直是研究热点，船舶的识别与检测技术有着广泛的应用前景。现有的船只检测算法是直接将图片传入神经网络来检测船只，但这类方法在船舶航行时由摄像头录制的图像存在大量无船的海面图，严重占用检测时间和检测资源，导致检测速度较慢。

2、此外，还有检测方法是通过提取待识别船舶图像的方向梯度直方图hog特征，区分船舶的形状，获得轮廓信息，但该类方法未对海上大量无船图做过滤处理，检测效率低，易误报，实用性差。以及采用基于googlenet的深度学习方法检测船只，存在检测效率低，功耗大，以及未对远处小船做针对性识别、容易漏报等问题。另外，海盗船一般为小型船只，一般深度学习算法较难检测出远处的海盗船，严重影响船舶航行安全。

3、针对以上问题，亟需一种检测效率高、实用性强以及能够准确识别出远处小型船只的船舶检测方法来应对目前海事图像中船舶跟踪、船舶分割的挑战。

技术实现思路

1、为解决目前船只检测过程中存在的检测效率低、功耗大，以及无法对远处小型船只准确识别导致漏报等问题，本发明提供了一种小型船舶检测方法，基于待测海事视频图像，采用结构相似性算法过滤掉单纯海面背景的图片以及大部分无船图，并设计出改进的特征金字塔网络与yolov3目标检测模型相结合，以准确识别出远处小型船舶并获取船舶跟踪轨迹图像，实现了对目标船舶的精准检测。本发明还涉及一种小型船舶检测系统。

2、本发明的技术方案如下：

3、一种小型船舶检测方法，其特征在于，包括以下步骤：

4、图像获取步骤：获取待测海事视频图像，对待测海事视频图像进行分帧处理得到多个海事视频图像，并获取各个海事视频图像的像素特征值；

5、图像处理步骤：根据像素特征值并采用结构相似性算法分别计算出各个海事视频图像与无船海面基准图像的结构相似性系数，将结构相似性系数大于预设阈值的海事视频图像去除；

6、船舶跟踪数据获取步骤：基于去除后剩余的海事视频图像的像素特征值构建特征金字塔网络并基于海事视频图像的分辨率和海事视频图像中的目标识别精度自动对特征金字塔网络中神经网络的层数进行调整，得到改进后的特征金字塔网络，并将去除后剩余的海事视频图像作为训练集样本输入至基于改进后的特征金字塔网络建立的yolov3目标检测模型，得到船舶跟踪数据；

7、特征训练步骤：将船舶跟踪数据作为训练集样本输入至预先建立的基于fairmot算法以及byte数据关联算法的多目标跟踪网络中进行训练，得到小型船舶跟踪轨迹图像并进行展示，以实现作为目标船舶的小型船舶检测。

8、优选地，所述图像处理步骤中，所述像素特征值包括海事视频图像的像素平均值、像素标准差、像素方差以及像素协方差。

9、优选地，所述特征训练步骤中，将船舶跟踪数据输入至基于fairmot算法以及byte数据关联算法的多目标跟踪网络中进行训练包括：

10、s1：将船舶跟踪数据输入至多目标跟踪网络中的fairmot算法中进行训练，得到船舶跟踪数据序列包含的多目标信息，所述多目标信息包括目标所在的检测框和id特征，提取检测框中目标中心点的id特征并按时序对所述id特征进行连结，得到小型船舶的初始跟踪轨迹；

11、s2：将初始跟踪轨迹输入至多目标跟踪网络中的byte数据关联算法，并将所有检测框分为高分框和低分框，使用高分框和初始跟踪轨迹进行匹配，使用低分框和未能与高分框匹配上的初始跟踪轨迹进行匹配，并对未能匹配初始跟踪轨迹的高分框进行新建轨迹，将未能匹配的初始跟踪轨迹重新分为高分框和低分框并保留一段时间后再进行匹配，得到小型船舶跟踪轨迹图像并进行保存。

12、优选地，所述船舶跟踪数据获取步骤中，还采用交叉熵损失函数作为yolov3目标检测模型训练中的损失函数，并采用adam优化器对yolov3目标检测模型的权重参数进行更新。

13、优选地，所述船舶跟踪数据获取步骤中，在yolov3目标检测模型训练过程中，得到损失函数值最小的权重文件，将海事视频图像放入yolov3目标检测模型中，调用所述权重文件，并通过softmax函数将海事视频图像中的每个像素点进行分类，得到高精度像素的船舶跟踪数据并进行保存。

14、一种小型船舶检测系统，其特征在于，包括依次连接的图像获取模块、图像处理模块、船舶跟踪数据获取模块和特征训练模块，

15、所述图像获取模块，获取待测海事视频图像，对待测海事视频图像进行分帧处理得到多个海事视频图像，并获取各个海事视频图像的像素特征值；

16、所述图像处理模块，根据像素特征值并采用结构相似性算法分别计算出各个海事视频图像与无船海面基准图像的结构相似性系数，将结构相似性系数大于预设阈值的海事视频图像去除；

17、所述船舶跟踪数据获取模块，基于去除后剩余的海事视频图像的像素特征值构建特征金字塔网络并基于海事视频图像的分辨率和海事视频图像中的目标识别精度自动对特征金字塔网络中神经网络的层数进行调整，得到改进后的特征金字塔网络，并将去除后剩余的海事视频图像作为训练集样本输入至基于改进后的特征金字塔网络建立的yolov3目标检测模型，得到船舶跟踪数据；

18、所述特征训练模块，将船舶跟踪数据作为训练集样本输入至预先建立的基于fairmot算法以及byte数据关联算法的多目标跟踪网络中进行训练，得到小型船舶跟踪轨迹图像并进行展示，以实现作为目标船舶的小型船舶检测。

19、优选地，所述图像处理模块中，所述像素特征值包括海事视频图像的像素平均值、像素标准差、像素方差以及像素协方差。

20、优选地，所述特征训练模块中，将船舶跟踪数据输入至基于fairmot算法以及byte数据关联算法的多目标跟踪网络中进行训练包括：

21、s1：将船舶跟踪数据输入至多目标跟踪网络中的fairmot算法中进行训练，得到船舶跟踪数据序列包含的多目标信息，所述多目标信息包括目标所在的检测框和id特征，提取检测框中目标中心点的id特征并按时序对所述id特征进行连结，得到小型船舶的初始跟踪轨迹；

22、s2：将初始跟踪轨迹输入至多目标跟踪网络中的byte数据关联算法，并将所有检测框分为高分框和低分框，使用高分框和初始跟踪轨迹进行匹配，使用低分框和未能与高分框匹配上的初始跟踪轨迹进行匹配，并对未能匹配初始跟踪轨迹的高分框进行新建轨迹，将未能匹配的初始跟踪轨迹重新分为高分框和低分框并保留一段时间后再进行匹配，得到小型船舶跟踪轨迹图像并进行保存。

23、优选地，所述船舶跟踪数据获取模块中，还采用交叉熵损失函数作为yolov3目标检测模型训练中的损失函数，并采用adam优化器对yolov3目标检测模型的权重参数进行更新。

24、优选地，所述船舶跟踪数据获取模块中，在yolov3目标检测模型训练过程中，得到损失函数值最小的权重文件，将海事视频图像放入yolov3目标检测模型中，调用所述权重文件，并通过softmax函数将海事视频图像中的每个像素点进行分类，得到高精度像素的船舶跟踪数据并进行保存。

25、本发明的有益效果为：

26、本发明提供的一种小型船舶检测方法，基于待测海事视频图像并进行分帧处理得到多个海事视频图像，根据各个海事视频图像的像素特征值并采用结构相似性算法分别计算出各个海事视频图像与无船海面基准图像的结构相似性系数，将结构相似性系数大于预设阈值的海事视频图像去除，能够过滤掉单纯海面和天空背景的图片，此外由于海上航行大部分时间为纯海水背景，还可过滤掉大部分无船图，节省了大量检测时间，提高算法检测速度，降低了硬件成本和损耗；然后根据去除后剩余的海事视频图像像素特征值构建特征金字塔网络(fpn，feature pyramid networks)，并基于海事视频图像的分辨率和海事视频图像中的目标识别精度自动对现有的特征金字塔网络fpn中神经网络的层数进行调整，得到改进后的特征金字塔网络fpnx，以有效增强对海面上超小船舶的检测精度，将船舶与海洋垃圾、海上浮标、冰山等非目标物体做区分，可大幅提高对海盗船的识别，为航行安全多一份保障；然后将去除后剩余的海事视频图像作为训练集样本输入至基于改进后的特征金字塔网络fpnx建立的yolov3目标检测模型，得到带有小型船舶目标坐标信息的船舶跟踪数据，最后将船舶跟踪数据作为训练集样本输入至预先建立的基于fairmot算法以及byte数据关联算法的多目标跟踪网络中进行训练，得到船舶跟踪轨迹图像并进行展示，以实现目标船舶的检测。本发明提供了一种全新的设计思路以及技术路线，可理解为是一种基于深度学习与传统图像分析技术结合的自然场景小型船舶检测方法，先利用传统图像技术对图片进行筛选，过滤掉单纯海面背景的图片，由于海上航行大部分为纯海水和天空背景，该方法可过滤掉大部分无船图；深度学习算法上，采用独特设计的针对小目标检测的神经网络检测船只，能够准确快速地识别出海事视频图像中的所有船舶，解决了目前存在的船舶图像较难检测出远处的小型船舶的实际问题，具有高效性、高检出率、高识别率的特性。

27、本发明还涉及一种小型船舶检测系统，该系统与上述的小型船舶检测方法相对应，可理解为是一种实现上述小型船舶检测方法的系统，包括依次连接的图像获取模块、图像处理模块、船舶跟踪数据获取模块和特征训练模块，各模块相互协同工作，基于待测海事视频图像，采用结构相似性算法过滤掉单纯海面背景的图片以及大部分无船图，并通过海事视频图像的分辨率和海事视频图像中的目标识别精度自动对特征金字塔网络中神经网络的层数进行调整，设计出改进的特征金字塔网络fpnx并与yolov3目标检测模型相结合，以准确识别出远处小型船舶，并基于fairmot算法以及byte数据关联算法的多目标跟踪网络获取船舶跟踪轨迹图像，能够准确快速地识别出海事视频图像中的所有船舶，有效增强对海面上超小船舶的检测精度。