基于改进SSD模型的船舶目标实时检测方法及终端

文档序号:26141487发布日期:2021-08-03 14:26阅读:213来源:国知局
基于改进SSD模型的船舶目标实时检测方法及终端

本发明涉及船舶目标检测技术领域,尤其涉及一种基于改进ssd模型的船舶目标实时检测方法及终端。



背景技术:

随着海洋事业的快速发展,智能船舶实时检测在海上交通安全和港口管理中发挥着重要的作用。当前的船舶检测方法主要集中于遥感图像或雷达图像,但是由于图像获取时间线的原因,这些方法在实际的应用中很难满足实时性的需求。近几年,海上监控设备的日益成熟提供了大量的可见光船舶图像和视频,极大推动了海上船舶目标的实时检测。

ssd网络鲁棒性良好,是工业界常用的一步法(onestage)目标检测器。相较于fasterr-cnn和yolo系列来说,平衡了检测速度和检测精度之间的关系,具有较强的综合能力。海上船舶检测属于目标检测领域的问题,然而传统ssd模型不经过网络结构的改进应用于船舶实时检测领域效果并不是很好。首先,ssd通过不同深度的卷积层检测不同尺度的目标,但是低级特征层包含较少的语义信息导致小目标的检测效果较差。其次,ssd虽然能够检测不同尺度的目标,但并没有将上下文的信息结合起来以进一步提高检测准确率。最后,ssd模型的先验框的尺寸和纵横比不能直接获得,而是需要人工设置,所以检测效率较低,检测效果也待进一步提高。

目前现有技术中针对船舶目标实时检测的研究并不多,以fasterr-cnn为例,该检测方法检测速度很慢、模型参数量大,无法在各个应用场景现有的普通cpu设备上做到实时目标检测。

有鉴于此,需要提出一种新的技术方案来解决上述技术问题。



技术实现要素:

本发明的目的在于提供一种基于改进ssd模型的船舶目标实时检测方法及终端,本发明在原始ssd网络的基础上,采用卷积操作、上采样操作以及特征融合机制,形成多尺度特征融合的特征提取框架。该方法将低级特征层高分辨率的信息与深层语义特征信息进行有效结合,实现联合决策,从而获得更高的分类准确率和更好的位置回归效果。

为实现上述目的,本发明采用以下技术手段:

一种基于改进ssd模型的船舶目标实时检测方法,包括步骤:

对监控视频船舶数据集进行预处理,获得预处理后的船舶图像,以使得预处理的结果满足检测网络的预设训练要求;

将所述预处理后的船舶图像输入到改进的ssd网络依次进行特征提取、生成预测框、分类和回归操作;

将分类和回归的预测结果送入到非极大值抑制模块,获得最终的检测结果。

一种具体实现中,所述将所述预处理后的船舶图像输入到改进的ssd网络依次进行特征提取的步骤包括:

将预处理后的船舶图像输入到膨胀卷积层,对vgg16中的conv3_1进行膨胀卷积后再与conv4_3进行融合,形成膨胀卷积层来扩大低级特征层的感受野,其中conv3_1层原始的卷积核f为3×3,设膨胀卷积时的膨胀率α等于2,则根据以下公式

n=α×(f-1)+1

求得新的卷积核n,同时可以求出新的感受野r,经过膨胀卷积后新的感受野大小r的公式为:

r=[2(α/2)+2-1]×[2(α/2)+2-1]

其中,vgg16中原始的conv3_1层的大小为75×75×256,在经过膨胀卷积后特征图的大小为38×38×512,conv4_3特征图的大小为38×38×512,将conv4_3与膨胀卷积后的conv3_1进行级联融合得到最终的膨胀卷积层,其特征图的大小为38×38×1024;

以及进行多尺度特征融合,包括:将conv11_2进行1×1卷积获得p6层,对p6层做上采样操作,并将conv10_2做1×1卷积,与p6上采样得到的特征层融合得到p5层,并依次得到p4、p3、p2层,其中,p2层上采样后与膨胀卷积层融合得到p1层。

一种具体实现中,所述将生成预测框的步骤包括:

确定距离衡量公式,并给定k个聚类中心;

计算每个标注框和每个聚类中心的距离,计算时每个标注框的中心点与聚类中心重合,保证将标注框分配给最近的聚类中心;

所有的标注框分配完毕后,对每个簇重新计算聚类中心,到聚类中心改变量在一预设范围内。

一种具体实现中,所述距离衡量公式的具体表达为:

d(box,centroid)=1-iou(box,centroid)

=1-iou[(xj,yj,wj,hj),(xj,yj,wi,hi)]

其中,iou是区域先验框与真实框的交互比,(xj,yj,wj,hj),j∈{1,2,…n}是标注框的坐标,(xj,yj)是框的中心点,(wj,hj)是框的宽和高,n是所有标注框的个数;

聚类过程包括:给定k个聚类中心(wi,hi),i∈{1,2,…k},

对每个簇重新计算聚类中心的公式表达为:

其中,ni是在第i个簇标注框的个数,就是求所有标注框的宽和高的平均值,(wi,hi)是框的宽和高。

一种具体实现中,所述分类和回归操作的步骤,包括:

所述分类和回归的结构包括上路引入一个1×1×1024的卷积滤波器,下路引入三个1×1×256的卷积滤波器,将上下两路进行eltwsum构成残差结构;

残差结构后分别在分类和回归两条路线上进行3×3卷积操作,预测得出每一类船舶的得分以及先验框的变化情况。

一种具体实现中,在进行分类和回归后,对多个区域候选框,执行操作步骤:

将所有的框的得分顺序,选中最高分及其对应的框;

遍历其余的框,如果和当前最高分框的重叠面积大于一定阈值,就将框删除;

从未处理的框中继续选择一个得分最高的,并重复执行所述将所有的框的得分顺序,选中最高分及其对应的框;以及遍历其余的框,如果和当前最高分框的重叠面积大于一定阈值,就将框删除的操作步骤。

一种具体实现中,所述对监控视频船舶数据集进行预处理,获得预处理后的船舶图像的步骤,包括:

从所述对监控视频船舶数据集中获得原始的船舶图像;

对所述原始的船舶图像执行图像尺寸变化操作操作,以将不同分辨率的图像归一化大小为一预设的分辨率。

此外,本发明还公开了一种基于改进ssd模型的船舶目标实时检测终端,所述基于改进ssd模型的船舶目标实时检测终端包括处理器、以及通过通信总线与处理器连接的存储器;其中,

所述存储器,用于存储计算机程序;

所述处理器,用于执行计算机程序时,以实现如权利要求任一项所述的基于改进ssd模型的船舶目标实时检测方法。

相比于现有技术,本发明带来以下技术效果:

(1)本发明引入膨胀卷积方法,将vgg16中的conv3_1层4层做膨胀卷积,然后与conv4_3层进行级联融合,生成膨胀卷积层。该方法增大了低级特征层的感受野,同时而不丢失细节信息,从而获得了更多的全局信息,极大地改善对于小目标的检测效果。

(2)本发明在原始ssd网络的基础上,采用1×1卷积操作、上采样操作以及特征融合机制,形成多尺度特征融合的特征提取框架。该方法将低级特征层高分辨率的信息与深层语义特征信息进行有效结合,实现联合决策,从而获得更高的分类准确率和更好的位置回归效果。

(3)本发明在有效特征层的特征图后面引入一个残差结构,该结构具体分为上下两路:上路是一个1×1×1024的卷积块,下路是三个1×1×256的卷积块,将上下两路进行融合后分别进行3×3的卷积获得分类和回归的预测结果。改进的预测模块能够挖掘特征图更深维度的特征信息,从而获得更高的分类得分和更准确的位置回归结果。

附图说明

为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的基于改进ssd模型的船舶目标实时检测方法的流程图。

图2是船舶目标实时检测系统框图。

图3是膨胀卷积层的形成过程。

图4是改进的ssd网络的整体网络结构。

图5是改进的预测模块的预测过程。

具体实施方式

下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。

在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。

此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。

在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。

实施例

参阅图1、2,提供了基于改进ssd模型的船舶目标实时检测方法,包括:

s101,对监控视频船舶数据集进行预处理,获得预处理后的船舶图像,以使得预处理的结果满足检测网络的预设训练要求。

具体的,对监控视频船舶数据集进行预处理,以达到检测网络的训练要求。具体操作为对原始的船舶图像执行resize操作,目的是将不同分辨率的图像归一化大小为300×300的分辨率。

如图3所示,本发明提供了传播目标实时检测的具体实现过程,船舶目标实时检测系统框图。首先,将监控视频船舶图像进行归一化处理,然后将处理后的图像送入到改进的ssd检测网络进行特征提取、生成先验框、分类和位置回归,最后将网络的预测结果送入到非极大值抑制模块得到最终的船舶检测结果。

s102,将所述预处理后的船舶图像输入到改进的ssd网络依次进行特征提取、生成预测框、分类和回归操作。

特征提取采用特征提取模块实现,具体的过程如下:

(11)特征提取模块的流程为:(1)膨胀卷积层。对vgg16中的conv3_1进行膨胀卷积后再与conv4_3进行融合,形成膨胀卷积层来扩大低级特征层的感受野。conv3_1层原始的卷积核f为3×3,设膨胀卷积时的膨胀率α等于2,则根据以下公式:

n=α×(f-1)+1

求得新的卷积核n为5×5,同时可以求出新的感受野r为7×7。经过膨胀卷积后新的感受野大小r的公式为:

r=[2(α/2)+2-1]×[2(α/2)+2-1]

vgg16中原始的conv3_1层的大小为75×75×256,在经过膨胀卷积后特征图的大小为38×38×512。conv4_3特征图的大小为38×38×512,将conv4_3与膨胀卷积后的conv3_1进行级联融合得到最终的膨胀卷积层,其特征图的大小为38×38×1024。

如图3所示是膨胀卷积层的形成过程。vgg16中的conv3_1层尺寸为75×75,经过膨胀率α=2的膨胀卷积后生成尺寸为38×38,同时通道数增加为512,然后将其与conv4_3层进行级联融合生成膨胀卷积层,尺寸为38×38,通道数为1024。

如图4是改进的ssd网络的整体网络结构,该结构包括了膨胀卷积层和多尺度特征融合层,用来提取船舶图像的特征信息,改进的预测模块用来预测每类船舶的分类得分和先验框的变化情况,最后将预测结果送入到非极大值抑制模块得到最终的检测结果。

(12)多尺度特征融合。将conv11_2进行1×1卷积获得p6层,然后对p6层做上采样操作。最后,将conv10_2做1×1卷积,与p6上采样得到的特征层融合得到p5层。经过同样的操作依次得到p4、p3、p2层。其中,p2层上采样后与膨胀卷积层融合得到p1层。

生成预测框的过程包括:

区域先验框重构模块:采用k-means聚类算法对先验框的尺寸和纵横比重新预测。标准的k-means聚类算法使用欧氏距离来衡量簇之间的距离,但是欧氏距离会使大的框产生更多的误差,因此本发明使用其他的距离衡量方法,具体的公式如下:

d(box,centroid)=1-iou(box,centroid)

=1-iou[(xj,yj,wj,hj),(xj,yj,wi,hi)]

其中,iou是区域先验框与真实框的交互比,数值越大效果越好。该公式能够保证iou值最大的同时,距离达到最小,很好地达到了聚类的目的。其中(xj,yj,wj,hj),j∈{1,2,…n}是标注框的坐标,(xj,yj)是框的中心点,(wj,hj)是框的宽和高,n是所有标注框的个数。

具体流程如下:(1)给定k个聚类中心(wi,hi),i∈{1,2,…k},这里wi,hi是先验框的宽和高。

(21)计算每个标注框和每个聚类中心的距离d(box,centroid)=1-iou(box,centroid),计算时每个标注框的中心点与聚类中心重合,保证将标注框分配给最近的聚类中心。

(22)所有的标注框分配完毕后,对每个簇重新计算聚类中心,计算公式如下:

其中,ni是在第i个簇标注框的个数,就是求所有标注框的宽和高的平均值。重复(21)(22),直到聚类中心改变量很小。

分类和回归操作包括:

改进的预测模块的具体流程为:(1)上路引入一个1×1×1024的卷积滤波器,下路引入三个1×1×256的卷积滤波器,将上下两路进行eltwsum构成残差结构。

(2)残差结构后分别在分类和回归两条路线上进行3×3卷积操作,预测得出每一类船舶的得分以及先验框的变化情况。

具体实现如图5所示,改进的预测模块的预测过程。首先,将有效特征层的特征图送入到残差结构中进行更深维度的特征提取,残差结构具体包含一个1×1×1024的卷积块与三个1×1×256的卷积块进行融合。然后,将特征提取完后的特征图分别进行3×3的卷积操作,实现分类和位置回归。

s103,将分类和回归的预测结果送入到非极大值抑制模块,获得最终的检测结果。

在进行分类和回归之后,会有很多个区域候选框,他们之间存在一定的重合,所以通过使用非极大值抑制方法将局部内的极大值挑选出来,对不是极大值的元素进行抑制,具体的流程如下:

(31)将所有的框的得分顺序,选中最高分及其对应的框。

(32)遍历其余的框,如果和当前最高分框的重叠面积(iou)大于一定阈值,就将框删除。

(33)从未处理的框中继续选择一个得分最高的,重复上述(31)和(32)的操作过程。

在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1