一种海上船舶目标检测方法及装置

文档序号:31128243发布日期:2022-08-13 04:28阅读:154来源:国知局
一种海上船舶目标检测方法及装置

1.本发明涉及目标检测技术领域,特别是指一种海上船舶目标检测方法及装置。


背景技术:

2.从大航海时代到如今的21世纪,海上交通运输一直是人类生产生活的一个重要组成部分。各式各样的船只满足人们不同的需求,海运带来的便利通常使近海或港口城市有着极大的经济潜力。在经济全球化的今天,海上船舶依旧是连接各大洲各大洋的重要交通工具。
3.海上船舶目标检测具有重要的现实意义和应用价值。可以保障我国领土与主权完整并促进海域的良性管理等;也可以帮助海事管理人员对进出港船舶进行管理,减少船舶事故的发生,并对船舶非法行为进行更为有效的监控。船舶的目标检测相对人肉眼的识别来说优势巨大,一方面是由于依托于远距离光学放大的图像捕捉设备,另一方面基于计算机运算的低成本和稳定性。因此,精确检测海上船舶目标成为当下研究的热点。
4.然而,海上船舶的目标检测存在着许多棘手的问题。如因视角原因,设备捕捉到的船舶很有可能互相遮挡,造成误检测;或是船舶的大小各异,尺度不统一,造成小目标的漏检测;还有不同的摄像设备不同的拍摄环境,造成的船舶图像样式差异巨大;实际生产中出现的不同种类,不同样式,不同型号的船舶,有很多情况下超出了训练数据集的范畴。


技术实现要素:

5.本发明针对现有的传统船舶目标检测技术存在的视角遮挡拍摄设备不统一,以及各种海上船舶尺度不一型号不一难于识别的问题,提出了本发明。
6.为解决上述技术问题,本发明提供如下技术方案:
7.一方面,本发明提供了一种海上船舶目标检测方法,该方法由电子设备实现,该方法包括:
8.s1、获取待检测的海上船舶的图像。
9.s2、将图像输入到构建好的检测模型;其中,检测模型包括特征提取网络、候选框网络以及目标检测网络。
10.s3、根据图像、特征提取网络、候选框网络以及目标检测网络,得到待检测的海上船舶的图像的检测结果。
11.可选地,s2中的检测模型的训练过程包括:
12.s21、获取海上船舶视频数据集;其中,海上船舶视频数据集包括有标签数据集以及无标签数据集。
13.s22、将海上船舶视频数据集输入到特征提取网络,得到海上船舶视频数据集中图像的特征图层;其中,图像的特征图层包括有标签数据图像的特征图层以及无标签数据图像的特征图层。
14.s23、将特征图层输入到候选框网络,对特征图层进行候选框生成,得到候选框内
对应的局部特征图层;其中,局部特征图层包括有标签局部特征图层以及无标签局部特征图层。
15.s24、将局部特征图层输入到目标检测网络,得到海上船舶视频数据的检测结果。
16.可选地,s21中的获取海上船舶视频数据集包括:
17.s211、获取海上船舶视频数据集。
18.s212、对海上船舶视频数据集中的部分海上船舶视频数据集进行人工标注,得到有标签数据集,并将有标签数据集以图像形式存储。
19.可选地,s22中的将海上船舶视频数据集输入到特征提取网络,得到海上船舶视频数据集中图像的特征图层包括:
20.将海上船舶视频数据集输入到特征提取网络,采用预设图像特征提取方法对海上船舶视频数据集中的图像进行推理计算,得到海上船舶视频数据集中图像的浅层特征图层和深层特征图层。
21.可选地,目标检测网络包括有标签数据目标检测网络以及无标签数据目标检测网络。
22.s24中的将局部特征图层输入到目标检测网络,得到海上船舶视频数据的检测结果包括:
23.s241、将有标签局部特征图层输入到有标签数据目标检测网络,得到有标签数据的检测结果。
24.s242、将无标签局部特征图层输入到无标签数据目标检测网络,得到无标签数据的检测结果。
25.可选地,有标签数据的检测结果包括有标签数据的分类结果以及检测框。
26.s241中的将有标签局部特征图层输入到有标签数据目标检测网络,得到有标签数据的检测结果包括:
27.将有标签局部特征图层输入到分类器网络进行分类预测,得到有标签数据的分类结果。
28.对候选框进行回归计算,进而构建得到检测框。
29.可选地,s242中的将无标签局部特征图层输入到无标签数据目标检测网络,得到无标签数据的检测结果包括:
30.将无标签局部特征图层与有标签局部特征图层利用最大软间隔支持向量机svm投射到中间域。
31.根据有标签数据目标检测网络的判别规则以及无标签局部特征图层,得到无标签数据的检测结果。
32.可选地,根据有标签数据目标检测网络的判别规则以及无标签局部特征图层,得到无标签数据的检测结果包括:
33.根据有标签数据目标检测网络的判别规则对中间域上的无标签局部特征图层进行判别,得到无标签数据的检测结果。
34.另一方面,本发明提供了一种海上船舶目标检测装置,该装置应用于实现海上船舶目标检测方法,该装置包括:
35.获取模块,用于获取待检测的海上船舶的图像。
36.输入模块,用于将图像输入到构建好的检测模型;其中,检测模型包括特征提取网络、候选框网络以及目标检测网络。
37.输出模块,用于根据图像、特征提取网络、候选框网络以及目标检测网络,得到待检测的海上船舶的图像的检测结果。
38.可选地,输入模块,进一步用于:
39.s21、获取海上船舶视频数据集;其中,海上船舶视频数据集包括有标签数据集以及无标签数据集。
40.s22、将海上船舶视频数据集输入到特征提取网络,得到海上船舶视频数据集中图像的特征图层;其中,图像的特征图层包括有标签数据图像的特征图层以及无标签数据图像的特征图层。
41.s23、将特征图层输入到候选框网络,对特征图层进行候选框生成,得到候选框内对应的局部特征图层;其中,局部特征图层包括有标签局部特征图层以及无标签局部特征图层。
42.s24、将局部特征图层输入到目标检测网络,得到海上船舶视频数据的检测结果。
43.可选地,输入模块,进一步用于:
44.s211、获取海上船舶视频数据集。
45.s212、对海上船舶视频数据集中的部分海上船舶视频数据集进行人工标注,得到有标签数据集,并将有标签数据集以图像形式存储。
46.可选地,输入模块,进一步用于:
47.将海上船舶视频数据集输入到特征提取网络,采用预设图像特征提取方法对海上船舶视频数据集中的图像进行推理计算,得到海上船舶视频数据集中图像的浅层特征图层和深层特征图层。
48.可选地,目标检测网络包括有标签数据目标检测网络以及无标签数据目标检测网络。
49.可选地,输入模块,进一步用于:
50.s241、将有标签局部特征图层输入到有标签数据目标检测网络,得到有标签数据的检测结果。
51.s242、将无标签局部特征图层输入到无标签数据目标检测网络,得到无标签数据的检测结果。
52.可选地,有标签数据的检测结果包括有标签数据的分类结果以及检测框。
53.可选地,输入模块,进一步用于:
54.将有标签局部特征图层输入到分类器网络进行分类预测,得到有标签数据的分类结果。
55.对候选框进行回归计算,进而构建得到检测框。
56.可选地,输入模块,进一步用于:
57.将无标签局部特征图层与有标签局部特征图层利用最大软间隔支持向量机svm投射到中间域。
58.根据有标签数据目标检测网络的判别规则以及无标签局部特征图层,得到无标签数据的检测结果。
59.可选地,输入模块,进一步用于:
60.根据有标签数据目标检测网络的判别规则对中间域上的无标签局部特征图层进行判别,得到无标签数据的检测结果。
61.一方面,提供了一种电子设备,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现上述海上船舶目标检测方法。
62.一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现上述海上船舶目标检测方法。
63.本发明实施例提供的技术方案带来的有益效果至少包括:
64.上述方案中,针对传统海上船舶目标检测存在的船体互相遮挡,拍摄视角拍摄设备不统一,船舶型号大小不一的情况,可以通过本发明提出的海上船舶目标检测方法进行自适应地识别,提高目标检测的精度,最终达到用户满意的精度。
65.本发明所提出的海上船舶目标检测方法及系统能够充分地利用目标域上的图像特征,提高目标检测准确率的同时,使得用户的输入更方便,操作更简单,从而降低了对用户专业性的要求,具有重要的理论意义和实用价值。
附图说明
66.为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
67.图1是本发明实施例提供的海上船舶目标检测方法流程示意图;
68.图2是本发明实施例提供的自建数据集的原始数据样本展示图;
69.图3是本发明实施例提供的自建数据集标注示意图;
70.图4是本发明实施例提供的fast r-cnn网络结构图;
71.图5是本发明实施例提供的faster r-cnn网络结构图;
72.图6是本发明实施例提供的图像深度学习网络结构图;
73.图7是本发明实施例提供的rpn网络结构与anchor boxes的结构示意图;
74.图8是本发明实施例提供的域自适应算法原理示意图;
75.图9是本发明实施例提供的海上船舶目标检测方法的网络结构图;
76.图10是本发明实施例提供的域自适应算法改进效果对比图;
77.图11是本发明实施例提供的网页展示系统主页截图;
78.图12是本发明实施例提供的海上船舶目标检测装置框图;
79.图13是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
80.为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
81.如图1所示,本发明实施例提供了一种海上船舶目标检测方法,该方法可以由电子
设备实现。如图1所示的海上船舶目标检测方法流程图,该方法的处理流程可以包括如下的步骤:
82.s1、获取待检测的海上船舶的图像。
83.s2、将图像输入到构建好的检测模型。
84.其中,检测模型包括特征提取网络、候选框网络以及目标检测网络。
85.可选地,s2中的检测模型的训练过程包括:
86.s21、获取海上船舶视频数据集。
87.其中,海上船舶视频数据集包括有标签数据集以及无标签数据集。
88.可选地,s21中的获取海上船舶视频数据集包括:
89.s211、获取海上船舶视频数据集。
90.s212、对海上船舶视频数据集中的部分海上船舶视频数据集进行人工标注,得到有标签数据集,并将有标签数据集以图像形式存储。
91.一种可行的实施方式中,由于统一公开数据集的缺乏,本发明采用自建数据库的方式来获得舰船高清数据集。具体地,可以选用视频网站的一系列海上船舶高清视频作为对象,使用python爬取每一个视频对应的网址,再使用you-get爬取工具逐一下载,最终获取海上船舶视频250个,平均时长在8分钟左右,分辨率均为1280
×
720。经逐帧分析,平均每个视频可用帧数在8千帧左右。相较于其他公开的海上船舶数据集,本数据集的优点在于拍摄距离近,视频分辨率高,可以捕捉到船舶内部的结构信息,而不仅仅只是船舶的整体信息。这对于训练一个具有较强泛化能力的模型是非常重要的。
92.如图2为数据集中的图片样例,上面三张来自于不同视频,下面三张来自于同一视频。在上面的不同视频中可以发现,船舶所在的背景不同,拍摄的天气不同,拍摄角度也不同,这可以保证训练集具有足够的复杂度,可以供模型学习。下面三张图中,虽然来自于同一个视频,但是船舶的朝向变化巨大,也存在其他船只的干扰情况,这说明了同一个视频里的不同帧,同样具有被模型学习的必要性。本发明利用cvat(computer vision annotation tool,计算机视觉图像标注工具)对上述视频数据进行标注,标注标签四类:hull,head,antenna,other ship;中文对应为船体,船头,天线,其他船只。对所标注视频提取帧,且去除不含任何标注信息的帧,最终得到84609张船舶图片。其中包括船体对象84347个,船头对象70133个,天线对象108555个,其他船只对象36510个,标注目标对象共计299545个。工作标签数据使用coco数据格式保存,以匹配之前的测试,内容为每一个船舶的舰体、天线、船头三个主要检测框的四维坐标信息。标注效果图3所示。
93.进一步地,可以用上述数据集对海上舰船目标检测网络进行预训练。
94.具体地,可以将学习率设置为0.0001,采用adam方法进行优化,epoch最大设置为100。为了评估修正前后分割结果的精度变化,采用目标检测领域常用的指标ap(average precision,平均准确率)作为评价指标。接下来的特征计算框架如图4图5所示,均为在特征图层上筛选局部来进行分类回归的下游任务计算。
95.s22、将海上船舶视频数据集输入到特征提取网络,得到海上船舶视频数据集中图像的特征图层。
96.其中,图像的特征图层包括有标签数据图像的特征图层以及无标签数据图像的特征图层。
97.可选地,s22中的将海上船舶视频数据集输入到特征提取网络,得到海上船舶视频数据集中图像的特征图层包括:
98.将海上船舶视频数据集输入到特征提取网络,采用预设图像特征提取方法对海上船舶视频数据集中的图像进行推理计算,得到海上船舶视频数据集中图像的浅层特征图层和深层特征图层。
99.一种可行的实施方式中,可以使用resnet101网络进行特征提取,如图6所示,卷积神经网络,作为最具代表性的深度学习模型,能够提取自然信号底层的特征。这些特征通常具有平移不变性、局部连接性和层次结构性。一个典型的cnn(convolutional neural networks,卷积神经网络),具有一定的层次结构,并且包括许多的网络层。这些深浅不一的网络层,将在整个网络的训练过程中,学习到自然信号的多层次特征信息。在卷积神经网络中,层与层间的连接大致可以分为三部分:卷积运算(convolution),非线性操作(nonlinearity),池化操作(pooling)。一次卷积在数学上写作如下式(1)所示:
100.x
l-1
*w
l
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
101.其中x
l-1
是指从第l-1层得到的特征图谱,一般来说作为网络的输入部分。w
l
一般来说是二维卷积核,或者说滤波器或者权重。卷积是对于网络层序列来说是一个迭代的过程,若给出一个非线性运算函数σ,那么可以得到迭代式如下式(2)所示:
[0102][0103]
其中包括n
l-1
个输入的特征图谱,其中一个表示为卷积核由于从l层到l-1层,每两个特征图谱之间都有一个,于是标记为偏移项记作此处的σ函数可以是relu(rectified linear unit,修正线性单元)、sigmoid函数或者是tanh函数。以relu为例,写作下式(3):
[0104]
σ(x)=max{x,0}
ꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0105]
池化操作是指对特征图谱进行上采样或下采样,池化包括最大池化、最小池化、平均池化等等。最大池化数学表达式写作下式(4):
[0106]
x
l
=max{x
l-1
},x∈d
kernel
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0107]
池化同样是以卷积核为单位操作的,实际运算时,该卷积核的大小尺寸也是影响训练结果的重要参数。
[0108]
deep cnns(deep convolutional neural networks,深度卷积神经网络)是指一个具有大量网络层数的cnn。训练一个深度卷积神经网络,不仅仅需要一个庞大且被标注好的数据集,还需要极强的算力不间断运行数天乃至数周。
[0109]
s23、将特征图层输入到候选框网络,对特征图层进行候选框生成,得到候选框内对应的局部特征图层。
[0110]
其中,局部特征图层包括有标签局部特征图层以及无标签局部特征图层。
[0111]
一种可行的实施方式中,通过专门的候选框生成网络来生成候选框,简化分类器的任务。
[0112]
具体地,将特征图层输入候选框网络进行候选框生成是由一个独立的rpn(region proposal network,提取候选框)网络来负责计算的,其中运用了多尺度锚框的设计对不同
大小规格的目标对象加以区分对待,具体过程可以是:
[0113]
s231、如图7所示,该模块分为输入层、单个中间层以及输出层。输入层为n*n(3*3)的滑动窗口尺寸下的卷积特征层,中间层为256维的低维向量,由输入层降维(1*1卷积)而来。
[0114]
s232、对每一个滑动窗口,输出层分为两个部分,一个部分是分类模块,输出为背景和前景的softmax概率;另一个模块是回归模块,输出为描述检测框的四个参数。所谓锚框,就是一系列中心在同一点的不同检测框尺寸模板。不同的模板匹配不同尺度不同长宽比的目标,这个方法代替特征金字塔提取多尺度信息,在保证准确率的同时节省了计算时间。
[0115]
s24、将局部特征图层输入到目标检测网络,得到海上船舶视频数据的检测结果。
[0116]
可选地,目标检测网络包括有标签数据目标检测网络以及无标签数据目标检测网络。
[0117]
s24中的将局部特征图层输入到目标检测网络,得到海上船舶视频数据的检测结果包括:
[0118]
s241、将有标签局部特征图层输入到有标签数据目标检测网络,得到有标签数据的检测结果。
[0119]
可选地,有标签数据的检测结果包括有标签数据的分类结果以及检测框。
[0120]
s241中的将有标签局部特征图层输入到有标签数据目标检测网络,得到有标签数据的检测结果包括:
[0121]
将有标签局部特征图层输入到分类器网络进行分类预测,得到有标签数据的分类结果。
[0122]
对候选框进行回归计算,进而构建得到检测框。
[0123]
一种可行的实施方式中,检测框是在候选框的基础上进行回归计算,获取四维参数构建最终输出的检测框。
[0124]
s242、将无标签局部特征图层输入到无标签数据目标检测网络,得到无标签数据的检测结果。
[0125]
可选地,s242中的将无标签局部特征图层输入到无标签数据目标检测网络,得到无标签数据的检测结果包括:
[0126]
s2421、将无标签局部特征图层与有标签局部特征图层利用最大软间隔svm(support vector machine,支持向量机)投射到中间域。
[0127]
一种可行的实施方式中,选择局部特征图层并对其进行roi pooling操作,对于有标签数据和无标签数据,将其投射到同一中间域上进行融合。
[0128]
如图8所示,要实现域的自适应,就需要最大化域的融合程度,把源域和目标域映射到一个中间域上,使源域的图像特征和目标域的图像特征在中间域上无法被区分。这时,可以用源域的有标签数据进行监督学习,并将学习来的映射规则使用在同样在中间域的目标域数据上,实现了源域向目标域的迁移学习,即领域自适应的实现。
[0129]
其中,进行中间域投影时使用软间隔线性支持向量机。
[0130]
选择惩罚系数c》0,构造并求解凸二次规划问题,如下式(5-7)所示;
[0131][0132][0133]
0≤αi≤c,i=1,2,

,n
ꢀꢀꢀꢀꢀꢀꢀ
(7)
[0134]
求得最优解
[0135]
计算选择α
*
的一个分量适合条件计算计算
[0136]
求得分离超平面w
*
·
x+b
*
=0,分类决策函数f(x)=sign(w
*
·
x+b
*
)。
[0137]
s2422、根据有标签数据目标检测网络的判别规则以及无标签局部特征图层,得到无标签数据的检测结果。
[0138]
可选地,s2422中的根据有标签数据目标检测网络的判别规则以及无标签局部特征图层,得到无标签数据的检测结果包括:
[0139]
根据有标签数据目标检测网络的判别规则对中间域上的无标签局部特征图层进行判别,得到无标签数据的检测结果。
[0140]
一种可行的实施方式中,基于统计学的域自适应方法,将通过统计学的角度,对源域和目标域进行评估,得到源域和目标域的距离。在训练过程中不断缩小这个距离,就可以实现域的适应。本质上说,就是将两个域的特征空间投射到一个公共的特征空间上,使得源域的分类标准在这个新的空间中对目标域也一定程度上适用。
[0141]
mmd(maximum mean discrepancy,最大平均离差)是形容域和域之间距离的标准分布矩阵。其经验估计为下式(8):
[0142][0143]
其中ds代表源域,d
t
代表目标域,为源域上的点,为目标域上的点,φ代表将数据映射到希尔伯特空间的核函数。于是,损失函数记作下式(9):
[0144]
l=lc(x
l
,y)+λmmd2(xs,x
t
)
ꢀꢀꢀꢀꢀꢀꢀ
(9)
[0145]
第一项lc(x
l
,y)指的是通过已标签的数据点计算得到的分类损失,第二项mmd则代表域和域之间的离差。训练它的目的是获得一个学习共享域信息,并且有一定分类效果的模型。
[0146]
进一步地,通过对有标签数据的模型判别规则来使用无标签数据,对无标签数据实现自适应地迁移学习的过程可以包括:
[0147]
设源域中的一个批次(batch)图像经faster rcnn的一阶段rpn(region proposal network,区域候选网络)后得到的候选框为k=1,2,

,ns,其中ns为该批次内图像内的候选框总数;同样地,目标域中一个批次的图像经rpn后得到的候选框为m=1,2,

,n
t
,其中n
t
为该批次内图像的候选框总数。设resize函数为fr,它是一个降维函数,通过该函数可以把原始候选框下的卷积特征统一向量维度,设统一之后的向量维度为n。设二阶段神经
网络正向传播映射关系为f
nn
,输入是候选框特征pk,输出是分类预测结果向量xk为真值。本发明所涉及的域自适应性方法仅限于分类问题。于是可以得到分类损失函数式如下式(10)所示:
[0148][0149]
其中其中
[0150]
其中,λ为自适应权重,函数l为交叉熵损失函数,函数g为将两个域的高维特征垂直投影到分离超平面的映射函数,详细映射方法如下:
[0151]
给定ns个数据点n
t
个数据点二者均为n维向量,于是根据软间隔线性支持向量机的定义,有训练数据集xi∈{s,t},yi∈y={+1,-1},i=1,2,

,ns+n
t
。其中当xi∈s时,yi=+1;当xi∈t时,yi=-1。
[0152]
由s2421中的算法可得分离超平面w
·
x+b=0。于是设点xi在分离超平面上的垂直映射为其满足方程:
[0153][0154]
其中μ为常实数。
[0155]
域自适应方法对模型的优化效果如下表1所示:
[0156]
表1
[0157][0158][0159]
s3、根据图像、特征提取网络、候选框网络以及目标检测网络,得到待检测的海上船舶的图像的检测结果。
[0160]
一种可行的实施方式中,基于本发明的方法所搭建的网络结构如图9所示,网络的输入分为两部分,一部分为有标签数据,另一部分为无标签数据,二者经过一个参数共享的resnet101卷积网络层提取图像特征,得到对应的特征图层;带标签数据可以直接通过全连接层得到分类和预测结果,与真实标签构成损失函数获得分类损失来指导模型计算;无标签数据则需要与带标签数据一同投射到无法区分二者的中间域空间中,并通过带标签数据学习到的判别规则在中间域上适用无标签的数据,从而得到模型自监督生成的伪标签以辅助无标签数据进行反馈迭代学习,以此来获得更加泛用的船舶目标检测模型。
[0161]
本发明引入了一种基于线性支持向量机的域自适应方法,可以一定程度上减少数
据分布不平衡带来的问题。软间隔线性支持向量机,在完成源域和目标域的分类任务的分离超平面上,将数据点垂直投影,可以获得融合的中间域结果。在该中间域上,理论上无法区分数据点来自源域和目标域,这样就形成了一个较好的领域的自适应融合。本发明将这种思想运用到船舶图像数据上,修改了faster rcnn模型二阶段的图像分类层,增加了一层中间域映射操作,将源域数据集(训练数据集)迁移到目标域数据上(预留数据集)进行训练,最终改善了模型的检测准确率,结果样例见图10,将ap值大致提升了15%左右。
[0162]
进一步地,还包括一种海上船舶目标检测系统,系统如图11所示,该系统可以包括:目标检测的预训练基于imagenet数据集,其为图像分类的数据集,使用其resnet50的预训练模型作为目标检测特征提取器,可以加速训练进程,得到收敛性更好的结果。
[0163]
系统使用django框架,实现前后端不分离的设计,一次部署方便简单,网页端设计采用bootstrap扩展,可视效果简洁,功能齐全。
[0164]
本发明实施例中,针对传统海上船舶目标检测存在的船体互相遮挡,拍摄视角拍摄设备不统一,船舶型号大小不一的情况,可以通过本发明提出的海上船舶目标检测方法进行自适应地识别,提高目标检测的精度,最终达到用户满意的精度。
[0165]
本发明所提出的海上船舶目标检测方法及系统能够充分地利用目标域上的图像特征,提高目标检测准确率的同时,使得用户的输入更方便,操作更简单,从而降低了对用户专业性的要求,具有重要的理论意义和实用价值。
[0166]
如图12所示,本发明实施例提供了一种海上船舶目标检测装置1200,该装置1200应用于实现海上船舶目标检测方法,该装置1200包括:
[0167]
获取模块1210,用于获取待检测的海上船舶的图像。
[0168]
输入模块1220,用于将图像输入到构建好的检测模型;其中,检测模型包括特征提取网络、候选框网络以及目标检测网络。
[0169]
输出模块1230,用于根据图像、特征提取网络、候选框网络以及目标检测网络,得到待检测的海上船舶的图像的检测结果。
[0170]
可选地,输入模块1220,进一步用于:
[0171]
s21、获取海上船舶视频数据集;其中,海上船舶视频数据集包括有标签数据集以及无标签数据集。
[0172]
s22、将海上船舶视频数据集输入到特征提取网络,得到海上船舶视频数据集中图像的特征图层;其中,图像的特征图层包括有标签数据图像的特征图层以及无标签数据图像的特征图层。
[0173]
s23、将特征图层输入到候选框网络,对特征图层进行候选框生成,得到候选框内对应的局部特征图层;其中,局部特征图层包括有标签局部特征图层以及无标签局部特征图层。
[0174]
s24、将局部特征图层输入到目标检测网络,得到海上船舶视频数据的检测结果。
[0175]
可选地,输入模块1220,进一步用于:
[0176]
s211、获取海上船舶视频数据集。
[0177]
s212、对海上船舶视频数据集中的部分海上船舶视频数据集进行人工标注,得到有标签数据集,并将有标签数据集以图像形式存储。
[0178]
可选地,输入模块1220,进一步用于:
[0179]
将海上船舶视频数据集输入到特征提取网络,采用预设图像特征提取方法对海上船舶视频数据集中的图像进行推理计算,得到海上船舶视频数据集中图像的浅层特征图层和深层特征图层。
[0180]
可选地,目标检测网络包括有标签数据目标检测网络以及无标签数据目标检测网络。
[0181]
可选地,输入模块1220,进一步用于:
[0182]
s241、将有标签局部特征图层输入到有标签数据目标检测网络,得到有标签数据的检测结果。
[0183]
s242、将无标签局部特征图层输入到无标签数据目标检测网络,得到无标签数据的检测结果。
[0184]
可选地,有标签数据的检测结果包括有标签数据的分类结果以及检测框。
[0185]
可选地,输入模块1220,进一步用于:
[0186]
将有标签局部特征图层输入到分类器网络进行分类预测,得到有标签数据的分类结果。
[0187]
对候选框进行回归计算,进而构建得到检测框。
[0188]
可选地,输入模块1220,进一步用于:
[0189]
将无标签局部特征图层与有标签局部特征图层利用最大软间隔支持向量机svm投射到中间域。
[0190]
根据有标签数据目标检测网络的判别规则以及无标签局部特征图层,得到无标签数据的检测结果。
[0191]
可选地,输入模块1220,进一步用于:
[0192]
根据有标签数据目标检测网络的判别规则对中间域上的无标签局部特征图层进行判别,得到无标签数据的检测结果。
[0193]
本发明实施例中,针对传统海上船舶目标检测存在的船体互相遮挡,拍摄视角拍摄设备不统一,船舶型号大小不一的情况,可以通过本发明提出的海上船舶目标检测方法进行自适应地识别,提高目标检测的精度,最终达到用户满意的精度。
[0194]
本发明所提出的海上船舶目标检测方法及系统能够充分地利用目标域上的图像特征,提高目标检测准确率的同时,使得用户的输入更方便,操作更简单,从而降低了对用户专业性的要求,具有重要的理论意义和实用价值。
[0195]
图13是本发明实施例提供的一种电子设备1300的结构示意图,该电子设备1300可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,cpu)1301和一个或一个以上的存储器1302,其中,存储器1302中存储有至少一条指令,至少一条指令由处理器1301加载并执行以实现下述海上船舶目标检测方法:
[0196]
s1、获取待检测的海上船舶的图像。
[0197]
s2、将图像输入到构建好的检测模型;其中,检测模型包括特征提取网络、候选框网络以及目标检测网络。
[0198]
s3、根据图像、特征提取网络、候选框网络以及目标检测网络,得到待检测的海上船舶的图像的检测结果。
[0199]
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括指令的存储器,上述指令可由终端中的处理器执行以完成上述海上船舶目标检测方法。例如,计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0200]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
[0201]
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1