水下图像的目标检测方法、系统及装置与流程

1.本发明涉及目标检测方法领域，尤其是涉及一种水下图像的目标检测方法、系统及装置。


背景技术：

2.现代发展对水下无人装备智能化发展提出了更高需求，其中目标检测技术是水下装备环境感知、目标识别和跟踪的重要支撑技术，是提升水下装备智能化的关键技术之一。然而由于水下环境的复杂性，应用于水下无人装备的智能水下目标检测技术发展缓慢。现有研究一般采用传统图像处理方法对干净水域下简单目标的检测和识别，而面对复杂海洋背景有价值目标往往失效，尚不能满足装备需求。
3.随着深度学习技术的发展与应用，尤其是在图像目标检测领域取得重大进展，为水下无人装备智能识别系统的发展提供了新的思路。深度学习技术通过对大量的标注样本进行大规模训练，来获得对图像的分析处理能力。但在水下无人装备智能识别系统中部署和应用深度学习技术，仍面临诸多问题与挑战：
4.1)水体本身的性质、光照因素影响以及微生物的存在，使得水下图像存在较大噪声，图像质量较差。
5.2)海水中生物种类丰富，种类较多，且采集到的图像数据符合长尾分布，即存在一些不常见的生物及沉积物仅能采集到少量样本，导致样本极度不均衡，限制深度模型的识别能力及泛化能力。
6.3)水下装备在实际作业中有对识别实时性的要求，且搭载算力资源有限，使深度学习方法的应用和效果受到了限制。


技术实现要素：

7.本发明的目的在于提供一种水下图像的目标检测方法、系统及装置，旨在解决水下图像的目标检测。
8.本发明提供一种水下图像的目标检测方法，包括：
9.s1、获取水下图像，对所述水下图像进行预处理；
10.s2、将预处理后的水下图像输入特征提取网络进行特征提取得到水下图像特征；
11.s3、将预处理后的水下图像送入检测模型，得到水下图像中目标的掩码；
12.s4、将所述水下图像特征和所述水下图像中目标的掩码输入预先训练的生成对抗模型得到伪水下图像；
13.s5、将所述伪水下图像送入检测模型，得到水下图像的目标的位置信息、掩码以及所属类别完成目标检测。
14.本发明还提供一种水下图像的目标检测系统，包括：
15.获取模块：用于获取水下图像，对所述水下图像进行预处理；
16.提取模块：用于将预处理后的水下图像输入特征提取网络进行特征提取得到水下
图像特征；
17.掩码模块：用于将预处理后的水下图像送入检测模型，得到水下图像中目标的掩码；
18.伪图像模块：用于将所述水下图像特征和所述水下图像中目标的掩码输入预先训练的生成对抗模型得到伪水下图像；
19.目标检测模块：用于将所述伪水下图像送入检测模型，得到水下图像的目标的位置信息、掩码以及所属类别完成目标检测。
20.本发明实施例还提供一种水下图像的目标检测装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述方法的步骤。
21.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现上述方法的步骤。
22.采用本发明实施例，可以实现水下目标检测。
23.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
24.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
25.图1是本发明实施例的水下图像的目标检测方法的流程图；
26.图2是本发明实施例的水下图像的目标检测方法的弱样本目标检测示意图；
27.图3是本发明实施例的水下图像的目标检测系统的示意图；
28.图4是本发明实施例的水下图像的目标检测装置的示意图。
29.附图标记说明：
30.310：获取模块；320：提取模块；330：掩码模块；340：伪图像模块；350：目标检测模块。
具体实施方式
31.下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
32.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特
定的方位构造和操作，因此不能理解为对本发明的限制。
33.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
34.方法实施例
35.根据本发明实施例，提供了一种水下图像的目标检测方法，图1是本发明实施例的水下图像的目标检测方法的流程图，如图1所示，具体包括：
36.s1、获取水下图像，对所述水下图像进行预处理；
37.s2、将预处理后的水下图像输入特征提取网络进行特征提取得到水下图像特征；
38.s2具体包括：将预处理后的水下图像输入resnet-fpn、mobilenet和shufflenet中的至少一种进行特征提取得到水下图像特征。
39.s3、将预处理后的水下图像送入检测模型，得到水下图像中目标的掩码；
40.s3具体包括：
41.将送入域候选网络rpn提取目标可能存在的候选区域pi，并对候选区域pi进行初步类别判断和框回归以确定区域pi包含目标，其中i表示的第i个图像；
42.将候选区域pi的坐标与水下图像特征输入roi align层，提取区域pi特征x
i,p
；
43.分类网络利用x
i,p
计算包含目标的区域pi的所属类别，同时再次进行框回归确定目标的位置信息，并生成目标的掩码。
44.s4、将所述水下图像特征和所述水下图像中目标的掩码输入预先训练的生成对抗模型得到伪水下图像；
45.s4具体包括：
46.将水下图像中目标的掩码及水下图像特征分离，得到前景及背景区域特征；
47.将同一批次水下图像的前景及背景区域特征进行随机组合得到组合特征，将组合特征输入卷积网络生成新的伪水下图像；
48.将生成模型生成的新的伪水下图像与水下图像进行区分，判断输入图像的真伪，得到符合原始数据分布的伪图像。
49.s5、将所述伪水下图像送入检测模型，得到水下图像的目标的位置信息、掩码以及所属类别完成目标检测。
50.具体实施方法如下：
51.研发一种能水下目标检测系统，尤其是一种能面向水下图像的弱样本目标检测方法，使其可以实时地进行各类智能作战/业任务，对水下无人装备的智能化发展具有重要的意义。
52.针对弱样本问题，通过使用生成模型生成符合原始数据分布的伪数据,可以有效缓解有效样本不足对深度检测模型的影响。生成对抗网络(gan)是一种基于先验知识的生成模型，由生成网络g和判别网络d组成。其中，g以先验知识或噪声为输入，生成与真实样本
具有相同分布的伪样本。d通常为一个二分类器，对输入的真实样本和伪样本进行判定，将生成的伪样本判定为假。使生成网络g为了通过判别网络d的判别，不断学习参数让生成的伪样本更加接近真实样本，而判别网络d能够更加准确地判断数据来源。生成网络g生成的伪样本则可以用于后续对深度目标检测模型进行训练，缓解有效样本不足的影响。
53.本发明实施例的技术解决方案是：
54.第一方面，本发明实施例提供了一种面向水下的弱样本目标检测方法。考虑到水下图像的弱样本问题，设计一种基于生成模型的检测模型，通过生成符合真实水下图像样本分布情况的伪样本，训练深度学习检测模型，来缓解弱样本的限制。检测方法包括以下步骤：
55.1)通过水下光学相机采样得到水下图像，并通过数据预处理获得适用于后续检测的图像；
56.可选地，预处理包括：
57.图像去噪、图像增强、图像滤波中的至少一种。
58.2)将水下图像特征输入预先训练的特征提取网络模型,对水下图像进行特征提取；
59.特征提取网络包括：
60.resnet-fpn，mobilenet，shufflenet中的至少一种，其中使用轻量级的特征提取网络mobilenet或shufflenet可以有效减小计算复杂度，使深度模型满足实时性的要求。
61.从imagenet图像库中获取图像及标签，对特征提取网络进行训练得到预训练的特征提取网络，通过预训练减小模型的训练难度，使模型加速收敛。
62.3)将水下图像数据送入检测模型进行训练,得到图像的掩码、所属类别及位置信息；
63.检测模型通过mask-rcnn算法实现。
64.4)将水下图像特征和掩码输入预先训练的生成模型,分离背景和前景信息，再随机组合生成伪水下图像；
65.生成模型包括：生成对抗网络。
66.5)将生成的伪水下图像与原水下图像数据送入检测模型进行训练；
67.检测模型，通过mask-rcnn算法实现。
68.6)测试阶段，将待检测水下图像送入检测网络进行，对目标进行检测，并将目标的位置信息以及所属类别输出。
69.第二方面，本发明实施例提供了一种面向水下的弱样本目标检测装置，装置包括：
70.1)图像采集模块，用于实时获取水下图像，并通过预处理来提高图像质量；
71.2)特征提取模块，用于对水下图像进行特征提取；
72.3)目标生成模块，用于生成符合真实水下图像样本分布情况的伪样本，以训练深度学习检测模型；
73.4)目标检测模块，用于对水下目标的位置进行检测并进行分类，将目标的位置信息以及所属类别输出。
74.本发明实施例提供一种面向水下的弱样本目标检测方法、装置、电子设备能够在复杂海洋背景下实现对目标在线的、实时的检测和定位，并预测目标运动。
75.图2是本发明实施例的水下图像的目标检测方法的弱样本目标检测示意图，如图2所示，检测方法包括以下步骤：
76.1)通过水下光学相机采样得到水下图像，并通过数据预处理获得适用于后续检测的图像。对水下图像数据集进行整理和标注，并划分为训练集d
train
和测试集d
test
，设定第i个图像xi包含n个待检测目标，每个待检测目标对应标签为{m
i,n
,b
i,n
,c
i,n
}，其中m
i,n
为待检测目标的掩码，b
i,n
为待检测目标的候选框坐标，c
i,n
为待检测目标的类别。
77.2)将水下图像特征输入预先训练的特征提取网络模型backbone,对水下图像进行特征提取；
78.可选地，特征提取网络包括：
79.resnet，mobilenet，shufflenet中的一种，其中使用轻量级的特征提取网络mobilenet或shufflenet可以有效减小计算复杂度，使深度模型满足实时性的要求。
80.3)将待检测水下图像xi送入检测网络进行，对目标进行检测，并将目标的位置信息bi、掩码mi以及所属类别ci输出。如图2所示，检测模型包括区域候选网络rpn、roi align层和分类网络c，其中，
81.域候选网络rpn用于生成候选区域pi，对图像中待测目标可能存在的感兴趣区域进行提取，对每个感兴趣区域进行类别可能性判断和框回归操作；
82.roi align层将rpn预测的候选框坐标(相对于原始输入图像)与原图像特征进行一一映射，提取候选区域特征x
i,p
。
83.分类网络c利用候选区域特征x
i,p
计算候选区域的类别ci，同时再次进行框回归以精确定位检测框bi，并为目标生成掩码mi。
84.4)将检测网络输出的掩码mi及原始图像特征输入预先训练的生成对抗模型,生成伪水下图像x
′i；如图2所示，生成对抗模型包括分离模型m、生成模型g和判别模块d，其中，
85.分离模型m用于分离前景及背景区域特征x
i,f
,x
i,b
，将检测网络输出的掩码mi及原始图像xi输入分离模型m，得到前景及背景区域特征x
i,f
,x
i,b
，f表示前景，b表示背景；
86.x
i,f
,x
i,b
＝m(xi,mi)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
87.生成模型g在训练时对同一批次水下图像的前景及背景区域特征x
i,f
,x
j,b
进行随机组合，并使用卷积网络生成新的伪水下图像x
′i，其类别为ci。
88.x
′i＝g(x
i,f
,x
j,b
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
89.判别模块d用于将生成模型g生成的样本与原始水下图像样本进行区分，判断输入图像的真伪，通过对生成模型g和判别模型d联合训练，相互对抗，得到符合原始数据分布的伪图像，以ture输出，j表示第j个图像。
90.5)同上述3中，将伪水下图像x
′i送入检测网络进行训练，并将目标的位置信息bi、掩码mi以及所属类别ci输出。
91.6)在训练阶段，将水下图像xi送入生成对抗模型和检测模型进行联合训练，利用得到检测得到的掩码mi生成伪水下图像x
′i进一步对模型进行训练，为图像中的目标进行目标分类、产生界框和分割操作，并计算损失：
92.l＝l
cls
+l
box
+l
mask
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
93.其中，l是检测模型的总损失，l
cls
,l
box
,l
mask
分别对应特征图在计算目标分类、边框回归、掩码与真实值相差结果的损失。
94.生成对抗模型目标函数v(g,d)为：
[0095][0096]
通过对生成对抗模型目标函数和l进行优化，直至生成对抗模型和检测模型收敛。
[0097]
7)在测试阶段，将待测水下图像xi输入检测模型，对图像中目标进行目标分类、生成边界框和分割掩码。
[0098]
本发明实施例的有益效果为：
[0099]
(1)本发明实施例基于深度学习模型设计检测方法，相比于传统图像处理算法，能够取得更好的识别与检测性能，尤其是在对复杂海洋环境中的目标进行识别时，能够显著提升其检测效果。
[0100]
(2)本发明实施例的检测模型中使用生成对抗网络方法，使检测系统能够对有效样本数据不足的弱样本类别进行检测，以减少弱样本导致的检测性能的下降。
[0101]
(3)本发明实施例限制了网络参数量，大大降低了模型的时间和空间复杂度，保证了整体算法的实时性，能够实现对目标在线的、实时的检测和定位，更具工程应用性。
[0102]
(4)本发明实施例能够在复杂海洋背景下实现对目标进行实时检测与定位，同时提高对弱样本目标类检测效果和鲁棒性。
[0103]
系统实施例
[0104]
根据本发明实施例，提供了一种水下图像的目标检测系统，图3是本发明实施例的水下图像的目标检测系统的示意图，如图3所示，具体包括：
[0105]
获取模块：用于获取水下图像，对所述水下图像进行预处理；
[0106]
提取模块：用于将预处理后的水下图像输入特征提取网络进行特征提取得到水下图像特征；
[0107]
所述提取模块具体用于：将输入resnet-fpn、mobilenet和shufflenet中的至少一种进行特征提取得到水下图像特征。
[0108]
掩码模块：用于将预处理后的水下图像送入检测模型，得到水下图像中目标的掩码；
[0109]
所述掩码模块具体用于：
[0110]
将送入域候选网络rpn提取目标可能存在的候选区域pi，并对候选区域pi进行初步类别判断和框回归以确定区域pi包含目标，其中i表示的第i个图像；
[0111]
将候选区域pi的坐标与水下图像特征输入roi align层，提取区域pi特征x
i,p
；
[0112]
分类网络利用x
i,p
计算包含目标的区域pi的所属类别，同时再次进行框回归确定目标的位置信息，并生成目标的掩码。
[0113]
伪图像模块：用于将所述水下图像特征和所述水下图像中目标的掩码输入预先训练的生成对抗模型得到伪水下图像；
[0114]
目标检测模块：用于将所述伪水下图像送入检测模型，得到水下图像的目标的位置信息、掩码以及所属类别完成目标检测。
[0115]
伪图像模块具体用于：
[0116]
将水下图像中目标的掩码及水下图像特征分离，得到前景及背景区域特征；
[0117]
将同一批次水下图像的前景及背景区域特征进行随机组合得到组合特征，将组合
特征输入卷积网络生成新的伪水下图像；
[0118]
将生成的新的伪水下图像与水下图像进行区分，判断输入图像的真伪，得到符合原始数据分布的伪图像。
[0119]
本发明实施例是与上述方法实施例对应的系统实施例，各个模块的具体操作可以参照方法实施例的描述进行理解，在此不再赘述。
[0120]
装置实施例一
[0121]
本发明实施例提供一种水下图像的目标检测装置，如图4所示，包括：存储器40、处理器42及存储在存储器40上并可在处理器42上运行的计算机程序，计算机程序被处理器执行时实现上述方法实施例中的步骤。
[0122]
装置实施例二
[0123]
本发明实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有信息传输的实现程序，程序被处理器42执行时实现上述方法实施例中的步骤。
[0124]
本实施例所述计算机可读存储介质包括但不限于为：rom、ram、磁盘或光盘等。
[0125]
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
[0126]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替本发明各实施例技术方案，并不使相应技术方案的本质脱离本方案的范围。