一种基于深度神经网络的海面油膜检测方法及装置与流程

1.本发明涉及图像处理技术领域，特别涉及一种基于深度神经网络的海面油膜检测方法及装置。


背景技术：

2.随着石油资源的不断开发利用，接踵而来的海洋水体油污染问题日趋严重，在各种海洋污染中，石油污染无论在发生频率、分布广度，还是在危害程度上均居首位，己对人们的生产生活造成严重危害。因此，及时获取海洋表面油膜信息，可保护海洋环境，降低打捞成本，对全球生态环境具有重要意义。
3.目前国内外的海洋溢油油膜检测技术基本都是基于遥感的方式，对合成孔径雷达(sar)数据进行分析研究，总结溢油油膜的主要特征，并使用传统的图像处理技术与数学理论结合的方式进行检测分类。一般首先使用遥感卫星对海面监控生成sar图像数据，然后对sar数据图像进行一系列的数据分析和处理，挖掘到海面油膜的特征，学习这些特征之后形成检测系统，用以对海面生成的油膜进行检测识别。然而这基本都是基于专家经验，由人工通过各种传统分析实现特征挖掘、以及获取检测油膜的检测模型，很大概率会丢失部分隐形特征，导致构建的检测模型与真实模型存在差距，导致检测精度较低。


技术实现要素：

4.本发明提供了一种基于深度神经网络的海面油膜检测方法及装置，该方法提高了海面油膜的检测精度。
5.第一方面，本发明实施例提供了一种基于深度神经网络的海面油膜检测方法，包括：
6.对待检测sar图像进行增强处理，得到增强sar图像；
7.将所述增强sar图像拆分为若干个batch子图像；
8.利用预先构建的unet++网络模型对所述子图像进行检测，得到海面油膜的检测信息。
9.可选地，所述预先构建的unet++网络模型的unet++网络为四层结构，所述unet++网络每一次下采样之后都进行上采样。
10.可选地，所述预先构建的unet++网络模型通过至少两组样本集训练得到，每一组样本集中包括作为输入的所述子图像以及作为输出的海面油膜的检测信息；其中，所述检测信息包括油膜区域和/或海水区域。
11.可选地，所述对待检测sar图像进行增强处理，得到增强sar图像，包括：
12.判断所述待检测sar图像的质量是否达到预设质量标准；
13.若否，则对所述sar图像进行降噪处理，得到第一sar图像；
14.判断所述第一sar图像的尺寸是否位于预设图像尺寸范围内；
15.若否，则对所述第一sar图像进行上采样或下采样处理，得到所述增强sar图像。
16.可选地，在所述利用预先构建的unet++网络模型对所述子图像进行检测之前，还包括：将所述若干个batch子图像加载至内存中。
17.可选地，所述预先构建的unet++网络模型的构建包括：
18.根据历史sar图像对unet++网络对训练，得到初始模型；
19.根据所述检测信息和所述历史sar图像中的实际油膜区域和海水区域，对所述初始模型进行优化，得到所述unet++网络模型。
20.可选地，所述根据历史sar图像对unet++网络对训练，包括：
21.将对应历史sar图像的若干batch子图像进行张量化处理，得到张量化图像；
22.利用前馈网络对所述张量化图像进行运算，得到特征信息；
23.通过分类函数对所述特征信息进行非线性分类，得到检测类别信息；其中，所述检测类别信息包括油膜区域和/或海水区域；
24.根据所述检测类别信息对所述历史sar图像进行边界区域划分，得到所述检测信息。
25.可选地，在所述得到海面油膜的检测信息之后，还包括：
26.将所述检测信息转换为标记有油膜区域和/或海水区域的目标图像。
27.第二方面，本发明实施例还提供了一种基于深度神经网络的海面油膜检测装置，包括：
28.增强处理模块，用于对待检测sar图像进行增强处理，得到增强sar图像；
29.拆分模块，用于将所述增强sar图像拆分为若干个batch子图像；
30.检测模块，用于利用预先构建的unet++网络模型对所述子图像进行检测，得到海面油膜的检测信息。
31.第三方面，本发明实施例还提供了一种计算设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现上述任一项所述的基于深度神经网络的海面油膜检测方法。
32.第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述任一项所述的基于深度神经网络的海面油膜检测方法。
33.本发明实施例提供了一种基于深度神经网络的海面油膜检测方法及装置，该方法通过对待检测sar图像进行增强处理后，为提高检测效率而将增强后的sar图像拆分为多个batch子图像，然后基于图像分割网络中的unet++网络，利用训练得到的预先构建的unet++网络模型，用以直接对sar子图像中的油膜特征进行提取，如此避免了传统图像处理算法依靠专家经验和大量人工操作带来油膜特征提起不足的问题，而且该unet++网络模型包括7m的参数量，在油膜特征表示上有指数级的提升，因此大幅度提高了海面油膜的检测精度。
附图说明
34.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
35.图1是本发明一实施例提供的一种基于深度神经网络的海面油膜检测方法流程图；
36.图2是本发明一实施例提供的一种计算设备的硬件架构图；
37.图3是本发明一实施例提供的一种基于深度神经网络的海面油膜检测装置结构图。
具体实施方式
38.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
39.当前基于sar图像数据的海上油膜检测算法基本都是使用专家经验的方式，由人工通过各种传统分析方式来挖掘油膜的特征，然后构建特征体系来将sar图像中的油膜建模出来，并以模型匹配的方式来识别检测油膜。一方面，这种方式构建的检测模型的检测效果很大程度上取决于建模专家的专业能力，需要很强的专业数据分析和建模能力，而且构建的有效特征维度一般只有百维到万维量级，导致有很大的概率会丢失部分隐形特征，构建的模型无法与真实油膜模型有一定的差距，从而构建的检测模型精度上限很难突破。另一方面，人工建模是一个十分繁杂且耗时耗力的工作，模型的效果很大程度上还取决于建模人员耗费在复杂的特征分析和挖掘工作中的时间和精力。因此，本发明提出使用图像分割网络中的unet++网络模型，直接对sar图像数据中的油膜特征进行提取，模型训练得到参数量为百万级的模型，并依靠gpu强大的运算能力来替代人工大量繁杂的操作。
40.请参考图1，本发明实施例提供了一种基于深度神经网络的海面油膜检测方法，该方法包括：
41.步骤100，对待检测sar图像进行增强处理，得到增强sar图像；
42.步骤102，将增强sar图像拆分为若干个batch子图像；
43.步骤104，利用预先构建的unet++网络模型对子图像进行检测，得到海面油膜的检测信息。
44.本发明实施例中，通过对待检测sar图像进行增强处理后，为提高检测效率而将增强后的sar图像拆分为多个batch子图像，然后基于图像分割网络中的unet++网络，利用训练得到的预先构建的unet++网络模型，用以直接对sar子图像中的油膜特征进行提取，如此避免了传统图像处理算法依靠专家经验和大量人工操作带来油膜特征提起不足的问题，而且该unet++网络模型包括7m的参数量，在油膜特征表示上有指数级的提升，因此大幅度提高了海面油膜的检测精度。
45.下面描述图1所示的各个步骤的执行方式。
46.首先，针对步骤100，对待检测sar图像进行增强处理，得到增强sar图像，包括：
47.判断待检测sar图像的质量是否达到预设质量标准；
48.若否，则对sar图像进行降噪处理，得到第一sar图像；
49.判断第一sar图像的尺寸是否位于预设图像尺寸范围内；
50.若否，则对第一sar图像进行上采样或下采样处理，得到增强sar图像。
51.在本发明中，通过判断待检测sar图像的图像质量及图像尺寸，对不清晰的sar图像进行降噪处理，以及对不满足预设图像尺寸范围的sar图像进行上采样或下采样处理，则在保证sar图像特征信息不缺失的前提下获得具有高质量且图像尺寸统一的增强sar图像，进而便于后续unet++网络模型的检测识别，提高深度神经网络的检测效率。
52.接着，步骤102，将增强sar图像拆分为若干个batch子图像。
53.在步骤102之后，在步骤104之前，还包括：将若干个batch子图像加载至内存中。
54.在本发明中，通过将增强sar图像拆分成多个batch，然后并行处理多个batch的子图像，增加了推理效率，进而提高了unet++网络模型的检测效率。同时，通过将全部子图像加载到内存中连续处理，减少甚至消除了磁盘io操作，还降低了计算时间，并提高了计算效率，从而进一步提高了海面油膜的检测效率。
55.在一些优选的实施方式中，预先构建的unet++网络模型的unet++网络为四层结构，unet++网络每一次下采样之后都进行上采样。
56.在本发明中，采用的unet++网络既能通过短连接使模型得到训练，又能通过长连接获得更多信息，进而能够抓取不同层次的特征，拥有不同大小的感受野，实现检测精度的提高。
57.在一些优选的实施方式中，预先构建的unet++网络模型通过至少两组样本集训练得到，每一组样本集中包括作为输入的子图像以及作为输出的海面油膜的检测信息；其中，检测信息包括油膜区域和/或海水区域。
58.需要说明的是，油膜区域即为海面上覆盖有油膜的区域，海水区域即为未覆盖有油膜的海水区域。
59.在一些更优选的实施方式中，预先构建的unet++网络模型的构建包括：
60.根据历史sar图像对unet++网络对训练，得到初始模型；
61.针对训练，包括：
62.将对应历史sar图像的若干batch子图像进行张量化处理，得到张量化图像；
63.利用前馈网络对张量化图像进行运算，得到特征信息；
64.通过分类函数对特征信息进行非线性分类，得到检测类别信息；其中，检测类别信息包括油膜区域和/或海水区域；
65.根据检测类别信息对历史sar图像进行边界区域划分，得到检测信息；
66.根据检测信息和历史sar图像中的实际油膜区域和海水区域，对初始模型进行优化，得到unet++网络模型。
67.在一些更优选的实施方式中，分类函数采用logistic函数。
68.需要说明的是，张量是一种表示物理量的方式，为采用基向量与分量组合表示的物理量，可以表示非常丰富的信息。将二维子图像转换成张量来表示，更方便后续的神经网络在计算机计算单元进行数值计算。
69.在本发明中，对于张量化图像，使用u型前馈网络进行计算，能提取初图像中的丰富特征信息，然后使用logistic函数对特征信息进行非线性分类，将不同类别的特征信息分离开，形成精准的区域划定，将油膜区域和海水区域分离，然后再进行离散化操作，把不同类别的区域在张量化图像中的边界进行割裂操作，形成明显的边界，从而达到精准的语义分割效果，然后将多个张量化图像进行融合，得到针对sar图像的包括油膜区域和海水区
域的检测信息，进而实现海上油膜的精准检测和区域划定。
70.在步骤104之后，还包括：将检测信息转换为标记有油膜区域和/或海水区域的目标图像。
71.在本发明中，由于检测信息是通过张量化图像得到的，因此通过将包括检测信息的张量化图像还原为二维图像，并进行可视化标记，最终得到经过检测后的sar图像，且该sar图像中已标准有海面上油膜区域的精准位置。
72.在本发明中，与传统基于sar图像的海上油膜检测方法相比，本发明大大减小了建模难度，直接使用unet++模型对历史sar图像进行迭代训练即可完成建模，而不需要经过传统图像算法建模那样，经过实验大量的人工提取图片特征。本发明使用神经网络模型建模，特征参数量达到7m多，而传统图像建模的参数量一般不会超过10k，因此在油膜特征表示上有指数级的提升，达到了更高精度的建模，因而能大幅度提高海面油膜的检测精度。
73.如图2、图3所示，本发明实施例提供了一种基于深度神经网络的海面油膜检测装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言，如图2所示，为本发明实施例提供的一种基于深度神经网络的海面油膜检测装置所在计算设备的一种硬件架构图，除了图2所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的计算设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等。以软件实现为例，如图3所示，作为一个逻辑意义上的装置，是通过其所在计算设备的cpu将非易失性存储器中对应的计算机程序读取到内存中运行形成的。本实施例提供的一种基于深度神经网络的海面油膜检测装置，包括：增强处理模块300、拆分模块302和检测模块304；
74.增强处理模块300，用于对待检测sar图像进行增强处理，得到增强sar图像；
75.拆分模块302，用于将所述增强sar图像拆分为若干个batch子图像；检测模块304，用于利用预先构建的unet++网络模型对所述子图像进行检测，得到海面油膜的检测信息。
76.在一些具体的实施方式中，增强处理模块300可用于执行上述步骤100，拆分模块302可用于执行上述步骤102，检测模块304可用于执行上述步骤104。
77.在一些具体的实施方式中，增强处理模块300用于执行如下操作：
78.判断待检测sar图像的质量是否达到预设质量标准；
79.若否，则对sar图像进行降噪处理，得到第一sar图像；
80.判断第一sar图像的尺寸是否位于预设图像尺寸范围内；
81.若否，则对第一sar图像进行上采样或下采样处理，得到增强sar图像。
82.在一些具体的实施方式中，还包括：将若干个batch子图像加载至内存中。
83.在一些具体的实施方式中，预先构建的unet++网络模型的unet++网络为四层结构，unet++网络每一次下采样之后都进行上采样。
84.在一些具体的实施方式中，预先构建的unet++网络模型通过至少两组样本集训练得到，每一组样本集中包括作为输入的子图像以及作为输出的海面油膜的检测信息；其中，检测信息包括油膜区域和/或海水区域。
85.在一些具体的实施方式中，该装置还包括构建模块，构建模块用于执行如下操作：
86.根据历史sar图像对unet++网络对训练，得到初始模型；
87.针对训练，包括：
88.将对应历史sar图像的若干batch子图像进行张量化处理，得到张量化图像；
89.利用前馈网络对张量化图像进行运算，得到特征信息；
90.通过分类函数对特征信息进行非线性分类，得到检测类别信息；其中，检测类别信息包括油膜区域和/或海水区域；
91.根据检测类别信息对历史sar图像进行边界区域划分，得到检测信息；
92.根据检测信息和历史sar图像中的实际油膜区域和海水区域，对初始模型进行优化，得到unet++网络模型。
93.在一些具体的实施方式中，分类函数采用logistic函数。
94.在一些具体的实施方式中，该装置还包括转换模块，转换模块用于执行如下操作：将检测信息转换为标记有油膜区域和/或海水区域的目标图像。
95.可以理解的是，本发明实施例示意的结构并不构成对一种基于深度神经网络的海面油膜检测装置的具体限定。在本发明的另一些实施例中，一种基于深度神经网络的海面油膜检测装置可以包括比图示更多或者更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或者软件和硬件的组合来实现。
96.上述装置内的各模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
97.本发明实施例还提供了一种计算设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现本发明任一实施例中的一种基于深度神经网络的海面油膜检测方法。
98.本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序在被处理器执行时，使所述处理器执行本发明任一实施例中的一种基于深度神经网络的海面油膜检测方法。
99.具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或cpu或mpu)读出并执行存储在存储介质中的程序代码。
100.在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
101.用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如cd-rom、cd-r、cd-rw、dvd-rom、dvd-ram、dvd-rw、dvd+rw)、磁带、非易失性存储卡和rom。可选择地，可以由通信网络从服务器计算机上下载程序代码。
102.此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
103.此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展模块中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展模块上的cpu等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
104.需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在
任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
…”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
105.本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质中。
106.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。