一种基于全卷积网络的海面溢油检测方法及其系统和应用

本发明涉及属于计算机视觉领域，具体涉及一种基于全卷积网络的海面溢油检测方法及其系统和应用。

背景技术：

公开该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不必然被视为承认或以任何形式暗示该信息构成已经成为本领域一般技术人员所公知的现有技术。

在全球海面海洋污染中，最常见的是溢油污染。海面溢油使海洋生态系统遭到破坏并影响人类的健康和海面活动。能及时、精准地检测到溢油并在第一时间发出警报是一个重点研究方向。因此快速且准确的检测到海面溢油是当下最重要的任务，而海洋的复杂场景给溢油检测带来重大挑战。

油膜大小不一，溢油图像存在大量噪声，对比度低、边缘模糊等问题，传统常用的检测方法主要有：(1)基于阈值分割；(2)基于边缘信息；(3)基于语义分割。上述方法简单且计算量小，但难以自动的提取特征，溢油与海水背景分割难度大，整幅图像内的溢油区域确定困难，受各种因素影响导致分割准确度低。

近几十年来，基于卷积神经网络(cnn)的两阶段和一阶段目标检测算法分别在精度和速度方面得到了巨大的提升。

但发明人研究发现基于卷积神经网络的检测算法大多数都是以损失精度或速度为代价。在实际应用中，由于受到环境和设备影响，需要从各个方面考虑来建立合适的检测模型，从而解决实际问题。全卷积网络(fcn)进行像素级的预测，主要用于语义分割，可以自动提取特征信息且保留原始输入图像中的空间信息，但未充分考虑像素与像素之间的关系。

技术实现要素：

为了解决现有技术存在的溢油与海水背景分割难度大，分割准确度低以及无法兼顾检测精度和速度的问题，本发明提供一种基于全卷积网络的海面溢油检测方法，在减少内存和复杂计算的情况下提升油膜的检测精度，同时保持实时的检测速度。这种方法易于进行端到端的训练，可以快速且准确的检测到油膜并及时发出警报。

具体地，本发明是通过如下所述的技术方案实现的：

本发明第一方面，提供一种基于全卷积网络的海面溢油检测方法，包括：

将待检测图像输入至训练好的海面溢油检测网络，输出所述待检测图像的检测信息；

评定系统将所述检测信息与数据库特征值进行对比，判断海面是否有溢油，如果检测到油膜，则判定为溢油且发出警告。

本发明第二方面，提供一种基于全卷积网络的海面溢油检测系统，包括：主干网，用于提取所述溢油图像的多尺度特征；

transformer模块，使用自注意力层代替卷积层，通过gateblock动态地改变特征的变换方式和特征融合方式，以实现更优的特征融合；

将所述多尺度特征通过transformer模块得到一个transformed特征金字塔；

特定检测任务的头部网络来获得最终的检测信息。

本发明第三方面，提供一种基于全卷积网络的海面溢油检测方法和/或基于全卷积网络的海面溢油检测系统在海面溢油检测领域中的应用。

本发明一个或多个实施例具有以下有益效果：

1)本发明提供的基于全卷积网络的海面溢油检测方法及系统，具有结构简单、易于训练、计算量少、便于优化等特点。

2)将所述溢油图像输入所述主干网，提取图像的多尺度特征；

3)在所述主干网后面插入transformer模块，增加特征的全局信息有利于大面积油膜的检测。得到的transformed特征金字塔，解决尺度变化问题，同时获取多尺度上下文信息来建立像素间的联系，有利于小面积油膜的检测；

4)特征金字塔通过一个头部网络得到图像每个像素的预测信息，去除了锚的使用，减少了内存和复杂计算；

5)经过非极大值抑制(nms)去除多余的边界框，输出最终的检测结果。

6)评定系统将所述检测信息与数据库特征值进行对比，判断海面是否有溢油，如果检测到油膜，则判定为溢油且发出警告，最后生成并保存检测报告。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。以下，结合附图来详细说明本发明的实施方案，其中：

图1为本发明实施例1所提供的基于全卷积网络的海面溢油检测方法及系统的流程图；

图2为本发明实施例2提供的基于全卷积网络的海面溢油检测方法及系统的流程图；

图3为本发明实施例2提供的自动识别及评定系统示意图；

图4为本发明实施例3提供的检测网络的网络结构示意图；

图5为本发明实施例4提供的基于全卷积网络的海面溢油检测方法及系统流程图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。下列实施例中未注明具体条件的实验方法，通常按照常规条件或按照制造厂商所建议的条件。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

为了解决现有技术存在的溢油与海水背景分割难度大，分割准确度低以及无法兼顾检测精度和速度的问题，本发明提供一种基于全卷积网络的海面溢油检测方法，在减少内存和复杂计算的情况下提升油膜的检测精度，同时保持实时的检测速度。这种方法易于进行端到端的训练，可以快速且准确的检测到油膜并及时发出警报。

具体地，本发明是通过如下所述的技术方案实现的：

本发明第一方面，提供一种基于全卷积网络的海面溢油检测方法，包括：

将待检测图像输入至训练好的海面溢油检测网络，输出所述待检测图像的检测信息；

评定系统将所述检测信息与数据库特征值进行对比，判断海面是否有溢油，如果检测到油膜，则判定为溢油且发出警告。

所述待检测图像的检测信息是指海面溢油检测网络识别出的油膜特征值，包括但不限于大小、颜色、厚度、折射率、频谱等信息，目的是与数据库特征值进行对比，判断海面是否有溢油。

在一些实施方式中，利用无人机拍摄海面溢油图像；

无人机操控可以不受时间、距离、海上天气情况等的限制，实现快速、准确、实时获得海上信息，有助于第一时间发现海上溢油。

在一些实施方式中，所述训练好的海面溢油检测网络的训练方法包括：

获取海面溢油图像，预处理获得图像数据集，提取油膜区域频谱图；

将图像数据集和油膜频谱图合并作为训练样本集，对所述训练样本集进行标注得到所述训练样本集的标签信息；

将所述训练样本集的标签信息输入至预先构建的初始海面溢油检测网络中，提取多个特征信息，将所述多个特征信息进行合并，得到融合特征信息；

根据所述融合特征信息获取所述溢油图像每个像素的预测信息；

优化得到完成训练的海面溢油检测网络，并将待检测图像输入至所述海面溢油检测网络，输出所述待检测图像的检测信息。

相比于将单一参数或特征值输入至海面溢油检测网络，本发明将图像数据集和油膜频谱图合并的训练样本集输入至海面溢油检测网络进行训练，得到的训练好的海面溢油检测网络能够多角度、更好地识别海面溢油图像，增加准确性。

所述多个特征信息包括但不限于位置信息、尺寸信息、像素信息。

为了准确定位和识别海上溢油区域，本发明一些实施例还包括对所述溢油图像实施预处理的步骤，包括：

(1)限制对比度自适应直方图均衡化方法解决对比度不理想问题，同时抑制噪音的增强。

(2)高频加强滤波方法对图像进行边缘锐化增强，并在一定程度上拉开图像的灰度分布。目的是使所述溢油图像更加清晰，增强海水和油膜的对比度以提高分割精度。

发明人研究发现，如果仅将溢油图像输入至训练好的海面溢油检测网络，可能存在识别难度大，识别时间长，噪音大，准确度低的问题，因此在一些实施方式中选用油膜区域频谱图。提取油膜区域频谱图方法为将所述溢油图像输入至全卷积网络进行油膜区域和背景图的二分类分割，然后提取所述油膜区域的频谱图。

在模拟计算或预测过程中，由于各种客观或主观原因，容易出现误差，影响检测效率和精度，为了尽可能降低这种不利影响，在本发明一个或多个实施例中，获得预测信息后还包括计算误差的过程：利用损失函数计算所述预测信息与所述标签信息的误差。

计算误差只是单方面显示测信息与所述标签信息的偏离程度，因此在该基础上，还应优化系统，减小误差。所述优化方法包括：采用反向传播法对所述初始海面溢油检测网络的参数进行优化直至所述误差达到期望值。

在一些实施方式中，所述油膜的频谱图是对所述油膜区域进行二维傅里叶变换得到，主要用于增加油膜特征的多样性以提升检测精度。

在一些实施方式中，所述每个像素的预测信息包含类别信息和回归信息。

在一些实施方式中，所述每个像素的类别信息为一个h×w×c的三维矩阵；c为所述数据集的类别数；所述每个像素的回归信息为一个h×w×4的三维矩阵。

对图像的每个像素进行预测，得到每个像素的类别和回归边界框，提高了目标的定位，解决了正负样本不平衡问题。去除了人为预设的锚框，减少计算复杂度和参数量。

进一步优选地，所述损失函数为：

px,y，tx,y分别为海面溢油检测网络预测图像的每个像素的位置(x,y)的分类标签的2维向量和边界框坐标的4维向量。npos为整个图像的像素个数。为每个像素的分类损失之和，其中lcls,tcx,y分别为焦点损失和每个位置(x,y)的真值框的类标签。p{tcx,y＞0}为每个像素为正样本的概率，lreg,tx,y为iou损失和每个像素位置(x,y)的训练回归目标。lc为一种计算量损失约束。lcls,lreg这两项与lc由平衡参数λ进行平衡。

进一步优选地，所述p{tcx,y＞0}，若tcx,y＞0，p＝1，否则p＝0。

进一步优选地，所述lc定义为：

lc＝((cr-ctarget)/(cmax-cmin))²(2)

ctarget＝cmin+α·(cmax-cmin)(3)

其中cmax,cmin分别表示最高配置和最低配置的计算量，cr表示实际的计算量，ctarget由超参数α控制。

优选地，所述发出警报后还包括生成并保存检测报告的步骤。

本发明提供的基于全卷积网络的海面溢油检测方法，利用无人机采集的溢油图像，对所述溢油图像进行标注和预处理作为图像数据集，采用全卷积网络对所述溢油图像进行油膜区域和背景图的二分类分割，然后使用二维傅里叶变换提取所述油膜区域的频谱图。将所述油膜的频谱图和图像数据集合并得到训练样本集。将所述训练样本集输入初始海面溢油检测网络中。首先，主干网提取图像的多尺度特征，在主干网后面插入transformer模块，来实现更优的多尺度特征融合方式，捕获了局部和全局上下文信息来建立目标之间的联系，获得了不同尺度和空间位置的特征，得到transformed特征金字塔。然后，特征金字塔通过一个头部网络得到溢油图像每个像素的预测信息，并利用损失函数计算所述溢油图像每个像素的预测信息与所述溢油图像的标签之间的误差，采用反向传播算法对所述初始海面溢油检测网络的参数进行优化，以便网络输出的预测值与标签值之间的误差达到最小期望值，完成所述初始海面溢油检测网络的训练，得到海面溢油检测网络。将待检测溢油图像输入至所述海面溢油检测网络，输出所述待检测溢油图像的检测信息。

本发明所提供的方法，提供了一种像素级和多尺度特征自适应融合的检测架构，去除了锚的使用，减少了内存和锚相关的复杂计算，输出所述溢油图像中每个像素的类别信息和回归信息。

在网络架构中创新的引入了transformer模块，增加特征的全局信息，生成的transformed特征金字塔融合多尺度特征来获取多尺度上下文信息以建立像素间的联系，大大的提高了油膜检测的精度同时保持了实时检测，可以应用于海面溢油检测中去，成功地检测到油膜，从而可以及时对海面溢油做出响应。

参数类别信息为溢油或未溢油两种类别；

回归信息为一个四维的向量bb^*＝(l^*,t^*,r^*,b^*)，是每个像素(x,y)的回归目标；

全局信息为特征图中的每个像素与其余所有像素建立的关系，如相似性；

多尺度特征为主干网生成的不同尺度特征图，尺度大的特征一般语义信息较少，主要为纹理、边缘等信息，但空间位置信息比较丰富，尺度小的特征一般语义信息较多，主要为完整的特征信息，但空间位置信息较少；

多尺度上下文信息就是获取上述多尺度特征图的特征之间的联系(在此可以认为是像素之间的)。

将transformer的思想应用于特征图，使用自注意力机制建立像素之间的联系(计算每个像素之间的协方差来获取像素间的相似性)；

使用全卷积的方法获取图像数据的每个像素的预测信息来实现目标的分类和定位。频谱信息是为了增加特征的多样性，提升检测精度。

溢油区域和非溢油区域对比度比较弱，而溢油区域的频谱图是用于扩充训练数据集以增加特征的多样性，能够更准确的识别出油膜。

本发明第二方面，提供一种基于全卷积网络的海面溢油检测系统，包括：主干网，用于提取所述溢油图像的多尺度特征；

transformer模块，使用自注意力层代替卷积层，通过gateblock动态地改变特征的变换方式和特征融合方式，以实现更优的特征融合；

将所述多尺度特征通过transformer模块得到一个transformed特征金字塔；

特定检测任务的头部网络来获得最终的检测信息。

在一些实施方式中，所述主干网为resnet-50；所述多尺度特征信息为三层尺度分别为对800×1024像素的原始图像经过8倍，16倍和32倍的下采样分别得到100×128，50×64和25×32像素的特征信息。

在一些实施方式中，所述transformer模块包括single-scale变换、cross-scale变换和gateblock；

进一步优选地，所述头部网络分类分支和回归分支组成；所述回归分支与分类分支并行且参数共享；

进一步优选地，所述检测信息为所述溢油图像中的目标的类别和检测边界框的相关信息；

transformer模块主要用来建立像素之间的联系，获取图像的全局上下文信息，与全卷积方法获取的局部信息结合可以提高大小区域油膜的检测精度。

transformer模块中具体的操作为：gateblock为门函数，可以动态的选择single-scale变换或cross-scale变换，并进行多尺度特征之间的融合，得到最优的特征融合方式，以生成具有更丰富的多尺度特征和上下文信息以及空间位置信息的特征金字塔。最后对特征金字塔每层特征图的每个像素进行预测。预测就是通过分类分支和回归分支实现的，主要包含4个3×3的卷积层。

本发明提供的基于全卷积网络的海面溢油检测系统，主干网为resnet-50；transformer模块主要包含single-scale变换、cross-scale变换和gateblock；头部网络由并行的分类分支和回归分支组成；非极大值抑制主要用来去除多余的边界框，从而产生最终的检测边界框。其去除锚的设定和锚涉及的参数和复杂计算，可提升油膜的检测精度，同时保持实时检测，可以及时地发出警报。该方法具有结构简单、易于训练、计算量少、便于优化的特点。

进一步优选地，所述检测报告包含油膜的大小、溢油的严重程度及位置信息。

在一些实施方式中，所述系统还包括：

海面溢油图像获取模块、预处理模块、频谱获取模块、样本标签处理模块；

所述海面溢油图像获取模块用于获取海面溢油图像；

所述预处理模块目的是获取图像数据集，限制对比度自适应直方图均衡化、抑制噪音、高频和滤波；

所述频谱获取模块作用是将溢油图像输入至全卷积网络进行油膜区域和背景图的二分类分割，然后提取油膜区域的频谱图；

所述样本标签处理模块作用是对所述图像数据集进行标注得到所述图像数据集的标签信息。

本发明提供的基于全卷积网络的海面溢油检测方法及系统，具有结构简单、易于训练、计算量少、便于优化等特点。

本发明第三方面，提供一种基于全卷积网络的海面溢油检测方法和/或基于全卷积网络的海面溢油检测系统在海面溢油检测领域中的应用。

下面结合具体的实施例，对本发明做进一步的详细说明，应该指出，所述具体实施例是对本发明的解释而不是限定。

实施例1

如图1所示，公开了一种基于全卷积网络的海面溢油检测方法的方法流程图，具体操作如下：

1)首先获取海面溢油图像，对所述溢油图像实施预处理操作得到图像数据集。将所述溢油图像输入至全卷积网络进行油膜区域和背景图的二分类分割，然后提取所述油膜区域的频谱图。

2)将所述图像数据集标注后和所述油膜的频谱图合并作为训练样本集；对所述训练样本集进行标注得到所述训练样本集的标签信息；

将所述训练样本集的标签信息然后输入至预先构建的初始海面溢油检测网络中；

3)采用反向传播法对所述初始海面溢油检测网络的参数进行优化直至所述误差达到期望值，得到完成训练的海面溢油检测网络。

4)评定系统将所述检测信息与数据库特征值进行对比，判断海面是否有溢油，如果检测到油膜，则判定为溢油且发出警告，最后生成并保存检测报告。

5)将待检测图像输入至所述海面溢油检测网络，输出所述待检测图像的检测信息。

实施例2

如图2所示，为一种基于全卷积网络的海面溢油检测方法流程图：

步骤s01：在实验室模拟海面溢油现场并拍摄溢油图像作为数据训练集，对所述溢油图像进行预处理后分割得到油膜区域，经过二维傅里叶变换得到的频谱图和经过标注的图像一起作为训练样本集。

所述预处理操作主要包含：(1)限制对比度自适应直方图均衡化方法解决对比度不理想问题，同时抑制噪音的增强。(2)高频加强滤波方法对图像进行边缘锐化增强，并在一定程度上拉开图像的灰度分布。主要是使所述溢油图像更加清晰，增强海水和油膜的对比度以提高分割精度。

步骤s02：将所述训练样本集输入至预先构建的初始海面溢油检测网络中，提取多个特征信息和输出预测信息；

步骤s03：通过损失函数计算所述预测信息和所述数据集标签信息的误差。

所述误差主要包含所述溢油图像每个像素的分类误差之和、回归误差之和和计算量损失。

步骤s04：采用反向传播算法对所述初始海面溢油检测网络的参数进行优化，以便网络输出的预测值与标签值之间的误差达到最小期望值，完成所述初始海面溢油检测网络的训练，得到海面溢油检测网络。

步骤s05：将待检测溢油图像输入至所述海面溢油检测网络，输出所述待检测溢油图像的检测信息。

本实施例提供了一种基于全卷积网络的海面溢油检测方法，开发了一套像素级的检测网络架构，除去了锚的使用，减少了参数量和锚相关的复杂计算，在网络架构中创新的引入了transformer模块，用来增加特征的全局信息；使用transformed特征金字塔，解决尺度变化问题，同时获取多尺度上下文信息来建立像素间的联系。本发明能够对油膜进行较好的检测，且易部署实施。如图2所示，基于上述实施例，在本实施例中，将待检测溢油图像输入至海面溢油检测网络，输出所述待检测溢油图像的海面溢油检测信息。如图3所示，建立了自动识别及评定系统，根据所述海面溢油检测信息可判断溢油图像是否存在油膜，依据判断结果生成预警信号，并生成和存储检测报告。

实施例3

如图4所示，本实施例提供一种基于全卷积网络的海面溢油检测系统，为端到端的一阶段无锚检测网络，包括主干网、transformer模块、transformed特征金字塔、头部网络。

所述检测网络是基于全卷积的，用于预测图像中每个像素的类别信息和回归信息。

所述主干网采用resnet-50网络，用于提取并保存溢油图像的特征信息。

所述transformer模块主要包含single-scale变换、cross-scale变换和gateblock，增加特征的全局信息有利于大面积油膜的检测。；

所述transformed特征金字塔，解决尺度变化问题，同时获取多尺度上下文信息来建立像素间的联系，有利于小面积油膜的检测；

所述头部网络由并行的分类分支和回归分支组成。

实施例4

请参考图5，图5为本实施例提供的另一种基于全卷积网络的海面溢油检测方法流程图；具体操作步骤如下：

步骤s11：使用无人机采用的海面数据集对所述初始海面溢油检测网络进行训练及优化得到海面溢油检测网络，将其部署到自动识别和评定系统中；

步骤s12：将待检测溢油图像输入至预先完成训练的海面溢油检测网络，输出所述溢油图像的检测信息；

步骤s13：根据所述图像的检测信息，对海面现场是否有油膜做出判断结果；

步骤s14：根据所述判断结果，如果海面现场存在油膜，则判定海面现场施工人员存在溢油现象，根据无人机拍摄的位置获得油膜的位置；

步骤s15：根据所述油膜的位置生产预警信号发送给监控人员，并将检测信息转换成报告进行存储。

本实施例将基于全卷积网络的海面溢油检测方法应用于海面现场溢油检测系统中，利用所述海面溢油检测网络获取所述溢油图像的检测信息后，根据所述检测信息对海面溢油进行了判断及预警。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。