溢油检测系统以及方法

本申请涉及海洋溢油检测领域，尤其涉及一种溢油检测系统以及方法。

背景技术：

当今社会，石油仍然是非常重要的资源。随着陆地资源的日趋匮乏和人类对能源需求的迅速增长，海洋石油工业和海上石油运输业正蓬勃发展。海上溢油就是石油在海上开采或者运输过程中不同程度的流失，主要包括在海上石油的勘探、开发过程中导致的油井原油泄漏，在近岸输油管线或者油船装卸货发生的泄露，船舶因碰撞、倾覆、搁浅等事故导致的原油泄露，甚至是自然灾害导致的石油外溢等。这些事故都不同程度上污染了海洋生态环境，同时也造成了大量的经济损失。为了减少溢油事故的发生，需要加强对海上溢油的监测和检测。

技术实现要素：

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种溢油检测系统，以实现对海上溢油的监测和检测，可以提高溢油检测精度、应用效果和使用价值。

本申请的第二个目的在于提出一种溢油检测方法。

为达上述目的，本申请第一方面实施例提出了一种溢油检测系统，包括：无人机和地面控制端，其中，

所述无人机包括红外装置、sar(syntheticapertureradar，合成孔径雷达)装置、高光谱装置和处理单元；其中，

所述红外装置，用于采集待测溢油的红外光谱信息和所述的待测溢油的第一gps信息，并将所述红外光谱信息和第一gps信息进行融合以得到红外光谱融合图像，并将所述红外光谱融合图像发送给所述处理单元；

所述sar装置，用于采集针对所述待测溢油的sar图像和对应的第二gps信息，并将所述sar图像和对应的第二gps信息进行融合以得到sar融合图像，并将所述sar融合图像发送给所述处理单元；

所述高光谱装置，用于对海面进行高光谱数据和gps信息的采集，并将采集到的高光谱数据进行成像，以得到海面监测区域图像，并将所述海面监测区域图像和采集到的gps信息进行融合以得到海面监测区域融合图像，并将所述海面监测区域融合图像发送给所述处理单元；

所述处理单元，用于基于所述红外装置发送的红外光谱融合图像、所述sar装置发送的sar融合图像、所述高光谱装置发送的海面监测区域融合图像，将同一场景下的不同特性的三路数据进行数据融合，以获得融合图像，并将所述融合图像发送给所述地面控制端；

所述地面控制端，用于对实时接收到的融合图像进行分析，以得到溢油种类，溢油量及油膜厚度。

为达上述目的，本申请第二方面实施例提出了一种溢油检测方法，包括：

获取红外装置发送的红外光谱融合图像；其中，所述红外光谱融合图像包括待测溢油的红外光谱信息和对应的第一gps信息；

获取sar装置发送的sar融合图像；其中，所述sar融合图像包括所述待测溢油的sar图像和对应的第二gps信息；

获取高光谱装置发送的海面监测区域融合图像；其中，所述海面监测区域融合图像包括海面监测区域图像和gps信息；

基于所述红外装置发送的红外光谱融合图像、所述sar装置发送的sar融合图像、所述高光谱装置发送的海面监测区域融合图像，将同一场景下的不同特性的三路数据进行数据融合，以获得融合图像；

将所述融合图像发送给地面控制端，以使所述地面控制端对实时接收到的融合图像进行分析，以得到溢油种类，溢油量及油膜厚度。

根据本申请实施例的溢油检测系统以及方法，通过同时在无人机上加载红外装置，sar装置，高光谱装置，三个属于信息采集系统，无人机飞行一次将获得的同一场景下的不同特性的三路数据，并传输至无人机的处理单元。处理单元将获得的数据进行数据融合，并通过无人机与地面控制端之间的通信连接，传输检测图像。地面控制端对实时接收到的融合图像进行分析，以分析出溢油种类，溢油量及油膜厚度。由此，本申请通过多传感器采集溢油图像数据，将多种不同特性的图像数据结合起来,相互取长补短便可以发挥各自的优势,更全面的反映目标特性,提供更强的信息解译能力和可靠的分析结果。扩大了各图像数据源的应用范围,而且提高了溢油检测精度、应用效果和使用价值。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例所提供的一种溢油检测系统的结构框图；

图2是根据本申请实施例的高光谱装置的结构框图；

图3是根据本申请实施例的溢油检测系统的示例图；

图4为本申请实施例提供的一种溢油检测方法的流程图；

图5为本申请实施例提供的溢油检测系统的数据融合过程示意图；

图6为本申请实施例提供的通过计算与不同特征对应的通道注意力权重及空间注意力权重获得融合特征的示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的溢油检测系统以及方法。

图1为本申请实施例所提供的一种溢油检测系统的结构框图。如图1所示，该溢油检测系统10可以包括：无人机100和地面控制端200。其中，如图1所示，该无人机100可包括：红外装置110、合成孔径雷达sar装置120、高光谱装置130和处理单元140。

其中，红外装置110用于采集待测溢油的红外光谱信息和待测溢油的第一gps信息，并将红外光谱信息和第一gps信息进行融合以得到红外光谱融合图像，并将红外光谱融合图像发送给处理单元140。

在本申请一些实施例中，红外装置110还可用于从待测溢油的红外光谱信息中选取吸收强度最强的多个不同的主吸收峰位，作为判定待测溢油种类的特征吸收峰，基于多个不同的主吸收峰位从预先建立的光谱信息样本库中获取待测溢油的所属油种。

sar装置120用于采集针对待测溢油的sar图像和对应的第二gps信息，并将sar图像和对应的第二gps信息进行融合以得到sar融合图像，并将sar融合图像发送给处理单元140。

其中，在本申请实施例中，sar装置120对采集到的sar图像依次进行均值滤波处理和最大熵阈值处理，以从sar图像中分割出暗海区域和溢油暗斑区域，并利用形态学去除sar图像之中的暗斑区域，将去除暗斑区域后的sar图像和gps信息进行融合，以得到sar融合图像，并将sar融合图像发送给处理单元140。

高光谱装置130用于对海面进行高光谱数据和gps信息的采集，并将采集到的高光谱数据进行成像，以得到海面监测区域图像，并将海面监测区域图像和采集到的gps信息进行融合以得到海面监测区域融合图像，并将海面监测区域融合图像发送给处理单元140。

作为一种示例，如图2所示，高光谱装置130可包括：高光谱成像仪131、gps辅助惯导132和数据处理模块133。其中，高光谱成像仪131用于对海面进行高光谱数据的采集；gps辅助惯导132用于记录无人机的飞行姿态和飞行经纬度位置信息，并将记录的飞行姿态和位置信息与高光谱成像仪采集的高光谱数据同步传输给数据处理模块133；数据处理模块133用于对高光谱成像仪传输的数据进行光谱定标、辐射校正，得到辐射校正后的海面监测图像，并根据获取的同步飞行经纬度位置信息和飞行姿态参数对海面监测图像进行几何校正，获得几何校正后的海面监测图像，对几何校正后的连续多帧高光谱图像数据进行拼接得到大面积的预处理后的海面监测区域图像。

在本申请实施例中，高光谱成像仪131可采用傅里叶红外光谱仪。

处理单元140用于基于红外装置110发送的红外光谱融合图像、sar装置120发送的sar融合图像、高光谱装置130发送的海面监测区域融合图像，将同一场景下的不同特性的三路数据进行数据融合，以获得融合图像，并将获得的融合图像发送给地面控制端200。

可选地，在本申请实施例中，处理单元140可采用注意力融合方法来实现将同一场景下的不同特性的三路数据进行数据融合以获得融合图像。其中，该注意力融合方法使用的是对称编码器-解码器。其中，如图5所示，处理单元140的编码器对红外光谱融合图像、sar融合图像、海面监测区域融合图像这三个图像提取中间特征和补偿特征，这些特征分别由三个卷积层从输入图像生成。同时引入注意力机制，将源自中间特征的两个注意力图与中间特征相乘以进行融合。通过逐元素选择获得的显著补偿特征将传递到相应的反卷积层进行处理。最后，对融合的中间特征和补偿特征进行解码以重建融合图像。

作为一种示例，处理单元140基于红外装置110发送的红外光谱融合图像、sar装置120发送的sar融合图像、高光谱装置130发送的海面监测区域融合图像，将同一场景下的不同特性的三路数据进行数据融合，以获得融合图像的具体实现过程可如下：

1)提取红外光谱融合图像中的红外特征和第一补偿特征；

2)提取sar融合图像中的sar特征和第二补偿特征；

3)提取海面监测区域融合图像中的高光谱特征和第三补偿特征；

4)确定与红外特征对应的第一通道注意力权重、与sar特征对应的第二通道注意力权重、与高光谱特征对应的第三通道注意力权重；

在本申请实施例中，处理单元140可通过以下公式获得通道注意力权重：

其中，xi表示中间特征，i∈{1,2，3}，x1表示红外特征，x2表示sar特征，x3表示高光谱特征，n表示中间特征xi中对应的信道索引，p()表示全局池化算子，α1表示第一通道注意力权重，α2表示第二通道注意力权重，α3表示第三通道注意力权重。

例如，如图6所示，通过全局池化算子计算初始加权矢量选择使用softmax运算符(如上公式1)获得最终的通道注意力权重αi。

5)根据红外特征、第一通道注意力权重、sar特征、第二通道注意力权重、高光谱特征和第三通道注意力权重，生成通道注意力特征；

在本申请实施例中，可将红外特征、第一通道注意力权重、sar特征、第二通道注意力权重、高光谱特征和第三通道注意力权重进行加权求和，得到通道注意力特征y1。

6)确定与红外特征对应的第一空间注意力权重、与sar特征对应的第二空间注意力权重、与高光谱特征对应的第三空间注意力权重；

在本申请实施例中，处理单元140可通过以下公式获得空间注意力权重：

其中，||||1表示l1-范数，(x,y)表示中间特征xi和空间注意力权重βi中的对应位置，每个位置表示中间特征中的c维向量，xi(x,y)表示具有c个维度的向量。也就是说，空间注意力权重βi可由l1-范数和soft-max算子根据中间特征xi计算而得到。

7)根据红外特征、第一空间注意力权重、sar特征、第二空间注意力权重、高光谱特征和第三空间注意力权重，生成空间注意力特征；

在本申请实施例中，可将红外特征、第一空间注意力权重、sar特征、第二空间注意力权重、高光谱特征和第三空间注意力权重进行加权求和，得到空间注意力特征y2。

8)对通道注意力特征、空间注意力特征、第一补偿特征、第二补偿特征和第三补偿特征进行解码以重建融合图像。

在本申请实施例中，可将通道注意力特征y1与空间注意力特征y2进行求和，得到融合特征y，并将融合特征y和第一补偿特征、第二补偿特征和第三补偿特征进行求和，将得到的特征进行解码以重建所述融合图像。

地面控制端200用于对实时接收到的融合图像进行分析，以得到溢油种类，溢油量及油膜厚度。

需要说明的是，为了能够实现无人机将同一场景下的不同特性的三路数据进行数据融合，可在无人机上设置有gps天线与辅助惯导。这样，在红外装置、sar装置以及高光谱装置将自身采集的图像发送给处理单元的同时，也携带着将gps信息发送给处理单元，这样，处理单元基于每路采集装置发送的gps信息，将同一场景下的不同特性的三路采集装置发送的采集数据进行数据融合。为了方便本领域技术人员更加清楚地了解本申请，下面将结合图3进行详细描述。

如图3所示，无人机可包括：红外装置、sar装置、高光谱装置以及数据存储与处理单元；该无人机还可包括控制器。其中，红外装置包括数据采集模块，数据存储与初处理模块，数据输出模块。其中，数据采集模块，用于采集不同种类的溢油的红外光谱信息；通过采集系统标定来自不同种类的溢油的光谱信息；由于主特征红外光谱吸收峰位不同，建立不同种类溢油的光谱信息样本库；采集待测溢油的红外光谱信息，对比所建立的光谱信息样本库，鉴别输出待测溢油的油种；所述待测溢油选取吸收强度最强的7个不同的主吸收峰位，作为判定待测溢油种类的特征吸收峰。同时数据输出模块与无人机处理单元相连，将采集到的红外数据初步处理后与gps信息传输至无人机处理单元备用。其中，红外热像仪主要技术指标如下：工作波长：3～5μm；传感器分辨率：640×512；视场：双视场。

在本示例中，高光谱装置包括：高光谱成像仪，gps辅助惯导，数据存储处理模块，数据输出模块。其中，高光谱成像仪采用傅里叶红外光谱仪，采集高光谱数据并成像；gps辅助惯导通过rs232串口与模块中数据采集控制设备相连接，将记录飞机的飞行姿态和位置信息，并且与光谱数据同步传输给数据处理模块，用于后续的光谱图像数据处理；数据处理模块，首先进行光谱定标、辐射校正，得到辐射校正后的海面监测图像，然后根据获取的同步飞行经纬度位置信息和飞行姿态参数对图像进行几何校正，获得几何校正后的海面监测图像，对几何校正后的连续多帧高光谱图像数据进行拼接得到大面积的预处理后的海面监测区域图像。其中，高光谱成像仪主要技术指标如下：波长范围：470～900nm；通道宽度：5-10nm；通道数：160；探测器规格：sicmos；数字分辨率：10bit/8bit；高光谱成像速度：30cubes/s；cube分辨率：2048*1088像素；地面分辨率：9cm*180m。

sar装置包括：sar数据采集模块，数据处理模块，gps辅助惯导，图像输出模块。其中，sar数据采集模块采集到sar图像，输入到数据处理模块。其中，首先进行一次均值滤波处理，再进行一次最大熵阈值处理，分割出暗海和一部分溢油暗斑，并利用形态学去除暗斑；然后将携带gps信息与处理好的sar图像传输至无人机的处理单元。其中，sar成像雷达主要技术指标如下：成像距离：≥15km；信号带宽：10mhz～300mhz连续可调；成像幅宽：4km(条带)，10km(扫描)，2km×2km(聚束)；成像分辨率：2m×2m(条带)，5m×5m(扫描)，1m×1m(聚束)。

数据存储与处理单元主要完成图像融合部分，融合之前对三个模块的图像配准，本申请所采用的是基于sift特征点的图像配准。采用特征层的图像融合，因为进行了信息压缩，可以实现机载处理。本申请采用的是注意力融合方法的对称编码器-解码器融合图像，例如，编码器对三个装置发送的图像提取中间特征和补偿特征，这些特征分别由三个卷积层从输入图像生成。同时引入注意力机制，将源自中间特征的两个注意力图与中间特征相乘以进行融合。通过逐元素选择获得的显着补偿特征将传递到相应的反卷积层进行处理。最后，对融合的中间特征和所选补偿特征进行解码以重建融合图像。

可选地，在本申请实施例中，在地面控制端接收到无人机的控制器发送的融合图像时，地面控制端可将实时接收到的图像通过显示器进行显示，以便地面人员通过显示器可以直观地了解到海面溢油的情况画面。

综上所述，本申请针对sar溢油探测虚警率高和单一传感器无法获取全范围油膜厚度信息的问题，开展了无人机机载高光谱、sar与热红外集成系统溢油观测实验；获取并分析油膜、类油膜、清洁海面的高光谱、热红外、sar特征差异，构建区分油膜、类油膜与清洁海面的敏感特征组合，发展基于无人机高光谱、热红外和sar的低虚警率油膜联合检测模型；获取并分析不同厚度油膜在可见近红外高光谱反射率、热红外辐射亮温、图像纹理等方面的差异，提取与油膜厚度相关的特征波段和光谱特征，分别构建基于高光谱数据的较薄油膜厚度反演方法和基于热红外数据的较厚油膜厚度反演方法，实现油膜厚度提取。

为了实现上述实施例，本申请还提出一种溢油检测方法。

图4为本申请实施例提供的一种溢油检测方法的流程图。如图4所示，该溢油检测方法包括如下步骤。

在步骤401中，获取红外装置发送的红外光谱融合图像。

其中，红外光谱融合图像包括待测溢油的红外光谱信息和对应的第一gps信息。在本申请实施例中，红外装置还可从待测溢油的红外光谱信息中选取吸收强度最强的多个不同的主吸收峰位，作为判定待测溢油种类的特征吸收峰，基于多个不同的主吸收峰位从预先建立的光谱信息样本库中获取待测溢油的所属油种。

在步骤402中，获取sar装置发送的sar融合图像。

其中，在本申请实施例中，sar融合图像包括待测溢油的sar图像和对应的第二gps信息。

在步骤403中，获取高光谱装置发送的海面监测区域融合图像。

其中，在本申请实施例中，海面监测区域融合图像包括海面监测区域图像和gps信息。

在步骤404中，基于红外装置发送的红外光谱融合图像、sar装置发送的sar融合图像、高光谱装置发送的海面监测区域融合图像，将同一场景下的不同特性的三路数据进行数据融合，以获得融合图像。

在本申请实施例中，可提取红外光谱融合图像中的红外特征和第一补偿特征；提取sar融合图像中的sar特征和第二补偿特征；提取海面监测区域融合图像中的高光谱特征和第三补偿特征；确定与红外特征对应的第一通道注意力权重、与sar特征对应的第二通道注意力权重、与高光谱特征对应的第三通道注意力权重；根据红外特征、第一通道注意力权重、sar特征、第二通道注意力权重、高光谱特征和第三通道注意力权重，生成通道注意力特征；确定与红外特征对应的第一空间注意力权重、与sar特征对应的第二空间注意力权重、与高光谱特征对应的第三空间注意力权重；根据红外特征、第一空间注意力权重、sar特征、第二空间注意力权重、高光谱特征和第三空间注意力权重，生成空间注意力特征；对通道注意力特征、空间注意力特征、第一补偿特征、第二补偿特征和第三补偿特征进行解码以重建融合图像。

作为一种示例，可通过以下公式获得通道注意力权重：

其中，xi表示中间特征，i∈{1,2，3}，x1表示红外特征，x2表示sar特征，x3表示高光谱特征，n表示中间特征xi中对应的信道索引，p()表示全局池化算子，α1表示第一通道注意力权重，α2表示第二通道注意力权重，α3表示第三通道注意力权重。

在本实施例中，可通过以下公式获得空间注意力权重：

其中，||||1表示l1-范数，(x,y)表示中间特征xi和空间注意力权重βi中的对应位置，每个位置表示中间特征中的c维向量，xi(x,y)表示具有c个维度的向量。

在步骤405中，将获得的融合图像发送给地面控制端，以使地面控制端对实时接收到的融合图像进行分析，以得到溢油种类，溢油量及油膜厚度。

需要说明的是，前述对溢油检测系统实施例的解释说明也适用于该实施例的溢油检测方法，此处不再赘述。

根据本申请实施例的溢油检测方法，通过同时在无人机上加载红外装置，sar装置，高光谱装置，三个属于信息采集系统，无人机飞行一次将获得的同一场景下的不同特性的三路数据，并传输至无人机的处理单元。处理单元将获得的数据进行数据融合，并通过无人机与地面控制端之间的通信连接，传输检测图像。地面控制端对实时接收到的融合图像进行分析，以分析出溢油种类，溢油量及油膜厚度。由此，本申请通过多传感器采集溢油图像数据，将多种不同特性的图像数据结合起来,相互取长补短便可以发挥各自的优势,更全面的反映目标特性,提供更强的信息解译能力和可靠的分析结果。扩大了各图像数据源的应用范围,而且提高了溢油检测精度、应用效果和使用价值。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。