用于检测水面上的外来流体的广域实时方法与流程

相关申请的引用

本申请要求在2014年9月2日递交的序列号为62/044,682、名称为“polarimetryforthedetectionofoilonwater”的美国临时专利申请的优先权，该美国临时专利申请通过引用完全并入在本文中。

政府许可权利

本发明在由美国海军授予的合同号w31p4q-09-c-0644下获得政府支持而得以进行。政府在本发明中具有特定权利。

背景技术：
和

技术实现要素：

如在本文中所使用，长波红外被称为“lwir”或“热红外”。如在本文中所使用，中波红外被称为“mwir”。如在本文中所使用，短波红外被称为“swir”。如在本文中所使用，红外被称为“ir”。如在本文中所使用，红外指的是红外频谱的这些子集中的一者、组合或全部。

本文中公开了一种使用红外成像偏振测定来检测水面上的外来流体的方法。所描述的方法未被束缚于任何一种具体的偏振计传感器架构，因此所描述的方法适合于能够检测关键的偏振测定标志的所有红外传感器。所描述的方法未被束缚于红外频谱的任何一个具体部分或子集，因此所描述的方法适合于在lwir、mwir或swir中的一者或多者下操作的所有传感器。该方法包括在受控条件下对水上外来流体的建模或对水上外来流体的测量以理解偏振响应。如此做以便选择最佳角度，在该最佳角度上，检测将为最有效的。然后将偏振计安装在平台上使得传感器在可接受的角度范围内指向表面。然后使用偏振计记录区域的原始图像数据以获得该区域的偏振图像。然后根据由传感器的架构所需的过程，针对不均匀性、光学失真和登记修正图像。计算ir数据结果和偏振数据结果，以及将产生的数据结果转换为多维数据集以供利用。将对比度增强算法应用于多维图像以形成增强的图像。然后可以将增强的图像显示给用户和/或信号器可以通告外来流体在水面上的存在。

附图说明

本专利或申请文件包含按颜色执行的至少一个附图。在提出请求并支付所需费用之后，专利局将提供本专利或专利申请公布的带有彩图的副本。

图1为示出根据本发明的示例性实施方式的系统的图。

图2示出来自现有技术系统的反射辐射和发射辐射的示例性横截面，其中，ir照相机测量油和水之间的ir对比度。

图3为来自本发明的一个实施方式的示例性横截面的反射辐射和发射辐射的表示，其中，偏振计测量油和水之间的ir对比度和偏振对比度。

图4示出根据入射角的水的偏振信号的依赖性的模型。

图5示出优化外来流体的检测的偏振计的示例性定位。

图6示出安装在陆地上的塔楼上的云台单元上的偏振计的示例性安装。

图7示出用于检测水面上的外来流体的方法的框图。

图8示出根据本发明的实施方式的包括偏振计和信号处理单元的示例性偏振计系统。

图9为示出按照根据本发明的方法的图像处理逻辑的示例性架构和功能的流程图。

图10a为水上外来流体在夜间的热像。

图10b为图10a的水上外来流体在夜间的偏振图像，其示出了偏振图像的流体检测的示例性改进。

图11a为水上外来流体在夜间的示例性热像。

图11b为图11a的外来流体也在夜间的示例性偏振图像。

图11c为图11a的水上外来流体在夜间的示例性热像，其中偏振计处于比图11a的图像更浅的角度。

图11d为图11c的外来流体也在夜间的示例性偏振图像，其中偏振计处于与图11c的图像中的热感照相机一样浅的角度。

图12a为水上外来流体的热像。

图12b为图12a的水上外来流体的偏振图像。

图12c为图12a的水上外来流体的色彩融合图像。

图13a为加利福尼亚州的圣巴巴拉市的海岸在2015年的夏季泄漏的油的热像，其示出了在水面上的油。

图13b为图13a的泄漏的可见图像。

图13c为同一泄漏的偏振图像，其示出了清晰可见的油。

图13d为同一泄漏的色彩融合图像，其示出了以红色突出的油。

具体实施方式

图1示出根据本发明的示例性实施方式的偏振计系统100。该系统100包括偏振计1001和信号处理单元1002，该偏振计1001和信号处理单元1002收集和分析水面101的图像，用于检测和通告外来流体102在水面上的存在。图1中所示的示例性外来流体102为来自天然渗流的石油、来自石油钻探或处理设施的泄漏物、或者来自船舶或来自故意向船外倾倒的容器的泄漏物。如在本文中所使用，术语“油”或“外来流体”可以指期望被检测到的任何液体。

偏振计系统100包括用于记录偏振图像的偏振计1001，诸如收集图像的数码相机或ir成像器。偏振计1001可以被安装在塔楼或平台(未示出)上，使得该偏振计1001以与垂直于水面101的法向120形成的角度θ103，且以从视野的总体中心到偏振计1001的水平范围“r”104，以及由从水面101到偏振计1001的竖直距离所限定的高度“h”105，来观看水面101。通过偏振计成像的区域用视野106来描绘。

偏振计1001将原始图像数据发送到信号处理单元1002，该信号处理单元1002处理数据，如在本文中进一步讨论。然后借助显示器108将处理的数据显示给操作者(未示出)。可替选地，在信号器109上通告检测，如在本文中进一步讨论。尽管图1将偏振计1001和信号处理单元1002示出为组合单元，但是在某些实施方式中，偏振计1001和信号处理单元1002为分开的单元。例如，偏振计1001可以远程地被安装在平台或塔楼(未示出)上，且信号处理单元1002可以被放置成靠近操作者。类似地，可以将显示器108或者信号器109与系统100封装在一起或与信号处理单元1002封装在一起或与所有其它组件分离且彼此分离。

在所示的实施方式中，偏振计1001通过网络或通信信道107将原始图像数据(未示出)发送到信号处理单元1002，并且处理的数据被发送到显示器108和信号器109。信号处理单元1002可以为在本领域中已知的或未来开发的任何合适的计算机。信号处理单元1002接收原始图像数据、过滤该数据、并分析该数据，如在本文中进一步讨论，以提供增强的图像以及检测和通告。网络107可以为在本领域中已知的或未来开发的任何类型的一个或多个网络，诸如简单的通信电缆、因特网主干网、以太网、wifi、wimax、无线通信、电力线宽带、同轴电缆等。网络107可以为硬件、软件或二者的任何组合。另外，网络107可以存在于封装偏振计101和信号处理单元107二者的传感器(未示出)中。

在所示的实施方式中，信号处理单元通过网络或通信信道107将处理的图像数据(未示出)发送到显示器和信号器，并且处理的数据被发送到显示器108和信号器109。

图2示出来自现有技术系统的反射辐射和发射辐射的示例性横截面，其中，ir照相机(未示出，不具有偏振能力)测量油和水之间的ir对比度(即辐射差)。在本实施方式中，外来流体102正漂浮在水面101上。从水面101入射在观看该场景的红外照相机上的辐射感测“总计”辐射200，该“总计”辐射200为从水面101发射的辐射201和从表面101反射的来自背景202的反射辐射203的总和。同样对于外来流体102，“总计”辐射210为从外来流体102发射的辐射211和从外来流体102反射的来自背景212的反射辐射213的总和。

发射辐射201取决于水101的温度以及水的光学常数，光学常数也被称为折射率。反射辐射分量203取决于背景202的温度以及水的光学常数。因此，总计辐射200取决于背景温度、水温和水光学常数。

发射辐射211取决于外来流体102的温度以及外来流体102的光学常数。反射辐射分量213取决于背景212的温度以及外来流体102的光学常数。因此，总计辐射210取决于外来流体102的温度、外来流体的光学常数、以及背景212的温度。

为了使用ir照相机检测外来流体，总计辐射200和总计辐射210必须不同以形成辐射对比度。存在背景、外来流体、水温值和外来流体光学常数的变化的多种可能组合，从而总计辐射200和总计辐射210存在非常小的差异，导致低对比度以及难以检测外来流体。

图3为来自本发明的一个实施方式的示例性横截面的反射辐射和发射辐射的表示，其中，偏振计(未示出)测量油和水之间的辐射对比度和偏振对比度。在本实施方式中，外来流体102正漂浮在水面101上。来自水面101的总计辐射300为发射辐射301和从表面101反射的来自背景302的反射辐射303的总和。如相关领域中的技术人员所知，发射辐射301由两个偏振分量组成：“垂直”偏振分量306和“平行”偏振分量307。这些偏振分量306和307的差异形成用于热发射辐射301的净偏振。

同样地，反射分量303由两个偏振分量组成：“垂直”偏振分量304和“平行”偏振分量305，这源自于背景辐射302的反射。这些偏振分量304和305的差异形成用于热发射辐射303的净偏振。来自水的总偏振信号为来自发射辐射301和反射辐射303的偏振信号的组合。净偏振信号被称为线性偏振度或“dolp”。

类似地，来自外来流体表面102的总计辐射310为发射辐射311和从表面102反射的来自背景312的辐射313的总和。发射辐射311由两个偏振分量组成：“垂直”偏振分量316和“平行”偏振分量317。这些偏振分量316和317的差异形成用于热发射辐射311的净偏振。同样地，反射分量313由两个偏振分量组成：“垂直”偏振分量314和“平行”偏振分量315，这源自于背景辐射312的反射。这些偏振分量313和314的差异形成用于热发射辐射313的净偏振信号。来自外来流体的总偏振信号为311和313的偏振的组合。外来流体的检测发生在外来流体的偏振对比度不同于水的偏振对比度时。

图4示出作为入射角103(图1)的函数的水的偏振信号的依赖性的模型，且示出对于反射辐射的垂直偏振分量304和平行偏振分量305以及对于发射偏振的垂直偏振分量306和平行偏振分量307。dolp源自于垂直偏振分量和平行偏振分量的差异。对于反射辐射的反射dolp401随着角度增大而增大，直到在大约62°的角度处达到大约53％的最大值。对于发射辐射的发射dolp402根据入射角103单调减小。

重要的是注意，这些曲线的形状和性质取决于材料的光学常数，因此这些曲线对于被检测的外来流体来说是显著不同的。水和外来流体之间的dolp的差别被本发明利用。用于检测水上油的较高对比度差通过检查用于偏振性能(为角度的函数)的这些曲线来获得。在本发明的一个实施方式中，基于利用油获得的实验数据的最佳角度为与法线成70°和88°之间(角度θ103)或者2°和20°之间的仰角(从水平线测量)。图7为实现利用这些概念的最佳检测的方法步骤的框图。

图5示出优化检测的偏振计1001的示例性定位，其中该偏振计1001被定位在角度θ1和θ2之间。使用来自图4的最佳范围作为示例，θ1可以为70°且θ2可以为88°，以及偏振计放在该范围内。对于传感器被安装在塔楼(未示出)上的本发明的一个实施方式，这些角度可以通过选择合适的范围r104(图1)和高度h105(图1)来实现。

图6示出安装在陆地上的塔楼111上的云台单元110上的偏振计的示例性安装。在另一示例性实施方式中，塔楼111为柱或杆。在另一示例性实施方式中，塔楼111为平台或眺望待监控的水面的结构上的其它安装点。在其它实施方式中，塔楼、柱、杆、平台或安装点可以被放在船舶、漂浮平台、固定的码头或平台、浮标等之上。在另一示例性实施方式中，传感器系统100和云台单元110被放在有人或无人飞行器上。在一些实施方式中，传感器系统还是便携的且可以为手持的。

图7示出用于在最佳条件下检测水面101(图1)上的外来流体102(图1)的方法7000的框图。在步骤7001中，以本文中关于图3和图4所讨论的方式，通过分析感兴趣的流体的发射辐射和反射辐射来预测外来流体的偏振响应。可替选地，可以经验地或在受控环境(诸如可以改变角度的实验室)中实验式地执行感兴趣的流体的测量。

在方法7000的步骤7002中，使用步骤7001的结果来确定用于良好性能的角度θ1和θ2(图5)的范围，如在本文中关于图4和图5所讨论。在步骤7003中，使用步骤7002的结果来确定对于可用安装项的最佳安装位置、范围r104(图1)和高度h105(图1)，以及安装偏振计1001(图1)。

在步骤7004中，利用偏振计1001收集图像，如本文中所描述。在步骤7005中，将对比度增强算法应用于图像以辅助通过操作者或通过自主检测算法对外来流体的检测。在步骤7006中，显示对比度增强的图像和/或通告外来流体的检测。

图8示出根据本发明的实施方式的包括偏振计1001和信号处理单元1002的示例性偏振计系统100。该偏振计1001包括成像物镜1201、滤波器阵列1203和焦平面阵列1202。成像物镜1201包括指向水面101和外来流体表面102(图1)的透镜。滤波器阵列1203对从成像物镜1201接收的图像进行滤波。焦平面阵列1202包括光传感像素的阵列。

信号处理单元1002包括图像处理逻辑1302和系统数据1303。在示例性信号处理单元1002中，图像处理逻辑1302和系统数据1303被示出成存储在存储器1306中。图像处理逻辑1302和系统数据1303可以用硬件、软件、或硬件和软件的组合来实现。

信号处理单元1002还包括处理器1301，该处理器1301包括数字处理器或配置成通过处理图像处理逻辑1302来运行该图像处理逻辑1302的其它类型的电路(如果适用的话)。处理器1301借助本地接口1304与信号处理单元1002内的其它元件通信以及驱动上述其它元件，该本地接口1304可以包括一个或多个总线。当存储在存储器1306中时，图像处理逻辑1302和系统数据1303可以被存储且被输送在任何计算机可读介质上，该计算机可读介质被如下项使用或与如下项连接：逻辑电路，处理器，指令执行系统、指令执行装置或指令执行设备(诸如基于计算机的系统、包含处理器的系统)，或可从该指令执行系统、指令执行装置或指令执行设备获取指令且执行这些指令的其它系统。在本文的上下文中，“计算机可读介质”可以为可包含、存储、传送、传播或输送程序以被指令执行系统、指令执行装置或指令执行设备使用或与指令执行系统、指令执行装置或指令执行设备连接的任何部件。计算机可读介质可以例如但不限于电子介质、磁介质、光学介质、电磁介质、红外介质、或半导体系统、半导体装置、半导体设备或传播介质。注意，计算机可读介质甚至可以为纸张或在其上打印程序的其它合适介质，因为可以借助例如对纸张或其它介质的光学扫描而以电子方式获取该程序，然后若需要则以合适的方式编译、解释或在其它方面处理该程序，以及然后将该程序存储在计算机存储器中。

图示的示例性系统数据1303包括：

a.从方法900的步骤9001(图9)获得的来自偏振计1001(图1)的原始图像数据(未画出)。

b.修正的图像数据(未画出)，其为已按照方法900的步骤9002(图8)而修正不均匀性、光学失真和登记的数据。

c.从方法900的步骤9003(图3)获得的ir图像和偏振图像。

d.在方法900的步骤9004(图9)中应用的将偏振数据和辐射数据转换为多维图像数据。

e.在方法900的步骤9005(图9)中应用于图像数据的对比度增强算法。

f.在方法900的步骤9006(图9)中应用于显示器108和信号器109的图像数据。

g.如在本文中所描述的辐射图像数据。

h.如在本文中所描述的混合的辐射/偏振图像。

图像处理逻辑1302执行本文中关于图9所描述的过程。

参照图8，外部接口设备1305连接到显示器108和信号器109以及与显示器108和信号器109通信。外部接口设备1305还可以与输入设备通信或包括输入设备，该输入设备例如为键盘、开关、鼠标、触摸屏、和/或可用于由系统100的用户输入数据的其它类型的接口。外部接口设备1305还可以或替选地与如下项通信或包括如下项：个人数字助理(pda)、计算机平板设备、笔记本电脑、便携式或非便携式计算机、蜂窝或移动电话等。外部接口设备1305还可以或替选地与如下项通信或包括如下项：非个人计算机(例如服务器)、嵌入式计算机、现场可编程门阵列(fpga)、微处理器等。

在图8的示例性实施方式中，外部接口设备1305被显示成信号处理单元1002的一部分。在其它实施方式中，外部接口设备1305可以在信号处理单元1002的外部。

显示设备108可以包括tv，lcd屏，监控器，或传达来源于方法900的图像数据或附接到个人数字助理(pda)、计算机平板设备、笔记本电脑、便携式或非便携式计算机、蜂窝或移动电话等的任何电子设备。信号器设备109可以包括警告蜂鸣器、铃、闪光灯、或警告操作者检测到外来流体的任何其它听觉或视觉或触觉部件。

在一些实施方式中，可以基于检测到的外来流体102(图1)采取自主行动。例如，清除响应可以被自动启动。在采取自动行动的一些情况下，可以不需要信号器109。

在其它实施方式中，全球定位系统(“gps”)设备(未示出)可以与外部接口设备1305连接以提供检测到的外来流体102的位置。

在图示的实施方式中，显示器108和信号器109被示出为分离的，但是可以将信号器109与显示器108组合，以及在其它实施方式中，通告可以作为图像数据显示的一部分采用突出的框或区域、彩色区域的形式或者用于突出对象的其它手段。例如参看图12中的红色区域，该红色区域提供检测到的外来流体102的视觉指示。

图9为示出根据方法900的图像处理逻辑1302(图8)的示例性架构和功能的流程图。在方法1000的步骤9001中，偏振计1001捕获水101和外来流体102(图1)的图像并将原始图像数据发送到信号处理单元1002(图1)。

在步骤9002中，信号处理单元1002(图1)修正从偏振计1001接收的图像的成像器不均匀性。成像器不均匀性的示例包括图像中固定的图案线、噪声像素、坏像素、亮点等。可以使用在本领域中已知的算法来修正成像器不均匀性。在一些实施方式中，不执行步骤9002，这是因为成像器不均匀性无需修正。

另外在步骤9002中，信号处理单元1002从图像数据中去除图像失真。图像失真的示例为由成像物镜系统引起的在图像边缘处的扭曲。可以使用在本领域中已知的算法来修正图像失真。使用在本领域中已知的方法，在步骤9002中还可以执行登记修正。

在步骤9003中，计算ir数据结果和偏振数据结果。在该步骤中，利用在步骤9002中获得的偏振图像的加权减法来计算斯托克斯参数(s0、s1、s2)。ir成像偏振计测量辐射图像和偏振图像二者。辐射图像为标准图像，由此该图像中的每个像素为从场景的该相应像素区所反射或发射的辐射的测量值，通常以瓦特/cm2-sr来表达。标准照片和ir图像为辐射图像，仅仅为从场景所发射或反射的辐射分布的绘制。偏振图像为偏振状态分布在图像上的绘制。偏振状态分布通常依据斯托克斯图像来表达。

在斯托克斯参数中，s0表示不带有偏振信息的传统ir图像。s1和s2显示正交的偏振测定信息。因此，由g.g.stokes在1852年首次引入的斯托克斯矢量可用于描述部分偏振的光且被定义为

其中，i0为在与水平面成0度角的方向上线性偏振的辐射，i90为在与水平面成90度角的方向上线性偏振的辐射。类似地，i45和i135为相对于水平面成45°角和135°角的线性偏振光的辐射值。最后，ir和il为用于右圆偏振光和左圆偏振光的辐射值。对于本发明，右圆偏振光和左圆偏振光不是必需的，且成像偏振计无需测量这些偏振状态。出于该原因，我们考虑的斯托克斯矢量将受限于仅表达线性偏振光的前三个元素。

而且在步骤9003中，从斯托克斯图像计算线性偏振度(dolp)图像。dolp图像可用于提供对于水面上的外来流体的对比度且可以如下来计算：

在步骤9004中，将ir数据结果和偏振数据结果以及在步骤9003中计算的dolp转换为多维数据集以供利用。注意，dolp为线性偏振。如本领域的技术人员将知道的，在一些情形下，可能期望非线性的偏振(例如圆偏振)。因此在其它实施方式中，步骤9004可以使用从s0、s1、s2、或s3的任一组合导出的偏振图像且不限于dolp。

dolp图像为一种用于观看图像中的偏振对比度的可用图像。用于观看偏振内容的另一替选图像为通过将辐射、dolp和取向图像绘制到色表而生成的“色彩融合”图像。“色彩融合”为在步骤9004中可产生的多维表示的一个实施方式。本领域的技术人员可以想到类似绘制。针对一个示例，当辐射值低时，可以强化dolp信息。

本领域的技术人员进行偏振数据到用于色彩的色度-饱和度-值表示的如下绘制：

s0＝值

dolp＝饱和度

取向φ＝色度

这种表示能够在单个图像中显示所有的光学信息(辐射和偏振)以及提供示出场景的辐射测量的和偏振对比度增强的理解的手段。在偏振对比度强的许多情况下，这种表示为偏振的表面或对象提供场景环境。本领域的技术人员可以想象做这一点的其它方式。

由于基础的光学辐射取决于发射，因此对于偏振成像，不需要附加的光源、照明、或环境光。另外，该方法在夜间也如同其在白天同样很好地工作。

在步骤9005中，将在本领域中已知的对比度增强算法应用于来自步骤9004的多维图像。多维数据开发偏振数据以显著增强场景中的信息内容。非限制性示例包括全局平均、方差、和更高等级的矩分析、主成分分析、或线性判决分析、作为整体的多维数据的统计计算以及然后基于与作为整体的图像进行卷积且然后被场景的全局统计量归一化的核的本地值的计算。

在步骤9006中，将检测到的油的对比度增强的图像显示给操作者。然后通过视觉或听觉部件向用户通告检测到的油。非限制性示例包括将操作者的注意力引到显示器的铃、蜂鸣器或灯，或者在显示器上的指示，诸如在外来流体的区域中的与众不同的颜色或框。

在其它实施方式中，步骤9003、步骤9004、步骤9005和步骤9006组合使用，这省略一个或多个步骤。在其它实施方式中，偏振图像数据或多维(例如色彩融合)数据可以被人查看用于流体检测，且不应用算法。

利用从ir成像偏振计提取的图像特征的组合的算法可以用于检测外来流体。一旦检测到潜在的值得注意的特征，则可以自动地向操作者突显这些特征以及可以通过某种通告机构(蜂鸣器或灯)给出警告。

图10a和图10b分别为水上外来流体(例如油)在夜间的热像和偏振图像，其示出了偏振图像的流体检测的示例性改进。图像上的值示出了在水面101上和在外来流体102的区域中的各个位置处的用于热像的辐射测定量和用于偏振图像的偏振量。对于热像，流体和水之间的对比度非常轻微。对于偏振图像，该对比度明显更好。

图11a为在水101上的外来流体102在夜间的示例性热像。如在图11a中可见，外来流体102在热像中几乎不可检测到。

图11b为图11a的外来流体102也在夜间的示例性偏振图像。重要地，利用本文中所公开的方法，不使用外部光源。使用本文中所公开的方法来产生图11b的偏振图像。在偏振图像中，外来流体102很容易可检测。图11b的偏振图像示出了在图11a的热像上的显著改进。在图11a和图11b中，热感照相机和偏振计分别被定位为与水面101成斜角。

图11c为图11a的在水101上的外来流体102在夜间的示例性热像，其中偏振计处于比图11a的图像更浅的角度。以粗略15度拍摄图11a和图11b的图像，以及以粗略5度拍摄图11c和图11d的图像。如在图11c中可见，外来流体102在热像中实际上不可检测到。

图11d为图11c的外来流体102也在夜间的示例性偏振图像，其中偏振计处于与图11c的图像中的热感照相机一样浅的角度。在偏振图像中，外来流体102很容易可检测到。在图11d的偏振图像中，外来流体102仍很容易被检测到。在图11a和图11b中，热感照相机和偏振计分别被定位为与水面101成斜角。

图12a、图12b和图12c分别为在水101上的外来流体102的热像、偏振图像和色彩融合图像。图12a的热像示出了非常小的对比度，图12b的偏振图像示出了强对比度，以及图12c的色彩融合图像以红色突出了外来流体的检测。

图13a为加利福尼亚州的圣巴巴拉市的海岸在2015年的夏季泄漏的油的热像，其示出了在水面101上的油102。图13b为图13a的泄漏的可见图像。图13c为同一泄漏的偏振图像，其示出了清晰可见的油102。图13d为同一泄漏的色彩融合图像，其示出了以红色突出的油102。