波长差异的闪烁减少的制作方法
【专利摘要】多个系统，包括用于获取和/或校正特别是由于大气失真和/或其他失真的图像的装置和方法。这些校正可以包括：采集对应同一场景在不同波长范围的图像的两组或多于两组的图像数据，并且利用波长与期望的失真之间的相关性来区分由于失真引起的视在图像运动与由于对象或场景移动引起的视在图像运动；以及其他操作。这些系统在任何适当的成像环境中都是有用的，这些成像环境包括导航、定位、搜索和救援、执法、商业摄像机和/或监控、等等。
【专利说明】波长差异的闪烁减少
[0001]相关申请的交叉引用
[0002]本申请基于在2011年2月10日提交的序列号为61/441，609的美国临时专利申请，并且根据美国法典第35条第§ 119(e)款要求其利益，出于全部目的将该申请通过引用全部并入本文。
[0003]引言
[0004]光学系统可能用于形成和/或记录物体和/或场景的图像。不幸的是，当光学系统基于已经通过介质的图像数据获取图像时，获得的图像一般将会被介质和被光学系统自身的部件扭曲。例如，使用望远镜或其他的远距离成像系统观察到的物体的图像可能被大气影响(如，闪烁、对流、湍流、散射和不同的大气折射率、以及其他的能够在传入的波前等部分中诱发空间和时间的干扰)扭曲和被仪器的机械的、温度的以及光学的限制(如，视场焦距之外的部分导致的路径长度误差、在受物镜孔径影响的空间频率的采集上的限制、物镜中未校正的相差、支撑设备所产生的镜面变形、等等)扭曲。这些失真发生在，例如，当地基望远镜(或其他成像仪器)获取地面上、天空中、或太空中的物体的图像时，以及当在航空器或卫星中的机载或太空望远镜(或其他成像仪器)获取地球大气内的比如地球表面上或近地球表面的物体的图像时。这也可能发生在成像系统和所要成像的物体被地球大气的一部分，主要是水平地分隔，或既水平分隔又垂直分隔的情况中。
[0005]大气失真的影响能显著限制图像分辨率。例如，在正直向上观测的高海拔的天文观测站，大气失真能将最佳的“观测条件”限制在大约一个微弧度。对于典型的用于摄像机和光电系统的低海拔和近地平线的可视场景，限制的分辨率变得迅速恶化。
[0006]已经开发了各种方法来减轻或消除图像失真的影响。这些方法通常依赖于获取所需的成像数据所在的波长范围内的正确信息。例如，可见图像数据被用于校正可见图像，而红外线图像数据被用于校正红外线图像。然而，使用多光谱图像的计算校正具有之前尚未被发现的优点。
[0007]当试图校正闪烁时，与已知图像校正技术相关的缺点可能特别明显。闪烁(或闪光)是从物体接收到的光(如，光的强度)的变化。闪烁一般在本质上是周期性的，具有典型的几秒钟的周期，且用于消除闪烁的许多现有技术依赖于在至少一个完整的周期上的整合运动积分动作(integrating motion)。因此,用于校正闪烁的现有算法通常在产生校正的图像时导致较大的时延。这些算法也具有不希望的模糊或涂抹移动物体的后果。对于任何安装在像航空器或地面交通工具一样的移动平台上的系统，或对于在系统中实时或接近实时地观察图像是重要的任何其他系统而言，这是不希望的。在这些情况中，需要消除、或至少减轻，包括闪烁在内的大气失真影响的有效而实用的装置。
[0008]概述
[0009]本发明(teaching)提供包括装置的系统和方法，所述装置和方法用于获取图像和/或校正图像，特别是校正从闪烁和/或其他扰动(turbulence)引起的失真的图像。这些校正包括:采集对应于相同场景在不同波长范围的图像的两组或多于两组的图像数据，且使用波长与预期的失真之间的相关性来区分由于失真引起的视在图像运动和由于物体或场景移动引起的视在图像运动；以及其他操作。这些系统在任何合适的成像环境中都是有用的，所述成像环境包括导航、定位、搜索和救援、执法，和/或监控，等等。
[0010]附图简述
[0011]图1是描述根据本发明的方面的图像校正系统的第一个示例性的实施方式的示意图。
[0012]图2是描述根据本发明的方面的校正图像的第一个示例性的方法的流程图。
[0013]图3是描述根据本发明的方面的图像校正系统的第二个示例性的实施方式的示意图。
[0014]图4是描述根据本发明的方面的校正图像的第二个示例性的方法的流程图。
[0015]图5是装配有根据本发明的方面的图像校正系统的示例性的支撑平台(S卩，直升机)的视图。
[0016]定义
[0017]用于本公开的技术术语具有被本领域的技术人员所通常理解的意义。然而，如下所述，下面的术语可能具有其他的意义。在这些意义中定义的波长范围是示例性的，而不是限制，且根据资源或背景，可能略有重叠。波长范围介于大约Inm与大约Imm之间，其包括紫外线、可见光和红外线辐射，并且该波长范围位于X射线辐射和微波辐射之内，可以共同被称为光辐射。
[0018]紫外线辐射。正常人的眼睛不可见的电磁辐射，具有的波长从仅比X射线辐射长的，大约IOOnm到仅比可见光谱中的紫色光短的,大约400nm。紫外线福射包括(A)UV-C(从大约IOOnm到大约280或290nm) ； (B) UV-B (从大约280或290nm到大约315或320nm)；以及(C) UV-A (从大约315或320nm到大约400nm)。
[0019]可见光。正常人的眼睛可见的电磁辐射，具有的波长从仅比紫外线辐射长的，大约360或400纳米到仅比红外线辐射短的，大约760到800纳米。可见光一般可以被人类肉眼成像和发现，且包括紫色(大约390-425nm)、靛蓝色(大约425_445nm)、蓝色(大约445-500nm)、绿色(大约 500_575nm)、黄色(大约 575_585nm)、橙色(大约 585_620nm)和红色(大约620-740nm)的光、等等。
[0020]红外线(IR)辐射。正常人的眼睛不可见的电磁辐射，具有的波长从仅比可见光谱中红光长的，大约700或800纳米到仅比微波辐射短的，大约I毫米。红外线辐射包括(A)IR-A (从大约 700nm 到大约 I, 400nm)； (B)IR-B (从大约 I, 400nm 到大约 3，OOOnm);以及(C)IR_C(从大约3，OOOnm到大约1mm)。IR辐射，特别是IR-C，可以由热量引起或生成，而且可以由物体以与其温度和发射率成比例地发射。具有在大约3，000和5，OOOnm之间(B卩，在大约3和5 μ m之间)和在大约7，000或8，000和14，OOOnm之间(SP，在大约7或8和14 μ m之间)的波长的部分红外线范围，可能特别有益于热成像，因为它们对应大气吸收中的最小量，而且这样更容易被探测到(特别是在远处的情况)。对相对较短的波长IR辐射的特殊兴趣导致下列分类:(A)近红外线(NIR)(从大约780nm到大约I, OOOnm (Iym)); (B)短波红外线(SWIR)(从大约1，OOOnm (I μ m)到大约3，OOOnm (3 μ m)) ; (C)中波红外线(MWIR)(从大约3，OOOnm (3 μ m)到大约8，OOOnm (8 μ m)、或大约3 μ m到5 μ m) ； (D)长波红外线(LffIR)(从大约 6，OOOnm (6 μ m)到大约 15，OOOnm (15 μ m)，或大约 8 μ m 到 12 μ m); (E)甚长波红外线(VLWIR)或远红外线(FIR)(从大约15，OOOnm (15 μ m)到大约1mm)。部分红外线范围，特别是具有在大约0.1和Imm之间的波长的远IR或热IR的部分，可以可选地或另外地，被称为毫米波(MMW)波长。
[0021]相机。单独使用或与输入光学器件组合使用的图像传感器，所述光学器件将入射辐射传送给传感器。相机可以根据探测到的波长波段进行描述，如果还有任何的输入光学器件，还由传感器的光谱灵敏度和光谱选择性的组合来确定。例如，每个相机可能是，主要或专门探测可见光的可见光相机、主要或专门探测紫外线辐射的紫外线相机、或者主要或专门探测红外线辐射的红外线相机。如果是红外线相机，那么该相机可能是主要或专门探测SWIR的短波红外线相机、主要或专门探测MWIR的中波红外线相机、主要或专门探测LWIR的长波红外线相机、或其组合(如，MWIR/LWIR相机)、等等。
[0022]详细描述
[0023]本发明关于包括装置的系统和方法，用于获取图像和/或校正图像，特别是校正由于扰动引起的波前错误和失真的图像。如本文所应用的，获取图像可以包括光学形成复件、副本、和/或物体或场景的其他的形式的复制品，尤其是采用反光镜(反射式光学器件)和/或透镜(折射光学器件)。复件、副本、和/或复制品，可能以模拟的或数字的格式轮流被探测到，尤其是采用模拟的(如，胶片)和/或数字的(如，电荷耦合器、焦平面阵列)记录机制。如本文应用的，校正图像可能包括通过分析在时间上分离的图像帧中和/或两个或更多波长范围中的图像数据来确定校正的信息；识别对应于移动物体的输入图像数据中的区域；且然后消除扰动引起的失真以生成校正的输出图像。根据本发明的图像校正一般将实时或大体上实时执行，虽然也可能利用本发明实施后续处理。
[0024]如下文更详细描述的，本发明可能包括应用单个的多光谱传感器或对不同波长范围中的辐射敏感的多个传感器。在多个传感器的情况中，第一个传感器可能对相对较短的波长(如可见光、等等)敏感，而第二个传感器可能对相对较长的波长(如红外线和/或毫米波波长、等等)敏感。另外，两个传感器可能对可见光谱的不同部分或红外线光谱的不同部分敏感。而且，本发明可能包括能够感应在两个或多个波长范围中的辐射的多光谱相机的使用。例如，适合与本发明一同使用的多光谱相机可能对红外线光谱的两个不同部分敏感(比如，中波红外线辐射和长波红外线辐射)，或者对部分或整个的可见光谱和/或红外线辐射光谱敏感。
[0025]各种传感器的组合也被本发明所考虑。例如，多光谱传感器可以被配置为捕获可见光谱的红色、绿色和蓝色部分中的可见光，而根据本发明，这个传感器可以被单独使用，或结合一个或多个被配置成捕获像SWIR、MWIR、或LWIR辐射的红外线光谱部分的传感器来使用。
[0026]无论使用了多少传感器，本发明考虑在两个或多于两个的波长范围中感知图像数据，并且比较视在运动(视在运动可能包括线性的或非线性的移动)和/或不同波长范围中的图像中的物体的一阶或顶端/倾斜(tip/tilt)相位失真。因为对应于像闪烁这样的失真的视在运动预计将依赖于波长，而对应于实际物体运动的视在运动预计将不依赖于波长，所以这就使得失真导致的视在运动被部分地或整个地识别且被从图像数据中消除，同时保留实际物体或场景移动。更具体的是，大气失真通常随着波长的增加而减弱。这使得相对于传感器的实际物体运动将被估计出并且从由大气影响引起的视在的对象的移动中分离出来。类似地，相位失真预计将以一种可以预测的方式依赖于波长。因此，可以生成实质上仅响应传感器视场内的实际物体和物体运动而生成校正的图像。
[0027]根据本发明，失真效应的波长依赖性可能结合所捕获的图像数据的任何组合或子组合被用于识别和消除失真。此外，所分析的失真效应可能包括各种效应，包括依赖于波长的平移失真、依赖于波长的旋转波前失真(如顶端/倾斜)和/或依赖于波长的相位失真。即使用于识别失真区域的失真效应在原始图像数据中其本身是不可见的，失真效应的任何组合仍然可以被用于解析和消除可见图像失真。如下是被本发明所考虑的技术的通用数学描述。
[0028]A.直接识别失真导致的移动
[0029]本发明考虑直接识别并消除闪烁导致的移动。在两个波长观察移动的情况中，用符号t表示真实的物体或场景的移动，用符号s表示名义上的(nominal)闪烁移动，且用符号m表示测量到的移动，在波长λ I和λ2测量到的移动可以通过方程描述:
[0030]
【权利要求】
1.一种图像校正方法，包括: 在一波长范围采集图像数据，所述波长范围包括至少第一波长和第二波长； 处理所述图像数据以根据在所述第一波长采集的图像数据确定第一图像特征映射和根据在所述第二波长采集的图像数据确定第二图像特征映射； 处理所述第一图像特征映射和所述第二图像特征映射以区分由依赖波长的失真引起的变化和由对象运动引起的变化； 通过从所采集的图像数据消除由依赖波长的失真引起的变化，生成第一组校正的图像数据；以及 根据所述第一组校正的图像数据，生成第一校正的图像。
2.如权利要求1所述的方法，其中所述图像特征映射是视在运动映射。
3.如权利要求1所述的方法，其中所述由依赖波长的失真引起的变化包括视在图像运动，并且其中生成第一组校正的图像数据的步骤包括从所采集的图像数据消除所述视在图像运动，而保留真实的物体运动。
4.如权利要求1所述的方法，其中所述图像特征映射是相位失真映射。
5.如权利要求1所述的方法，还包括: 通过从所采集的图像数据消除由依赖波长的失真引起的变化，生成第二组校正的图像数据；以及 根据所述第二组校正的图像数据，生成第二校正图像。
6.如权利要求1所述的方法，所述波长范围至少包括第三波长，所述方法还包括: 处理所述图像数据，以根据在所述第三波长采集的图像数据确定第三图像特征映射；以及 结合处理第一视在运动映射和所述第二视在运动映射，处理所述第三图像特征映射，以进一步区分由依赖波长的失真引起的变化与由对象运动引起的变化。
7.如权利要求1所述的方法，其中采集图像数据的步骤包括在对应不同图像帧的多个时间采集图像数据。
8.如权利要求7所述的方法，其中通过计算对应于在所述多个时间在所述第一波长上采集的图像数据的光流，确定所述第一图像特征映射，并且，其中通过计算对应在所述多个时间在所述第二波长上采集的图像数据的光流，确定所述第二图像特征映射。
9.如权利要求1所述的方法，其中所述第一波长属于中波红外线辐射(MWIR)光谱，而所述第二波长属于长波红外线辐射(LWIR)光谱。
10.如权利要求1所述的方法，其中处理所述第一图像特征映射和所述第二图像特征映射包括对在所述第一图像特征映射和所述第二图像特征映射中的差异和在所述第一波长和所述第二波长采集的图像数据之间所预计的失真差异进行比较。
11.如权利要求1所述的方法，还包括生成对应在所述第一波长采集的且归因于对象运动的图像数据的第一移动对象映射，其中生成所述第一组校正的图像数据的步骤包括比较所述第一移动对象映射与所述第一图像特征映射。
12.如权利要求11所述的方法，还包括: 生成对应在所述第二波长采集的且归因于对象运动的图像数据的第二移动对象映射； 通过比较所述第二移动对象映射与所述第二图像特征映射，生成第二组校正的图像数据；以及 根据所述第二组校正的图像数据，生成第二校正图像。
13.如权利要求1所述的方法，其中所述图像特征映射是相位失真映射，并且，其中处理所述第一图像特征映射和所述第二图像特征映射的步骤包括处理第一相位失真映射和第二相位失真映射，以通过估计在对应在每个波长子集中采集的图像数据的广义光瞳函数中的一阶泽尼克多项式，区分由顶端/倾斜失真引起的视在图像运动与由对象运动引起的视在图像运动。
14.如权利要求1所述的方法，还包括提供至少一个图像采集设备和处理器，其中采集图像数据的步骤是使用所述至少一个图像采集设备实施的，并且，其中处理步骤是使用所述处理器实施的。
15.—种图像校正系统,包括: 图像采集装置，其被配置成采集第一波长范围中的第一组图像数据和第二波长范围中的第二组图像数据；以及 处理器，其被配置为实施第一处理器功能、第二处理器功能和第三处理器功能； 其中所述第一处理器功能包含根据所述第一组图像数据确定第一图像特征映射，以及根据所述第二组图像数据确定第二图像特征映射； 其中所述第二处理器功能包含 分析所述第一图像特征映射和所述第二图像特征映射以识别所采集的由共同路径失真引起的图像数据；以及 其中所述第三处理器功能包含通过从所述第一组图像数据消除共同路径失真，生成第一组校正的图像数据，以及根据所述第一组校正的图像数据生成第一校正的图像信号。
16.如权利要求15所述的系统，其中由所述第一处理器功能确定的所述图像特征映射是视在图像运动映射，所述视在图像运动映射包含关于在所采集的图像数据内的视在的帧到帧的运动的信息。
17.如权利要求15所述的系统，其中由所述第一处理器功能确定的图像特征映射是相位失真映射，所述相位失真映射包含关于包括在所采集的图像数据中的顶端/倾斜失真的相位失真的信息。
18.如权利要求15所述的系统，其中所述第三处理器功能还被配置成通过从所述第二组图像数据消除共同路径失真，生成第二组校正的图像数据，以及根据所述第二组校正的图像数据生成第二校正的图像信号。
19.如权利要求15所述的系统，其中所述第二处理器功能被配置成识别是波长的确定性函数的至少一个图像特征。
20.如权利要求15所述的系统，还包括被配置成展示由所述处理器输出的图像数据的显示器。
【文档编号】G06K9/40GK103460223SQ201280017594
【公开日】2013年12月18日 申请日期:2012年2月10日 优先权日:2011年2月10日
【发明者】辛西娅·I·阿彻 申请人:前视红外系统公司