用于图像的摄影测量处理的方法和系统与流程

本发明涉及例如在航空成像中的图像捕获领域。更具体地，本发明涉及用于获得多光谱图像的感测系统、对应的成像系统和使用它们的方法。

背景

高光谱成像是光谱成像的一种形式，其中来自跨电磁频谱的信息被收集在许多窄光谱带中并被处理。被成像的对象的信息可从收集到的不同光谱图像中被导出。例如，由于某些对象在图像中留下甚至可能取决于对象的状态的独特的光谱特征，所以通过多光谱成像所获得的信息可提供关于被成像区域中的对象的存在和/或状态的信息。在选择将被成像的光谱范围之后，由于该完整的光谱范围中的光谱图像可被获取，所以不需要具有对象的具体的先验知识，并且后处理可允许获得所有可用信息。

虽然最初的高光谱遥感主要被用于采矿和地质学，但是其他应用(诸如生态、农业和监控之类)也利用成像技术。

使用摄影测量技术从获取到的二维图像推断三维信息尤其是高程信息是共知的。在Alsadik,B.S.、Gerke,M.以及Vosselman,G.于2012年发表的“针对文化遗产的3D建模的最佳的相机网络设计”(Alsadik,B.S.,Gerke,M.,&Vosselman,G.(2012),“Optimal Camera Network Design For 3D Modeling Of Cultural Heritage”,ISPRS Annals of the Photogrammetry,Remote Sensing and Spatial Information Sciences,I-3,7–12.)中公开了这样的技术的示例。

已知其中高光谱遥感被使用的一些农业和生态应用，举例而言，用于监测农作物的发育和健康、葡萄品种检测、监测各个森林冠层、植物化学成分的检测以及疾病爆发的早期检测、监测污染和其他环境因素的影响等是一些感兴趣的农业应用。高光谱成像也被用于内陆和沿海水域的研究以检测生物物理属性。在矿物学中，有价值的矿物(诸如金或钻石)的检测可使用高光谱感测来执行，而且还设想了检测来自管道和天然井的油气泄漏。地球上或甚至在其他行星、小行星或彗星处的土壤组成的检测也是高光谱成像的可能应用。例如，在监控中，高光谱成像可被执行以用于生物的检测。

以本申请人的名义的国际专利申请公开WO 2011/073430 Al公开了一种用于获得相对于感测设备相对移动的感兴趣区域的几何参照式多光谱图像数据的感测设备。该感测设备包括第一二维传感器元件以及光谱滤光器。光谱滤光器和第一传感器元件被布置成使用第一传感器元件的一部分来获得在第一波长或波长范围的光谱信息，并且使用第一传感器元件的另一部分来获得在第二波长或波长范围的光谱信息。作为这种布置的结果，用第一传感器获取的单个图像的不同部分将表示在如不同相应波长的辐照中所见的成像场景。

至今，不存在令人满意的方式来将上述摄影测量技术应用于多光谱图像(诸如借助于WO 2011/073430 A1的第一传感器获取到的那些)。

技术实现要素：

根据本发明的一个方面，提供了一种用于执行对图像序列中成像的对象的摄影测量3D重构的方法，该图像包含表示各个不同波长的成像辐照的不同区域，该方法包括：从图像序列中选择多个子集，该多个子集中的每一个包含多个图像，其中每个图像表示与相同子集中的至少一个其他图像的视场重叠的视场；通过对子集中的相应子集中的图像执行摄影测量3D重构来生成一组中间3D模型；以及将中间3D模型从一组3D模型重组为经组合的3D模型。

本发明的优点在于，并不基于紧接连续的图像(对于该图像，视差将会太小以致无法提供足够的精度)，而是基于充分间隔开的同时仍部分重叠的图像的子集来执行摄影测量3D重构。本发明的另一个优点在于，全光谱信息通过最终步骤中的中间模型的重组被保持。

在根据本发明的方法的实施例中，子集是互不相交的，并且子集的并集与图像序列一致。

该实施例提供了在使用所有可用的获取到的信息之时图像序列的计算效率最高的使用。

在根据本发明的方法的实施例中，借助于包括传感器元件和光谱滤光器的高光谱传感器来获取图像序列，该光谱滤光器和第一传感器元件被布置成用于使用传感器元件的一部分来获得第一波长或波长范围的光谱信息，并且使用传感器元件的另一部分来获得第二波长或波长范围的光谱信息。

这是可被用在本发明中的获得高光谱图像的尤其有效的方式。

在根据本发明的方法的实施例中，通过飞行器机载的传感器来获取图像序列。

航拍提供了获得地球表面的大面积的图像的有利方式。

根据本发明的一个方面，提供了一种包括被配置成使处理器执行如上所描述的方法的代码手段的计算机程序产品。

根据本发明的一个方面，提供了一种用于执行对图像序列中成像的对象的摄影测量3D重构的系统，该图像包含表示各个不同波长的成像辐照的不同区域，该系统包括处理器，该处理器被配置成：从图像序列中选择多个子集，该多个子集中的每一个包含多个图像，其中每个图像表示与相同子集中的至少一个其他图像的视场重叠的视场；通过对子集中的相应子集中的图像执行摄影测量3D重构来生成一组中间3D模型；以及将来自该组3D模型的中间3D模型重组为经组合的3D模型。

在一个实施例中，根据本发明的系统还包括用于获取图像序列的传感器。

根据本发明的计算机程序和系统的实施例的技术效果和优点对应于根据本发明的方法的相应实施例的技术效果和优点(仅需加以必要的修改)。

附图简述

本发明的实施例的这些以及其他技术方面和优点现在将参考附图更具体地描述，其中：

－图1示意性地例示了被用来获取地球图像的示例性飞行器所采用的飞行路径以及由这样的飞行器上的传感器获取到的连续图像的边界；

－图2提供了通过图1的示意图中的两次连续采集而成像的区域的透视图；

－图3示意性地表示图1和图2的传感器对于连续成像位置的视角；

－图4提供了通过多光谱传感器尤其是高光谱传感器的连续采集而成像的区域的透视图；

－图5示意性地表示图4的传感器对于连续成像位置的视角；

－图6示意性地例示了本发明的原理；以及

－图7提供了表示根据本发明的方法的实施例的流程图。实施例的描述

如本说明书中所使用的“3D重构”是捕获真实对象的形状(和外观)的过程。

如本说明书中所使用的“摄影测量3D重构”，也称为“根据运动建构(structure from motion)”或“基于图像的建模”，是使用成像来捕获真实对象的形状(和外观)的过程。对象的摄影测量3D重构要求从不同视角获取到的该对象的最少2个图像；在许多实际情况下，当相机校准不够精确时，将要求3个图像。与一个地面位置(对象点)相对应的图像序列中的像素的坐标被用来同时导出(光束法平差)：地面点(对象点)的内部图像定向参数、外部图像定向参数以及3D坐标。3D重构结果的精度(除了别的之外)取决于图像网络(例如前向和侧向重叠)。

图1示意性地例示出被示为二维示意图(平面图)的被用来获取地球图像的示例性飞行器所采用的飞行路径以及由这样的飞行器上的传感器获取到的连续图像的边界；这样获取到的图像序列在下文中还将被称为“图像网络”。传感器可以在视觉范围(例如，RGB传感器)内或在另一特定光谱区域(例如近红外、短波红外等)内有效。

由于获取到的图像是二维的，所以需要多个图像以允许所成像地形的三维重构。具体而言，各个特征的三维重构要求这些特征呈现在从不同角度拍摄的若干图像中，这意味着由传感器获取到的后续图像必须显示足够的重叠。如图1所例示的，在给定飞行方向上拍摄的连续图像之间的重叠量的典型值为大约60％。在相邻的相应地形带的第一遍和第二遍期间获取到的图像之间的侧向重叠(其中该第一遍和第二遍通常对应于不同的飞行方向)大约为20－30％。

图2提供了通过图1的示意图中的两次连续采集而成像的区域的透视图，该透视图尤其指示了所成像区域之间的重叠区域。

图3示意性地表示图1和图2的传感器对于连续成像位置的视角，并且例示了从传感器到任何给定地面对象的观察射线如何从一个图像(图像_i)显著地变化到下一个图像(图像_i+1)。视角的这种差异允许特征的3D特性，具体而言是其高程的摄影测量重构。

图4提供了通过多光谱传感器尤其是高光谱传感器的连续采集而成像的区域的透视图。在本申请人的国际专利申请公开WO 2011/073430A1中公开了高光谱传感器的示例，其中该高光谱传感器被描述为与第二(可见范围)传感器协同操作的“第一传感器”。虽然将参考WO 2011/073430A1的“第一传感器”以便阐明本发明，但是必须理解到本发明不限于此。

对这种高光谱传感器来说典型的是感测元件的不同部分对不同波长敏感。该效应可通过提供具有过滤层的感测元件来获得，该过滤层具有在感测元件的表面上变化的波长响应。因此，由这种高光谱传感器拍摄的每个图像实际上是马赛克，其中图像的不同部分表示如在不同相应波长带的辐照中所见的地形的对应部分。为了获得在一个特定波长带的辐照中所见的任何给定区域的图像，大量的这种马赛克的相关部分必须被拼接在一起。显然，这些高光谱传感器要求紧密间隔的图像(这取决于传感器移动的速度，可能要求非常高的帧速率)，以确保在光谱的所有相关频带中的全空间覆盖。

图5示意性地表示图4的传感器对于连续成像位置的视角，并且例示了从传感器到任何给定地面对象的观察射线如何从一个图像(图像_i)显著地变化到下一个图像(图像_i+1)。作为这些高光谱传感器的高帧速率的结果，地面特征的3D特性的摄影测量重构所需要的视角的差异变得非常小。这会对用这种图像能够实现的(在垂直位置估计、外部图像定向、内部图像定向等方面的)精确度产生负面影响。此外，用于处理小视差图像集的方法从计算的角度来看往往要求很高，以致于在实践中对于大数据集是不可行的。

本发明尤其基于发明人的创造性洞察，上述精度损失可通过充分选择要在其上执行3D重构的图像来克服。本发明还基于发明人的洞察，与单色或RGB图像系列不同，不可能简单地丢弃对准确的3D构造没有贡献的中间图像。

图6示意性地例示了本发明的原理，其借助图7中的流程图被进一步表示。

图6示意性地例示了对用高光谱传感器(参见图4)获取到的图像网络的图像子集的选择。每个子集中的元素具有足够的彼此重叠以允许摄影测量3D重构，同时被充分地间隔开以获得与特定对象相关的观察射线的足够大的角度差，使得高精度3D重构成为可能。

可以容易地看出，满足这些标准的多个不同子集可被选择。然而，任何给定的非琐细的子集将不具有整个成像区域的完整高光谱信息，并且相反地，给定子集将不提供对于任何给定波长带的全空间覆盖。

因此，图像网络被优选地划分成一组子集，每个子集满足上述重叠以及3D重构精度的标准，并且子集的并集与原始图像网络一致。

根据本发明，从不同子集获得的各个3D重构随后被重新组合成一个图像集。该重组步骤可由技术人员使用市售软件(诸如来自Agisoft LLC的“Photoscan”产品)执行。

图7提供了表示根据本发明的方法的示例性实施例的流程图。该方法执行对图像序列中所成像对象的摄影测量3D重构，该图像序列包含表示各个不同波长的成像辐照的不同区域。首先，这些图像通常用如上所描述的高光谱传感器来采集(710)。传感器可被机载在飞行器上。该方法包括从图像序列选择多个子集(720)，该多个子集中的每一个包含多个图像，其中每个图像表示与相同子集中的至少一个其他图像的视场重叠的视场。接着，一组中间3D模型通过对子集中的相应子集中的图像执行摄影测量3D重构来生成(730)。然后，将这些中间3D模型从该组3D模型重组为经组合的3D模型(740)。

对于多光谱或高光谱图像，3D重构可以以与对于单波长带图像相同的方式(例如，通过检测相同特征在不同图像中出现的位置偏移和相关视角差异)进行。

由于多光谱和高光谱图像的性质，呈现在多个图像中的共同特征实际上将在不同图像中有区别地出现，原因是共同特征被感测元件的不同部分捕获进而在不同波长的辐照中被看到。假设在感测元件的表面上的波长灵敏度峰值的单调变化，波长(在该波长中给定特征在两个不同图像上被看到)之间的差异可能随着图像相距更远地被获取而增加。由于本发明用(在图像被获取的空间和时间顺序方面)彼此相隔若干步骤的图像来执行3D重构，因此可以预期这些图像的光谱外观从一个图像到下一个图像而言可能非常不同。

意想不到的是，本发明的发明人已经发现，不管子集中的不同图像之间的任何给定特征的光谱内容的差异，在3D重建处理中所使用的图像匹配例程都适用于利用实际的高光谱传感器所获取的图像。

然而，发明人已经发现，图像匹配例程的性能可通过提供任选的初步重新归一化步骤来进一步得到提高。该初步重新归一化步骤在本发明的实施例中被应用；参考图7，其可例如在步骤710与步骤720之间发生。该初步重新归一化步骤可包括在相同布置的区域中划分集合中的图像；对于每个区域，计算跨所述图像集的预定特性；并且对于每个图像，根据所述区域的预定特性来重新归一化每个区域中的亮度值。对于所述区域，可计算亮度值的一个或多个代表性特性。区域上的平均亮度值是一个这样的特性。另一个有用的特性是亮度值的标准偏差，其给出了将被测量的对比度的指示。更一般地，亮度值的分布可在更大的特性集合中被计算并表示。每个面积的所获得的特性集合可被用作归一化系数。在使用特性应用归一化之后，这些特性的值在所得图像中的不同区域上变得均匀。

确定归一化系数的过程通过在足够大的图像集上进行平均来执行，以便平均化图像内容的效果。

之后，可使用所建立的系数在相同的图像上或者在用相同仪器以类似方式获得的其他图像上执行归一化。该过程简化了工作方式，因为不必为每个新的图像集计算新的系数。

基于预处理的实施例尤其基于发明人的洞察，即在表示不同波长带中的物理特征的同一采集系列的不同光谱图像之间，给定物理特征的亮度差存在两个分量：(1)该物理特征可在不同波长带中具有不同的反射率，以及(2)传感器可在不同波长带中具有不同的灵敏度。第二因素可通过相对于代表每个相应部分的平均值对图像的各个部分进行重新归一化来得到补偿。虽然不可能补偿第一因素，但是发明人惊奇地发现，在单独补偿第二因素之后，配准算法的效率已极大地改善。该效应被认为是由于真实世界的物理对象通常随大部分感兴趣的频谱上的波长而展现出缓慢变化的反射率的事实。

预定的特性可以是平均亮度，并且重新归一化可包括相对于平均亮度值来重新归一化每个区域中的亮度值。

这些区域可对应于各个像素。该实施例的优点在于，传感器在每个像素的基础上被有效地校准，使得各个像素－滤光器组合的灵敏度的变化可被纳入考虑，而不管这种变化的来源(包括制造公差或滤光器中的杂质)。这导致伪像的最大抑制。通过将光学系统添加到像素－滤光器组合，完整的成像系统被获得。可选择来包括由光学系统造成的灵敏度变化以校正那些灵敏度变化或者排除它们，使得系统对不同的光学系统保持通用。

替代地，这些区域可对应于有区别的波长带。该实施例的优点在于，可对每个像素块执行重归一化，其中块通常表示传感器的矩形带或者多个矩形区域的组合。

在一个方面，本发明还涉及一种处理系统，其中如在前述方面的实施例中描述的方法以基于软件的方式实现。这样的处理系统可包括耦合到存储器子系统的至少一个可编程处理器，该存储器子系统包括至少一种形式的存储器，例如RAM、ROM等。应当注意，处理器或多个处理器可以是通用或专用处理器，并且可包含在设备中，例如具有执行其他功能的其他组件的芯片。因此，本发明实施例的一个或多个方面可实现在数字电子电路中，或计算机硬件、固件、软件中，或它们的组合中。处理系统可包括具有至少一个磁盘驱动器和/或CD-ROM驱动器和/或DVD驱动器的存储子系统。在一些实现中，可包括显示系统、键盘和定点设备作为用户接口子系统的一部分以便向用户提供手动输入信息。也可以包括用于输入和输出数据的端口。可包括更多元件，诸如网络连接、到各个设备的接口等。处理系统的各种元件可以以包括经由总线子系统的各种方式被耦合。存储器子系统的存储器可在某一时间保存当在处理系统上被执行时实现本文所描述的方法实施例的步骤的一组指令的一部分或全部。

本发明还包括当在计算设备上被执行时提供根据本发明的任何方法的功能的计算机程序产品。这样的计算机程序产品可有形地实施在承载用于由可编程处理器执行的机器可读代码的载体介质中。本发明因此涉及载有计算机程序产品的载体介质，当在计算装置上执行时其提供用于执行如前所述的任何方法的指令。术语“载体介质”是指参与向执行的处理器提供指令的任何介质。这样的介质可采取许多形式，包括但不限于非易失性介质和传输介质。非易失性介质包括诸如作为大容量存储的一部分的存储设备，例如光盘或磁盘。计算机可读介质的常见形式包括CD-ROM、DVD、柔性盘或软盘、磁带、存储器芯片或卡带、或计算机可从中作读取的任何其他介质形式。各种形式的计算机可读介质可涉及将一个或多个指令的一个或多个序列携载至处理器以供执行。计算机程序产品也可经由诸如LAN、WAN或因特网之类的网络中的载波传输。传输介质也可以采用声波或光波的形式，例如那些在无线电波和红外数据通信期间生成的波。传输介质包括同轴电缆、铜导线和光纤，包括含计算机内部总线的各类导线。

尽管已经在附图和前面的描述中具体地解说和描述了本发明，但是此类解说和描述被认为是解说性的或者示例性的而非限制性的。本发明不限于所公开的实施例。本领域技术人员在实践所要求保护的发明时，可以理解和实现所公开的实施例的其他变型。前面的描述具体说明了本发明的某些实施例。然而，应当理解，无论前述内容在文本中出现得多么具体，本发明可以以许多方式实践，并因此不限于所公开的实施例。应当注意的是，在描述本发明的某些特征或方面时，特定术语的使用不应当用来暗示术语在本文中被重定义以受限于包括与所述术语相关联的本发明的特征或方面的任何特定特性。

虽然上文已参考特定实施例对本发明进行了描述，但是这是为了阐明而非限制本发明。技术人员将理解，在不脱离本发明的范围的情况下，所公开的特征的各种修改和不同的组合是可能的。