表观运动中的对象的动态超光谱成像的制作方法

本专利申请要求于2017年12月27日提交的名称为“dynamichyper-spectralimagingofobjectsinapparentmotion(表观运动中的对象的动态超光谱成像)”的共同未决的美国专利申请序列号15/855,832的权益，该专利申请要求于2016年12月27日提交的名称为“dynamichyper-spectralimagingofobjectsinapparentmotion(表观运动中的对象的动态超光谱成像)”的美国临时专利申请序列号62/439,388的权益和优先权。这两个申请(15/855,832和62/439,388)在此通过援引以其全文并入本文。

背景技术：

多光谱成像允许成像系统从电磁光谱中捕获图像信息。许多此类系统通过拍摄连续图像并在每一个连续图像之间将各种滤波器定位在源与成像传感器之间来进行操作。通常，这些成像系统大且重、计算密集、复杂、依赖于移动部件、在拍摄连续图像时相对较慢、或存在所有上述情况。

当观察的场景处于表观运动时(诸如当成像设备在移动平台上时)，多光谱成像所需的过程和装备变得甚至更加复杂。当试图捕获表观运动中的场景的多光谱图像时，成像系统的复杂性和连续图像之间的固有延迟产生了附加的考虑。

最后，当从移动平台拍摄场景的超光谱图像时，上述问题变得更加严重。能够拍摄此类图像的系统通常需要复杂的机械组件并且大且重，这尤其会对基于卫星的系统产生附加的复杂性。随着卫星尺寸的减小，由于卫星的可用功率和体积有限，所提及的困难变得更加严重。

附图说明

参考附图阐述具体实施方式。在附图中，附图标记的(多个)最左边数字标识附图标记首次出现的附图。在不同的附图中使用相同的参考标号标识类似或相同的项目。

图1a-1d示出了各种多光谱成像技术。

图2示出了光学滤波器相对于成像传感器的位置定向的透视图。

图3示出了感兴趣区域的选择和拼接。

图4示出了传感器在捕获场景的顺序图像时相对于场景的表观运动。

图5是示出捕获超光谱图像的过程的框图。

图6示出了通过顺序图像的通过多光谱光学滤波器的不同部分捕获的场景的点。

图7是示例成像系统的框图。

具体实施方式

概述

实施例包括成像系统，诸如基于航空或卫星的成像系统，该成像系统具有成像传感器、多光谱或超光谱光学滤波器，并且在处理单元(例如，处理器或其他逻辑电路)中采用各种计算算法以通过形成多维数据立方体来捕获和处理表观运动中的场景的图像。

实施例确定区域成像设备(aid)(例如，一种类型的图像捕获设备)在表观运动方向上的跟踪速度。基于光学滤波器、跟踪速度和/或期望输出来确定采样距离以产生其中空间坐标的n元组产生具有x、y和λ值的像素的多维数据立方体，其中x和y表示场景的两个空间维度并且λ表示包括一定范围波长的光谱维度。多维数据立方体可以包含与数十、数百甚至数千个光谱维度相对应的空间坐标，由此产生包含超光谱成像数据的多维数据立方体。

确定场景的感兴趣区域以使得在场景相对于aid表观移动时能够进行足够数量的曝光。通过使用aid进行连续曝光来捕获多个部分重叠的曝光。当场景看起来相对于aid移动时，场景中的各个点由aid的不同像素捕获，因为从各个点反射或辐射的光在到达aid的成像传感器之前从光学滤波器的一个光谱带转到另一个光谱带。在一些实施例中，可变光学滤波器定位在aid与感兴趣场景之间的光路中，并且当感兴趣的场景相对于aid移动时捕获连续的图像，其中由aid通过可变光学滤波器的各个部分捕获场景的特定点。每一个连续图像中的曝光具有确定的重叠量，其使得曝光能够被拼接在一起以形成任意长度的多光谱或超光谱图像。在连续图像期间，图像的每一个区段视情况而定通过多光谱或超光谱光学滤波器的期望光谱带或所有带进行曝光。

如本文所用，多光谱光学滤波器和超光谱滤波器(或仅滤波器)是指允许各种波长的光穿过其部分的光学滤波器。例如，光学带通滤波器可以包含被配置成选择性地透射电磁光谱的一部分同时衰减或反射其他波长的滤波器的一个或多个区域。一个或多个区域可以是线性的，即，线性带通滤波器可以具有滤波器的离散区域，这些离散区域允许在窄带宽上的高透射并同时衰减不需要的光以最大化所需波长下的图像捕获。通过相对于光源移动光学滤波器的位置，或者在成像设备位于移动平台上的情况下，相对于光源移动平台，可以简单地调整线性带通滤波器的光谱响应。连续可变光学带通滤波器是可与本文描述的实施例一起利用的超光谱光学滤波器的示例，其中具有高透射率的光谱带宽的范围在光学滤波器上连续变化。光学滤波器的其他示例可以与本文描述的实施例一起使用，并且在本文中被设想为提供所描述的特征和益处。例如，陷波滤波器(即衰减窄波长带的滤波器)可以与本文所述的系统和方法一起使用。类似地，同样可以使用光学带通滤波器(即允许波长带通过的滤波器)。可以使用一个或多个滤波器来选择性地使期望频率衰减或通过，以产生具有一个或多个感兴趣光谱的光谱图像。

本文描述的成像系统和装置的一些实施例可以用于从卫星(诸如低地球轨道(leo)中的卫星)拍摄地球或任何其他天体的图像。在卫星实施例中，成像系统可以包括望远镜，并且aid可以放置在望远镜的焦平面处。多光谱或超光谱光学滤波器可以直接附接到aid，并因此也可以放置在望远镜的焦平面附近。

本文描述的过程、系统和设备可以以多种方式实现。下面参考以下附图提供示例性具体实施。

光谱成像的目标是测量场景图像中的每一个像素的光谱。如本文所用，场景图像中的像素是指由成像设备捕获的光，其表示场景内的相应位置。也就是说，当从场景内的每一个区域辐射或反射的光被aid内的可寻址元件捕获时，光将穿过多光谱或超光谱光学滤波器的一部分，并且将捕获场景的该特定区域的光谱。当从场景的该特定区域辐射或反射的光被aid的不同可寻址元件捕获时，它将穿过滤波器的不同部分，并且可以捕获场景的该特定区域的不同光谱。

在这个意义上，由对象辐射或反射的光强度在其图像平面中进行测量。所得的测量结果被表示为空间坐标和光谱幅度的n元组的集合。这些n元组组合以形成多维(x，y，λ)数据立方体以用于处理和分析，其中x和y表示场景的两个空间维度并且λ表示包括一定范围波长的光谱维度。从数据处理的角度来看，光谱成像可以由数据立方体的维度表征。

根据一些实施例，提供了一种用于对具有表观运动的场景进行成像的装置。表观运动可能至少部分地由于安装有成像装置的移动平台，或者可能是由于场景移动，或两者。在一些情况下，成像装置搭载在移动平台上，诸如航天器、卫星或机载平台。附加地，场景也可能是移动的，诸如由于地球的旋转。类似地，成像装置还可以捕获其他天体(诸如月球、行星或恒星)的图像数据。

该装置包括区域成像设备，该区域成像设备具有多个像素传感器和设置在区域成像设备的光路内的多光谱或超光谱滤波器。连接到区域成像设备的控制模块能够确定要由区域成像设备捕获的场景的感兴趣空间区域。感兴趣空间区域仅是希望捕获其成像数据的区域。例如，森林、湖泊、农场、海洋、停车场、城市和车辆都是感兴趣空间区域的示例。控制模块可以自主地确定感兴趣空间区域。例如，在图像分析产生感兴趣特征的情况下，控制模块可以确定应当捕获在先前捕获和分析的图像内检测到的一个或多个特征的附加图像。可以在由控制模块从远程位置(诸如地面站点或卫星)接收的指令中附加地指定感兴趣空间区域。

控制模块还可以确定场景的感兴趣光谱。例如，这可以通过从规则或在捕获图像的指令内接收输入来完成。在一些实施例中，控制模块可以执行指示以下的规则：当捕获植物的成像数据时，选择感兴趣光谱以捕获在可见红色和近红外区域中获得的光谱反射率测量结果以便计算归一化差异植被指数(“ndvi”)。当然，本文在成像系统的范围内考虑其他感兴趣光谱或从成像数据导出的任何其他指数。

控制模块确定用于连续图像捕获的采样距离。采样距离可以至少部分地基于超光谱滤波器和感兴趣光谱。换句话说，当场景表观移动时，将通过滤波器的不同部分捕捉场景的每一个区域，因此将通过连续的图像捕获来捕获场景的每一个区域的不同光谱。通过确定采样距离，可以捕获具有期望光谱信息的每一个区域的图像。此外，在滤波器相对于成像传感器固定的情况下，滤波器的空间部分与测量的波长之间将存在已知的相关性。

控制模块指示区域成像设备在采样距离处进行一次或多次曝光。一旦进行曝光，成像模块至少基于一次或多次曝光形成场景的图像。

在一些实施例中，成像设备、控制模块和成像模块搭载在卫星上，并且在卫星上执行图像捕获和处理。这减轻了典型卫星图像的带宽限制，其中全分辨率和全光谱成像数据被传输到地面站点以进行后处理。通过在卫星上执行大部分图像处理，可以更高效地使用卫星下行链路的可用带宽。例如，卫星可以执行图像分析，其可能使将数字(例如，停车场中的汽车数量、水体的大小、森林大小随时间的差异等)而不是全光谱成像数据存储并传输到远程位置。

在一些情况下，超光谱滤波器是连续可变的光学滤波器，并且所捕获的图像可以是超光谱图像。

在一些实施例中，确定采样距离以使得在感兴趣光谱下的一次或多次曝光中捕获场景的感兴趣空间区域。成像模块可以被配置成跨该一次或多次曝光为每一个像素产生插值曲线。

在一些情况下，成像模块能够通过评估每一个像素在感兴趣光谱下的插值曲线来构造单色图像。

根据一些实施例，卫星包括具有多个像素传感器的成像设备。卫星可以具有设置在成像设备的光路内的多光谱或超光谱滤波器。在一些情况下，可以使用任何合适的光谱滤波器。如本文所用，光谱滤波器是使某些波长衰减或使某些波长通过的滤波器。超光谱滤波器、多光谱滤波器、带通滤波器和陷波滤波器都是光谱滤波器的示例。

光谱滤波器可以至少具有第一光谱带和第二光谱带。在一些情况下，光谱滤波器具有多个离散光谱带，并且在其他情况下，滤波器是连续可变光学滤波器。

卫星可以具有一个或多个处理器和存储器以及存储在存储器上并可由一个或多个处理器执行的编程指令。指令可以使处理器确定场景的感兴趣空间区域。这可以基于规则或者可以由经由上行链路发送到卫星的指令提供。例如，可以从地面站点或从另一个卫星发送指令，其指示卫星捕获具有指定光谱的指定区域的一个或多个图像。

当从感兴趣区域辐射或反射的光通过第一光谱带、第二光谱带或两者时，指令进一步指示成像设备进行场景的至少一次曝光。指令进一步使处理器基于至少一次曝光生成场景的图像。

在一些实施例中，多光谱光学滤波器固定地安装到成像设备，使得多个像素传感器中的每一个与多光谱光学滤波器的光谱相关联。多光谱光学滤波器可以是连续可变光学滤波器，在这种情况下，当多个像素传感器以行和列的阵列布置时，像素传感器的列将与可变光学带通滤波器的共同光谱相关联。

指令可以进一步使一个或多个处理器确定连续曝光的采样距离，并且使成像设备捕获间隔开采样距离的第一曝光和第二曝光。

第一曝光可以使通过第一光谱带来捕获感兴趣空间区域，并且第二曝光可以使通过第二光谱带来捕获感兴趣空间区域。

指令可以使处理器分割第一曝光以产生第一曝光的具有感兴趣波长的第一部分，以及分割第二曝光以产生第二曝光的具有感兴趣波长的第二部分。然后可拼接第一部分和第二部分以产生具有感兴趣波长的图像。通过切割连续图像，可以将展示感兴趣光谱的切片拼接在一起以产生具有任意长度的场景的图像，该任意长度具有感兴趣光谱。

在一些实施例中，具有感兴趣波长的图像是第一波长下的第一图像，并且指令使处理器产生第二波长下的第二图像。可以通过产生包含第一图像和第二图像的超光谱立方体来将图像存储在一起。

根据一些实施例，一种操作成像系统以对具有表观运动的场景进行成像的方法包括：提供具有多光谱或超光谱光学滤波器的区域成像设备，确定场景的表观运动的速度，以及指示区域成像设备进行第一曝光和至少一个第二曝光。方法还可以包括确定采样距离，该采样距离可以至少部分地基于场景的表观运动的速度和多光谱或超光谱光学滤波器。第一曝光和第二曝光可以用于产生场景的图像。在一些情况下，可以在捕获图像之后确定表观运动的速度。例如，可以以固定的每秒帧数(fps)捕获图像，从而将跨光谱带捕获图像。在捕获图像之后，可以保存或进一步处理包含感兴趣的光谱带的图像，同时可以丢弃不呈现感兴趣的光谱带的其他图像。

在一些情况下，生成场景的图像包括确定感兴趣光谱，分割第一曝光以产生具有感兴趣光谱的第一图像切片，分割第二曝光以产生具有感兴趣光谱的第二图像切片，以及将第一图像切片和第二图像切片拼接在一起以形成场景的具有感兴趣光谱的图像。以此方式，可以选择后续图像的切片，其全部表现出相同的感兴趣光谱并且拼接在一起以形成具有感兴趣光谱的图像。通过用不同的感兴趣光谱来这样做，后续的单色图像可以组合在超光谱立方体中，该超光谱立方体可以包含同一场景的多个图像，其中每一个图像具有不同的感兴趣光谱。

在一些实施例中，多光谱光学滤波器具有光谱带，并且确定采样距离至少部分地基于表观运动的速度、多光谱光学滤波器的光谱带和期望的感兴趣光谱。

在一些情况下，成像系统搭载在航天器上，并且方法进一步包括压缩图像并将图像传输到地面站点。可以通过存储单色图像数据并丢弃全光谱图像数据来完成图像压缩。第一曝光可以用作图像分析算法的输入。执行图像分析算法可以返回数值，并且可以将数值传输到远程位置。例如，可以对与停车场相关联的成像数据执行图像分析算法。算法可以分析图像并返回停车场中的汽车的数量。然后可以将数值传输到远程位置。成像数据可以不需要被传输，但可以被存储或丢弃。类似地，道路的图像可以允许系统确定在给定时间段内沿着道路经过的车辆的数量。也就是说，可以以预定间隔捕获连续图像，并且可以分析图像以确定通过成像位置的独特车辆的数量。系统可以通过图像分析算法来仅计算独特车辆的数量。

图1a-1d示出了基于各种多光谱成像技术的多维数据立方体。grusche，sascha。基础的狭缝分光镜通过应用高光谱立方体的光学器件的对角切片显示三维场景(basicslitspectroscoperevealsthree-dimensionalscenesthroughdiagonalslicesofhyperspectralcubesappliedoptics)，osa，2014年6月。检索于2014年6月9日。如图1a所示，多维数据立方体可以包括具有每一个像素的x值和y值的多个平面，并且每一个平面可以包括光谱维度。结果是大量的单色图像。诸如图1b所示，单色图像是数据立方体的光谱维度(λ)表示单个光谱带中的强度测量值的图像。输出与二维数据立方体相对应，其中整个场景由单个波长或相对窄的波长映射。

在rgb图像中，数据立方体具有两个空间维度(x，y)的值以及正好具有与红色、绿色和蓝色相对应的三个光谱带。在多光谱成像中，相应的数据立方体包括多达数十个光谱带(其通常相对较宽)，从而通常覆盖光谱的不同甚至不相交的范围。继而，超光谱成像可以被表征为在宽光谱范围内测量对象的辐射，并且可以包括连续光谱范围。其在(x，y，λ)空间上的表示与在光谱维度上具有数十、数百、或甚至数千个带宽相对较小的光谱带的数据立方体相对应。

光谱成像的表征可以考虑到成像系统的物理和光学特征，诸如空间和光谱分辨率、光谱范围和带宽、以及传感器特性等。然而，正确表征成像系统通过其来进行测量和填充数据立方体的技术也是相关的。

参考图1a至图1d，用于光谱成像的各种技术可大致分为以下4组：快照超光谱技术、光谱扫描技术、空间扫描技术和空间光谱扫描技术。

图1a示出了由快照成像产生的代表性数据立方体，其中单个捕获包含所有的空间和光谱(x，y，λ)数据。可以捕获单个快照以包括取决于插入光路中的滤波器的光谱数据。基于快照成像的系统将完整的超光谱(x，y，λ)立方体作为单个传感器输出返回。这些设备具有不需要扫描的优点。然而，这些系统具有呈现高计算量和制造成本的缺点。而且，它们是相对复杂的系统并且通常非常重，这给基于卫星的成像系统带来附加的复杂性。

如图1b所示，光谱扫描的输出使每一个捕获帧表示场景的单色空间(x，y)映射图。这些设备通常基于滤波器，需要对这些滤波器进行调谐以便对场景进行光谱扫描。必须通过电气或机械装置来完成对单独滤波器的选择，在这种情况下，需要移动部件来将滤波器物理地插入光路中。与固定平台和/或固定对象的要求组合的更高的曝光时间(或更快的光学器件)使得该技术不太适合于机载或星载的光谱成像系统。这种类型的成像系统要求将多个滤波器顺序地插入光路中，并且场景的随后曝光可以用感兴趣的光谱数据填充多维数据立方体。

图1c示出了空间扫描的结果，其中每一个获取帧与全狭缝光谱(x，λ)相对应。也就是说，每一个获取帧包括x方向上的单个像素行以及光谱数据λ。扫描设备的示例是推扫式扫描光谱仪和点扫描光谱仪。这些系统具有对于每一个线路都要分析图像的缺点，并且在点扫描仪的情况下需要移动部件。

图1d示出了空间光谱扫描系统的输出，其中每一个2-d传感器输出与数据立方体的倾斜切片相对应，其表示场景的空间(x，y)映射，其中光谱信息在一个维度上进行编码。这些设备具有允许使用移动或固定平台的优点。然而，这些系统通常难以实现，产生诸如高制造成本和复杂机械组件的缺点。

图2示出了区域成像设备202和光学滤波器204的分解图200，该光学滤波器包括可变滤波器频带206、208、210和212以便与成像设备一起用于表观运动中的场景。实施例可以具有离散的滤波器频带，诸如在条纹滤波器的情况下，并且滤波器频带可以根据需要具有任何幅度或宽度。光学滤波器204可以附加地具有多达十个滤波器频带，诸如在多光谱光学滤波器的情况下，或者可以具有多达一百或一千个滤波器频带或更多，诸如在超光谱光学滤波器的情况下。可替代地，滤波器频带可以在光学滤波器204上连续变化以使得不存在离散带。框架214将光学滤波器204保持在适当位置，并且可以定位在aid202上方。

选择滤波器频带以覆盖电磁光谱的期望部分，并且实施例不限于一个或多个任何特定频带。滤波器频带206-212可以包括例如紫外、蓝色、绿色、红色和红外频带，以及另一个未滤波覆盖的频带(即，全色频带)。选择滤波器频带的数量和每一个滤波器频带206-212的光谱透射率以获得感兴趣的波长的任何组合。滤波器频带206-212可以是吸收滤波器、干涉滤波器或其他种类的滤波器。

在用于卫星的光学滤波器204的一些实施例中，诸如在leo卫星中，光学滤波器204是线性可变光学滤波器，其中滤波器的光谱性质沿光学滤波器的一个维度连续变化。因此，可以通过相对于成像传感器移动滤波器或对象来调整对象的捕获图像的中心波长。

aid202的有源表面216包括以二维或三维阵列布置的多个像素传感器，诸如光吸收检测器。aid202可以是各种类型，诸如，例如电荷耦合设备(ccd)、互补金属氧化物半导体(cmos)传感器、或其他合适的架构。

光学滤波器204可以由可变带通区域组成，其中λ中心在aid202的延伸内处于λ最小值到λ最大值的范围内。光学滤波器204和aid202的各种组合可以用于实现相关和期望的功能。可以选择波长范围、波长变化形状(线性、立方、连续等)和滤波器的光谱透射，以获得感兴趣的波长、带宽和光谱分布的任何组合。

可以通过在不同位置重复处对场景成像来完成超光谱图像(图像之间的最佳距离取决于滤波器的规格和期望的结果)。也就是说，当场景看起来移动时，取决于表观运动的速度以及与光学滤波器的特性组合的所期望的波长成像数据，以预定步长(例如，在表观运动期间的预定时间)拍摄顺序图像。

为了确定最佳步长或采样距离，有必要考虑滤波器半高宽值(fwhm)可以在λ最小值和λ最大值之间不同。为了获得完整的超光谱图像，目标场景的每一个像素都应该遍历整个光谱范围，因此场景相对于aid202的表观运动必须至少是光学滤波器长度的两倍，如图3和图4所示。也就是说，aid202应当捕获感兴趣场景的每一个部分的顺序图像，因为来自场景部分的光在到达aid的成像传感器之前穿过多光谱或超光谱光学滤波器的期望频带。

可以校准系统以优化其性能。校准在很大程度上取决于滤波器和成像传感器的物理特性，以及它们之间对准的精度。一旦已经校准系统，其就可以操作以用于超光谱成像，而无需重新校准。

在给定光学设置下，传感器上的每一个像素与特定波长相对应。也就是说，针对捕获的每一个图像，到达传感器上的每一个像素的光将被光谱滤波到特定波长。为了重建给定波长的场景，有必要为每一个像素知道测量的光谱带。当带宽已知时，这可以简化为识别中心波长(λ中心)。例如，在线性可变滤波器的情况下，可以根据等式1执行校准：

λ中心＝a*(n像素*ps)+b等式1

其中λ中心表示传感器的特定列的中心波长，a是滤波器的每毫米的波长变化，n像素是像素列的数量，ps是像素大小，并且b是表示滤波器与传感器之间的相对位置的偏移，其可以与由第一像素列测量的波长相对应，该波长取决于多光谱或超光谱光学滤波器和aid202的机械组装。在滤波器不是线性可变的那些实施例中，通过实施针对特定波长分布进行定制的解决方案仍然可以进行校准。

例如，可能的校准可以由通过均匀且大部分单色的照明来拍摄图片组组成。在该示例中，λ中心、n像素和ps对于每一个图像是已知的。可以通过针对不同的照明波长重复该过程来计算滤波器参数(在该示例中，滤波器的每毫米的波长变化a和偏移b)。

当然，当使用非线性可变滤波器时，校准将是不同的。一旦滤波器参数已知，就可以自动确定由每一个像素测量的波长。

对于机载或星载的aid202，可能存在与捕获感兴趣的图像并将感兴趣的图像发送到最终目的地相关联的传输成本。例如，在星载应用中，可以捕获图像并且在航天器上完成任何后处理，并且可以将最终图像发送到最终目的地，诸如通过无线通信机制，诸如，例如卫星通信、激光通信、或某种其他射频类型的无线通信能力。为了降低传输成本和存储每一个图像所需的存储器量(其为卫星或其他机载或移动平台中的重要考虑因素)，可以拍摄具有aid202的选定感兴趣区域(roi)的图像而不是获取整个帧。

如图3和图4所示，当多光谱或超光谱光学滤波器以静态关系安装到成像传感器时，传感器上的每一个像素与通过滤波器接收的特定波长的光相对应。因此，选择基本垂直于平台运动的长薄roi等同于选择光谱带。如果在捕获图像之前感兴趣的光谱带是有限且已知的，则可以仅获取与那些光谱带相关联的roi。这将返回离散光谱信息而不是整个连续光谱，如图3所示。roi的选择允许aid202收集感兴趣的光谱数据，同时降低处理、传输和存储成本。

一旦选择了感兴趣的光谱带并计算了aid202的相应roi，aid202就可以在正确时间捕获所需数量的图像以使roi具有所期望的光谱数据。当然，如果寻求全光谱，则roi可以等于全帧。

在捕获roi中，可以拍摄若干图片，并保存来自滤波器的每一个频带的信息。可以诸如通过拼接一起处理连续图像以获得任意长度的图片。由于所有频带拍摄同一场景的图像，但沿轴线移位，因此可以一起处理连续图像以获得超光谱图像。在每一个帧之间，图像将移动以使得在每一个滤波器的光谱带上投射场景的新片段。该运动的定时限定连续图像之间的位移(在本文称为采样距离)，该位移可能不一定是恒定的。

每当场景相对于aid202的表观运动近似等于期望的采样距离时拍摄图片。控制器可以指示aid202捕获图像以使得在适当的时间和位置获取每一个图片，如图4所示。

图4示出了捕获多光谱图像的时空图。例如，为了捕获区域a402，在4个期望的光谱带处，在镜头1404处捕获初始帧。一旦已知表观运动的速度并且已知光学滤波器的特性，就可以确定采样距离406。一旦场景在成像传感器上已经移动采样距离406，就捕获镜头#2408。可以看出，镜头#2408现在通过多光谱或超光谱光学滤波器的不同频带捕获区域a402，并且因此与镜头#1404相比捕获区域a的不同波长。采样距离406不需要在后续镜头之间保持恒定，而是可以基于每次捕获的期望波长数据来确定。

从图4中可以看出，为了捕获场景的整个光谱，诸如区域a402，场景的表观运动的距离必须至少等于滤波器的长度。然而，为了捕获aid202的初始视场的整个光谱，场景的表观运动的距离应当等于滤波器长度的至少两倍，如图4通过捕获区域a402和b410所示。

图5描绘了示出根据各种实施例的示例过程的流程图。这些过程的操作在各个块中示出并参考这些块进行总结。这些过程被示为逻辑流程图，其每一个操作可以表示可以以硬件、软件或其组合实现的一组操作。在软件的情境中，操作表示存储在一个或多个计算机存储介质上的计算机可执行指令，这些计算机可执行指令在由一个或多个处理器执行时使得一个或多个处理器能够执行所述操作。通常，计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、模块、部件、数据结构等。在硬件的情境中，操作可以在集成电路中执行，诸如在专用集成电路(asic)中，在可编程逻辑设备中，诸如现场可编程门阵列(fpga)或其他设备。描述操作的顺序不旨在被解释为限制，并且任何数量的所述操作可以按任何顺序组合、分成子操作、和/或并行执行以实现该过程。根据本披露的各种实施例的过程可以仅包括逻辑流程图中描绘的仅一些或全部操作。

图5是示出针对表观运动中的场景的使用成像设备的超光谱图像捕获的示例概述过程500的流程图。在502处，可以启动波长校准。应当注意，这可以是在初始激活成像设备时的一次性设置步骤，或者可以偶尔重复，但不是aid202的每一个图像捕获操作的必要步骤。在504处，确定roi，并且roi可以包括完整的空间和光谱成像，或者可以包括特定的空间坐标和/或光谱数据。

在506处，根据所确定的roi的空间和光谱要求来捕获图像帧。当aid202的视野通过感兴趣区域时，图像帧被捕获为由aid202拍摄的连续图像，并且从感兴趣区域反射的光在其通向成像设备的成像传感器的途中穿过多光谱或超光谱光学滤波器的期望频带。

在508处，对图像进行后处理以便产生感兴趣的图像。例如，在510处，对图像进行正射校正，诸如通过去除由自然地的地形轮廓给出的变形。

在512处，将帧拼接在一起以形成表示由成像设备捕获的区域的期望大小的图像。

在514处，构造超光谱数据立方体，其包含成像设备的每一个像素的空间和光谱数据，并且可以包括立方体内表示的每一个像素的至少x、y和λ数据。在一些情况下，可以切割超光谱数据立方体以进行离散分区以便有助于更高效的存储和传输，由此仅包含感兴趣的空间和/或光谱数据。

在516处，将超光谱数据立方体存储和/或传输到另一个目的地。当然，本文所示的过程可以由aid202内或aid202的移动平台内承载的计算资源来进行。在其他实施例中，处理可以通过基于地面的图像处理资源或位于成像平台和远程位置两者处的资源的组合来进行。

虽然所示的附图示出可在图像的存储516之前执行图像的后处理508，但在一些情况下，可以在后处理之前存储捕获的图像，并且可以在稍后的时间执行后处理。

进一步参考图5，后处理技术可以分为三个不同的阶段：超光谱立方体的正射校正、图像配准和构建。

可以将正射校正算法应用于每一个单独帧，诸如以移除任何内部或外部失真，以将更准确的坐标分配给最终图像。该算法校正由自然地的地形轮廓给出的变形，并允许重建图像的正交透视。

正射校正算法的输入中的一个可以是每一个像素的光谱数据，该光谱数据可能是校正受到捕获图像的光谱带影响的失真所必需的。先前可以在地球上进行光谱校准，诸如在实施成像系统的校准阶段期间。该校准返回由传感器成形的矩阵，其标识由每一个像素测量的波长频带(在简单的应用中，中心波长如前所讨论的那样是足够的)，该矩阵可以被存储为成像系统的一部分，或者在从成像平台传输图像之后存储在某个其他外部位置存储以进行后处理。

正射校正算法使每帧中包含的空间信息“变形”。为了正确地再现由每一个像素测量的波长，可能优选地对作为校准的输出获得的波长矩阵应用相同的变换。以此方式，每一个正射校正帧具有其相应的矫正波长矩阵。

图像拼接512由将由传感器获取的多个连续图像对准成具有增加的光谱信息的单个完整图像组成。配准算法通常由以下组成：在每一个图像中找到匹配特征、获得其位移和旋转、将位移和旋转应用于完整图像、以及将两个图像在其重叠位置混合在一起。基于期望的采样距离预先确定图像之间的近似位移。在许多实施例中，成像平台在图像捕获期间不旋转，并且因此，对于许多具体实施，预期不会有显著的旋转，这与从旋转平台捕获图像相比极大地减少执行图像配准所需的计算时间。

如果aid202被设置为捕获长薄的roi而不是全帧(当感兴趣的光谱带受限时可能发生)，则获取与先前设置的roi垂直的超薄roi也是方便的，如图3中的302处所示，以便简化配准算法。附加的roi应当足够长以示出连续帧之间的重叠，也就是说，它应当比采样距离更长。

超光谱立方体的构造产生成像数据，包括由aid202捕获的每一个像素的x、y和λ值。在超光谱成像过程期间，在多光谱或超光谱光学滤波器相对于成像设备静态安装的那些实施例中，aid202的每一个像素总是测量相同的波长。可以通过考虑传感器的响应性和滤波器对于每一个波长的透射率来单独校正原始帧。由于每当场景相对于aid202的表观运动等于期望的采样距离(sd)时将拍摄图片，因此来自场景的每一个像素也将在该距离处被光谱采样，如图3和图4所示。根据等式2，测量单个场景像素的全光谱所需的图像数量(m)等于滤波器的总长度除以采样距离：

为了举例，如果我们假设场景的光谱平滑地变化，则可以针对场景上的每一个像素计算插值曲线412，诸如插值多项式或样条。可以通过计算由aid202上的每一个像素测量的不同波长的场景辐照度来获得曲线插值点。每一个插值曲线将具有m个不同的插值点。

采样距离可以大于一个像素，这使在该距离内投影的场景上的每一个像素被不同的中心波长组采样。这在图6中示出，其中存在由采样距离内的不同光谱带测量的p个像素。这一点的结果是，这些p个像素中的每一个的插值曲线被构造有不同的插值点组(假设针对不同波长计算场景辐照度)。

因此，每一个插值曲线用m个插值点构建，并且存在用作插值点的p个不同的中心波长组。一旦计算了每一个像素的插值曲线，就可以通过评估期望波长下的每一个像素的曲线来执行单色图像的重建。

取决于场景的辐照度光谱的平滑度，可以通过在使用时改变插值多项式的程度来调节在超光谱立方体中编码的光谱信息的压缩程度。例如，如果光谱足够平滑，则可以选择低阶多项式以便压缩信息量。否则，如果光谱特征变化很大，则可以选择高阶多项式来插值光谱数据。

该算法表现出非常低的计算量，从而使得能够以非常高的速度处理大量信息。这里给出的算法基于场景的光谱平滑变化而不示出任何种类的不连续性的假设。然而，在从此假设实际场景变化超过预定阈值的情况下，可以诸如通过减小采样距离和/或应用不同的光谱重建算法来提高图像处理的精度。

一旦拍摄图片并处理数据，就存储信息，并且在诸如通过卫星或其他机载平台进行远程感测的情况下，最终将信息传输到另一个目的地。取决于数据立方体中包含的期望信息，可以选择存储的信息的结构。如果寻求全分辨率，则可以存储整个超光谱数据立方体，从而保持完整的空间和光谱分辨率。另一方面，如果不需要全分辨率，则可以在存储超光谱立方体之前对其进行压缩。此外，如果感兴趣的光谱带受到限制，则可以仅存储和/或传输与期望光谱带相对应的数据立方体的一部分(诸如一个或多个切片)。

在其他情况下，可以处理来自每一个像素的光谱信息以便计算不同种类的指数，例如在农业分析的情况下，诸如归一化差异植被指数(ndvi)或其他绿色指数。在期望特定光谱带的情况下，可以存储单色图像以及每一个像素的相应索引，而不存储每一个像素的整个光谱特征。

以此方式，可以定制用于特定应用的细节的数据结构和信息以便优化存储和传输要求。

在一个实施例中，aid由低地球轨道卫星承载。例如，在典型情况下，leo卫星的轨道的高度可以是700km。在这个海拔高度下，轨道周期为98分37秒并且地面上的投影速度为6764m/s。望远镜可以是例如孔径为30cm且焦距为2.5m的卡塞格伦望远镜。因此，地面上的每一米将在焦平面上投影为3.6μm图像，并将以24.2mm/s的速度移动。最后，如果成像设备具有多光谱光学滤波器(其具有五个离散的滤波器频带)和成像传感器(其具有2000×2000个像素(每一个宽度为5μm))，则采样距离可以设置为约小于2000μm以使得场景的每一个部分通过每一个滤波器频带至少捕获一次，其速率为约每80毫秒进行一次图像捕获。当然，取决于滤波器的特性和表观运动的速度，可以不同地设置采样距离。

图7是可用于产生具有表观运动的场景的超光谱图像的示例成像系统700的框图。成像系统700可以全部或部分地搭载在飞行器或航天器上，诸如卫星(诸如leo卫星)。在一些实施例中，成像系统700的部件中的一些可以是基于地面的或者搭载在单独的飞行器或航天器上，其中这种基于地面的或单独的飞行器或航天器与包括实际光学系统(诸如望远镜和aid202等)的系统通信。成像系统700可以被配置为任何合适的计算设备或系统。存储器702可以存储可在一个或多个处理器704上加载和执行的程序指令和程序模块，以及在执行这些程序期间生成和/或可与这些程序一起使用的数据，诸如图像数据、图像等。

存储器702至少包括控制模块706和成像模块708。根据本披露的实施例，控制模块可以执行与捕获图像相关联的控制功能中的一些或全部。控制模块706可以由一个或多个处理器执行以诸如通过一个或多个输入/输出接口进行控制，

控制模块706可以由一个或多个处理器704执行以诸如通过一个或多个输入/输出接口控制aid202。可以控制aid202以捕获一次或多次曝光，诸如与采样距离同步，以根据本披露的各种实施例通过多光谱或超光谱光学滤波器的期望光谱捕获曝光。

区域成像设备502可以包括一个或多个处理器710和固件712(存储在合适的非暂时性计算机可读存储介质上)以执行或以其他方式控制aid202的各种功能。固件712可以由一个或多个处理器710执行以控制曝光时间、对曝光捕获进行定时、确定采样距离、将图像数据718存储在存储器702上等。

aid202还包括光敏传感器714，诸如，例如，适合于实现电荷耦合设备(ccd)的半导体部件、互补金属氧化物半导体(cmos)传感器、或在aid202的有源表面216上的其他合适传感器架构。

如本文所讨论的，提供一个或多个滤波器716以允许超光谱成像。可以提供光学器件720(诸如任何合适的透镜和/或望远镜)以将从感兴趣区域反射或辐射的光聚焦到传感器714上。

成像模块708执行成像系统700的各种图像处理功能，包括用于生成hdr图像的色调映射、用于产生高分辨率图像的分辨率增强算法、以及用于从多个部分重叠曝光生成图像的拼接算法、以及其他处理功能，诸如模糊移除、伪像移除、颜色增强、裁剪、图像转换、图像压缩、数据加密等。

在一些实施例中，aid202的固件712可以被视为控制模块706和成像模块708中的一者或两者的扩展，其中在固件712上或由该固件执行的控制模块706和/或成像模块708的功能中的一些或全部在一个或多个处理器710上执行。在一些实施例中，控制模块706、成像模块708和/或固件712的其他功能中的一些或全部功能可以被实现为一个或多个处理器704上的逻辑功能。例如，在一些实施例中，一个或多个处理器704可以包括专用集成电路(asic)、可编程逻辑设备(诸如现场可编程门阵列(fpga))、或用于执行各种功能(包括控制模块706的各种控制功能和/或成像模块708的图像处理功能)的其他逻辑电路。

取决于所使用的计算设备的配置和类型，成像系统700的存储器702以及aid202中的用于存储固件712的介质可以包括易失性存储器(诸如随机存取存储器(ram))和/或非易失性存储器(诸如只读存储器(rom)、闪存存储器等)。存储器702以及aid202中的用于存储固件712的介质还可以包括附加的可移除存储装置和/或不可移除存储装置，包括但不限于闪存存储器、磁性存储装置和/或光存储装置、和/或磁带存储装置，其可以为成像系统700提供计算机可读指令、数据结构、程序模块和其他数据的非易失性存储。

存储器702以及aid202中的用于存储固件712的介质是非暂时性计算机可读介质的示例。非暂时性计算机存储介质包括在任何过程或技术中实现的用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于相变存储器(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器存储器(eeprom)、闪存存储器(诸如nand闪存存储器，其诸如可以包括在一个或多个非易失性存储卡中，并且包括具有单级和多级单元技术两者的闪存)或其他存储器技术、光盘只读存储器(cd-rom)、数字通用光盘(dvd)或其他光存储装置、磁带盒、磁带、磁盘存储装置或其他磁性存储设备、或者可用于存储信息以供计算设备访问的任何其他非传输介质。

根据其他实施例，aid可以包括多个图像捕获设备，诸如多个ccd或cmos传感器，其可以各自具有相应的带通光学滤波器，这些带通光学滤波器可以是多光谱或无光谱的。多个图像捕获设备可以彼此以线性关系布置，并且进一步定向成使得通过该行图像捕获设备绘制的线平行于表观运动的方向。这样，为了捕获感兴趣区域的图像，可以连续致动图像捕获设备以捕获感兴趣区域的多个图像，其中每一个捕获包含根据每一个图像捕获设备的配置的光谱数据。可以基于表观运动的速度、图像捕获设备的特性、以及多个图像捕获设备彼此的空间关系来确定图像捕获设备的顺序致动的定时。然后，多个图像可以被覆盖以产生多光谱或超光谱图像或一起存储在多光谱数据立方体中。

基于本文描述的实施例，成像系统可以通过实现超光谱光学滤波器并且在场景经过超光谱光学滤波器时捕获连续图像来捕获表观运动中的场景的超光谱图像。系统不需要在连续曝光之间改变滤波器，并且事实上，不需要任何可移动部件。多光谱数据立方体可以在图像捕获时进行配置，以便仅收集感兴趣的空间和/或光谱区域，从而允许成像设备的动态配置。与现有的超光谱成像系统相比，它相对简单，这使其成为星载超光谱成像的显著改进的解决方案。

结论

尽管本披露使用特定于结构特征和/或方法动作的语言，但本发明不限于所描述的特定特征或动作。相反，这些特定特征和动作是作为实现本发明的例示性形式而被披露的。