专利名称：高分辨率、可变景深的图像装置的制作方法
技术领域：
本发明的实施例总体上涉及高分辨率成像领域。更具体地，本发明涉及在可变景 深环境中的高分辨率图像的产生。
背景技术：
许多卫星传感器与低分辨率的多谱(彩色)成像一起提供了高分辨率的全色(黑 色和白色)成像。诸如全色锐化(pan sharpening)的图像融合技术用于将这些多个图像 组合到复合产品中。具体而言，全色锐化方法通过将多谱图像与高分辨率的全色图像融合 来将具有粗糙(coarse)的空间分辨率的多谱图像处理为精细(fine)的空间彩色图像。结 果，高分辨率彩色图像保留原始颜色保真度，并且允许更好的可视化和解释。图1图示了传 统的全色锐化装置100，其中，多谱图像传感器110耦合到全色图像传感器120。卫星成像通常拍摄具有窄的景深的图像，景深指的是在看起来焦点对准的物体之 前和远处的范围。在具有窄的景深的成像应用中，全色锐化技术提供了用于产生高分辨率 的彩色图像的可靠方法。但是，对于具有宽景深的图像，从全色锐化技术产生的彩色图像的 分辨率可能降低。期望实现考虑了宽景深的技术，以使得可以使用全色锐化方法来产生高 分辨率的图像。另外，由于视差，当使用全色锐化技术来拍摄近景图像时分辨率可能降低。视差 指的是由在全色和多谱图像传感器的光阑之间的距离引起的、所感知到的成像物体相对于 背景的移位。现有的卫星和其他机载传感器不必考虑视差，因为在传感器和被成像的物体 (例如，地面)之间的焦距足够大以使得可忽略在全色和多谱图像传感器的光阑之间的距 离。当焦距减少时，诸如在近景成像中，由于视差导致的分辨率的损失变为较大的问题。
发明内容
为了获得近景和可变景深物体的高分辨率彩色图像，必须减少由两个独立的成像 装置之间的距离引起的视差的影响。在本发明的一个实施例中，一种用于在宽景深环境中 产生高分辨率图像的设备可以包括彩色(color)图像传感器、全色(panchramatic)图像传 感器和测量装置。所述测量装置可以被配置来测量从彩色和全色图像传感器到物体的距 离，其中，所述距离可以用于考虑视差的影响。在另一个实施例中，一种用于在宽景深环境中产生高分辨率图像的方法可以包括 下面的步骤使用彩色和全色图像传感器来同步地成像物体；测量从所述图像传感器到所 述物体的距离；以及调整所述物体的图像。在调整所述图像中，来自由所述全色图像传感器
4接收到的图像的像素可以在空间上移位，以形成具有对于同步接收的彩色图像均勻的空间 关系的结果全色图像。在另一个实施例中，一种用于在宽景深环境中产生高分辨率图像的系统可以包括 处理器和存储器。所述存储器与所述处理器进行通信，并且可以存储处理指令。这些处理 指令可以包括指示所述处理器来执行下面的功能使用彩色和全色图像传感器来同步地成 像物体；测量从所述彩色和全色图像传感器到所述物体的距离；以及基于所测量的距离来 调整所述物体的图像以考虑视差的影响。由于在所述彩色和全色图像传感器的光阑之间的 空间差，当成像所述物体时，可能出现视差误差。高分辨率图像系统的这个实施例可以考虑 视差的影响。在另一个实施例中，一种用于产生高分辨率图像的设备可以包括用于在宽景深 环境中同步地成像物体以产生所述物体的高分辨率图像的装置。所述设备也可以包括用于 测量从图像传感器到所述物体的距离的装置。而且，所述设备可以包括用于减少由于在所 述图像传感器的光阑之间的空间距离而导致的视差的影响的装置。下面参考附图详细描述本发明的其他实施例、特征和优点以及各个实施例的结构 和操作。
在附图的图中，通过示例而不是通过限制来图示本发明，其中图1图示了传统的全色锐化装置。图2图示了高分辨率、可变景深的图像装置的一个实施例。图3图示了在高分辨率、可变景深的图像装置中的部件的配置的一个实施例。图4图示了在高分辨率、可变景深的图像装置中的部件的配置的另一个实施例。图5图示了接收具有参考背景的物体的图像的两个图像传感器。图6图示了在宽景深环境中产生高分辨率图像的方法的一个实施例。图7图示了用于实现高分辨率、可变景深的图像装置的系统的一个实施例。
具体实施例方式在下面的说明中，为了说明目的，给出了多个具体细节，以彻底地理解本发明。然 而，对于本领域内的技术人员显然，可以在没有这些具体细节的情况下实施本发明。在其他 情况下，未详细示出公知电路、结构和技术，而是以框图示出它们，以避免不必要地混淆本 对说明书的理解。在说明书中对于“一个实施例”或“实施例”的引用表示在本发明的至少一个实施 例中包括结合实施例描述的特定特征、结构或特性。位于本说明书的不同位置的短语“在一 个实施例中”不必然指的是同一实施例。在一个实施例中，在此所述的设备和方法可以与在诸如汽车、船只和飞机的各种 移动交通工具一起使用。替代地，在此的设备和方法可以与其他类型的移动交通工具一起 使用。图2图示了高分辨率可变景深的图像装置200的一个实施例。图像装置200包括 图像融合装置210和测量装置220。如图3中所示，图像融合装置210的输入326耦合到
5测量装置220的输出345。图像融合装置210的输出325耦合到测量装置220的输入340。 而且，图像融合装置210的输出324耦合到图像装置200的输出300。图像融合装置210处理由彩色图像传感器311和全色图像传感器313接收到的图 像，以在图像装置200的输出300产生物体的高分辨率彩色图像。在一个实施例中，图像融 合装置210包括彩色图像传感器311、全色图像传感器313和亮度合并装置312。彩色图像 传感器311将来自由彩色图像传感器311接收到的图像的光过滤为多谱输出，所述多谱输 出具有亮度分量和两个色度分量(例如YcbCr)。亮度分量(Y)提供在图像中的物体的亮 度，而色度分量提供颜色信息。彩色图像传感器311的示例是贝尔马赛克(Bayer mosaic) 电荷耦合器件(CCD)，其由向选定的像素通过红色、绿色或蓝色光的贝尔滤光器构成。替代 地，可以使用其他彩色图像传感器，诸如Fovean X3传感器(包含堆叠的光电二极管的感光 单元(photosite)的阵列)或3-CCD传感器(三个独立的电荷耦合装置，它们分别测量红 色、绿色和蓝色光)。全色图像传感器313检测来自由全色图像传感器313接收到的图像的亮度分量。 全色图像传感器313的一个示例是黑色和白色图像传感器。替代地，可以使用诸如灰度级 图像传感器的其他全色图像传感器。全色图像传感器313的输出321耦合到图像融合装置 210的输出325。如图3中所示，彩色图像传感器311的输出320耦合到亮度合并装置312的输入 327。亮度合并装置312将来自彩色图像(由彩色图像传感器311接收)的亮度分量替换 为来自由全色图像传感器313接收的同步图像的亮度分量。因为来自全色图像传感器313 的亮度分量比来自彩色图像传感器311的亮度分量具有更高的分辨率，所以全色亮度分量 与彩色色度分量的组合产生比如果仅使用图像传感器311可获得更高分辨率的彩色图像。 亮度合并装置312的示例是处理全色锐化软件以将来自彩色图像的亮度分量替换为来自 全色图像的相应亮度分量的设备。全色锐化软件是本领域中公知的；因此，不提供更详细的 描述。替代地，可以使用其他图像合并方法，诸如多分辨率子波转换、主成分分析(PCA)转 换和亮度色度饱和度(IHS)转换。如图3中所示，亮度合并装置312的输入322耦合到图 像融合装置210的输入326。亮度合并装置312的输出323耦合到图像融合装置210的输 出 324。图4图示了图像融合装置210的另一个实施例。在图4中，图像融合装置210包 括彩色图像传感器311、全色图像传感器313和亮度合并装置312。全色图像传感器313的 输出321耦合到亮度合并装置312的输入327。如参考图3所述的，图像融合装置210处 理由彩色图像传感器311和全色图像传感器313接收到的图像，以在图像装置200的输出 300产生物体的高分辨率彩色图像。彩色图像传感器311、全色图像传感器313和亮度合并 装置312以与在图3中所述的类似的方式作用。返回到图3，在一个实施例中，测量装置220包括区域特定(region-specific)的 移位装置331和扫描器332。区域特定的移位装置331在空间上将亮度分量从全色图像(由 全色图像传感器313接收)移位到与由彩色图像传感器311接收的同步图像相关的位置。 替代地，在图4中所示的实施例中，区域特定的移位装置331在空间上将亮度分量从彩色图 像(由彩色图像传感器311接收)移位到与由全色图像传感器313接收的同步图像相关的 位置。区域特定的移位装置331是被配置来处理计算机软件以执行特征匹配或移位和变体转换的装置。替代地，可以使用其他区域特定的移位装置，以可以将在全色图像中的像素调 整到相对于同步接收的彩色图像的位置。扫描器332测量从图像装置200到成像物体的距离。扫描器332的示例是激光扫 描器。替代地，可以使用其他类型的扫描器，诸如声波检测和测距装置(其使用用于测量的 声波)和雷达装置(其使用用于测量的无线电波)。由扫描器332测量的距离可以被区域 特定的移位装置331使用以考虑分别由于在彩色和全色图像传感器311和313的光阑之间 的空间差而导致的视差的影响。例如，图5图示了接收物体560的图像的彩色图像传感器510和全色图像传感器 520。在图像传感器510和520的光阑之间的间距550可能由于所感知的、成像物体560相 对于背景570的移位而导致视差误差。即，彩色图像传感器510可能由于由这些图像传感 器观看的物体560的角度位置而具有与全色图像传感器520的视角不同的成像物体560的 视角。可以通过测量在图像传感器510和520与物体560之间的距离540来考虑视差的影 响。通过使用扫描器530来测量距离540，可以使用几何计算来计算在图像传感器510和 520与物体560之间的视角。使用这些测量和计算，诸如在图3和4中的区域特定的移位装 置331的装置可以被配置来在空间上移位来自由全色图像传感器520接收的图像的像素， 以形成具有对于同步接收的彩色图像均勻的空间关系的结果全色图像。替代地，来自同步 接收的彩色图像的像素可以在空间上移位，以形成具有对于全色图像均勻的空间关系的结 果彩色图像。如图3或4中所示，区域特定的移位装置331的输出342耦合到测量装置220的 输出345。区域特定的移位装置331的输入341耦合到测量装置220的输入340。而且，区 域特定的移位装置331的输入343耦合到扫描器332的输出344。图6图示了用于在可变景深环境中产生高分辨率图像的方法600的一个实施例。 方法600可以使用例如图像装置200来发生。在步骤610，与诸如在图3和4中的彩色图像 传感器311和全色图像传感器313的彩色图像传感器和全色图像传感器同步地接收物体的 图像。在步骤620，测量从图像传感器到物体的距离。可以使用如图3或4中所示的扫描器 332来测量距离。在步骤630，基于在步骤620中的测量来调整图像。具体上说，可以使用所述 距离来调整图像以考虑视差的影响，其中，可以在所述调整中使用特征匹配(feature matching)或移位和变体特征转换(shift andvariant feature transform)。视差的影响 类似于参考图5所描述的。在步骤640，使用来自全色图像的亮度分量将图像转换为物体的精细的空间彩色 图像。来自全色图像的亮度分量可以用于将彩色和全色图像转换为物体的精细的空间图 像，如参考图3和4所述，其中，精细的空间彩色图像比由彩色图像传感器接收到的原始彩 色图像具有更高的分辨率。在步骤640中的图像的转换可以包含将来自彩色图像的亮度 分量替换为来自全色图像的空间移位的亮度分量。替代地，来自彩色图像的空间移位的亮 度分量可以被替换为来自全色图像的亮度分量。图7图示了包含高分辨率可变景深的图像装置的系统700的一个实施例。系统 700包括处理器710和存储器720。可以以硬件、软件或其某种组合来实现在此所述的代表 性信号处理。例如，本领域内的技术人员基于在此给出的讨论可以明白，可以使用计算机处
7理器、计算机逻辑、专用电路(ASIC)、数字信号处理器等来实现信号处理功能。因此，执行在 此所述的信号处理功能的任何处理器在本发明的范围和精神内。而且，可以通过由计算机处理器或上述列出的硬件装置的任何一个执行的计算机 程序指令来体现在此所述的信号处理功能。所述计算机程序指令使得处理器执行在此所述 的信号处理功能。计算机程序指令(例如软件)可以被存储在计算机可用介质、计算机程 序介质或可以被计算机或处理器访问的任何存储介质中。这样的介质包括存储装置，诸如 RAM或ROM;或其他类型的计算机存储介质，诸如计算机硬盘或CD ROM，或等同物。因此，具 有使得处理器执行在此所述的信号处理功能的计算机程序代码的任何计算机存储介质在 本发明的范围和精神内。参考图7，存储器720与处理器710进行通信，并且存储处理指令。在本发明的一 个实施例中，这些处理指令指示处理器710来执行下面的功能(1)使用彩色和全色图像传 感器来同步地成像物体；(2)测量从彩色和全色图像传感器到物体的距离；(3)基于所测量 的距离来调整图像，并且(4)使用来自全色图像的亮度分量将图像转换为物体的精细的空 间彩色图像。用于指示处理器以测量从图像传感器到物体的距离的处理指令可以包括使用 扫描器，诸如激光扫描器。在一个实施例中，用于基于所测量的距离来指示处理器以调整图像的处理指令可 以包括在空间上将来自由全色图像传感器产生的图像的亮度分量移位到与由彩色图像传 感器接收的图像相关的位置。替代地，用于指示处理器以调整物体的图像的处理指导也可 以包括在空间上将由彩色图像传感器产生的图像的亮度分量移位到与由全色图像传感器 接收的图像相关的位置。在移位彩色或全色图像的亮度分量中，也可以将在图像传感器和 物体之间的角度位置计算为处理指令的一部分。在图像传感器和物体之间的距离和在图像 传感器的光阑之间的距离可以用于计算所述角度位置。如参考图5所述，这个角度位置可 以用于考虑所感知的、由彩色和全色图像传感器看到的成像物体(相对于背景)的位置上 的移位。在一个实施例中，用于指示处理器以将图像转换为物体的精细的空间彩色图像的 处理指令可以包括将来自由彩色图像传感器产生的图像的亮度分量替换为来自全色图像 的空间移位的亮度分量。替代地，用于指示处理器以将图像转换为物体的精细的空间彩色 图像的处理指令也可以包括将来自彩色图像的空间移位的亮度分量替换为来自由全色图 像传感器产生的图像的亮度分量。有益的是，将彩色图像亮度分量替换为全色图像亮度分 量，因为全色亮度分量比彩色亮度分量具有更精细的空间分辨率并且因此可以产生高分辨 率彩色图像。特定实施例的上述说明将全面地披露本发明的一般特性，在不偏离本发明的一般 思想的情况下，其他人可以通过应用在本领域技术内的知识来容易地修改和/或适应于这 样的特定实施例的各种应用，而不用过度的实验。因此，基于在此提供的教导和指南，这样 的适应和修改意欲在所公开的实施例的等同物的含义和范围内。应当明白，在此的短语或 术语用于说明而不是限制的目的，因此本说明书的术语或短语由技术人员根据所述教导和 指南来解释。因此，本发明的宽度和范围应当不被上述示例性实施例的任何一个限制，而是 应当根据所附的权利要求及其等同物来限定。
权利要求
一种用于在宽景深环境中产生高分辨率图像的设备，包括彩色图像传感器；全色图像传感器，其耦合到所述彩色图像传感器；以及测量装置，其耦合到所述彩色和全色图像传感器，其中，所述测量装置被配置为测量从彩色和全色图像传感器到物体的距离。
2.根据权利要求1所述的设备，进一步包括被配置为将来自由所述彩色图像传感器接收到的图像的光过滤为具有亮度分量的多 谱输出的装置；以及被配置为将来自所述彩色图像的亮度分量替换为来自由所述全色图像传感器同步地 接收的全色图像的亮度分量的装置。
3.根据权利要求2所述的设备，其中，所述彩色图像传感器包括贝尔马赛克电荷耦合 器件。
4.根据权利要求1所述的设备，进一步包括被配置为检测来自由所述全色图像传感器获得的所述图像的亮度分量的装置；以及被配置为在空间上将所述亮度分量从所述全色图像移位到与由所述彩色图像传感器 接收的同步图像相关的位置的装置。
5.根据权利要求1所述的设备，其中，所述测量装置包括激光扫描器，所述激光扫描器 被配置为测量从所述彩色和全色图像传感器到所述物体的距离。
6.一种用于在宽景深环境中产生高分辨率图像的方法，包括使用彩色和全色图像传感器来同步地成像物体；测量从所述彩色和全色图像传感器到所述物体的距离；以及，基于所述测量的距离来调整所述物体的图像以考虑由于所述彩色和全色图像传感器 的光阑之间的空间差而导致的视差的影响。
7.根据权利要求6所述的方法，进一步包括将所述彩色和全色图像转换为所述物体 的精细的空间彩色图像。
8.根据权利要求7所述的方法，其中，转换所述彩色和全色图像包括将由所述彩色图 像传感器产生的图像的亮度分量替换为由所述全色传感器产生的图像的空间移位的亮度 分量。
9.根据权利要求6所述的方法，其中，测量从所述彩色和全色图像传感器到所述物体 的距离包括使用激光扫描器，所述激光扫描器被配置为测量所述距离。
10.根据权利要求6所述的方法，其中，调整所述图像包括在空间上将由所述全色图 像传感器产生的图像的亮度分量移位到与由所述彩色图像传感器接收的同步图像相关的 位置。
11.根据权利要求10所述的方法，其中，在空间上移位所述全色图像的所述亮度分量 包括使用特征匹配或移位和变体特征转换中的至少一个。
12.根据权利要求6所述的方法，其中，调整所述图像包括使用在所述图像传感器和 所述物体之间的距离和在所述两个图像传感器的光阑之间的空间距离来计算在所述彩色 和全色图像传感器和所述物体之间的角度位置。
13.一种用于在宽景深环境中产生高分辨率图像的系统，包括；存储器，其与所述处理器进行通信，所述存储器用于存储多个处理指令，所述多个处理 指令用于指示所述处理器使用彩色和全色图像传感器来同步地成像物体；测量从所述彩色和全色图像传感器到所述物体的距离；以及基于测量的距离来调整所述物体的图像以考虑由于在所述彩色和全色图像传感器的 光阑之间的空间差而导致的视差的影响。
14.根据权利要求13所述的系统，进一步包括与所述处理器进行通信的存储器，该存 储器用于存储多个处理指令，所述多个处理指令用于指示所述处理器将所述彩色和全色图 像转换为所述物体的精细的空间彩色图像。
15.根据权利要求14所述的系统，其中，用于指示所述处理器进行转换的指令包括用 于指示所述处理器将由所述彩色图像传感器产生的图像的亮度分量替换为由所述全色传 感器产生的图像的空间移位的亮度分量。
16.根据权利要求13所述的系统，其中，所述用于指示所述处理器进行测量的指令包 括用于指示所述处理器来使用激光扫描器测量所述距离的指令。
17.根据权利要求13所述的系统，其中，用于指示所述处理器调整所述物体的图像的 指令包括用于指示所述处理器在空间上将由所述全色图像传感器产生的图像的亮度分量 移位到与由所述彩色图像传感器接收的同步图像相关的位置的指令。
18.根据权利要求17所述的系统，其中，所述用于指示所述处理器以在空间上移位所 述全色图像的亮度分量的指令包括用于指示所述处理器以使用特征匹配或移位和变体特 征转换中的至少一个的指令。
19.根据权利要求13所述的系统，其中，用于指示所述处理器调整所述物体的图像的 指令包括用于指示所述处理器使用在所述图像传感器和所述物体之间的距离和在所述两 个图像传感器的光阑之间的空间距离来计算在所述彩色和全色图像传感器之间的角度位 置的指令。
20.一种设备，包括用于同步地成像物体以在宽景深环境中产生所述物体的高分辨率图像的装置；用于测量从图像传感器到所述物体的距离的装置；以及用于减少由于在所述图像传感器的光阑之间的空间距离而导致的视差的影响的装置。
全文摘要
一种用于在可变景深环境中接收图像的高分辨率图像装置可以包括彩色图像传感器、全色图像传感器和测量装置。所述彩色图像传感器可以被配置来接收物体的彩色图像。类似地，全色图像传感器可以接收同步全色图像。为了产生比由所述彩色图像传感器接收的图像具有更高分辨率的精细的空间彩色图像，所述图像装置可以被配置来将来自原始彩色图像的亮度分量替换为来自所述全色图像的亮度分量。但是，由于在所述彩色和全色图像传感器的光阑之间的空间差，可能由于所感知的、在所述彩色图像和所述全色图像中的成像物体相对于参考背景的移位而出现视差误差。所述测量装置可以被配置来测量在图像传感器和所述物体之间的距离，以使得所述图像装置可以被配置来使用所述距离来考虑视差的影响。
文档编号H04N5/21GK101939978SQ200880126325
公开日2011年1月5日 申请日期2008年12月29日 优先权日2007年12月27日
发明者伊恩·麦克克莱奇 申请人:谷歌公司