高分辨率多光谱图像捕捉的制作方法
【专利摘要】使用混合相机工具可以捕捉高分辨率多光谱图像，而不必牺牲分辨率以换取光谱精确度。高分辨率多光谱图像的捕捉可以包括：基于入射光的一部分形成高空间分辨率图像；以及基于入射光的另一部分生成包括多光谱样本的高光谱分辨率图像。然后，通过将高空间分辨率图像与高光谱分辨率图像合并来合成高辨率多光谱图像。
【专利说明】高分辨率多光谱图像捕捉
[0001]背景
[0002]来自周围环境的光在人眼内以颜色被感测到。人眼使用三种类型的对光谱的不同部分敏感的视锥细胞，即对红、绿和蓝(RGB)波长光敏感的视锥细胞来感受颜色。常规的录像机可以记录充分复制颜色以用于人眼观看的RGB数据。然而，从所捕捉物体反射离开的可见光的光谱可能包含丰富的细节，这些细节在RGB数据的粗糙三通道感测中丢失。丢失的光谱细节在其他情况下可以揭示关于图像中所记录物体的大量附加信息、以及物体被记录的照明条件。
[0003]概述
[0004]在此描述了用于实现混合相机工具的技术，该混合相机工具组合从RGB相机采集的红、绿、蓝(RGB)图像信息和从灰度相机采集的多光谱图像数据，以产生具有高光谱分辨率和高空间分辨率二者的图像。该混合相机工具可以比捕捉高空间分辨率、但低光谱分辨率的独立RGB相机提供更优的图像。该混合相机工具还可以比捕捉高光谱分辨率、但低空间分辨率的独立灰度相机提供更优的图像。因此，不同于用时间分辨率或空间分辨率换取附加光谱信息的系统，该混合相机工具不牺牲分辨率来交换光谱精确度。
[0005]在至少一个实施例中，高分辨率多光谱图像的捕捉可以包括:基于入射光的一部分形成高空间分辨率图像。包括多光谱样本的高光谱分辨率图像也可以基于入射光的另一部分生成。然后,通过将高空间分辨率图像与高光谱分辨率图像合并来合成高空间分辨率和高光谱分辨率图像。
[0006]提供本
【发明内容】
是为了以简化的形式介绍将在以下具体实施例中进一步描述的一些概念。本
【发明内容】
并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。
[0007]附图简述
[0008]参考附图来描述【具体实施方式】。在附图中，附图标记最左边的数字标识该附图标记首次出现的附图。在不同的附图中使用相同的附图标记来指示相似或相同的项。
[0009]图1是示出实现混合相机工具的示例性方案的框图。
[0010]图2是示出混合相机系统的示例性组件的说明性图。
[0011]图3是示出实现混合相机工具的电子设备的所选说明性组件的框图。
[0012]图4是示出用于生成高空间分辨率和高光谱分辨率合并图像的示例过程的流程图。
[0013]图5是示出用于将像素的多光谱信息从高光谱分辨率图像传播到高空间分辨率图像的示例过程的流程图。
[0014]详细描述
[0015]在此所描述的实施例涉及用于实现混合相机工具的技术，所述混合相机工具捕捉高分辨率多光谱图像。该混合相机工具可以组合RGB图像信息和多光谱图像数据以产生具有高光谱分辨率和高空间分辨率二者的图像。RGB图像信息可以使用RGB相机来采集，并且多光谱图像数据可以使用灰度相机来采集。该混合相机工具可以通过提供具有较高光谱分辨率的图像而比独立RGB相机提供更优的图像。该混合相机工具可以通过提供具有较高空间分辨率的图像而比独立灰度相机提供更优的图像。因此，不同于用时间分辨率或空间分辨率换取附加光谱信息的系统，该混合相机工具不牺牲分辨率来交换光谱精确度。下面参考图1-5来描述根据实施例的用于使用混合相机工具来提供高空间分辨率和高光谱分辨率图像的技术的各个示例。
[0016]示例方案
[0017]图1是示出实现混合相机工具102的示例方案100的框图。混合相机工具102可以包括混合相机系统104、以及由电子设备108实现的图像合并引擎106。混合相机系统104可以包括捕捉一个或多个RGB图像112的红、绿、蓝(RGB)相机110、以及捕捉一个或多个灰度图像116的灰度相机114。RGB图像112中的每个都具有高空间分辨率和低光谱分辨率。例如，RGB图像112中的每个都具有比对应灰度图像116更低的光谱分辨率。相反，灰度图像116中的每个都具有低空间分辨率和高光谱分辨率。例如，灰度图像116中的每个都具有比对应RGB图像112更低的空间分辨率。
[0018]RGB相机110可以如下的相机:该相机使用基于电荷耦合器件(CCD)的传感器来采集三个独立的红、绿、蓝颜色的数据通道，所述数据通道表示从场景或物体反射的光。灰度相机114可以是如下的相机:该相机使用单个多光谱CCD传感器来采集图像，该传感器作为从纯白到纯黑范围的各灰色程度来采集从场景或物体反射的光的强度。RGB相机110和灰度相机114中的每个都能够捕捉单独的图像或者形成视频的连续图像流。在一些实施例中，RGB相机可能能够以每秒25帧(fps)或更高来捕捉1024X768像素的分辨率(或其他分辨率)。在其他实施例中，灰度相机可能能够以25fps或更高、以2448X2088像素的分辨率(或其他分辨率)来捕捉图像。
[0019]来自混合相机系统104的RGB相机110和灰度相机114的信号可以被传递给图像合并引擎106。进而，图像合并引擎106可以使用传播算法基于颜色相似性和空间接近度将来自灰度图像116的多光谱样本与RGB图像112中的RGB信息相组合。因此，图像合并引擎106可以产生一个或多个经合并的图像118，所述经合并的图像118具有高空间分辨率和高光谱分辨率二者。在各个实施例中，经合并的图像118可以是从RGB图像112的序列和灰度图像116的对应序列中实时地(例如以25fps或更高的速率)合成的视频流的一部分。
[0020]示例混合相机系统
[0021]图2是示出混合相机系统104的示例组件的说明性图。混合相机系统104可以包括RGB相机110和灰度相机114。混合相机系统104可以包括不透明的机壳202，该机壳202将混合相机系统104的组件同背景光隔离开。来自场景或物体204的入射光可以最初通过光圈206进入混合相机系统104并到达分光器208。分光器208可以将光的一部分沿着路径210反射，同时将光的剩余部分的至少一些沿着路径212透射。在各个实施例中，分光器208可以是半反射、半通透分光器，该分光器向RGB相机110和灰度相机114提供相等或近似相等的光能。
[0022]来自分光器208的沿着路径210行进的反射光可以进一步被镜214沿着路径216反射以到达RGB相机110。RGB相机110然后可以以RGB图像112的形式从沿着路径216的光中采集高空间分辨率图像数据。在可替代的实施例中，RGB相机110可以被放置在镜214的位置处，使得沿着路径210的光直接进入RGB相机110。然而，使用镜214来将光重定向成沿着路径216可以使得混合相机系统104更加紧凑，因为RGB相机110和灰度相机114可以被定位得彼此更靠近，即两个相机之间的距离被减小。
[0023]沿着路径212透射穿过分光器208的光可以被棱镜218 (或其他某个光谱色散光学组件)色散到灰度相机114上。灰度相机114可以采集高光谱分辨率灰度图像116，所述灰度图像116捕捉来自场景或物体204的光的众多光谱通道。可以沿着路径212使用遮挡罩220以对来自场景或物体204的光辐射进行子采样，以便防止来自场景或物体204的不同场景点的光谱的重叠被传输到灰度相机114中。然而，由于该子采样，到达灰度相机114的光可能产生具有低空间分辨率的图像数据。
[0024]在各个实施例中，遮挡罩220可以被配置为具有有规律地间隔开的开口行，比如行222，所述开口被设计为将光传递到棱镜218。每个开口都可以向灰度相机114提供一个多光谱样本。例如，遮挡罩220中的开口 226可以产生多光谱样本228。在至少一个实施例中，所述开口中的每个都可以是矩形形状。棱镜218可以由对波长400至1000纳米(nm)具有已知折射率的玻璃制成。棱镜218可以使光沿着特定方向色散，并且正交方向上的多光谱样本可以任选地被取平均以最小化噪声。
[0025]因此，遮挡罩220和棱镜218的布置可以向灰度相机114提供多光谱样本。在一个示例性实例中，该布置可以相对于灰度相机114被配置为使得每个光谱样本都在400nm至700nm的波长上跨越灰度相机114的灰度传感器的大致60个像素,这等价于大约5nm的光谱分辨率。
[0026]在另外的实施例中，可以沿着路径212在分光器208与棱镜218之间放置滤光器以滤除某些光谱带。当所期望的是仅仅所选范围的光谱带到达灰度相机114时，可以实现滤光器224。
[0027]RGB相机110和灰度相机114的操作可以被统一，使得每个高空间分辨率RGB图像112都与对应的高光谱分辨率灰度图像116同时被捕捉。另外，RGB相机110和灰度相机114可以被对齐以捕捉场景或物体204的相同视图。另外，可以使用扫掠水平和垂直行的校准视频来实现由RGB相机110和灰度相机114所捕捉的图像信息的对应性。
[0028]在至少一个实施例中，校准视频可以使用定位在RGB相机110和灰度相机114之前的显示屏来呈现，其中所述RGB相机110和灰度相机114被对齐以捕捉相同视图。扫掠行可以对照黑背景以白色呈现在显示屏上。另外，所显示的扫掠行中的每个都可以具有与荧光灯相似的光谱峰值的光谱。因此，当水平线扫掠到灰度相机114中的示例性灰度传感器232的水平传感器部分230 (例如传感器元件的水平行)上时，来自扫掠水平行的光可以产生来自水平传感器部分230的响应。相同的扫掠水平行也可以在其触发示例性灰度传感器232中的响应的时刻也触发RGB相机110中的示例性RGB传感器236的水平传感器部分234 (例如传感器元件的水平行)中的类似响应。通过这种方式,灰度相机114和RGB相机110的对应水平传感器部分可以被标识出。
[0029]以相同方式，当垂直线扫掠到示例性灰度传感器232的垂直传感器部分238(例如传感器兀件的垂直行)上时，来自扫掠垂直行的光可以产生来自垂直传感器部分238的响应。相同的扫掠垂直行也可以在其触发示例性灰度传感器中的响应的时刻也触发RGB相机110中的示例性RGB传感器236的垂直传感器部分240 (例如传感器元件的垂直行)中的类似响应。通过这种方式，灰度相机114和RGB相机110的对应垂直传感器部分可以被标识出。基于水平传感器部分(例如水平传感器部分230和234)之间的对应性以及垂直传感器部分(例如垂直传感器部分238和240)之间的对应性，可以确定各个多光谱样本与RGB相机110的示例性RGB传感器236所检测到的像素的对应性。因此，一旦RGB相机110和灰度相机114被校准，则灰度图像116中的每个多光谱样本点都可以具有对应RGB图像112中的共享相同入射光的对应像素。
[0030]在各个实施例中，混合相机系统104的设置可以针对不同的光谱分辨率进行调整。光谱分辨率可以取决于如下面等式(I)中所示的若干参数:
[0031]光谱分辨率κ(j)
[0032]其中f是灰度相机114的相机透镜242的焦距，η是棱镜218的折射率，ω是棱镜角，并且α是入射光角。光谱分辨率可以通过将较大焦距相机透镜242用于灰度相机114来增加，所述灰度相机114具有防止传感器上的光谱重叠的合适遮挡罩220。然而，光谱分辨率的增加可能导致每图像更少的多光谱样本，这可能降低传播精确度。较大焦距的使用还可能导致更少的光能到达灰度相机114的传感器(例如灰度传感器232)。然而，减小的光能可以通过为每个图像增加曝光时间和/或较低的帧率来补偿。
[0033]在一些实施例中，RGB相机110和灰度相机114可以相对于不透明的机壳202被定位为使得来自光圈206的入射光到达灰度相机的相机透镜242和RGB相机110的相机透镜244。然而，可以将分别包括传感器232和236以及相关联的成像处理和传输组件的各相机主体实现在不透明的机壳202之外。另外，这两个组件的成像处理和传输组件可以被集成到单个电子封装中而不是作为单独的封装。
[0034]电子设备组件
[0035]图3是示出实现混合相机工具的电子设备108的所选说明性组件的框图。在各实施例中，电子设备108可以是通用计算机，诸如台式计算机、平板计算机、膝上型计算机、月艮务器等。然而，在其它实施方式中，电子设备108可以是相机、智能电话、游戏控制台、个人数字助理(PDA)等中的一个。
[0036]电子设备108可包括一个或多个处理器302、存储器304、和/或使用户能够与该电子设备交互的用户控制。存储器304可使用诸如计算机存储介质等计算机可读介质来实现。计算机可读介质包括至少两种类型的计算机可读介质，即计算机存储介质和通信介质。计算机存储介质包括以用于存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于，RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光存储、磁带盒、磁带、磁盘存储或其他磁存储设备，或者可用于存储信息以供计算设备访问的任何其他非传输介质。相反，通信介质可在诸如载波之类的已调制数据信号或其他传输机制中体现计算机可读指令、数据结构、程序模块或其他数据。如本文所定义的，计算机存储介质不包括通信介质。
[0037]电子设备108可具有网络能力。例如，电子设备108可经由诸如因特网等一个或多个网络与其他电子设备(例如，膝上型计算机、服务器等)交换数据。在某些实施方式中，电子设备108可用诸如云计算网络中的服务器等的多个联网服务器来替换。
[0038]电子设备108的所述一个或多个处理器302和存储器304可以实现包括下列各项的组件:图像合并引擎106、颜色调整模块306、跟踪模块308、用户界面模块310和数据存储312。图像合并引擎106可以根据相似性和空间接近度将每个灰度图像116中的多光谱数据传播到对应的RGB图像112中。在各个实施例中，图像合并引擎106可以实现能够实时执行该传播的双边滤波技术。因此，图像合并引擎106可以产生视频流形式的经合并的图像118。在各个实施例中，图像合并引擎106可以包括多光谱传播模块314和时间增强模块316。这些模块可包括执行特定任务或实现特定抽象数据类型的例程、程序指令、物体和/或数据结构。
[0039]双边滤波技术可以考虑到灰度图像116的光强和其对应RGB图像112的光强的差异。由于使用遮挡罩220，RGB图像112可能包括与来自对应灰度图像116的多光谱样本不对应的一个或多个RGB像素、以及与来自对应灰度图像116的多光谱数据具有对应性的一个或多个RGB像素。例如，分辨率为pXq像素的RGB图像和分辨率为mXn (m〈p，n〈q)的对应多光谱灰度图像的重叠可以产生示例性的组合帧318。在帧318中，可能存在具有对应多光谱样本的RGB像素(被示为阴影像素)(在此称为“相关联的像素”)、以及不具有对应多光谱样本的RGB像素(被示为非阴影像素)(在此称为“不相关联的像素”)。如所示那样，像素320是示例性的相关联的像素，其具有对应的多光谱样本，而像素322是示例性的不相关联的像素，其缺少对应多光谱样本。
[0040]然而，多光谱传播模块314可以基于每个不相关联的像素与周围的相关联的像素之间的颜色相似性和空间距离为每个不相关联的像素导出多光谱数据。
[0041]参照示例性帧318，多光谱传播模块314可以等式(2)中的如下方式为每个不相关联的像素(i，j)从其相邻的相关联的像素中计算多光谱信息:
【权利要求】
1.一种设备，包括: 分光器，用以将入射光分成第一光部分和第二光部分； 第一相机，其基于所述第一光部分记录红、绿、蓝(RGB)图像； 遮挡罩，其对来自所述第二光部分的光辐射进行子采样以提供多光谱样本；以及 第二相机，其记录包括所述多光谱样本的灰度图像。
2.如权利要求1所述的设备，其特征在于，还包括图像合并引擎，所述图像合并引擎合成经合并的图像，所述经合并的图像具有从所述RGB图像导出的空间分辨率以及从所述灰度图像导出的光谱分辨率。
3.如权利要求1所述的设备，其特征在于，还包括不透明的机壳，所述不透明的机壳包括用以将所述入射光传递给所述分光器的光圈，所述不透明的机壳至少包围所述分光器、所述遮挡罩以及棱镜。
4.权利要求1所述的设备，其特征在于，还包括镜，所述镜以减少第一相机与第二相机之间的距离的角度将所述第一光部分从所述分光器反射到所述第一相机。
5.权利要求1所述的设备，其特征在于，还包括棱镜或另一光谱色散光学组件，所述棱镜或所述另一光谱色散光学组件沿着初始方向将所述第二光部分色散，并且利用所述棱镜或所述另一光谱色散光学组件，所述多光谱样本在正交于所述初始方向的另一方向上被取平均。
6.权利要求1所述的设备，其特征在于，还包括滤光器，所述滤光器对所述第二光部分进行过滤以移除所述第二光部分的一个或多个光谱带。
7.一种方法，包括: 从入射光的第一部分中形成高空间分辨率图像； 基于所述入射光的第二光部分生成包括多光谱样本的高光谱分辨率图像，所述高光谱分辨率图像比所述高空间分辨率图像具有更低空间分辨率和更高光谱分辨率；以及 将所述高空间分辨率图像与所述高光谱分辨率图像合并以生成经合并的图像，所述经合并的图像具有所述高空间分辨率图像的空间分辨率和所述高光谱分辨率图像的光谱分辨率。
8.权利要求7所述的方法，其特征在于，还包括:将所述入射光分成所述第一光部分和所述第二光部分。
9.权利要求7所述的方法，其特征在于，还包括:对所述经合并的图像执行颜色调整。
10.权利要求7所述的方法，其特征在于，所述高光谱分辨率图像是基于红、绿、蓝颜色通道数据被编码的红、绿、蓝(RGB)图像，并且其中所述高光谱分辨率图像是灰度图像。
11.如权利要求7所述的方法，其特征在于，所述生成包括: 使所述第二光部分穿过对来自所述第二光部分的光辐射进行子采样的遮挡罩以生成所述多光谱样本； 将所述第二光部分沿着初始方向色散，并且由此所述多光谱样本在正交于所述初始方向的另一方向上被取平均；以及 记录包括所述多光谱样本的高光谱分辨率图像。
12.如权利要求7所述的方法，其特征在于，所述合并包括: 标识出所述高空间分辨率图像中的具有来自所述高光谱分辨率图像的对应多光谱样本的相关联的像素； 标识出所述高空间分辨率图像中的缺少来自所述高光谱分辨率图像的对应多光谱样本的不相关联的像素；以及 将多光谱信息从一个或多个相邻的相关联的像素传播到每个不相关联的像素。
13.权利要求12所述的方法，其特征在于，还包括通过如下方式来标识出另一相关联的像素:使用光流从时间上在所述高空间分辨率图像之前的另一高空间分辨率图像中采集附加的多光谱样本。
14.权利要求12所述的方法，其特征在于，所述传播包括:将所述多光谱信息以每通道的基础传播到不相关联的像素的多个RGB通道中的每个，并且对所述多个RGB通道的光谱值求和以获得所述不相关联的像素的完全光谱。
15.一种计算设备，包括: 一个或多个处理器；以及 存储器，其包括多个计算机可执行组件，所述多个计算机可执行组件包括: 多光谱传播组件，其从高空间分辨率图像和在高光谱分辨率图像中捕捉的多光谱样本中生成经合并的图像，所述高空间分辨率图像比所述高光谱分辨率图像具有更低的光谱分辨率和更高的空间分辨率；以及 时间增强组件，其通过光流从时间上在所述高空间分辨率图像之前的至少一个附加的高空间分辨率图像中采集 所述多光谱样本中的一个或多个。
16.如权利要求15所述的计算设备，其特征在于，还包括颜色调整组件，所述颜色调整组件自动调整所述经合并的图像的一个或多个颜色。
17.如权利要求15所述的计算设备，其特征在于，多光谱传播组件从对应高空间分辨率图像和高光谱分辨率图像中生成多个经合并的图像，还包括跟踪组件，所述跟踪组件跟踪在所述多个经合并的图像中所捕捉的物体。
18.如权利要求15所述的计算设备，其特征在于，所述多光谱样本中的至少一些是从穿过遮挡罩和棱镜的光中生成的。
19.如权利要求15所述的计算设备，其特征在于，所述多光谱传播组件通过如下方式生成所述经合并的图像: 标识出所述高空间分辨率图像中的具有来自所述高光谱分辨率图像的对应多光谱样本的相关联的像素； 标识出所述高空间分辨率图像中的缺少来自所述高光谱分辨率图像的对应多光谱样本的不相关联的像素；以及 将多光谱信息从一个或多个相邻的相关联的像素传播到每个不相关联的像素。
20.如权利要求15所述的计算设备，其特征在于，所述多光谱传播组件将所述多光谱样本中的多光谱信息以每通道的基础传播到不相关联的像素的多个RGB通道中的每个，并且对所述多个RGB通道的光谱值求和以获得所述不相关联的像素的完全光谱。
【文档编号】H04N9/09GK103609102SQ201180071639
【公开日】2014年2月26日 申请日期:2011年6月15日 优先权日:2011年6月15日
【发明者】S·S·林, X·童, X·曹 申请人:微软公司