控制高光谱图像的分辨率的方法
【专利摘要】一种控制来自图像传感器的高光谱图像的分辨率的方法，所述图像传感器包括像素和定义每个像素内的子像素的至少一个滤波器，所述方法包括:在具有行和列子像素的阵列的图像传感器上定义窗口;基于所述高光谱图像的至少一个预定义参数，对所述窗口内的子像素进行加权，以确定针对预定义参数的所述阵列的加权平均值;将所述窗口移动预定数目的行或列;对所述图像传感器上的所有可能的窗口重复所述加权和移动步骤;以及基于加权平均值处理所述高光谱图像。
【专利说明】控制高光谱图像的分辨率的方法
【技术领域】
[0001]本发明涉及一种控制高光谱图像的分辨率的方法。
【背景技术】
[0002]常规成像系统以及高光谱成像系统都采集并记录多个不同光谱带中的电磁能量。通过将光谱带信息组合成一个或许多通道以形成图像的灰度或彩色表示，来显示产生的图像。高光谱图像(HSI)装置是一类同时记录众多空间图片元素(称为图像传感器上的像素)的许多离散光谱带或颜色的能量的光谱仪。标准的宽带成像器对一个宽光谱内的所有检测到的入射能量记录每个像素的一个值，并通过二维阵列的检测器创建两个空间维度的图像。HSI装置与标准的宽带成像器的不同之处在于，创建具有附加的光谱维度的图像。每个HSI像素可以具有十个到几百个记录波长值。
【发明内容】
[0003]本发明的一个方面涉及一种控制来自图像传感器的高光谱图像的分辨率的方法，所述图像传感器包括像素和定义每个像素内的子像素(subpixel)的至少一个滤波器。所述方法包括:在包括行和列子像素的阵列的图像传感器上定义窗口；基于所述高光谱图像的一个或多个预定义参数，对所述窗口内的子像素进行加权(weighting),以确定对于预定义参数的所述阵列的加权平均值；将所述窗口移动预定数目的行或列，其中，所述预定数目小于所述阵列中相应的行或列的数目；对所述图像传感器上的所有可能的窗口重复加权和移动步骤；以及基于加权平均值处理所述高光谱图像。
[0004]作为优选，所述至少一个预定义参数为红色、绿色和蓝色光谱带中至少一个的强度值。
[0005]作为优选，所述至少一个预定义参数为所有红色、绿色和蓝色光谱带的强度值。
[0006]作为优选，所述至少一个滤波器为拜耳滤波器。
[0007]作为优选，所述至少一个预定义参数为连续光谱带的强度值。
[0008]作为优选，所述强度值是由16个光谱带确定的。
[0009]作为优选，所述至少一个滤波器为包括微透镜阵列(microlens array)的小透镜(Ienslets)的高光谱滤波器。
【专利附图】
【附图说明】
[0010]在附图中:
[0011]图1是图解说明通过高光谱数据立方体，通常已知的对高光谱图像采样的示意图
/Jn ο
[0012]图2是图解说明根据本发明的实施例对从高光谱数据立方体得到的高光谱图像进行上采样(upsampling)的方法的流程图。
[0013]图3是图解说明对图2的方法中通过高光谱数据立方体得到的高光谱图像的第一像素进行上采样的示意图示。
[0014]图4是图解说明对图2的方法中通过高光谱数据立方体得到的高光谱图像的第二像素进行上采样的示意图示。
[0015]图5是图解说明对图2的方法中通过高光谱数据立方体得到的高光谱图像的第三像素进行上采样的示意图示。
[0016]图6是图解说明对图2的方法中通过高光谱数据立方体得到的高光谱图像的第四像素进行上采样的示意图示。
[0017]图7是图解说明对在图2的方法中通过高光谱数据立方体得到的高光谱图像进行完整上采样的示意图示。
【具体实施方式】
[0018]在背景部分以及下文的描述中，出于解释目的，列出了各种具体细节以便提供对本文中描述的技术的彻底理解。然而，对本领域技术人员而言显然没有这些具体细节也可以实施这些示例性实施例。在其它实例中，以图形方式显示了结构和装置以便便于对示例性实施例的描述。
[0019]参照附图，描述这些示例性实施例。这些图图示了实现本文中描述的模块、方法或计算机程序产品的特定实施例的一些细节。然而，这些图示不应当理解为强加图中可能出现的任何限制。方法和计算机程序产品可以提供于任何机器可读介质上以用来完成他们的操作。可以使用现有的计算机处理器，或者通过为此目的或其它目的包括的专用计算机处理器，或者通过硬件系统来实施这些实施例。
[0020]如上文指出的，本文中描述的实施例可以包括计算机程序产品，计算机程序产品包括用于执行或者具有其上存储的机器可执行指令或数据结构的机器可读介质。这种机器可读介质可以是任意可用介质，它可以通过通用或专用计算机或具有处理器的其它机器访问。作为示例，这种机器可读介质可包括RAM，ROM, EPROM, EEPROM, CD-ROM或其它光盘存储器，磁盘存储器或其它磁存储装置，或者可以用来执行或存储所需的形式为机器可执行指令或数据结构的程序代码，并可以由通用或专用计算机或具有处理器的其它机器访问的任意其它介质。当信息通过网络或其它通信连接(或者硬连线、无线或者是硬连线或无线的组合)传送或提供给机器时，机器适当地将连接视为机器可读介质。因此，任何这类连接被适当地称作机器可读介质。上述的组合也包括在机器可读介质的范围内。机器可执行指令包括，例如指令和数据，其引起通用计算机、专用计算机或专用处理机执行一个特定功能或功能组。
[0021]在方法步骤的一般背景下描述这些实施例，在一个实施例中，这些方法步骤可以通过程序产品实现，程序产品包括机器可执行指令，诸如形式为例如由联网环境中的机器执行的程序模块的程序代码。通常，程序模块包括具有执行特定任务或实现特定的抽象数据类型的技术效果的例程、程序、对象、组件、数据结构等。机器可执行指令，相关的数据结构以及程序模块代表用于执行本文中公开的方法步骤的程序代码的示例。这种可执行指令或关联数据结构的特定顺序表示用于实现在这些步骤中描述的功能的相应行为的例子。
[0022]可以在联网环境中使用与具有处理器的一个或多个远程计算机的逻辑连接来实现这些实施例。逻辑连接可包括局域网(LAN)和广域网(WAN)，他们在这里作为例子而不是作为限制列出。这种联网环境在办公或企业计算机网络、企业内部网和因特网是常见的，可以使用各种不同的通信协议。本领域技术人员会认识到这种联网计算环境通常包括许多类型的计算机配置，包括个人计算机、手持装置、多处理器系统、微处理器类型或可编程消费电子，网络PC、微型计算机、主机计算机等。
[0023]还可以在分布式计算环境中实施这些实施例，在分布式计算环境中，任务是通过通信网络链接(通过硬链接、无线链接或通过硬链接或无线链接的组合)的本地和远程处理装置执行的。在分布式计算环境中，程序模块可位于本地和远程存储装置中。
[0024]用于实现示例性实施例的全部或一部分的示例性系统可包括形式为计算机的通用计算装置，包括处理单元、系统存储器和系统总线，系统总线将包括系统存储器的各个系统组件耦连到处理单元。系统存储器可包括只读存储器(ROM)和随机存取存储器(RAM)。计算机还可包括用于读写磁硬盘的磁硬盘驱动器，用于读写可移动磁盘的磁盘驱动器和用于读写可移动光盘(诸如CD-ROM或其它光介质)的光盘驱动器。驱动器和驱动器关联的机器可读介质提供机器可执行指令、数据结构、程序模块和用于计算机的其它数据的非易失性存储。
[0025]在实施例中公开的方法的技术效果包括通过现有信息提高图像的空间分辨率，这与提高传感器的范围，特别是当结合传感器使用对象检测和跟踪方法时有直接相互关联。同样，所述方法通过更加有效地使用系统所收集的数据提高了现有的光谱复合图像技术。这种技术可以用在通过光谱立方体阵列生成复合图像的任意系统上。在光谱立方体阵列系统上实施这种技术会将传感器的空间分辨率提高与光谱立方体维度相同的因数。
[0026]图1是图解说明通过高光谱数据立方体12得到高光谱图像14的全色表示的已知采样的示意图示。由高光谱数据立方体12形成的高光谱图像14的全色表示是通过将从HSI装置的像素收集的所有光谱带的数据组合成单个阵列而形成的宽带图像。高光谱数据立方体12包括来自HSI装置的图像传感器上的像素的值的阵列，这里，每个像素，诸如高光谱数据立方体12的22包括子像素阵列,在此实施例中数目为9,标识为1-9,诸如，16,18,20。每个子像素，诸如像素22中的16，18，20表示特定的光谱带，并包含于单个像素22内。应理解，取决于特定应用，每个像素可以有更多或更少的子像素。由子像素表示的光谱带可以是高光谱数据立方体12的9个光谱带,或HSI装置(如来自Surface Optics公司的S0C710)的16个光谱带或与已知的拜耳滤波器(Bayer filter)的红色、蓝色和绿色对应的三个不同的光谱带，不过，取决于特定实施的需要，其它的光谱带滤波器配置(包括由子像素表示的光谱带对于一个像素中的多个子像素是相同的配置)是可行的。
[0027]高光谱数据立方体12通过转换方法24被转换成高光谱图像14的全色表示，转换方法24将给定的高光谱像素22的所有子像素(在此实施例中是1-9)的值转换成单个全色像素28的值。在此实施例中，像素22中的9个子像素各自包括表示唯一波长强度的值，编号为I到9，并通过转换方法24进行组合。对高光谱数据立方体12中的所有高光谱像素重复用来组合每个高光谱像素22的所有子像素值的转换方法24，在此实施例中，每个像素的中心位于与波长5 (16，26，44，46，48，50，52，54)对应的子像素，并包括与波长5和8个最近的子像素对应的子像素。
[0028]用来形成单个全色像素28的值的一种转换方法24是对高光谱像素22的所有9个子像素的值取平均。通过使用规定的转换方法24对高光谱数据立方体12中的数据采样，高光谱图像14将具有与高光谱数据立方体12相同的分辨率或像素数。以与波长5对应的子像素(16，26，27，44，46，48，50，52，54)为中心的高光谱数据立方体12的每个像素将被采样，以生成单个全色像素，诸如28和30。
[0029]图2是图解说明根据本发明的实施例控制从高光谱数据立方体得到的高光谱图像的分辨率的上采样方法80的流程图。使用方法80，高光谱图像的每个全色像素可通过采样的高光谱数据立方体的子像素的采样子集来生成，而不考虑高光谱数据立方体的像素的边界。方法80可包括步骤:定义窗口(步骤82)，对于给定窗口位置，对窗口中的子像素值进行加权(步骤86)，给输出高光谱图像分配加权平均值(步骤88)，从第一窗口位置开始(步骤84)通过迭代窗口位置的集合，并递增连续的窗口位置(步骤90)来重复地加权和移动窗口的子像素，直到已经处理完所有的窗口位置(步骤92)。
[0030]上采样方法80的第一步可以是定义窗口 82，在图像处理中也称为掩模(mask)或模板(template)，以确定高光谱数据立方体的哪些子像素可以用来计算产生高光谱图像的像素的值。窗口在所包括的子像素的数目和位置方面可以与像素的大小相同。然而，取决于实现方式，可以使用任意大小的窗口。窗口可以包括比像素中所包含的子像素多或少的子像素，并且可以是与定义像素的子像素集合的形状完全不同的形状。例如，包括矩形布置子像素的窗口可应用于由具有正方形布置子像素的像素组成的高光谱数据立方体。
[0031]窗口可应用到第一窗口位置(步骤84)，之后对窗口中的子像素值进行加权(步骤86)。在每个窗口位置，可以对每个窗口子像素的值应用加权过程。以数学方式，这可以表示为:
【权利要求】
1.一种控制来自图像传感器的高光谱图像的分辨率的方法，所述图像传感器包括像素和定义每个像素内的子像素的至少一个滤波器，所述方法包括: 在包括行和列子像素的阵列的图像传感器上定义窗口； 基于所述高光谱图像的至少一个预定义参数，对所述窗口内的子像素进行加权，以确定针对所述至少一个预定义参数的所述阵列的加权平均值； 将所述窗口移动预定数目的行或列，其中，所述预定数目小于所述阵列中相应行或列的数目； 对所述图像传感器上的所有可能的阵列重复加权步骤和移动步骤，并基于加权平均值处理所述高光谱图像。
2.根据权利要求1所述的方法，其特征在于:所述至少一个预定义参数为红色、绿色和蓝色光谱带中至少一个的强度值。
3.根据权利要求2所述的方法，其特征在于:所述至少一个预定义参数为所有红色、绿色和蓝色光谱带的强度值。
4.根据权利要求1所述的方法，其特征在于:所述至少一个滤波器为拜耳滤波器。
5.根据权利要求1所述的方法，其特征在于:所述至少一个预定义参数为连续光谱带的强度值。
6.根据权利要求5所述的方法，其特征在于:所述强度值是由16个光谱带确定的。
7.根据权利要求1所述的方法，其特征在于:所述至少一个滤波器为包括微透镜阵列的小透镜的高光谱滤波器。
【文档编号】G06T7/00GK103679758SQ201310384617
【公开日】2014年3月26日 申请日期:2013年8月29日 优先权日:2012年8月29日
【发明者】E.D.比勒, S.A.M.拉西尼, B.T.奥基平蒂 申请人:通用电气航空系统有限责任公司