用于同时捕捉两组或更多组光图像的系统和方法与流程

本公开总体涉及用于图像处理的系统和方法；更具体地，涉及用于同时捕捉可见光图像和红外光图像的系统和方法。

背景技术：

常规的数字摄像机包括透镜、滤光器和成像传感器。滤光器确定传感器捕捉哪个光带或哪些光带。例如，有源深度摄像机使用红外带通滤波器，因此仅捕捉从有源装置发出的红外光。这样的摄像机或这样的一组摄像机通常用于恢复摄像机的视野内的三维(3d)景深。通过另一示例，红外截止滤波器可用于常规的红-绿-蓝(rgb)摄像机，以通过减少由红外光所引起的干涉来提高捕捉到的图像的质量。

为了解决许多计算机视觉任务，诸如三维重建，来自运动的结构，视觉同步位置和映射(slam)，面部识别，场景理解等，深度图像和常规图像两者都是有用的输入。传统地，已通过两个不同的物理摄像机或两组不同的传感器捕捉深度图像和常规图像。

然而，使用多个摄像机是昂贵的。具有两个或更多个摄像机意味着存在成倍的许多部件，这增加了成本。另外，使用多个摄像机会带来与安装和使用相关联的附加间接成本。例如，校准和对齐两个摄像机图像并不容易。另外，由于制造和装配过程中的变化和限制，摄像机之间总是存在差异。例如，诸如透镜和摄像机传感器的摄像机部件在它们的响应和摄像机内的物理安装方面都可能有所不同。因此，对于每个摄像机，固有参数都是不同的。因此，摄像机固有参数的校准是一个重要的过程。因此，当前方法中所涉及的复杂性使得配置和使用这种多摄像机成像系统变得困难、耗时和昂贵。

因此，需要的是可改进捕捉图像的过程并减轻摄像机对准问题(即，使深度图像和常规图像对齐)的系统和方法。

技术实现要素：

在本公开的一方面，提供了成像系统，包括：

图像传感器，包括传感器单元的阵列；以及

滤波器，包括至少两种类型的滤波器元件，所述至少两种类型包括：

红外滤波类型，允许红外光谱范围内的光穿行通过所述滤波器元件；以及

至少一种非红外滤波类型，允许可见光谱范围内的光穿行通过所述滤波器元件；以及

所述滤波器包括红外滤波器元件和非红外滤波器元件的模式，并相对于所述传感器单元的阵列中的所述传感器单元定位，以形成传感器单元与所述滤波器中的滤波器元件之间的对应关系，从而允许使用相同的所述图像传感器同时捕捉红外图像和可见光图像。

在本公开的另一方面，提供了用于使用相同的图像传感器阵列同时捕捉红外图像和可见光图像的方法，所述方法包括：

使用图像传感器和滤波器捕捉场景的图像，其中，所述图像传感器包括传感器单元的阵列，所述滤波器包括至少两种类型的滤波器元件，所述至少两种类型包括：

红外滤波类型，允许红外光谱范围内的光穿行通过所述滤波器元件；以及

至少一种非红外滤波类型，允许可见光谱范围内的光穿行通过所述滤波器元件；以及

所述滤波器包括红外滤波器元件和非红外滤波器元件的模式，并相对于所述传感器单元的阵列中的所述传感器单元定位，以形成传感器单元与所述滤波器中的滤波器元件之间的对应关系，从而允许使用相同的所述图像传感器同时捕捉红外图像和可见光图像；

将由每个传感器单元生成的信号转换为数字表示的数据；

将所述数字传感器数据划分为至少两组，所述至少两组包括：

包括红外数据的一个组；以及

包括非红外数据的另一组；

对于每组数据，对于值被移除的每个元素，使用一个或多个附近的值来估算值，并将所估算的值添加到缺失位置中；以及

输出红外图像和至少一个非红外图像。

在本公开的再一方面，提供了成像系统，包括：

图像传感器，包括传感器单元的阵列；以及

滤波器，包括至少两种类型的滤波器元件，所述至少两种类型包括：

红外滤波类型，允许红外光谱范围内的光穿行通过所述滤波器元件；以及

至少一种非红外滤波类型，允许可见光谱范围内的光穿行通过所述滤波器元件；以及

所述滤波器包括红外滤波器元件和非红外滤波器元件的模式，并相对于所述传感器单元的阵列中的所述传感器单元定位，以形成传感器单元与所述滤波器中的滤波器元件之间的对应关系。

附图说明

将为本发明的实施方式给出参考，本发明的实施方式的示例可在附图中示出。这些附图旨在进行说明而非限制。尽管在这些实施方式的上下文中大体描述了本发明，但应理解的是，它不旨在将本发明的范围限于这些特定的实施方式。附图中的项未必成比例。

图1描绘了根据本文件的实施方式的示例性摄像机系统。

图2描绘了根据本文件的实施方式的二元滤波器或由两部分组成的滤波器的示例。

图3描绘了根据本文件的实施方式的由四部分组成的滤波器的示例。

图4描绘了根据本公开的实施方式的计算装置/信息处理系统(或计算系统)的简化框图。

图5描绘了根据本文件的实施方式的用于同时捕捉可见光和非可见光图像的方法。

图6描绘了根据本公开的实施方式的可用来从传感器阵列数据生成红外和非红外图像的方法。

图7描绘了根据本文件的实施方式的用于确定值的方法。

图8描绘了根据本文件的实施方式的部分数据阵列。

图9描绘了根据本公开的实施方式的用于估算来自如图3中所示的滤波模式的数据阵列中所缺失的红外值的示例性方法。

图10描绘了根据本文件的实施方式的部分数据阵列。

具体实施方式

在以下描述中，出于解释目的，阐明具体细节以便提供对本发明的理解。然而，将对本领域的技术人员显而易见的是，可在没有这些细节的情况下实践本发明。此外，本领域的技术人员将认识到，下文描述的本发明的实施方式可以以各种方式(例如过程、设备、系统、装置或方法)在有形的计算机可读介质上实施。

附图中示出的部件或是模块是本发明实施方式的示例性说明，并且意图避免使本发明不清楚。还应理解的是，在本论述的全文中，部件可描述为单独的功能单元(可包括子单元)，但是本领域的技术人员将认识到，各种部件或其部分可划分成单独组件，或者可整合在一起(包括整合在单个的系统或组件内)。应当注意的是，本文论述的功能或操作可实施为部件。部件可以以软件、硬件、或它们的组合实施。

此外，附图内的部件或系统之间的连接并不旨在限于直接连接。相反地，在这些部件之间的数据可由中间部件修改、重格式化、或以其它方式改变。另外，可以使用另外或更少的连接。还应注意的是，术语“联接”、“连接”或“通信地联接”应理解为包括直接连接、通过一个或多个中间装置来进行的间接连接、和无线连接。

在本说明书中对“一个实施方式”、“一个或多个实施方式”、“优选实施方式”、“实施方式”或“多个实施方式”的提及表示结合实施方式所描述的具体特征、结构、特性或功能包括在本发明的至少一个实施方式中，以及可包括在多于一个的实施方式中。另外，在本说明书的各个地方出现以上所提到的短语并不一定全都是指相同的实施方式或多个相同实施方式。

在本说明书的各个地方使用某些术语目的在于说明，并且不应被理解为限制。服务、功能或资源并不限于单个服务、单个功能或单个资源；这些术语的使用可指代相关服务、功能或资源的可分布或聚合的分组。还应理解的是，如本文中使用的术语“图像”或“多个图像”应意指静止图像、视频图像或两者。

术语“包括”、“包括有”、“包含”和“包含有”应理解为开放性的术语，并且其后任何列出内容都是示例，而不旨在限于所列项目。本文所使用的任何标题仅是为了组织目的，并且不应被用于限制说明书或权利要求的范围。本专利文献中提到的每个参考文献以其全文通过引用并入本文。

此外，本领域的技术人员应认识到，(1)某些步骤可以可选地执行；(2)步骤可不限于本文所阐述的特定次序；(3)某些步骤可以以不同次序执行；以及(4)某些步骤可同时地进行。

a.一般性概述

如前所述，为了解决许多计算机视觉任务，诸如三维重建，来自运动的结构，视觉同步位置和映射(slam)，面部识别，场景理解等，深度图像和常规图像两者都是有用的输入。传统地，已通过两个不同的物理摄像机或两组不同的传感器捕捉深度图像和常规图像。当系统中存在两个或多个摄像机时，会得到摄像机之间的固有参数以及几何关系，这就增加了配置和使用这种系统的间接成本。

一些深度摄像机将深度摄像机和常规摄像机封装在同一物理装置中，因此用户会通过使用复合装置获得rgb图像和深度图像两者。然而，这种系统具有缺点。首先，它们是昂贵的，因为仍然使用两个摄像机。其次，尽管两个摄像机可能在一个物理外壳中或附接至一个物理外壳，但事实仍然是存在两个摄像机，如前所述，这意味着它们将需要相应地校准。校准过程(诸如，摄像机非本征校准过程)可能是很耗时的。最后，单外壳双摄像机装置必须维持两个摄像机之间的结构的刚性，这增加了装置的重量和成本。

其它方法尝试使用算法方法，以从单个常规摄像机恢复深度。然而，这些仅使用算法的方法也具有缺点。首先，与专用深度摄像机相比，深度信息的质量往往较劣。以及其次，该计算通常需要昂贵的专用设备来执行计算，诸如专用的片上系统(soc)。

本文中呈现的实施方式提供了克服上述缺点的系统和方法，从而使在成像系统中同时捕获可见光和非可见光图像变得更容易和更有效。

b.系统实施方式

1.摄像机系统实施方式

图1描绘了根据本公开的实施方式的示例性摄像机系统或成像装置100。摄像机100包括一个或多个透镜105和滤波器145，其中，一个或多个透镜105用于将图像聚焦到图像传感器阵列110上，滤波器145对可在图像传感器阵列110处接收的光的类型进行滤波。

图像传感器阵列110可以是用于捕捉图像的半导体装置(诸如、电荷耦合装置(ccd)传感器阵列或互补金属氧化物半导体(cmos)传感器阵列)或其它传感器装置。在实施方式中，图像传感器阵列110通信地联接至处理器120(可以是一个或多个集成电路、专用集成电路和/或片上系统)，该处理器120用于处理由图像传感器阵列捕捉到的图像。

在实施方式中，滤波器145不同于设计成用于特定的光频率范围的典型摄像机滤波器。传统滤波器可以是带通滤波器，允许一定范围的光通过滤波器，或者滤波器可以是陷波滤波器，它阻挡一定范围的光。这些范围，无论是对于带通滤波器还是陷波滤波器，可能是宽的或窄的，但是对于整个滤波器来说总是一样的。即，传统滤波器允许或拒绝(取决于它是否是带通滤波器或陷波滤波器)同样的光用于整个滤波器。与传统滤波器对比，滤波器145是由多部分组成的滤波器，在滤波器中的不同位置处允许或阻止至少两种不同类型的光。因此，入射到传感器阵列上的光也是不同的。

在一个或多个实施方式中，滤波器145可包括配置成滤波特定光的多个单元或元件。在一个或多个实施方式中，滤波器布置成使得滤波器的每个滤波器元件与传感器的传感器单元一对一配准的对应。因此，在一个或多个实施方式中，滤波器中单元的数量与传感器中传感器阵列的数量(即，图像尺寸)相对应，诸如，640×480、1280×960等，尽管还可使用其它的滤波器阵列尺寸和配置。可替代地，在一个或多个实施方式中，传感器阵列可具有比滤波元件高的分辨率，使得滤波元件与多于一个的传感器单元相对应。在任何情况下，滤波器元件的类型决定了在成像曝光过程期间什么类型的光或光谱能够到达传感器单元，最终提供为图像中的一个或多个像素的提供值。

通过说明考虑图2和图3中描绘的示例性滤波器。图2描绘了根据本文件的实施方式的二元滤波器或由两部分组成的滤波器的示例。如图2中所示，滤波器200包括两种不同类型的滤波器元件——一组用于红外(ir)光的元件(例如，滤波器单元205)和一组用于可见(v)光的元件(例如，滤波器单元210)。这两种元件以重复的模式和交替的行进行配置。如图2中描绘的实施方式所示，滤波器200包括多个行；以及行包括重复模式的红外滤波器元件和非红外滤波器元件，并且同样类型的滤波器元件在连续的行中不对齐。因此，该模式形成棋盘状的模式。

此外，滤波器相对于传感器阵列布置，使得传感器单元与位于其前面的滤波器元件相对应并从其接收光。使用诸如图2中描绘的滤波器200的结果是传感器阵列将同时获取同一场景的两个图像，一个ir图像以及一个可见光(灰度级)图像。

图3描绘了根据本文件的实施方式的另一滤波器，在本示例中为红外及红-绿-蓝滤波器。如图3中所示，在一个或多个实施方式中，滤波器300可包括一组交替的行——包括重复模式的红外滤波器元件和第一类型的非红外滤波器元件的行，以及包括重复模式的第二类型的非红外滤波器元件和第三类型的非红外滤波器元件的行。因此，在一个或多个实施方式中，滤波器300包括四种不同类型的滤波器：一组红外滤波器(例如，滤波器单元305)、一组红色滤波器(例如，滤波器单元310)、一组蓝色滤波器(例如，滤波器单元315)以及一组绿色滤波器(例如，滤波器单元320)。应注意的是，在一个或多个实施方式中，每种类型的滤波器单元的数量不需要是一致的。例如，人眼更敏感的颜色(例如，绿色)可能在滤波器300中具有比其它颜色(诸如，蓝色或红色)更多的滤波器元件。使用诸如图3中描绘的滤波器300的结果是传感器阵列将有效地同时获取同一场景的两个图像，一个ir图像以及一个可见光(彩色)图像。

应注意的是，图2和图3中描绘的滤波器仅是示例。本领域技术人员应认识到，单元可具有不同的几何形状、不同的模式、不同的配置、对不同波长的选择等。

返回图1，在实施方式中，摄像机还可包括附加部件，附加部件包括但不限于电源115、一个或多个永久性和/或可移动存储器或存储装置125、一个或多个通信模块130、显示器140以及接口模块135，其中，存储器或存储装置125供处理器使用以暂时地、永久地或暂时地及永久地存储数据，通信模块130支持与一个或多个其它装置的通信(有线、无线或两者)，显示器140用于向用户显示图像和/或菜单项，以及接口模块135用于经由一个或多个按钮和/或经由显示器140(如果该显示器是触敏显示器时)从用户接收输入。本领域技术人员将认识到，摄像机系统100还可包括图1中未描绘的附加项，诸如图像编码器和其它项。应注意的是，本发明的实施方式可与任何装置一起使用，所述任何装置为成像装置或包括成像装置，该成像装置包括但不限于数字摄像机、视频摄像机、移动电话、计算机等。还应注意的是，摄像机系统100可进行不同的配置并包括不同的部件，包括比图1中描绘的更少或更多的部件。

2.计算系统实施方式

在实施方式中，本发明的方面可使用、可包括一个或多个信息处理系统/计算系统或者可在一个或多个信息处理系统/计算系统上实施，该信息处理系统/计算系统可与摄像机系统100一起使用，或并入摄像机系统100中或与摄像机系统100合并。计算系统可包括可操作来计算、运算、确定、分类、处理、传输、接收、检索、发起、路由、交换、存储、显示、通信、显现、检测、记录、再现、处理或使用任何形式信息、智能或数据的任何手段或手段的组合。例如，计算系统可为或可包括个人计算机(例如，膝上型计算机)、平板电脑、平板手机、个人数字助理(pda)、智能手机、智能手表、智能包装、服务器(例如，刀片式服务器或机架式服务器)、网络存储装置、摄像机或任何其它合适装置，并且可在尺寸、形状、性能、功能和价格方面改变。计算系统可以包括随机存取存储器(ram)、一个或多个处理资源(例如中央处理单元(cpu)或硬件或软件控制逻辑)、rom和/或其它类型的存储器。计算系统的附加部件可包括一个或多个盘驱动器、用于与外部设备通信的一个或多个网络端口、以及各种输入和输出(i/o)装置(例如键盘、鼠标、触摸屏和/或视频显示器)。计算系统还可包括可操作为在各种硬件部件之间传输通信的一个或多个总线。

计算系统的附加部件可包括一个或多个盘驱动器、用于与外部装置通信的一个或多个网络端口、以及各种输入和输出(i/o)装置(诸如键盘、鼠标、触摸屏和/或视频显示器)。计算系统还可包括可操作为在各种硬件部件之间传输通信的一个或多个总线。

图4描绘了根据本公开的实施方式的计算装置/信息处理系统(或是计算系统)的简化框图。尽管应理解，计算装置可不同地配置并且包括不同部件，包括具有少于或多于图4中描述的部件，但应理解，针对系统400所示出的功能可操作为支持计算系统的各种实施方式。

如图4所示，计算系统400包括一个或多个中央处理单元(cpu)401，cpu401提供计算资源并控制计算机。cpu401可实施有微处理器等，并且还可包括一个或多个图形处理单元(gpu)419和/或用于数学计算的浮点协处理器。系统400还可包括系统存储器402，系统存储器402可呈随机存取存储器(ram)、只读存储器(rom)、或两者的形式。

如图4所示，还可提供多个控制器和外围装置。输入控制器403表示至各种输入装置404的接口，例如键盘、鼠标、触摸屏和/或触笔。还可存在扫描仪控制器(未示出)，该扫描仪控制器与扫描仪(未示出)通信，该扫描仪可用于所接收的扫描的图像。系统400还可包括存储器控制器407，该存储器控制器407用于与一个或多个存储装置408对接，存储装置中的每个均包括存储介质(诸如磁带或盘)或光学介质(其可用于记录用于操作系统、实用工具和应用程序的指令的程序，它们可包括实施本发明的各方面的程序的实施方式)。存储装置408还可用于存储经处理的数据或是将要根据本发明处理的数据。系统400还可包括显示器控制器409，该显示器控制器409用于为显示装置411提供接口，显示装置411可为阴极射线管(crt)、薄膜晶体管(tft)显示器、有机发光二极管、电致发光面板、等离子面板或其它类型的显示器。计算系统400还可包括用于一个或多个外围装置406的一个或多个外围控制器或接口405。外围装置可包括一个或多个打印机、移动性系统(可包括一个或多个电机、伺服单元等)、惯性测量单元、视觉系统(可包括一个或多个摄像机)、传感器等。系统400还可包括用于一个或多个打印机413的打印机控制器412、通信控制器414可与一个或多个通信装置415对接，这使系统400能够通过各种网络(包括互联网、云资源(例如以太云、经以太网的光纤通道(fcoe)/数据中心桥接(dcb)云等)、局域网(lan)、广域网(wan)、存储区域网络(san))中的任一网络，或通过任何合适电磁载波信号(包括红外信号)来连接至远程装置。

在示出的系统中，所有主要系统部件可连接至总线416，总线416可以表示多于一个的物理总线。然而，各种系统部件可在物理上彼此接近或可不在物理上彼此接近。例如，输入数据和/或输出数据可远程地从一个物理位置传输到另一物理位置。另外，实现本文中呈现的各方面的程序可经由网络从远程位置(例如，服务器)访问。此类数据和/或程序可通过各种机器可读介质中的任一机器可读介质来传送，机器可读介质包括但不限于：诸如硬盘、软盘和磁带的磁性介质；诸如cd-rom和全息装置的光学介质；磁光介质；以及硬件装置，该硬件装置专门被配置成存储或存储并执行程序代码，该硬件装置例如专用集成电路(asic)、可编程逻辑器件(pld)、闪存装置、以及rom和ram装置。

本发明的方面可以利用用于一个或多个处理器或处理单元以使步骤执行的指令在一个或多个非暂时性计算机可读介质上编码。应注意，一个或多个非暂时性计算机可读介质应当包括易失性存储器和非易失性存储器。应注意，替代实现方式是可能的，其包括硬件实现方式或软件/硬件实现方式。硬件实施的功能可使用asic、可编程的阵列、数字信号处理电路等来实现。因此，任何权利要求中的术语“手段”旨在涵盖软件实现方式和硬件实现方式两者。类似地，如本文使用的术语“计算机可读媒介或介质”包括具有实施在其上的指令程序的软件和/或硬件或它们的组合。利用所构想的这些替代实现方式，应当理解，附图以及随附描述提供本领域的技术人员编写程序代码(即，软件)和/或制造电路(即，硬件)以执行所需处理所要求的功能信息。

应当注意，本发明的实施方式还可涉及具有其上具有用于执行各种计算机实施的操作的计算机代码的非暂时性有形计算机可读介质的计算机产品。介质和计算机代码可为出于本发明的目的而专门设计和构造的介质和计算机代码，或者它们可为相关领域中的技术人员已知或可用的。有形计算机可读介质的示例包括但不限于：诸如硬盘、软盘和磁带的磁性介质；诸如cd-rom和全息装置的光学介质；磁光介质；以及专门配置成存储或存储并执行程序代码的硬件装置，例如，专用集成电路(asic)、可编程逻辑器件(pld)、闪存装置、以及rom和ram装置。计算机代码的示例包括机器代码(例如，编译器产生的代码)以及包含可由计算机使用解释器来执行的更高级代码的文件。本发明的实施方式可整体地或部分地实施为可在由处理装置执行的程序模块中的机器可执行指令。程序模块的示例包括库、程序、例程、对象、组件和数据结构。在分布的计算环境中，程序模块可物理上定位在本地、远程或两者的设定中。

本领域的技术人员将认识到，计算系统或编程语言对本发明的实践来说均不重要。本领域的技术人员将还将认识到，多个上述元件可物理地和/或在功能上划分成子模块或组合在一起。

3.深度图像和视觉图像捕捉方法的实施方式

图5描绘了根据本文件的实施方式的用于同时捕捉可见光和非可见光图像的方法。在一个或多个实施方式中，使用了具有由多部分组成的滤波器的摄像机(505)，以使传感器阵列暴露于来自图像场景的光。在实施方式中，诸如图2或图3中描绘的，滤波器可包括用于红外光和用于可见光的滤波器元件。通过将摄像机的传感器阵列暴露在来自图像场景的光后，将由每个传感器单元(或元件)生成的信号转换为数字表示的数据(510)。例如，用于传感器阵列的光信号可转换为与传感器阵列相对应的值的矩阵。由于摄像机使用了具有至少两种不同的滤波器元件类型(例如，ir和可见光滤波器，或ir和红色、绿色以及蓝色滤波器元件)的滤波器，因此初始的数字传感器值划分为至少两组(515)，其中一组包括ir数据以及另一组包括非ir数据——ir值和可见光(灰色)值，或者ir值和红色-绿色-蓝色值。在一个或多个实施方式中，对于每个数据组(ir值和可见光值)，对于值被移除的每个元素，可使用一个或多个附近的值来估算用于缺失值位置的值(520)，其中，估算的值可添加到数据组中的缺失位置处(520)。对于每个数据组，当已添加缺失的值时，数据组可输出为ir图像和至少一个非ir图像(525)。

假定存在使用相同的传感器阵列使用同一摄像机同时拍摄的两个图像，则这两个图像——ir图像和可见光图像——是对齐的。本领域技术人员应认识到，这些图像或包括不同投射模式的一组ir图像可用来获取距图像中的场景中的表面的距离信息(530)。

在实施方式中，这种ir图像可用来生成深度信息。例如，在实施方式中，可将一对这样的设备安装到单个装置中，构成ir立体摄像机。在这种情况下，ir图像对可通过使用立体方法(诸如块匹配)而用来计算深度信息，尽管也可使用其它方法。在实施方式中，这种装置除了产生ir图像之外，还产生常规的灰色图像或rgb图像，可出于诸如目标识别或视频分析任务的一个或多个原因使用这些图像。相比之下，用于获取ir图像对和常规图像的传统装置需要至少三个成像传感器。实施方式的明显优点是减少了成像传感器数量，从而它大大简化了多摄像机的校准问题，并且降低了硬件成本。如前所述，另一优点是ir图像和可见光图像是对齐的。

如上所述，传感器阵列数据可基于滤波类型和添加的缺失值划分为数据组。图6描绘了根据本公开的实施方式的可用来从传感器阵列数据生成红外图像和非红外图像的方法。在一个或多个实施方式中，数字传感器数据的第一副本保留ir值，并且移除或不复制非ir值(605)。对于值被移除或以其他方式缺失的每个元素，可使用一个或多个附近的ir值来估算值，并将该值添加到缺失位置中(610)。

类似地，在一个或多个实施方式中，数字传感器数据的第二副本保留非ir值，并且移除或不复制ir值(615)。对于值被移除或缺失的每个元素，可使用一个或多个附近的非ir值来估算值，并将该值添加到缺失位置中(620)。应注意的是，对于具有红色-绿色-蓝色元件的滤波类型，如有需要，该方法可延伸为生成单独的红色图像、单独的绿色图像和单独的蓝色图像。

最后，可输出ir图像和一个或多个非ir图像(625)。

本领域技术人员应认识到，可使用多个方法中的任一个来估算缺失的值。图7描绘了根据本文件的实施方式的用于确定值的方法。如图7中所示，可识别与滤波类型相关联的一组最近的相邻值(705)，该组值可包括一个或多个值。在实施方式中，可将该组值进行组合(710)，以获取缺失的值。在实施方式中，组合行为可包括基于一个或多个度量(诸如，与缺失位置的距离、滤波时间等)增加一个或多个加权值。

进行组合的方法的示例包括但不限于以下。首先，在实施方式中，可使用类似滤波类型的最接近的值。通过图示，考虑图8中描绘的部分数据阵列800x。为了填充部分阵列800a中的缺失位置805，可使用来自最接近的滤波类型的值。在该示例中，用于阵列元件810、825和830的值每个对805都是等距的。因此，在实施方式中，可设置约定，即可使用相对于缺失值位于某个基本位置(例如，左方、右方、上方或下方)的值。例如，可能应该将直接位于缺失值下方的值复制到缺失位置805中，除非它是阵列的底部，然后应该使用右边的值。

可替代地，在实施方式中，可以对最近的相邻的值进行平均来获得缺失值。通过部分阵列800b的示例进行考虑。在缺失位置850的3×3的附近区域内，缺失位置850的最近的相邻位置为855、860、865和870。在实施方式中，可对位置855、860、865和870处的值进行平均，以获得用于缺失位置850的值。

在实施方式中，当估算缺失值时，可仅考虑来自原始传感器数据的测量值(即，当估算缺失值时，不考虑一个或多个估算的值)。例如，如果用于875和880的值先前已进行了估算，则在该实施方式中，将不考虑它们。可替代地，在估算用于850的缺失值时，可将先前估算的一个或多个值(像位置875和880出的值)包括在内。在实施方式中，与其它位置(即，855、860、865和870)处的值相比，这些值(即，位置875和880处的值)可能因一个或多个原因而进行不同的加权。例如，由于它们比其它位置(即，855860、865和870)离得更远(在传感器阵列中测量中心到中心的距离)，和/或因为它们是估算值而不是测量值，所以这些值(即，位置875和880处的值)可能加权的更少。

应注意的是，这些方法中的任何一种都可使用如图2和图3所示的滤波模式。然而，在实施方式中，不同的方法可用于如图3中所示的滤波模式。图9和图10描绘了根据本公开的实施方式的用于估算用于与图3中所示的滤波模式类型相对应的传感器数据阵列的缺失值的一些示例。

图9描绘了根据本公开的实施方式的用于估算来自如图3所示的滤波模式的数据阵列中所缺失的红外值的示例性方法。如部分数据阵列900a中所描绘的，已移除或没有复制红-绿-蓝值，使得数据阵列中仅存在测量的ir值。在实施方式中，可使用上文讨论的前述方法中的任一种。例如，如图9中所描绘的，可使用测量的ir值附近的相邻值。在该描绘的示例中，可对附近区域905内的相邻值进行平均，以估算用于缺失位置910的值。类似地，可对附近区域915内的相邻值进行平均，以估算用于缺失位置920的值。输出的是具有一组完整值的红外图像，如部分阵列900b中所示，其中粗体“ir”表示估算值。

图10描绘了根据本公开的实施方式的用于估算来自如图3所示的滤波模式的数据阵列中所缺失的非红外值的示例性方法。如部分数据阵列1000a中所描绘的，已移除或没有复制红外值，使得数据阵列中存在测量的红-绿-蓝值。在实施方式中，可使用上文讨论的前述方法中的任一种。然而，在实施方式中，可以选择将估算哪种类型的值(红色、绿色或蓝色)。在实施方式中，缺失值可基于一定的百分比(例如，20％的红色、30％的蓝色和50％的绿色)在三种颜色上共享，并且它们可定位为试图使颜色均匀分布。还应注意的是，在传感器阵列的分辨率高于滤波器的分辨率，使得所描述的示例中的单元对应于多个阵列单元的实施方式中，则可使用混合和滤波。例如，如果单元1010实际上表示3×3单元，则可分配红-绿-蓝的混合值。

在实施方式中，由于人眼对绿色最敏感，因此缺失值可使用附近的绿色值均被分配为绿色以估算该值。例如，如图10中所描绘的，可对附近区域1005内的测量的绿色值附近的相邻值进行平均，以估算用于缺失位置1010的值。输出的是具有一组完整值的红外图像，如部分阵列1000b中所示，其中粗体“g”表示估算值。

在实施方式中，除了线性和多项式插值方法之外，还可使用其它插值方法。在实施方式中，在决定值之前可使用条件(诸如，条件或规则)。例如，可比较附近单元的值，并基于值是较高还是较低来确定使用哪个插值方法和/或使用哪个值。在实施方式中，可使用不同尺寸的附近区域，可使用不同配置的附近区域。本领域技术人员应认识到，许多方法可用来插值，并且这些方法落入当前公开的精神和范围内。

本领域技术人员将理解，前文的示例和实施方式是示例性的，并且不限制本公开的范围。旨在说明的是，在本领域的技术人员阅读本说明书并研究附图后将对本领域的技术人员显而易见的本发明的所有、置换、增强、等同、组合或改进包括在本公开的真实精神和范围内。还应注意的是，任何权利要求书的元素可不同地布置，包括具有多个从属、配置和组合。