用于红外成像装置的非均匀性校正技术的制作方法

用于红外成像装置的非均匀性校正技术的制作方法
【专利摘要】本发明公开了用于对红外成像装置执行非均匀性校正（NUC）的各种技术。可获得并处理有意模糊的图像帧，以对与所述红外成像装置的红外传感器相关的FPN进行校正（例如，在一个实施例中，为随机空间不相关的FPN）。有意模糊的图像可用于区分与所述红外传感器相关的FPN和期望的场景信息。有利的是，这种技术的实施无需使用快门来执行所述红外成像装置的平场校正。
【专利说明】用于红外成像装置的非均匀性校正技术
[0001]相关申请的交叉引用
[0002]本申请要求申请号为61/545，056、2011年10月7日提交的、题为“用于红外成像装置的非均匀性校正技术”的美国临时专利申请的权益，通过引用的方式将其整体合并于此。
[0003]本申请还要求申请号为61/495，873、2011年6月10日提交的、题为“红外摄像机封装系统和方法(INFRARED CAMERA PACKAGING SYSTEMS AND METHODS)” 的美国临时专利申请的权益，通过引用的方式将其整体合并于此。
[0004]本申请还要求申请号为61/495，879、2011年6月10日提交的、题为“红外摄像机系统架构(INFRARED CAMERA SYSTEM ARCHITECTURES)”的美国临时专利申请的权益，通过引用的方式将其整体合并于此。
[0005]本申请还要求申请号为61/495，888、2011年6月10日提交的、题为“红外摄像机校准技术(INFRARED CAMERA CALIBRATION TECHNIQUES)”的美国临时专利申请的权益，通过引用的方式将其整体合并于此。
【技术领域】
[0006]本发明的一个或者多个实施例总体上涉及成像装置，更具体的，例如，涉及红外成像装置的噪声消除。
【背景技术】
[0007]红外成像装置(例如，热成像仪)通常会受到各种类型的噪声的影响，例如，高空间频率固定模式噪声(FPN)。某些FPN可能与红外传感器的行和/或列有关。例如，以列噪声形式出现的FPN噪声可能由列放大器中的变化所导致，并且该FPN噪声可能包括Ι/f分量。这种列噪声能够抑制区分垂直FPN和场景所期望的垂直特性的能力。其他FPN可能在空间上不相关，例如，由像素到像素的信号漂移引起的噪声，该噪声可能也包括Ι/f分量。
[0008]一种常规的移除FPN的方法依赖于内部或者外部的快门，将快门选择性的放置在红外成像装置的红外传感器的前面，以提供基本上均匀的场景。当将快门放置在红外传感器的前面时，可基于捕获的基本上均匀的场景图像对红外传感器进行校正。不幸的是，这种快门易于发生机械故障，并且具有潜在的非均匀性(例如，由温度变化或者其他因素引起的)，这使得它难以实现。此外，在期望具有小的形状因数的红外成像装置的应用中，快门会增加该装置的尺寸和成本。

【发明内容】

[0009]公开了各种用于对红外成像装置进行非均匀性校正(NUC)的技术。可获得并处理有意模糊的图像帧，以对与红外成像装置的红外传感器相关的FPN进行校正(例如，在一个实施例中，为随机空间不相关的FPN)。有意模糊的图像可用于区分与红外传感器相关的FPN和期望的场景信息。有利的是，这种技术的实施无需使用快门来执行红外成像装置的平场校正(flat field correction)。
[0010]在一个实施例中，可通过对移动场景的多个图像帧(例如，当所述场景和/或红外成像装置运动时捕获的图像帧)进行累加来获得模糊的图像帧。在另一个实施例中，可通过有意地使红外成像装置的光学元件或者其他部件散焦来获得模糊的图像帧。在各种实施例中，可以以迭代的方式来处理模糊的图像帧，以确定要应用于捕获的图像帧的合适的NUC项(例如，其可以是用于校正空间不相关的FPN的值，以及进一步用于校正空间相关的FPN的值)以及行和列的FPN项(例如，其可以是用于校正空间相关的FPN的值)，从而减少由所述红外成像装置提供的图像帧中的噪声。
[0011]在一个实施例中，一种用于从由红外成像装置捕获的图像帧中消除噪声的方法，包括:接收有意模糊的图像帧，其中，所述模糊的图像帧包括与场景相关的模糊的热图像数据和由所述红外成像装置引入的噪声；对所述模糊的图像帧进行处理，以确定多个非均匀性校正(NUC)项以减少包括空间不相关的固定模式噪声(FPN)的噪声的一部分；以及将所述NUC项应用到所述捕获的图像帧。
[0012]在一个实施例中，一种装置，包括:红外成像装置，其包括多个适于捕获图像帧的红外传感器；以及处理器，其适于处理有意模糊的图像帧，其中，所述模糊的图像帧包括与场景相关的模糊的热图像数据和由所述红外成像装置引入的噪声，其中，所述处理器适于:使用所述模糊的图像帧来确定多个非均匀性校正(NUC)项以消除包括空间不相关的固定模式噪声(FPN)的噪声的一部分，以及将所述NUC项应用到所述捕获的图像帧。
[0013]在一个实施例中，一种用于从由红外成像装置捕获的图像帧中消除噪声的方法，包括:接收有意模糊的图像帧，其中，所述模糊的图像帧包括与场景相关的模糊的热图像数据和由所述红外成像装置引入的噪声；对所述模糊的图像帧进行处理，以确定多个空间相关的固定模式噪声(FPN)项以消除包括与所述红外成像装置的红外传感器的行或者列相关的空间相关的FPN的噪声的一部分；以及将所述空间相关的FPN项应用到所述捕获的图像帧。
[0014]在一个实施例中，一种装置，包括:红外成像装置，其包括多个适于捕获图像帧的红外传感器；以及处理器，其适于处理有意模糊的图像帧，其中，所述模糊的图像帧包括与场景相关的模糊的热图像数据和由所述红外成像装置引入的噪声，其中，所述处理器适于:使用所述模糊的图像帧来确定多个空间相关的固定模式噪声(FPN)项以消除包括与所述红外成像装置的红外传感器的行或者列相关的空间相关的FPN的噪声的一部分，以及将所述空间相关的FPN项应用到所述捕获的图像帧。
[0015]本发明的范围由权利要求书限定，通过引用的方式将这部分合并于此。通过考虑下面对一个或者多个实施例的详细描述，将会向本领域技术人员提供对本发明实施例以及其中附加的优点的实现的更加完整的理解。下面将参考首先会简要描述的附图。
【专利附图】

【附图说明】
[0016]图1示出了根据本公开实施例的、被配置为在主机装置中实现的红外成像模块。
[0017]图2示出了根据本公开实施例的、装配后的红外成像模块。
[0018]图3示出了根据本公开的实施例的、并列地置于插座之上的红外成像模块的分解图。[0019]图4示出了根据本公开的实施例的、包括红外传感器阵列的红外传感器组件的结构图。
[0020]图5示出了根据本公开实施例的、确定NUC项的各种操作的流程图。
[0021]图6示出了根据本公开实施例的相邻像素之间的差值。
[0022]图7示出了根据本公开实施例的平场校正技术。
[0023]图8示出了根据本公开实施例的、应用在图像处理途径(pipeline)中的图5的各种图像处理技术和其他操作。
[0024]图9示出了根据本公开实施例的时域噪声消除过程。
[0025]图10示出了根据本公开实施例的、图6的图像处理途径的几个过程的具体的实施细节。
[0026]图11示出了根据本公开实施例的、在像素的邻近区域(neighborhood)中的空间相关的FPN。
[0027]通过参考下面的详细说明，将会更好的理解本发明的实施例及其优点。应当理解的是，相同的参考数字用于表示一副或者多副附图中的相同元件。
【具体实施方式】
[0028]图1示出了根据本公开实施例的、被配置为在主机装置102中实现的红外成像模块100 (例如，红外照相机或者红外成像装置)。在一个或者多个实施例中，可根据晶片级封装技术或者其他封装技术，实现具有小的形状因数的红外成像模块100。
[0029]在一个实施例中，红外成像模块100可被配置为在小型的便携式主机装置102中实现，例如，移动电话、平板计算装置、便携式计算装置、个人数字助理、可见光照相机、音乐播放器或者任何其他合适的移动装置。就这方面而言，红外成像模块100可用于向主机装置102提供红外成像功能。例如，红外成像模块100可被配置为捕获、处理和/或以其它方式管理红外图像，并将该红外图像提供给主机装置102，以便以任何期望的方式来使用该红外图像(例如，为了进行进一步的处理，存储到存储器中、显示、由运行在主机装置102中的各种应用程序使用、输出到其他装置、或者其他应用)。
[0030]在各种实施例中，红外成像模块100可被配置为在低电压电平和宽温度范围内工作。例如，在一个实施例中，红外成像模块100可使用约2.4伏、2.5伏、2.8伏或更低的电压的电源工作，并且可在约-20°C到约+60°C的温度范围中工作(例如，在约80°C的环境温度范围中提供合适的动态范围和性能)。在一个实施例中，通过使红外成像模块100工作在低电压水平下，与其他类型的红外成像装置相比，红外成像模块100可以经历减少的自身发热的量。因此，可使用减小的测量标准(measure)来操作红外成像模块100，以补偿这种自身发热。
[0031]如图1所示，主机装置102可包括插座104、快门105、运动传感器194、处理器195、存储器196、显示器197和/或其他部件198。插座104可被配置为如箭头101所示的那样接收红外成像模块100。就这方面而言，图2示出了根据本公开实施例的、装配在插座104中的红外成像模块100。
[0032]可由一个或者多个加速度计、陀螺仪或者可用于检测主机装置102的运动的其他合适的装置来实现运动传感器194。处理模块160或者处理器195可对运动传感器194进行监测，并且运动传感器194向处理模块160或者处理器195提供信息以检测运动。在各种实施例中，运动传感器194可被实现为主机装置102的一部分(如图1所示)，也可被实现为红外成像模块100、或者连接到主机装置102或与主机装置102连接(interface)的其他装置的一部分。
[0033]处理器195可实现为任何合适的处理装置(例如，逻辑装置、微控制器、处理器、专用集成电路(ASIC)或者其他装置)，主机装置102可使用上述处理装置来执行适当的指令，例如，存储在存储器196中的软件指令。显示器197可用于显示捕获的和/或处理后的红外图像和/或其他图像、数据和信息。其他部件198可用于实现主机装置102的任何功能，如可能期望的各种应用(例如，时钟、温度传感器、可见光照相机或者其他部件)。另外，机器可读介质193可用于存储加载到存储器196中并由处理器195执行的非临时性指令。
[0034]在各种实施例中，红外成像模块100和插座104可被实现用于大规模生产，以推动它们的广泛应用，例如，其可应用在移动电话或者其他装置(例如，需要小的形状因数的装置)中。在一个实施例中，当将红外成像模块100安装到插座104中时，红外成像模块100和插座104的组合所显示出的整体尺寸大约为8.5mm*8.5mm*5.9mm。
[0035]图3示出了根据本公开的实施例的、并列地置于插座104之上的红外成像模块100的分解图。红外成像模块100可包括透镜镜筒110、外壳120、红外传感器组件128、电路板170、基座150和处理模块160。
[0036]透镜镜筒110可至少部分地装入光学元件180 (例如，透镜)，通过透镜镜筒110中的孔112，所述光学元件180在图3中部分地可见。透镜镜筒110可包括实质上呈圆柱形的延长部分114，其可用于使透镜镜筒110与外壳120中的孔122连接。
[0037]例如，可由安装在基板140上的帽130 (例如，盖子)来实现红外传感器组件128。红外传感器组件128可包括在基板140上按列或者其他方式实现并由帽130覆盖的多个红外传感器132 (例如，红外探测器)。例如，在一个实施例中，红外传感器组件128可实现为焦平面阵列(FPA)。这种焦平面阵列可实现为例如真空封装的组件(例如，由帽130和基板140密封)。在一个实施例中，红外传感器组件128可实现为晶片级封装(例如，红外传感器组件128可以是从设置在晶片上一组真空包装组件中分离出来(singulate))。在一个实施例中，红外传感器组件128可实现为使用约2.4伏、2.5伏、2.8伏或者类似的电压的电源来工作。
[0038]红外传感器132可被配置为检测目标场景的红外辐射(例如，红外能量)，所述目标场景包括:例如中波红外波段(MWIR)、长波红外波段(LWIR)和/或如在特定应用中所期望的其他热成像波段。在一个实施例中，可根据晶片级封装技术来提供红外传感器组件128。
[0039]红外传感器132可实现为例如微辐射热探测器，或者以任意期望的阵列模式排列以提供多个像素的其他类型的热成像红外传感器。在一个实施例中，红外传感器132可实现为具有17微米像素间距(pixel pitch)的氧化钒(VOx)探测器。在各种实施例中，可使用约32*32个红外传感器132的阵列、约64*64个红外传感器132的阵列、约80*64个红外传感器132的阵列或者其他大小的阵列。
[0040]基板140可包括各种电路，其中包括例如读出集成电路(R0IC)，在一个实施例中，该读出集成电路(ROIC)的尺寸小于约5.5mm*5.5mm。基板140还可包括结合盘(bond pad)142，其可用于当如图5A，5B和5C所示的那样装配红外成像模块100时与放置在外壳120的内表面上的互补的连接部件相接触。在一个实施例中，可实现具有低压降(low dropout)调节器(LDO)的ROIC来执行电压调节，以降低引入到红外传感器组件128中的电源噪声，从而提供改进的电源抑制比(rejection ratio) (PSRR)0另外,通过实现具有ROIC的LDO (例如，在晶片级封装内)，可消耗更少的模(die)面积并且需要较少的离散的模(或者芯片)。
[0041]图4示出了根据本公开的实施例的、包括红外传感器132阵列的红外传感器组件128的结构图。在示出的实施例中，红外传感器132被设置为R0IC402的单位单元阵列(unitcell array)的一部分。R0IC402包括偏压产生和定时控制电路404、列放大器405、列多路复用器406、行多路复用器408和输出放大器410。可通过输出放大器410将红外传感器132捕获的图像帧提供给处理模块160、处理器195和/或任何其他合适的部件，以执行本文所描述的各种处理技术。尽管图4示出的是8*8的阵列，但是任何期望的阵列配置均可用于其他实施例中。ROIC和红外传感器(例如微辐射热探测器电路)的进一步描述可在2000年2月22日授权的美国专利6，028，309中找到，通过引用的方式将其整体合并于此。
[0042]红外传感器阵列128可捕获图像(例如，图像帧)，并以各种速率从它的ROIC提供这种图像。处理模块160可用于对捕获的红外图像执行适当的处理，并且可以根据任何适当的架构来实现该处理模块160。在一个实施例中，处理模块160可实现为ASIC。就这方面而言，这种ASIC可被配置为以高性能和/或高效率执行图像处理。在另一个实施例中，可利用通用中央处理单元(CPU)来实现处理模块160，所述CPU可被配置为执行适当的软件指令，以进行图像处理、协调并通过各种图像处理块进行图像处理、协调处理模块160和主机装置102之间的连接(interfacing),和/或其他操作。在另一个实施例中，可利用现场可编程门阵列(FPGA)来实现处理模块160。在其他实施例中，如本领域技术人员所理解的，可利用其他类型的处理和/或逻辑电路来实现处理模块160。
[0043]在这些和其他实施例中，适当时，处理模块160还可与其他合适的部件一起实现，例如，易失性存储器、非易失性存储器和/或一个或者多个接口(例如，红外检测器接口、内部集成电路(I2C)接口、移动行业处理器接口(MIPI)、联合测试行动组(JTAG)接口(例如，IEEEl 149.1标准测试访问端口和边界扫描结构)、和/或其他接口)。
[0044]在一些实施例中，红外成像模块100可进一步包括一个或者多个致动器199，其可用于调整由红外传感器组件128捕获的红外图像帧的焦点。例如，致动器199可用于相对于彼此移动光学兀件180、红外传感器132和/或其他部件，以根据本文所描述的技术来选择性地聚焦和散焦红外图像帧。可根据任何类型的促使运动的设备或者机构来实现致动器199，并且可将致动器199放置在红外成像模块100内部或者外部的任何位置，如果对于不同的应用合适的话。
[0045]当将红外成像模块100装配起来后，外壳120可实质上将红外传感器组件128、底座150以及处理模块160密封起来。外壳120可便利于红外成像模块100的各种部件的连接。例如，在一个实施例中，外壳120可提供用于连接各种部件的电连接部件126，如下面将进一步描述的那样。
[0046]当将红外成像模块100装配起来时，电连接部件126(例如，导电的路径、轨迹或者其他类型的连接)可与结合盘142电气连接。在各种实施例中，可将电连接部件126嵌入到外壳120中、设置在外壳120的内表面上和/或以其它方式由外壳120提供所述电连接部件126。如图3所示，电连接部件126可终止于突出于外壳120的底表面的连接部件124中。当将红外成像模块100装配起来时，连接部件124可与电路板170连接(例如，在各种实施例中，外壳120可置于电路板170的顶部)。处理模块160可通过合适的电连接部件与电路板170电连接。因此，红外传感器组件128可例如通过导电路径与处理模块160电连接，所述导电路径可由结合盘142、外壳120内部表面上的互补的连接件、外壳120的电连接部件126、连接部件124及电路板170提供。有利的是，这种布置的实现可无需在红外传感器组件128和处理模块160之间设置引线。
[0047]在各种实施例中，可使用任何期望的材料(例如，铜或者任何其他合适的导电材料)来制造外壳120中的电连接部件126。在一个实施例中，电连接部件126可有助于对红外成像模块100产生的热量进行散热。
[0048]在其他实施例中可使用其他连接。例如，在一个实施例中，传感器组件128可通过陶瓷板连接到处理模块160，所述陶瓷板通过引线连接到传感器组件128并通过球栅阵列(ball grid array) (BGA)连接到处理模块160。在另一个实施例中，传感器组件128可直接安装到刚柔性板(rigid flexible board)上并与引线电连接,并且可利用引线或者BGA将处理模块160安装并且连接到刚柔性板。
[0049]本文所阐述的红外成像模块100和主机装置102的各种应用只是为了举例，而不是限制。就这方面而言，本文所描述的各种技术中的任何一个均可应用到任何红外照相机系统、红外成像器或者用于进行红外/热成像的其他装置。
[0050]红外传感器组件128的基板140可安装到基座150上。在各种实施例中，基座150 (例如，底座)可例如由通过金属注射成形(MM)形成的铜制造，并且提供有黑色氧化的(black oxide)或者涂镍的抛光(finish)。在各种实施例中,基座150可由任何期望的材料制造，例如，根据特定应用所期望的，由例如锌、铝或者镁制造，并且，基座150可通过任何期望的可适用的方法形成，例如，根据特定应用所期望的，例如通过铝铸造、MIM或者锌快速铸造来形成。在各种实施例中，在合适的时候，基座150可被实现用于提供结构支撑、各种电路路径、热散热器性能以及其他功能。在一个实施例中，基座150可以是至少部分使用陶瓷材料实现的多层结构。
[0051]在各种实施例中，电路板170可容纳外壳120，从而可在物理上支撑红外成像模块100的各种部件。在各种实施例中，电路板170可实现为印刷电路板(例如，FR4电路板或者其他类型的电路板)、刚性或者柔性的互连设备(例如，带型或者其他类型的互连设备)、柔性电路基板、柔性塑料基板或者其他合适的结构。在各种实施例中，基座150可实现为具有针对电路板170所描述的的各种功能和属性，反之亦然。
[0052]插座104可包括被配置为容纳红外成像模块100(例如，如图2的装配后的视图所示)的腔体106。红外成像模块100和/或插座104可包括合适的卡片、臂、销、紧固件或者任何其他合适的接合部件，所述接合部件可用于通过摩擦、张力、粘附和/或任何其他合适的方式将红外成像模块100固定到插座104，或者将红外成像模块100固定到插座104内部。插座104可包括接合部件107，当红外成像模块100插入到插座104的腔体106中时，接合部件接合外壳120的表面109。在其他实施例中可使用其他类型的接合部件。
[0053]红外成像模块100可通过适当的电连接部件(例如，触点、销、电线或者任何其他合适的连接部件)与插座104电连接。例如，插座104可包括电连接部件108，其可与红外成像模块100的相应的电连接部件(例如，互连盘(interconnect pad)、触点、或者在电路板170侧面或者底表面上的其他电连接部件、结合盘142或者基座150上的其他电连接部件、或者其他连接部件)接触。电连接部件108可由任何期望的材料(例如，铜或者任何其他合适的导电材料)制造。在一个实施例中，电连接部件108可被机械的偏置，以当红外成像模块100插入到插座104的腔体106中时紧压着(press against)红外成像模块100的电连接部件。在一个实施例中，电连接部件108可至少部分的将红外成像模块100固定到插座104中。在其他的实施例中可以使用其他类型的电连接部件。
[0054]插座104可通过类似类型的电连接部件与主机102电连接。例如，在一个实施例中，主机102可包括穿过孔190与电连接部件108连接的电连接部件(例如，焊接连接、搭扣式(snap-1n)连接或者其他连接)。在各种实施例中，这种电连接部件可置于插座104的侧面和/或底部。
[0055]可通过倒装技术来实现红外成像模块100的各种部件，所述倒装技术可用于将部件直接安装到电路板上，而无需通常用于引线连接的额外的间隙。作为例子，倒装连接可减少红外成像模块100的整体尺寸，以便用在紧凑的小形状因数的应用中。例如，在一个实施例中，可使用倒装连接将处理部件160安装到电路板170。例如，可使用这种倒装配置来实现红外成像模块100。
[0056]在各种实施例中，可根据如申请号为12/844，124、2010年7月27日提交的美国专利申请和申请号为61/469，6512011年3月30日提交的美国临时专利申请所提出的各种技术(例如，晶片级封装技术)，来实现红外成像模块100和/或相关的部件，通过引用的方式将其整体合并于此。另外，根据一个或者多个实施例，可根据如下所述文献提出的各种技术来实现、校正、测试和/或使用红外成像模块100和/或相关的部件，所述文献例如为:如专利号为7，470, 902、授权日为2008年12月30日的美国专利，专利号为6，028, 309、授权日为2000年2月22日的美国专利，专利号为6，812，465、授权日为2004年11月2日的美国专利，专利号为7, 034，301、授权H为2005年4月25日的美国专利，专利号为7，679，048、授权日为2010年3月16日的美国专利，专利号为7，470，904、授权日为2008年12月30日的美国专利，申请号为12/202，880、2008年9月2日提交的美国专利申请以及申请号为12/202，896、2008年9月2日提交的美国专利申请，通过引用的方式将上述文献整体合并于此。
[0057]再次参考图1，在各种实施例中，主机装置102可包括快门105。就这方面而言，在红外成像模块100安装在插座中时，可将快门105选择性地放置在插座104上(例如，如箭头103所确定的那样)。就这方面而言，快门105例如可用于在红外成像模块100不使用时对其进行保护。快门105还可用作温度参考，如本领域技术人员所应当理解的，所述温度参考作为红外成像模块100的校正过程(例如，非均匀性校正(NUC)过程或者其他校正过程)的一部分。
[0058]在各种实施例中，快门105可由各种材料制造，例如，聚合物、玻璃、铝(例如，涂覆的或者经过阳极氧化后的)或者其他材料。在各种实施例中，快门105可包括一个或者多个涂层(例如，均匀的黑体涂层或者反射性的镀金涂层)，其用于选择性地过滤电磁辐射和/或调整快门105的各种光学属性。
[0059]在另一个实施例中，可将快门105固定在适当位置以全天候的保护红外成像模块100。在这种情况下，快门105或者快门105的一部分可由基本上不会过滤掉期望的红外线波长的合适的材料(例如，聚合物，或者诸如硅、锗、硒化锌或硫属化物玻璃的红外透射材料)制造。如本领域技术人员所应当理解的，在另一个实施例中，快门可实现为红外成像模块100的一部分(例如，在透镜镜筒或者红外成像模块100的其他部件内，或者作为透镜镜筒或者红外成像模块100的其他部件的一部分)。
[0060]作为选择，在另一个实施例中，无需提供快门(例如，快门105或者其他类型的外部或者内部快门)，而是可使用无快门的技术进行NUC过程或者其他类型的校正。在另一个实施例中，使用无快门技术的NUC过程或者其他类型的校正可与基于快门的技术结合进行。
[0061]可根据下述文件提出的各种技术中的任意一种来实现红外成像模块100和主机装置102，所述文献为:申请号为61/495，873、2011年6月10日提交的美国临时专利申请；申请号为61/495，879、2011年6月10日提交的美国临时专利申请；以及申请号为61/495，888、2011年6月10日提交的美国临时专利申请，通过引用的方式将上述文献整体
合并于此。
[0062]在各种实施例中，主机装置102和/或红外成像模块100的部件可实现为本地系统，或者实现为部件之间通过有线和/或无线网络彼此进行通信的分布式系统。因此，正如特定的应用所期望的那样，可以通过本地和/或远程部件来执行本公开所确定的各种操作。
[0063]图5示出了根据本公开实施例的、确定NUC项的各种操作的流程图。在一些实施例中，可由在由红外传感器132捕获的图像帧上进行操作的处理模块160或者处理器195(二者通称为处理器)来执行图5的操作。
[0064]在块505，红外传感器132开始捕获场景的图像帧。通常，场景是主机装置102当前处于的真实环境。就这方面而言，快门105 (如果可选地提供)可打开以允许红外成像模块从场景接收红外辐射。在图5所示的所有操作期间，红外传感器132可连续地捕获图像帧。就这方面而言，连续地捕获图像帧可用于如下文所进一步讨论的各种操作。在一个实施例中，在捕获的图像帧被用于图5所示的操作之前，可对所述图像帧进行时域滤波(例如，根据本文将根据图8对进一步描述的块826的过程)并且通过其他项(例如，工厂增益项812、工厂偏移项816、先前确定的NUC项817、列FPN项820以及行FPN项824，本文将根据图8对其做进一步描述)对它们进行处理。
[0065]在块510，检测NUC过程启动事件。在一个实施例中，NUC过程可响应于主机装置102的物理移动而启动。例如，可由被处理器轮询(poll)的运动传感器194来检测这种移动。在一个例子中，用户可能会以特定的方式来移动主机装置102，例如，通过以“擦除”或“重击”运动的方式有意地来回摇晃主机装置102。就这方面而言，用户可根据预定的速率和方向(速度)，例如，通过上下、左右或者其他类型的运动来启动NUC过程。在这个例子中，这种运动的使用可允许用户直观地操作主机装置102，以模拟对捕获的图像帧的噪声“擦除”。
[0066]在另一个例子中，如果运动超过阈值(例如，超过了正常使用所期望的运动)，则可由主机装置102来启动NUC过程。可以预期的是，主机装置102的任何期望的类型的空间移位(translation)均可用于启动NUC过程。
[0067]在另一个例子中，如果自从先前执行的NUC过程以来，已经过去了最小时间，则可由主机装置102启动NUC过程。在另一个例子中，如果自从先前执行的NUC过程以来，红外成像模块100已经经历了最小的温度改变，则可由主机装置102启动NUC过程。在另外的例子中，可连续地并重复地启动NUC过程。
[0068]在块515，检测到NUC过程启动事件之后，确定是否应该真正地执行NUC过程。就这方面而言，可基于一个或者多个附加条件是否满足，来选择性地启动NUC过程。例如，在一个实施例中，除非自从先前执行的NUC过程以来，已经过去了最小时间，不会执行NUC过程。在另一个实施例中，除非自从先前执行的NUC过程以来，红外成像模块100已经经历了最小的温度变化，不会执行NUC过程。在其他的实施例中可使用其他标准或者条件。如果已经满足合适的标准或者条件，流程图就会继续到块520。否则，流程图返回到块505。
[0069]在NUC过程中，模糊图像帧可用于确定NUC项，所述NUC项可应用于捕获的图像帧以校正FPN。如所讨论的，在一个实施例中，可通过累加运动场景的多个图像帧(例如，当场景和/或热成像仪处于运动的状态时捕获的图像帧)来获得模糊图像帧。在另一个实施例中，可通过使热成像仪的光学元件或者其他部件散焦，来获得模糊图像帧。
[0070]因此，在块520中，提供了两种方法中任意一种的选择。如果使用基于运动的方法，则流程图继续到块525。如果使用基于散焦的方法，则流程图继续到块530。
[0071]现在参考基于运动的方法，在块525中，检测运动。例如，在一个实施例中，可基于红外传感器132捕获的图像帧来检测运动。就这方面而言，合适的运动检测方法(例如，图像配准法、帧到帧的差值计算或者其他合适的方法)可应用于捕获的图像帧，以确定是否存在运动(例如，已经捕获到静态的还是运动的图像帧)。例如，在一个实施例中，能够确定连续图像帧的像素的周围的像素或者区域已经改变超过了用户定义的数量(例如，百分比和/或阈值)。如果至少给定百分比的像素已经改变了至少用户定义的数量，则可以非常肯定检测到了运动，从而进行到块535。
[0072]在另一个实施例中，可以在每个像素的基础上确定运动，其中，只累加那些显示出明显变化的像素，以提供模糊图像帧。例如，可以为每个像素设置计数器，所述计数器用于保证对每个像素累加相同数量的像素值，或者用于根据对每个像素实际上累加的像素值的数量来对像素值取平均。可执行其他类型的基于图像的运动检测，例如，执行拉东(Radon)变换。
[0073]在另一个实施例中，可基于运动传感器194提供的数据来检测运动。在一个实施例中，这种运动检测可包括检测主机装置102是否在空间中沿着相对笔直的轨迹移动。例如，如果主机装置102正沿着相对笔直的轨迹移动，那么下述情况是可能的:出现在被成像的场景中的某些对象可能不够模糊(例如，场景中的对象与笔直轨迹对准或者基本上平行于所述笔直轨迹移动)。因此，在该实施例中，运动传感器194检测的运动是以主机装置102显示出运动或者没有显示出特定的轨迹运动为条件的。
[0074]在另一个实施例中，可使用运动检测方法和运动传感器194 二者。因此，使用这些各种实施例中任意一个，能够确定在场景的至少一部分和主机装置102相对于彼此之间运动的同时是否捕获到每个图像帧(例如，这可由主机装置102相对于场景移动、场景的至少一部分相对于主机装置102移动或者上述两种情况引起)。
[0075]可以预期的是，对其检测运动的图像帧可显示出捕获的场景的某些次级模糊(例如，与场景相关的模糊的热图像数据)，所述次级模糊是由于红外传感器132的热时间常数(例如，微辐射热探测器的时间常数)与场景移动的相互作用而引起的。[0076]在块535，对其检测运动的图像帧被累加。例如，如果对连续的一系列图像帧检测到运动，则可对系列图像帧进行累加。作为另外一个例子，如果只检测到某些图像帧的运动，则可忽略掉没有运动的图像帧并且不在累加中包括这些没有运动的图像帧。因此，可基于检测到的运动，选择连续的或者不连续的一组图像帧进行累加。
[0077]在块540中，对累加的图像帧取平均以提供模糊图像帧。因为累加的图像帧是在运动期间捕获到的，所以期望图像帧之间实际的场景信息将会改变，从而导致作为结果的模糊的图像帧中的场景信息被进一步模糊(块545 )。
[0078]与此相反，在运动期间，在至少短时间内以及场景发光的至少有限变化中，FPN (例如，由红外成像模块100的一个或者多个部件引起的)保持不变。结果是，在运动期间捕获到的时间和空间上接近的图像帧将会遭受相同的或者至少非常类似的FPN。因此，尽管连续图像帧中的场景信息可能会改变，但是FPN将实质上保持不变。通过对运动期间捕获到的多个图像帧取平均，所述多个图像帧将会模糊场景信息，但是不会模糊FPN。结果是，与场景信息相比，FPN将在块545提供的模糊图像帧中保持被定义得更加清楚。
[0079]在一个实施例中，在块535和540中，对32个或者更多图像帧进行累加和取平均。然而，在其他实施例中，可以使用任何期望数量的图像帧，只是随着帧的数量的减少，校正精度通常会降低。
[0080]现在参考基于散焦的方法，在块530中，进行散焦操作以有意地使红外传感器132捕获的图像帧散焦。例如，在一个实施例中，一个或者多个致动器199可用于调整、移动或者以其他方式平移光学元件180、红外传感器组件128和/或红外成像模块100的其他部件，以使得红外传感器132捕获场景的模糊的(例如，没有聚焦)图像帧。也可预期其他不基于致动器的技术来有意地使红外图像帧散焦，例如，如人工(例如，用户启动的)散焦。
[0081]尽管图像帧中的场景可能会出现模糊，但是通过散焦操作，FPN (例如，由红外成像模块100的一个或者多个部件引起)将会保持不受影响。结果是，将会提供场景的模糊图像帧(块545)，并且与场景信息相比，FPN将在所述模糊图像中保持被定义得更加清楚。
[0082]在上面的讨论中，已经针对单个捕获的图像帧描述了基于散焦的方法。在另一个实施例中，基于散焦的方法可包括当红外成像模块100已经被散焦时对多个图像帧进行累力口，并且对散焦的图像帧取平均以消除时域噪声的影响并在块545中提供模糊图像帧。
[0083]因此，可以理解的是，既可通过基于运动的方法也可通过基于散焦的方法来在块545提供模糊的图像帧。因为运动、散焦或者上述二者均会使很多的场景信息模糊，所以可实际上将模糊图像帧认为是原始捕获的图像帧关于场景信息的低通滤波版本。
[0084]在块505中，对模糊图像帧进行处理以确定更新的行和列的FPN项(例如，如果之前没有确定行和列的FPN项，那么更新的行和列的FPN项可以是块550的第一次迭代中的新的行和列的FPN项)。如本公开所使用的，根据红外传感器132和/或红外成像模块100的其他部件的方向，术语行和列可互换的使用。
[0085]在一个实施例中，块550包括为模糊图像帧的每行确定空间FPN校正项(例如，每行可具有其自身的空间FPN校正项)，以及还为模糊图像帧的每列确定空间FPN校正项(例如，每列可具有其自身的空间FPN校正项)。这种处理可用于减少热成像仪固有的、空间的并且缓慢变化(Ι/f)的行和列FPN，这种FPN例如是由R0IC402中的放大器的Ι/f噪声特征引起，所述Ι/f噪声特征可表现为图像帧中的垂直和水平条纹。[0086]有利的是，通过利用模糊图像帧确定空间行和列的FPN项，会降低将实际成像的场景中的垂直和水平物体误认为是行和列噪声的风险(例如，真实场景内容被模糊，而FPN保持不被模糊)。
[0087]在一个实施例中，可通过考虑模糊图像帧的相邻像素之间的差值来确定行和列FPN项。例如，图6示出了根据本公开实施例的相邻像素之间的差值。具体地，在图6中，将像素610与它最接近的8个水平相邻像素进行比较:d0-d3在一侧，d4-d7在另一侧。可对相邻像素之间的差值取平均，以获得示出的像素组的偏移误差的估计值。可对行或者列中的每个像素的偏移误差均进行累加，并且平均的结果可用于校正整个行或者列。
[0088]为了防止将真实的场景数据解释为噪声，可使用上限阈值和下限阈值(thPix和-thPix)。落到入这些阈值之外的像素值(在该例子中，是像素dl和d4)不用于获得偏移误差。另外，这些阈值可限制行和列FPN的最大校正量。
[0089]申请号为12/396，340、2009年3月2日提交的美国专利申请提出了进行空间行和列FPN校正的另外的技术，通过引用的方式将其整体合并于此。
[0090]再次参考图5，将在块550中确定的更新的行和列FPN项进行存储(在块552中)并将其应用于(在块555中)块545提供的模糊图像帧。在应用这些项之后，可降低模糊图像帧中的一些空间行和列的FPN。然而，因为这些项通常应用于行和列，所以附加的FPN可保持不变，例如，与像素到像素的漂移或者其他原因相关的空间不相关的FPN。与单个行和列可能不直接相关的、空间相关的FPN的邻近区域也可保持不变。因此，可进行进一步的处理以确定NUC项，下面将对其进行描述。
[0091]在块560中，模糊图像帧中的局部反差值(例如，相邻像素或者小组像素之间的梯度边缘值或者绝对值)得以确定。如果模糊图像帧中的场景信息包括还没有被明显模糊的反差区域(例如，原始场景数据中的高反差边缘)，那么可由块560中的反差确定过程来确定该特征。
[0092]例如，可计算模糊图像中的局部反差值，或者任何其他期望类型的边缘检测过程可应用于以便识别作为局部反差区域的一部分的、模糊图像中的某些像素。可以认为以这种方式标记的像素包含很高空间频率的场景信息，可将该很高空间频率的场景信息解释为FPN (例如，这种区域可对应于还没有被充分模糊的场景的部分)。因此，可不将这些像素用于对NUC项的进一步确定。在一个实施例中，这种反差检测处理可依赖于高于与FPN相关的期望反差值的阈值(例如，可以认为表现出的反差值高于阈值的像素是场景信息，而认为那些低于阈值的像素表现的是FPN)。
[0093]在一个实施例中，在行和列FPN项已经应用于模糊图像帧之后，可对模糊图像帧执行块560的反差确定(例如，如图5所不)。在另一个实施例中，可在块550之前执行块560,以在确定行和列FPN项之前确定反差(例如，以防止基于场景的反差对于确定该项有影响)。
[0094]在块560之后，可以预期的是，残留在模糊图像帧中的任何高空间频率分量可一般地归因于空间不相关的FPN。就这方面而言，在块560之后，已经将很多其他噪声或者真正期望的基于场景的信息去除或者排除在模糊图像帧之外，这是因为:对图像帧的有意地模糊(例如，通过从块520到545的运动或者散焦)、行和列FPN项的应用(块555)以及反差的确定(块560)。[0095]因此，可以预期的是，在块560之后，任何残留的高空间频率分量(例如，表现为模糊图像帧中的反差或者差别区域)均可归因于空间不相关的FPN。因此，在块565中，对模糊图像帧进行高通滤波。在一个实施例中，这可包括应用高通滤波器以从模糊图像帧中提取高空间频率分量。在另一个实施例中，这可包括对模糊图像帧应用低通滤波器，并提取低通滤波后的图像帧和没有滤波的模糊图像帧之间的差值以获得高空间频率分量。根据本公开的各种实施例，可通过计算传感器信号(例如，像素值)和其相邻信号之间的平均差值来实现高通滤波器。
[0096]在块570，对高通滤波后的模糊图像帧进行平场校正处理，以确定更新的NUC项(例如，如果先前没有进行NUC过程，那么更新的NUC项可以是块570的第一次迭代中的新的NUC项)。
[0097]例如，图7示出了根据本公开实施例的平场校正技术700。在图7中，可通过使用像素710的相邻像素712到726的值来确定模糊图像帧的每个像素710的NUC项。对于每个像素710来说，可基于各种相邻像素的值之间的绝对差值来确定数个梯度。例如，可确定下述像素之间的绝对差值:像素712和714之间(从左到右的对角梯度)、像素716和718之间(从上到下的垂直梯度)、像素720和722之间(从右到左的对角梯度)以及像素724和726之间(从左到右的水平梯度)。
[0098]可对这些绝对差值进行求和，以提供每个像素710的总梯度。可确定每个像素710的权重值，所述权重值与总梯度成反比。可对模糊图像帧的全部像素710执行该过程，直到为每个像素710提供加权值。对于具有低梯度的区域(例如，模糊的区域或者具有低对比度的区域)来说，权重值将会接近I。相反，对于具有高梯度的区域来说，权重值将会为O或者接近零。如通过高通滤波器估计的NUC项的更新值与权重值相乘。
[0099]在一个实施例中，通过将一定量的时间衰减应用到NUC项确定过程，能够进一步地降低将场景信息引入到NUC项中的风险。例如，可选择位于O和I之间的时间衰减因子λ，这样存储的新的NUC项(NUCnew)为旧的NUC项(NUQm)和估计的更新的NUC项(NUCupdate)的加权平均值。在一个实施例中，这可表示为=NUCnew=X -NUCold+(1-λ).(NUcmi^NUcupdate)。
[0100]尽管已经针对梯度描述了对NUC项的确定，但是适当的时候也可使用局部反差值来代替梯度。也可使用其他技术，例如，标准偏差计算。可执行其他类型的平场校正步骤以确定NUC项，包括:例如专利号为6，028，309、授权日为2000年2月22日的美国专利；专利号为6，812，465、授权日为2004年11月2日的美国专利；以及申请号为12/114，865、2008年5月5日提交的美国专利申请所记载的各种方法，通过引用的方式将上述文献整体合并于此。
[0101]再次参考图5，块570可包括对NUC项的附加处理。例如，在一个实施例中，为了保留场景信号的平均值，可通过从每个NUC项中减去NUC项的平均值来将全部NUC项的和归一化到零。同样的在块570中，为了避免行和列噪声影响NUC项，可从每行和列的NUC项中减去每行和列的平均值。结果是，使用在块550中确定的行和列FPN项的行和列FPN滤波器可以在进一步的迭代中(例如，如图8所进一步示出的)更好地过滤掉将NUC项应用到捕获的图像之后(例如，本文将进一步在块580中讨论)的行和列噪声。就这方面而言,行和列FPN滤波器通常可使用更多的数据来计算每行和每列的偏移系数(例如，行和列的FPN项)，并且与基于高通滤波来捕获空间上不相关的噪声相比，可从而提供更加可靠的、用于减少空间相关的FPN的可选项。
[0102]在块571-573中，可以可选地对更新的NUC项执行附加的高通滤波和进一步的确定处理以消除空间相关的FPN，所述空间相关的FPN具有比先前通过行和列FPN项消除的空间频率更低的空间频率。就这方面而言，红外传感器132或者红外成像模块100的其他部件的一些变化可产生空间相关的FPN噪声，不能容易地将该空间相关的FPN噪声建模为行或者列噪声。这种空间相关的FPN可包括例如传感器封装或者红外传感器132组上的窗样缺损(window defect),所述红外传感器132组与相邻的红外传感器132相比,对发光的响应不同。在一个实施例中，可使用偏移校正来减少这种空间相关的FPN。如果这种空间相关的FPN的数量很多，则也可在模糊图像帧中检测到噪声。由于这种类型的噪声可影响像素的邻近区域，具有很小内核的高通滤波器可能不能检测到邻近区域中的FPN (例如，高通滤波器使用的全部值可从受到影响的像素的邻近区域中提取，因此可被同样的偏移误差影响)。例如，如果使用小的内核执行块565的高通滤波(例如，只考虑落入受到空间相关的FPN影响的像素的邻近区域中的直接相邻的像素)，则可能不能检测到广泛分布的空间相关的 FPN。
[0103]例如，图11示出了根据本公开实施例的在像素的邻近区域中的空间相关的FPN。如采样的图像帧1100所示，像素1100的邻近区域可表现出空间相关的FPN，所述空间相关的FPN不准确地与单个行和列相关，并且分布于几个像素构成的邻近区域(例如，在该例子中，约为4*4个像素的邻近区域)。采样的图像帧1100还包括一组像素1120和一组像素1130，所述像素1120表现出在滤波计算中没有使用的基本上均匀的响应，所述像素1130用于估计像素1110的邻近区域的低通值。在一个实施例中，像素1130可以是可分为两部分的多个像素，以便于促进有效的硬件或者软件计算。
[0104]再次参考图5，在块571-573中，可以可选地对更新的NUC项执行附加高通滤波和进一步的确定处理，以消除空间相关的FPN，例如，像素1110表现出的空间相关的FPN。在块571中，将在块570中确定的更新的NUC项应用到模糊图像帧。因此，此时，模糊图像帧将会已经针对空间相关的FPN进行了初步校正(例如，通过在块555中应用更新的行和列FPN项)，并且也针对空间不相关的FPN进行了初步校正(例如，通过应用在块571中应用的更新的NUC项)。
[0105]在块572中，进一步的高通滤波器得以应用，该高通滤波器的内核比在块565中使用的高通滤波器的内核大，并且可在块573中确定进一步更新的NUC项。例如，为了检测像素1110中存在的空间相关的FPN，在块572中应用的高通滤波器可包括来自像素的足够大的邻近区域的数据，从而能够确定没有受到影响的像素(例如，像素1120)和受到影响的像素(例如，像素1110)之间的差值。例如，可使用具有大内核的低通滤波器(例如，远大于3*3个像素的N*N内核)，并且可减去得到的结果以进行适当的高通滤波。
[0106]在一个实施例中，为了提高计算效率,可使用稀疏内核,从而仅使用N*N的邻近区域内的较少数量的像素。对于任何给定的使用较远的相邻像素的高通滤波器(例如，具有大内核的高通滤波器)来说，存在将实际的(潜在模糊的)场景信息建模为空间相关的FPN的风险。因此，在一个实施例中，对于在块573中确定的更新的NUC项，可将时间衰减因子λ设置为接近I。
[0107]在各种实施例中，可重复(例如，串联(cascade))块571-573，以利用递增的内核尺寸来迭代地执行高通滤波，从而提供进一步更新的NUC项，所述进一步更新的NUC项对于期望的邻近区域尺寸的空间相关的FPN更加正确。在一个实施例中，可根据通过先前执行的块571-573所得到的更新的NUC项是否已经将空间相关的FPN真正的消除，来作出是否执行这种迭代的决定。
[0108]在块571-573完成之后，作出是否将更新的NUC项应用到捕获的图像帧的决定(块574)。例如，如果整个图像帧的NUC项的绝对值的平均值小于最小的阈值，或者大于最大的阈值，则可认为该NUC项是假的或者不可能提供有意义的校正。可选的，可将阈值标准应用到各个个别的像素，以确定哪些像素接收到更新的NUC项。在一个实施例中，阈值可对应于新计算的NUC项和先前计算的NUC项之间的差值。在另一个实施例中，阈值可独立于先前计算的NUC项。可应用其他测试(例如，空间相关性测试)以确定是否应用NUC项。
[0109]如果认为NUC项是假的或者不可能提供有意义的校正，则流程图返回到块505。否贝U，存储(块575)新确定的NUC项以替代先前的NUC项(例如，由图5中先前执行的迭代确定)，并将所述新确定的NUC项应用到(块580)捕获的图像帧。
[0110]图8示出了根据本公开实施例的、应用在图像处理途径800中的图5的各种图像处理技术和其他操作。就这方面而言，途径800确定了在用于校正红外成像模块100提供的图像帧的整个迭代图像处理方案的背景下图5的各种操作。在一些实施例中，可由对通过红外传感器132捕获的图像帧进行操作的处理模块160或者处理器195 (二者通称为处理器)来提供途径800。
[0111]可将红外传感器132捕获的图像帧提供给帧平均器804，所述帧平均器804求多个图像巾贞的积分(integrate)以为图像巾贞802提供改进的信噪比。可通过红外传感器132、R0IC402以及红外传感器组件128的实现为支持高图像捕获速率的其他组件来有效地提供帧平均器804。例如，在一个实施例中，红外传感器组件128可以以240Hz的帧速率(例如，每秒240个图像)来捕获红外图像帧。在该实施例中，例如可通过使红外传感器组件128工作在相对较低的电压下(例如，与移动电话的电压相兼容)，以及通过使用相对较小的红外传感器132阵列(例如，在一个实施例中，为64*64的红外传感器阵列)，来实现这样高的帧速率。
[0112]在一个实施例中，可以以高的帧速率(例如，240Hz或者其他帧速率)将这种红外图像帧从红外传感器阵列128提供给处理模块160。在另一个实施例中，红外传感器组件128可以在较长的时间段或者多个时间段上进行积分，从而以较低的帧速率(例如，30Hz、9Hz或者其他帧速率)将积分后的(例如，取平均后的)红外图像帧提供给处理模块160。有关可用于提供较高图像捕获速率的实现方案的详细信息可在本文之前引用过的申请号为61/495，879的美国临时专利申请中找到。
[0113]图像帧802通过途径800继续进行，在途径800中图像帧802被各种项所调整、被时域滤波、被用来确定各种调整项以及进行增益补偿。
[0114]在块810和814，将工厂增益项812和工厂偏移项816应用于图像帧802，以分别补偿在制造和测试期间所确定的各种红外传感器132和/或红外成像模块100的其他部件之间的增益和偏移差。
[0115]在块580，将NUC项817应用于图像帧802，以如上所述地校正FPN。在一个实施例中，如果还没有确定NUC项817 (例如，在已经启动NUC过程之前)，则可以不执行块580，或者可将初始值用于NUC项817，这不会导致图像数据的改变(例如，每个像素的偏移值将等于O)。
[0116]在块818到822中，分别将列FPN项820和行FPN项824应用到图像帧802。可如上所述的那样根据块550来确定列FPN项820和行FPN项824。在一个实施例中，如果还没有确定列FPN项820和行FPN项824 (例如，在已经启动NUC过程之前)，则可以不执行块818到822，或者可将初始值用于列FPN项820和行FPN项824，这不会导致图像数据的改变(例如，每个像素的偏移值将等于O)。
[0117]在块826中，根据时域噪声消除(TNR)过程对图像帧802执行时域滤波。图9示出了根据本公开实施例的TNR过程。在图9中，对当前接收到的图像帧802a和先前时域滤波后的图像帧802b进行处理以确定新的时域滤波后的图像帧802e。图像帧802a和802b包括分别以像素805a和805b为中心的局部像素邻近区域803a和803b。邻近区域803a和803b对应于图像帧802a和802b内的相同位置，并且是图像帧802a和802b中的全部像素的子集。在示出的实施例中，邻近区域803a和803b包括5*5个像素的区域。在其他的实施例中可使用其他的相邻区域尺寸。
[0118]确定邻近区域803a和803b中对应的像素的差值并对其求平均，以为对应于像素805a和805b的位置提供平均增量值805c。增量值805c可用于在块807中确定将要应用到图像帧802a和802b的像素805a和805b的权重值。
[0119]在一个实施例中，如图809所示，在块807中确定的权重值可与平均的增量值805c成反比，以使得当邻近区域803a和803b之间差别较大时，权重值迅速的降低到零。就这方面而言，邻近区域803a和803b之间较大差别可表示场景内已经发生了变化(例如，由于运动)，并且在一个实施例中，可对像素802a和802b进行适当的加权，以避免引入跨越帧到帧场景变化的模糊。在其他实施例中可使用权重值和平均增量值805c之间的其他关联。
[0120]在块807中确定的权重值可用于像素805a和805b，以确定用于图像帧802e的相应像素805e的值(块811)。就这方面而言，根据在块807中确定的平均增量值805c和权重值，像素805e可具有对像素805a和805b加权平均(或者其他组合)后的值。
[0121]例如，时域滤波后的图像帧802e的像素805e可能是图像帧802a和802b的像素805a和805b的加权和。如果像素805a和805b之间的平均差别是由于噪声引起的，那么可以预期的是，邻近区域805a和805b之间的平均变化将会接近于零(例如，对应于不相关的变化的平均值)。在这种情况下，可以预期的是，邻近区域805a和805b之间的差值的和将会接近于零。在这种情况下，可对图像帧802a的像素805a进行适当的加权，以有助于生成像素805e的值。
[0122]然而，如果这种差值的和不为零(例如，在一个实施例中，甚至与零只相差很小的量)，那么可将变化解释为是由运动引起的，而不是由噪声引起的。因此，可基于邻近区域805a和805b所表现出的平均的变化来检测运动。在这种情况下，可对图像帧802a的像素805a施加较重的权重，而对图像帧802b的像素805b施加较轻的权重。
[0123]其他实施例也是可以预期的。例如，尽管描述的是根据邻近区域805a和805b来确定平均增量值805c，但是在其他实施例中，可根据任何期望的标准(例如，根据个别的像素或者各批像素中其他类型组)来确定平均增量值805c。
[0124]在上面的实施例中，已经将图像帧802a描述为当前接收到的图像帧，并且已经将图像帧802b描述为先前经过时域滤波后的图像帧。在另一个实施例中，图像帧802a和802b可以是红外成像模块100捕获到的还没有经过时域滤波的第一和第二图像帧。
[0125]图10示出了与块826的TNR过程有关的进一步的实施细节。如图10所示，分别将图像帧802a和802b读入到线缓冲器IOlOa和IOlOb中，并且在将图像帧802b (例如，先前图像帧)读入到线缓冲器IOlOb中之前，可将其存储到帧缓冲器1020中。在一个实施例中，可通过由红外成像模块100和/或主机装置102的任何合适的部件提供的随机存储器(RAM)块来实现线缓冲器1010a-b和帧缓冲器1020。
[0126]再次参考图8，可将图像帧802e传送到自动增益补偿块828，用以进行进一步地处理，以提供主机装置102可根据期望使用的结果图像帧830。
[0127]图8进一步地示出了被执行以如所讨论的那样确定行和列FPN项以及NUC项的各种操作。在一个实施例中，这些操作可使用如图8所示的图像帧802e。因为已经对图像帧802e进行了时域滤波，所以可消除至少某些时域噪声，从而不会不经意地影响对行和列FPN项824和820以及NUC项817的确定。在另一个实施例中，可使用没有经过时域滤波的图像帧802。
[0128]在图8中，图5中的块510、515和520被集中地表示在一起。如所讨论的，可响应于各种NUC过程启动事件以及基于各种标准或者条件来选择性地启动或者执行NUC过程。同样如所讨论的，可根据基于运动的方法(块525、535和540)或者基于散焦的方法(块530)来执行NUC过程，以提供模糊的图像帧(块545)。图8进一步地示出了先前关于图5所讨论的各种附加块 550、552、555、560、565、570、571、572、573 和 575。
[0129]如图8所示，可确定行和列FPN项824和820以及NUC项817，并且以迭代的方式应用上述项，以使得使用已经应用了先前的项的图像帧802来确定更新的项。结果是，图8的整个过程可重复地更新，并应用这些项以连续地减少主机装置102将要使用的图像帧830中的噪声。
[0130]再次参考图10，其示出了图5和图8中与途径800有关的各种块的详细的实施细节。例如，将块525、535和540显示为以通过途径800接收的图像帧802的正常帧速率操作。在图10所示的实施例中，将在块525中所做的决定表示为决定菱形，其用于确定给定图像帧802是否已经充分的改变，从而可以认为如果将图像帧加入到其他图像帧中，该图像帧将会增强模糊，因此得到累加(在该实施例中，通过箭头来表示块535)和平均(块540)。
[0131]同样的在图10中，将对列FPN项820的确定(块550)显示为以更新速率操作，在该例子中，由于在块540中执行的平均处理，该更新速率为传感器帧速率(例如，正常帧速率)的1/32。在其他的实施例中可使用其他的更新速率。尽管图10仅标识出了列FPN项820，但是可以以相同的方式以降低的帧速率来实现行FPN项824。
[0132]图10还示出了与块570的NUC确定过程有关的进一步的实施细节。就这方面而言，可将模糊图像帧读入到线缓冲器1030 (例如，由红外成像模块100和/或主机装置102的任何合适的部件提供的RAM块来实现)。可对模糊图像帧执行图7的平场校正技术700。
[0133]鉴于本公开的内容，应当理解的是，本文描述的方法可用于消除各种类型的FPN(例如，包括很高幅度的FPN)，例如，空间相关的行和列FPN以及空间不相关的FPN。
[0134]其他实施例也是可以预期的。例如，在一个实施例中，行和列FPN项和/或NUC项的更新的速率可与模糊图像帧中的模糊的估计的数量成反比，和/或与局部反差值(例如，在块560中确定的局部反差值)的大小成反比。
[0135]在各种实施例中，描述的技术提供了优于传统的基于快门的噪声校正技术的优点。例如，通过使用无快门的方法，不需要设置快门(例如，如快门105)，从而可以减少尺寸、重量、成本和机械复杂度。如果不需要机械地操作快门，还可降低提供给红外成像模块100或者由红外成像模块100产生的功率和最大电压。通过将作为潜在的故障点的快门去除，将会提高可靠性。无快门的方法还消除了由通过快门成像的场景的暂时性堵塞所引起的潜在的图像中断。
[0136]同样的，通过使用从真实场景(不是快门提供的均匀场景)捕获的有意地模糊的图像帧来校正噪声，可对发光水平与期望成像的那些真实场景类似的图像帧进行噪声校正。这能够改进根据各种描述的技术所确定的噪声校正项的精度和效率。
[0137]在合适的情况下，可通过硬件、软件或者硬件和软件的结合来实现本公开所提供的各种实施例。同样地在合适的情况下，在不脱离本公开的精神的情况下，可将本文所提出的各种硬件部件和/或软件部件合并为包括软件、硬件和/或二者的复合部件。在合适的情况下，在不脱离本公开的精神的情况下，可将本文所提出的各种硬件部件和/或软件部件分离为包括软件、硬件和/或二者的子部件。另外，在合适的情况下，可以预期的是，软件部件能够实现为硬件部件，反之亦然。
[0138]根据本公开的软件，例如，非暂时性指令、程序代码和/或数据可存储在一个或者多个非暂时性机器可读介质中。还可以预期的是，可使用一个或者多个通用或者专用计算机和/或计算机系统、网络和/或其他方式来实现本文所提及的软件。在合适的情况下，本文所描述的各种步骤的顺序可以改变、合并为复合步骤和/或分离为子步骤，以提供本文所描述的功能。
[0139]以上所描述的实施例仅为了举例说明，而不是限制本发明。还应当理解的是，根据本发明的原理，许多修改和改变是可能的。因此，本发明的范围仅由下面的权利要求书限定。
【权利要求】
1.一种用于从由红外成像装置捕获的图像帧中消除噪声的方法，所述方法包括: 接收有意模糊的图像帧，其中，所述模糊的图像帧包括与场景相关的模糊的热图像数据和由所述红外成像装置引入的噪声； 对所述模糊的图像帧进行处理，以确定多个非均匀性校正(NUC)项以减少包括空间不相关的固定模式噪声(FPN)的噪声的一部分；以及将所述NUC项应用到所述捕获的图像帧。
2.根据权利要求1所述的方法，进一步包括:对在所述红外成像装置相对于所述场景的至少一部分运动时捕获的一组图像帧进行累加，以提供所述有意模糊的图像帧。
3.根据权利要求2所述的方法，其中，所述运动是为了进行NUC校正而由用户启动的所述红外成像装置的运动。
4.根据权利要求2所述的方法，进一步包括: 检测所述运动；以及 根据检测到的运动选择所述一组图像帧。
5.根据权利要求4所述的方法，其中，所述检测所述运动包括评估所述图像帧的像素。
6.根据权利要求4所述的方法，其中，所述检测所述运动包括监测运动传感器。
7.根据权利要求2所述的方法，进一步包括:在进行所述累加之前，对所述捕获的图像帧进行时域滤波。
8.根据权利要求7所述`的方法，其中，所述时域滤波包括: 将第一图像帧与第二图像帧进行比较；以及 根据所述第一图像帧和第二图像帧中的相应像素的邻近区域所表现出的平均变化来检测运动。
9.根据权利要求1所述的方法，进一步包括: 有意地使所述红外成像装置散焦；以及 当所述红外成像装置被散焦时，从所述场景中捕获所述模糊的图像帧。
10.根据权利要求1所述的方法，其中，对所述模糊的图像帧进行处理包括: 根据相邻像素的值，为所述模糊的图像帧的每个像素确定局部反差值；以及 根据所述局部反差值确定所述NUC项。
11.根据权利要求1所述的方法，进一步包括:对所述模糊的图像帧应用高通滤波器，以在确定所述NUC项之前，实质上从所述模糊的图像帧中消除所述模糊的热图像数据。
12.根据权利要求11所述的方法，其中，所述高通滤波器是具有第一内核的第一高通滤波器，所述方法进一步包括: 将所述NUC项应用到所述模糊的图像帧； 在应用所述NUC项之后，对所述模糊的图像帧应用第二高通滤波器以消除所述模糊的图像帧中的附加的模糊的热图像数据，其中，所述第二高通滤波器具有大于所述第一内核的第二内核，以识别与所述第一内核相比具有较低空间频率的噪声；以及 处理所述模糊的图像帧以更新所述NUC项，从而减少包括空间相关的FPN的噪声的一部分。
13.根据权利要求1所述的方法，进一步包括: 确定所述模糊的图像帧中的局部反差值；以及不将与所述局部反差值相关的像素用于对所述NUC项的确定，以防止将与所述场景相关的模糊的热图像数据弓丨入到所述NUC项中。
14.根据权利要求1所述的方法，进一步包括: 对所述模糊的图像帧进行处理以确定多个空间相关的FPN项，从而减少包括与所述红外成像装置的红外传感器的行或者列相关的空间相关的FPN的噪声的一部分；以及 将所述空间相关的FPN项应用到所述捕获的图像帧。
15.根据权利要求14所述的方法，进一步包括: 将所述空间相关的FPN项应用于所述模糊的图像帧，以在确定用于消除空间不相关的FPN的NUC项之前实质上从所述模糊图像帧中消除所述空间相关的FPN。
16.根据权利要求1所述的方法，其中，所述场景是所述红外成像装置所位于的环境。
17.根据权利要求1所述的方法，其中，所述红外成像装置适于在移动装置中实现。
18.根据权利要求1所述的方法，其中，由与所述红外成像装置通信的远程系统执行所述接收、处理和应用。
19.一种装置,包括: 红外成像装置，其包括多个适于捕获图像帧的红外传感器；以及 处理器，其适于处理有意模糊的图像帧，其中，所述模糊的图像帧包括与场景相关的模糊的热图像数据和由所述红外`成像装置引入的噪声，其中，所述处理器适于: 使用所述模糊的图像帧来确定多个非均匀性校正(NUC)项以减少包括空间不相关的固定模式噪声(FPN)的噪声的一部分，以及 将所述NUC项应用到所述捕获的图像帧。
20.根据权利要求19所述的装置，其中，所述处理器适于:对在所述红外成像装置相对于所述场景的至少一部分运动时捕获的一组图像帧进行累加，以提供所述有意模糊的图像帧。
21.根据权利要求20所述的装置，其中，所述运动是为了进行NUC校正而由用户启动的所述红外成像装置的运动。
22.根据权利要求20所述的装置，其中，所述处理器适于: 检测所述运动；以及 根据检测到的运动选择所述一组图像帧。
23.根据权利要求22所述的装置，其中，所述处理器适于:评估所述图像帧的像素以检测所述运动。
24.根据权利要求22所述的装置，进一步包括运动传感器，其中，所述处理器适于:监测所述运动传感器以检测所述运动。
25.根据权利要求20所述的装置，其中，所述处理器适于:在将所述一组图像帧进行累加之前，对所述捕获的图像帧进行时域滤波。
26.根据权利要求25所述的装置，其中，所述处理器适于: 将第一图像帧与第二图像帧进行比较；以及 根据所述第一图像帧和第二图像帧中的相应像素的邻近区域所表现出的平均变化来检测运动。
27.根据权利要求19所述的装置，其中，当所述红外成像装置被有意地散焦时，从所述场景捕获所述模糊的图像帧。
28.根据权利要求19所述的装置，其中，所述处理器适于: 根据相邻像素的值，为所述模糊的图像帧的每个像素确定局部反差值；以及 根据所述局部反差值确定所述NUC项。
29.根据权利要求19所述的装置，其中，所述处理器适于:对所述模糊的图像帧应用高通滤波器，以在确定所述NUC项之前，实质上从所述模糊的图像帧中消除所述模糊的热图像数据。
30.根据权利要求29所述的装置，其中，所述高通滤波器是具有第一内核的第一高通滤波器，其中，所述处理器适于: 将所述NUC项应用到所述模糊的图像帧； 在应用所述NUC项之后，对所述模糊的图像帧应用第二高通滤波器以消除所述模糊的图像帧中的附加的模糊的热图像数据，其中，所述第二高通滤波器具有大于所述第一内核的第二内核，以识别与所述第一内核相比具有较低空间频率的噪声；以及 利用所述模糊的图像帧来更新所述NUC项，以减少包括空间相关的FPN的噪声的一部分。
31.根据权利要求19所述的装置，其中，所述处理器适于: 确定所述模糊的图像帧中的局部反差值；以及 不将与所述局部反差值相关的像素用于对所述NUC项的确定，以防止将与所述场景相关的模糊的热图像数据弓丨入到所述NUC项中。
32.根据权利要求19所述的装置，其中，所述处理器适于: 利用所述模糊的图像帧来确定多个空间相关的FPN项，以减少包括与所述红外成像装置的红外传感器的行或者列相关的空间相关的FPN的噪声的一部分；以及 将所述空间相关的FPN项应用到所述捕获的图像帧。
33.根据权利要求32所述的装置，其中，所述处理器适于:将所述空间相关的FPN项应用于所述模糊的图像帧，以在确定用于消除空间不相关的FPN的NUC项之前实质上从所述模糊图像帧中消除所述空间相关的FPN。
34.根据权利要求19所述的装置，其中，所述场景是所述红外成像装置所位于的环境。
35.根据权利要求19所述的装置，其中，所述装置为适于接收所述红外成像装置的移动装置。
36.根据权利要求19所述的装置，其中，所述处理器是所述红外成像装置的一部分。
37.一种用于从由红外成像装置捕获的图像帧中消除噪声的方法，所述方法包括: 接收有意模糊的图像帧，其中，所述模糊的图像帧包括与场景相关的模糊的热图像数据和由所述红外成像装置引入的噪声； 对所述模糊的图像帧进行处理，以确定多个空间相关的固定模式噪声(FPN)项以减少包括与所述红外成像装置的红外传感器的行或者列相关的空间相关的FPN的噪声的一部分；以及 将所述空间相关的FPN项应用到所述捕获的图像帧。
38.一种装置，包括: 红外成像装置，其包括多个适于捕获图像帧的红外传感器；以及处理器，其适于处理有意模糊的图像帧，其中，所述模糊的图像帧包括与场景相关的模糊的热图像数据和由所述红外成像装置引入的噪声，其中，所述处理器适于: 使用所述模糊的图像帧来确定多个空间相关的固定模式噪声(FPN)项以减少包括与所述红外传感器的行或者列相关的空间相关的FPN的噪声的一部分，以及将所述空间相关的 FPN项应用到所述捕获的图像帧。
【文档编号】H04N5/33GK103875235SQ201280037716
【公开日】2014年6月18日 申请日期:2012年6月8日 优先权日:2011年6月10日
【发明者】N·霍根斯特恩, T·R·赫尔特, K·斯特兰德玛, P·布朗热, B·夏普, E·A·库尔特 申请人:菲力尔系统公司