相关申请的交叉引用
本申请要求2015年6月5日提交的标题为“systemsandmethodsforenhanceddynamicrangeinfraredimaging”的美国临时专利申请no.62/171,962的权益和优先权，其全部内容通过引用并入本文。
一个或多个实施例一般涉及成像设备，并且更具体地涉及例如使用两个或更多个热红外(ir)成像模块来增强图像的动态范围，同时保持辐照度范围内的高信号保真度。
背景技术：
ir照相机使用探测ir辐射(例如，热ir辐射)的焦平面阵列(fpa)来提供热ir图像。例如，fpa的ir探测器接收通过ir照相机的光路的热ir辐射，其为热ir图像的像素提供图像数据。
对于温度变化大的场景，可能无法通过ir照相机的单次曝光来捕捉高场内温度范围的全部范围。如果为了更低的辐照度而优化ir照相机，则高辐照度区域(例如，最热的区域)通常会饱和。如果为了更高的辐照度而优化ir照相机，则低辐照度区域(例如，较冷的区域)可能会变得有噪声，并显示出黑色。
对于特定的ir照相机和预期的温度范围，可以通过将照相机调整到最佳快门速度或积分时间来优化成像。然而，使用单个积分时间可能无法完全包含场景的温度变化。
技术实现要素：
在一个或多个实施例中，一种设备包括：第一热红外(ir)成像模块，配置为捕捉第一视场(fov)的第一图像；第二热ir成像模块，配置为捕捉第二fov的第二图像，第二fov至少部分地与第一fov重叠，与第一热ir成像模块相比，为更高的热ir辐照度而优化第二热ir成像模块；和处理系统，配置为：探测第一图像的饱和像素(例如，饱和像素值和/或饱和像素坐标)，确定与第一图像的饱和像素对应的第二图像的像素(例如，像素值和像素坐标)，和基于第一图像的非饱和像素(例如，非饱和像素值和/或非饱和像素坐标)和与第一图像的饱和像素对应的第二图像的像素(例如，像素值和像素坐标)生成组合图像。第一热ir成像模块和第二热ir成像模块可机械地和电子地集成。处理系统可配置为将第一图像和第二图像配准到公共图像平面，其可以具有与第一图像和/或第二图像的空间分辨率不同的空间分辨率。处理系统可以配置为在生成组合图像之后执行色调映射和/或自动增益控制(agc)。
在一些实施例中，第一热ir成像模块包括配置为用于高增益的第一微测热辐射计焦平面阵列(fpa)，并且第二热ir成像模块包括配置为用于低增益的第二微测热辐射计fpa，以为了更高的热ir辐照度进行优化。
在一些实施例中，第一热ir成像模块包括使用积分时间以为了比第二热ir成像模块更低的ir辐照度进行优化的光子探测器fpa，并且第二热ir成像模块包括微测热辐射计fpa。光子探测器fpa可以对中波ir辐射(mwir)敏感，并且微测热辐射计fpa可以对长波ir辐射(lwir)敏感。处理系统可以配置为基于由光子探测器fpa和微测热辐射计fpa捕捉的辐射测量信息确定对象的绝对温度。
在一些实施例中，第一热ir成像模块具有与第二热ir成像模块不同的空间分辨率，并且处理系统配置为对第一图像和/或第二图像进行重新采样和/或缩放以在公共图像平面上对准。处理系统可以配置为通过将第一图像的饱和像素替换为对应于饱和像素的重新采样的第二图像的像素来生成组合图像。可选的，处理系统可以配置为通过将第一图像的饱和像素与对应于饱和像素的重新采样的第二图像的像素进行混合来生成组合图像。处理系统可以配置为在公共图像平面上使用第一图像的非饱和像素和第二图像的对应像素对第一图像和/或第二图像进行标准化，使得第一和第二图像中的后标准化对应场景坐标提供相同或相似的信号强度值。
在一些实施例中，第一热ir成像模块具有比第二热ir成像模块更高的空间分辨率，并且处理系统配置为对与第一图像的饱和像素对应的第二图像的像素进行重新采样和/或缩放以与公共图像平面上的饱和像素对准。处理系统可以配置为在公共图像平面上使用第一图像的非饱和像素(例如，非饱和像素值)以及第二图像的对应像素(例如，像素值)，对第一图像的饱和像素(例如，饱和像素值)和/或与第一图像的饱和像素对应的第二图像的像素(例如，像素值)进行标准化。处理系统可以配置为用基于第二图像重新采样、缩放和/或标准化的像素(例如，重新采样、缩放和/或标准化的像素值)替换第一图像的饱和像素来生成组合图像。可选地，处理系统可以配置为通过将第一图像的饱和像素与重新采样、缩放和/或标准化的像素混合来生成组合图像。
在一个或多个实施例中，一种方法包括：捕捉第一fov的第一热图像；在捕捉第一热图像的同时，捕捉至少部分与第一fov重叠的第二fov的第二热图像，其中，与捕捉第一热图像相比，为更高的热红外(ir)辐照度对捕捉第二热图像进行优化；探测第一热图像的饱和像素；确定与第一热图像的饱和像素对应的第二热图像的像素；和基于第一热图像的非饱和像素和与第一热图像的饱和像素对应的第二热图像的像素生成组合图像。方法可以进一步包括：将第一热图像和第二热图像配准到公共图像平面。公共图像平面可以具有与第一或第二图像的空间分辨率都不同的空间分辨率。方法可以进一步包括在生成出组合图像之后执行色调映射和/或自动增益控制agc。
在一些实施例中，用第一ir成像模块捕捉第一热图像，第一ir成像模块包括配置为用于高增益的第一微测热辐射计fpa，并且用第二ir成像模块捕捉第二热图像，第二ir成像模块包括配置为用于低增益的第二微测热辐射计fpa，以为了更高的热ir辐照度进行优化。
在一些实施例中，用包括光子探测器fpa的第一ir成像模块来捕捉第一热图像，用包括微测热辐射计fpa的第二ir成像模块来捕捉第二热图像。第一成像模块可以使用积分时间为了比第二热成像模块更低的热ir辐照度对第一成像模块进行优化。光子探测器fpa可以对mwir敏感，并且微测热辐射计fpa可以对lwir敏感。该方法可以进一步包括基于由光子探测器fpa和微测热辐射计fpa捕捉的辐射测量信息来确定对象的绝对温度。
在一些实施例中，第一热图像具有比第二热图像更高的空间分辨率，并且方法进一步包括对第二热图像重新采样以在公共图像平面上与第一热图像对准。方法可以进一步包括通过将第一热图像的饱和像素替换为对应于饱和像素的重新采样的第二热图像的像素来生成组合图像。可选择的，方法可以进一步包括通过将第一热图像的饱和像素与对应于饱和像素的重新采样的第二热图像的像素进行混合来生成组合图像。
本发明的范围由权利要求定义。通过考虑以下一个或多个实施例的详细描述，本领域技术人员将更加完整地理解本发明的实施例以及其附加优点的实现。将参考首要先简要描述的附图。
附图说明
图1示出了根据本发明实施例的包括ir成像模块的示例性红外(ir)成像设备。
图2a-b示出了根据本发明实施例的ir成像设备的示例性ir成像模块。
图3示出了根据本发明实施例的生成由ir成像模块捕捉的组合图像的示例性方法。
图4a-b示出了根据本发明实施例的瞬时视场的示例性比较。
图5示出了根据本发明实施例的基于由ir成像模块捕捉的图像生成组合图像的示例性流程图。
图6示出了根据本发明实施例的基于由ir成像模块捕捉的图像来生成组合图像的示例性流程图。
通过参考下面的详细描述可以最好地理解本发明的实施例及其优点。应该理解的是，相似的附图标记用于表示在一个或多个附图中示出的相似元件。
具体实施方式
图1示出了根据本发明实施例的红外(ir)成像设备100(例如，热ir成像设备)的框图。ir成像设备100包括ir成像模块110(例如，热ir成像模块)、ir成像模块120(例如，热ir成像模块)、处理系统195(例如，处理器)、运动传感器194、机器可读介质195、存储器196、显示器197和/或其它组件198。
在各种实施例中，ir成像模块110和120每个都配备有微测热辐射计fpa或光子探测器fpa。微测热辐射计fpa使用fpa的热探测器探测ir辐射，其为热ir图像的像素提供图像数据。微测热辐射计fpa可具有较低的灵敏度，较宽的温度范围(例如，较大的动态范围)和/或较高的温度范围。微测热辐射计fpa可以包括ir探测材料，例如非晶硅(a-si)、氧化钒(vox)或其它探测材料。微测热辐射计fpa通常不需要冷却，所以装备有微测热辐射计fpa的ir照相机通常是非冷却ir照相机。
光子探测器fpa使用fpa的光子探测器探测ir辐射，其为热ir图像的像素提供图像数据。光子探测器fpa可以包括ir探测材料，例如砷化铟镓(ingaas)、锑化铟(insb)、砷化铟(inas)、锗或其它探测材料，并且可以包括量子阱红外光电探测器(qwip)。光子探测器fpa可以具有较高的灵敏度、较窄的温度范围(例如，较小的动态范围)和/或较低的温度范围。光子探测器fpa通常需要冷却，所以光子探测器fpa照相机通常是冷却ir照相机。
在某些实施例中，ir成像模块110和ir成像模块120每个都包括微测热辐射计fpa。ir成像模块110可以是非冷却ir成像模块，其包括配置为用于高增益(例如，比ir成像模块120更高的增益)的微测热辐射计fpa。ir成像模块110可以配置为用于例如通过校准(例如，通过调整输出信号增益和/或补偿)的高增益。以高增益模式操作的ir成像模块110捕捉比ir成像模块120更窄的温度范围(例如，更小的动态范围)的图像数据，并且可以为操作者最有可能感兴趣的辐照度/温度范围提供最佳可能的信噪比(snr)。例如，感兴趣的辐照度/温度范围可以在人体温度下人体皮肤的典型的辐照度/温度水平附近)。
ir成像模块120可以是包括为了更宽辐照度/温度范围而进行优化的微测热辐射计fpa的非冷却ir成像模块。例如，ir成像模块120可以配置为用于低增益(例如，比ir成像模块110更低的增益)。ir成像模块120可以配置为例如通过校准(例如，通过调整输出信号增益和/或补偿)和/或通过使用灰度滤波器的信号衰减用于低增益模式。在低增益模式下操作的ir成像模块120以在比ir成像模块110更宽的温度范围(例如，更大的动态范围)和/或更高的温度范围内捕捉图像数据，由此牺牲信噪比以提高动态范围。
在其它实施例中，ir成像模块110包括光子探测器fpa，并且ir成像模块120包括微测热辐射计fpa。ir成像模块110可以是包括光子探测器fpa的冷却ir成像模块。ir成像模块110可以具有可以改变的积分时间以适应处于变化的辐照度/温度水平下的场景。由于从高辐照度/温度区域(例如，具有大温度的对象)接收辐射的fpa的探测器将饱和，使用更长的积分时间可以为了更窄的温度范围(例如，更小的动态范围)和/或更低的温度范围优化冷却ir成像模块。由于从具有较大温度的对象接收辐射的fpa的探测器可能不会饱和，使用更短的积分时间可以为了更宽的温度范围(例如，更大的动态范围)和/或更高的温度范围优化ir成像模块110，但低辐照度区域(例如，具有低温的对象)可能没有足够的信噪比。信噪比不足的区域的ir图像在显示的时候可能呈现黑色。
ir成像模块110可以是冷却ir成像模块，其包括通过使用特定积分时间(例如，长积分时间)为低辐照度/温度而进行优化的光子探测器fpa。ir成像模块110的特定积分时间可以被设置为使得ir成像模块110为操作者最可能感兴趣的辐照度/温度范围(例如，低辐照度/温度时间)提供最佳可能的信噪比。例如，感兴趣的辐照度/温度范围可以在人体温度下人体皮肤的典型的辐照度/温度水平附近。配置有特定积分时间的ir成像模块110可以为了比ir成像模块120更窄的温度范围(例如，更小的动态范围)和/或更低的温度范围捕捉图像数据。ir成像模块110可以进一步配置为例如通过校准获得高增益。
ir成像模块120可以是非冷却ir成像模块，其包括为了更高辐照度/温度而进行优化的微测热辐射计fpa。由于微测热辐射计fpa通常在高辐照度/温度条件下表现良好，ir成像模块120可以为了更高辐照度/温度而进行优化。ir成像模块120可以捕捉比ir成像模块110更宽的温度范围(例如，更大的动态范围)和/或更高的温度范围的图像数据。ir成像模块120可以进一步配置为例如通过校准和/或通过使用灰度滤波器的信号衰减获得低增益。
在各种实施例中，ir成像模块110的视场(fov)至少部分地与ir成像模块120的fov重叠。因此，由ir成像模块110捕捉的图像至少部分地与ir成像模块120捕捉的图像重叠。
在各种实施例中，ir成像模块110具有与ir成像模块120不同的分辨率。在一些实施例中，ir成像模块110具有比ir成像模块120更高的空间分辨率。在其它实施例中，ir成像模块110可具有与ir成像模块120相同的空间分辨率。在进一步的实施例中，ir成像模块120具有比ir成像模块110更高的空间分辨率。
在各种实施例中，ir成像模块120可以与ir成像模块110机械地和/或电地集成，和/或连接到ir成像模块110，形成组合ir成像模块102。在其它实施例中，ir成像模块110和ir成像模块120被设置为单独的元件。ir成像模块110和ir成像模块120可以被定位在ir成像设备100上，使得它们被光学地对准并且各自的视场匹配。然而，光学对准和视场匹配可以是近似的，因为处理系统195可以将由ir成像模块110和ir成像模块120捕捉的图像对准/匹配到公共图像平面上，这如下所述。
在进一步的实施例中，可以有额外的ir成像模块。例如，额外的ir成像模块可以是未冷却ir成像模块，其配备有配置为用于中等增益的微测热辐射计fpa。
运动传感器194可以由一个或多个加速度计、陀螺仪或可用来探测ir成像设备100的运动的其它合适的设备来实现。运动传感器194可以由处理系统195监测并向处理系统195提供信息以探测运动。在各种实施例中，运动传感器194可以实现为ir成像设备100、ir成像模块110、ir成像模块120或附接到ir成像设备100或以其它方式与ir成像设备100接口的其它设备的一部分。
处理系统195可以实现为可由ir成像设备100使用的任何适当的处理设备(例如，逻辑装置、微控制器、处理器、专用集成电路(asic)、可编程逻辑设备(pld)或其它设备)以执行适当的指令，例如存储器196中提供的软件指令。
在各种实施例中，处理系统195配置为同时操作ir成像模块110以捕捉图像并操作ir成像模块120以捕捉附加的图像。处理系统195可以配置为将ir成像模块110的图像和ir成像模块120的附加图像配准(例如，对准、匹配和/或校正视差)到公共图像平面，使得对于公共图像平面上的每个位置，来自ir成像模块110的信号和来自ir成像模块120的信号是已知的。由于图像的输入像素位置(例如，输入像素坐标)和附加图像的输入像素位置(例如，输入像素坐标)可能未能在公共图像平面上对准，可以对ir成像模块120的附加图像进行重新采样、内插和/或对准，使得附加图像的输出像素位置(例如，输出像素坐标)与公共图像平面上的图像的输出像素位置(例如，输出像素坐标)对准。例如，根据显示器197的规格(例如，显示器197的分辨率)，ir成像模块110的图像也可以被重新采样和/或内插。处理系统195可以在显示器197上显示生成的组合图像作为输出。因此，显示器197上的图像的输出像素位置和附加图像的对应输出像素位置被对准，使得它们表示相同(或近似相同)的场景、场景中的对象和/或fov中的区域。
处理系统195可以配置为在生成组合图像之前，使用图像的非饱和像素(例如，非饱和像素值)和附加图像(例如，公共图像平面上的附加图像的对应像素)的光学对应像素(例如，像素值)对图像(例如，图像的饱和像素值)和/或附加图像(例如，与图像的饱和像素值对应的附加图像的像素值)进行标准化。例如，在重叠的区域(例如，其中来自ir成像模块110和ir成像模块120的信号/图像数据都是已知的)中，可以识别两个信号都不饱和的区域。这提供了由两个不同的传感器捕捉的相同场景或场景中的相同对象的多个样本。通过对至少一个信号/图像数据应用增益和/或补偿调整，可以将两个信号/图像数据标准化到相同的范围，使得标准化后图像和附加图像中的一个或多个对应的场景坐标/区域提供相同或相似的信号强度值。增益和补偿可以是全局参数(每个像素乘以相同的增益并且增加相同的补偿)，或者增益和补偿可以局部地确定，例如当辐照度响应是局部变化的时候。
处理系统195可以配置为探测图像的饱和像素(例如，饱和像素值和/或饱和像素坐标)，确定与图像的饱和像素对应的附加图像的像素(例如，像素值和像素坐标)，并基于图像的非饱和像素(例如，非饱和像素值和/或非饱和像素坐标)和与图像的饱和像素对应的附加图像的像素(例如，像素值和像素坐标)生成组合图像。处理系统195可以通过在来自ir成像模块110的信号/图像数据未饱和的所有区域中使用来自ir成像模块110的像素的图像数据，并且在所有其它地区中使用来自ir成像模块120的像素的重新采样和标准化图像数据来生成组合图像。有利地，ir成像模块110和ir成像模块120的这种组合提供了高动态范围成像能力，同时在特定的辐照度范围内保持了高信号保真度。
在各种实施例中，与使用单个ir成像模块顺序地(例如，在连续的帧中)捕捉不同的辐照度或动态范围的图像相比，ir成像模块110和ir成像模块120可以例如以它们各自的帧速率同时捕捉各自的图像。例如，ir成像模块110的图像和ir成像模块120的附加图像可以同时或基本上同时(例如，考虑到电子处理中的延迟或各自的ir成像模块的不同帧速率)被捕捉。当试图组合在不同时间点捕捉的图像时，这可以有利地允许更简单的读出电路和/或避免配准问题。
在各种实施例中，ir成像模块110具有与ir成像模块120不同的空间分辨率，并且处理系统195配置为对ir成像模块110的图像和/或ir成像模块120的附加图像进行重新采样、内插、外插、拉伸、缩小和/或裁剪，以在公共图像平面上配准(例如，对准、匹配和/或校正视差)ir成像模块110的图像和ir成像模块120的附加图像。
在某些实施例中，ir成像模块110具有比ir成像模块120更高的空间分辨率，并且处理系统195配置为对ir成像模块120的附加图像进行重新采样、内插、外插、拉伸，缩小和/或裁剪，以在公共图像平面上配准(例如，对准、匹配和/或校正视差)ir成像模块110的图像。处理系统195可以配置为在公共图像平面上通过将图像的饱和像素(例如，饱和像素值)替换为对应于图像的饱和像素的内插的附加图像的像素(例如，像素值)来生成组合图像。或者，处理系统195可以配置为在公共图像平面上通过将图像的饱和像素与对应于图像的饱和像素的内插的额外图像的像素进行混合来生成组合图像。
在生成组合图像之后，处理系统195可以进一步执行色调映射、图像增强(例如，数字细节增强(dde))和/或自动增益控制(agc)。在组合图像上执行图像增强和/或agc是有利的，因为对具有饱和像素的ir成像模块110的图像执行图像增强和/或agc导致不饱和像素被过度校正。在组合图像生成期间，排除了ir成像模块110的图像的饱和像素，因此，对组合图像执行图像增强和/或agc解决了过度校正的问题。
ir成像设备100包括每个配备有微测热辐射计fpa的非冷却ir成像模块120和非冷却ir成像模块110的实施例是有利的，因为ir成像设备100的动态范围可以增加。与仅操作一个非冷却ir成像模块相比，非冷却ir成像模块110可以在其标准高增益模式下以较高的增益操作，因为可以依赖非冷却ir成像模块120来捕捉低增益图像以补充由非冷却ir成像模块110捕捉的图像。因此，ir成像设备100可以提供更好的信噪比。进一步，未冷却ir成像模块110和/或非冷却ir成像模块120可以从头设计设计以仅为了窄动态范围(例如，1-40摄氏度)而优化，这可以降低具有这样的大动态范围的ir成像设备的成本。ir成像设备100可以进一步包括配置为用于中等增益以进一步增加动态范围的附加非冷却ir成像模块。
其中ir成像设备100包括配备有光子探测器fpa的冷却ir成像模块110和配备有微测热辐射计fpa的非冷却ir成像模块120的实施例是类似地有利的，因为可以增加ir成像设备100的动态范围。尽管冷却ir成像模块110的积分时间可以被用来改善动态范围，例如通过顺序捕捉具有变化的积分时间的多个图像并组合这些图像(例如，使用例如超帧的技术)，这需要更复杂的读出电路，并且与如上所述的一起使用冷却ir成像模块110和非冷却成像模块120相比，当尝试重新组合在不同时间点捕捉的图像时还导致配准问题。通过仅为了低辐照度(例如，更长的积分时间)对冷却ir成像模块110进行优化，读出集成电路(roic)的设计可以更简单并且允许在处理低对比度目标(例如，相对于处于与人类大约相同的辐照度强度的背景的人类)时优化图像性能。进一步，通过仅为了高辐照度对非冷却成像模块120进行优化，可以与非冷却成像模块120一起使用比与非冷却技术通常一起使用的更宽的fov透镜，这可以允许非冷却成像模块120更好地匹配冷却ir红外成像仪110的视场，因为许多冷却成像应用集中在使用窄视场光学器件进行长距离成像。ir成像设备100可以进一步包括额外的非冷却ir成像模块以进一步增加动态范围。
在其中ir成像设备100包括配备有光子探测器fpa的冷却ir成像模块110和配备有微测热辐射计fpa的非冷却ir成像模块120的一些实施例中，冷却ir成像模块110对中波ir辐射(mwir)(例如，2-5微米(μm)波段中的电磁辐射)敏感而非冷却ir成像模块120对长波ir辐射(lwir)(例如，7-12微米(μm)波段中的电磁辐射)敏感。这允许在场景的重叠非饱和区域中进行“双色”应用。ir成像设备100可以有利地在确定辐射测量数据(例如，远程绝对温度感测)方面具有改进的精确度，因为可以更好地估计与黑体辐射功率谱的偏差。因此，处理系统195可以配置为基于由ir成像模块110响应于ir成像模块110捕捉从对象发射的辐射而记录的辐射测量数据，以及由ir成像模块120响应于ir成像模块捕捉从对象发射的辐射记录的附加辐射测量数据，来远程确定对象的绝对温度。
显示器197可以用于显示捕捉的和/或处理的ir图像和/或其它图像、数据和/或信息。其它组件198可以用于实现ir成像设备100的对于各种应用所期望的任何特征(例如，时钟、温度传感器、可见光照相机或其它组件)。另外，机器可读介质193可以被提供为存储用于加载到存储器196中并且由处理器195执行的非暂时性指令。
图2a-b示出了根据本发明实施例的ir成像设备的示例性ir成像模块。ir成像模块210(例如，ir成像模块110(在图1中))和ir成像模块220(例如，ir成像模块120(在图1中))可以彼此非常接近地定位。ir成像模块210和220可作为组合ir成像模块202(例如，组合ir成像模块102(在图1中))机械地和/或电地集成和/或耦合。
ir成像模块210包括光学器件214和传感器212，而ir成像模块220包括光学器件224和传感器222。组合ir成像模块202包括电子器件232，其可以由ir成像模块210和220共享。电子器件232可以包括视频管线、现场可编程门阵列(fpga)和/或其它硬件组件。例如，经配置与ir成像模块210一起使用的ir成像照相机的电子器件可经修改以还与ir成像模块220连接，并且ir成像照相机的固件可经修改以与ir成像模块210及220两者一起使用。
在实施例中，传感器212是微测热辐射计fpa，并且传感器222是另一个微测热辐射计fpa。ir成像模块210可以配置为用于高增益，而ir成像模块220可以配置为用于低增益。传感器212可以比传感器222具有更高的空间分辨率，例如通过在阵列中具有更多的像素。
在其它实施例中，传感器212是光子探测器fpa，并且传感器222是微测热辐射计fpa。传感器212可以比传感器222具有更高的空间分辨率，例如通过在阵列中具有更多的像素。或者，传感器212可以具有与传感器222相同的空间分辨率。
在进一步的实施例中，组合ir成像模块202可以进一步包括一个或多个额外的ir成像模块，每个ir成像模块包括其自己的光学器件和传感器，并且一个或多个额外的ir成像模块也可以与电子器件232耦合并且共享电子器件232。
图3示出了根据本发明实施例的生成由ir成像模块捕捉的组合图像的示例性方法。图像312是由具有更高空间分辨率并为了更低热ir辐照度优化的ir成像模块(例如，ir成像模块110(在图1中))捕捉的图像。图像322是由具有更低空间分辨率并为了更高热ir辐照度进行了优化的ir成像模块(例如，ir成像模块120(在图1中))捕捉的图像。
ir成像模块110可以捕捉在其视场中包括具有高辐照度/温度的对象的场景的图像312。由于ir成像模块110为了更低的辐照度进行了优化，因此对象可以使表示视场中的对象的像素饱和。
在框300处，可以探测图像312的饱和像素(例如，像素314)，如图3中的黑色轮廓所表示的。
ir成像模块120可以捕捉具有比图像312更低的空间分辨率的图像322。由于ir成像模块120为了比ir成像模块110更高的辐照度进行了优化，因此导致饱和像素314的对象可能不会导致图像322的像素饱和。然而，因为图像312和322的各自的分辨率不同，所以可以处理图像322以使其可以与图像312组合。
在框302处，图像322被缩放到具有增加的空间分辨率的图像324。空间分辨率可以通过重新采样、内插和/或外插来增加。例如，图像322可以具有80x60的分辨率，并且图像324可以具有320x240的分辨率。
在框304处，图像324被进一步处理以通过拉伸、缩小和/或裁剪将图像326和图像312配准在公共图像平面中。例如，图像312可以具有320x256的分辨率。分辨率为320x240的图像324可以处理成分辨率为320x256的图像326以匹配图像312的分辨率。
在框306处，图像312与图像326组合以生成组合图像332。在许多实施例中，图像312的饱和像素314被图像326的光学对应像素(例如，公共图像平面上的图像326的对应像素)取代。因此，图像332包括图像312的非饱和像素和图像326的与图像312的饱和像素对应的选择像素。在其它实施例中，图像312的饱和像素314与图像326的光学对应像素混合。
图4a-b示出了根据本发明实施例的瞬时视场(ifov)的示例性比较。图4a示出具有较高空间分辨率和较小ifov的ir成像模块(例如，ir成像模块110(在图1中))的像素，而图4b示出具有较低空间分辨率和较大ifov的ir成像模块(例如，ir成像模块120(在图1中))的像素。对于相同的区域，ir成像模块110的像素(例如，fpa探测器的像素和/或存储在存储器中的图像数据的像素和/或显示器上显示的像素)小于ir成像模块120的像素。例如，ir成像模块110可以具有0.11度的ifov，而ir成像模块120具有0.33度的ifov。由于ir成像模块110与ir成像模块120的ifov之间的比值为1:3，所以ir成像模块110具有的像素是ir成像模块120的像素的9倍(3×3)倍，如图4a-b所示。
图5示出了根据本发明实施例的基于由ir成像模块捕捉的图像生成组合图像的示例性流程图。为了更低辐照度/温度范围而进行优化的ir成像模块(例如，ir成像模块110(在图1中))可以捕捉图像500(例如，图像、图像数据和/或信息、像素数据和/或信息等)，例如原始的高增益14位图像。ir成像模块(例如，ir成像模块120(在图1中))可以捕捉图像520，例如原始的低增益14位图像。ir成像设备(例如，ir成像设备100)可以处理图像500和图像520。
在框502处，帧速率降低模块可以从ir成像模块110接收图像500，并且如果需要的话，使用存储器(例如，存储器196(在图1中))中存储的设置504来降低帧速率。在示例中，帧速率降低模块可以是帧平均器，其配置为通过整合多个图像帧来降低帧速率以提供具有改善的信噪比的图像帧。在框506处，使用存储器196中的非均匀性校正(nuc)信息508对图像500执行非均匀性校正。nuc信息508可以包括可为了高增益图像而指定和/或优化的nuc项。在框510处，可以使用存储器196中的设定512对图像500执行空间滤波和/或时间滤波。在框514处，可对图像500执行缺陷像素替换。因此，可以对图像500进行处理以生成图像516，例如非均匀性校正的高增益14位图像。
在框522处，帧速率降低模块可以从ir成像模块120接收图像520，并且如果必要，使用存储在存储器(例如，存储器196(在图1中))中的设置524来降低帧速率。在示例中，帧速率降低模块可以是帧平均器，其配置为通过整合多个图像帧来降低帧速率以提供具有改善的信噪比的图像帧和/或以匹配ir成像模块110的图像500或在框502处平均化的图像500的帧速率。在框526处，使用存储器196中的非均匀性校正(nuc)信息528对图像520执行非均匀性校正(nuc)。nuc信息528可以包括可为了低增益图像而指定和/或优化的nuc项。在框530处，可以使用存储器196中的设定532对图像520执行空间滤波和/或时间滤波。在框534处，可对图像520执行缺陷像素替换。因此，可以对图像520进行处理以生成图像536，例如非均匀性校正的低增益14位图像。
在框518处，例如，如上面关于图3的框300所描述的，可以探测图像516的饱和像素。在框538处，可以缩放图像536(例如，通过重新采样、内插、外插、拉伸、缩小和/或裁剪)以与公共图像平面上的图像516对准，例如，如关于图3的框302和304描述的。进一步，例如，如关于图3的框306描述的，可以确定对应于图像516的饱和像素的图像536的像素。在框540处，图像516和图像536可以使用存储在存储器196中的设置542来组合以生成组合图像，该设置可以至少部分地基于光学信息544。在各种实施例中，图像516和图像536通过将图像516的饱和像素替换为对应于图像516的饱和像素的图像536的像素来组合以生成组合图像。在其它实施例中，图像516和图像536被混合以生成组合图像。
在框546处，可以执行组合图像的进一步处理，例如图像增强和自动增益控制/补偿(agc)。相应地，图像516和图像536被处理以生成输出图像550，例如非均匀性校正和自动增益补偿的高增益8位或14位图像。
在框560处，包含在图像516和图像536中的辐射测量信息被用于执行辐射测量计算，以提供例如绝对辐射测量值(例如，绝对温度)的辐射测量信息562。
框502、506、510、514、516、518、540、546、522、526、530、534、538和/或560中的一些或全部可以每个由各自的软件或硬件模块来执行，该各自的软件或硬件模块配置为执行上述每个框的操作。
框518、538、540、546和560可以由ir成像设备100的处理系统(例如图1中的处理系统195)执行，并且如上参照图1和图3进一步描述的那样。
在框502-514、518、522-534、538-548和560中描述的帧平均器、非均匀性校正、空间滤波、时间滤波、缺陷像素替换、饱和像素探测、组合图像、混合图像、图像增强、自动增益控制/补偿以及确定绝对辐射测量值进一步描述于2014年4月3日公开的标题为“non-uniformitycorrectiontechniquesforinfraredimagingdevices”的美国专利申请公开no.2014/0092257，于2011年8月9日公开的标题为“scenebasednon-uniformitycorrectionsystemsandmethods“的美国专利no.7,995,859，于2014年5月22日公开的标题为“lowpowerandsmallformfactorinfraredimaging”的美国专利申请公开no.2014/0139685，于2014年2月6日公开的标题为“rowandcolumnnoisereductioninthermalimages”的美国专利公开no.2014/0037225，于2009年10月20日公开的标题为“infraredandnear-infraredcamerahyperframing”的美国专利no.us7,606,484，于2014年12月14日公开的标题为”imageprocessingmethodfordetailenhancementandnoisereduction“的美国专利申请公开no.2014/0355904以及于2014年8月21日公开标题为“determinationofanabsoluteradiometricvalueusingblockedinfraredsensors”的美国专利申请公开no.us2014/0232875，所有这些文献的全部内容通过引用并入本文。
图6示出了根据本发明的实施例的基于由ir成像模块捕捉的图像来生成组合图像的示例性流程图。例如，图6的流程图可以是图5的框518、538和/或540的实现。
在各种实施例中，为了更高热ir辐照度而进行优化的ir成像模块(例如ir成像模块120(在图1中))可以是例如配置为始终以低增益模式运行的flir
在各种实施例中，为了更低热ir辐照度而进行优化的ir成像模块(例如ir成像模块110(在图1中))可以是例如配置为始终以高增益模式运行的flir
在各种实施例中，基于每个像素来确定是使用高增益信息(例如，高增益图像的像素数据)还是低增益信息(例如，低增益图像的像素数据)。在框634处，基于每个像素相对于高增益饱和极限/阈值636来确定可用动态范围。可用动态范围内的像素可以通过确定每个像素是否在饱和极限/阈值内或超过饱和极限/阈值来确定。
在一些实施例中，可以确定缩放权重，例如以用于图像的混合/融合。在框640处，将饱和度(sl)和刻度(a)输入到公式exp(-(sl/a)2)中以在框644处提供权重((w)。在框646处，从1(1－w)减去w。
在各种实施例中，最终图像处理是基于每个像素来执行的。在框650处，可以确定高增益动态范围与低增益动态范围的比例，其乘以标准化的低增益图像以在框652处提供缩放的图像。
在某些实施例中，在框640-648处确定的缩放权重例如被应用于通过混合/融合来组合图像。在框654处，基于缩放，例如通过将w与来自框632的标准化高增益图像的像素相乘，来调整/加权高增益图像的像素。在框656处，基于缩放，例如通过将(1-w)与来自框656的标准化低增益图像的像素相乘，来调整/加权低增益图像的像素。在框658处，基于标准化加权响应，进一步调整标准化低增益图像的经调整的像素。例如，可以将来自框654的标准化高增益图像的经调整的像素和来自框656的标准化低增益图像的经调整的像素求和以生成框660的最终图像。
在各种实施例中，代替缩放图像以混合/融合框638-648和654-658中的图像，通过将在框634处确定的高增益图像的饱和像素替换为低增益图像的光学对应像素来组合高增益图像和低增益图像，如关于图1和图3所描述的。
因此，来自运行高增益/低动态范围模式的ir成像模块110的饱和像素的信息被替换为来自运行低增益/高动态范围模式的ir成像模块120的光学对应像素的信息，或者与其混合/融合。上述操作可以基于每个像素完成。结果，最终图像是以ir成像模块110的分辨率显示的来自ir成像模块110和120两者的像素的拼接图像或混合图像。
在一个或多个实施例中，来自具有高动态范围的ir成像模块(例如ir成像模块120)的信号可以确定用于另一ir成像模块(例如ir成像模块110)的最佳积分时间的选择。例如，用户可以选择对应于使用ir成像模块110捕捉的图像的饱和区域的对象。设备或系统可以对使用ir成像模块120捕捉的非饱和图像中对应于相同区域的信号进行采样。在ir成像模块110中的积分时间和使之饱和的辐照度水平之间存在关系。在ir成像模块120中的测量的辐照度与ir成像模块110中的对应辐照度之间也存在关系。因此，来自ir成像模块120的采样辐照度可以用于确定可以在ir成像模块110中使用的最大积分时间以避免用户选择的对象/区域的饱和。
在适用的情况下，可以使用硬件、软件或者硬件和软件的组合来实现各种描述的实施例。而且在适用的情况下，在不背离本公开的精神的情况下，可将本文阐述的各种硬件组件和/或软件组件组合成包括软件、硬件和/或两者的复合组件。在适用的情况下，在不背离本公开的精神的情况下，可将本文阐述的各种硬件组件和/或软件组件分成包括软件、硬件或两者的子组件。另外，在适用的情况下，可以预期的是，软件组件可以被实现为硬件组件，反之亦然。在一些实施例中，这样的硬件组件(例如，处理和控制框120)可以实现为一个或多个适当的处理器和/或处理设备(例如，逻辑设备、微控制器、处理器、专用集成电路(asic)、场可编程门阵列(fpga)或其它设备)，其可以用来执行适当的指令，例如实现本文描述的任何处理的软件指令。
根据各种所述实施例的软件(例如程序代码和/或数据)可以存储在一个或多个机器可读介质上。还可以预期的是，可以使用一个或多个通用或专用计算机和/或计算机系统以网络和/或其它方式来实现本文识别的软件。在适用的情况下，可以改变本文描述的各种步骤的顺序，组合成复合步骤和/或分成子步骤，以提供本文描述的特征。
以上描述的实施例说明但不限制本发明。还应该理解的是，根据本发明的原理可以进行许多修改和变化。因此，本发明的范围仅由以下权利要求限定。