对比度增强的结合图像生成系统和方法与流程

相关申请的交叉引用

该专利申请要求2015年6月15日提交且题为“contrast-enhancedcombinedimagegenerationsystemsandmethods”的美国临时专利申请号62/180,006的权益和优先权，其通过引用全部合并于此。

本公开大体涉及图像处理和增强技术，并且特别涉及用于基于热图像和可见光(vl)图像生成对比度增强的结合图像的方法、装置和计算机程序软件。

背景技术：

在图像处理热图像(也叫作ir图像)领域内，这些图像有着诸多不足之处并且通常是有噪的、具有低分辨率、具有低对比度并且具有低亮度，这使得难以识别图像中的物体，从而需要预处理来提高它们的质量。描绘场景的热图像可以通过使热图像与从可见(或可视)光(vl)图像的图像信息获得的高空间频率内容(hsfc)图像结合而增强对比度，所述结合称为对比度增强融合或混合。在试图完成这样的结合和对比度增强时可能出现许多技术问题。

可以提供热成像设备(例如ir拍摄装置)连同vl拍摄装置来捕捉可见光图像和热图像并且处理这些图像使得它们可以作为对比度增强图像而一起显示。结合在使用来自热图像的ir数据或热数据来识别物体中的温度变化同时显示来自可见光图像的足量数据来对使用拍摄装置的用户简化所得图像中物体的取向和识别方面是有利的。这可以例如通过增强ir图像数据值/像素值的亮度分量而实现，其中亮度分量表示可见光图像中的边缘。

高空间频率内容(hsfc)图像典型地包括从可见光图像信息得到的边缘和拐角，例如通过对可见光图像高通滤波。hsfc图像和ir图像然后通过使对准的hsfc图像的每个像素和对准的ir图像的每个像素的亮度信息或亮度分量结合为对比度增强的结合图像而结合，由此提高热图像中的低对比度。用于使热图像和hsfc图像结合的方法和装置在2013年8月27日发行且转让给flir系统ab的美国专利号8,520,970b2中公开，其通过引用全部合并于此。

在应用这样的技术时的可能问题是热与可见光成像系统之间的视差。热图像和可见光图像的捕捉由拍摄装置的单独热和可见光成像系统执行。相应成像系统的光轴可以例如配置成离彼此具有一定偏移并且配置成在光轴之间具有相对角度。从而，将产生称为视差的光学现象，其近距离(例如在描绘的物体与热成像设备之间不到10m)捕捉场景的图像时更加突显。为了消除或减少视差，图像必须对准。大的视差可以导致重像或重影的对比度增强的结合图像，其中高空间频率内容(hsfc)图像相对于热图像偏移并且结合，例如在热图像顶部叠加。

在一些常规图像对准技术中，图像基于从聚焦设置(例如聚焦电机)的位置得到的聚焦距离而对准，该聚焦设置配置成确定到成像部件所捕捉的物体的距离。然而，如果未使用这样的对准技术和/或在某些情况下，可能存在残余视差而引起提到的重影现象。

在成像场景不包括任何边缘或拐角并且因此对比度增强的结合图像未得到改进时可能出现另一个问题。即，在该情况下hsfc图像则主要包括噪声并且从而结合图像的对比度未得到提高。相反，采用该方式处理以用于增强对比度的结合图像的图像质量和可解释性甚至可能下降。

另一个问题是场景的一些部分包括边缘或拐角而场景的其他部分缺乏边缘或拐角，由此导致图像的一部分或子集中对比度增强的结合图像的图像质量和可解释性下降。

在成像系统(例如热成像系统)离焦时可能出现又一个问题。在成像系统的聚焦距离范围(即最小可接受聚焦距离到最大可接受聚焦距离)没有与到场景的距离重叠时可以是这样的情况。这将导致图像对准处理中视差或偏移增加，从而导致表示hsfc图像和热图像中相同物体的像素之间偏离。这进而可以引起重影或重像，其中hsfc图像相对于热图像偏移并且结合，例如在热图像顶部叠加。

在场景的一些部分在成像系统聚焦范围内而场景的其他部分则不在时的情况下可能出现另一个问题，由此在图像的一部分或子集中引起重影。

当为了获得质量良好的可见光图像存在太少或太多光时可能出现再另一个问题。当太暗时，可见光图像可以包含比信息更多的噪声。当太亮时，可见光图像可以包含太少轮廓/边缘信息。

从而，存在对提供对比度增强的结合图像的改进方式的需要，该对比度增强的结合图像包括来自热图像的数据和来自高空间频率内容(hsfc)图像的数据。

技术实现要素：

本公开包括解决或至少减少上文描述的问题的实施例。本公开的实施例包括热图像处理，其中来自热图像的信息与来自从可见光图像提取的高空间频率内容(hsfc)的亮度信息结合以至少基于指示所述图像中的至少一个的质量的混合度量来产生改进的对比度增强的结合图像。来自可见光图像的亮度信息的贡献基于混合度量。

因此，采用改进的方式生成结合图像，从而减轻ir成像系统的聚焦设定的影响或适应于所描绘的场景，例如到所描绘场景中的物体的距离变化或在所描绘的场景中缺乏拐角或边缘。从视觉图像提取并且在结合的对比度增强的热图像的生成中使用的高空间频率内容(hsfc)图像在下文也叫作hsfc图像。

本公开的实施例包括基于热图像和从可见光图像提取的高空间频率内容来生成对比度增强的结合图像的方法，所述图像描绘相同场景，该方法包括：接收场景的热图像和可见光图像；确定混合度量，其指示所述热图像和可见光图像中的至少一个的质量；基于混合度量使来自热图像的热图像像素的亮度分量与表示从可见光图像提取的高空间频率内容的可见光图像像素的亮度分量结合；以及基于热图像和经结合的亮度分量生成对比度增强的结合图像。

在实施例中，图像的质量在所述图像聚焦和/或所述图像包括边缘时是高的；并且其中图像的质量在所述图像未聚焦和/或所述图像缺乏边缘时是低的。

在实施例中，可见光图像的质量基于可见光图像中的对比度变化而确定。当存在太少光时，整个图像将非常暗，并且轮廓/边缘信息将被噪声所掩盖。当存在太多光时，整个图像将太亮而不能提供有用轮廓/边缘信息。在两个情况下，对比度变化都将是低的。

另外的实施例包括：基于混合度量对所述热图像和对所述可见光图像确定亮度权重；并且分别用所述对应的亮度权重来缩放来自热图像的亮度分量和来自可见光的亮度分量。在另一的实施例中，亮度权重可以确定为缩放亮度分量，使得表示可见光图像的高空间频率内容的亮度分量的贡献与混合度量成比例。

一个或多个实施例进一步包括下列中的一个或多个的选择：

-基于到所述图像所捕捉的场景的估计距离确定混合度量；

-基于捕捉热图像的热成像系统和/或捕捉可见光图像的可见光系统的聚焦距离来确定混合度量；

-基于以下中的至少一个来确定混合度量：从捕捉热图像的热成像系统和/或捕捉可见光图像的视觉成像系统到场景的估计距离；以及热成像系统和/或可见光系统的聚焦距离。

-基于图像清晰度关系确定混合度量，该图像清晰度关系依赖于从捕捉所述图像的热成像设备的热成像系统和/或视觉成像系统到场景或到场景中的物体的距离；

-基于视差关系确定混合度量，该视差关系依赖于从捕捉所述图像的热成像设备的热成像系统和/或视觉成像系统到场景的距离；和/或

-基于指示场景的所捕捉图像中边缘的存在且依赖于可见光图像中所包括的高空间频率内容的边缘度量来确定混合度量。

-基于可见光图像中的对比度变化来确定混合度量。

一个或多个实施例进一步包括响应于混合度量指示热图像未聚焦而使结合图像中的高空间频率内容表示模糊。

一个或多个实施例进一步包括：将所述热图像分成热图像段；将所述可见光图像分成可见光图像段；以及对所述热图像段和可见光图像段确定相应的混合度量，其中亮度分量的结合包括基于对应的混合度量使来自相应的热图像段的像素的亮度分量与表示来自对应的可见光图像段的高空间频率内容的像素的亮度分量结合，并且其中对比度增强的结合图像的生成包括：基于热图像段和经结合的亮度分量生成对比度增强的结合图像段，以及生成包括所述对比度增强结合图像段的对比度增强的结合图像。

一个或多个实施例进一步包括根据混合度量指示产生热图像的热成像系统未聚焦而排除表示可见光图像的高空间频率内容的像素的亮度分量。

一个或多个实施例进一步包括根据混合度量指示在可见光图像中没有足够对比度变化而排除表示可见光图像的高空间频率内容的像素的亮度分量。对比度变化可以例如与预定阈值比较，并且如果对比度变化低于该预定阈值，则混合度量将指示在可见光图像中没有足够对比度变化。

本公开的实施例包括用于基于热图像和从可见光图像提取的高空间频率内容来生成对比度增强的结合图像的热成像装置，所述图像描绘相同场景。实施例的热成像装置包括：热成像系统，其配置成捕捉场景的热图像；可见光成像系统，其配置成捕捉场景的可见光图像；和处理器，其通信地耦合于热成像系统和可见光成像系统，其中该处理器配置成：确定混合度量，其指示所述热图像和可见光图像中的至少一个的质量；基于混合度量使来自热图像的热图像像素的亮度分量与表示从可见光图像提取的高空间频率内容的可见光图像像素的亮度分量结合，并且基于热图像和经结合的亮度分量来生成对比度增强的结合图像。

在热成像装置的实施例中，图像的质量在所述图像聚焦和/或所述图像包括边缘时是高的，并且其中图像的质量在所述图像未聚焦和/或所述图像缺乏边缘时是低的。

在实施例中，当在可见光图像中没有足够对比度变化时，可见光图像的质量确定为低的。

在热成像装置的另外的实施例中，处理器进一步配置成：基于混合度量对所述热图像和对所述可见光图像确定亮度权重；以及利用所述对应的亮度权重分别缩放来自热图像的亮度分量和来自可见光的亮度分量。在再另外的实施例中，亮度权重确定为缩放亮度分量，使得表示可见光图像的高空间频率内容的亮度分量的贡献与混合度量成比例。

热成像装置的一个或多个实施例包括下列中的一个或多个的选择：

-基于到所述图像所捕捉的场景的估计距离确定混合度量；

-基于热成像系统和/或可见光系统的聚焦距离来确定混合度量；

-基于以下中的至少一个来确定混合度量：从捕捉热图像的热成像系统和/或视觉成像系统到场景的估计距离；以及热成像系统和/或可见光系统的聚焦距离；

-基于图像清晰度关系确定混合度量，该图像清晰度关系依赖于从热成像系统和/或视觉成像系统到场景或到场景中的物体的距离；

-基于视差关系确定混合度量，该视差关系依赖于从热成像系统和/或视觉成像系统到场景的距离。

-基于指示场景的所捕捉图像中边缘的存在且依赖于可见光图像中所包括的高空间频率内容的边缘度量来确定混合度量。

-基于可见光图像中的对比度变化来确定混合度量。

在热成像装置的一个或多个实施例中，处理器进一步配置成响应于混合度量指示热图像未聚焦而使对比度增强的结合图像中所表示的高空间频率内容模糊。

在热成像装置的一个或多个实施例中，其中处理器进一步配置成：将所述热图像分成热图像段；将所述可见光图像分成可见光图像段；对所述热图像段和可见光图像段确定相应的混合度量；基于对应的混合度量通过使来自相应的热图像段的像素的亮度分量与表示来自对应的可见光图像段的高空间频率内容的像素的亮度分量结合而使热图像像素和可见光图像像素的亮度分量结合；以及通过以下生成对比度增强的结合图像：基于热图像段和经结合的亮度分量生成对比度增强的结合图像段，并且生成包括所述对比度增强的结合图像段的对比度增强的结合图像。

在热成像装置的一个或多个实施例中，其中处理器进一步配置成根据混合度量指示产生热图像的热成像系统未聚焦而排除表示可见光图像的高空间频率内容的像素的亮度分量。

一个或多个实施例进一步包括根据混合度量指示在可见光图像中没有足够对比度变化而排除表示可见光图像的高空间频率内容的像素的亮度分量。

根据热成像装置的另外的实施例，处理器进一步配置成执行本公开的方法步骤中的任一个。

另外的实施例包括非暂时性机器可读介质，在其上存储机器可读代码，该机器可读代码在由热成像装置的处理器执行时控制处理器来执行本公开的方法步骤中的任一个的步骤。另外的实施例包括计算机程序产品，其具有配置成控制处理器来执行本公开的方法步骤中的任一个的计算机程序代码部分。

本公开的另外的实施例和示例连同附图描述。

附图说明

图1示出了根据本公开的一个或多个实施例的热成像设备的示意图。

图2图示了根据本公开的一个或多个实施例的如何生成对比度增强的结合图像的示例。

图3示出了根据本公开的一个或多个实施例的流程图，其图示了基于高空间频率内容(hsfc)图像和红外(ir)图像生成对比度增强的结合图像的方法。

图4a和4b图示了根据本公开的一个或多个实施例基于从热成像设备到所捕捉场景中的物体的估计距离z来确定混合度量bm。

图5示出了根据本公开的一个或多个实施例的曲线图，其图示了如何可以基于估计距离z和聚焦距离范围来确定混合度量的示例。

图6示出了根据本公开的一个或多个实施例的曲线图，其图示了如何可以基于从热成像设备到场景的估计距离z和聚焦距离范围来确定混合度量的示例。

图7a和7b示出了根据本公开的一个或多个实施例描绘捕捉的相同场景的可见光图像、hsfc图像、热图像和对比度增强的结合图像的示例。

图8a图示了根据本公开的一个或多个实施例生成对比度增强的结合图像，其中该对比度增强的结合图像基于整个ir图像和整个hsfc图像，并且生成单个段。

图8b图示了根据本公开的一个或多个实施例基于ir/hsfc图像段生成对比度增强的结合图像。

本发明的实施例及它们的优势通过参考接着的详细描述而最好理解。应意识到类似标号用于标识图中的一个或多个中图示的类似元件。

具体实施方式

介绍

本公开的实施例提供配置成采用对比度增强的结合图像的形式生成热图像的方法、装置和计算机程序产品。在对比度增强的结合图像中，来自描绘场景的可见(或可视)光(vl)图像的对比度作为高空间频率内容(hsfc)图像而得到或提取，该高空间频率内容图像与描绘相同场景且示出温度变化的热(ir)图像结合。从而，两个图像类型的优势结合，从而提高所得的结合图像的清晰度和可解释性。这向热图像添加轮廓和对比度但另外未更改所描绘场景的热表示。因此，图像所捕捉的物体的边界和边缘可以在结合图像中清楚地看到，同时维持与热图像中的每个像素关联的未更改的辐射测量数据值、图像数据值或像素值。在一个示例中，与热图像中的每个像素关联的图像数据值或像素值包括颜色空间或颜色模型(通常叫作调色板)的亮度分量和色度(颜色)分量。

在一个示例中，为了保存热图像的调色板，仅hsfc图像的亮度分量可以添加到热图像。因此，颜色未更改并且维持原始热图像的颜色性质，同时增加了期望的对比度。在使可视图像的亮度分量与热图像的亮度分量结合时，相应热和可见光图像的亮度权重α1和α2可以用于根据一个或多个实施例确定两个图像之间的平衡。这些因素可以由热成像设备(例如ir拍摄装置)基于各种参数确定。

如上文提到的，因为热图像和视觉图像的捕捉可以由热成像设备的不同成像系统执行，ir(热)成像系统和vl(可见光)成像系统的光轴可以配置成离彼此具有一定偏移、配置成在光轴之间具有相对角度并且围绕光轴相对旋转。从而，将出现称为视差的光学现象，其在成像物体接近热成像设备(例如不到10m)时更加突显。为了消除该视差，即所捕捉的ir图像和所捕捉的可见光图像中的物体之间的位移，图像必须对准。在热成像设备的生产期间，在热图像中的ir成像系统和在可见光图像上的vl成像系统捕捉的相同物体的位移或偏移对于从热成像设备到所捕捉场景中的物体的不同距离可以确定为视差关系。在一个示例中，在ir成像系统和vl成像系统设置成相同聚焦距离时，视差关系确定为ir/vl像素偏移/位移和从热成像设备到所捕捉场景中的物体的距离的三重值(xoffset,yoffset,z)。在另一个示例中，在ir成像系统和vl成像系统设置成相同聚焦距离时，视差关系确定为ir/vl像素、x轴/y轴偏移/位移、从热成像设备到所捕捉场景中的物体的相对旋转和距离的四重值(xoffset,yoffset,θ,z)。视差关系以及从热成像设备到所捕捉场景中的物体的距离与聚焦距离之间的关系可以根据适合的技术来确定，例如在2014年10月7日发行且转让给flir系统ab的美国专利号8,853,631中描述的那些，其通过引用全部合并于此。

在一些情形中，ir成像系统聚焦距离可以采用使得它未对应于从热成像设备到物体或热成像系统所捕捉的场景中的物体或物体的子集的距离这一方式设置。如果该聚焦距离直接适用或转换成从热成像设备到场景中的物体或物体的子集的距离，在视差关系中，这将导致图像对准处理中的误差、位移或偏移增加，从而导致表示vl/hsfc图像和热图像中相同物体的像素之间的偏离过多，由此引起重影或重像，即hsfc图像相对于热图像偏移。

在本公开的实施例中，这通过获得从描绘相同场景并且优选地使用视差而对准的热图像和从可见光图像提取的hsfc图像、通过确定指示所述图像中的至少一个的质量的混合度量以及通过基于该混合度量生成结合图像而解决。确定热图像的混合度量，例如使得它如果从ir成像系统获得的设置ir聚焦距离在ir聚焦距离范围内则指示ir成像系统聚焦，由此生成具有高质量的图像，或如果ir聚焦距离在ir聚焦距离范围外则指示ir成像系统离焦，由此生成具有低质量的图像。亮度权重α1和α2然后基于热图像的混合度量来确定，例如使得如果ir成像系统离焦则α1＝1且α2＝0，或如果ir成像系统对焦则α1＝0.5且α2＝0.5。对比度增强的结合图像通过基于混合度量bm对hsfc图像和/或热图像中所包括的像素值的亮度分量图像处理并且使来自热图像的像素值、用α1缩放的亮度分量和来自hsfc图像的对应像素、用α2缩放的亮度分量组合而生成。在一个或多个实施例中，相应热图像和可见光图像中的对应像素是具有相同像素坐标或由视差变换关系变换的相同的经变换像素坐标的像素。

系统综览

图1示出了热成像设备170(例如采用热测量设置或红外ir拍摄装置的形式)的一个或多个实施例的示意图。在实施例中，热成像设备170包括红外(ir)成像系统113，其配置成捕捉采用ir图像数据值/像素值形式的红外(ir)图像，即热图像，其表示从场景发射的红外辐射。红外(ir)成像系统113进一步通信耦合于处理器112。在实施例中，红外(ir)成像系统113设置成接收控制数据并且响应于所述控制数据来触发场景的红外图像的捕捉。在实施例中，红外(ir)成像系统113设置成向处理器112发送ir图像数据值的信号帧作为经捕捉的ir图像。

在实施例中，处理器/处理单元112提供有专门设计的编程或程序代码部分，其适于控制处理单元来执行本公开的实施例的步骤和功能。在实施例中，热成像设备170进一步包括存储器115，其配置成存储从处理器112接收的程序代码部分、数据值或参数或对处理器112检索程序代码部分、数据值或参数。在实施例中，热成像设备170进一步包括通信接口116，其配置成经由通信接口116向外部单元或传感器(例如一个或多个距离测量设备119)/从内部单元或传感器发送或接收到/来自处理器112的数据值或参数。在一个或多个实施例中，热成像设备170进一步包括输入设备117，其配置成从用户接收输入或指示，例如从用户接收输入或指示来指示对比度增强的结合图像的生成。在一个或多个实施例中，热成像设备170进一步包括显示器118，其配置成从处理器112接收信号并且显示接收的信号作为显示的图像，例如来向热成像设备170的用户显示对比度增强的结合图像的可视表示。在一个实施例中，显示器118与用户输入设备117集成，该用户输入设备117配置成从处理器112接收信号并且显示所接收的信号作为显示的图像并且从用户接收输入或指示，例如通过应用触屏功能性并且向所述处理器/处理单元112发送用户输入信号。

在一个或多个实施例中，热成像设备170进一步包括一个或多个距离测量设备119，其配置成测量从热成像设备到热成像设备170的ir成像系统113所捕捉的场景中物体或物体的子集的距离(距离数据值)并且向处理器112提供该距离数据值。在实施例中，距离测量设备119直接或经由通信接口116通信耦合于处理器112。在实施例中，处理器112通信耦合于所述红外(ir)成像系统113、所述存储器115、所述通信接口116并且可选地通信耦合于所述用户输入设备117、所述显示器118、所述距离测量设备119。

在实施例中，热成像设备170进一步可选地包括vl成像系统114，其配置成采用该表示在排除与ir或热波长带互补或重叠的波长带内从所观察的场景发射的电磁辐射的可见光(vl)图像数据值/像素值形式，来捕捉可见光(vl)图像。vl成像系统114进一步通信耦合于处理器112。在实施例中，vl成像系统114进一步设置成接收控制数据并且响应于所述控制数据而触发场景的可见光图像的捕捉。在实施例中，vl成像系统114进一步设置成向处理器112发送可见光图像数据值的信号帧作为可见光图像。ir成像系统113包括光学系统1131，其配置成用于向红外(ir)检测器1132(例如包括微测辐射热计焦平面阵列)传输热波长辐射。vl成像系统114包括光学系统1141，其配置成用于向焦平面阵列或vl检测器1142(例如包括电荷耦合设备(ccd))传输可见光波长辐射。相应光学系统包括透镜、可能变焦功能性和聚焦功能性。

在一个或多个实施例中，红外(ir)图像包括表示从场景发射或反射的红外辐射的ir图像数据值的帧。在再一个示例中，可见光图像包括表示从场景发射或反射的非红外电磁辐射的可见光图像数据值的帧。在一个示例中，图像数据值或像素值在数据结构的实例中表示，例如图像数据帧。在一个示例中，描绘的场景包括可观察世界的一部分，例如用热成像设备检查的工业综合体的一部分。

在实施例中，一个或多个距离测量设备可以例如包括选择以下：距离传感器、激光测距仪、飞行时间传感器和/或超声距离测量设备。

在一个或多个实施例中，vl成像系统114可以适于除可见光波长外或代替可见光波长而采用其他非热波长捕捉电磁辐射。例如，vl成像系统114可以配置成除可见光外或代替可见光还捕捉近红外(nir)光、短波红外(swir)光、紫外(uv)光或其他非热光。vl成像系统114可以表示非热成像系统，其包括响应于非热辐射的非热光学系统(由vl光学系统1141表示)和非热检测器(由vl检测器1142表示)。例如，电子倍增ccd(emccd)传感器、科学cmos(scmos)传感器、增强电荷耦合设备(iccd)传感器以及上文论述的基于ccd和基于cmos的传感器和/或其他适合的传感器可以用于实现非热检测器(由vl检测器1142表示)来检测nir光、swir光和/或其他非热光。

图2图示根据本公开的一个或多个实施例如何可以生成对比度增强的结合图像230的示例，其中热图像210与hsfc图像220结合。热图像210由ir成像系统113(如在图1中示出)捕捉并且对应可见光图像(未示出)由vl成像系统114捕捉。hsfc图像220进一步基于可见光图像而获得，例如通过采用如本领域内技术人员将理解的方式对可见光图像执行高通滤波或边缘检测。然后基于热图像210、基于对热图像210的图像亮度权重α1、基于hsfc图像220和基于对可见光图像的图像亮度权重α2，通过让用α1加权的热图像210的每个像素值/数据值的亮度分量与用α2加权的hsfc图像220的每个像素值/数据值的对应亮度分量结合(例如相加或相乘)而生成对比度增强的结合图像230。所得的结合图像230呈现所描绘的具有可见表示的几何以及热特征的场景。

方法实施例

如描述的且根据本公开的一个或多个实施例，对比度增强的结合图像在ir成像系统的聚焦设定较差、到所描绘场景中的物体的距离变化或在所描绘的场景中缺乏拐角或边缘的情形中可以得到改进。本公开的实施例通过基于混合度量bm来对hsfc图像和/或热图像中所包括的像素值的亮度分量图像处理并且基于hsfc图像中所包括的像素值的经处理的亮度分量来生成对比度增强的结合图像230而解决此。一个或多个实施例提供不同的变化形式。在实施例中，图像处理包括对hsfc图像的亮度分量应用亮度权重α2，其中亮度权重α2基于混合度量bm来确定。在实施例中，图像处理可以包括基于混合度量bm来使hsfc图像模糊。在实施例中，图像处理可以包括对热图像的亮度分量应用亮度权重α1并且对hsfc图像的亮度分量应用亮度权重α2，其中亮度权重α1和α2基于混合度量bm来确定。

图3示出了图示根据本公开的一个或多个实施例用于基于高空间频率内容(hsfc)图像和红外(ir)图像来生成对比度增强的结合图像的方法的流程图。在实施例中，参考图3和图2，方法包括下列步骤：

步骤310：获得热(ir)图像210(如在图2中示出)和hsfc图像220(如在图2中示出)，其描绘大致相同场景。可选地，实施例包括使热图像210和hsfc图像对准。

可选步骤321：确定聚焦距离fd，

和/或

可选步骤323：确定所描绘场景的距离z。在下文进一步解释包括这些步骤的实施例。

步骤330：确定混合度量bm。

步骤340：基于所确定的混合度量bm对hsfc图像和/或热图像的像素值的亮度分量进行图像处理。在一个或多个实施例中，步骤340可选地包括基于混合度量bm对热图像确定图像亮度权重α1和对hsfc图像确定图像亮度权重α2的步骤342和/或基于混合度量bm使hsfc图像模糊的步骤344。在下文进一步解释步骤342和步骤344。

包括步骤342(其中生成对比度增强的结合图像230基于热图像亮度权重α1和可见光图像亮度权重α2)的实施例可以包括以下内容。例如，生成对比度增强的结合图像230(如在图2中示出)可以通过让用α1加权的热图像210的每个像素值/数据值的亮度分量与用α2加权的hsfc图像220的每个像素值/数据值的对应亮度分量结合(例如相加或相乘)而执行。例如，对应亮度分量是具有相同像素坐标的热图像和hsfc图像的亮度分量。在另一个示例中，对应亮度分量是在热图像中具有第一像素坐标的像素值的亮度分量和在hsfc图像中具有经变换的第二像素坐标的像素值的亮度分量，其中第二像素坐标通过用坐标变换关系t(x,y,z)或t(x,y,θ,z)(例如视差关系)来变换第一像素坐标而获得。

包括使hsfc图像220模糊的步骤344的实施例可以包括应用具有标准偏差σ的高斯图像模糊滤波器。标准偏差σ可以依赖于混合度量bm。在一个示例中，标准偏差σ与混合度量bm成反比。在另一个示例中，使hsfc图像220模糊包括应用具有内核大小ksize的高斯图像模糊滤波器。例如，内核大小ksize可以依赖于混合度量bm。在一个示例中，内核大小ksize可以与混合度量bm成反比。在再一个示例中，当混合度量bm等于0时内核大小ksize等于10个像素半径，并且当混合度量bm等于1时内核大小ksize等于0个像素半径，其中混合度量bm为1指示成像系统大致对焦或在场景中存在边缘，由此产生高质量图像，并且混合度量bm为0指示成像系统大致离焦或在场景中没有边缘存在，由此产生低质量图像。

步骤360：基于经处理的亮度分量生成对比度增强的结合图像230。

可选步骤380：生成结合图像的可见表示。可选地，在常见用例中有用的实施例包括生成结合图像的可见表示且可能在显示器上呈现它。

使热图像和可见光图像对准

在实施例中，再次参考图1和图2，描绘场景的热图像210被ir成像系统113捕捉，并且描绘相同场景的可见光图像(未示出)大致同时被vl成像系统114捕捉。为了处理和生成对比度增强的图像，处理器112直接从ir成像系统113、从中间帧缓冲器或从存储所捕捉的热图像的存储器115获得或检索热图像。相似地，由处理器112直接从vl成像系统114、从中间帧缓冲器或从存储所捕捉的vl图像的存储器115获得或检索可见光图像。如在上文已解释，vl图像用作hsfc图像或用于得到或生成hsfc图像。热图像和可见光图像或hsfc图像可以使用视差关系而进一步对准，使得在热图像(即ir图像)和vl图像或hsfc图像中具有相同像素坐标的像素表示场景中的相同物体并且被裁减使得热图像和hsfc图像具有相同像素尺寸，即相同数量的行和列。hsfc图像例如基于可见光图像而获得，例如通过采用如本领域内技术人员所理解的方式执行可见光图像的高通滤波或边缘检测。

缩放亮度分量

在一个或多个实施例中，对比度增强的结合图像230(如图2中示出)的生成包括对相应图像的亮度分量应用图像亮度权重。可以执行此使得对于热图像210中的每个像素坐标中的每个ir图像数据值/像素值，基于图像亮度权重α1来缩放亮度分量。相似地，对于hsfc图像220中的每个像素坐标中的每个hsfc图像数据值/像素值，基于图像亮度权重α2来缩放亮度分量。例如，对比度增强的结合图像的亮度分量然后可以通过使hsfc图像数据值/像素值的每个经缩放的亮度分量与具有相同或对应像素坐标的热图像数据值/像素值的经缩放的亮度分量结合而生成。

在示例中，在表达出这通过将对于hsfc图像的第二行和第三列的hsfc图像数据值/像素值的经缩放的亮度分量与热图像中的第二行和第三列的热图像数据值/像素值的经缩放的亮度分量相加来进行的情况下，这可以例如表达为：

对比度增强的结合图像像素值行＝2，列＝3

＝α1xir图像像素值行＝2，列＝3

+α2xhsfc图像像素值行＝2，列＝3

在相似示例中，其中例如视差关系的坐标变换关系t(x,y,z)或t(x,y,θ,z)用于确定hsfc图像中的像素坐标(其对应于热图像中的像素坐标)，这可以例如表达为：

对比度增强的结合图像像素值行＝2，列＝3＝

α1xir图像像素值行＝2，列＝3

+α2xhsfc图像像素值t(行＝2，列＝3，z)。

在一个或多个实施例中，包括ir全局亮度权重βir来描述ir图像亮度分量的权重并且hsfc全局亮度权重βhsfc来描述hsfc图像亮度分量的权重，其中对比度增强的结合图像的每个数据值x,y/像素值x,y确定为：βir*亮度分量ir,x,y+βhsfc*亮度分量hsfc,x,y。

例如，全局亮度权重βir和βhsfc可以被预定义且存储在例如存储器115(如在图1中示出)中。在再一个示例中，当vl和ir图像系统都聚焦在场景上从而提供高质量的对比度增强的结合图像时，全局亮度权重βir和βhsfc描述ir图像分量和hsfc图像分量的预定合适混合。在再一个实施例中，对比度增强的结合图像的每个数据值x,y/像素值x,y在一个示例中确定为βir*α1*亮度分量ir,x,y+βhsfc*亮度分量hsfc,x,y，并且在另一个示例中确定为：

对比度增强的结合图像像素值行＝x，列＝x

＝βir*α1*ir图像像素值行＝x，列＝y

+βhsfc*α1*hsfc图像像素值行＝x，列＝y

在一个示例中，α1确定为1并且α2确定为1，从而维持预定全局亮度权重βir和βhsfc。在再一个示例中，α1和α2确定为1并且hsfc图像基于混合度量bm而模糊。

基于到场景z的距离确定混合度量bm

图4a和图4b图示基于从热成像设备170(如在图1中示出)到所捕捉的场景420或到所捕捉场景420中的物体4201的估计距离z410和/或基于聚焦距离fd430(包括在一个或多个实施例中)确定混合度量bm的示例。在一个或多个实施例中，对ir成像系统113和/或vl成像系统114估计距离z410和/或聚焦距离fd430。

在一个或多个实施例中，在图3中所提及的可选步骤321中确定的距离z410可以例如由图1中示出的距离测量设备119估计。在另一个示例中，距离z410可以通过立体三角测量使用二次vl成像系统采用如本领域内技术人员将理解的已知方式估计。在再另一个示例中，步骤321中的距离z410基于ir图像210(如在图2中示出)和vl/hsfc图像220相对偏移或位移和预定视差关系采用本领域内技术人员将理解的已知方式估计。因此，例如在热图像中可区分的拐角以及hsfc图像中可区分的相同拐角的位移用于确定相对偏移或位移并且从坐标变换关系t(x,y,z)或t(x,y,θ,z)(例如视差关系)获得距离z。

在一个或多个实施例中，对ir成像系统113(如在图1中示出)和/或对vl成像系统114执行估计聚焦距离fd430。例如，聚焦距离fd可以例如通过确定聚焦设置(例如操作ir光学系统1131或vl光学系统1141的聚焦的聚焦电机)的位置而从ir光学系统1131或vl光学系统1141的聚焦设定得到。在另一个示例中，可以通过确定操作ir光学系统1131或vl光学系统1141的聚焦的手动聚焦设置(例如聚焦环)的位置而从ir光学系统1131或vl光学系统1141的聚焦设定得到聚焦距离fd。

混合度量bm在一个或多个实施例中基于估计距离z410并且基于估计聚焦距离fd430而确定。混合度量bm可以基于对估计的聚焦距离和估计的距离的预定配额阈值而确定。例如，如果有以下情况则混合度量bm可以确定为1，例如指示场景对焦或在场景中存在边缘：

在另一个示例中，如果配额是以下则混合度量bm确定为0，例如指示场景离焦或在场景中没有边缘存在：

例如，对于估计的聚焦距离和估计的距离的配额阈值可以从10％-50％的范围选择。

图4a图示其中估计的距离z410在聚焦距离范围440外的情形，并且图4b图示其中距离z410在ir聚焦距离范围440的端点内或等于这些端点的情形。为了解决这些情形，一个或多个实施例包括根据估计的距离z410是在热成像设备的聚焦距离范围440内还是外来设置混合度量bm。例如，如果估计的距离z410在聚焦距离范围440外则混合度量bm确定为0，并且/或例如如果估计的距离z410在ir聚焦距离范围440的端点内或等于这些端点则混合度量bm设置成1。

ir聚焦距离范围440可以包括最小可接受聚焦距离值4401和最大可接受聚焦距离值4402。在一个或多个实施例中，聚焦距离范围440基于估计的聚焦距离fd430和聚焦_距离_裕度而确定。例如，最小可接受聚焦距离值可以确定为估计的聚焦距离fd*(1-聚焦_距离_裕度)并且最大可接受聚焦距离值可以确定为估计的聚焦距离fd*(1+聚焦_距离_裕度)。

在一个示例中，聚焦裕度在估计的聚焦距离fd的0.1-0.50倍或10％-50％百分比的预定范围内。在再一个示例中，估计的聚焦距离fd是10米并且聚焦_距离_裕度是20％*10米＝2米。在再一个示例中，最小可接受聚焦距离值确定为(10-2＝8)米并且最大可接受聚焦距离值确定为(10+2＝12)米。

在一个或多个实施例中，确定混合度量bm基于依赖于估计的距离z、估计的聚焦距离fd和聚焦距离范围440的混合关系。在这样的实施例中：确定混合度量bm包括：如果确定估计的距离z410在聚焦距离范围440的端点内或等于这些端点则将混合度量bm设置为混合度量和/或如果确定估计的距离z410在聚焦距离范围440的端点外则确定混合度量bm为0。

基于图像清晰度关系确定混合度量bm

图5图示了根据本公开的一个或多个实施例如何可以基于图像清晰度关系(isr)510确定混合度量bm的示例。在这样的实施例中，基于依赖于距离值的图像清晰度关系isr510确定聚焦距离范围440，即基于作为距离z的函数的isr，在本文指示为isr(距离z)。在图5中，曲线图示出图像清晰度关系isr510的示例，其中在垂直轴上标绘图像清晰度530的值对比在水平轴上标绘距离值。图像清晰度关系510基于距离值提供图像清晰度值530或反之亦然。例如，图像清晰度关系isr510可以作为之前存储在热成像设备170(如在图1中示出)的存储器115中的预定关系而获得。

在一个或多个实施例中，图像清晰度关系510提供等于清晰度值530或基于估计的距离z410直接从图像清晰度值530可得到的混合度量bm值(如在图4中示出)，如在之前的章节中描述的，即isr作为距离z的函数，指示为isr(距离z)。

另外的一个或多个实施例包括基于图像清晰度关系510估计聚焦距离fd。例如，这通过确定图像清晰度关系510的图像清晰度值5101的局部最大值、确定与该局部最大值关联的距离值5102并且将估计的聚焦距离fd设置为等于所述关联距离值5102而执行。确定聚焦距离范围440可以基于混合度量裕度5201和局部最大图像清晰度值5101，例如通过确定第一估计的聚焦距离fd1并且通过确定第二估计聚焦距离fd2，其中isr(fd1)＝局部极大图像清晰度5101-混合度量裕度5201作为最小可接受聚焦距离值4401，其中isr(fd2)＝局部最大图像清晰度值5101+混合度量裕度5201确定为最大可接受聚焦距离值4402，其中fd2>fd1。

一个或多个实施例包括基于局部最大图像清晰度值5101、第一预定聚焦_距离_裕度5202和第二预定聚焦_距离_裕度5203确定聚焦距离范围440。例如，这可以通过确定第一估计的聚焦距离fd1并且通过确定第二估计的聚焦距离fd2而执行，其中isr(fd1)＝局部最大图像清晰度值5101-第一聚焦_距离_裕度5202作为最小可接受聚焦距离值4401，其中确定isr(fd2)＝局部极大图像清晰度值5101+第二聚焦_距离_裕度5203作为最大可接受聚焦距离值4402，其中fd2>fd1。在一个示例中，第一聚焦_距离_裕度5202选为与第二聚焦_距离_裕度5203等同。在另一个示例中，第一和第二聚焦_距离_裕度基于对ir/vl成像系统113、114的预定景深关系而获得。在再一个示例中，在生产热成像设备170期间在校准过程期间采用如本领域内技术人员将理解的方式获得景深关系。

在一个或多个实施例中，确定混合度量bm包括如果确定距离z410在聚焦距离范围440的端点内或等于这些端点则将混合度量bm确定为对应于距离z410的距离值的isr值；和/或如果确定fd-current在ir聚焦距离范围的端点外则将混合度量bm确定为0。

基于视差关系确定混合度量bm

图6图示根据本公开的一个或多个实施例可以如何基于从热成像设备170到场景420的估计的距离z410(如在图4中示出)和聚焦距离范围440来确定混合度量的示例，其中聚焦距离范围440基于依赖于距离值的视差关系(per)610而确定，即基于作为距离值的函数的per，在本文指示为per(距离值)。在图6中，曲线图示出视差关系per610的示例，其中在垂直轴上标绘视差630的值对比在水平轴上标绘距离值。视差关系610基于距离值6102提供视差值6101或反之亦然。在一个示例中，视差值描述ir图像像素到hsfc图像像素偏移/位移，例如在上文描述的。例如，视差关系per610可以作为之前存储在热成像设备170的存储器115中的预定关系而获得。

在一个示例中，视差关系610基于估计距离z410(即per(z))提供视差值630。

在另外的示例中，视差关系610基于聚焦距离范围440。聚焦距离范围可以包括最小可接受聚焦距离值4401和最大可接受聚焦距离值4402。

一个或多个实施例包括基于参考距离值distref、第一视差裕度6201和第二视差裕度6202确定聚焦距离范围440。例如，参考距离值distref可以确定为估计的距离z410或估计的聚焦距离fd430。例如，包括确定聚焦距离范围440的一个或多个实施例可以进一步包括以下的选择：

-确定最小聚焦距离fd1，其中per(fd1)＝per(distref)-第一视差裕度6201或其中per(fd1)＝per(distref)+第一视差裕度6201；或

-将最小聚焦距离fd1确定为最小可接受聚焦距离值4401；以及

-确定最大聚焦距离fd2，其中per(fd2)＝per(distref)-视差裕度6202或其中per(fd2)＝per(distref)+视差裕度6202；或

-将最大聚焦距离fd2确定为最大可接受聚焦距离值4402。

在这些示例中，聚焦距离fd2>fd1。

在一个或多个实施例中，确定聚焦距离范围440基于参考距离值distref、第一预定聚焦_距离_裕度6203和第二预定聚焦_距离_裕度6204。例如，确定最小可接受聚焦距离值4401可以确定为参考距离值distref-第一预定聚焦_距离_裕度6203并且将最大可接受聚焦距离值4402确定为参考距离值distref+第二预定聚焦_距离_裕度6204。在一个示例中，第一聚焦_距离_裕度6203选为与第二聚焦_距离_裕度6204等同。在另一个示例中，第一6203和第二聚焦_距离_裕度6204可以基于对ir/vl成像系统113、114的预定景深关系而获得。在再一个示例中，在生产热成像设备170期间在如本领域内技术人员将理解的已知校准过程期间获得景深关系。

在包括确定参考距离值distref的一个或多个实施例中，参考距离值distref基于热成像设备170的光学系统1131、1141中所包括的聚焦设置的位置而确定。例如，确定混合度量bm可以包括：

-如果确定distref在聚焦距离范围440的端点内或等于这些端点则将混合度量bm确定为1；或

-如果确定distref在ir聚焦距离范围的端点外则将混合度量bm确定为0。

在另一个示例中，确定混合度量bm可以包括：

-如果确定distref在聚焦距离范围440的端点内或等于这些端点则将混合度量bm确定为per(distref)；或

-如果确定distref在ir聚焦距离范围的端点外则将混合度量bm确定为0。

基于边缘度量确定混合度量bm

如之前提到的，在某些情况下，例如在所描绘的场景中缺乏拐角或边缘的情况下，使ir和hsfc图像结合因为这将主要意指向热图像添加噪声而未添加任何有用信息而将毫无意义。在实施例中，确定指示场景中检测的边缘的数量或量的hsfc图像边缘度量并且基于该图像边缘度量确定混合度量。

一个或多个实施例进一步包括基于hsfc图像确定图像边缘度量iem，和基于图像边缘度量iem确定混合度量bm。例如，如果图像边缘度量iem在预定图像边缘阈值iethreshold以下(即iem<iethreshold)则混合度量bm确定为0。

例如，如果估计的距离z410在聚焦距离范围440的端点内或等于这些端点，但所确定的图像边缘度量iem在预定图像边缘阈值iethreshold以下，则混合度量bm确定为0，即使ir成像系统对焦也如此。也就是说，如果在hsfc图像中未检测到边缘，则仅热图像210将用于生成对比度增强的结合图像230。

基于模糊的hsfc图像生成对比度增强的结合图像

在某些情况下，对比度增强的图像可以产生尽管热图像实际上可能离焦但用户可以认为满意这一结果。一个或多个实施例采用包括在使hsfc图像与热图像结合之前基于混合度量bm而有意使hsfc图像模糊的度量这一技术方案来解决该现象。这在对ir成像系统配置有手动聚焦设置(例如聚焦环)的热成像设备中特别有利。用户然后将认为结合图像离焦并且手动调整ir成像系统113的聚焦。随着关于混合度量bm执行hsfc图像的人工模糊，对比度增强的结合图像中的边缘或拐角在对用户显示时将也显现为不清晰或离焦，由此给予用户调整热成像系统113的聚焦的动机。当热成像系统和可见光成像系统都对焦时，将对用户呈现基于清晰hsfc图像的结合图像。

图7a图示根据本公开的一个或多个实施例捕捉或生成的一系列图像(左边的图像列)。描绘相同场景的vl可见光图像710a和ir热图像730a被热成像设备170捕捉。ir成像系统113在该实例中在聚焦范围440外并且vl成像系统114在聚焦范围440内，从而热图像离焦并且可见光图像对焦。进一步获得hsfc图像720a，例如包括所捕捉的可见光图像710a的高通滤波。然后基于图像亮度权重α1和图像亮度权重α2生成对比度增强的结合图像740a。由于热图像的固有性质(例如有噪且具有低对比度)使得热成像设备170的用户难以明白ir成像系统113是对焦还是离焦，用户通常认为图像具有低质量、是重影图像或一般是混乱的。现在，利用具有对比度增强边缘的结合图像740a，尽管热图像部分离焦，但用户可以误信结合图像是令人满意的。

图7b图示根据本公开的一个或多个实施例捕捉或生成的一系列图像(右边的图像列)并且进一步包括基于模糊的hsfc图像生成结合图像。图7b示出本发明的实施例，其中描绘相同场景的可见光图像710b和热图像730b被热成像设备170捕捉。再次，与在图7a中的一样，ir成像系统113在聚焦范围440外并且vl成像系统114在聚焦范围440内，从而热图像离焦并且可见光图像对焦。获得hsfc图像720b，例如通过所捕捉的可见光图像710b的高通滤波。在实施例中，hsfc图像720b(如关于上文的图3描述的步骤344中指示的)基于混合度量而模糊，例如如本领域内技术人员将理解的应用高斯函数模糊滤波器。然后基于图像亮度权重α1和图像亮度权重α2生成对比度增强的结合图像740b的实例。如可以在图7b中看到的，利用模糊的hsfc图像亮度分量生成结合图像并且因此产生大体上不清晰的图像。因此，用户明白ir成像系统113离焦的概率上升并且可以激发用户尝试使热成像系统聚焦直到有清晰的结合图像。

在一个或多个实施例中，在确定估计的距离z或估计的聚焦距离fd在ir聚焦距离范围440的端点内或等于这些端点时执行基于混合度量bm使hsfc图像模糊。使hsfc图像模糊和不使hsfc图像模糊之间的转变优选地变平滑并且与混合度量bm成比例，例如如关于图6描述的那样确定。

对图像分段

在热成像设备170的一些配置中，ir成像系统113和vl成像系统114的景深(dof)可不同。例如，到所捕捉场景中的不同物体的距离可不同使得一些物体在ir成像系统113的景深(dof)内并且其他物体不在ir成像系统113的景深(dof)内。如上文解释的，在生成并且向用户显示对比度增强的结合图像的视觉表示时，vl和生成的hsfc图像可以聚焦，而热图像离焦。由于ir图像的有噪和低对比度性质，用户可能没有理解就是这样的情况。

当场景的深度显著变化时，ir/vl成像系统的聚焦距离范围440可以与到图像的一些部分而不是其他部分的场景的距离重叠。这在图像对准处理中将对于图像的一部分导致误差或偏移增加，由此引起部分重影或部分重像图像。在一个或多个实施例中，这通过将热图像和hsfc图像分成段并且对每个段执行本公开的方法步骤且之后使段结合成对比度增强的结合图像而得到解决。

图8a和图8b图示本公开的一个或多个实施例，其进一步包括基于对图像分段而生成对比度增强的结合图像830。图8a图示基于整个ir图像210和整个hsfc图像220的对比度增强的结合图像830并且生成单个段810。

图8b图示基于生成多个ir/hsfc图像段和多个结合图像段811-814、821-824以及831-834的对比度增强的结合图像860。本公开的一个或多个实施例(其进一步包括基于对图像分段而生成对比度增强的结合图像860)可以包括：

-将热图像分成多个n个ir图像段(对应于结合图像段811-814、821-824和831-834)；

-将hsfc图像分成多个n个hsfc图像段，其中hsfc段对应于ir图像段，例如如之前描述的相同像素坐标或相同的经变换像素坐标；

-确定混合度量bm，其包括对于n个图像段中的每个生成段混合度量bm-segment(sx,sy)，例如通过使用本文描述的实施例中的任一个；

-基于亮度权重α1和图像亮度权重α2使hsfc图像段的所选子集(对应于结合图像段811-814、821-822)中所包括的亮度分量和ir图像段的所选子集(对应于结合图像段811-814、821-822)中所包括的亮度分量结合为结合图像段811-814和821-822；和/或

-生成所得的结合图像860，其包括结合图像段，并且优选地包括ir图像段的互补子集(例如，对应于结合图像段823-824和831-834)。

例如，对于图像段811-814、821-822的混合度量bm可以离焦，例如在局部极大图像清晰度值5101+-混合-度量裕度5201的范围外。对于图像段823-824、831-834的混合度量可以对焦，例如在局部极大图像清晰度值5101+-混合-度量裕度5201的范围内。

确定图像亮度权重-hsfc图像打开/关闭

在本公开的一个或多个实施例中，ir图像亮度分量的权重仅通过α1来确定并且hsfc图像亮度分量的权重仅通过α2来确定。另外的一个或多个实施例包括描述热图像亮度分量的预定权重的全局亮度权重βir和描述hsfc图像亮度分量的预定权重的全局亮度权重βhsfc。这些全局亮度分量可以例如存储在热成像设备170的存储器115中并且从其可获得。在一个或多个实施例中，在对比度增强图像或图像段中hsfc图像亮度分量的贡献可以根据混合度量bm而开启或关闭。

在一个或多个实施例中，确定图像亮度权重进一步包括：

-将热图像亮度权重α1确定为：

并且将hsfc图像亮度权重α2确定为：

例如，如果混合度量bm等于1(例如当ir成像系统对焦时)，可以生成包括结合ir图像亮度分量和hsfc图像亮度分量的对比度增强图像或图像段。在另一个示例中，如果混合度量bm<1(例如当ir成像系统离焦时或当在可见光图像中没有足够对比度变化时)则生成仅包括ir图像亮度分量的对比增强图像或图像段。

对比度变化可以例如通过测量整个可见光图像中小的窗口中的局部对比度来确定，其中对比度变化将是在整个图像中这些局部对比度值的变化。对比度变化可以例如与预定阈值相比，并且如果对比度变化低于该预定阈值，混合度量将指示在可见光图像中没有足够对比度变化。根据实施例还存在确定对比度变化的其他方式，例如计算可见光图像中像素的平均值。如果平均值极高或极低，因为在可见光图像中没有足够对比度变化，则可见光图像太暗或太亮而不能提供有用信息。备选地或另外可能使用传感器来测量场景中的光的量并且基于该测量来确定可见光图像将太暗或太亮而不能提供有用信息使得在可见光图像中将没有足够对比度变化。

在本公开的一个或多个实施例中，ir图像亮度分量的权重通过α1连同全局亮度权重βir来确定并且hsfc图像亮度分量的权重通过α2连同全局亮度权重βhsfc来确定。描述热图像亮度分量的预定权重的全局亮度权重βir和全局亮度权重βhsfc描述hsfc图像亮度分量的预定权重，例如存储在热成像设备170的存储器115中并且从其可获得的。

在一个或多个实施例中，确定图像亮度权重进一步包括：

-将热图像亮度权重α1确定为：

并且hsfc图像亮度权重α2确定为：

例如，如果混合度量bm等于1(例如在ir成像系统对焦时)，则生成包括结合ir图像亮度分量和hsfc图像亮度分量的对比度增强图像或图像段。在再一个示例中，如果混合度量bm<1(例如在ir成像系统离焦时或当在可见光图像中没有足够对比度变化时)则生成仅包括ir图像亮度分量的对比度增强图像或图像段。

确定与混合度量成比例的图像亮度权重

在本公开的一个或多个实施例中，ir图像亮度分量的权重仅通过α1确定并且hsfc图像亮度分量的权重仅通过α2确定。描述热图像亮度分量的预定权重的全局亮度权重βir和全局亮度权重βhsfc描述hsfc图像亮度分量的预定权重，例如存储在热成像设备170的存储器115中并且从其可获得。在一个实施例中，对比度增强图像或图像段中hsfc图像亮度分量的贡献与混合度量bm成比例。

在一个或多个实施例中，确定图像亮度权重进一步包括：

-生成归一化混合度量bm-normalized，即，使得最大混合度量bm等于1并且最小混合度量bm等于0。

-将热图像亮度权重α1确定为：

并且其中hsfc图像亮度权重α2确定为：

在一个或多个实施例中，确定图像亮度权重进一步包括：

-生成归一化混合度量bm-normalized，即，使得最大混合度量bm等于1并且最小混合度量bm等于0。

-将热图像亮度权重α1确定为：

并且其中hsfc图像亮度权重α2确定为：

生成可见表示

因为红外辐射对人眼不可见，在热图像中像素的数据值与显示器上显示的灰度或颜色之间没有自然关系。因此，通常称为假彩色或伪彩色的信息可视化过程用于例如将热图像、hsfc图像或对比度增强的结合图像中每个像素的图像数据值或像素值映射到调色板，其用于生成视觉表示并且可选地在显示器上呈现图像，例如使用灰度或彩色。

调色板典型地是为ir图像/气体吸收路径长度图像的图像或视觉表示的显示而从颜色模型选择的颜色或灰度表示的有限集，即预定义调色板表示在显示器上可显示的颜色模型的灰度或颜色值的有限集，由此使得它对人眼可见。热图像中每个像素的所捕捉红外(ir)图像数据值或图像中每个像素的气体图像数据值到用于呈现显示器上显示的所述图像的视觉表示的对应像素的调色板的映射典型地通过应用预定关系来执行。这样的预定关系典型地描述从图像数据值或像素值到所述预定义调色板的映射，例如具有从颜色模型选择的关联颜色或灰度表示的调色板索引值。图像典型地基于图像中每个像素的图像数据值或像素值(可选地，ir温度校准数据参数、表示在显示器上可显示的颜色模型的灰度或颜色值的有限集的预定义调色板和描述从红外图像数据值或气体吸收路径长度图像像素值到所述预定义调色板的映射的预定关系)而对预期用户显示。

本公开的一个或多个实施例可以进一步包括基于对比度增强的结合图像中的像素值来生成视觉表示，并且可以可选地还包括在热成像设备的显示器118上显示视觉表示。

另外的实施例

在能适用时，可通过使用硬件、软件或者硬件和软件的结合来实现本公开所提供的各种实施例。同样在能适用的情况下，本文阐述的各种硬件部件和/或软件部件可以结合为包括软件、硬件和/或二者的复合部件，而不偏离本公开的精神。在能适用的情况下，本文阐述的各种硬件部件和/或软件部件可以分成包括软件、硬件和/或二者的子部件，而不偏离本公开的精神。另外，在能适用的情况下，预期软件部件可以实现为硬件部件，并且反之亦然。在能适用的情况下，本文描述的各种步骤的排序可以改变、组合为复合步骤和/或分成子步骤来提供本文描述的特征。

根据本公开的软件(例如程序代码和/或数据)可以采用非暂时形式存储在一个或多个机器可读介质中。还预期可以使用一个或者多个通用或专用计算机和/或计算机系统、网络化和/或其他方式来实现本文标识的软件。

在实施例中，提供有计算机程序产品，其包括计算机可读代码，该计算机可读代码配置成在处理器中执行时执行本文描述的方法步骤中的任一个或全部。在实施例中，提供有非暂时性计算机可读存储器，在该非暂时性计算机可读存储器上存储计算机可读和计算机可执行代码，其配置成在处理器中执行时执行本文描述的方法步骤中的任一个或全部。

本文描述的实施例说明但不限制本发明。还应理解许多修改和变化根据本发明的原理是可能的。因此，本发明的范围仅由下列权利要求限定。