用于增强热图像中局部对比度的方法和设备与流程

本发明涉及热图像中局部对比度的增强。

背景技术：

已知具有绝对零度之上的温度的所有物体发射热能，并且发射的强度取决于物体的温度。原则上，物体的温度越高，物体的热发射的强度越大。

热成像系统利用诸如微测热辐射计的热传感器通过将检测的热能转换为电能以产生场景的热图像或热影像，从而将场景内的热差可视化。因此，热成像系统可以例如提供热图像，其中温热物体诸如人类在较冷的背景下显得醒目。此外，与利用可见光的成像系统相比，热成像系统的使用优势在于可以在场景处采用或不采用照明而检测场景中的物体。热成像系统还可以减轻与复杂光照条件相关联的问题，诸如当场景处存在阴影或逆光时。热成像系统因此频繁地用于日间和夜晚期间的监视应用。

然而，在场景中检测和/或识别诸如人的感兴趣物体的实现是有问题的。场景内物体的温度的广泛蔓延可减小对比度，使得难以在具有相似热发射的场景中从其他物体区分出感兴趣物体，例如，当感兴趣物体具有与背景相似的温度时。

在显示热图像之前在热成像系统内减小热数据的动态范围可以进一步减小感兴趣物体的可检测性。因此，需要改进热成像系统的检测性能。

技术实现要素：

本发明的目的在于增强热图像中物体类别的局部对比度。利用物体类别的热特性的方法和设备提供简单、有效、和可靠的热图像中物体类别的局部对比度的增强。

根据本发明的第一方面，通过提供一种增强热图像中具有热特性的物体类别的局部对比度的方法而实现此目的以及其他目的，该方法包括：提供由绝对校准的热成像系统获取的热图像数据，使用预定的再分布函数将具有第一强度分布的热图像数据再分布为第二强度分布，其中预定的再分布函数基于热特性，以使得物体类别的局部对比度被增强，将再分布的热图像数据作为热图像输出。

可以通过再分布热图像数据而修改热图像数据的强度分布，以使得具有热特性的物体类别的局部对比度被增强。因此可以再分布热图像数据以使得强调与物体类别的热特性相关的强度的强度分布被提供。换言之，通过使用给定的物体类别的热特性，可以获得热图像中物体类别的提高了的可检测性。

通过使用基于物体类别的热特性的预定的再分布函数而提供一种用于增强热图像中局部对比度的有效方法。进一步提供一种可以实时使用的方法。该方法可以用于例如可以形成视频序列的一部分的连续的热图像序列。

绝对校准的热成像系统的使用允许将场景内物体的给定温度与热图像数据内给定的强度相关联。换言之，将物体的给定温度转换为在热图像数据的动态范围内的给定数值或间隔。因此可以实现简单的热图像数据的再分布。

词语“热成像系统”应该理解为适用于获取热图像的系统。热成像系统可以例如包括用于获取热图像的设备。热成像系统可以进一步包括设置为显示热图像的显示器。用于获取热图像的设备可以称作热相机或红外相机。

词语“对比度”应该理解为颜色差异，例如颜色深浅(诸如灰度)的差异，或者热图像颜色表示的部分之间的差异。词语“局部对比度”可以进一步理解为在图像的给定区域内的不同特征之间的强度差异。该区域可以是整个热图像或者热图像的子部分。

词语“热特性”应该以区分性的属性或性质理解，以使得给定的热辐射的发射与物体类别相关。换言之，热特性可以理解为辅助区分物体类别的特征或标记，该物体诸如热图像中的人类、动物、或者其他类型的物体。

词语“再分布函数”在此应该理解为可以应用于热图像数据以修改热图像数据的强度分布的函数。因此可以再分布热图像数据以获得所希望的分布。换言之，再分布函数应该理解为用于通过改变图像的强度数值而修改其动态范围和/或对比度以使得图像获得所希望的分布的技术。

词语“校准的”应该进一步理解为将热辐射的检测的强度与物体类别的温度相关联。热成像系统可以在整个温度范围的至少一部分中绝对校准，并且该一部分可以包括物体类别的热特性。可替代地，可以绝对校准热成像系统的整个温度范围。

可以设置再分布函数以使得在热图像的与物体类别相关的一部分内增强局部对比度。可以进一步增强物体类别的局部对比度以使得可以实现物体类别的特征的改进了的识别。

第一强度分布可以具有第一动态范围，其中再分布进一步包括改变热图像数据以使得第二强度分布具有比第一动态范围小的第二动态范围。热图像数据的改变可以例如包括拉紧、增益、偏移和/或移动热图像数据。

词语“动态范围”在此应该理解为最大可能数值与最小可能数值之间的比例。可以以热图像的像素矩阵表示数值。数值可以表示可改变的量的等级，诸如灰度。

可以在热图像数据已被再分布之后执行热图像数据的改变。由于动态范围被减小，因此可以减轻与具有热特性的物体类别相关的信息的损失。因此可以在热图像中有效地展示与物体类别的热特性相关的再分布热图像数据的至少一部分。

热特性可以是热范围或热数值。换言之，与感兴趣物体相关的温度或温度范围因此可以用作再分布函数的基础。因此，提供了一种简单并有效的方法，该方法可以基于物体类别的热发射而增强它们的热图像中的局部对比度。

再分布函数可以以热范围或热数值为中心或者以该热范围或热数值预定的偏移为中心。因此可以在与物体类别相关的热范围或热数值处有效地执行热图像数据的再分布。因此可以在热范围或热数值处或者在该热范围或热数值周围增强物体类别的局部对比度。

可替代地，热图像数据的再分布可以考虑对于热范围或热数值的预定的偏移。因此可以考虑环境的改变，如可以影响物体类别的感知温度的天气改变。因此，即便场景处环境被改变，也可以获得在热范围处或周围的增强的局部对比度。

可以在绝对校准的热成像系统获取热图像数据之前预先确定再分布函数。因此，在获取热图像前已知的物体类别的热特性的知识可以用于增强热图像中物体类别的局部对比度。因此可以提供一种简单和可靠的提供了提高了的热图像中物体类别的可检测性的方法。

再分布函数可以以热范围或热数值为中心或者以该热范围或热数值的偏移为中心，其中以热范围或热数值为中心或者以该热范围或热数值的偏移为中心基于第一强度分布。因此可以补偿例如来自第一热图像的第一强度分布内的背景或物体的热发射。

热图像数据可以以直方图表示。

绝对校准可以是温度相对于强度的校准。

再分布函数可以是直方图均衡化函数。直方图均衡化函数可以例如通过使用包括热图像数据和与用于形成传递函数的热特性相关的信息的累积直方图(即总和直方图)而均匀地再分布热图像数据(即像素强度数值)。本领域技术人员意识到直方图均衡化函数可以是不同形式的。

可以在绝对校准的热成像系统获取连续热图像直至获取第一热图像之前执行该方法。因此该方法允许诸如在视频流中实时成像。

根据本发明的第二方面，提供了一种设备。该设备包括设置为存储由绝对校准的热成像系统获取的热图像数据以及存储基于热特性的预定的再分布函数的存储器，设置为使用预定的再分布函数将具有第一强度分布的热图像数据再分布为第二强度分布以使得物体类别的局部对比度被增强的处理器。

可以进一步设置处理器以将再分布的热图像数据作为热图像输出。

设备可以进一步包括热传感器。

以上结合方法描述了设备的功能和益处。当可应用时，上述提到的特征也适用于该第二方面。为了避免不适当的重复，做出了以上参考。

应该注意的是本发明涉及权利要求中所叙述特征的所有可能的组合。

附图说明

现在参照显示了本发明实施例的附图更详细描述本发明的这些和其他方面。如图中所示的，为了示意性目的夸大了层和区域的大小，并且因此为了说明本发明实施例的总体结构而提供层和区域的大小。全文中相同的附图标记涉及相同的元件。

图1示出了场景的热图像。

图2以直方图形式示出了形成图1的热图像的热图像数据。

图3以第二直方图形式示出了再分布热图像数据之后的热图像数据。

图4示出了场景的与再分布的热图像数据相关的另一热图像。

图5示出了用于增强热图像中具有热特性的物体类别的局部对比度的方法。

图6示出了用于增强热图像中的局部对比度的设备。

具体实施方式

现将在下文中参照附图更充分地描述本发明，其中在附图中示出了本发明当前优选的实施例。然而，本发明可以许多不同的形式实施，并且不应限定于在此所述的实施例而构造；相反地，为了彻底性和完整性而提供这些实施例，并且用于向本领域技术人员完全传达本发明的范围。

以下说明书的一个目的在于示出方法200，见图5，用于增强热图像中具有热特性的物体类别的局部对比度。更具体地，方法200允许改进的热图像100内例如人类的检测和识别，如参照图1－图4所示。

在图1中示出了采用热成像系统获取的场景的热图像100。热图像100是数字图像。热图像100示出了其中可以检测多个物体108(例如车库110和汽车112)的场景。在该示例中物体114的类别是人类。为此，物体114进一步出现在热图像100中，但是物体114可能不能从热图像100清晰地识别出。然而，物体114对于热图像的观测者而言可以类似于人类并且为了示意说明的目的物体114示出为具有虚线轮廓的人类。

应该注意的是，在其他实施例中物体类别可以是动物、车辆、建筑等，或者某些独特的物体，诸如人脸或车辆的部分。为此，在该示例中，热特性应该理解为与人类的体温相关的热发射强度。热特性可以是人类的体温。人类的体温可以是例如从36.5到37.5℃。然而，人类的皮肤温度较低，并且衣物进一步减小了发出的热辐射的强度。因此，来自人类的热辐射可以在30－35℃的范围内，这取决于例如天气条件和/或衣物。

方法200包括提供由绝对校准的热成像系统获取的热图像数据102的动作202。图2示出了从其中形成热图像100的热图像数据102。热图像数据具有第一强度分布103。热图像数据102以直方图104示出，直方图104显示热图像数据102中具有热成像系统的检测范围内的特定检测强度的数据点的数目(也称作计数点)。

数据点的数目可以例如与热图像100内的具有给定强度的检测强度的像素的数目相同。在其他实施例中可以分级(binned)多个像素。

动态范围在此应被理解为由热成像系统检测的最大和最小可能强度值之间的比率。热成像系统的动态范围可以由热成像系统可检测的强度的范围设置。动态比率可以进一步划分为多个等级106。在热图像100中，多个等级106可以与不同的灰度值对应。

热图像100和/或直方图104可以包括整个动态范围或者动态范围的一部分。等级100可以进一步分级以使得多个强度值可以落入等级106内。为此，最小等级例如1可以与黑色对应，最大等级例如16384可以与白色对应，并且中间等级可以与不同的灰度对应。动态范围是与16384个等级106对应的相随的14比特的形式。然而，动态范围在其他实施例中可以不同。动态范围例如可以包括分别与4096个或256个等级对应的12比特或8比特。

再次参照图2，热图像数据102的第一强度分布103包括在较低强度下的宽峰105，与来自场景内多个源的热发射对应。可以进一步在第一强度分布103中看到动态范围内的较高强度的窄峰107。窄峰107因此与来自场景内的具有比大多数源更高温度的源的热发射对应。

在下文中，将方法200应用于热图像数据102以实现可以存在于热图像100中的人类的改进的检测和识别。方法200依赖于这样的认识，热图像100中的感兴趣物体可以具有特定热特性，并且热特性可以用作用于再分布热图像的内容的基础以使得因此可以针对分类物体增强局部对比度。基于这种认识，方法200包括基于热特性将具有第一强度分布103的热图像数据102再分布为如图3中所示例的第二强度分布118的动作204。更具体地，使用基于热特性的预定的再分布函数实现热图像数据102的再分布204。因此，与热特性相关的信息可以被用于形成预定的再分布函数。再分布函数可以例如是以下将进一步描述的直方图均衡化函数。

热特性可以理解为与给定物体类别相关的热辐射的已知发射。对于人类，热特性可以是与人类的体温相关的热范围或热数值。热范围和热数值可以例如分别是30－35℃或35℃。

方法200进一步利用了绝对校准的热成像系统，该热成像系统使得可以将场景内物体108的给定温度与热图像数据102内的热发射的给定强度相关联。可以通过使用热成像系统的绝对校准而提供检测的热辐射与温度之间的简单对应性。因此，已知的温度(诸如人类的热特性)转换为热图像数据102动态范围内的给定值或数值间隔，即等级或等级范围。

与人类热范围对应的等级在图2中由与人类特性的30－35℃的温度范围对应Δ_object示出。对于所使用的热成像系统的某一组参数，这个温度范围导致范围Δ_object的中心处于等级14336处。等级14336出现在14比特动态范围的上限值附近。

图3以第二直方图116的形式示出了热图像数据102，热图像数据102具有第二强度分布118。现在已经通过将预定的再分布函数应用于热图像数据102而将热图像数据102再分布以使得给定强度等级下的计数点的分布被改变。第二直方图116的热图像数据102因此移动，以使得第二强度分布118的与30－35℃的温度范围对应的等级的范围Δ’_object现在以等级8192为中心。因此，可以修改热图像数据，以使得通过再分布热图像数据102而针对具有热特性的物体类别增强局部对比度。换言之，热图像数据的与物体类别相关的部分107被移动至热成像系统的动态范围的中心。因此可以实现改进了的感兴趣物体的检测。

预定的再分布函数可以进一步展宽热图像数据以使得热范围分布在较多数目的等级Δ’_object之上，即Δ’_object>Δ_object。因此可以求解针对物体类别的与强度的局部变化对应的特征120，即温度。因此，在热图像的一部分内增强了与物体类别相关的局部对比度。

通过基于热特性(例如来自人的热发射)而再分布热图像数据，在再分布的热图像中存在相关的温度范围，例如30－35℃，而不感兴趣的其他温度范围，诸如场景中天空或田野的温度，可被移除。因此可以获得在人的热特性中的细节或接近人的热特性的细节的增强，这提高了检测并识别场景中的人及其行为的可能性。

方法200进一步包括将再分布热图像数据102作为热图像300输出206。热图像300在图4中示出。热图像300示出与图1相同的场景。仍然可以检测到如由车库110和汽车112所示例的多个物体108。作为方法200的结果，物体114现在作为由勾画人类122轮廓的实线所示的人类出现在热图像300中。可以进一步识别人类122的个体特征。通过比较热图像100和热图像300，因此示出了对如由方法200提供的热图像数据102的再分布已经增强了人类(即物体114的期望的类别)的局部对比度。增强的局部对比度允许可改进物体的分类的改进了的物体的检测和/或识别。可以通过改进局部对比度而更容易地进一步识别由人携带的工具、武器和其他物体。

在以上示例中，在提供了图1的热图像100之后将方法200应用于热图像数据102。然而，应该注意的是，方法200可以在提供热图像100之前应用于热图像数据102。因此，再分布的热图像数据102可以作为热图像300输出，在热图像300中增强了物体类别的局部对比度而并未提前提供任何在先的热图像。

进一步结合热图像公开方法200。该方法可以在其他实施例中应用于热视频。因此，可以自动地进行再分布204以使得方法200实时地执行。

如以上讨论的，预定的再分布函数可以以热范围或热数值为中心。

热数值可以与人类的体温T_H对应。T_H可以例如是30或35℃。热范围例如可以是T_H-1.8ΔT≤T_H≤T_H+0.5ΔT，其中ΔT＝2℃。

可替代地，预定的再分布函数可以以热范围或热数值的一预定的偏移为中心。环境的改变诸如天气条件的改变可影响在其中检测热发射处的强度。因此，可以考虑物体类别的感知温度的偏移。因此即便场景处的环境改变，也因此可以获得在热范围处或在热范围附近的增强的局部对比度。温度的偏移可以例如是±2℃。

再分布函数可以进一步以热范围或热数值为中心或者以热范围或热数值的偏移为中心，其中以热范围或热数值为中心或者以该热范围或热数值的偏移为中心基于第一强度分布。因此可以考虑例如来自第一热图像的第一强度分布内的背景或物体的热发射以使得物体类别的对比度得以优化。

根据一些实施例，由热成像系统检测的最大和最小热发射值可以用于设置动态范围。因此，热图像数据可以分布在动态范围上。热图像数据可以进一步居中以使得与热特性相关的热范围或热数值处于动态范围的中心处。对于14比特的动态范围，中心可以位于动态范围的等级8192处。

再分布函数可以是多峰函数以使得热图像数据的不同部分(即不同等级范围)以不同程度移动和/或再分布。因此，再分布函数可以不同地影响动态范围内不同的范围或数值。作为示例，假设场景包括与温度18－24℃对应的主要热发射，来自具有在30－38℃内的温度的物体的热发射，以及低于18℃的背景热发射。绝对校准的热成像系统的动态范围假设为14比特。

如上所述的方法200可以用于在场景中检测并识别人类的目的。然后函数可以基于来自人脸的已知热发射。换言之，热特性可以是34℃的温度，即在以上讨论的的温度范围30－38℃之内。函数可以进一步设置为使得温度范围18－24℃分布在动态范围的等级1至8192上。范围30－38℃可以进一步分布在等级10240至14336上，并且范围24－30℃分布在8192至10240处的等级上。可以进一步舍弃低于18℃的热发射，即，将不会表示在由方法200所提供的热图像中。函数因此提供了这样的热图像数据的分布：其中减小了间隔24－30℃的权重，而提高了范围30－38℃的权重。因此改进了30－38℃的范围内的物体的增强的局部对比度，这基于人类的体温而改进了人类的检测和/或识别。因此可以提供一种简单且可靠的提供了热图像中物体类别的提高可检测性的方法。

再分布函数可以是直方图均衡化函数。本领域技术人员认识到直方图均衡化函数可以是不同的形式。直方图均衡化函数可以例如包括非线性传递函数和非单调传递函数以将具有第一分布的热图像数据映射至具有第二分布的热数据。因此，直方图均衡化函数可以再分布热图像数据的强度分布，例如与热图像的像素的强度值对应的强度，以使得将要作为热图像输出的热图像数据的表示包含更均匀的像素强度分布，即物体类别在直方图中具有较宽的强度数值的分布。较宽的强度分布可以例如形成基本上平直的直方图，这改进了由物体类别的热特性给定的温度间隔的局部对比度。换言之，直方图均衡化函数可被视作物体类别的基于热特性的细节增强器。

在以上说明书中已经公开了第一强度分布和第二强度分布具有相同的动态范围。可替代地，第一强度分布可以具有第一动态范围，并且第二强度分布具有小于第一动态范围的第二动态范围。因此，方法200的再分布204可以进一步包括改变热图像数据以使第二强度分布得以实现。热成像系统可以例如获取具有被检测并被数字化了的热发射的量化的14比特(16384个等级)的热图像。因此，可以提供具有16384个等级的动态范围的灰度图像。动态范围可以例如减小至例如8比特图像或视频格式中允许的255个灰度级。

可以在热图像数据已被再分布之后执行热图像数据的改变。因此可以减轻与具有热特性的物体类别相关的信息的损失。

在下文中公开了一种用于增强热图像中具有热特性的物体类别的局部对比度的设备400。设备400包括被设置为存储由绝对校准的热成像系统获取的热图像数据的存储器402。存储器402进一步被设置为存储基于热特性的预定的再分布函数。设备400进一步包括被设置为使用预定的再分布函数将具有第一强度分布的热图像数据再分为第二强度分布，以使物体类别的局部对比度被增强的处理器404。处理器404进一步被设置为将再分布的热图像数据作为热图像输出。

热发射是具有1至10000μm波长的电磁波辐射。因此，来自物体的热发射可以在电磁频谱的红外、IR部分中。热发射可以进一步在约0.7至1.5μm的近IR范围、约3至5μm的中波IR(MWIR)、8至14μm的长波IR(LWIR)中。

设备可以进一步包括被设置为将热发射转换为可以从其提供热图像数据的电信号的热传感器406。热传感器可以是通常在MWIR范围内操作的冷却热传感器或者是通常在LWIR范围内操作的未冷却的热传感器。

热传感器404可以形成热相机的一部分。热相机可以进一步是网络热相机。

设备400可以进一步包括编码器408，诸如ARTPEC 4。该设备因此可以提供包括例如热图像数据的数据流的压缩。设备400可以进一步提供以H.264、MPEG-4、和Motion JPEG提供视频流的压缩。

设备400的功能和益处与以上结合方法200的描述相同。因此，当可应用时，上述特征也适用于设备400。

本领域技术人员认识到本发明绝非限定于如上所述的优选实施例。与之相反，在所附权利要求的范围内进行许多修改和变形是可能的。例如，多个动态比例的等级可以与伪色彩温标或色彩温标的不同数值对应。每个颜色或细微差别可以表示不同的温度，通常白色和红色表示较高的温度，而绿色、蓝色和紫色表示较冷的温度。

额外地，从对于附图、本公开、和所附权利要求的研习，实践所请求保护的发明的本领域技术人员可以理解并实现所公开实施例的变形。词语“包括”并不排除其他元件或步骤，并且不定冠词“一”(“a”或“an”)并不排除多个。在相互不同的从属权利要求中引用某些措施的确凿事实并不指示这些措施的组合无法有利地使用。