促进关联的可视光和红外线(ir)图像信息的分析和解释的制作方法
【专利摘要】为一实施例提供了一种实现描绘实景的红外线图像和可视光图像内的关联的图像数据的改进的分析和解释的方法，该实施例使用包括有一红外线成像系统和可视光成像系统的热成像装置捕捉，本方法包括：捕捉描绘具有第一视场角的场景的红外线图像；捕捉描绘具有第二视场角的场景的可视光图像；处理至少一个可视光图像和红外线图像，从而表示在可视光图像内的视场角实质上对应表示在红外线图像内的视场角；关联结果红外线和可视光图像来提供关联图象；并实现使用者获取关联图像，用作显示，其中具有图像对内容的关联图像的分析和解释是直观的，因为关联后的结果可视光图像和结果红外线图像表示相同视场角。
【专利说明】促进关联的可视光和红外线(IR)图像信息的分析和解释
【技术领域】
[0001]通常，本发明的实施例涉及热成像【技术领域】。更具体地，本申请的不同实施例涉及促进或实现提高的相关联的可视光或可见光(VL)和红外线(IR)图像信息的分析和解释。
【背景技术】
[0002]现如今许多热成像装置包括可视光成像系统和红外线(IR)成像系统的合成。既然通常很难解释红外线图像并将其与相应可视光(VL)图像内示出的联系起来，也就存在了如何实现分析和解释捕捉的可视光和红外线图像数据的建议。一些现有技术参考文献公开了红外线图像数据和可视光图像数据的混合或融合，目的在于实现更简单的分析和解释所描绘的场景。
[0003]现有技术中，融合可视光图像可被缩放，来与红外线图像匹配，并进一步地，与红外线图像对齐，目的在于将图像融合至一合成的图像，包括可视光图像数据和红外线图像数据。合成的图像可随捕捉的红外线和可视光图像存储，单一的图像以他们原始捕获的格式存储，因此实现对包括所有捕获数据的原始图像的后续检索。
[0004]然而，热成像系统的很多使用者不使用热成像系统内所有的先进的软件功能，例如合成可见光VL图像和红外线图像来融合可视光和红外线图像数据。取而代之的是，使用者可能简单地使用热成像装置在延长的时间周期内，例如一小时或一天，来捕捉图像数据，也许存储捕捉的图像并随后，在现场或后续时间内，从存储器内显示或检索图像供分析。如果使用者在一红外线图像内看到有趣的东西，例如指出温度异常或有趣的模式，使用者可能会转向相应的可视光图像，获得更多的关于有趣的红外线功能涉及场景哪部分的信息。然而，就如可见光相比于红外线图像的实景的捕捉视图，可描绘或表现实景的不同的捕捉视图，对于使用者而言，将可视光图像信息与红外线图像信息联系是困难的。另外，当可见光图像相比于红外线图像的实景的捕捉视图，描绘或表现不同的实景的捕捉视图时，合成的红外线/可见光图像是困难的。
[0005]因此，当可视光图像信息和红外线图像信息不在一张图像内合成，例如只有可见光或只有红外线时，以及当可视光图像信息和红外线图像信息合成在一张图像内，例如使用画中画，混合或融合的方法时，仍然存在对于促进或实现提高的相关联的可视光和红外线(IR)图像信息分析和解释的需求。
【发明内容】
[0006]根据一个或多个当可视光图像信息和红外线图像信息不合成在一张图像内时，指向提供相关联的可视光和红外线(IR)图像信息的提高的分析和解释的实施例，公开了系统和方法。
[0007]当可视光图像信息和红外线图像信息合成或不合成在一张图像内，例如使用画中画，混合或融合的方法时，一个或多个实施例可促进或实现提高的相关联的可视光和红外线(IR)图像信息的分析和解释。此外，一个或多个实施例也可促进和实现提高的包括描绘实景的红外线图像和可见光图像的图像对的分析和解释，所述图像使用包括了红外线成像系统和可见光成像系统的热成像装置捕捉。
[0008]由于热成像装置的可视光成像系统的视场角通常实质上大于红外线成像系统的视场角，可视光图像和红外线图像内的同样的坐标将不在场景的同一部份表现，这使得使用者困难地将可视光图像信息联系到红外线图像信息。因此，此处公开的一个或多个实施例的技术可保证使用红外线成像系统捕捉的图像或图像序列及可见光成像系统分别以一格式显示和/或存储，其中图像具有相同的视场角(FOV)。如本文进一步讨论的，这也被称为视场角跟踪功能，或视场角跟踪模式。
[0009]通过保证图像或图像帧序列的视场角表示同样的视场角，或换句话说，描绘观察场景的相同部分，图像间的比较得到了促进。举例而言，如果图像对包括描绘相同场景，进一步根据相同的视场角描绘相同视场角的一红外线图像和一可见光图像，对于使用者而言，可更简单地将图像之一看到的是什么与其他图像看到的是什么作比较，并因此在观察场景的分析中得到结论。根据本文所述的一个或多个实施例，提供了一种表现红外线和可见光图像数据的使用者友好方式，因此渲染了一种提高的易用性和促进或实现提高的表现在捕捉图像内的分析和解释。
[0010]根据本发明的一实施例，提供了一种促进或实现描绘了实景的红外线图像和可见光图像内的，提高的相关联的红外线和可视光图像数据的分析和解释，所述图像使用包括有红外线成像系统和可视光成像系统的热成像装置捕捉。该方法包括:关联描绘了实景的红外线图像和可见光图像；处理至少一个可见光图像和红外线图像，从而表现在可见光图像内的视场角实质上对应于表现在红外线图像内的视场角，因此产生了具有对应视场角的一结果红外线图像和一结果可见光图像；实现使用者获得相关联的图像来呈现所述关联图像的表示。
[0011]根据本发明的另一实施例，提供了一种热成像装置，用于促进或实现描绘了实景的红外线图像和可见光图像内的，提高的相关联的红外线和可视光图像数据的分析和解释，所述装置包括:根据第一视场角配置为捕捉实景的红外线图像的红外线成像系统；根据第二视场角配置为捕捉可视光图像的可视光成像系统；设置为处理至少一个可视光图像和红外线图像的处理器，从而表现在可视光内的视场角实质上对应于表现在红外线图像内的视场角，并关联结果红外线和结果可视光图像；及一配置为存储关联的图像的存储器。
[0012]根据本发明进一步的实施例，提供了计算机系统，计算机可读媒介，和/或配置为执行本文所述方法实施例中的任意步骤或功能的计算机程序产品。
[0013]本发明的保护范围由权利要求定义，并被并入到此
【发明内容】
中以作参考。通过以下详细描述的一个或多个实施例的考虑，本发明实施例的更完整的理解及其额外的优点的领悟将被赋予本领域技术人员。首先简要描述的附图中将提及附图标记。
【专利附图】
【附图说明】
[0014]图1示出了一实施例中热成像装置的示意图；
[0015]图2为一个或多个实施例的方法流程图；
[0016]图3a示出了一实施例中图像对的示例，其不使用本发明方法；
[0017]图3b示出了一实施例中图像对的示例；
[0018]图4示出了获得包括对其的步骤，决定可见光图像分辨率和红外线图像分辨率实质上相同，并合成红外线图像和可见光图像的合成图像的方法；
[0019]图5示出了输入设备4的示例性实施例。该输入设备包括交互式显示器570，例如触摸屏，实现使用者键入输入的图像显示部和控制510-550 ；
[0020]图6a示出了不具有视场角功能的获取的视图是如何针对可见光成像系统620的示例，及不具有视场角功能的获取的视图是如何针对红外线成像系统630的示例。
[0021]图6b示出了当视场角功能被激活时，处理后的可视光图像及处理后的红外线图像描绘或表现实质上相同的捕获视图的相同子集的示例；
[0022]图7示出了一图像，例如关联的红外线图像，关联的可见光图像或基于关联的红外线图像和关联的可见光图像的合成的图像的显示；
[0023]图8a_8c示出了基于在捕捉可见光图像或红外线图像内决定指示位置，决定实景的获取视图的子集的示例性方法。
【具体实施方式】
[0024]导言
[0025]根据一个或多个实施例，本文所述的方法可保证使用红外成像系统和可视光成像系统捕捉的图像或图像序列分别以一种格式显示和/或存储，其中图像具有相同的视场角(FOV)。这里，也可称为视场角跟踪功能。
[0026]根据一实施例，红外线成像系统和可见光成像系统均包括在一热成像装置内，将在后文描述。根据文本所表示的实施例，保证视场角都相同地包括缩放和/或移动由具有更宽视场角的成像系统捕捉的图像，以这样的方式他们可匹配使用具有更窄视场角的成像系统捕捉的图像。
[0027]通过保证图像，或图像序列的视场角，表示相同的视场角，或换句话说描绘观察场景的相同部分，促进了图像间的比较。举例而言，如果图像对包括描绘相同场景进一步地根据相同视场角描绘场景的一红外线图像和可见光图像，对于使用者而言，可更简单地将图像之一看到的是什么与其他图像看到的是什么作比较，并因此在观察场景的分析中得到结论。
[0028]通常，可见光成像系统相比于红外线成像系统具有更宽的视场角。因此，在许多情况中，需要调整的是可见光视场角，例如缩放和/或移动，来匹配红外线成像系统的视场角。可见光成像系统可具有，举例来说，50-60°视场角，而红外线成像系统可具有，举例来说，25°视场角。然而，根据一实施例，热成像装置具有额外的红外线光学器件，为红外线成像系统提供了例如90°视场角。根据该实施例，红外线图像的视场角被调整，例如缩放和/或移动，根据下文所述任意实施例来匹配可见光的视场角。
[0029]举例来说，开启或关闭文本方法实施例所表示的视场角跟踪功能是可能的。有时候使用者想要查看或存储具有比红外线成像系统的视场角(如果它是两视场角中更窄的那个)更宽的视场角的可见光图像。如果视场角跟踪功能被关闭了，红外线视场角和可见光视场角每一为默认设置到他们各自的最大值。
[0030]视场角
[0031]可见光成像系统通常具有一约为40-70°的可视(或可见)视场角(FOV)，而红外线成像系统通常具有一更窄的可视(或可见)视场角，例如约为20-30°。本领域技术人员可以理解的是，其他视角也可使用，例如通过可替换光学元件或包括光学元件的透镜的使用。对于红外线成像设备，可替换光学元件或包括光学器件的透镜举例来说可赋予视场角15-45°，或甚至查看角直至约为90°。
[0032]系统架构
[0033]图1示出了用于促进和实现提高的描绘实景的红外线图像和可视光图像内相关联红外线和可视光图像数据的分析和解释的热成像装置I的实施例示意图。根据一实施例，热成像装置I包括具有红外线传感器20的红外线成像系统12，该红外线成像系统12配置根据第一视场角捕捉实景的红外线图像。根据一实施例，热成像装置I进一步包括具有可视(或可见)传感器16的可视光成像系统11，该可视光成像系统11配置为根据第二视场角捕捉可视光图像。
[0034]根据实施例，热成像装置I进一步包括可选的针对观察的实景，并于热成像装置I通信耦合的传感器设备。
[0035]根据实施例，传感器设备为配置为投射激光点到观察的实景的激光投影仪、配置为投射激光点到观察的实景的可见光光源、配置为投射激光点到观察的实景的测距仪，环境温度传感器或湿度传感器中的一种。
[0036]包括在热成像装置I内的红外线成像系统12配置为捕捉红外线图像，且可视光成像系统11以本身已知的方法(例如以本领域技术人员可理解的一个或多个传统方式)，配置为捕捉可视光图像。根据一实施例，红外线图像和可见光图像同时被捕捉。根据另一实施例，红外线图像和可视光图像紧挨着被捕捉。根据第三实施例，红外线图像和可视光图像以进一步分开的时间实例捕捉。
[0037]在捕捉一个或多个红外线和/或可视光图像后，捕捉到的一个或多个图像传输至配置为执行图像处理操作的处理器2。
[0038]根据实施例，集成在热成像装置I内的处理器2，与热成像装置I耦合，或配置为接收从热成像装置I转发来的数据。捕捉的图像也可通过可能的中间物(intermediate)存储至一单独或成像设备外部的处理单元来传输。在成像设备或单独处理单元内的处理提供有特别设计的程序或适用为控制处理单元或处理器来执行本发明实施例的步骤和功能的程序代码部分，将在文本进一步描述。
[0039]根据一实施例，处理器2设置为处理至少一个可视光图像和红外线图像，从而呈现在可视光图像的视场角实质上对应呈现在红外线图像内的视场角。
[0040]根据一实施例，处理器2设置为处理至少一个可视光图像和红外线图像，从而呈现在可视光图像的视场角实质上对应呈现在红外线图像内的视场角，包括以下操作的选择:至少一个图像或至少一个图像的部分的裁剪；窗口化；缩放；移动；和旋转。
[0041]根据实施例，处理器2设置为处理至少一个捕捉的可视光图像和捕捉的红外线图像，从而处理后的可视光图像和处理后的红外线图像描绘或呈现实景的捕捉视图的实质上相同的子集，其中实景的捕捉视图的子集完全由红外线成像系统视场角和可视光成像系统视场角围绕。
[0042]确定区域应用视场角跟踪功能
[0043]图6a示出了不具有视场角功能的获取的视图是如何针对可见光成像系统620，及不具有视场角功能的获取的视图是如何针对红外线成像系统630。图6a也示出了完全由红外线成像系统视场角和可视光成像系统视场角围绕的实景捕捉视图的示例性子集640。另外图6a示出了观察到的实景610。
[0044]图6b示出了当视场角功能激活时，处理后的可视光图像和处理后的红外线图像是如何描绘或呈现捕捉的视图实质上相同的子集。
[0045]根据实施例，实景的捕捉视图的子集是由以下确定的:
[0046]-确定最新的图像，即哪个捕捉的可视光图像和捕捉的红外线图像是最近捕捉的
[0047]-确定最早的图像，即哪个捕捉的可视光图像和捕捉的红外线图像不是最近捕捉的
[0048]-确定实景的捕捉视图的子集作为由最新图像表示的实景捕捉视图和由最早图像表示的实景捕捉视图的重叠部分，因此获得描绘或表示实景捕捉视图的子集的处理后的可视光图像和处理后的红外线图像。
[0049]根据实施例，实景捕捉视图的子集是由以下确定:
[0050]-确定捕捉的可视光图像的亮度测量值，指示可见光的光量或光强。
[0051]-如果确定的亮度测量值等于或超过预定阈值，确定实景的捕捉视图的子集，作为由可视光图像表示的实景的捕捉视图，并且如果确定的亮度测量值低于预定阈值，确定实景的捕捉视图的子集，作为由红外线图像表示的实景的捕捉视图，由此获得描绘或表示实景的捕捉视图的子集的处理后的可视光图像和处理后的红外线图像。
[0052]图8a_8c示出了通过确定捕捉的可视光图像或红外线图像内的指示位置确定实景的捕捉视图的子集的示例性方法。
[0053]图8a示出了实景810、可视光成像系统820的实景的捕捉视图、红外线成像系统830的实景的捕捉视图，及实景840的捕捉视图的子集是在何处图示的示例。一示例视场角跟踪功能的操作模式内，红外线成像系统830的实景的捕捉视图完全由被选为实景840的捕捉视图的子集的可视光成像系统820的实景的捕捉视图围绕。
[0054]实景的捕捉视图的子集
[0055]根据实施例，实景的捕捉视图的子集是由以下确定的:
[0056]-确定捕捉的可视光图像或红外线图像的指示位置，
[0057]-使用预定特征关联位置
[0058]-确定实景的捕捉视图的子集作为预定特征的轮廓，因此获得描绘或表示实景的捕捉视图的子集的处理后的可视光图像和处理后的红外线图像。
[0059]根据实施例，确定捕捉的可视光图像或红外线图像的指示位置是由以下执行的:
[0060]-通过与热成像装置连接或集成在热成像装置内的激光投影仪投射一激光点至实
~I— O
[0061]-确定表示或描绘实景的捕捉的可视光图像或红外线图像内的激光点的位置作为指示位置
[0062]-关联预定特征至确定的指示位置。
[0063]-通过将可视光图像的部分和红外线图像的部分裁剪出预定特征的轮廓外，获得描绘或表示实景的捕捉视图的子集的处理后的可视光图像和处理后的红外线图像。
[0064]图8b示出了实景810、可视光成像系统820的实景的捕捉视图、红外线成像系统830的实景的捕捉视图，及实景840的捕捉视图的子集是在何处图示的示例。在一指示位置由使用者通过瞄准由投影仪17投射到实景810上的激光点850指示的示例中，捕捉的可视光图像或红外线图像内的激光点的位置被确定为指示位置，一例如矩形的预定特征，例如位于中心的与指示位置关联，且实景的捕捉视图的子集确定为预定特征的轮廓。
[0065]一示例性实施例中，与热成像装置连接或集成在热成像装置集成的激光投影仪投射激光点至实景上，例如至一第一物体。例如通过检测可视光图像内的激光点或通过红外线成像系统、可视光成像系统和激光投影仪之间的预定关系，如视场角，确定表示或描绘实景的捕捉的可视光图像或红外线图像内的激光点的位置。预定特征与可视光图像和红外线图像内确定的激光点位置关联，例如矩形位于确定位置的中心。确定实景的捕捉视图的子集作为预定特征，例如矩形，的轮廓，并通过将可视光图像的部分和红外线图像的部分裁剪出预定特征的轮廓外，获得描绘或表示实景的捕捉视图的子集的处理后的可视光图像和处理后的红外线图像。
[0066]根据实施例，确定捕捉的可视光图像或红外线图像是由以下执行的:
[0067]-确定指示位置作为捕捉的红外线图像的中心或捕捉的可视光图像的中心
[0068]-关联预定特征至确定的指示位置。
[0069]-通过将可视光图像的部分和红外线图像的部分裁剪出预定特征的轮廓外，获得描绘或表示实景的捕捉视图的子集的处理后的可视光图像和处理后的红外线图像。
[0070]图8c示出了实景810、可视光成像系统820的实景的捕捉视图、红外线成像系统830的实景的捕捉视图，及实景840的捕捉视图的子集是在何处图示的示例。一示例中，指示位置由使用者通过将实景810的视图居中于兴趣区域，捕捉红外线图像的中心或捕捉可视光图像的中心确定为指示位置，一例如矩形的预定特征，以例如位于中心的与指示位置关联，且实景的捕捉视图的子集确定为预定特征的轮廓。
[0071]一示例性实施例中，表示或描绘实景的捕捉的可视光图像的中心或捕捉的红外线图像的中心确定为指示位置。一预定特征与可视光图像和红外线图像内的指示位置关联，例如矩形位于确定位置的中心。确定实景的捕捉视图的子集作为预定特征，例如矩形，的轮廓，并通过将可视光图像的部分和红外线图像的部分裁剪出预定特征的轮廓外，获得描绘或表示实景的捕捉视图的子集的处理后的可视光图像和处理后的红外线图像。
[0072]根据实施例，确定捕捉的可视光图像或红外线图像是由以下执行的:
[0073]-确定指示位置作为表现在捕捉的红外线图像内的物体的中心，或是表现在捕捉的可视光图像内的物体的中心。
[0074]-关联预定特征至确定的指示位置。
[0075]-通过将可视光图像的部分和红外线图像的部分裁剪出预定特征的轮廓外，获得描绘或表示实景的捕捉视图的子集的处理后的可视光图像和处理后的红外线图像。
[0076]根据实施例，物体的中心是由使用者通过一使用者接口指示的。
[0077]根据实施例，物体的中心通过检测捕捉的可视光图像或捕捉的红外线图像内的物体和确定物体中心被指示。
[0078]一示例性实施例中，物体在捕捉的可视光图像内或捕捉的红外线图像内被检测，例如通过使用者指示物体或通过现有技术物体检测方法。表示或描绘实景的捕捉的可视光图像内的物体的中心或捕捉的红外线图像内的物体的中心被确定为指示位置。预定特征与可见光图像内和红外线图像内的指示位置关联，例如矩形位于确定位置的中心。确定实景的捕捉视图的子集作为预定特征，例如矩形，的轮廓，并通过将可视光图像的部分和红外线图像的部分裁剪出预定特征的轮廓外，获得描绘或表示实景的捕捉视图的子集的处理后的可视光图像和处理后的红外线图像。
[0079]根据一实施例，处理器2设置为执行缩放至少一个处理后的图像，从而图像的尺寸变得相同。根据一实施例，处理器2设置为执行重采样至少一个处理后的图像，从而图像的分辨率变得相同。
[0080]根据一实施例，处理器2进一步配置为关联结果红外线和可视光图像。根据一实施例，处理器2配置为产生包括关联的图像，例如以图像对的形式，的数据结构。
[0081]处理器2可以是例如通常或目的处理引擎的处理器，举例来说，微处理器、微控制器或包括存储在计算机可读存储媒介上，并固定用于执行某些任务的代码或代码部分的区段，或其他存储在计算机可读存储媒介，可在使用时改变的代码的区段的其他控制逻辑。这样可改变的区段可包括用作不同任务的输入的参数，例如热成像装置I的校准，采样率，或图像的空间滤波的滤波器，等等。
[0082]根据一实施例，处理器2配置为使用硬件描述语言(HDL)。
[0083]根据一实施例，处理器2为现场可编程逻辑门阵列(FPGA)，即设计成由客户或设计者在加工并配置使用硬件描述语言(HDL)后的集成电路。为了该目的，本发明的实施例包括配置为控制FPGA来执行本文所述方法实施例的步骤和功能的配置数据。
[0084]根据一实施例，热成像装置I进一步包括一个或多个输入设备4的选择，用于输入命令和/或控制信号，例如，一交互式显示器，手柄和/或录音/按压按钮。响应于输入命令和/或控制信号，处理器2控制热成像装置I的不同部分的功能。
[0085]图5内示出了输入设备的示例性实施例。输入设备包括交互式显示器570，例如触摸屏，图像显示部分和控制器510-550实现使用者键入输入。
[0086]根据一实施例，输入设备4包括控制器，实现使用者执行以下功能:
[0087]-激活510或禁用视场角跟踪功能，即将由关联的红外线图像表现的视场角与关联的可视光图像的视场角匹配。
[0088]-选择520来获取或显示图像，例如关联的红外线图像、关联的可视光图像或基于关联的红外线图像和关联的可视光图像的合成图像。图7中对该点进一步详细说明。
[0089]-选择模式530，当应用“视场角跟踪”功能时，确定由处理后的可视光图像和处理后的红外线图像描绘和表示的实景的捕捉视图的子集，就如上文“确定区域应用视场角跟踪功能”所描述的。
[0090]-存储或保存图像540至存储器(8或15)。
[0091]-在红外线或可视光图像上执行缩放或按比例缩放动作550。
[0092]根据一实施例，热成像装置I进一步包括至少一个存储区15，用于存储由热成像装置I注册或处理的数据。根据一实施例，存储器15配置为存储图像数据，例如从上述处理获得的关联图像。存储器15可集成在热成像装置I内或与热成像装置I通过有线或无线通信耦合。根据一实施例，存储器是集成在外部单元10内的外部存储器8，存储器8配置为接收并存储热成像装置I发来的数据。根据一实施例，存储器可以是集成在热成像装置内的或与热成像装置耦合的存储器15，和/或集成在配置为从热成像装置I接收数据，和/或转发数据至热成像装置I的集成在外部单元内的存储器8。根据实施例，每一存储器15、8可以是易失性存储器或非易失性存储器。
[0093]根据一实施例，热成像装置I包括或与配置为通信数据至一外部单元10的数据通信接口 5耦合，并因此实现使用者使用外部单元10获取和/或显示关联图像。根据一实施例，外部单元10包括一配置为执行任何、所有或一种本文描述的功能的方法步骤的选择的处理单元9。根据一实施例，数据在热成像装置I和外部单元10间通过热成像装置I的数据通信接口 5和与其对应的外部单元10的数据通信接口 6转发或通信，接口，例如可包括有线或无线连接、红外数据IRDA协议、蓝牙、USB、火线fire-wire等(例如一个或多个不同种类的接口标准)。由所述接口 5、6实现的单工和双工通信在图1中使用虚线图示。
[0094]此外，热成像装置I可包括配置为显示至少一个关联的红外线和可视光图像或基于关联的红外线图像和可视光图像的合成的图像的显示器。根据一实施例，显示器为集成在热成像装置I内或与热成像装置I耦合的显示器3。根据一实施例，显示器为集成在外部单元10内或与外部单元10耦合的外部显示器7，并配置为通过上述的接口 5、6接收从热成像装置转发来的数据。显示器3、7配置为显示关联的图像给使用者，用作进一步的分析和解释。通过实现使用者获取关联的图像，用作关联的红外线图像和可视光图像对的图像内容的显示、分析和解释是直观的，因为可视光图像和红外线图像是根据相同视场角的相同实景的表示，意味着使用者查看图像或在图像间切换，可简单地和快捷地将呈现在一张图像内的信息与呈现在另一张图像内的信息联系起来。
[0095]本文中，术语“计算机程序产品”和“计算机可读存储媒介”可通常用于称为例如存储器15或处理器2的存储媒介或外部存储媒介的媒介(media)。这或其他形式的计算机可读存储媒介可用于提供指令至处理器2用作执行。这样的指令，通常称为“计算机程序代码”(可以以计算机程序的形式分组或其他分组)，当执行时，实现了热成像装置I (例如红外线照相机)来执行特征或现有技术的实施例的功能。进一步地，如本文所用的，“逻辑”可包括硬件、软件、固件或上述的合成。
[0096]处理器2与准备参数给处理器2使用的存储器15通信，且如果使用者需要的话，由处理器2处理的图像可存储。一个或多个存储器15可包括硬盘驱动器、软盘驱动器、磁带驱动器、光盘驱动器、CD或DVD驱动器(R或RW)或其他可移动或固定的媒介驱动器的选择。
[0097]方法实施例
[0098]图2示出了根据一个或多个实施例的方法流程图。根据一实施例，提供了一种促进或实现提高的描绘实景的红外线图像和可视光图像内关联的红外线和可视光图像数据的分析和解释的方法。因此，进一步获得了提高的使用性。根据一实施例，关联的可视光和红外线图像信息表现为包括描绘相同实景的红外线图像和可视光图像的图像对。根据一实施例，所述图像使用包括有红外线成像系统和可视光成像系统的热成像装置捕捉。
[0099]根据一个或多个实施例，本方法包括:
[0100]步骤S202:捕捉使用红外线成像系统描绘实景的红外线图像，得到第一视场角。
[0101]步骤S204:捕捉使用可视光成像系统描绘实景的可视光图像，得到第二视场角。
[0102]根据一个或多个实施例，步骤S202和S204可同时、紧挨着或更远的时间实例执行。由于优选的是描绘的场景在各自捕捉的图像间尽可能的改变小，同时或紧挨着捕捉红外线和可视光图像是有利的。然而，在一监控情况例如热成像装置固定安装或放置在支架上以一长时间监控静态状态下，以更远的时间示例捕捉的图像可包括表现，其中描绘的场景保持或多或少相同，并因此提供精确的比较结果。
[0103]步骤S206:处理至少一个可视光图像和红外线图像，从而表现在可视光图像内的视场角实质上对应表现在红外线图像内的视场角，因此使用对应的视场角产生结果红外线图像和结果可视光图像。
[0104]红外线图像和可视光图像在步骤S206执行完毕后于本文称作结果图像，即便是在步骤S206中红外线图像和可视光图像未被处理的实施例中。
[0105]根据实施例，处理可包括以下根据现有技术中已知的方法的选择:裁剪；窗口化；缩放；移动；和旋转。举例而言，可视光的部分可被移动和/或裁剪或窗口化来匹配红外线视场角。此外，由于可视光传感器和/或红外线传感器的分辨率，以传感器元件的数量而言，不需要匹配显示捕捉的图像的显示器的分辨率，可视光和/或红外线图像可进一步比例缩放来匹配显示器的分辨率。
[0106]根据一实施例，捕捉的红外线图像相比于可视光图像的视场角表示更宽的视场角，即红外线成像系统视场角完全包括可视光成像系统视场角。因此，可视光图像被处理为可视光图像的视场角匹配红外线图像的视场角。
[0107]根据另一实施例，捕捉的可视光图像相比于红外线图像的视场角表示更宽的视场角，即红外线成像系统视场角完全包括可视光成像系统。因此，红外线图像被处理为红外线图像的视场角匹配可视光图像的视场角。
[0108]根据一第三实施例，可视光成像系统和红外线成像系统的视场角及表示各自视场角的图像可具有任意内在关系，且两者的图像被处理为图像表示的视场角互相匹配，并与一第三，更窄的视场角匹配。例如，如果红外线成像系统和可视光成像系统的视场角不是完全重叠的话，这可能是相关的，意味着为了表现在图像内的视场角匹配，由两个成像系统捕捉的图像的部分必须被移除。
[0109]根据一实施例，步骤S206的处理包括鉴别一个捕捉的图像内，表示相对于由其他捕捉的图像表示的更窄的视场角的更宽的视场角的区域或范围。以另一种方式表达为，处理包括鉴别表示描绘了与表示更窄视场角的图片观察场景的相同部分的更宽视场角的图片的区域或范围。
[0110]根据一实施例，该待鉴别的区域或地域使用成像系统11、12间已知的关系例如已知的视差、指向误差和/或红外线成像系统11和可视光成像系统11的视场角间的关系。所述关系可在热成像装置的设计、生产或校准时，以本身已知的方式(例如本领域技术人员理解的传统的方法)确定。根据另一实施例，区域或地域可对于每一图像对使用任何已知的鉴别方法鉴别，例如，图案识别、边缘检测、物体识别和/或互相关(cross-correlat1n)技术，仅举几例。
[0111]根据一实施例，在已知的方式中，为了提供如本文所述的区域或范围的更加精确的鉴别，步骤S206的处理可进一步包括捕捉图像的对准和/或稳定。
[0112]因为两图像在步骤S206后匹配，使用者可简单地使用可视光图像内的区域或物体鉴别红外线图像内的兴趣区域，简单地注意到红外线图像内兴趣区域位于哪里，并看到可视光图像的相同坐标。
[0113]一旦可保证红外线图像的视场角和可视光图像的视场角互相对应，根据实施例，本方法可进一步包括重采样处理后的可视光图像，从而使处理后的可视光图像的分辨率匹配红外线图像的分辨率，和/或比例缩放处理后的可视光图像从而处理后的可视光图像的尺寸匹配红外线图像的尺寸。如果步骤S206内的处理后的图像还不具有相同的分辨率或尺寸，重采样和/或比例缩放可被执行。
[0114]步骤S208:处理后，关联结果红外线和可视光图像。
[0115]根据一实施例，关联图像包括创建图像间的关系或连接，因此创建了图像对。关联的图像可同时操作或处理。举例而言，图像可互相靠近显示，或使用者查看关联图像可实现图像的显示模式间的切换。
[0116]根据一实施例，关联图像包括创建包含两个图像的数据结构的例子。
[0117]根据一实施例，关联图像可进一步被存储，或暂时存储在临时性存储器上，例如，使用热成像装置I的显示器3或外部单元的显示器7，在站点现场或实时查看捕捉的图像，或在非临时性存储器上存储更加永久，于后续查看和分析。
[0118]根据一实施例，关联图像存储在或集成在热成像装置内或与热成像装置耦合的易失性存储器上。易失性存储器可以是RAM或缓存存储器。根据另一实施例，关联图像存储在集成于热成像装置内、与热成像装置耦合、或是集成于配置为从热成像装置接收数据，和/或转发数据至热成像装置的外部单元的非易失性存储器上。
[0119]步骤S210:实现使用者获取用于显示的关联图像，其中图像对内容的分析和解释是直观的，因为可视光图像和红外线图像是根据相同视场角的相同实景的表现。
[0120]根据一实施例，实现使用者获取用于显示的关联图像包括通过数据通信接口 5、6，通讯包含关联图像的数据至外部单元10。外部单元10可包括配置为显示接收到的图像数据的显不器7。
[0121]根据一实施例，实现使用者获取用于显示的关联图像包括在集成于热成像装置内或与热成像装置耦合的显示器上显示关联图像。根据一实施例，关联图象实时显示或接近实时显示，连接来被捕捉。
[0122]根据一实施例，实现使用者获取用于显示的关联图像进一步包括实现在显示可视光图像和红外线图像间切换。
[0123]根据一实施例，实现使用者获取用于显示的关联图像进一步包括取决于关联图像实现合成的图像的显示。
[0124]根据一实施例，合成的图像为红外线图像与可视光图像数据的对比增强版本。
[0125]根据一实施例，获取合成的图像的方法包括对准的步骤，确定可视光图像分辨率值和红外线图像分辨率值实质上相同，并合成红外线图像和可视光图像。图4示出了该方法的示意图。
[0126]对准
[0127]由于红外线图像的捕捉和可视光图像的捕捉通常由以绕光轴不同的偏移量、方向和旋转安装的成像设备的不同的成像系统执行。成像系统间的光轴彼此间可有一定距离，且称为视差距离误差的光学现象将产生。成像系统间的光轴可相对于彼此以一定角度定向视差指向误差的光学现象将产生。成像系统围绕他们对应的光轴的旋转和称为视差旋转误差的光学现象将产生。由于这些视差误差，称为视场角的实景捕捉视图在红外线成像系统和可视光成像系统之间可以是不同的。
[0128]由于红外线图像的捕捉和可视光图像的捕捉通常由成像设备的不同成像系统执行，其中成像设备具有不同的带有例如放大率的不同性质的光学系统，称为视场角的实景捕捉视图在不同成像系统间不同。红外线图像和可视光图像可通过带有例如放大率的不同性质的光学系统获得，导致了由红外线传感器和可视光传感器捕捉的不同大小的视场角。
[0129]为了合成捕捉的红外线和捕捉的可视光图像，图像必须调整，从而获得表示观察的实景的相同部分的调整后的红外线图像和调整后的可视光图像，换句话说，补偿不同的视差错误和视场角尺寸。该处理步骤被称为红外线图像和可视光图像的配准或对准。
[0130]配准或对准被根据本领域技术人员任何已知的方法执行。
[0131 ] 确定红外线图像分辨率值和可视光图像分辨率值实质上是相同的
[0132]一实施例中，红外线图像和可视光图像可通过不同的分辨率获取，即成像系统的不同数量的传感器元件。为了实现在红外线和可视光图像上的像素智能操作，他们需要被重采样至一常规分辨率。重采样可根据本领域技术人员任何已知的方法执行。
[0133]一实施例中，红外线图像被重采样至第一分辨率，且可视光图像被重采样至第二分辨率，其中第一分辨率为第二分辨率的2倍的倍数，或第二分辨率为第一分辨率的2倍的倍数，因此通过考虑红外线图像和可视光图像的每2N次方像素实现即时重采样。
[0134]合成红外线图像和可视光图像
[0135]在一个或多个实施例中，红外线图像和可视光图像通过合成对准的红外线图像和对准的可视光图像的高空间频率内容来得到对比度增强的合成图像。该合成通过可视光图像和红外线图像的闻空间频率内容的置加来执行，或可选地在可视光图像的闻空间频率内容上叠加红外线图像。结果，与可视光图像的对比度可插入至展示温度变化的红外线图像内，因此在不失去结果合成图像的清晰度和可读性下合成了两图像种类的优点。
[0136]根据一实施例，获得对比度增强的合成图像的方法包括以下步骤:
[0137]步骤1010捕捉可视光图像
[0138]一示例性实施例中，捕捉可视光图像包括捕捉使用具有光学系统和传感器元件的可视光成像系统的描绘有观察的实景的可视光图像，其中捕捉的可视光图像包括捕捉的可见光图像的可见表示的可视光像素。捕捉可视光图像可根据本领域技术人员任何已知的方法执行。
[0139]步骤1020捕捉红外线图像
[0140]一示例性实施例中，捕捉红外线图像包括捕捉使用具有光学系统和传感器元件的红外线成像系统的描绘有观察的实景的红外线图像，其中捕捉的红外线图像包括捕捉的由观察的实景发出的红外辐射的红外数据值，及表示捕捉的红外数据值的温度值的可见表示的关联红外线像素。捕捉红外线图像可根据本领域技术人员任何已知的方法执行。
[0141]一示例性实施例中，步骤1010和步骤1020同时执行或接续执行。
[0142]一示例性实施例中，图像可在相同时间捕捉或尽可能小的时间差内捕捉，因为捕捉可视光图像和红外线图像的成像单元的移动，这会减少对准差别的风险。如对本领域技术人员是显而易见的，以时间实例更远的捕捉图像也是可以使用的。
[0143]一示例性实施例中，红外线成像系统的传感器元件和可视光成像系统的传感器元件实质上是相同的，例如具有实质上相同的分辨率。
[0144]一示例性实施例中，红外线图像可使用非常地分辨率的红外线成像设备捕捉，SP时的分辨率低至64*64或32*32像素，但如对本领域技术人员可简单理解的，很多其他的像素同样适用。发明人发现如果边缘和轮廓(高空间频率)信息从可视光图像附加至合成图像，非常低分辨率红外线图像的使用将仍然渲染合成图像，使用者可清楚地区分描绘的物体和温度或其他与之相关的红外线信息。
[0145]捕捉一红外线图像可根据本领域技术人员任何已知的方法执行。
[0146]步骤1030对准红外线图像和可视光图像
[0147]一示例性实施例中，视差包括通常由于捕捉所述红外线图像和可视光图像的成像系统的传感器位置的不同引起的光轴间视差距离错误，由于通常防止光轴恰好平行安装的机械公差，在这些光轴间创造的视差指向错误角度，及由于通常防止光轴恰好在围绕红外线和可视光成像系统的光轴的光学相同的旋转安装的机械公差的视差旋转误差。
[0148]一示例性实施例中，红外线图像的捕捉和可视光图像的捕捉由具有不同不同性质，例如放大率，的光学系统成像设备的不同成像系统执行，称为视场角的实景的捕捉视图的范围将不同。
[0149]通过补偿视差和视场角的尺寸对准红外线图像，以获得具有实质上相同的视场角的对准的红外线图像和对准的可视光图像可根据本领域技术人员任何已知的方法执行。
[0150]步骤1090确定红外线成像系统的分辨率值和可视光成像系统的分辨率值，其中红外线成像系统的分辨率值对应捕捉的红外线图像的分辨率，且可视光成像系统的分辨率值对应捕捉的可视光图像的分辨率。
[0151 ] 一示例性实施例中，分辨率值表示捕捉的图像的一行像素的数量和一列像素的数量。
[0152]一示例性实施例中，成像系统的分辨率是预定的。
[0153]确定红外线成像系统的分辨率值和可视光成像系统的分辨率值，其中红外线成像系统的分辨率值对应捕捉的红外线图像的分辨率，且可视光成像系统的分辨率值对应捕捉的可视光图像的分辨率可根据本领域技术人员任何已知的方法执行。
[0154]步骤1100确定可视光图像分辨率值和红外线图像分辨率值实质上是相同的。
[0155]如果步骤1100中确定了可视光图像分辨率值和红外线图像分辨率值实质上是不相同的，本方法可进一步涉及选择性的步骤1040，重采样至少一个接收到的图像，从而重采样后获得的结果可视光图像分辨率值和结果红外线图像分辨率值实质上是相同的。
[0156]一示例性实施例中，重采样包括将红外线图像的分辨率向上采样至于步骤1090确定的可视光图像的分辨率。
[0157]一示例性实施例中，重采样包括将可视光图像的分辨率向上采样至于步骤1090确定的红外线图像的分辨率。
[0158]一示例性实施例中，重采样包括将红外线图像的分辨率向下采样至于步骤1090确定的可视光图像的分辨率。
[0159]一示例性实施例中，重采样包括将可视光图像的分辨率向下采样至于步骤1090确定的红外线图像的分辨率。
[0160]一示例性实施例中，重采样包括重采样红外线图像的分辨率和可视光图像的分辨率至一与步骤1090中确定的捕捉的红外线图像分辨率和捕捉的可视光图像分辨率不同的中间分辨率。
[0161]一示例性实施例中，中间分辨率基于热成像装置或成像设备的显示单元的分辨率确定。
[0162]根据一示例性实施例，方法步骤对于红外线图像的一部分和可视光图像的对应部分执行。根据一实施例，可视光图像的对应部分是描绘与红外线图像相同的观察的实景部分的部分。该实施例中，高空间频率内容从可视光图像的部分抽取，且红外线图像的部分与可视光图像的部分的抽取出来的高空间频率内容合成，来产生一合成图像，其中红外线图像部分内的对比度和/或分辨率相比于原始捕捉的红外线图像增加了。
[0163]根据不同的实施例，红外线图像的所述部分可以是整个红外线图像或整个红外线图像的子集，且可视光图像的所述对应部分可以是整个可视光图像或整个可视光图像的子集。换句话说，根据一实施例，该部分可以是整个红外线图像，且如果各自的红外线和可视光图像具有不同的视场角，可视光图像的对应部分可以是整个可视光图像或可视光图像的子集。
[0164]确定可视光图像分辨率值和红外线图像分辨率值实质是相同的可根据本领域技术人员任何已知的方法执行。
[0165]步骤1050通过抽取可视光图像的高空间频率内容处理可视光图像
[0166]根据一示例性实施例，抽取可视光图像的高空间频率内容是由使用空间滤波器高通滤波可视光图像执行的。
[0167]根据一示例性实施例，抽取可视光高空间频率内容是由抽取描绘同一场景的两图像间的差异(通常称为差分图像)执行的，其中第一图像是在第一时间实例被捕捉的，第二图像是在第二时间实例被捕捉的，优选的第二时间实例紧挨着第一时间实例。两图像可通常为一图像帧序列里连续的两图像帧。表示场景内物体的边缘和轮廓的高空间频率内容可在差分图像内出现，除非图像化的场景优选地从第一时间实例至第二时间实例未改变，且成像传感器完全地保持静止。举例来说，由于图像化场景内光的变化或描绘的物体的移动，场景可能从一帧至下一帧已变化。同样地，在几乎每一个情况下，成像设备或热成像系统不会完全保持静止。
[0168]出于从图像内抽取高空间频率内容的目的，执行有一高通滤波,换句话说,标定对比区域，即相邻像素的值显示大差异的区域，例如锐缘。结果高通滤波图像可以通过从原始图像抽取低通滤波图像，按像素计算，来得到。
[0169]通过抽取可视光图像的高空间频率内容处理可视光图像可根据本领域技术人员任何已知的方法执行。
[0170](选择性的)步骤1060处理红外线图像来减少噪声和/或使红外线图像模糊
[0171]根据一示例性实施例，处理红外线图像包括减少噪声和/或使红外线图像模糊，是通过空间低通滤波器执行的。低通滤波可由在图像的每一像素上放置偏芯和使用相邻像素内的值和所述偏芯的系数为所述像素计算新值来执行。
[0172]在可选步骤1060执行的低通滤波的目的在于平滑表现在红外线图像步骤1020捕捉的原始红外线图像内的噪声而来的不均匀。由于原始红外线图像内可视的锐缘和噪声被移除或至少在滤波处理时减少，结果图像内的可视化进一步通过红外线图像的滤波提高，且在红外线图像和可视光图像不对准的合成图像内展示出的双缘的风险被减少了。
[0173]处理红外线图像来减少图像内的噪声和/或使红外线图像模糊可根据本领域技术人员任何已知的方法执行。
[0174]步骤1070合成捕捉的可视光图像的抽取的高空间频率内容，并选择性地处理红外线图像至一合成图像
[0175]一示例性实施例中，合成捕捉的可视光图像的抽取的高空间频率内容，并选择性地处理红外线图像至一合成的图像包括只使用处理后的可视光图像的亮度分量Y。
[0176]一示例性实施例中，合成捕捉的可视光图像的抽取的高空间频率内容，并选择性地处理红外线图像至一合成的图像包括将捕捉的可视光图像的抽取的高空间频率内容的亮度分量与选择性处理的红外线图像的亮度分量合成。作为结果，红外线图像的色彩或灰度未改变，且维持了原始红外线调色板的性质，而同时将期望对比度增加至合成的图像中。由于辐射线测定或其他相关的红外线信息可在整个处理中保持，且合成图像的解释可由此对于使用者而言促进了，通过处理和显示的所有阶段维持红外线调色板是有益处的。
[0177]一示例性实施例中，合成捕捉的可视光图像和可选择地处理后的红外线图像的抽取的高空间频率内容，包括当增加亮度分量时，使用因子α来确定两图像的亮度分量将可视光图像的亮度分量与红外线图像的亮度分量合成。该因子α可由成像设备或成像系统本身，使用确定可视光图像创造满意的图像所需要的轮廓线级别的合适的参数所确定，但也可由使用者给到成像设备或成像系统的输入决定。该因子也可在后续阶段改变，例如当图像存储在系统内，或存储在计算机或类似物体内时，且可调整为适合使用者的任何需求。
[0178]一示例性实施例中，合成捕捉的可视光图像和可选择地处理后的红外线图像的抽取的高空间频率内容至一合成图像包括，使用调色板，举例而言，根据色彩空间的YCbCr族，在红外线图像的温度值上映射色彩，其中Y分量(即调色板亮度分量)可选择为整个调色板上的常量。一实例中，Y分量可选择为合成图像、可视光图像或红外线图像的最大亮度的0.5倍。作为结果，当根据选择的调色板将红外线图像与可视光图像合成时，处理后的可视光图像的Y分量可增加至处理后的红外线图像305，且在处理后的红外线图像的色彩不改变下产生需要的对比度。色彩的特定细微差别的重要意义由此在原始红外线图像的处理中得以维持。
[0179]当计算色彩分量时，下列方程式可用来为合成图像确定分量Y、Cr和Cb，Y分量从处理后的，例如高通滤波，的可视光图像而来，Cr和Cb分量从红外线图像而来。
[0180]hp_y_vis =高通(y_vis)
[0181](y_ir, cr_ir, cb_ir)=色彩化(低通(ir_ 信号 _ 线性))
[0182]另一种表示法可写为:
[0183]hpyvis =高通(yvis)
[0184](yir, crir, cbir)=色彩化(低通(ir 信号线性))
[0185]除了 YCbCr的其他色彩空间，当然也可用在本文的实施例中。不同色彩空间的使用，例如RGB、YCbCr, HSV、CIE1931XYZ或CIELab，以及色彩空间间的转换对本领域技术人员而言是已知的。举例而言，当使用RGB色彩模型时，亮度计算为有色彩分量的平均值，且通过转换方程式计算一个色彩空间至另一色彩空间的亮度，用于确定亮度的新的表达将对每一色彩空间确定。
[0186]步骤1080增加高分辨率噪声至合成图像
[0187]根据一示例性实施例，高分辨率噪声是高分辨率顺时噪声。
[0188]为了向观看者更清楚地渲染结果图像，及减少可由于在所述红外线图像的可选低通滤波时保留的原始红外线图像内的噪声呈现的污迹或类似物的表示，高分辨率噪声可增加至合成图像。
[0189]根据一实施例，处理器2配置为执行方法步骤1010-1080。
[0190]可为使用者提供一使用者界面，实现使用者与例如在显示器3、7上的显示数据相互作用。这样的使用者界面可包括可选的选项或允许使用者在不同的视图间切换、在兴趣区域放大等的输入可能性。为了与显示器相互作用，使用者可提供使用一个或多个输入设备4的输入。
[0191]根据一实施例，使用者可与热成像装置I互动来以本领域已知的方式执行放大或缩放一副图像。如果使用者活在红外线图像或在可视光图像上执行放大或缩放动作，关联图像的视场角将根据本文所述的任意实施例调整(例如使用步骤S208和S210)。由此，关联图像的视场角将总是或实时或接近实时地与使用者在站点，或在存储用作后续检索的图像数据内查看图像匹配的。
[0192]图3示出了未使用本发明方法的根据一实施例的图像对的实例。示出在图3A的图像对根据第一视场角包括一可视光图像300，及根据第二视场角包括一红外线图像。根据示出在图3A的实施例，可视光300的视场角对应可视光成像系统11的视场角，且红外线图像310的视场角对应红外线成像系统12的视场角。
[0193]对于本领域技术人员显而易见的是，关联的和处理的图像对的进一步处理可根据本领域已知的方法执行。
[0194]使用案例实施例
[0195]根据一实施例，视场角功能或换句话说，红外线图像的视场角与对应可视光的视场角的匹配是可开启或关闭的模式。开启和关闭视场角跟踪功能基于热成像装置的设定可自动执行，或通过使用者与一个或多个输入设备4相互作用手动执行。
[0196]在一使用案例实施例中，使用者可操作热成像装置来调查场景寻找例如一建筑工地上以潮湿、绝缘不良或过热电子为形式的异常状况。根据该实例，使用者可实时地，或接近实时地在热成像装置的显示器上查看捕捉的红外线和可视光图像的帧序列。根据一实施例，红外线图像帧序列在显示器上显示给使用者。当使用者看到感兴趣的东西时，例如，表明如故障电子的热点时，使用者可使用提供在照相机上的输入设备，从红外线图像视图切换至可视光图像视图。根据本文所述的实施例，使用者可被呈现有一与片刻前呈现的红外线图像相同视场角的可视光图像。因为两图像匹配，使用者可通过标注兴趣特征位于红外线图像的何处，并在可视光图像内看到相同坐标，利用可视光图像内的区域或物体简单地鉴别红外线图像内的兴趣区域。换句话说，使用者片刻前注意到的红外线图像内的兴趣区域的场景的相关部分是正确的。
[0197]对于本领域技术人员显而易见的是，纯红外线图像或纯可视光图像的显示不是仅有的选项。举例而言，可根据情形使用融合，混合或画中画。根据一实施例，显示的红外线图像可以是代替纯红外线图像的带有额外的本领域已知方法产生的可视光图像数据的融合、混合或对比增强版本的红外线图像。然而，红外线图像通常其自身难以解释，且在混合或融合图像内，它也很难将图像内容与观察的场景关联。因此，切换至可视光表示的可能性对于解释是很有利的，其中可视光图像的视场角与先前显示的红外线或合成图像的视场角重合。
[0198]根据一使用案例实施例，使用者使用热成像装置来观察自使用者站立点的场景距离。因此，使用者选择放大当示出在热成像装置的显示器上的红外线图像。当使用者在兴趣的物体或范围放大时，使用者切换至可视光来关联红外线关联数据至场景。如果视场角跟踪模式打开，使用者将不会看到表示片刻前示出的红外线图像的放大的视场角的可视光图像。如果视场角跟踪模式关闭，红外线成像系统和可视光成像系统在捕捉活动图像序列或静止照片期间单独工作，且使用者例如可在由红外线成像系统或可视光成像系统之一捕捉的图像内，在不影响由其他成像系统捕捉的图像或图像序列下放大。换句话说，使用者可被呈现有或是根据可视光成像系统视场角的放大版本的可视光图像，其中可视光图像系统视场角放大而非与红外线图像匹配，或是根据可视光成像系统的整个视场角被呈现有原始缩小的可视光图像。根据一使用案例实施例，使用者将视场角跟踪模式置为开，切换可视光来看在场景的哪个部分，兴趣特征在放大的和匹配的可视光图像内被找到，并关闭视场角跟踪模式，由此显示了根据可视光成像系统的全视场角的可视光图像，因此允许使用者将场景的感兴趣部分放置在其背景内。
[0199]根据一实施例，使用者可使用一输入设备4来捕捉和/或存储关联的红外线图像和可视光图像对。在使用者的视角中，单一输入动作因此可执行。响应于单一使用者动作，根据本文任一实施例所述的方法步骤执行，从而依赖于预设或使用者选择的当前运行的热成像装置的设定引起图像的捕捉、关联、存储和/或显示。
[0200]如果使用者正在使用成像装置来观察距离物体，使用者可能想要放大并拍照或捕捉一图像序列。使用者可能已经检测了物体或红外线图像内的感兴趣的细节，但却发现在可视光视图内放大更简单。因此使用者在放大前切换至可视光。使用一个或多个本发明方法的实施例，对应红外线图像的视场角的可视光图像的视场角使得使用者更简单地将检测到的温度模型或红外线图像内看到的感兴趣的异常性与可视光场景的正确部分关联起来，并将其放大。
[0201]另一实例中，使用者可能想要缩小，以便放置一观察到的细节或物体至其背景中。如果使用者连同缩放动作在红外线和可视光间切换，视场角总可匹配。在使用者手动为可视光选择宽于红外线成像系统可获得的视场角的情况下，红外线成像系统的视场角将设置为其最大值。
[0202]根据一实施例，显示器上显示的内容为使用者保存图像时保存的内容。如果视场角跟踪模式开启，包括红外线和可视光图像的图像对被存储，其中图像具有匹配的视场角。使用者可在后续收回图像对，并在热成像装置或外部单元的显示器上查看。根据显示器的设定及使用的使用者界面，使用者可同时查看图像对，图像彼此相邻呈现，或依次查看图像对，则使用者可实现在图像间切换。
[0203]根据另一使用实例，使用者具有捕捉好的图像，并使用集成在热成像装置或已转发有捕捉的图像数据的外部单元内的报告生成逻辑，选择生成一报告。在这种情况下，使用者通常期望包括包含有描绘场景的红外线图像和可视光图像的图像对。然而，现有技术中，使用者或不得不包含表示不同视场角的红外线图像和可视光图像，或执行额外的步骤，例如手动裁剪具有更宽视场角的图像来匹配其他图像的视场角，以便促进人们阅读报告时的理解。根据本文的方法实施例，这并非必要的，因为关联的图像总能表示相同的视场角，因此实现关联的可视光和红外光图像信息的提高的分析和解释。
[0204]进一步实施例
[0205]对本领域技术人员显而易见的是，捕捉的和关联的图像可进一步根据本领域已知的方法处理，例如获得融合、混合或呈现为画中画的图像。
[0206]根据一实施例，处理器使用硬件描述语言(HDL)配置。根据一实施例，处理器2为现场可编程逻辑门阵列(FPGA)或其他逻辑设备种类。
[0207]根据一实施例，处理器2进一步适用为执行本文所述方法实施例的步骤或功能。
[0208]根据本发明一实施例，提供有具有适用为执行本文所述方法实施例的步骤或功能的处理器的计算机系统。
[0209]根据本发明一实施例，提供有计算机可读媒介，其上存储有适用为控制处理器执行执行本文所述方法实施例的步骤或功能的非临时性信息。
[0210]根据本发明一实施例，提供有计算机程序产品，其包含适用为控制处理器执行本文所述方法实施例的步骤或功能的代码部分。
[0211]根据本发明一实施例，提供有计算机程序产品，其包含适用为配置现场可编程逻辑门阵列(FPGA)来执行本文所述方法实施例的步骤或功能的配置数据。
[0212]本发明的其他优点
[0213]通过激活视场角跟踪功能使用者可实现图像信息例如可视光图像、红外线图像或合成图像间的即时切换，因此即时获取当前情境的最相关的信息。
[0214]通过激活视场角跟踪功能，合成图像例如融合或混合图像的质量和解释，实质上作为在可视光图像和红外线图像内实质上重叠的物体提高了。
[0215]通过实现使用者选择可视光视场角功能的模式，可适用在相关的使用者情境，因此大大增强了使用者体验。
[0216]尽管本发明结合有限数量的实施例已细节说明，应当容易理解的是本发明并非限制于已公开的实施例。相反地，本发明可被修改来合并迄今尚未描述的变化、改变、替换或等同装置，但与本发明相称的精神和范围。额外地，尽管本发明已描述了不同实施例，可以理解的是本发明的各方面可仅包括描述实施例的部分。从而，本发明不应视为限制于前述的描述，仅限制于所附权利要求的范围。
【权利要求】
1.一种实现描绘有实景的红外线图像和可视光图像内的关联的红外线和可视光图像数据的提高的分析和解释的方法，所述红外线图像和可视光图像使用包括有红外线成像系统和可视光成像系统的热成像装置捕捉，该方法包括: -关联描绘有实景的红外线图像和可视光图像； -处理至少一个可视光图像和红外线图像，从而表示在可视光图像内的视场角实质上对应表示在红外线图像内的视场角，由此产生具有对应视场角的结果红外线图像和结果可视光图像； -实现使用者获取关联的图像，用作所述关联图像的表示的显示。
2.如权利要求1所述的方法，其中实现使用者获取用作显示的关联图像进一步包括实现依赖于关联图像的合成图像的显示。
3.如权利要求2所述的方法，其中合成图像为具有额外红外线图像数据的对比度增强版本的红外线图像。
4.如权利要求3所述的方法，其中所述方法进一步包括通过对准红外线图像和可视光图像获得合成图像，确定可视光图像分辨率值同红外线图像分辨率值实质上相同，及合成红外线图像和可视光图像。
5.如权利要求1所述的方法，其中实现使用者获取用作显示的关联图像进一步包括实现在显示可视光图像和红外线图像间切换。
6.如权利要求1所述的方法，其中获取关联图像用作所述关联图像的表示的显示进一步包括，关联图像的分析和解释是直观的，因为结果可视光图像和结果红外线图像在关联后为根据相同视场角的相同实景的表示。
7.如权利要求1所述的方法，进一步包括捕捉使用具有第一视场角的红外线成像系统描绘有实景的红外线图像。
8.捕捉使用具有第二视场角的可视光成像系统描绘有实景的可视光图像。
9.如权利要求1所述的方法，其中处理进一步包括确定红外线成像系统的分辨率值和可视光成像系统的分辨率值，其中红外线成像系统的分辨率值对应捕捉的红外线图像的分辨率，且可视光成像系统的分辨率值对应捕捉的可视光图像的分辨率。
10.如权利要求1所述的方法，其中处理进一步包括确定可视光图像分辨率值与红外线图像分辨率值实质上是相同的。
11.如权利要求1所述的方法，其中处理进一步包括通过抽取可视光图像的高空间频率内容处理可视光图像。
12.如权利要求1所述的方法，其中处理进一步包括处理红外线图像来减少红外线图像内的噪声和/或使红外线图像模糊。
13.如权利要求1所述的方法，其中处理进一步包括增加高分辨率噪声至合成图像。
14.如权利要求1所述的方法，其中处理进一步包括合成捕捉的可视光图像和红外线图像的抽取的高空间频率内容至合成图像。
15.如权利要求12所述的方法，其中所述表示为所述合成图像。
16.如权利要求1所述的方法，其中所述处理包括: -裁剪； -窗口化； -缩放； -移动；和/或 -旋转。
17.如权利要求1所述的方法，其中关联图像进一步存储在易失性存储器上，即: -集成在热成像装置内；或 -与热成像装置耦合。
18.如权利要求1所述的方法，其中关联图像进一步存储在非易失性存储器上，即: -集成在热成像装置内； -与热成像装置耦合；或 -集成在配置为从热成像装置内接收数据和/或转发数据至热成像装置的外部单元。
19.如权利要求1所述的方法，进一步包括通过数据通讯接口通讯包括关联图像的数据至外部单元。
20.如权利要求1所述的方法，进一步包括在集成在热成像装置内或与热成像装置耦合的显示器上显示关联图像。
21.如权利要求6所述的方法，其中所述关联图像实时或接近实时显示。
22.如权利要求6所述的方法，进一步包括实现在显示可视光图像和红外线图像间切换。
23.如权利要求1所述的方法，进一步包括重采样处理后的可视光图像，从而处理后的可视光图像的分辨率与红外线图像的分辨率匹配。
24.如权利要求1所述的方法,进一步包括按比例缩放处理后的可视光图像,从而处理后的可视光图像的大小与红外线图像的大小匹配。
25.如权利要求1所述的方法，其中红外线图像的捕捉和可视光图像的捕捉同时或紧接着执行。
26.一种用于实现描绘实景的红外线图像和可视光图像内关联的红外线和可视光图像数据的提高的分析和解释的热成像装置，所述装置包括: -一配置为根据第一视场角捕捉实景的红外线图像的红外线成像系统； -一配置为根据第二视场角捕捉可视光图像的可视光成像系统； -一处理器，设置为: 关联描绘实景的红外线图像和可视光图像； 处理至少一个可视光图像和红外线图像，从而表示在可视光图像内的视场角实质上对应表示在红外线图像内的视场角，因此生成具有对应视场角的结果红外线图像和结果可视光图像； 实现使用者获取关联图像，用作所述关联图像的表示的显示； 及 -一配置为存储关联的红外线和可视光图像的存储器。
27.如权利要求12所述的热成像装置，进一步包括配置为显示至少一个关联红外线和可视光图像的显示器，其中所述显示器集成在热成像装置内或与热成像装置耦合。
28.如权利要求12所述的热成像装置，进一步包括或耦合于一配置为实现使用者获取和/或显示关联红外线和可视光图像的接口。
29.如权利要求12所述的热成像装置，进一步包括或耦合于一配置为显示关联图像给使用者进一步分析和解释的显示器。
30.如权利要求12所述的热成像装置，其中存储器为易失性存储器，SP: -集成在热成像装置内；或 -与热成像装置耦合。
31.如权利要求12所述的热成像装置，其中存储器为非易失性存储器，SP: -集成在热成像装置内； -与热成像装置耦合；或 -集成在配置为从热成像装置内接收数据和/或转发数据至热成像装置的外部单元。
32.如权利要求12所述的热成像装置，其中对至少一个可视光图像和红外线图像，表示在可视光图像内的视场角实质上对应表示在红外线图像内的视场角的处理包括: -裁剪； -窗口化； -缩放； -移动；和/或 -旋转。
33.如权利要求12所述的热成像装置，其中所述处理器进一步设置为执行对至少一个处理后图像的按比例缩放，从而图像的大小变得相同。
34.如权利要求12所述的热成像装置，其中所述处理器进一步设置为执行重采样可视光图像和/或红外线图像处理，从而可视光图像和红外线图像的分辨率变得相同。
35.如权利要求12所述的热成像装置，其中红外线图像和可视光图像同时捕捉或紧挨着捕捉。
36.如权利要求12所述的热成像装置，其中处理器使用硬件描述语言HDL配置。
37.如权利要求12所述的热成像装置，其中处理器为现场可编程逻辑门阵列FPGA。
38.如权利要求12所述的热成像装置，处理器进一步适用于执行如权利要求1-28任一项所述的步骤或功能。
39.一种具有适用于执行如权利要求1-13任一项所述步骤或功能的处理器的计算机系统。
40.一种计算机可读媒介，其中存储有适用为控制处理器执行如权利要求1-13任一项所述步骤或功能的非临时性信息。
41.一种计算机程序产品，包括适用为控制处理器执行如权利要求1-13任一项所述步骤或功能的代码部分。
42.一种计算机程序产品，包括适用为配置现场可编程逻辑门阵列FPGA执行如权利要求1-13任一项所述步骤或功能的配置数据。
【文档编号】H04N5/33GK104364800SQ201380028298
【公开日】2015年2月18日 申请日期:2013年3月28日 优先权日:2012年3月30日
【发明者】凯特琳·斯特兰德马尔, 比约恩·罗特, 马茨·阿尔斯特伦 申请人:前视红外系统股份公司