专利名称：红外图像比较的制作方法
红外图像比较
背景技术：
热或红外成像相机广为所知并已经在很多装置中用于测量和/或比较多个对象 的温度或者单个对象在一段时间内的温度分布。除其它应用外，这些仪器经常作为预防维 修程序的一部分用于工业应用。这些类型的程序典型地依赖对车间或工厂的资产进行周期 性的检查以在可能的故障发生前发现它们。例如，车间人员经常开发一些调查途径(route) 用来日常收集标识的设备上的温度数据。按途径为每一件设备收集热基线图像以后，通过将该设备后面的热图像与该基线 图像或其它在先图像的比较，技术人员于是能够识别出数个检查过程中的热特征的变化。 热特征的变化在某些情况下能够指示部件将要发生的故障，这使得技术人员可以在故障发 生之前安排维修或更换。在简单状况下，技术人员能够视觉比较两个或多个热或者红外图像来确定一段时 间内发生的热特征的变化。两个红外图像的视觉比较有时可能是困难的，因为与作为反射 的可见光的结果的可见光图像相比，大多数红外图像本性上没有那么锐利。例如，就具有许 多电气元件和互连件的工业机器的电气控制板来说，由于不同的颜色和良好限定的形状， 其可见光图像是锐利且清晰的。由于从高温部到相邻部的热传递，红外图像将不会呈现出 那么锐利。另外，在可见光图像中清楚显示的色彩、文字和编号将不会出现在红外图像中。与可视图像相比时，红外图像经常具有较低的分辨率，并且当场景或图像的部分 呈现出较低的红外图像对比度时，其可能特别难以解释和比较。因此，由于较低分辨率下的 对象和特征边界难以辨别，可能难以关联两幅红外图像中的特征和对象。此外，在图像采集 之间，热图像分布可能已经变化，使得呈现在一幅红外图像中的特征在相同场景的第二幅 红外图中不再可见(例如，作为场景背景的相同温度)。因此，尽管可以怀疑温度上的变化， 但是要确定场景内哪些对象或对象的部分呈现该热变化可能是困难的，其部分因为难以辨 别在第一幅图像中哪些对象与第二幅红外图中的对象相对应。为了帮助红外图像视觉比较，一些红外成像相机允许用户使用设置在热成像相机 中的独立的可见光相机采集场景的可见光图像(经常称之为“控制图像”)。这些热成像相 机中的一些允许用户并行察看红外图像与可见光图像。一些热成像相机还提供同时察看互 相交叠并混合在一起的红外图像和可见光图像。例如，Fluke公司(Fluke Corporation)的 FlexCam系列相机并入了称之为IR-Fusion (红外融合)的软件特征，其允许用户将红外和 可见光图像以从100%可见到100%红外的任意比例混合在一起。该特征对每一幅红外图 像给操作者提供有可见光图像参考，从而使得红外图像的视觉比较变得稍微容易。图像处理软件也可以用来比较两个或更多红外图像，并且，在很多情况下，比单纯 的视觉检查能提供两红外图像的多得多的信息和定量比较。例如，图像处理软件可以从同 一场景较早的红外图像减去较后的红外图像以确定是否已发生该场景的热特征变化。更复杂的图像比较能够从未对准或失准的红外图像产生。在某些情况下，固定或 静止的红外成像相机可以用来采集场景的高配准连续热图像。然而，经常许多红外图像是 使用手持热成像相机采集的。因此，在不同时间对同一场景采集的图像可以显示出该相同场景的不同景色。例如，连续红外图像可能具有些微不同的场景透视，可能用不同的缩放因 数进行采集，和/或互相间进行了平移(例如水平地和/或竖直地)。红外图像间的上述这 类失准能够使热图像难以相互比较，视觉地或通过软件比较都是如此，其中，软件比较中计 算出来的比较数据不是很有用。
发明内容
依照本发明的一方面，提出了一种用于比较代表场景的红外(IR)图像数据的方 法。所述方法包括选择场景的第一和第二图像数据集。所述第一图像数据集包括从第一 可见光(VL)观察点采集的第一 VL图像数据和从第一顶观察点采集的第一顶图像数据。 所述第二图像数据集包括从第二 VL观察点采集的第二 VL图像数据和从第二顶观察点采 集的第二顶图像数据。在一些情况下，所述第一 VL观察点与所述第一顶观察点具有第一 已知相关性，和/或所述第二 VL观察点与所述第二顶观察点具有第二已知相关性。所述 方法还包括，将所述第一 VL图像数据与所述第二 VL图像数据进行比较以确定所述第一 VL 观察点和所述第二 VL观察点之间的对准相关性。然后能够使用来自所述VL图像数据的对 准相关性将所述第二顶图像数据与所述第一顶图像数据相关联。在一些情况下，还使用 所述第一和/或第二已知相关性将所述顶图像数据相关联。所述方法还包括将所述第一 IR图像数据的至少一部分与所述第二顶图像数据的相关联部分进行比较以生成顶比较图 像数据。在一些实施例中，将所述第一顶图像数据的所述部分与所述第二顶图像数据的 所述相关联部分进行比较包括从所述第一顶图像数据的所述部分减去所述第二顶图像数 据的所述相关联部分。依照本发明的另一方面，提出了一种具有用于执行前述方法的计算机可执行指令 的计算机可读存储介质。依照本发明的另一方面，提出了一种顶成像相机。除其它元件外，所述顶或热成 像相机包括VL相机模块，具有用于从场景采集VL图像数据的VL传感器JR相机模块，具 有用于从所述场景采集顶图像数据的顶传感器。所述顶相机模块与所述VL相机模块具 有已知空间相关性。所述相机还包括显示器，用于显示所述VL图像数据的至少一部分和/ 或所述顶图像数据的至少一部分。依照优选实施例，所述相机还包括可编程处理器，所述可编程处理器与所述显示 器和所述顶和所述VL相机模块耦接。所述处理器编程有指令，用于(a)选择所述场景的 第一图像数据集，所述第一图像数据集包括由所述VL相机模块从第一 VL观察点采集的第 一 VL图像数据和由所述顶相机模块从第一顶观察点采集的第一顶图像数据，所述第一 VL观察点和所述第一顶观察点通过所述已知空间相关性相关联；(b)选择所述场景的第二 图像数据集，所述第二图像数据集包括由所述VL相机模块从第二 VL观察点采集的第二 VL 图像数据和由所述顶相机模块从所述第二顶观察点采集的第二顶图像数据，所述第二 VL 观察点和所述第二顶观察点通过所述已知空间相关性相关联；以及(c)根据所述第一顶 图像数据和所述第二顶图像数据生成顶比较图像数据，包括(1)将所述第一 VL图像数 据与所述第二 VL图像数据进行比较以确定所述第一 VL观察点和所述第二 VL观察点之间 的对准相关性；( 使用所述已知空间相关性和所述对准相关性将所述第二顶图像数据与 所述第一顶图像数据相关联，以及C3)将所述第一顶图像数据的至少一部分与所述第二IR图像数据的相关联部分进行比较以生成所述顶比较图像数据。依照本发明的另一方面，提出了一种跟踪场景内局部温度变化的方法。所述包括 在第一时刻采集场景的第一 VL图像数据和所述场景的第一顶图像数据。所述第一顶图像 数据指示在所述第一时刻所述场景内的局部温度。所述方法还包括在第二时刻采集所述场 景的第二 VL图像数据和所述场景的第二顶图像数据，其中所述第二顶图像数据指示在所 述第二时刻所述场景内的所述局部温度。确定所述第一 VL图像数据和所述第二 VL图像数 据之间的对准相关性，然后使用所述对准相关性将所述第二顶图像数据与所述第一顶图 像数据相关联。所述方法还能够包括将所述第一顶图像数据的至少一部分与所述第二顶 图像数据的相关联部分进行比较。这可以生成指示在所述第一时刻和所述第二时刻所述场 景内的所述局部温度之间的差的顶比较图像数据。最后，在一些实施例中，可以显示所述 IR比较图像数据的至少一部分。
以下附图是本发明具体实施例的示例，因此不是对本发明范围的限制。附图不是 按比例的(除非如此声明)而是与下文的详细描述中的解释结合使用。以下将结合附图描 述本发明的实施例，其中相同数字代表相同元件。图1是依照本发明的实施例示例比较红外图像数据的方法的流程图；图2A和2B是依照本发明的实施例的红外成像相机的透视图；图3是依照本发明的实施例的红外成像相机的框图；图4A-4B示例依照本发明的实施例的代表场景的第一和第二图像数据集；图4C示例依照本发明的实施例的顶图像数据和VL图像数据之间的已知相关性；图4D-4E示例依照本发明的实施例比较VL图像数据；图4F-4G示例依照本发明的实施例利用对准相关性将第一和第二顶图像数据关 联；图4H示例依照本发明的实施例比较部分顶图像数据以生成顶比较图像数据；图5A示例依照本发明的实施例显示组合有VL图像数据的顶比较图像数据；图5B示例依照本发明的实施例显示组合有VL图像数据的顶比较图像数据。
具体实施例方式下面的详细描述本质上是示例性的，并非意在以任何方式来限制本发明的范围、 适用性或构造。更确切地，下面的描述为实现本发明示例性实施例提供了实用的说明。为 选择的元件提供了结构、材料、尺寸和制造工艺的范例，所有其它元件使用本领域技术人员 已知的技术。本领域技术人员将清楚所提供的许多范例具有可使用的其它合适替代。本发明实施例有益于比较由热成像相机采集的红外(例如，热)图像数据(即，对 应于场景的图像)以例如确定红外图像数据中的温差。例如，一些实施例能够确定一段时 间内场景内发生的温度变化。这种确定可用在在很多情形和应用中。仅仅作为一个范例，本 发明的一些实施例能够实施于预防维修领域中，以确定和定位设备随时间的热特征变化。转向图1，其示出了依照本发明的实施例的一种比较红外图像数据的方法100的 流程图。方法100包括选择第一图像数据集102和选择第二图像数据集104用于比较。例如，该第一图像数据集可包括代表场景的一个或多个图像的图像数据，而该第二图像数据 集可包括代表大致相同场景的一个或多个不同图像的图像数据。在一些实施例中，该第一图像数据集包括场景的第一可见光(VL)图像数据和第 一红外(IR)图像数据。某一情况下，该第一 VL图像数据代表该场景的第一 VL图像，而该 第一顶图像数据代表该相同场景的第一顶图像。可在同一时间(例如，第一时刻)收集 或采集该第一 VL和顶图像数据，使得该图像数据代表大致同时采集的该场景的VL和顶 图像，其中顶图像数据指示在该第一时刻该场景内的局部温度。当然，在一些实施例中，该 第一 VL和该第一顶图像数据不必同时收集。类似地，该第二图像数据集包括代表与该第一 VL和该第一顶图像数据大致相同 的场景的第二 VL图像数据和第二顶图像数据。某一情况下，该第二 VL图像数据代表该场 景的第二 VL图像，而该第二 IR图像数据代表该相同场景的第二顶图像。能够在同一时间 (例如，第二时刻)收集该第二 VL和顶图像数据，使得该图像数据代表大致同时采集的该 场景的VL和顶图像，其中该第二顶图像数据指示在该第二时刻该场景内的局部温度。在 一些实施例中，优选地，在比采集该第一 VI^nm图像数据更早或更晚的时间采集该第二VL 和顶图像数据。如此定时能允许随时间的图像数据比较，这指示在第一和第二时刻该场景 内局部温度之间的差别。在一些实施例中，在该第一和第二图像数据集中的该VL和顶图像数据是从该场 景的一个或多个不同观察点采集的。因此，该图像数据(和对应的图像)可代表大致相同 的场景，而一些图像数据可从稍微不同的透视(例如，该数据是关于该场景的竖直、水平和 /或旋转变换)反映该场景的景物。在一些实施例中，可从与用来采集该第一顶图像数据 的第一顶观察点不同的第一 VL观察点采集该第一 VL图像数据。例如，由于例如用来采集 图像数据的VL和顶相机的空间分离，在该第一 VL和顶观察点之间可能引入视差。类似地，可从与用来采集该第二顶图像数据的第二顶观察点不同的第二 VL观察 点采集该第二 VL图像数据。另外，在一些实施例中，该第一和第二 VL观察点可以彼此不 同，和/或该第一和该第二顶观察点可以彼此不同。正如前面所讨论的，从不同观察点采 集顶图像数据会使得难以精确比较该顶图像数据。例如，如果该第一顶图像数据关于该 第二顶图像数据经过了空间变换，逐个像素地直接比较该顶图像数据实际上比较的是该 场景的不同点从而导致不精确的比较。回到图1，在本发明一些实施例中，比较顶图像数据的方法包括将该第一 VL图像 数据与该第二 VL图像数据进行比较以基于该VL图像数据确定对准相关性106(例如，基于 该第一 VL观察点和第二 VL观察点之间的差异)。例如，一个或多个图像处理算法能用来确 定在该第一和第二 VL图像数据中的场景数据的哪些像素彼此对应。在一些情况下，该对准 相关性可用来说明该第一和第二顶观察点之间的差异，因而允许将该第一顶图像数据和 该第二顶图像数据相关联108，用于更精确的比较。因此，在一些情况下，不必确定该第一和该第二顶图像数据和图像之间的直接对 准关系或空间相关性就能处理该第一和第二顶图像数据(和对应的图像)的失准。有时 会难于直接表征顶图像和图像数据之间的失准，因为，例如，该顶图像数据可能具有有限 的分辨率，热经常会越过视觉边界，和/或该顶图像数据可能具有较低的红外图像对比度。 基于该第一和该第二 VL图像数据的对准相关性将该第一和第二顶图像数据相关联(例如，导致对准或配准的对应顶图像)有利地避免了这些类型的影响的限制。除了该第一和第二 VL观察点之间的对准相关性之外，一些实施例利用附加的数 据相关性来更精确地将该第一顶图像数据与该第二顶图像数据相关联。一些情况下，该 第一 VL观察点通过第一已知相关性关联到该第一顶观察点。例如，该第一 VL和顶图像 数据能够通过双透镜热成像相机来采集，且该第一已知相关性可以是该相机里的VL透镜 和顶透镜的位置之间的视差。在一些实施例中，该第一已知相关性(例如，视差)可能是 固定的。该第二 VL和该第二顶观察点之间的第二已知相关性也可以用来更精确地将该顶 图像数据相关。一些情况下，比较顶图像数据的方法包括使用该第一和第二已知相关性连 同该对准相关性来将该第一和第二顶图像数据相关联。在一些实施例中，该第一 VL和顶 观察点之间的该第一已知相关性与该第二 VL和顶观测点之间的该第二已知相关性相同。 例如，可用同一个热成像相机来采集该第一和第二图像数据集二者。在将该第一和该第二顶图像数据相关联之后，能够将该第一顶图像数据的至少 一部分与该第二顶图像数据的相关联部分进行比较110。因为该顶图像数据被相关联，在 该第一顶图像数据中的特定场景像素能够匹配该第二顶图像数据中的相同场景像素，允 许实际场景数据的逐个像素的比较。该比较能够识别在该第一和第二顶图像数据被采集 的时间之间的一段时间内出现的该场景中的差异。如前所述，识别场景温度变化在广泛多 样的应用中是有益的，包括例如，预防维修领域。在一些实施例中，比较该顶图像数据能够生成指示该第一和第二顶图像数据之 间的差异的顶比较图像数据。例如，该顶比较图像数据可以与该场景内的温差相关联。在 一些场合下，该比较包括从该第一顶图像数据的该至少一部分减去该第二顶图像数据的 相关联部分。这种情况下，该顶比较图像数据包括该第一和第二顶图像数据之间的该差 别。在一些实施例中，该顶比较图像数据能以多种方式显示以允许操作者来观察和 分析该数据。例如，该顶比较图像数据可以与该第一 VL图像数据或者该第二 VL图像数据 之一组合显示以产生VL和顶比较图像。该顶比较图像数据也可以与VL图像数据融合以 生成VL和顶融合比较图像。在优选实施例中，该顶比较图像数据与该第一和该第二顶图像数据之间的温差 相关联。在一些情况下，相关联的温差用于设置顶比较图像数据的阈值。设置阈值使得识 别出该顶比较图像数据中超过预定阈值温差的子集。因此能够筛选该顶比较图像数据来 确保最显著的温差是可识别的。依照本发明一些实施例，该第一和第二图像数据集的该VL和顶图像能够通过任 意已知的红外和可见光成像装置来产生。通常该VL和顶图像数据通过也具有可见光成像 能力的红外成像相机来采集。这样的红外成像相机的一个范例在图2A和2B中用透视图示 出。依照一些实施例的该红外成像相机的框图也在图3中示出。图2A和2B分别是依照本发明某些实施例的红外成像相机200的正面透视图和 背面透视图。该红外相机200包括红外相机模块和可见光相机模块。具体地，该红外相机 200包括相机外壳202、可见光透镜204、红外透镜206、聚焦环208和激光指示器210，以及 将要参照图3来描述的位于该外壳内的各种电子组件。如图2A所示，一些情况下，该VL透 镜204和该顶透镜206可以相互偏置，这样将在由该相机200采集的VL与顶图像数据和图像之间提供已知的、固定的空间相关性。例如，一些情况下，该VL透镜204和该IR透镜 206可以设置成使得该可见和红外光轴尽可能近且大体相互平行。参考图2A，例如，该VL 透镜204和该IR透镜206可以协同定位在该IR光轴的竖直平面内。当然，其它空间布置 也是可能的，例如，协同定位在水平平面内。在一个实施例中，LED手电筒/闪光灯212位于该可见光透镜204的每侧上以帮助 在黑暗环境中提供足够的光。显示器214位于该相机的背部，使得IR图像、VL图像和/或 从该VL和该IR图像数据生成的混合图像可以被观察到。另外，可以显示目标点温度(包 括温度测量斑大小)和距离读数。用户控制器216也位于该相机背部以控制显示模式和激 活或停用该激光指示器。图3是示出根据本发明一个实施例的该红外成像相机200的内部电子组件的框 图。该相机200通常包括可见光相机模块332、红外相机模块334、和从该相机模块接收和 处理图像数据并输出对应的图像数据到显示器338的处理子系统336。该可见光相机模块 332在一些实施例中可以包括CMOS、C⑶或其它类型的可见光相机系统。其还可以包括例 如LED手电筒/闪光灯和/或激光指示器之类的附件。该可见光相机模块332包括采集场 景的VL图像并生成和输出(stream)对应的VL图像数据(例如，RGB，IOHz)到该处理子系 统336的可见光传感器。尽管在一些实施例中VL相机模块可包括视频相机，但这不是必需 的，其输出可只包括静态照片或图像。IR相机模块334通常可包括与采集场景的IR图像、并生成和输出原始(raw) IR图 像数据(例如，30Hz)到处理子系统336的红外传感器连接并控制该红外传感器的模拟引 擎。正如VL相机模块一样，该红外传感器可包括静态图像采集或视频采集。在一个实施例 中，在该子系统336内，该IR图像数据被引导至数字信号处理器(DSP) 340，数字信号处理 器(DSP) 340执行计算以将该原始IR图像数据转换为场景温度，然后转换为例如对应于该 场景温度和所选调色板的RGB颜色。例如，全部并入于此的名称为“Microbolometer Focal Plane Array With Controlled Bias"( “带受控偏压的微辐射热测量计焦平面阵列”)的 美国专利第6，444，983号，就公开了一种这样的红外相机。该DSP 340将所得的组合有颜色数据(例如，RGB形式)的IR图像数据输出到 FPGA 342，在此，其可选地与VL图像数据相组合。在另一实施例中，该DSP 340可将该IR 图像数据直接提供给该FPGA 342而不将其转换为场景温度和/或颜色。该FPGA 342然后 将该IR图像数据和该VL图像数据以期望的程度进行组合并将该组合后的图像数据发送到 显不器338 ο将IR图像数据与VL图像数据相组合能够有利于提供一组允许操作者以多种方式 观察相同场景的图像。例如，一些情况下，提供包括由相机200大致同时采集的一个或多个 IR和VL图像的图像集。在另一个范例中，IR和VL图像可以组合成合成图像以允许操作者 用IR和VL光谱二者同时观察场景。依照某些实施例，该合成图像可以包括“融合的”IR和 VL图像数据，其允许用户将IR和VL图像以从100%可见到100%红外的任意比例混合在一 起。除其它组成元件外，该处理子系统336包括通用微处理器344，其为相机操作者提 供图形用户接口(GUI)。这个GUI接口由菜单、文本和图形显示元件组成，它们被发送到 FPGA 342，在这里它们被缓冲在存储器348中，然后发送到显示器338。微控制器350与包括相机按钮、鼠标、LCD背光的用户接口 346和电源352(例如，智能电池)接口。它读取这 些输入并将这些信息提供给处理器344，在此，它被用来控制该GUI和提供其它系统控制功 能。
FPGA 342以组合有VL图像数据、红外图像数据和/或⑶I数据驱动显示器338 (例 如IXD和/或TV)。该FPGA 342从该VL和IR相机模块请求VL和IR图像数据二者并在一 些实施例中将二者进行alpha混合(alphablend)。它也可以将得到的显示图像与⑶I数 据进行alpha混合来产生发送到显示器338的最终的混合或融合图像。当然，与本发明实 施例关联的显示器338不限于IXD类型显示器。该FPGA 342在DSP 340的控制下工作，而 该DSP 340进一步受处理器344的控制。附加存储器354可编程有指令以控制该DSP 340、 FPGA 342和/或通用处理器344。在一些情况下，该处理子系统336可输出报警信号到报 警模块356以在某些的温度事件已发生时警告相机使用者。在一些实施例中，该处理子系统336可调整相机200自身上的图像的图像处理和 显示。在一些实施例中，该处理系统336可附加或替代地将VL和IR图像数据传输到外部 计算系统，例如用数据传输线、无线协议、存储卡等等耦接到该相机200的个人电脑。该外 部计算系统通常将包括也包含有编程有软件指令的存储器的通用微处理器，用来比较和/ 或将该VL和IR图像数据显示为该个人电脑显示器上的VL和IR图像。转至图4A-4H，示出了多个VL和IR图像视图用来示例根据本发明一些实施例的比 较IR图像数据的范例。图4A示出了代表包含有对象406的场景(非独立指示的)的包括 第一 VL图像数据402和第一 IR图像数据404的第一图像数据集400。应该意识到，尽管为 容易理解本发明一些原理，图4A-4H示例了该场景的各种图像，但这几幅图的讨论是就图 像数据而言的，所述图像数据代表了该场景，且能够用来生成所示出的图像。本发明一些实 施例在不需要显示从该图像数据生成的对应图像的情况下采集、关联、比较一起另外地处 理和使用VL和IR图像数据。例如，在一些实施例中，处理VL和IR图像数据以生成IR比 较图像数据，其然后可能被显示给用户而不单独显示该VL和IR图像数据。但是，在一些实 施例中，也可如期望的显示来自于各种初步和中间的步骤和处理的VL和IR图像数据。图4B示例代表包含有对象406的场景的包括第二 VL图像数据412和第二 IR图 像数据414的第二图像数据集410。从图4A和4B的比较可知，该第一图像数据集400和该 第二图像数据集410代表大致相同的场景，但是是从不同的观察点采集的。因此，虽然对象 406相对该场景保持静止状态，但由于观察点不同，该对象406还是显示在该图像数据里的 不同位置。依照一些实施例，该第一 VL图像数据402是从第一 VL观察点采集的，该第一 IR 图像数据404是从第一 IR观察点采集的，该第二 VL图像数据412是从第二 VL观察点采集 的，且该第二 IR图像数据414是从第二 IR观察点采集的。一些观察点可根据本发明的具 体实施例而相同或不同。转到图4C，在一些实施例中，该第一 VL观察点和该第一 IR观察点由第一已知相关 性420关联。尽管没有示出，在一些情况下，该第二 VL观察点也可以通过第二已知相关性 与该第二 IR观察点关联。回到图4C，一些情况下，该第一已知相关性表示针对该第一 VL和 该第一 IR图像数据402、404之间的视差的校正。例如，当用图2A和2B的相机采集VL和 IR图像数据时，可能导入这样的视差，其中该VL透镜204安装在该IR透镜206上方。因 此，一些场合下该第一已知相关性可以是固定的相关性。然而，本发明不限于使用单个热/可见成像相机来实现，并且该第一已知相关性420在宽广意义上来说仅仅是该第一 VL和IR 观察点之间的已知关系，不管图像数据是由单个相机还是由多个相机在一个或多个时间点 采集。图4D是该第一 VL图像数据402和该第二 VL图像数据412的比较的示意图。根据 本发明一些实施例，能够将该第一 VL图像数据402与该第二 VL图像数据412进行比较以 确定将该第一 VL观察点与该第二 VL观察点相关联的对准相关性430。该对准相关性430 然后可以被用来，例如，对准或配准对应于该第一和第二 VL图像数据402、412的图像。图 4E示例如何能够将在该第一和第二 VL图像数据402、412中的像素相关联，以对准对应的 VL图像。对准相关性430也能够允许相关联的VL图像数据对直接比较而无需生成对应的 图像。
许多不同的图像数据处理算法可以用来比较该第一和第二 VL图像数据，以确定 该对准相关性430。在一些实施例中，基于区域或基于特征的配准方法可以用来关联该图像 数据。例如，在基于特征的配准方法中，可实现Prewitt算子、Sobel算子或者Roberts算子 以在图像数据中检测边缘。优选地，确定对准相关性430的该实现方法可说明该第一和第 二 VL图像数据之间多种形式的失准。例如，在一些实施例中，该对准相关性430能在对应 的场景像素之间提供映射，该映射说明例如该第一和第二 VL观察点之间的水平和/或竖直 平移、旋转、缩放和其它差异。在一些实施例中，从Matlab 编程语言或由Mathworks提供 的图像处理工具箱调用的函数能提供期望的对准相关性430。一旦确定该对准相关性430， 就可以将其存储在存储器中以为后用。应该意识到，本领域技术人员熟悉用于对准或配准 图像数据的许多这样的图像处理方法，本发明不限于任何一种方法。图4F示例依照一些实施例使用对准相关性430将第一 IR图像数据404和第二 IR 图像数据414相关联。图4G示例该场景像素根据该对准相关性430对准的该第一和第二 IR图像数据。因此，不需要确定该第一与第二 IR图像数据和图像之间的直接对准关系或空 间相关性就能解决该第一和第二 IR图像数据(和对应图像)的失准。有时难于直接表征 IR图像和图像数据之间的失准。基于该第一和第二 VL图像数据的对准相关性将该第一和 第二 IR图像数据相关联(例如，导致对准或配准对对应的IR图像)有利地避免了这些类 型影响的限制。转到图4H，其描述了示例IR图像数据对比较的示意性流程图。在一些实施例中， 将该第一 IR图像数据404的至少一部分440与该第二 IR图像数据414的相关联部分444 进行比较442。一些情况下，该第一和第二 IR图像数据的比较的部分440、444可以代表“交 叠”的图像数据的全部部分，交叠也就是在另一 IR图像数据中具有对应的像素，例如如图 4G和4H中所示。然而，在一些情况下，可比较该“交叠”区域的更小子集。取决于期望的输出，该IR图像数据的部分440、444的比较442能够包括各种功 能。在一些实施例中，该比较442包括从第一 IR图像数据的部分440减去第二 IR图像数 据的部分444。在一些实施例中，该比较442包括在该第一和第二部分440、444内比较温度 梯度。一旦比较该IR图像数据的该部分440、444，就能够从该比较生成IR比较图像数据 450。如图4H所示，该IR比较图像数据450是一个相减比较的结果。该IR图像数据的该 部分440、444之间温差的区域452能够被看到，而具有相同温度的该IR图像数据部分的区 域被移除。因此，操作者可以容易地确定一段时间内该场景温度分布的变化。
如果需要，能够以多种方式显示该IR比较图像数据450。例如，转到图5A，在一些 实施例中，该整个IR比较图像数据450可能与该第一 VL图像数据402或者该第二 VL图像 数据412交叠或融合。在一些实施例中，阈值或滤波函数可用来进一步处理该IR比较图像 数据。例如，阈值可施加于该IR比较图像数据，使得呈现比预定温度变化量小的变化的像 素被过滤掉而不显示。这能够使得温度变化最突出的区域突显出来，在预防维修中可使技 术人员更容易去识别和修补问题区域。此外，在一些实施例中，当温度变化超过预定水平时 会发出报警。如图5B所示，设定阈值的数据(这种情况下不同温度的全部区域452)可与 VL图像数据组合显示(例如，通过融合或另外的组合方法)以允许操作者更为容易地识别 问题区域。
这样，已公开了本发明的实施例。虽然参照某些公开的实施例已相当详细地描述 了本发明，然而提供所公开实施例目的在于说明而非限制，本发明其它的实施例也是可能 的。本领域技术人员会理解，可以不脱离本发明的精神和所附权利要求的范围做出各种改 变、调整和修改。
权利要求
1.一种用于比较代表场景的红外(IR)图像数据的方法，包括选择场景的第一图像数据集，所述第一图像数据集包括从第一可见光(VL)观察点采 集的第一 VL图像数据和从第一顶观察点采集的第一 IR图像数据，所述第一 VL观察点与 所述第一顶观察点具有第一已知相关性；选择所述场景的第二图像数据集，所述第二图像数据集包括从第二 VL观察点采集的 第二 VL图像数据和从第二顶观察点采集的第二顶图像数据，所述第二 VL观察点与所述 第二顶观察点具有第二已知相关性；将所述第一 VL图像数据与所述第二 VL图像数据进行比较以确定所述第一 VL观察点 和所述第二 VL观察点之间的对准相关性；使用所述第一已知相关性、所述第二已知相关性和所述对准相关性，将所述第二顶图 像数据与所述第一顶图像数据相关联；以及将所述第一顶图像数据的至少一部分与所述第二顶图像数据的相关联部分进行比较 以生成顶比较图像数据。
2.如权利要求1所述的方法，还包括将所述顶比较图像数据与所述第一VL图像数据 或所述第二 VL图像数据进行融合以产生VL和顶融合比较图像。
3.如权利要求1或2所述的方法，其中将所述第一顶图像数据的所述部分与所述第二 IR图像数据的所述相关联部分进行比较包括从所述第一顶图像数据的所述部分减去所述 第二顶图像数据的所述相关联部分。
4.如权利要求1、2或3所述的方法，还包括将所述顶比较图像数据与温差相关联。
5.如权利要求1-4中任一项所述的方法，还包括对所述顶比较图像数据设定阈值，以 识别所述顶比较图像数据的超过阈值温差的子集。
6.如权利要求1-5中任一项所述的方法，其中所述第一已知相关性与所述第二已知相 关性相同。
7.如权利要求1-6中任一项所述的方法，其中所述第一已知相关性是固定的。
8.一种红外(IR)成像相机，包括可见光(VL)相机模块，具有用于从场景采集VL图像数据的VL传感器；顶相机模块，具有用于从所述场景采集顶图像数据的顶传感器，所述顶相机模块与 所述VL相机模块具有已知空间相关性；显示器，用于显示所述VL图像数据的至少一部分和/或所述顶图像数据的至少一部 分；以及可编程处理器，与所述显示器、所述顶相机模块和所述VL相机模块耦接，所述处理器 编程有指令，用于(a)选择所述场景的第一图像数据集，所述第一图像数据集包括由所述VL相机模块从 第一 VL观察点采集的第一 VL图像数据和由所述顶相机模块从第一顶观察点采集的第一 IR图像数据，所述第一 VL观察点和所述第一顶观察点通过所述已知空间相关性相关联，(b)选择所述场景的第二图像数据集，所述第二图像数据集包括由所述VL相机模块从 第二 VL观察点采集的第二 VL图像数据和由所述顶相机模块从所述第二顶观察点采集的 第二顶图像数据，所述第二 VL观察点和所述第二顶观察点通过所述已知空间相关性相关 联，以及(C)根据所述第一顶图像数据和所述第二顶图像数据生成顶比较图像数据，包括(1)将所述第一VL图像数据与所述第二 VL图像数据进行比较以确定所述第一 VL观察 点和所述第二 VL观察点之间的对准相关性，(2)使用所述已知空间相关性和所述对准相关性将所述第二顶图像数据与所述第一 IR图像数据相关联，以及(3)将所述第一顶图像数据的至少一部分与所述第二顶图像数据的相关联部分进行 比较以生成所述顶比较图像数据。
9.如权利要求8所述的方法，其中将所述第一顶图像数据的所述部分与所述第二顶 图像数据的所述相关联部分进行比较包括从所述第一顶图像数据的所述部分减去所述第 二顶图像数据的所述相关联部分。
10.如权利要求8或9所述的方法，还包括将所述顶比较图像数据与温差相关联。
11.如权利8、9或10所述的方法，还包括对所述顶比较图像数据设定阈值，以识别所 述顶比较图像数据的超过阈值温差的子集。
12.—种跟踪场景内局部温度变化的方法，包括在第一时刻采集场景的第一可见光(VL)图像数据和所述场景的第一红外(IR)图像数 据，所述第一顶图像数据指示在所述第一时刻所述场景内的局部温度；在第二时刻采集所述场景的第二 VL图像数据和所述场景的第二顶图像数据，所述第 二顶图像数据指示在所述第二时刻所述场景内的所述局部温度；确定所述第一 VL图像数据和所述第二 VL图像数据之间的对准相关性；使用所述对准相关性将所述第二顶图像数据与所述第一顶图像数据相关联；将所述第一顶图像数据的至少一部分与所述第二顶图像数据的相关联部分进行比较 以生成指示在所述第一时刻和所述第二时刻所述场景内的所述局部温度之间的差的顶比 较图像数据；以及显示所述顶比较图像数据的至少一部分。
13.如权利要求12所述的方法，其中将所述第一顶图像数据的所述部分与所述第二 IR图像数据的所述相关联部分进行比较包括从所述第一顶图像数据的所述部分减去所述 第二顶图像数据的所述相关联部分。
14.如权利要求12或13所述的方法，还包括对所述顶比较图像数据设定阈值，以识别 所述顶比较图像数据的超过阈值温差的子集。
15.如权利要求14所述的方法，其中显示所述顶比较图像数据的所述至少一部分包括 仅仅显示所述顶比较图像数据的超过所述阈值温差的所述子集。
16.如权利要求12-15中任一项所述的方法，还包括将所述顶比较图像数据与所述第 一 VL图像数据或所述第二 VL图像数据进行融合以产生VL和顶融合比较图像。
全文摘要
提供了用于进行红外线图像数据比较和/或用于生成红外线图像比较数据的方法。在一种方法中，从场景的一个或多个观察点选择包括可见光和红外图像数据的两个图像数据集。能够比较来自于每一个数据集的可见光图像数据以确定所述可见光数据的不同观察点之间的对准相关性。所述对准相关性然后可用来将来自于每一个数据集的红外图像数据相关联。能够比较所述相关联的红外图像数据以生成红外比较图像数据。还提供了能执行如此方法的热成像相机。
文档编号H04N5/33GK102142143SQ20101061089
公开日2011年8月3日 申请日期2010年11月22日 优先权日2009年11月20日
发明者R·施密特 申请人:弗卢克公司