专利名称：用于红外重摄的热成像相机的制作方法
技术领域：
本公开内容涉及热成像相机，以及更具体地，涉及使用在重新拍摄红外图像中的热成像相机。
背景技术：
热成像相机使用在各种情况下。例如，在对热检查设备进行维修检查期间经常会使用热成像相机。示例性设备可以包括旋转机械、配电盘、或成排的断路器以及其它类型的设备。热检查可以检测诸如过热的机械或电气元件的设备热点，从而有助于确保在产生更严重的问题之前及时维修或更换过热设备。根据相机的配置，热成像相机也可对同一对象产生可见光图像。相机例如能够以协同的方式显示红外图像和可见光图像，以帮助操作员解译由热成像相机所产生的热图像。不同于通常在不同对象之间提供良好对比度的可见光图像，通常难以识别和区分热图像中与真实场景相比的不同特征。为此，操作员会依赖可见光图像来帮助解译和聚集热图像。在热成像相机配置成产生热图像和可见光图像两者的应用中，相机可包括独立的两组光学系统:可见光光学系统，其将可见光聚焦在可见光传感器上，以产生可见光图像；以及红外光学系统，其将红外射线聚焦在红外传感器上，以产生红外图像。有时将相同的一个或多个对象或场景的从以前到当前的红外图像进行红外图像的比较是有用的。以该方式，可检测到仅通过观察当前图像会不明显的变化。然而，如果在以前拍摄图像的相机位置和条件与当前拍摄图像的相机位置和条件不同，则在实际未发生任何变化的情况下对象的红外图像会显现出有所变化，或者相比于其真正具有的情况其显现出具有或多或少的变化。因此，为了尽可能精确地进行比较，被比较的图像应该从相同位置并在相同条件下拍摄。然而，找到相机的精确位置并确定所应用的确切的相同条件会是非常困难和费时的。因此，提高为了检测随时间变化的目的而重复红外图像或融合红外和可见光的图像的容易性是有用的
发明内容
本发明的特定实施例包括便携手持式热成像相机，其具有可见光(VL)透镜组件和红外(IR)透镜组件，所述可见光(VL)透镜组件具有用于检测目标场景的VL图像的相关联的VL传感器，所述红外(IR)透镜组件具有用于检测目标场景的热图像的相关联的IR传感器。相机还包括显示器、存储器和处理器。处理器编程有用于在第一位置并在第一时间点与目标场景的第一 IR图像捕获同时地捕获第一 VL图像的指令，以及用于在第二位置且在第二时间点捕获第二 IR图像的指令。该处理器还编程有用于比较第一和第二 VL图像以确定将相机朝向第一位置移动所需的相机移动的指令。所述处理器还编程有用于给用户发出如何使得相机朝向第一位置重新定位的指令，以及用于当相机被大致重新定位在第一位置时捕获第二 IR图像的指令。可在捕获第二 VL图像的同时或在捕获第二 VL图像之后捕获第二 IR图像。本发明的特定实施例还包括重新拍摄场景的红外(IR)图像的方法，该方法包括选择场景的第一可见光(VL)图像,在第一位置在第一时间点由第一热成像相机在捕获场景的第一 IR图像的同时捕获该第一可见光(VL)图像。该方法包括使用第二热成像相机在第二时间点获取场景的实况VL图像，以及还将第一 VL图像与实况VL图像进行比较来确定将第二热成像相机朝向第一位置移动以重摄第一 IR图像所需的相机移动。该方法还包括接收如何使第二热成像相机朝向第一位置重新定位的指令，以及接收当第二热成像相机重新定位到大致第一位置时捕获第二 IR图像的指令。第一热成像相机可以与第二热成像相机是相同相机或不同相机。在附图和以下描述中阐述了一个或多个示例的细节。根据说明书、附图以及权利要求，其它特征、目的和优点将是明显的。
图1是热成像相机示例的正面透视图；图2是图1的热成像相机示例的背面透视图；图3是示出图1和图2的热成像相机的示例性组件的功能性框图；图4是可视图像和红外图像的示例性画中画类型的同时显示的概念性视图；图5是用于定位热成像相机以重新拍摄图像的过程的流程图。
具体实施例方式以下详细描述在本质上是示例性的，而并非旨在以任何方式限制本发明的范围、应用或配置。相反，以下描述为实现本发明的示例提供一些实践上的说明。对所选元件提供构造，材料，尺寸和制造工艺的示例，并且所有其它元件采用对于本发明领域技术人员而言已知的构造，材料，尺寸和制造工艺。本领域技术人员将认识到许多特定示例具有各种合适的替代方案。热成像相机可用于检测在观察下的场景上的热模式。热成像相机可检测由场景发出的红外辐射且将红外辐射转换成表示热模式的红外图像。在一些示例中，热成像相机还可从场景捕获可见光以及将可见光转换成可见光图像。根据热成像相机的配置，相机可包括用于将红外辐射聚焦在红外传感器上的红外光学系统和用于将可见光聚焦在可见光传感器上的可见光光学系统。可同时拍摄场景的可见光图像和红外图像，使得能够更容易地识别红外图像的位置。为了检测红外辐射随着时间的变化，本发明的实施例能够使得用户在相同位置中重新拍摄红外图像或融合红外和可见光图像，来作为较早的红外图像或融合红外和可见光图像。以这种方式，较早的红外图像或融合红外和可见光图像可与当前红外图像或融合红外和可见光图像相比，从而可更容易地识别代表热模式变化的图像红外方面的变化。此外，为了尽可能精确地做出比较，本发明的实施例指导用户将相机移动到与较早图像相同的相机位置。通过分析较早位置处的可见光图像并将其与当前位置处的可见光图像相比，相机可确定当前位置和较早位置之间的差异，并随后可指导用户将相机朝向较早位置重新定位，直到获得满意位置为止。检测红外图像中的变化在特定情况下是特别有用的。例如，当对象通常产生热量时，会难以确定红外图像是否表现出问题。然而，较早图像与较晚图像之间的比较会显示出对象正产生增加的热量，并因此会存在问题。例如，可以从许多不同机器(包括工业窑炉或工业用电炉)的大致相同的有利点定期捕获红外图像。这种窑炉包含耐火材料，且这种电炉包含绝缘材料。通过监控这种设备随时间的温谱图，以及考虑到所测温度的变化率，用户可确定耐火材料或绝缘材料是否或何时劣化，从而确定折射材料或绝缘材料是否或何时需要更换。然而，如果上述比较显示出产生的热量是稳定的，则对象可正常操作。图1和2分别示出可用于各种实施例中的热成像相机10的正面和背面透视图。相机10包括外壳12、红外透镜组件14、可见光透镜组件16、显示器18、激光器19、和触发控制器20。外壳12容纳热成像相机10的各种部件。红外透镜组件14接收来自场景的红外辐射，以及将辐射聚焦在红外传感器上，以产生场景的红外图像。可见光透镜组件16接收来自场景的可见光以及将可见光聚焦在可见光传感器上，以产生同一场景的可见光图像。热成像相机10响应于按压触发控制器20来捕获可见光图像和/或红外图像。此外，热成像相机10控制显示器18以显示由相机产生的实况红外图像和可见光图像，例如，以帮助操作员对场景做出热检查。当相机10被用于从与先前获得的红外图像或融合红外和可见光图像相同的位置来重新拍摄热图像时，显示器18还可以显示出指导用户重新定位相机10的视觉指示。热成像相机10还可包括耦合到红外透镜组件14的聚焦机构，该聚焦机构配置成移动红外透镜组件的至少一个透镜，以调节由热成像相机产生的红外图像的聚焦。在一些实施例中，相机可包括用于将听觉信号通信给用户的扬声器或用于将振动信号产生给用户的振动单元，以给用户发出信号来重新定位热成像相机10。在操作中，热成像相机10通过接收从场景以红外波长光谱发射的能量并处理红外能量以产生热图像，来检测场景中的热模式。热成像相机10还可通过接收可见光波长光谱中的能量并处理可见光能量以产生可见光图像，来产生同一场景的可见光图像。如下面更详细描述的那样，热成像相机10可包括配置成捕获场景的红外图像的红外相机模块和配置成捕获同一场景的可见光图像的可见光相机模块。红外相机模块可接收通过红外透镜组件14投射的红外辐射并由此产生红外图像数据。可见光相机模块可接收通过可见光线透镜组件16投射的光并由此产生可见光数据。在一些示例中，热成像相机10基本同时(例如，在同一时间)收集或捕获红外能量和可见光能量，使得由相机产生的可见光图像和红外图像是在基本同一时间下的同一场景。在这些示例中，由热成像相机10产生的红外图像指示了在特定时间段在场景内的局部温度，而由相机产生的可见光图像是在同一时间段同一场景的指示。在其它示例中，热成像相机可在不同的时间段捕获来自场景的红外能量和可见光能量。由热成像相机10捕获的场景取决于热成像相机10的位置和设置。该位置不仅包括热成像相机10在3维空间内的位置，还包括热成像相机10在3个旋转轴内的旋转，因此总计六个变量确定相机的位置。该相机设置例如包括还会影响图像的缩放、透镜类型或辅助透镜的使用、焦距、焦距比数(F-number)、发射率、反射温度设置、窗口传输设置。当为了确定红外图像随时间存在变化的目的而重新拍摄红外图像时，优选再现上述位置和设置这两者。可见光透镜组件16包括将可见光能量聚焦在可见光传感器上以产生可见光图像的至少一个透镜。可见光透镜组件16定义了通过组件的至少一个透镜的曲率中心的可见光光轴26。可见光能量投射通过透镜的正面且聚焦在透镜的相对侧上。可见光透镜组件16可包括单个透镜或连续布置的多个透镜(例如，两个，三个，或多个透镜)。此外，可见光透镜组件16可具有固定聚焦，或可包括用于改变可见光光学系统的聚焦的聚焦调节机构。在可见光透镜组件16包括聚焦调节机构的示例中，聚焦调节机构可以是手动调节机构或自动调节机构。红外透镜组件14还包括将红外能量聚焦在红外传感器上以产生热图像的至少一个透镜。红外透镜组件14定义了通过组件的至少一个透镜的曲率中心的红外光轴22。在操作中，将红外能量引导通过透镜的正面并聚焦在透镜的相对侧。红外透镜组件14可包括单个透镜或连续布置的多个透镜(例如，两个，三个，或多个透镜)。正如上面简要描述的那样，热成像相机10包括用于调节由相机捕获的红外图像的聚焦的聚焦机构。在图1和图2所示的示例中，热成像相机10包括聚焦环24。可替换地，热成像相机10可包括手动调节聚焦机构之外的或代替该手动调节聚焦机构的自动调节聚焦机构。在这种示例的一个应用中，热成像相机10可使用激光器19以电子测量目标场景中的对象与相机之间的距离。然后，热成像相机10可以控制自动调节聚焦机构，以将红外透镜组件14的至少一个透镜移动到与由热成像相机10确定的到目标的距离数据相对应的聚焦位置。在热成像相机10的操作期间，操作员会希望查看由相机产生的场景的实况热图像和/或同一场景的可见光图像，或已被捕获并存储的新图像。为此，热成像相机10可包括显示器。在图1和图2的示例中，热成像相机10包括显示器18，其位于与红外透镜组件14和可见光透镜组件16相对的外壳12的背面上。显示器18可配置成显示实况或存储的可见光图像、红外图像，和/或同时显示可见光图像和红外图像的融合图像。在不同的示例中，显示器18可远离(例如，分离于)热成像相机10的红外透镜组件14和可见光透镜组件16，或显示器18可相对于红外透镜组件14和/或可见光透镜组件16处于不同的空间布置中。因此，虽然图2中示出显示器18位于红外透镜组件14和可见光透镜组件16的后面，但是对于显示器18而言其它位置也是可行的。热成像相机10可包括用于控制相机操作并调节相机不同设置的各种用户输入介质。示例性的控制功能可包括调节红外和/或可见光光学系统的聚焦、打开/关闭快门、捕获红外和/或可见光图像等。在图1和图2所示的示例中，热成像相机10包括用于捕获红外和可见光图像的可按压触发控制器20，和用于控制相机其它方面操作的按钮28。不同数量或布置的用户输入介质是可行的，并且应当理解本公开内容并不限于这方面。例如，热成像相机10可包括触摸屏显示器18，其通过按压屏幕不同部分来接收用户的输入。图3是示出热成像相机10的示例的组件的功能框图，该热成像相机10包括红外相机模块100、可见光相机模块102、显示器104、处理器106、用户界面108、存储器110、和电源112。处理器通信地耦合到红外相机模块100、可见光相机模块102、显示器104、用户界面108、和存储器110。电源112给热成像相机10的各个部件提供操作功率，并且在一些示例中，电源112可包括可再充电或不可再充电的电池和功率产生电路。红外相机模块100可配置成接收由目标场景发射的红外能量，且将红外能量聚焦在红外传感器上以产生红外能量数据，该红外能量数据例如可以红外图像的形式显示在显示器104上和/或存储在存储器110中。红外相机模块100可包括用于执行归属于本文所述模块的功能的任何合适部件。在图3所示的示例中，红外相机模块100显示为包括红外透镜组件14和红外传感器114。如上相对于图1和图2所述的那样，红外透镜组件14包括获取由目标场景发射的红外能量并将该红外能量聚焦在红外传感器114上的至少一个透镜。红外传感器114通过产生可被转换并显示为显示器104上的红外图像的电信号而响应于所聚焦的红外能量。红外透镜组件14可具有各种不同的配置。在一些示例中，红外透镜组件14限定了特定幅度的焦距比数(其也可称为焦比或F制光圈(F-stop))。可以通过将透镜(例如，红外透镜组件14的最外侧透镜)的聚焦长度除以透镜入口的直径来确定焦距比数，其可指示进入透镜的红外辐射量。通常而言，增加红外透镜组件14的焦距比数可增加景深或在目标场景中处于透镜组件可接受聚焦内的最近与最远对象之间的距离。当采用设定在超焦距位置处的热成像相机10的红外光学系统观察目标场景中的不同对象时，增加的景深可有助于实现可接受的聚焦。然而，如果红外透镜组件14的焦距比数增加太多，空间分辨率(例如，清晰度)可能会降低使得目标场景不在可接受的聚焦中。红外传感器114可包括响应于通过红外透镜组件14接收的红外能量而产生电信号的一个或多个焦平面阵列(FPA)。每个FPA可包括多个红外传感器元件，该多个红外传感器元件例如包括测辐射热仪、光子检测器、或其它合适的红外传感器元件。在操作中，每个传感器元件(每个可被称为传感器像素)可响应于从目标场景接收的吸收红外能量来改变电特性(例如，电压或电阻)。接下来，电特性的改变可提供电信号，该电信号由处理器106接收且处理成显示在显示器104上的红外图像。例如，在红外传感器114包括多个测辐射热仪的示例中，每个测辐射热仪可吸收通过红外透镜组件14聚焦的红外能量，并响应于所吸收的能量而使温度升高。每个测辐射热仪的电阻可随着测辐射热仪的温度变化而发生变化。处理器106可通过将电流(或电压)施加到每个测辐射热仪来测量每个测辐射热仪的电阻变化，并测量在测辐射热仪两端所产生的电压(或电流)。基于这些数据，处理器106可确定由目标场景的不同部分所发射的红外能量的量，并控制显示器104来显示该目标场景的热图像。无关于包括在红外传感器114的FPA中的特定类型的红外传感器元件，FPA阵列可定义任何合适的尺寸和形状。在一些示例中，红外传感器114包括布置在栅格模式中的多个红外传感器元件，诸如布置在垂直列和水平行的传感器元件阵列。在各种示例中，红外传感器114可包括垂直列乘水平行的阵列，例如，16X16、50X50、160X120、120X160或640X480。在其它示例中，红外传感器114可包括较小数量的垂直列和水平行(例如，I X I )，较大数量的垂直列和水平行(例如，1000 X 1000)，或列与行的不同比率。在热成像相机10的操作期间，处理器106可控制红外相机模块100来产生红外图像数据，以创建红外图像。处理器106可通过测量来自包括在红外传感器114的FPA中的每个红外传感器元件的电信号，来产生红外图像数据的“帧”。来自每个红外传感器元件的电信号(例如，电压，电流)的幅度可对应于由每个红外传感器元件接收的红外辐射量，其中接收不同量的红外辐射的传感器元件表现出具有不同幅度的电信号。通过产生红外图像数据的帧，处理器106在给定时间点捕获目标场景的红外图像。处理器106可通过单次测量包括在红外传感器114的FPA中的每个红外传感器元件的电信号，来捕获目标场景的单个红外图像或“快照”。可替换地，处理器106可通过重复测量包括在红外传感器114的FPA中的每个红外传感器元件的电信号，来捕获目标场景的多个红外图像。在处理器106重复地测量包括在红外传感器114的FPA中的每个红外传感器元件的电信号的示例中，处理器106可产生目标场景的动态热图像(例如，视频表示)。例如，处理器106可在足以产生热图像数据的视频表示的速率(例如，30Hz或60Hz )下，来测量包括在FPA中的每个红外传感器兀件的电信号。处理器106可执行在捕获红外图像中的其它操作，诸如顺序致动快门(未图示)以打开和关闭红外透镜组件14的光圈，等。由于红外传感器114的每个传感器元件起到传感器像素的作用，因此处理器106可通过将每个传感器元件的电特性(例如，电阻)中的变化转化成例如可被处理以在显示器104上可视和/或存储在存储器110中的时分多路复用电信号，来产生来自目标场景的红外辐射的两维图像或图片表示。处理器106可执行计算，以将原始红外图像数据转换成场景温度，在一些示例中，其包括对应于场景温度的颜色。处理器106可控制显示器104以显示所捕获目标场景的至少一部分红外图像。在一些示例中，处理器106控制显示器104，使得红外传感器114的每个传感器元件的电响应与显示器104上的单个像素相关联。在其它示例中，处理器106可增加或减小红外图像的分辨率，使得在显示器104上显示与红外传感器114中具有的传感器元件相比更多或更少的像素。处理器106可控制显示器104，以显示整个红外图像(例如，由热成像相机10捕获的目标场景的所有部分)或小于整个红外图像(例如，由热成像相机10捕获的整个目标场景的较小部分)。如在下面更详细描述的那样，处理器106可执行其它图像处理功能。虽然在图3中未示出，热成像相机10可包括各种信号处理或调节电路，以将来自红外传感器114的输出信号转换成显示器104上的热图像。示例性的电路可包括模-数转换器、信号放大器、用于测量在红外传感器114的每个传感器元件两端的偏置电压的偏置发生器，等。无关于特定电路，热成像相机10可配置成操控表示目标场景的数据，以提供可显示、存储、传输或由用户另外使用的输出。热成像相机10包括可见光相机模块102。可见光相机模块102可配置成接收来自目标场景的可见光能量，并将可见光能量聚焦在可见光传感器上以产生可见光能量数据，该可见光能量数据例如能够以可见光图像的形式显示在显示器104上和/或存储在存储器110中。可见光相机模块102可包括用于执行归属于本文所述模块的功能的任何合适部件。在图3所示的示例中，可见光相机模块102显示为包括可见光透镜组件16和可见光传感器116。如以上相对于图1和图2所述的那样，可见光透镜组件16包括获取由目标场景发射的可见光能量并将可见光能量聚焦在可见光传感器116上的至少一个透镜。可见光传感器116通过产生可被转换并显示为显示器104上的可见光图像的电信号而响应于所聚焦的能量。可见光传感器116可包括多个可见光传感器元件，诸如CMOS检测器、CXD检测器、PIN 二极管、雪崩光电二极管，等。可见光传感器元件的数量可与红外光传感器元件的数量相同或不同。在操作中，从目标场景接收的光学能量可以通过可见光透镜组件16且聚焦在可见光传感器116上。当光学能量照射到可见光传感器116的可见光传感器元件上时，光电检测器内的光子可被释放且转换成检测电流。处理器106可处理该检测电流以形成目标场景的可见光图像。在热成像相机10的使用期间，处理器106可控制可见光相机模块102以产生来自所捕获的目标场景的可见光数据，以创建可见光图像。可见光数据可包括指示与所捕获目标场景的不同部分相关联的颜色和/或与所捕获目标场景的不同部分相关联的光幅度的光度数据。处理器106可通过单次测量热成像相机10的每个可见光传感器元件的响应，来产生可见光图像数据的“帧”。通过产生可见光数据的帧，处理器106在给定的时间点捕获目标场景的可见光图像。如以上关于红外相机模块100所述的那样，处理器106还可重复测量热成像相机10的每个可见光传感器元件的响应，以便产生目标场景的动态热图像(例如，视频表示)。由于可见光相机模块102的每个传感器元件起到传感器像素的作用，因此处理器106可通过将每个传感器元件的电响应转化成例如可被处理以在显示器104上可视和/或存储在存储器110中的时分多路复用电信号，来产生来自目标场景的可见光的两维图像或图片表不。处理器106可控制显示器104以显示所捕获目标场景的至少一部分的可见光图像。在一些示例中，处理器106控制显示器104，使得可见光相机模块102的每个传感器元件的电响应与显示器104上的单个像素相关联。在其它示例中，处理器106可增加或减小可见光图像的分辨率，使得在显示器104上显示与可见光相机模块102中存在的传感器元件相比更多或更少的像素。处理器106可控制显示器104显示整个可见光图像(例如，由热成像相机10捕获的目标场景的所有部分)或小于整个可见光图像(例如，由热成像相机10捕获的整个目标场景的较小部分)。如上所述，处理器106可配置成确定热成像相机10与通过由相机产生的可见光图像和/或红外图像捕获的目标场景中的对象之间的距离。处理器106可基于与相机相关联的红外光学系统的聚焦位置来确定上述距离。例如，处理器106可检测与相机的红外光学系统相关联的聚焦机构的位置(例如，物理位置)(例如，与红外光学系统相关联的聚焦位置)，并确定与上述位置相关联的到目标的距离值。然后，处理器106可参考存储在存储器110中的具有与到目标的不同距离值的不同位置相关联的数据，以确定热成像相机10与在目标场景中的对象之间的特定距离。在这些和其它示例中，处理器106可控制显示器104，以同时显示由热成像相机10捕获的可见光图像的至少一部分以及由热成像相机10捕获的红外图像的至少一部分。这种同时显示是有用的，因为操作员会参考在可见光图像中显示的特征来帮助理解在红外图像中同时显示的特征，因为与红外图像相比，操作员会更容易地识别和区分可见光图像中的不同真实世界的特征。在各种示例中，处理器106可控制显示器104，以并排布置、画中画布置(其中一个图像围绕另一个图像)、或可同时显示可见光图像和红外图像的任意其它合适布置来显示可见光图像和红外图像。例如，处理器106可控制显示器104，以融合布置显示可见光图像和红外图像。在融合布置中，可见光图像和红外图像可叠置在彼此的顶部上。操作员可与用户界面108交互来控制显示在显示器104上的一个或两个图像的透明性或不透明性。例如，操作员可与用户界面108交互以在完全透明与完全不透明之间调节红外图像，并且还可在完全透明和完全不透明之间调节可见光图像。融合布置(其可被称为a-混合布置)的这种示例可允许操作员将显示器104调节成显示仅红外图像、仅可见光图像、或在仅红外图像和仅可见光图像的极端情况之间的两个图像的任何重叠组合。描述成热成像相机10内的处理器(包括处理器106)的部件可实施为单独或以任何合适组合方式的一个或多个处理器，诸如一个或多个微处理器、数字信号处理器(DSP)、特定应用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑电路等。通常而言，存储器110存储程序指令和相关的数据，当由处理器106执行时，导致热成像相机10和处理器106执行在本公开内容中归属于它们的功能。存储器110可包括任何固定的或可移动的磁性、光学或电介质，诸如RAM、ROM、CD-ROM、硬或软磁盘、EEPR0M，等。存储器110也可包括可移动存储部，其可用于提供存储更新或增加存储容量。可移动存储器还可允许将图像数据容易地转移到另一个计算设备，或在热成像相机10用于另一个应用中之前被去除。操作员可经由用户界面108与热成像相机10交互，用户界面108可包括按钮、键或用于接收来自用户输入的其它机构。操作员可经由显示器104接收来自热成像相机10的输出。显示器104可配置成以任何可接受的调色板或彩色方案来显示可见光图像和/或红外图像，并且该调色板例如响应于用户控制而会有所变化。在一些示例中，显示器104配置成以单色调色板(诸如灰度级或琥珀色)来显示红外图像。在其它示例中，显示器104配置成以彩色调色板(诸如铁红(ironbow)，蓝红)或其它高对比度的彩色方案来显示红外图像。也可构思灰度级和彩色调色板组合的显示。虽然处理器106可控制显示器104以任意合适的布置来同时显示红外图像的至少一部分和可见光图像的至少一部分，画中画布置可通过以相邻对准的方式来显示同一场景的相应可视图像，来帮助操作员容易聚焦和/或解译热图像。图4是可视图像240和红外图像242的一个示例性画中画类型显示的概念性视图。在图4所示的示例中，可视图像240围绕着红外图像242，然而在其它实施例中，红外图像242可围绕可视图像240，或可视图像240和红外图像242可具有与所示那样不同的相对大小或形状，并且应当理解本公开内容并不限于该方面。在热成像相机10的操作期间，处理器106在与存储在存储器110中的程序信息相关联的指令帮助下来控制红外相机模块100和可见光相机模块102，以产生目标场景的可见光图像和红外图像。处理器106还控制显示器104，以显示由热成像相机10产生的实况且捕获的可见光图像和红外融合图像。存储器110还可存储连同与用于获得图像的相机设置相关的数据一起的红外和可见光图像。
程序信息可进一步控制用于重新拍摄同一位置中的红外图像作为较早红外图像所必需的操作。例如，处理器106可处理所存储的图像，以确定拍摄所存储图像时的热成像相机10的位置。通过分析当前实况图像或一系列实况图像可进一步确定热成像相机10的当前位置，将第一位置与实况图像位置进行比较，且指导用户朝向第一位置重新定位热成像相机10。在一些实施例中，处理器可进一步自动地将相机设定到初始设置和/或指导用户应用初始设置。最后，当处理器106确定热成像照相机10的位置充分靠近第一位置时，其可指导热成像相机10自动拍摄红外和/或可见光图像，或可指导用户拍摄红外和/或可见光图像。在一些实施例中，由处理器106使用的用于稍后在同一位置中重新拍摄红外图像或融合红外和可见光图像的程序信息可包括用于特征提取、特征描述以及相机定位的程序信息。用于特征提取的程序信息在第一可见光图像中找到在其它图像中的同一区域中能够易于区分的点。可使用在本发明实施例中的特征提取程序中的已知算法的示例例如包括CenSurE (中心环绕极值)、FAST、FAST-ER、SIFT (尺度不变特征变换)、SURF (加速强化特征)、MSER (最大稳定极值区域)、代数模型、以及哈里斯角(Harris Corner)检测器。用于特征描述的程序信息获取在特征提取过程中找到的点且针对它们给出可类似于在该相同点的所有图像上的描述。可使用在本发明实施例中的特征描述程序中的已知算法的示例例如包括DAISY、CHoG (压缩的梯度直方图)、3正1\5^ 、1^-5^ 、全球背景下描述符、以及基于FFT/DCT的描述符。相机定位或位姿估计的程序信息使用在多个图像上识别的一组特征，以在与所期望的相机位置的比较中确定当前的相机位置。可使用在本发明实施例中的相机定位或位姿估计的程序中的已知算法的示例包括取景器对准、5点算法、区间分析、平面矫正、SLAM (同时定位与绘图)、以及基本矩阵匹配。在一些实施例中，由处理器106使用的用于重新拍摄红外图像或融合红外和可见光图像的程序信息包括进行场景三维重构的算法。在这种实施例中，用户采用宽基线获取第一场景的两个可见光图像。例如，一个图像接近所期望的视点，而另一个图像可相对于第一图像旋转约20度。然后，程序信息使用这两个图像可以完成三维结构。可使用的计算重摄(rephotography)算法是已知的，并包括Stewerius等的算法，以使用在两个图像与采样回路(诸如RANSAC或类似的那 些)之间的SIFT对应关系来计算相对的位姿。然后，该程序可检测对应关系，该对应关系为在每幅视图中相同的点，可以为用户显示该对应关系来进行确认。然后可由程序信息使用这些对应关系来创建场景的三维重构。然后，可由程序信息使用该三维重构以将当前(或稍后获得的)图像与第一图像进行比较，以确定必需怎样重新定位。图5表示根据本发明一些实施例用于重新拍摄红外图像的方法300的流程图。在步骤310中，在第一位置中在第一时间点拍摄第一红外图像和第一可见光图像。这些第一图像可被存储在热能相机10的存储器110中以由同一热能相机10在稍后的第二时间点进行检索。可替换地，所存储的第一图像可被传送到第二热能相机10以在第二时间点使用。即，第一图像不需要由拍摄第二图像的同一热能相机来拍摄。经由显示屏或其它用户界面指示用户以从不同的有利点捕获第一可见光图像。在步骤320中，热图像相机10从稍微偏移(例如，偏移20度)第一位置的有利点捕获第一可见光图像。通常情况下，第一红外图像和第一可见光图像是由单帧捕获的。在该过程300期间，显示器可显示实况图像。第一位置接近所期望的视点，并作为可见光图像和红外图像两者而捕获。在偏移位置中，捕获至少另一个第一可见光图像。然后在步骤330中，在特定实施例中，采用处理器中的计算重摄算法，以使用至少两个第一可见光图像来创建场景的三维重构。此外，在步骤330中，在特定实施例中，还采用处理器中的计算重摄算法来分析能够与场景其它部分容易区分开的第一可见光图像和提取特征。可在第一时间点或之后的一些时间点执行这些计算机化重摄算法。此外，这些计算机重摄算法可在相机10中由处理器106执行。然而，在特定实施例中，这些计算机重摄算法可由单独的计算机(例如，个人计算机，云计算等)执行。在这样的实施例中，第一可见光图像将被传送到单独的计算机以进行计算机化重摄处理。在步骤340，在第二时间点(在第一时间点之后的某个时间)，在第二位置中捕获第二可见光图像。第二图像可为实况图像的捕获帧或一系列的捕获帧。基于对第一可见光图像和/或第一红外图像的可视分析，可由用户将第二位置选择成第一位置的近似位置。例如，相机显示器可将从所期望视点拍摄的至少第一可见光图像显示给用户，以及基于第一图像与当前实况图像之间的用户视觉近似，相机会经由显示器指令用户尝试并重新拍摄第一图像，当前实况图像会与第一图像同时显示在显示器上(例如，并排，重叠，画中画，混合等)。在特定实施例中，相机也可在捕获第二可见光图像的同时从第二位置捕获第二红外图像。然后，在步骤350中，热成像相机的处理器106使用如本文所述的程序信息(例如，计算机化重摄算法)来处理第一可见光图像和第二可见光图像，以确定第一位置与第二位置之间的位置差异。在步骤360，处理器106确定第一位置和第二位置是否相同，或充分接近。如果上述位置相同或充分相同，则在步骤380在第二位置捕获第二红外图像。如上所述，如果第一和第二位置充分接近，则处理器106会自动捕获第二红外图像，或处理器可以给用户发出信号(例如，经由显示器或其它指示器可视地、听觉地或振动地发出)，以例如通过按压触发器20来手动捕获第二红外图像。可替换地，如果在步骤340中已经捕获第二红外图像(即，同时捕获第二可见光图像)，则该处理器能够指定这样的第二红外图像是第一红外图像的良好重摄。在步骤380或步骤340中无论是否捕获第二 IR图像，在步骤380中都会通知用户(例如，经由显示器或其它指示器可视地、听觉地或振动地发出)该第二 IR图像是第一 IR图像的良好重摄或重摄过程完成。如果在步骤360中，处理器确定第一位置和第二位置并不充分相同，则在步骤370中，处理器将给用户发出信号以将相机朝向第一位置移动，诸如通过将信息发送到显示器18，其指导用户重新定位热成像相机10。然后，该过程重复在步骤340的另一第二位置中的另一第二可见光图像、在步骤350的图像处理，以及在步骤360的比较，直到第一位置和第二位置相同或充分相同。捕获可见光图像，处理图像以及指导用户重新定位的过程能够使用实况图像帧持续进行，使得实时指导用户来重新定位热成像相机，直到热成像相机处于或充分接近第一位置以重新拍摄对象或场景的热图像。使用程序信息可确定相机位置是否充分接近拍摄第一图像的位置。例如，在热成像相机10中可预设从第一位置的特定量的公差变化。此外，在一些实施例中，当在足够接近的位置(在允许公差内)处捕获图像时，程序信息可对所捕获的图像进行转化(回到中心位置)，以更精确地与第一图像对准。这种偏移可自动发生或在用户指导下发生。
通过具有在不同的时间点但是从大致相同的位置拍摄的第一和第二红外图像，可以进行比较以确定红外图像如何变化。以该方式，第一红外图像或融合红外和可见光图像可与第二红外图像或融合红外和可见光图像进行比较，使得可更容易地识别代表热模式变化的图像红外方面的变化。该比较可以并排方式手动地进行。图像也可被叠置以更容易地识别热变化。或者，可应用处理器106或其它非相机软件以执行两个红外图像的热分析以识别热差异。热偏移指示了在其成为更大问题之前可以进行补救的潜在故障。已描述了示例性的热成像相机和相关技术。本公开内容中描述的技术也可以实现或编码在计算机可读介质中，诸如包含指令的非暂时性计算机可读存储介质。例如，当执行指令时，嵌入或编码到计算机可读存储介质中的指令会使得可编程处理器，或其它处理器执行该方法。计算机可读存储介质可包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、光学介质、或其它计算机可读介质。已经描述了各个示例。这些和其它示例均在以下权利要求的范围内。
权利要求
1.一种便携手持式热成像相机，包括: 红外(IR)透镜组件，具有用于检测目标场景的热图像的相关联的IR传感器； 可见光(VL)透镜组件，具有用于检测所述目标场景的VL图像的相关联的VL传感器； 显示器，适于显示所述VL图像的至少一部分或所述IR图像的至少一部分； 存储器，适于存储在第一位置处与所述目标场景的第一 IR图像同时捕获的目标场景的第一 VL图像，所述存储器适于存储第二 IR图像和所述目标场景的第二 VL图像；以及 处理器，编程有用于在所述第一位置处并在第一时间点与所述第一 IR图像的捕获同时地捕获所述第一 VL图像的指令；所述处理器编程有用于在第二位置处并在第二时间点捕获所述第二 VL图像的指令，所述第二时间点在所述第一时间点之后； 所述处理器编程有用于将所述第一 VL图像与所述第二 VL图像进行比较并基于所述比较来确定将所述相机朝向所述第一位置移动所需的相机移动的指令； 所述处理器编程有用于给用户发出如何使所述相机朝向所述第一位置重新定位的指令，所述处理器编程有用于当所述相机被大致重新定位在第一位置时捕获所述第二 IR图像的指令。
2.根据权利要求1所述的相机，其中，当捕获所述第二VL图像时，所述处理器继续给所述用户发出如何使所述相机朝向所述第一位置重新定位的指令，直到所述相机被大致重新定位到所述第一位置。
3.根据权利要求2所述的相机，其中，当所述处理器检测到所述相机大致处于所述第一位置时，所述处理器提供信号给所述用户，以捕获所述对象的所述第二 IR图像。
4.根据权利要求2所述的相机，其中，当软件检测到所述相机大致处于所述第一位置时，所述处理器自动捕获所述对象的所述第二 IR图像。
5.根据权利要求3或4所述的相机，其中，所述处理器在捕获第二VL图像的同时捕获所述第二 IR图像。
6.根据权利要求3至5中任一项所述的相机，其中，所述处理器自动偏移所述对象的所述第二 IR图像以与所述对象的所述第一 IR图像对准。
7.根据权利要求3至6中任一项所述的相机，其中，所述处理器在分析所述相机是否大致重新定位在所述第一位置之前捕获所述第二 IR图像。
8.根据前述权利要求中任一项所述的相机，其中，所述存储器还适于存储拍摄所述第一 IR图像所采用的一组相机设置。
9.根据权利要求8所述的相机，其中，所述处理器适于在捕获所述第二VL图像之前将一个或多个所述相机设置自动应用于所述相机。
10.根据前述权利要求中任一项所述的相机，其中，通过所述显示器上的一个或多个可视指示器，所述处理器给所述用户发出关于如何使所述相机朝向所述第一位置重新定位的可视指令。
11.根据权利要求10所述的相机，其中，所述一个或多个可视指示器包括指示用于使所述相机朝向所述第一位置重新定位的转化方向的符号。
12.根据前述权利要求中任一项所述的相机，其中，所述处理器编程有针对所述第一VL图像和所述第二 VL图像使用计算机化重摄算法以重摄所述第一 IR图像的指令。
13.一种重新拍摄场景的红外(IR)图像的方法，包括:选择所述场景的第一可见光(VL)图像,其中,在第一位置、第一时间点由第一热成像相机在捕获所述场景的第一 IR图像的同时捕获所述第一 VL图像； 在第二时间点使用第二热成像相机获取所述场景的实况VL图像； 将所述第一 VL图像与所述实况VL图像进行比较，并基于所述比较来确定将所述第二热成像相机朝向所述第一位置移动所需的相机移动； 从所述第二热成像相机接收指示如何将所述第二热成像相机朝向所述第一位置重新定位的指令；以及 当所述第二热成像相机重新定位到大致所述第一位置时捕获第二 IR图像； 其中，所述第一热成像相机和所述第二热成像相机可以是相同的相机或不同的相机。
14.根据权利要求13所述的方法，其中，所述实况VL图像是所述场景的实况VL图像的连续流。
15.根据权利要求13或14所述的方法，其中所接收的指令随着所述第二热成像相机被重新定位而连续更新。
16.根据权利要求13至15中任一项所述的方法，还包括从所述第二热成像相机接收用于当所述第二热成像相机位于大致所述第一位置时拍摄捕获所述第二 IR图像的指示。
17.根据权利要求13至16中任一项所述的方法，其中，从所述第二热成像相机接收如何将所述第二热成像相机朝向所述第一位置重新定位的指示包括在所述第二热成像相机的显示器上查看可视指示。
18.根据权利要求13至17中任一项所述的方法，其中，在捕获实况VL图像的同时捕获所述第二 IR图像。
全文摘要
用于重新拍摄红外图像的热成像相机以及使用热成像相机重新拍摄图像的方法，所述方法能够针对与原始热图像同时拍摄的可见光图像采用计算重摄，以有助于将相机引导回到捕获原始热图像的位置。
文档编号H04N5/33GK103179353SQ20121055928
公开日2013年6月26日 申请日期2012年12月20日 优先权日2011年12月20日
发明者J·E·尼利, T·J·麦克玛纳斯, P·A·伯格斯特龙, K·R·约翰逊 申请人:弗卢克公司