使用热成像分析法的故障安全检测的制作方法

本申请主张于2016年9月29日提交的、题为“fail-safedetectionusingthermalimaginganalytics”的美国临时专利申请no.62/401,702的优先权和权益，其全部内容通过引用结合于此。

本发明总体上涉及热成像，并且更具体地，涉及响应于环境条件的热成像设备的操作。

背景技术：

热相机通常用于帮助监测和检测各种环境中的感兴趣活动。例如，在交通管理的情况下，热相机可以捕获交通路口的热图像。可以对所捕获的热图像执行目标检测处理，以检测例如在交通路口处等待交通信号的车辆的存在。如果通过这种处理检测到了车辆，则控制系统可以操作交通信号以允许车辆前行通过交通路口。

如果所捕获的热图像劣化或不令人满意，则控制系统可能无法以可预测或期望的方式操作。例如，如果热相机布置在外部环境中，则它可能暴露于不断变化和有害的环境条件。这样的条件可以包括例如雨、雪、碎片或阻挡或遮挡热相机视场的其他材料的存在。在另一个示例中，可以移动热相机，使得其视场例如因风、物理冲击、人为操纵或其他因素而改变。

在任何这些情况下，实际存在于感兴趣区域中的目标(例如，在路口处等待的车辆)可以不必通过目标检测处理来识别。就此而言，车辆可能因热相机的视场中的材料而被遮挡，或者车辆甚至可能会因热相机的物理旋转或平移(导致其捕获不同的视场)而不存在于热相机的视场中。结果，车辆可能无法通过目标检测处理来正确识别。因此，控制系统可能无法响应于车辆来操作交通信号，因此车辆可能在交通信号处等待过度或无限期的时间段。

此外，在上述示例中，热相机本身实际上可以正常操作并且可以继续向适当的处理和控制系统提供热图像。然而，所捕获的图像本身仍然无法令人满意。结果，依赖于信号或功率损失的传统相机故障检测系统无法用于解决上述问题。

技术实现要素：

提供了对所捕获的热图像进行处理以确定热图像是否表现出与环境影响和/或安全条件相关联的劣化的各种技术。例如，如果处理确定热图像不能可靠地用于目标检测，则可以将控制系统选择性地切换到在故障安全模式下操作。这些技术可以用于各种不同的应用，包括例如热交通相机的监测。

在一个实施例中，一种方法包括：捕获场景的多个热图像；对热图像进行处理以生成与第一时间段和第二时间段相关联的第一背景图像和第二背景图像，以滤除在相关联时间段内发生的场景中的变化；对第一背景图像和第二背景图像进行边缘滤波以生成第一边缘图像和第二边缘图像；将第一边缘图像和第二边缘图像进行比较以确定与场景相关联的边缘的变化；以及响应于比较而选择性地在故障安全模式下操作设备。

在另一个实施例中，一种系统：包括热相机，其被配置成捕获场景的多个热图像；存储部件，其被配置成存储热图像和多个机器可读指令；和处理器，其被配置成执行机器可读指令以：对热图像进行处理以生成与第一时间段和第二时间段相关联的第一背景图像和第二背景图像，以滤除在相关联时间段内发生的场景中的变化，对第一背景图像和第二背景图像进行边缘滤波以生成第一边缘图像和第二边缘图像，将第一边缘图像和第二边缘图像进行比较以确定与场景相关联的边缘的变化，并响应于比较而选择性地在故障安全模式下操作设备。

本发明的范围由权利要求书来限定，这些权利要求通过引用结合到本部分中。通过考虑一个或多个实施例的以下详细描述，本领域技术人员可以更完整地理解本发明的实施例，以及实现其附加优点。将参考首先被简要描述的后附图页。

附图说明

图1示出了根据本公开的实施例的热成像、处理和控制系统的框图。

图2示出了根据本公开的实施例的对所捕获的热图像执行的以确定是否已经发生故障安全条件的各种分析处理。

图3a-图7b示出了根据本公开的实施例的被处理的以确定是否已经发生故障安全条件的各种热图像。

通过参考下面的详细描述，可以最好地理解本发明的实施例及其优点。应当理解，相同的附图标记用于标识一个或多个附图中所示的相同元件。

具体实施方式

提供了对所捕获的热图像执行分析以确定是否已经发生故障安全条件的技术。在一些实施例中，一个或多个热相机可用于捕获感兴趣场景的热图像。例如，热相机可以被实现为交通相机，其被布置成捕获交通路口的热图像，以便于与路口相关联的交通信号系统(例如，一个或多个交通信号灯)的相应的控制和车辆检测。

以允许以有效且可靠的方式测量场景中的变化的方式对热图像进行处理，以确定是否已经发生故障安全条件。这样的处理可以包括例如对热图像执行多个不同的背景检测处理，以生成与不同时间段相关联的背景图像。例如，可以选择性地对热图像进行加权并且选择性地使其彼此组合，以提供表示对应于长时间段(例如，一个或多个周或月)、中等时间段(例如，一个或多个分钟或小时)、短时间段(例如，一个或多个毫秒或秒)的场景的整体背景的背景图像，如本文所进一步讨论的。

可以对所生成的背景图像进行边缘滤波，以提供在各种背景图像中所描绘的边缘(例如，轮廓)的高对比度。可以进一步对边缘滤波图像进行二次采样，以去除图像中的微小的无关紧要的差异(例如，由于热相机所经历的、导致各种背景图像相对于彼此变得略微未对准的小振动)。可以将与不同时间段相关联的二次采样图像彼此进行比较，以确定二次采样图像所表现出的边缘的变化。

例如，如果热相机最近被阻挡或被遮挡(例如，由于最近几分钟或几小时内发生的环境条件)，则中期二次采样图像(例如，对应于中等时间段)可以表现出比长期二次采样图像(例如，对应于长时间段)更少的边缘。就此而言，最近在热相机被遮挡时所捕获的热图像将改变中期二次采样图像而不改变长期二次采样图像。如果足够数量的边缘已经发生改变，则可以确定热相机已经经历了环境阻挡/遮挡事件并且不再提供场景的可靠图像。结果，诸如交通控制系统的控制系统可以切换(例如，改变)到在故障安全模式下操作一个或多个交通信号，在故障安全模式下，不再依赖热图像来控制交通信号。

作为另一示例，如果热相机最近被篡改(例如，由于最近几毫秒或几秒内发生的人为操纵)，则短期二次采样图像(例如，对应于短时间段)可以表现出比长期二次采样图像更少的边缘(例如，最近在篡改事件期间所捕获的热图像将改变短期二次采样图像而不改变长期二次采样图像)。如果足够数量的边缘已经发生改变，则可以确定热相机已经经历了安全事件(例如，人手短暂地覆盖热相机或热相机被快速旋转或平移以观看不同的场景)。结果，诸如交通控制系统的控制系统可以切换到在故障安全模式下操作一个或多个交通信号，在故障安全模式下，不再依赖热图像来控制交通信号。

现在转向附图，图1示出了根据本公开的实施例的热成像、处理和控制系统100的框图。如所示出的，系统100包括热相机101、处理部件110、存储部件120、显示部件130、控制部件140、机器可读介质150、警报部件160和通信部件170。

系统100可用于捕获和处理场景180(例如，对应于所示实施例中的交通路口)的热图像，并且选择性地控制设备190(例如，对应于所示实施例中的交通信号)。例如，在设备190被实现为交通信号的情况下，这种选择性控制可以根据本文所描述的各种技术引导一个或多个车辆195通过交通路口的移动。

尽管本文将主要讨论系统100作为交通管理情况下的交通控制系统，但是系统100可以用于任何期望的位置。例如，也考虑其他地面位置(例如，火车站站台、地铁站台或停车场)和基于车辆的位置(例如，安装在陆基车辆、船只、飞机、航天器或其他车辆上)。此外，除了交通管理或者不同于交通管理，系统100还可以适当地在用于其他应用的任何期望类型的设备或系统中使用。

尽管本文将主要针对控制单个设备190来讨论系统100，但是这种控制可以适当地提供给多个设备、一个或多个系统和/或其他目标和/或实体。类似地，可以适当地控制其他类型的设备以用于各种期望的应用。

尽管图1以本地化方式一起示出了系统100的各个部分，但是系统100可以例如通过有线、无线、网络和/或其他连接以分布方式来实现。例如，热相机101可以物理地布置在设备190上或附近或任何其他适当位置，以捕获场景180的图像。类似地，处理部件110可以实现为远离热相机101和/或远离场景180，使得本文所讨论的一些或所有处理可以在本地和/或远离热相机101和/或场景180执行。还可以构想，处理部件110可以被分布成多个处理部件110，以在不同的物理位置处执行本文所讨论的各种操作。

热相机101包括光圈102、光学部件103和图像捕获部件105。从场景180接收到的热辐射穿过光圈102和光学部件103(例如，透镜)并被图像捕获部件105(例如，成排的热检测器，例如被配置成捕获热辐射作为热图像的微测热辐射计)接收。图像捕获部件105可以通过适当的读取电路(例如，一个或多个读取集成电路)和转换电路(例如，一个或多个模数电路)来实现，以将所捕获的热图像作为数字数据提供给处理部件110。

在一些实施例中，热相机101可以通过一个或多个附加光学部件和/或图像捕获部件来实现，以捕获对应于其他波长(例如可见光、短波红外线、中波红外线和/或其他)的图像。因此，尽管将主要针对热图像来讨论系统100，但是本文所讨论的各种技术可以用于对应于其他波长(例如可见光、短波红外线、中波红外线和/或其他)的图像。

处理部件110可包括例如微处理器、单核处理器、多核处理器、微控制器、逻辑设备(例如，被配置成执行处理操作的可编程逻辑设备)、数字信号处理(dsp)设备、用于存储可执行指令(例如，软件、固件或其他指令)的一个或多个存储器、和/或实施指令以执行本文所描述的任何各种操作的处理设备和/或存储器的任何其他适当的组合。处理部件110适于与系统100的任何各种部件和/或其他设备对接和通信，以执行本文所讨论的各种操作。在各种实施例中，机器可读和机器可执行指令可以被提供在软件和/或硬件中，作为处理部件110的一部分或者作为可以存储在存储部件120和/或机器可读介质150中以由处理部件110实施的代码(例如，软件或配置数据)。

存储部件120和机器可读介质150可以通过被配置成以易失性和/或非易失性方式适当地存储数据和指令的存储设备或介质(例如，随机存取存储器(ram)、只读存储器(rom)、电可擦除只读存储器(eeprom)、闪存或其他类型的存储器或介质)的任何期望的组合来实现。例如，这样的数据和指令可以被提供在物理介质上和/或通过通信部件170所接收的数据通信来提供。

处理部件110可以从图像捕获部件105接收热图像，执行如本文所讨论的各种图像处理，并且将被捕获和被处理的热图像存储到存储部件120中和从存储部件120检索被捕获和被处理的热图像。处理部件110还可以将被捕获和被处理的热图像提供给显示部件130，例如，以供用户查看。

显示部件130可以包括例如图像显示设备(例如，液晶显示器(lcd))或各种其他类型的、通常已知的视频显示器或监测器。显示部件140可以包括显示电子设备，其可以被处理部件110用来显示图像数据和信息。

控制部件140可以包括例如具有一个或多个用户致动部件的一个或多个用户输入和/或接口设备(例如，一个或多个按钮、滑动条、可旋转旋钮或键盘)，其适于生成一个或多个用户致动的输入控制信号。在一些实施例中，控制部件140可以集成为显示部件130的一部分，以作为用户输入设备和显示设备(例如，适于接收来自触摸显示屏的不同部分的用户输入信号的触摸屏设备)两者来操作。在一些实施例中，处理部件110可以适于感测来自控制部件140的控制输入信号并响应于从其接收的任何感测到的控制输入信号。

控制部件140可以包括例如控制面板单元(例如，有线或无线手持控制单元)，其具有适于与用户对接并接收用户输入控制信号的一个或多个用户激活机构(例如，按钮、旋钮、滑块或其他)。在一些实施例中，这样的控制面板单元可以适于包括一个或多个其他用户激活机构，以提供系统100的各种其他控制操作，例如自动对焦、菜单启用和选择、视场(fov)、亮度、对比度、增益、偏移、空间、时间和/或各种其他特征和/或参数。

在另一个实施例中，控制部件140可以包括图形用户界面(gui)，其可以集成为显示部件130(例如，用户致动触摸屏)的一部分，具有一个或多个用户激活机构(例如，按钮、旋钮、滑块或其他)的一个或多个图像，其适于与用户对接并经由显示部件130接收用户输入控制信号。作为如本文所进一步讨论的一个或多个实施例的示例，显示部件130和控制部件140可以表示平板电脑、膝上型计算机、台式计算机或其他类型的设备的适当部分。

感测部件150可以根据所感测的应用或实施而被实现为例如环境和/或操作传感器，其向处理部件110提供信息(例如，通过从每个感测部件150接收传感器信息)。在各种实施例中，感测部件150可以适于提供与环境条件相关的数据和信息，例如内部和/或外部温度条件、照明条件(例如，白天、夜晚、黄昏和/或黎明)、湿度水平、特定天气条件(例如，太阳、雨和/或雪)、距离(例如，激光测距仪)和/或是否已经进入或离开隧道、室内停车库或某种类型的封闭空间。因此，感测部件150可以包括本领域技术人员已知的一个或多个传统传感器，以监测可能对由图像捕获部件105所提供的数据(例如，对图像外观)产生影响的各种条件(例如，环境条件)。

在一些实施例中，感测部件150可以包括经由无线通信将信息中继到处理部件110的设备。例如，每个感测部件150可以适于通过本地广播(例如，射频)传输、通过移动或蜂窝网络和/或通过基础设施(例如，运输或高速公路信息信标基础设施)中的信息信标或各种其他的有线或无线技术来从卫星接收信息。

警报部件160可以响应于由处理部件110所确定的条件来提供警报或其他类型的通知。例如，在一些实施例中，如果检测到了故障安全条件或安全条件，则处理部件110可以使警报部件160向用户提供适当的通知。这样的通知可以以各种形式来提供，例如，可以提供听觉信号(例如，听觉警报)、视觉信号(例如，闪烁光)和/或电子消息(例如，由移动设备、智能手机、平板电脑、个人数字助理、膝上型计算机、台式计算机或其他类型的设备所接收的电子消息)。

通信部件170可以用于以硬连线和/或网络方式与设备190和/或其他外部设备通信。在基于网络的通信的情况下，通信部件170可以被实现为例如网络接口部件(nic)，其适于与包括网络中的其他设备的网络进行通信。在各种实施例中，通信部件170可以包括一个或多个有线或无线通信部件，例如以太网连接、基于ieee802.11标准的无线局域网(wlan)部件、无线宽带部件、移动蜂窝部件、无线卫星部件或各种其他类型的无线通信部件(包括适于与网络通信的射频(rf)、微波频率(mwf)和/或红外频率(irf)部件)。这样，通信部件170可以包括耦合到其上的天线，以用于无线通信的目的。在其他实施例中，通信部件170可以适于与数字用户线(dsl)调制解调器、公共交换电话网(pstn)调制解调器、以太网设备和/或适于与网络通信的各种其他类型的有线和/或无线网络通信设备对接。

在各种实施例中，网络可以实现为单个网络或多个网络的组合。例如，在各种实施例中，网络可以包括因特网和/或一个或多个内联网、陆线网络、无线网络和/或其他适当类型的通信网络。在另一个示例中，网络可以包括适于与诸如因特网的其他通信网络通信的无线电信网络(例如，蜂窝电话网络)。这样，在各种实施例中，系统100和/或其各个相关联的部件可以与特定网络链路(例如，url(统一资源布置符)、ip(互联网协议)地址和/或移动电话号码)相关联。

图2示出了根据本公开的实施例的、由系统100对所捕获的热图像执行的以确定是否已经发生故障安全条件的各种分析处理。系统100对热图像的使用是特别有利的，因为这些图像对于白天或夜晚通常是不可知的(例如，在白天或夜间时间期间由热相机101所捕获的热图像可以用于构建各种背景图像，如本文所进一步讨论的，而不会引入因阳光、月光或黑暗引起的不希望的变化)。

在框200中，热相机101捕获来自特定场景180的热图像，该特定场景180对应于光圈102所见的视场。例如，如果热相机101指向交通路口场景180，则所捕获的热图像将对应于交通路口。如果热相机101被阻挡或遮挡(例如，由于碎片、人手或光圈102前面的其他材料)，则在框200中所捕获的热图像可能发生劣化，使得车辆195或交通路口的其他部分不再可见。而且，如果热相机101被移动(例如，由于环境因素或人为操纵)，则热图像可能不再对应于交通路口(例如，由于热相机101的平移或旋转，场景180可能对应于不同的位置)。

热相机101可以在图2的整个处理中继续捕获热图像。就此而言，尽管在框200中识别出了热图像捕获，但是这样的操作可以在图2的整个处理中继续，以连续地向各种所示处理提供热图像，其也可以响应于更新的热图像而继续操作，以连续地提供更新的背景图像、边缘图像和二次采样图像，如本文所进一步讨论的。

在框205中，处理部件110接收所捕获的热图像并执行目标检测处理以确定所捕获的热图像中的一个或多个感兴趣目标的存在。例如，在交通管理实施方式的情况下，处理部件110可以适当地检测所捕获的热图像中的车辆(例如，车辆195)、行人或其他感兴趣目标的存在。

在框210中，处理部件110基于检测到的目标来控制设备190的操作。例如，如果框205的处理识别出了车辆存在并且其正在等待前行通过交通路口，则处理部件110可以通过通信部件170将适当的控制信号发送到设备190，以控制设备190的操作并允许车辆195及时地前行通过交通路口。如所讨论的，可以适当地控制其他类型的设备以用于各种期望的应用。

图2的处理还包括三个分析处理，其可以被同时执行以生成各种中期图像(框215至框225)、长期图像(框230至框240)和短期图像(框245至框255)。分析处理可以响应于在框200中所捕获的各种热图像而连续地操作。就此而言，新生成的中期图像、长期图像和短期图像可以在分析处理期间随时间连续地生成。

现在参考中期图像的生成，在框215中，处理器110对在框200中所捕获的多个热图像执行背景滤波处理，以生成中期背景图像。例如，可以选择性地对所捕获的热图像进行加权并且将其彼此组合，以提供表示对应于中间时间段(例如，几分钟或几小时)的场景180的整体背景的背景图像。

就此而言，框215的背景滤波处理可以有效地滤除场景180中发生的、持续少于中等时间段的图像到图像的变化。结果，可以从所得到的中期背景图像中有效地去除诸如车辆、行人、空中碎片和场景180中发生的其他特征的目标。这样，在框215中所生成的中期背景图像可以对应于在中等时间段内保持静态的场景180的特征。

图3a示出了由框215所生成的示例性中期背景图像300。如所示出的，图像300示出了具有可见的各种静态特征(例如保持可见的道路310、路缘320、标志330和灯杆340)的交通路口。其他临时特征(例如经过的车辆和行人)已经被有效地从图像300中滤除。

再次参考图2，在框220中，处理部件110对所生成的中期背景图像进行操作以提供中期边缘图像。就此而言，处理部件110可以对中期背景图像执行边缘滤波操作。这种边缘滤波可以包括例如将索贝尔滤波或其他适当的处理应用于中期背景图像。

所得到的中期边缘图像将包括场景180中的各种静态目标的边缘(例如，轮廓)，并且与场景180的其他部分相比以高对比度示出它们。例如，在一些实施例中，边缘可以使用第一像素值(例如，白色或黑色)来表示，并且其他部分可以使用与第一像素值形成对比的第二像素值(例如，黑色或白色)来表示。

图3b示出了由框220所生成的示例性中期边缘图像350。如所示出的，图像350示出了具有白色边缘线的各种静态特征(包括道路310、路缘320、标志330和灯杆340)的边缘。场景180的其余特征由于边缘滤波处理，已经被有效地平滑并且不再区分。

再次参考图2，在框225中，处理部件110对所生成的中期边缘图像进行操作以提供中期二次采样图像。就此而言，处理部件110可以对中期边缘图像执行二次采样操作。这种二次采样可以包括例如识别中期边缘图像的像素的群组(例如，邻域)，并将单个像素值分配给该群组的所有像素。例如，如果该群组的至少一个像素与边缘相关联(例如，具有白色像素值)，则可以为该群组的所有像素分配相同的边缘像素值。可以适当地使用其他二次采样技术以在所得到的二次采样图像中提供期望水平的粒度(例如，可以使用各种像素群组大小，并且可以使用相关联的像素值的各种加权来确定所得到的像素群组值)。

图3c示出了由框225所生成的示例性中期二次采样图像380。如所示出的，图像380仍示出了具有白色边缘线的各种静态特征(包括道路310、路缘320、标志330和灯杆340)的边缘。然而，借助于二次采样操作，图像380的边缘以较低的分辨率提供。

现在参考长期背景图像的生成，在框230中，处理器110对多个中期背景图像(由框215的连续迭代提供)执行进一步的背景滤波处理，以生成长期背景图像。例如，可以选择性地对中期背景图像进行加权并且将其彼此组合，以提供长期背景图像，该长期背景图像表示对应于长时间段(例如，几周或几个月)的场景180的整体背景。

就此而言，框230的背景滤波处理可以有效地滤除场景180中发生的、持续少于长时间段的图像到图像的变化。例如，长期背景图像可以滤除几乎所有变化，除了那些保持几周或几个月的变化(例如，基本上可以滤除所有移动目标和临时环境变化，而长期季节性变化仍然可以表示在所得的长期背景图像中)。

在框235中，处理部件110对所生成的长期背景图像进行操作，以先前针对框220所讨论的方式提供长期边缘图像。在框240中，处理部件110对所生成的长期边缘图像进行操作，以先前针对框225所讨论的方式提供长期二次采样图像。

在一些实施例中，在框230至框240的处理期间所生成的各种长期背景图像、长期边缘图像和/或长期二次采样图像可以存储在存储部件120的一个或多个非易失性部分和/或机器可读介质150中，以确保这些图像在系统100的任何部分经历电力故障之后仍然保持可用。

现在参考短期背景图像的生成，在框245中，处理器110对在框200中所捕获的多个热图像执行背景滤波处理以生成短期背景图像。例如，可以选择性地对所捕获的热图像进行加权并且将其彼此组合，以提供表示对应于短时间段(例如，几毫秒或几秒)的场景180的整体背景的背景图像。

就此而言，框245的背景滤波处理可以有效地滤除场景180中发生的、持续少于短时间段的图像到图像的变化。例如，短期背景图像可以仅滤除保持几毫秒或几秒的有限变化集(例如，可以滤除大多数雨滴和风碎片)。然而，诸如场景内移动的人或者热相机的快速旋转或平移的变化仍然可以表示在所得到的短期背景图像中。

在框250中，处理部件110对所生成的短期背景图像进行操作，以先前针对框220所讨论的方式提供短期边缘图像。在框255中，处理部件110对所生成的短期边缘图像进行操作，以先前针对框225所讨论的方式提供短期二次采样图像。

鉴于以上讨论，应当理解，在上面所讨论的三个分析处理之后，中期二次采样图像(框225)、长期二次采样图像(框240)和短期二次采样图像(框255)将被提供给处理部件110以便进一步分析。可以在两个不同的处理(对应于框260至框265和框270至框275)中将各种二次采样图像彼此进行比较，以确定热相机101是否正在捕获场景180的可靠热图像(这可以允许有效地执行框205的目标检测处理)，或者确定处理器110是否应该切换到根据故障安全模式操作设备190(框280)。

参考第一比较处理，在框260中，处理器110将在框225中所生成的中期二次采样图像与在框240中所生成的长期二次采样图像进行比较，以确定环境因素是否干扰以阻挡或遮挡由热相机101所捕获的热图像。就此而言，中期二次采样图像将包括对应于与中间时间段(例如，几分钟或几小时)相关联的场景180的整体静态特征的二次采样边缘细节。长期二次采样图像将包括对应于与长时间段(例如，几周或几个月)相关联的场景180的整体静态特征的二次采样边缘细节。

如果长期二次采样图像的边缘细节与中期二次采样图像的边缘细节基本相同，则可以确定热相机101已经在中间时间段内捕获了可靠的热图像(例如，在最近几分钟或几小时内所成像的场景与在最近几周或几个月所内所捕获的先前图像基本匹配)。

然而，如果在框260中所确定的边缘差异超过与环境影响相关联的阈值量，则处理器110可以确定热相机101在中间时间段内没有捕获可靠的热图像(例如，在最近几分钟或几小时内所成像的场景与在最近几周或几个月所内所捕获的先前图像明显不同)。

框260的比较可以以各种方式来执行。例如，在一些实施例中，可以在中期二次采样图像和长期二次采样图像之间进行像素到像素的比较，以确定图像之间不同的像素的总数或百分比。在一些实施例中，仅考虑与边缘相关联的改变(例如，具有边缘像素值的像素)。在一些实施例中，仅考虑中期二次采样图像中缺失的边缘。在一些实施例中，可以执行其他或另外的处理以确定图像之间的边缘差异。

在框260中使用二次采样图像可以有利地降低微小的图像到图像变化可能被无意地误解为劣化图像的可能性。例如，如果热相机101由于例如导致热相机101的安装桅杆或平台弯曲的温度变化、导致热相机101抖动的风抖振或其他环境因素而经历轻微移动，则在框220和框235的边缘图像中所示出的边缘可能看起来相对于彼此平移。例如，最近发生的上述任何移动可能导致中期背景图像相对于长期背景图像平移，并且这种平移在相应的边缘图像中可能是明显的。边缘的这种转换可能导致在框260中执行不正确的比较。

通过在框260中(以及在本文所讨论的框270中)使用中期边缘图像和长期边缘图像的二次采样版本，边缘将以较低的分辨率来表示并且将有效地平滑二次采样像素邻域内的边缘像素的微小平移。结果，可以更可靠地执行边缘比较。在一些实施例中，可以选择性地调节所执行的二次采样的量来适当地调整边缘比较操作，以提供可靠和准确的结果。此外，尽管可以有利地使用二次采样，但是还可以构想，在一些实施例中，可以在框260中对长期边缘图像和中期边缘图像进行比较而不进行二次采样。

图4a-图7b示出了根据本公开的实施例的、进一步识别二次采样图像的比较的各种示例性热图像。

图4a示出了在框230中所生成的长期背景图像400。图4b示出了在框240中所生成的长期二次采样图像410。图5a、图6a和图7a示出了在框215中所生成的中期背景图像500、600和700。图5b、图6b和图7b示出了在框225中所生成的中期二次采样图像510、610和710。如所示出的，与长期二次采样图像410相比，二次采样图像510、610和710中的每一个包括不同的边缘的表示。

例如，与长期二次采样图像410相比，中期二次采样图像510表现出63％的边缘损失。这种大的变化表明，热相机101的视场的大部分最近被遮挡，并且故障安全操作模式可能是适当的。

与长期二次采样图像410相比，中期二次采样图像610表现出19％的边缘损失。这种大的变化表明，热相机101的视场的某些部分最近被遮挡，并且故障安全模式操作可能是适当的。

与长期二次采样图像410相比，中期二次采样图像710表现出100％的边缘损失。该整个变化表明，热相机101的整个视场最近被遮挡，并且故障安全操作模式是适当的。

鉴于图4a至图7b所示的示例，应当理解，为了确定故障安全操作模式，使用二次采样图像来执行边缘比较可以提供图像质量的有用的总体测量。

再次参考图2，在框265中，如果中期二次采样图像和长期二次采样图像之间的边缘变化不超过与环境影响相关联的阈值量(例如，由环境因素引起的、通常与阻挡相关联的最小边缘损失量)，则处理返回到框200，并且处理部件110根据对所捕获的热图像执行的目标检测处理继续操作设备190。

然而，如果中期二次采样图像和长期二次采样图像之间的边缘变化超过与环境影响相关联的阈值量(框265)，则处理部件110切换到根据故障安全模式操作设备190(框280)。在该故障安全模式期间，处理部件110可以根据预定的定时序列和/或响应于各种其他感测部件150来操作设备190，而不依赖于由热相机101所提供的热图像。在这种情况下，处理部件110还可以操作警报部件160(框285)以通知用户存在故障安全条件。

现在参考第二比较处理，在框270中，处理器110将在框255中所生成的短期二次采样图像与在框240中所生成的长期二次采样图像进行比较，以确定安全条件(例如，人为篡改)是否可能导致由热相机101所捕获的热图像的变化。就此而言，短期二次采样图像将包括对应于与短时间段(例如，几毫秒或几秒)相关联的场景180的整体静态特征的二次采样边缘细节。长期二次采样图像将包括对应于与长时间段(例如，几周或几个月)相关联的场景180的整体静态特征的二次采样边缘细节。

如果长期二次采样图像的边缘细节与短期二次采样图像的边缘细节基本相同，则可以确定热相机101已经在短时间段内捕获了可靠的热图像(例如，在最近几毫秒或几秒内所成像的场景与在最近几周或几个月所内所捕获的先前图像基本匹配)。

然而，如果在框270中所确定的边缘差异超过阈值安全量，则处理器110可以确定热相机101在短时间段内没有捕获可靠的热图像(例如，在最近几毫秒或几秒内所成像的场景与在最近几周或几个月所内所捕获的先前图像明显不同)。

在一些实施例中，框270的比较可以以针对框260所讨论的各种方式中的任何一种来执行。在一些实施例中，框270的比较可以考虑边缘的增益和损失(例如，人手的存在覆盖光圈102或者热相机101的重新布置以观察不同的场景可能导致短期二次采样图像中存在更多或更少的边缘)。

在框275中，如果短期二次采样图像和长期二次采样图像之间的边缘变化不超过与安全条件相关联的阈值量(例如，通常与人类篡改相关联的最小边缘损失或增益量)，则处理返回到框200，并且处理部件110根据对所捕获的热图像执行的目标检测处理继续操作设备190。否则，处理继续到所讨论的框280和285以在故障安全模式下操作并生成警报。

鉴于本公开，应当理解，通过分析和比较与不同时间段相关联的热图像，控制系统(例如，交通控制系统或其他类型的系统)可以有效地确定热成像相机是否正在捕获可靠的或不可靠的热图像。结果，可以触发适当的故障安全操作和/或警报以确保这种控制系统的可靠操作。

还构想了其他实施例。例如，虽然识别出与中期热图像、长期热图像和短期热图像相关联的三个分析处理，但是可以使用更多或更少数量的这种处理。例如，在一些实施例中，可能仅对环境影响感兴趣，或者仅对安全条件感兴趣。在其他实施例中，可能对附加条件感兴趣。而且，尽管已经针对二次采样图像讨论了框260和框270的比较，但是在一些实施例中，非二次采样边缘图像可以在适当的地方用于这种比较。

在适用的情况下，可以使用硬件、软件或硬件和软件的组合来实现本公开所提供的各种实施例。同样地，在适用的情况下，在不脱离本公开的精神的情况下，本文所阐述的各种硬件部件和/或软件部件可以组合成包括软件、硬件和/或两者的复合部件。在适用的情况下，在不脱离本公开的精神的情况下，本文所阐述的各种硬件部件和/或软件部件可以分成包括软件、硬件或两者的子部件。另外，在适用的情况下，构想软件部件可以实现为硬件部件，反之亦然。

根据本公开的软件，例如程序代码和/或数据可以存储在一个或多个计算机可读介质上。还构想本文所识别的软件可以使用一个或多个通用或专用计算机和/或计算机系统、网络和/或以其他方式来实现。在适用的情况下，本文所描述的各种步骤的顺序可以改变、组合成复合步骤和/或分成子步骤，以提供本文所描述的特征。

上述实施例说明但不限制本发明。还应该理解，根据本发明的原理可以进行许多修改和变化。因此，本发明的范围仅由权利要求书来限定。