向到红外传感器元件904上。然而，图8和9的实例仅仅 是示例性的，其中红外摄像机115和非热摄像机725被实现在形成多光谱摄像机715的共 同封装中。如果需要，监测系统可包括单独的红外摄像机115和非热摄像机725。
[0140]图10、11和12示出了其中本文所述的监测系统提供有热和非热两种成像能力的 示例性实施例。
[0141] 如图10所示，系统100可提供代替红外摄像机115的多光谱摄像机，诸如多光谱 摄像机715。通常，可以与图1的红外摄像机115类似的方式将摄像机715布置、安装以及 耦合到系统100的其他部件。例如，如关于图1的摄像机105所描述，摄像机715可被布置 为从柜中的电器部件获得电力。摄像机715可捕获并提供热图像和非热图像到控制电子器 件150进行处理（例如，组合）。
[0142] 如图11所示，系统400可提供代替图4的摄像机115A-E的多光谱摄像机715A-E。 每个摄像机715可提供一个或多个红外摄像机115和一个或多个非热摄像机725。通常，可 以与图4的红外摄像机115A-E类似的方式将摄像机715A-E布置、安装以及耦合到系统400 的其他部件。摄像机715可捕获并提供热图像和非热图像到控制器422进行处理（例如， 组合）。如关于例如图4、5和6所描述，可通过任何显示系统420显示组合图像，诸如多光 谱图像。在一些实施例中，如关于图6的图像550所描述的，可将多光谱图像拼接在一起以 形成用于显示的复合的多光谱图像。然而，图11的实例仅仅是示例性的，其中所有的红外 摄像机115都被替换为多光谱摄像机715。如果需要，系统400可提供一个或多个多光谱摄 像机715、与多光谱摄像机715分开的一个或多个红外摄像机115,和/或与多光谱摄像机 715分开的一个或多个非热摄像机。
[0143] 在图12的实例中，系统400包括红外摄像机115A、115B、115C和11?和非热摄像 机725A、725B、725C和72?。如图所示，一些红外摄像机115(例如，红外摄像机115A、115C 和115D)可具有相关的非热感摄像机（例如，非热摄像机725A、725C和72?)。此外，400 系统可包括不与任何非热感摄像机725相关的红外摄像机115 (例如，红外摄像机115B)和 /或不与任何红外摄像机相关的非热摄像机725 (例如，非热摄像机725B)。通常，监测系统 可提供监测例如电气设备所需的红外和非热摄像机的任何适当的组合。
[0144] 具有相关的非热摄像机（例如，相关的单独的非热摄像机和/或共同封装中的非 热摄像机）的红外摄像机可与相关的非热摄像机具有部分或完全重叠的视野，以方便组合 捕获的热和非热图像。
[0145] 图13和14是组合红外图像（例如，热图像）和非热图像（例如，可见光图像、近 红外图像、短波红外图像和/或其他非热图像）的过程的示例。
[0146] 如图13所示，热图像1300和非热图像1302可提供给处理器，诸如处理器1304。 在各种实施例中，处理器1304可以是与监测系统相关的处理器，诸如系统100的控制电子 器件150和/或系统400的图像处理器422。
[0147] 处理器1304可用于如本文进一步描述的融合、叠加或以其他方式组合非热图像 1302与热图像1304,以形成处理后的图像，诸如多光谱图像1306。多光谱图像1306可由单 一的热图像1304和单一的非热图像1302形成，或者多光谱图像1306可以是由多光谱图像 形成的复合拼接图像，该多光谱图像由例如视图部分重叠柜中的电气设备的一部分的几个 多光谱摄像机捕获。多光谱图像1306可提供至显示器，存储在存储器中，或发送到外部设 备（作为实例）。
[0148] 图14示出了在监测系统中使用处理器捕获并组合热与非热图像的过程1400的流 程图。
[0149] 在块1402,使用监测系统中的一个或多个红外摄像机捕获热图像。每个热图像都 可在红外摄像机的那些的焦平面阵列（FPA)被捕获，诸如本文所描述。如果需要，热图像可 使用每个都观看被监测的电器设备的一部分的多个摄像机捕获。
[0150] 在块1404,诸如本文所描述，可以使用监测系统中的一个或多个非热摄像机捕获 非热图像。诸如本文所描述，非热摄像机在监测系统中可与红外摄像机分开形成，或可与多 光谱摄像机中的一个或多个红外摄像机形成在共同封装中。捕获非热图像可包括捕获重叠 热图像的至少一部分的非热图像。
[0151] 在块1406,可处理在块1402和1404捕获的热和非热图像。热和非热图像可受到 单独的处理操作和/或用于组合、融合或叠加图像以形成多光谱图像的处理操作。处理热 和非热图像可包括基于用于捕获图像的非热摄像机和红外摄像机之间的距离的视差校正。 处理热和非热图像可包括将一个或多个热图像拼接在一起、将一个或多个非热图像拼接在 一起，和/或将一个或多个多光谱图像拼接在一起。处理热图像可包括图像校正操作，诸如 如本文所述的NUC过程。
[0152] 在块1408,对处理后的图像可采取适当的操作。适当的操作可包括显示处理后的 图像、存储处理后的图像和/或发送处理后的图像（例如，到外部设备）。显示处理后的图 像可包括显示一个或多个热图像和/或如关于图5和6所述的（作为实例）一个或多个拼 接的热图像，显示一个或多个非热图像和/或一个或多个拼接的非热图像，显示一个或多 个热图像和一个或多个多光谱图像，显示一个或多个多光谱图像，或者显示一个或多个拼 接的多光谱图像（作为实例）。
[0153] 在有时本文作为实例讨论的一个适当的实施例中，可处理红外图像，诸如热图像， 并将其与可见光图像（有时本文称为可见光谱图像）组合在一起。在该实施例中，非热摄 像机725可以是配置为捕获可见光图像的可见光摄像机。然而，应该意识到，本文所讨论的 实例仅仅是示例性的，其中将可见光谱图像与红外（例如，热图像）组合在一起，本文所述 的过程和方法可用于将红外（例如，热）图像与任何适当的非热图像（诸如近红外图像、短 波红外图像、EMCXD图像、ICXD图像等）组合在一起。图15、16和17示出了在本实施例中 处理和/或组合热和可见光谱图像可执行的操作。因此，应该意识到，对于可见光谱图像的 本文关于图15、16和17所描述的操作也可应用于不同于可见光谱图像的非热图像。
[0154] 现在转到图15,图15示出根据本公开实施例的处理使用监测系统捕获的热和非 热图像的过程4100的流程图。在一些实施例中，过程4100可被实现为例如图14的过程 1400中块1406的实施例，以产生处理后的图像，诸如来自在过程1400的块1402和1404捕 获的红外（例如，热）和非热图像的多光谱图像。
[0155] 还应该意识到，可以按不同于图15所示的实施例的顺序或布置执行过程4100的 任何步骤、子步骤、子过程或块。在一些实施例中，可以环路的方式实现过程4100的部分， 以便对一连串红外和/或可见光光谱图像（诸如场景4030的视频）进行连续地操作。在 其它实施例中，可以局部反馈回路的方式实现过程4100,该局部反馈回路包括例如向用户 显示中间处理（例如，在接收红外和/或可见光谱图像之后，或者在接收红外和/或可见光 谱图像的同时，执行预处理操作，产生组合图像，执行后处理操作或执行过程4100的其他 处理），和/或包括接收用户输入，诸如指向任何中间处理块的用户输入。
[0156] 在块4120,可对一个或多个捕获的热和非热图像执行预处理操作。
[0157] 预处理操作可包括例如对全部或部分图像（诸如对图像的分量或图像的像素选 择）或者对系列图像的选择执行的各种数值、点和/或组合操作。在一个实施例中，处理操 作可包括校正操作，其对由具有不同FOVs或非共线性光轴的成像模块4002a-b产生的不同 FOVs和/或视差进行校正。这种校正可包括例如图像裁剪、图像变形（例如，映射像素数据 到图像的新位置）、空间滤波以及重采样。在另一个实施例中，可见光谱和/或红外图像的 分辨率可被缩放成接近或匹配对应图像的分辨率（例如，可见光谱到红外、或者红外到可 见光谱）、图像的一部分（例如，画中画（PIP)效果）、显示器4016的分辨率或由用户、监测 系统或特定图像处理块所指定的分辨率。分辨率缩放可包括例如重采样（例如，上采样或 下采样）图像，或者可包括空间滤波和/或裁剪图像。
[0158] 在另一个实施例中，预处理操作可包括时域和/或空间降噪操作，其可对可见光 谱和/或红外图像执行，并且可包括使用例如由红外摄像机和非热摄像机（诸如可见光摄 像机）中一个或两个提供的系列图像。在进一步的实施例中，例如，可通过使用本文公开的 各种NUC技术，对捕获的和存储的图像执行NUC过程以去除其中的噪声。在另一个实施例 中，可对一个或多个图像执行用于红外图像的其他校准过程，诸如分析、瞄准、基线参数构 造，以及其他统计分析。由这种过程产生的校准参数可被应用于图像，以校正、校准或以其 他方式调整红外图像的辐射测定数据，或者校正一个或多个可见光谱图像的颜色或强度数 据。
[0159] 在一个实施例中，图像可被分析以确定图像的一个或多个分量的强度分布。例如， 整体增益和/或偏移可以基于这种分布确定，并且例如用于调整该分布以使得其符合预期 (例如，校正的）或期望的（例如，目标的）的分布。在其他实施例中，可确定整体增益和/ 或偏移，从而使分布的特定间隔利用图像的特定分量或分量的多个动态范围。
[0160] 在一些实施例中，第一图像的动态范围（例如，诸如热图像的红外图像的辐射测 定分量）可被归一化为第二图像的动态范围（例如，可见光谱图像的亮度分量）。在其他实 施例中，可根据例如直方图均衡方法、线性缩放方法或它们两个组合来调整特定图像的动 态范围，以根据特定图像中包含的信息或图像的选择来分配动态范围。
[0161] 在进一步的实施例中，可在保持红外图像的辐射测定分量的校准的同时，执行对 图像的动态范围或其他方面的调整和/或归一化。例如，可以调整红外图像的非辐射测定 分量的动态范围，而不调整红外图像的辐射测定分量的动态范围。在其他实施例中，红外图 像的辐射测定分量可被调整为例如强调特定的热区间，并该调整可与红外图像一起存储， 以便将精确的温度对应（例如，伪彩色和/或强度对应）以及对应于热图像的用户可视图 像和/或包括来自红外图像的红外特征的组合图像一起呈现给用户。
[0162] 在其他实施例中，预处理操作可包括将可见光谱和/或红外图像转换为不同或共 同的颜色空间。在其它实施例中，可将原始的或未经压缩格式的图像转换为共同的RGB或 YCbCr颜色空间。在一些实施例中，伪调色板（诸如用户选择的伪调色板）可被应用为在 块4120执行的预处理操作的一部分。与动态范围调整一样，例如，在保持红外图像的辐射 测定分量的校准或可见光谱图像的颜色空间校准的同时，可执行调色板的应用。
[0163] 在另一个实施例中，预处理操作可包括将图像分解成各种分量。例如，包括原始的 或未压缩的辐射测定分量的颜色空间/格式的红外图像可被转换为YcbCr颜色空间的红外 图像。该原始辐射测定分量可被编码为例如转换的红外图像的亮度（例如，Y)分量，或编 码为转换的红外图像的色度（例如，Cr和/或CB)分量，或编码为转换的红外图像的亮度 和色度分量。在一些实施例中，例如，未使用的分量可被丢弃，或被设置为已知值（例如，黑 色、白色、灰色或特定主色）。例如，还可以以类似的方式将可见光光谱图像转换并分解为组 成分量。例如，分解后的图像可代替原始图像被存储，该分解后的图像可包括指示所有颜色 空间转换和分解的背景数据，以便大概保留原始图像的辐射测定和/或颜色空间校准。
[0164] 更普遍地，例如，预处理后的图像可代替原始图像被存储，该预处理后的图像可包 括指示所有应用的预处理操作的背景数据，以便可能地保留原始图像的辐射测定和/或颜 色空间校准。
[0165] 在块4130,监测系统可产生一个或多个组合图像，诸如来自捕获的预处理后的图 像的多光谱图像。与由单独的可见光谱或红外图像所提供的影像相比，这种组合图像可用 于提供增强的影像。
[0166] 在一个实施例中，系统的处理器可根据真彩色模式产生组合图像。例如，组合图像 可包括根据混合参数与可见光谱图像的对应分量混合在一起的红外图像的辐射测定分量。 在这种实施例中，组合图像的剩余部分可来源于可见光谱和/或红外图像的对应部分。
[0167] 在另一实施例中，处理器可被配置为根据高对比度模式产生组合图像。例如，组合 图像可包括红外图像的辐射测定分量和混合分量，该混合分量包括根据混合参数与来自可 见光谱和/或红外图像的高空间频率含量混合在一起的图像的红外特征。
[0168] 更普遍地，处理器可被配置为产生组合图像，该组合图像增加或改善了由可见光 频谱图像或红外图像本身所表达的信息。例如，为了后续的后处理和/或呈现给监测系统 的用户，可存储组合图像。
[0169] 在块4140,处理器可对组合图像执行各种后处理操作。与关于块4120所述的预处 理操作类似，后处理操作可包括例如对全部或部分图像（诸如对图像的分量或图像的像素 选择）或者对系列图像的选择执行的各种数值、点和/或组合操作。例如，对捕获的图像执 行的关于预处理所述的任何动态范围的调整操作也可对一个或多个组合图像执行。在一个 实施例中，可将特定调色板（诸如，晚间或是日间调色板）或者伪调色板应用于组合图像。 例如，特定颜色调色板可由用户指定，或可通过背景或其他数据、诸如一天中的当前时间、 组合图像的类型或组合图像的动态范围来确定。
[0170] 在其它实施例中，为了减少组合图像中可能存在的污迹或伪象的印记，后处理操 作包括将高分辨率噪声添加到组合图像。在一个实施例中，附加的噪声可包括高分辨率时 域噪声（例如，"白色"信号噪声）。在进一步的实施例中，后处理操作可包括一个或多个降 噪操作，以减少或消除由例如图像处理（诸如混叠、结合、动态范围偏移和相关点噪声的数 值计算）引入组合图像的噪声或其他非物理伪影。
[0171] 在一些实施例中，为了确保在没有广泛颜色数据的区域上强调具有广泛颜色数据 的区域，后处理操作可包括对图像亮度值的颜色加权（例如，色度加权）调整。例如，在块 4130,在红外图像的辐射测定分量被编码成例如组合图像的色度分量的情况下，可以调整 组合图像的亮度分量，以提高具有高水平辐射测定数据的组合图像的区域的亮度。高水平 辐射测定数据可相当于例如高温度或温度梯度，或者具有广泛分布的不同强度红外发射的 图像的区域（例如，与具有窄或单一分布的强度红外发射的区域相反）。其他归一化加权方 案可用于偏移具有显著颜色内容的像素的组合图像的亮度分量。在可替代的实施例中，可 以以类似的方式对图像的色度值进行亮度加权调整。
[0172] 更普遍地，为了提供自动化图像增强，后处理操作可包括使用组合图像的一个或 多个分量来调整组合图像的其他分量。在一些实施例中，后处理操作可包括调整动态范围、 分辨率、颜色空间/格式或组合图像的其他方面，以匹配或接近例如显示器的对应方面或 监测系统或用户选择所期望的对应方面。
[0173] 例如，后处理的组合图像可代替原始组合图像被存储，并可包括指示所有应用的 后处理操作的背景数据，以便可能保留原始组合图像的辐射和/或颜色空间校准。
[0174] 现在转到图16,图16示出了根据本公开实施例的增强场景的红外成像的过程 4200的流程图。在一些实施例中，过程4200可被实现为例如图15的过程4100中的块4130 的实施例，以产生来自图14的过程1400的块1402和1404中接收的捕获的热红外和可见 光谱图像的组合图像。
[0175] 还应该意识到，可以按不同于图16所示的实施例的顺序执行过程4200的任何步 骤、子步骤、子过程或块，而且，可在包括不同于块4130的块的图15的过程4100中的一个 或多个块之前、之后或在块内执行它们。例如，虽然过程4200描述了独特的混合和高对比 度模式，但在其他实施例中，可使用混合和/或高对比度模式处理操作的任何部分、顺序或 组合来组合捕获的图像。
[0176] 在块4230,监测系统的处理器可接收预处理的可见光谱和红外图像（作为实例）。 处理器一旦接收到可将光谱和红外图像，处理器可被配置确定产生组合图像的模式。这种 模式例如可由用户选择，或者可根据背景数据或交替模式来确定，其中操作模式依据选择 的调度或特定监测系统期望在配置个模式之间交替。
[0177] 在图16示出的实施例中，处理器可以确定包括一个或多个块4233和4235的真彩 色模式或包括一个或多个块4232、4234和4236的高对比度模式。在其他实施例中，过程 4200可包括例如包括不同于图16所描绘那些过程的其他可选模式，或可只包括单一模式， 诸如包括一个或多个可调式混合参数的模式。在多个可能模式的实施例中，一旦确定了模 式，过程4200可继续进行选择的模式。
[0178] 在块4233,系统可以对一个或多个可见光谱和红外图像执行各种预组合操作。例 如，如果在块4230确定为真彩色模式，则处理器可被配置为对在块4230接收到一个或多个 可见光谱和红外图像执行预组合操作。在一个实施例中，预组合操作可包括关于图15的块 4120所述的任何预处理操作。例如，接收到的图像的颜色空间可被转换和/或分解为共同 组成分量。
[0179] 在其他实施例中，预组合操作可包括应用高通滤波器，应用低通滤波器、非线性 低通滤波器（例如，中值滤波器），调整动态范围（例如，通过组合直方图均衡化和/或线性 缩放），缩放动态范围（例如，通过应用增益和/或偏移），以及将来源于这些操作的图像数 据添加到彼此以便形成处理后的图像。