例如，预组合操作可包括使用高通空间滤波器从红 外图像的辐射测定分量提取细节和背景部分，对背景部分的动态范围进行直方图均衡化和 缩放，缩放细节部分的动态范围，添加调整的背景和细节部分以形成处理后的红外图像，然 后将处理后的红外图像的动态范围线性映射到显示器的动态范围。在一个实施例中，红外 图像的辐射测定分量可以是红外图像的亮度分量。在其他实施例中，可以对可见光光谱图 像的一个或多个分量执行这种预组合操作。
[0180]与其他图像处理操作一样，可以一种方式应用预组合操作，以保留最初接收到的 图像的辐射和/或颜色空间校准。可以根据块4235存储和/或进一步处理处理后的图像。
[0181] 在块4235,处理器可将一个或多个可见光谱图像（或其他非热图像）与一个或多 个红外图像混合在一起。例如，处理器可被配置为将一个或多个可见光谱图像与一个或多 个红外图像混合在一起，其中一个或多个可见光谱和/或红外图像可以被处理为最初在块 4230接收到的图像的版本（例如，根据块4233)。
[0182] 在一个实施例中，混合可包括根据混合参数将红外图像的辐射测定分量添加到可 见光谱图像的对应分量。例如，红外图像的辐射测定分量可以是红外图像的亮度分量（例 如，Y)。在这种实施例中，混合红外图像与可见光谱图像可包括根据混合参数ζ和下面的 第一混合方程式按比例添加图像的亮度分量：
[0183]YCI=ζ^YVSI+d-ζ)*YIRI
[0184] 其中YCI是组合图像的亮度分量，YVSI是可见光谱图像的亮度，YIRI是红外图像 的亮度分量，以及ζ从〇变化到1。在本实施例中，组合图像的亮度分量是混合图像数据。
[0185] 在其他实施例中，在红外图像的辐射测定分量不是红外图像的亮度分量的情况 下，混合红外图像与可见光谱图像可包括根据第一混合方程式添加图像的色度分量（例 如，通过用图像的对应色度分量更换亮度分量），产生的组合图像的色度分量是混合图像 数据。更普遍地，混合可包括将红外图像的分量（其可以是红外图像的辐射测定分量）添 加到（例如，按比例）可见光谱图像的对应分量。一旦由可见光谱和红外图像的分量得到 混合图像数据，该混合图像数据就可被编码成组合图像的对应分量，如关于块4238的进一 步说明。在一些实施例中，将混合图像数据编码成组合图像的分量可包括例如额外的图像 处理步骤，例如诸如动态范围调整、归一化、增益和偏移操作和颜色空间转换。
[0186] 在将辐射测定数据编码成红外图像的多于一个的颜色空间/格式分量的实施例 中，例如，可以单独添加红外和可见光谱图像的单个颜色空间/格式分量，或者在添加组合 颜色空间/格式分量之前，可算术组合单个颜色空间分量。
[0187] 在进一步的实施例中，可使用不同的算术组合来混合可见光谱和红外图像。例如， 混合红外图像与可见光谱图像可包括根据混合参数ζ和下面的第二混合方程式添加图像 的亮度分量：
[0188] YCI=ζ*YVSI+YIRI
[0189] 其中将YCI、YVSI和YIRI定义为如关于第一混合方程式所述，ζ从0变化到大于 相关图像分量（例如，亮度、色度、辐射测定或其他图像分量）的动态范围的值。与第一个 混合方程式一样，第二混合方程式可用于将红外图像的其他分量与可见谱图像的对应分量 混合在一起。在其它实施例中，为了强调具有高水平辐射测定数据的区域，可以重写第一和 第二混合方程式，以包括例如类似于关于图15的块4140所述的分量加权调整的、混合参数 的每个像素的颜色加权或亮度加权调整。
[0190] 在一些实施例中，不同于红外图像的那些对应辐射测定分量的图像分量可被截 断，或被设置为已知值，或丢弃。在其他实施例中，与混合图像的那些编码不同的组合图像 分量可用可见光谱或红外图像的对应分量编码。例如，在一个实施例中，组合图像可包括编 码成组合图像的色度分量的可见光谱图像的色度分量和编码成组合图像的亮度分量混合 图像数据，其中混合图像数据包括与可见光谱图像的亮度分量混合在一起的红外图像的辐 射测定分量。在可替代的实施例中，组合图像可包括编码成组合图像的色度分量的红外图 像的色度分量。
[0191] 混合参数值可由用户选择，或可根据例如背景或其他数据或根据耦合监测系统所 期望的图像增强水平由处理器确定。在一些实施例中，混合参数可使用例如耦合到处理器 的旋钮、操纵杆或键盘来或改善，同时用显示器显示组合图像。在某些实施例中，由第一和 第二的混合方程式，可以选择混合参数，以使混合图像数据只包括红外特征，或者可替代 地，只包括可见光谱特征。
[0192] 除此上述处理之外或作为替代，根据真彩色模式的处理可包括一个或多个处 理步骤、处理步骤的调整、算法组合，和/或如2009年6月3日提出的美国专利申请 No. 12/477,828的所记载的混合参数的调整，该申请通过引用的方式整体并入本文。例如， 混合参数ζ可适于影响红外图像和可见光谱图像的两种亮度分量的比例。一方面，ζ可用 在0 (零）至1范围中的值归一化，其中1值产生类似于可见光谱图像的混合图像（例如，混 合图像数据和/或组合图像）。另一方面，如果ζ设置为〇,混合图像的亮度可类似于红外 图像的亮度。然而，在后一种情况下，可以保留可见光谱图像的色度（Cb和Cr)。ζ的每个 其他值可适于产生其中亮度部分（Υ)包括可见光和红外图像的信息的混合图像。例如，可 将ζ乘以可见光谱图像的亮度部分（Υ)并加上由l-ζ的值乘以红外图像的亮度部分（Υ) 获得的值。混合亮度部分（Υ)的这种附加值可用于提供混合图像（例如，混合图像数据和 /或组合图像）。
[0193] 在一个实施例中，混合算法可被称为真彩色红外成像。例如，在日间成像中，混合 图像可包括包含亮度元素和色度元素的可见光谱彩色图像，其具有用红外图像的亮度值替 换的亮度值。红外图像的亮度数据的使用会使真实的可见光谱彩色图像的亮度根据物体的 温度来变亮或变暗。因此，混合算法提供了日间的IR成像或可见光图像。
[0194] 在将一个或多个可见光谱图像（或其他非热图像）与一个或多个红外图像（诸如 热图像）混合在一起之后，处理可继续进行到块4238,其中为了形成组合图像可将混合数 据编码成组合图像的分量。
[0195] 在块4232,处理器可从一个或多个可见光谱和红外图像获得高空间频率含量。例 如，如果在块4230确定为高对比度模式，则处理器可被配置为从在块4230接收到可见光谱 和红外图像中的一个或多个获得高空间频率含量。
[0196] 在一个实施例中，可通过对图像执行高通滤波（例如，空间滤波），从图像获得高 空间频率含量，其中高通滤波操作的结果是高空间频率含量。在可替代的实施例中，可通过 对图像执行低通滤波操作，然后从原始图像中减去该结果以得到作为高空间频率含量的剩 余内容，而从图像获得高空间频率含量。在另一个实施例中，可通过例如不同成像从选择的 图像获得高空间频率含量，其中从以某种方式受第一图像扰动的第二图像减去一个图像， 减法的结果是高空间频率含量。例如，摄像机的光学元件可被配置为将振动、聚焦/散焦和 /或运动伪像引入到由红外摄像机和非热摄像机中的一者或两者捕获的一系列图像中。高 空间频率含量可由减去系列中的相邻或半相邻图像来获得。
[0197] 在一些实施例中，高空间频率含量可仅从可见光谱图像或红外图像获得。在其他 实施例中，高空间频率含量可仅从单一的可见光谱或红外图像获得。在进一步的实施例中， 高空间频率含量可来自可见光谱和/或红外图像的一个或多个分量，例如诸如可见光谱图 像的亮度分量，或红外图像的辐射测定分量。产生的高空间频率含量可根据块4234被暂时 存储和/或可被进一步处理。
[0198] 在块4234,处理器可去噪一个或多个红外图像。例如，处理器可被配置为使用各 种图像处理操作去噪、平滑或模糊一个或多个红外图像。在一个实施例中，去除红外图像的 高空间频率噪声使处理后的红外图像能够与根据块4232获得的高空间频率含量组合在一 起，这会显著地减少将双边缘（例如，边缘噪声）引入在组合图像中描绘的物体的风险。
[0199] 在一个实施例中，去除红外图像的噪声可包括对图像执行低通滤波（例如，空间 和/或时域滤波）操作，其中低通滤波操作的结果是去噪的或处理后的红外图像。在进一 步的实施例中，去除一个或多个红外图像的噪声可包括向下采样红外图像，然后将该图像 向上采样回到原始分辨率。
[0200] 在另一个实施例中，处理后的红外图像可通过主动模糊红外图像来获得。例如，红 外摄像机的光学元件可被配置为使由红外成像模块捕获的一个或多个红外图像略微散焦。 产生的有意模糊热图像可被充分去噪或被模糊，以便降低或消除如下进一步描述的将双边 缘引入组合图像的风险。在其它实施例中，模糊或平滑图像处理操作可由处理器对在块 4230接收到红外图像进行，作为一种替代或补充，使用光学元件主动模糊红外图像。产生的 处理后的红外图像可根据块4236被暂时存储和/或进一步处理。
[0201] 在块4236,处理器可将高空间频率含量与一个或多个红外图像混合在一起。例如， 处理器可被配置为将在块4232得到的高空间频率含量与一个或多个红外图像（诸如在块 4234提供的处理后的热图像）混合在一起。
[0202] 在一个实施例中，通过将高空间频率含量叠加到红外图像上，可将高空间频率含 量与红外图像混合在一起，其中高空间频率含量会取代或覆盖对应于存在高空间频率含量 的位置的那部分红外图像。例如，高空间频率含量可包括图像中所描绘的物体边缘，但不可 存在于这种物体的内部。在这种实施例中，混合图像数据可简单地包括高空间频率含量，随 后如块4238所述，可将其编码成组合图像的一个或多个分量。
[0203]例如，红外图像的辐射测定分量可以是红外图像的色度分量，高空间频率含量可 来自可见光谱图像的亮度和/或色度分量。在该实施例中，组合图像可包括编码成组合图 像的色度分量的辐射测定分量（例如，红外图像的色度分量）和直接编码（例如，没有红外 图像贡献的混合图像数据）成组合图像的亮度分量的高空间频率含量。通过这样做，可以 保留红外图像的辐射测定分量的辐射校准。在类似的实施例中，混合图像数据可包括添加 到红外图像的亮度分量的高空间频率含量和编码成结果组合图像的亮度分量的结果混合 数据。
[0204] 在其他实施例中，高空间频率含量可来自一个或一系列可见光谱和/或红外图像 的一个或多个特定分量，且高空间频率含量可被编码成组合图像的对应的一个或多个分 量。例如，高空间频率含量可来自可见光谱图像的亮度分量，且高空间频率含量可被编码成 组合图像的亮度分量，该高空间频率含量在该实施例中为所有亮度图像数据。
[0205] 在另一个实施例中，可使用混合参数和算术方程式，诸如上述的第一和二混合方 程式，将高空间频率含量与红外图像混合在一起。例如，在一个实施例中，高空间频率含量 可来自可见光谱图像的亮度分量。在该实施例中，可根据混合参数和第二次混合方程式，将 高空间频率含量与红外图像的对应亮度分量混合在一起，以产生混合图像数据。例如，混合 图像数据可被编码成组合图像的亮度分量，红外图像的色度分量可被编码成的组合图像 的色度分量。在红外图像的辐射测定分量是其色度分量的实施例中，组合图像可以保留红 外图像的辐射校准。在其他实施例中，可将辐射测定分量的一部分与高空间频率含量混合 在一起，然后编码成组合图像。
[0206] 更普遍地，高空间频率含量可来自可见光谱图像和/或红外图像的一个或多个分 量。在该实施例中，高空间频率含量可与红外图像的一个或多个分量混合在一起以产生混 合图像数据（例如，使用混合参数和混合方程式），结果组合图像可包括编码成组合图像的 对应的一个或多个分量的混合图像数据。在一些实施例中，混合数据的一个或多个分量可 不必对应于组合图像的最终的一个或多个分量（例如，可以执行作为编码过程的一部分的 颜色空间/格式转换）。
[0207] 例如，混合参数值可由用户选择，或者可根据背景或其他数据或根据耦合监测系 统所期望的图像增强水平由处理器自动确定根据。在一些实施例中，例如，混合参数可使用 耦合到处理器的旋钮来调整或改善，同时用显示器显示组合图像。在一些实施例中，可以选 择混合参数，使得混合图像数据仅包括红外特征，或者可替代地，仅包括可见光谱特征。例 如，还可以限定混合参数的范围，以免产生相对于特定颜色空间/格式或动态范围显示器 出界的混合数据。
[0208] 除此之外或作为上述处理的替代，根据高对比度模式的处理可包括一个或多个 处理步骤、处理步骤的调整、算法组合和/或如2009年6月3日提出的美国专利申请 No. 12/477,828所记载的混合参数的调整，该专利申请通过引用的方式整体并入本文。例 如，可以使用下面的方程式来确定组合图像的分量Y、Cr和Cb，其中Y分量来自高通滤波的 可见光谱图像，Cb和Cr分量来自红外图像。
[0209] hp_y_vis=highpass(y_vis)
[0210] (y_ir,cr_ir,cb_ir) =colored(lowpass(ir_signal_linear))
[0211] 在另一个表示法中可以被写成：
[0212] hpyvis=highpass(yvis)
[0213] (yir,crir,cbir) =colored(lowpass(irsignalHnear))
[0214] 在上述方程式中，highpass(y_vis)可以是从高通滤波可见光谱图像的亮度分量 获得的高空间频率含量。colored(lowpass(ir_signal_linear))可以是低通滤波红外图像 之后的红外图像的结果亮度和色度分量。在一些实施例中，红外图像可包括选择为最大亮 度（例如，显示和/或处理步骤）的0.5倍的亮度分量。在相关的实施例中，红外图像的辐 射测定分量可以是红外图像的色度分量。在一些实施例中，使用上面的表示方法，可以省略 红外图像的y_ir分量，组合图像的分量可以是（hp_y_vis，cr_ir，cb_ir)。
[0215] 在另一个实施例中，例如，可以使用下面的方程式来确定组合图像的分量Y、Cr和 Cb，其中Y分量来自高通滤波的可见光谱图像，Cb和Cr分量来自红外图像。
[0216] comb_y=y_ir+alphaXhp_y_vis
[0217] comb_cr =cr_ir
[0218] comb_cb =cb_ir
[0219] 在另一个表示法中可以被写成：
[0220] comby=yir+alpha*hpyvis
[0221] combcr= crir
[0222] combcb= cbir
[0223] alpha的变化因而给用户提供了确定组合图像中需要多大对比度的机会。对于接 近于零的alpha，将显示单独的IR图像，但对于非常高的alpha，在组合图像中可以看到非 常尖锐的轮廓。理论上讲，alpha可以无限大的数，但在实践中为适合当前应用选择alpha的大小可能是必须的。在上述方程式中，alpha可相当于混合参数ζ。
[0224] -旦将高空间频率含量与一个或多个红外图像混合在一起，处理就可继续进行到 块4238,其中为了形成组合图像可将混合数据编码成组合图像的分量。
[0225] 在块4238,处理器可将混合数据编码成组合图像的一个或多个分量。例如，处理器 可被配置为将根据块4235和/或块4236获得或产生的混合数据编码成组合图像，该组合 图像增加、改善或以其他方式提高了由可见光谱图像或红外图像他们本身所表达的信息。
[0226] 在一些实施例中，将混合图像数据编码成组合图像的分量可包括例如额外的图像 处理步骤，例如诸如动态范围调整、归一化、增益和偏移操作、降噪以及颜色空间转换。
[0227] 此外，处理器可被配置为将其他图像数据编码成组合图像。例如，如果混合图像数 据被编码成组合图像的亮度分量，可见光谱图像或红外图像的色度分量可被编码成组合图 像的色度分量。例如，源图像的选择可通过用户输入产生，或可根据背景或其他数据来自动 确定。更普遍地，在一些实施例中，未用混合数据编码的组合图像的分量可用可见光谱图像 或红外图像的对应分量来编码。通过这样做，例如，在结果组合图像中可以保留红外图像的 辐射校准和/或可见光谱图像的颜色空间校准。这种校准的组合图像可用于增强红外成像 应用，特别是在不同时间和/或不同的环境照明水平捕获场景的可见光谱图像和红外图像 分量的情况下。
[0228] 现在转到图17,图17示出了根据本公开实施例的增强场景的红外成像的过程 4300的流程图。
[0229] 还应该意识到，可以按不同于图17所示的实施例的顺序执行过程4300的任何步 骤、子步骤、子过程或块，而且，可在图15的过程4100和/或图16的过程4200中的一个或 多个块之前、之后或与之并行执行它们。
[0230] 在块4310,监测系统的处理器可捕获可见光谱图像（或其它非热图像）和红外图 像（例如，热图像）。在一些实施例中，块4310可对应于图14的过程1400中的一个或多个 块1402和1404。一旦捕获至少一个可见光谱图像和/或红外图像被，过程4300就可继续 到块4320。
[0231] 在块4320,处理器可对一个或多个捕获的图像执行三重融合处理操作以产生组合 图像（例如，在一些实施例中，对这种图像执行至少三个过程）。例如，处理器可被配置为对 在块4310中捕获一个或多个图像执行基于场景的可调NUC处理（例如，块4322)、真彩色处 理（例如，块4324)和高对比度的处理（例如，块4326)，然后产生包括各种处理操作的相