感器101和第二图像传感器102可W是具有不同特性的相机，并且被配置为通过拍摄相 同场景来提供图像信息。第一图像传感器101和第二图像传感器102可均具有平移/倾斜 /变焦（PT幻功能，并且可在平移和倾斜的同时W不同的变焦倍率拍摄相同对象的图像。例 如，第一图像传感器101和第二图像传感器102可被安装在出于进入控制或犯罪预防的目 的而要求安全性的办公室、住宅、医院、银行或公共建筑物的外部或内部的墙上。第一图像 传感器101和第二图像传感器102可根据其安装场所或者目的而具有各种形状，例如，线性 形状或圆顶形状。
[0045] 第一图像传感器101可W是热成像相机。第一图像传感器101可根据对象的溫度 分布来拍摄对象（被摄体）的热图像，并且可输出热图像作为第一图像II。第二图像传感 器102可W是可见光相机。第二图像传感器102可拍摄对象的可见光图像，并且可输出可 见光图像作为第二图像12。
[0046] 控制装置103,即，配准装置，可配准并融合从第一图像传感器101输出的第一图 像Il和从第二图像传感器102输出的第二图像12。术语"配准"表示：匹配两个或更多个 图像的位置信息，W在单个坐标系中布置图像。术语"融合"表示：调整通过配准原始图像 所获得的图像的原始图像的灰度级。现在，将描述使用控制装置103的配准方法。
[0047] 控制装置103将通过配准并融合第一图像Il和第二图像12所获得的图像Imix 提供给显示装置104或客户端。此外，控制装置103可将第一图像II、第二图像12或图像 Imix存储在存储器（例如，内存）中。 W48] 图2是示出根据示例性实施例的控制装置103的配置的框图。
[0049] 参照图2，控制装置103可包括第一变换模型估计器201、第二变换模型估计器203 和配准器205。
[0050] 变换模型H是指示两个图像之间的地理变换关系的矩阵。变换模型H是诸如公式 1的3 X 3的2维畑）单应性矩阵，公式1表示在3维（3D)空间中存在的两个2D图像之间 的变换关系。
Cl)
[0052] 变换模型H的元素 hll至h33包括：指示旋转角度的旋转信息，指示在X轴、y轴 和Z轴上的运动量的平移信息，W及指示在X轴、y轴和Z轴上的缩放程度的缩放信息。
[0053] 第一变换模型估计器201可基于关于从使用第一图像传感器101拍摄的第一图像 Il提取的特征点W及从使用第二图像传感器102拍摄的第二图像12提取的特征点的信息 来估计第一变换模型H1。第一变换模型Hl可W是基于第一图像Il和第二图像12估计的 全局变换模型。第一变换模型Hl可使用位于参考距离处的参考对象被预先估计，或者可从 实时拍摄的每个图像帖被估计或者周期地从实时拍摄的图像帖被估计。
[0054] 第一变换模型估计器201从第一图像Il和第二图像12中的每个检测特征点。第 一变换模型估计器201可使用用于从图像提取特征点的算法从第一图像Il和第二图像12 中的每个提取特征点（诸如，角点、边缘、轮廓或相交线）。例如，可使用尺度不变特征变换 (SIFT)算法、哈里斯（Harris)角点算法或最小核值相似区（SUSAN)算法。本公开的示例性 实施例不受限于特定的特征点提取算法。也就是说，各种特征点提取算法可被用于本公开 的示例性实施例中。 阳化5] 第一变换模型估计器201可选择第一图像Il与第二图像12之间的相应的特征 点。例如，第一变换模型估计器201可将第一图像Il和第二图像12中的一个确定为参考 图像，并且可选择与参考图像的特征点相应的另一图像的特征点。
[0056] 第一变换模型估计器201可基于选择的特征点来估计第一变换模型化。第一变换 模型估计器201可通过与线性代数计算方法（诸如，奇异值分解方法或最小平方误差方法） 结合地使用采样方法（诸如，随机采样一致性（RANSAC)算法）来估计诸如W上说明的公式 1的第一变换模型H1。运里所使用的采样方法或线性代数计算方法不限于特定的一种，并 且在其他示例性实施例中，可使用其他的采样方法或线性代数计算方法来估计第一变换模 型化。
[0057] 第二变换模型估计器203可基于从第一图像Il生成的第一部分图像Ilp提取的 特征点W及从第二图像12生成的第二部分图像I化提取的特征点来估计第二变换模型肥。 第二变换模型肥可W是基于第一部分图像Ilp和第二部分图像I化估计的局部变换模型。 [005引图3是示出第二变换模型估计器203的框图。
[0059] 参照图3,第二变换模型估计器203可包括部分图像生成器213和估计器253。部 分图像生成器213可包括第一部分图像生成器223和第二部分图像生成器233。
[0060] 第一部分图像生成器223可从第一图像Il生成第一部分图像I Ip。
[0061] 第一部分图像生成器223可从第一图像11确定一个或多个对象，并通过分割第一 图像Il来从第一图像Il分离对象。第一部分图像生成器223可使用分割算法从背景（第 一图像II)分离对象。例如，使用第一图像Il的亮度等级的阔值方法、使用对象的轮廓的分 割方法或分水岭算法可被使用。将从第一图像分离的对象可基于各种标准被确定。例如， 第一部分图像生成器223可通过运动检测方法确定在运动的一个或多个对象。
[0062] 第一部分图像生成器223可标记从第一图像Il分离的对象。标记的对象可W是 包括对象并具有预定的宽度和高度的块图像，或者，标记的对象可W是具有与对象的形状 相应的形状的图像。除了对象之外的第一图像Il的其余区域可W是掩模图像。也就是说， 对象的所有标记的图像可W是第一部分图像Ilp。第一部分图像Ilp可包括关于包含对象 的图像的信息W及关于对象的中屯、坐标的信息。第一部分图像Ilp可使用关于对象的中屯、 坐标的信息被访问。
[0063] 可选地，第一部分图像生成器223可基于预定的一个或多个标准在标记的图像中 选择第一部分图像Ilp。例如，如果一些图像具有等于或大于参考溫度的对象溫度，如果一 些图像具有运动量等于或者大于参考运动量的对象，或者如果一些图像具有等于或大于参 考溫度变化量的溫度变化量，则运些图像可被选择作为第一部分图像Ilp。
[0064] 第一部分图像Ilp可包括对象的区域W及在水平方向和垂直方向上根据预定因 素大于对象的周围区域。
[00化]第二部分图像生成器233可基于第一部分图像Ilp从第二图像12生成第二部分 图像I2p。第二部分图像生成器233可将与第一部分图像Ilp相应的第二图像12的区域设 置为第二部分图像I2p，并且可从第二图像12提取设置的第二部分图像I2p。配准器205 可将第一变换模型Hl应用于第一部分图像Ilp W生成第一变换图像Ilpt。第二部分图像 生成器233可从配准器205接收第一变换图像Ilpt。然后，与第一变换图像Ilpt相应的第 二图像12的区域W及在水平方向和垂直方向上根据预定因素大于所述区域的周围区域可 由第二部分图像生成器233选择为第二部分图像I2p。
[0066] 估计器253可通过匹配第一变换图像Ilpt和第二部分图像I2p的特征点来估计 第二变换模型肥。估计器253从第一变换图像Ilpt和第二部分图像I化检测特征点。估 计器253可使用诸如SIFT算法、Harris角点算法或SUSAN算法的算法来提取特征点（诸 如，角点、边缘、轮廓或者相交线）。本公开的示例性实施例不限于特定的特征提取算法。也 就是说，各种特征点提取算法可被用于本公开的示例性实施例中。
[0067] 估计器253可选择第一变换图像Ilpt与第二部分图像I2p之间的相应的特征点。 估计器253可将第一变换图像Ilpt或第二部分图像I2p中的任何一个设置为参考图像，并 且可选择参考图像与另一图像之间的相应的特征点。估计器253可基于选择的相应的特征 点来估计第二变换模型H2。估计器253可通过与线性代数计算方法（诸如，奇异值分解方 法或最小平方误差方法）结合地使用采样方法（诸如，RANSAC算法）来估计诸如W上说明 的公式1的第二变换模型肥。运里所使用的采样方法或线性代数计算方法不限于特定的一 种，并且在其他示例性实施例中，其他的采样方法或线性代数计算方法可被用于估计第二 变换模型肥。 W側图4是示出根据示例性实施例的配准器205的框图。
[0069] 配准器205可使用第一变换模型化和第二变换模型肥来配准第一部分图像Ilp 和第二图像12。参照图4,配准器205可包括第一变换器215和第二变换器235。第一变换 器215可通过使用第一变换模型化从第一部分图像Ilp生成第一变换图像Ilpt。第二变 换器235可通过使用第二变换模型肥从第一变换图像Ilpt生成第二变换图像I Iptt。然 后，配准器205可配准第二变换图像Ilptt和第二图像12。
[0070] 在一个示例性实施例中，可针对图像的每个对象估计第二变换模型肥，并且图像 的对象可被独立地变换，W没有视差（parallax error)地配准对象。
[0071] 图5是示出根据示例性实施例的配准图像的方法的流程图。运里，将不重复和W 上参照图1至图4所给出的描述相同的描述。
[0072] 在操作S301中，控制装置103可基于第一图像Il和第二图像12来估计第一变换 模型Hl。第一变换模型估计器201可基于关于从使用第一图像传感器101拍摄的第一图像 Il和使用第二图像传感器102拍摄的第二图像12提取的特征点的信息来估计第一变换模 型H1。如前面提及的，第一图像Il可