用于配准图像的设备和方法
【专利说明】
[0001] 本申请要求于2014年10月23提交到韩国知识产权局的第10-2014-0144291号 韩国专利申请的优先权，该申请的公开通过引用全部合并于此。
技术领域
[0002] 与示例性实施例一致的方法和设备设及一种用于配准（registering)图像的设 备和方法。
【背景技术】
[0003] 在图像处理的技术应用（诸如，监控系统和医学摄影）中，已经对使用两个或多个 传感器的互补信息融合技术进行了大量的研究W提高变化检测、运动检测、高分辨率图像 恢复、目标识别和跟踪等算法的准确性和可靠性。
【发明内容】
[0004] 一个或多个示例性实施例设及一种用于在没有位于不同距离处的对象之间的视 差（parallax errors)的情况下配准图像的设备和方法。 阳0化]本发明构思的各个方面将在下面的描述中部分阐述，部分从该描述将是清楚的， 或者可W通过呈现的实施例的实践而获知。
[0006] 根据示例性实施例的一个方面，提供一种用于配准图像的设备，所述设备包括：第 一变换模型估计器，被配置为基于第一图像与第二图像之间的相应的特征点来生成第一变 换模型；第二变换模型估计器，被配置为基于第一图像的第一部分图像与第二图像的第二 部分图像之间的相应的特征点来生成第二变换模型，第二部分图像基于第一部分图像被生 成；W及配准器，被配置为通过使用第一变换模型和第二变换模型变换第一部分图像来配 准第一图像和第二图像。
[0007] 第二变换模型估计器可包括：第一部分图像生成器，被配置为生成第一部分图像， 第一部分图像是包括从第一图像检测到的对象的第一图像的分割；第二部分图像生成器， 被配置为从第二图像生成第二部分图像，第二部分图像是与通过使用第一变换模型变换第 一部分图像所获得的第一变换图像相应的第二图像的分割；W及估计器，被配置为基于第 一变换图像与第二部分图像之间的相应的特征点来生成第二变换模型。
[0008] 第一部分图像和第二部分图像可包括对象的区域W及根据预定因素大于对象的 区域的周围区域。
[0009] 第一部分图像生成器还可被配置为基于在分割中包括的对象是否满足预设条件 来确定分割。
[0010] 所述预设条件可指示对象溫度和对象运动中的至少一个。
[0011] 配准器还可被配置为：使用第一变换模型将第一部分图像变换为第一变换图像， 使用第二变换模型将第一变换图像变换为第二变换图像，并且配准第二变换图像和第二图 像。
[0012] 第一图像可W是热图像，并且第二图像可W是可见光图像。
[0013] 根据示例性实施例的另一方面，提供一种用于配准图像的设备，所述设备包括：第 一估计器，被配置为基于第一图像与第二图像之间的相应的特征点来生成第一变换模型； 部分图像生成器，被配置为通过从使用第一变换模型变换第一图像所获得的初步变换图像 提取包括对象的图像来生成第一部分图像，并且通过从第二图像提取与第一部分图像相应 的图像来生成第二部分图像；第二估计器，被配置为基于第一部分图像与第二部分图像之 间的相应的特征点来生成第二变换模型；W及配准器，被配置为通过使用第二变换模型变 换第一部分图像来配准第一图像和第二图像。
[0014] 第一部分图像和第二部分图像可包括对象的区域W及根据预定因素大于对象的 区域的周围区域。
[0015] 配准器还可被配置为：使用第一变换模型将第一图像变换为初步变换图像，使用 第二变换模型将第一部分图像变换为最终变换图像，并且配准最终变换图像和第二图像。
[0016] 第一图像可W是热图像，并且第二图像可W是可见光图像。
[0017] 根据示例性实施例的另一方面，提供一种配准图像的方法，所述方法包括：基于第 一图像与第二图像之间的相应的特征点来生成第一变换模型；基于第一图像的第一部分图 像与第二图像的第二部分图像之间的相应的特征点来生成第二变换模型，第二部分图像基 于第一部分图像被生成；W及通过使用第一变换模型和第二变换模型变换第一部分图像来 配准第一图像和第二图像。
[0018] 估计第二变换模型的步骤可包括：生成第一部分图像，第一部分图像是包括从第 一图像检测到的对象的第一图像的分割；从第二图像生成第二部分图像，第二部分图像是 与通过使用第一变换模型变换第一部分图像所获得的第一变换图像相应的第二图像的分 害hW及基于第一变换图像与第二部分图像之间的相应的特征点来生成第二变换模型。
[0019] 第一部分图像和第二部分图像可包括对象的区域W及根据预定因素大于对象的 区域的周围区域。
[0020] 配准第一图像和第二图像的步骤可包括：使用第一变换模型将第一部分图像变换 为第一变换图像；使用第二变换模型将第一变换图像变换为第二变换图像；W及配准第二 变换图像和第二图像。
[0021] 第一图像可W是热图像，并且第二图像可W是可见光图像。
[0022] 根据示例性实施例的另一方面，提供一种配准图像的方法，所述方法包括：基于第 一图像与第二图像之间的相应的特征点来生成第一变换模型；通过从使用第一变换模型变 换第一图像所获得的初步变换图像提取包括对象的图像来生成第一部分图像，并且通过从 第二图像提取与第一部分图像相应的图像来生成第二部分图像；基于第一部分图像与第二 部分图像之间的相应的特征点来生成第二变换模型；W及通过使用第二变换模型变换第一 部分图像来配准第一图像和第二图像。
[0023] 第一部分图像和第二部分图像可包括对象的区域W及根据预定因素大于对象的 区域的周围区域。
[0024] 配准第一图像和第二图像的步骤可包括：使用第一变换模型将第一图像变换为初 步变换图像；使用第二变换模型将第一部分图像变换为最终变换图像；W及配准最终变换 图像和第二图像。
[0025] 第一图像可W是热图像，并且第二图像可W是可见光图像。
【附图说明】
[00%] 从W下结合附图对实施例进行的描述，运些和/或其他方面将变得清楚和更容易 理解，其中：
[0027] 图1是示出根据示例性实施例的用于执行图像配准方法的相机系统的示图；
[002引图2是示出根据示例性实施例的控制装置的配置的框图；
[0029] 图3是示出根据示例性实施例的第二变换模型估计器的框图；
[0030] 图4是示出根据示例性实施例的配准器的框图；
[0031] 图5是示出根据示例性实施例的配准图像的方法的流程图；
[0032] 图6是示出根据示例性实施例的估计第一变换模型的方法的流程图；
[0033] 图7是示出根据示例性实施例的估计第二变换模型的方法的流程图；
[0034] 图8是示出根据示例性实施例的使用多个变换模型配准图像的方法的流程图； 阳035] 图9至图12是根据示例性实施例的用于示出改善的图像配准（registration)的 结果的图像；
[0036] 图13是示出根据另一示例性实施例的配准图像的方法的流程图。
【具体实施方式】
[0037] 现在，将详细描述示例性实施例，示例性实施例的示例在附图中示出，其中，相同 的参考标号始终表示相同的元件。就运一点而言，示例性实施例可具有不同的形式，并且不 应该被解释为受限于运里所阐述的描述。W下通过参照附图描述示例性实施例。如运里所 使用的，术语"和/或"包括一个或多个相关所列项的任意和所有组合。当诸如"...中的 至少一个"的表述在一列元素之后时，该表述修饰整列元素，而不是修饰列的单个元素。
[0038] 为了清楚理解本发明构思而提供W下描述和附图，然而，本领域普通技术人员能 够容易想到的配置可不被描述。
[0039] 此外，提供W下的示例性实施例和附图仅为了解释的目的，并且不意在限制本发 明构思的范围。本发明构思的范围和精神应该通过所附的权利要求被限定。运里所使用 的术语应该被解释为具有符合本发明构思的含义和概念，使得本发明构思能够被正确地解 释。
[0040] 将理解，尽管在运里使用术语"第一"和"第二"来描述各种元件，但是运些元件不 应被运些术语所限制。运些术语仅被用于区分一个元件与另一元件。
[0041] 本公开的发明构思可被实现为功能块W及各种处理操作。功能块可使用执行特定 功能的多种硬件和/或软件配置被实施。例如，本公开的示例性实施例可采用能够通过微 处理器或其他控制装置的控制执行多种功能的集成电路结构（诸如，存储器、处理单元、逻 辑单元、查找表等）。W与能够使用软件编程或软件元件执行示例性实施例的元件的方式 相似的方式，示例性实施例可使用包括通过数据结构、处理、进程、例行程序或其他编程配 置的组合所实施的各种算法的脚本语言或编程语言（诸如，C、C++、Java、汇编语言等）而 被实施。功能的各个方面可通过在一个或多个处理器中执行的算法来实施。此外，示例性 实施例可采用现有技术W建立电子环境、处理信号和/或处理数据。诸如"机制"、"元件"、 "装置"和"配置"的术语可被广泛地使用并且不限于机械和物理配置。运样的术语可具有 与处理器等关联的一系列软件例程的含义。
[0042] 现在，将参照附图描述示例性实施例。
[0043] 图1是示出根据示例性实施例的用于执行图像配准方法的相机系统的示图。
[0044] 参照图1，相机系统可包括第一图像传感器101和第二图像传感器102。第一图像 传