图像对齐设备和使用该设备的图像对齐方法【专利摘要】提供了一种图像对齐设备和使用该设备的图像对齐方法。所述图像对齐设备包括：第一转换函数估计单元，用于基于从通过使用第一图像传感器捕获的第一图像和通过使用第二图像传感器捕获的第二图像提取的特征点信息来估计第一转换函数；第二转换函数估计单元，用于基于从第一图像和第二图像提取的运动信息来估计第二转换函数。【专利说明】图像对齐设备和使用该设备的图像对齐方法[0001]本申请要求于2013年8月20日提交到韩国知识产权局的第10-2013-0098607号韩国专利申请的优先权，所述专利申请的公开通过引用完整地包含于此。【
技术领域：
】[0002]与示例性实施例一致的设备和方法涉及图像对齐。【
背景技术：
】[0003]近来，为了提高在监视系统和医学图像领域中的用于对变化的检测、运动检测、超分辨率图像的恢复或者对象的识别和跟踪的算法的精度和可靠性，积极地执行了对使用两个或更多个传感器的补充信息融合的研究。【
发明内容】[0004]一个或更多个示例性实施例提供了一种图像对齐设备和使用该设备的图像对齐方法。[0005]示例性实施例的各个方面将在之后的描述中被部分地阐述，并且部分地，将从描述中是清楚的，或者可通过这些实施例的实践来得知。[0006]根据示例性实施例的一方面，提供了一种图像对齐设备，所述设备可包括：第一转换函数估计单元，用于基于从通过使用第一图像传感器捕获的第一图像和通过使用第二图像传感器捕获的第二图像提取的特征点信息来估计第一转换函数；第二转换函数估计单元，用于基于从第一图像和第二图像提取的运动信息来估计第二转换函数。[0007]所述图像对齐设备还可包括：转换函数选择单元，用于根据第一转换函数是否被估计来选择第一转换函数或者第二转换函数作为最终转换函数。[0008]在第一转换函数没有被估计的情况下或者周期性地，第二转换函数估计单元可估计第二转换函数。[0009]第一转换函数估计单元可包括：特征点检测单元，用于分别检测第一图像和第二图像中的特征点；特征点选择单元，用于从检测到的第一图像和第二图像中的特征点之中选择对应特征点；第一估计单元，用于基于选择的对应特征点来估计第一转换函数。[0010]特征点选择单元可包括：补丁图像获取单元，用于获取在补丁图像的中心分别具有第一图像和第二图像中的特征点的补丁图像；候选选择单元，用于针对第一图像中的特征点，选择与第一图像中的特征点对应的第二图像中的候选特征点；相似性确定单元，用于确定第一图像中的特征点的补丁图像和第二图像中的候选特征点的补丁图像之间的相似性；对应特征点选择单元，用于基于对相似性确定的结果，从第一图像中的特征点和第二图像中的候选特征点之中选择对应特征点。[0011]第二转换函数估计单元可包括：运动检测单元，用于分别检测第一图像和第二图像中的运动；运动矢量选择单元，用于在从检测到的第一图像和第二图像中的运动检测到的运动矢量之中选择对应运动矢量；第二估计单元，用于基于选择的对应运动矢量估计第二转换函数。[0012]运动矢量选择单元可包括：标记单元，用于对从第一图像和第二图像检测到的每个检测到的运动进行标记；运动矢量检测单元，用于针对第一图像和第二图像中的标记的运动来检测运动矢量；相似性确定单元，用于确定检测到的第一图像和第二图像中的运动矢量之间的相似性；对应运动矢量选择单元，用于基于对相似性确定的结果，选择第一图像和第二图像之间的对应运动矢量。[0013]针对第一图像中的运动矢量，相似性确定单元可选择第二图像中的候选运动矢量，并确定第一图像中的运动矢量和第二图像中的候选运动矢量之间的相似性。[0014]相似性确定单元可基于检测到的运动矢量的大小和方向来确定相似性。[0015]所述图像对齐设备还可包括：对齐单元，用于通过使用选择的第一转换函数或第二转换函数来对齐第一图像和第二图像。[0016]根据另一示例性实施例的一方面，提供了一种图像对齐方法，所述方法可包括：基于从通过使用第一图像传感器捕获的第一图像和通过使用第二图像传感器捕获的第二图像提取的特征点信息来估计第一转换函数；基于从第一图像和第二图像提取的运动信息来估计第二转换函数。[0017]所述图像对齐方法还可包括：根据第一转换函数是否被估计来选择第一转换函数或者第二转换函数作为最终转换函数。[0018]在第一转换函数没有被估计的情况下或者周期性地，可执行对第二转换函数的估计。[0019]估计第一转换函数的步骤可包括：分别检测第一图像和第二图像中的特征点；从检测到的第一图像和第二图像中的特征点之中选择对应特征点；基于选择的对应特征点来估计第一转换函数。[0020]选择对应特征点的步骤可包括：获取在补丁图像的中心分别具有第一图像和第二图像中的特征点的补丁图像；针对第一图像中的特征点，选择与第一图像中的特征点对应的第二图像中的候选特征点；确定第一图像中的特征点的补丁图像和第二图像中的候选特征点的补丁图像之间的相似性；基于对相似性确定的结果，从第一图像中的特征点和第二图像中的候选特征点之中选择对应特征点。[0021]估计第二转换函数的步骤可包括：分别检测第一图像和第二图像中的运动；在从检测到的第一图像和第二图像中的运动检测到的运动矢量之中选择对应运动矢量；基于选择的对应运动矢量估计第二转换函数。[0022]选择对应运动矢量的步骤可包括：对从第一图像和第二图像检测到的每个检测到的运动进行标记；针对第一图像和第二图像中的标记的运动来检测运动矢量；确定检测到的第一图像和第二图像中的运动矢量之间的相似性；基于对相似性确定的结果，选择第一图像和第二图像之间的对应运动矢量。[0023]确定相似性的步骤可包括：针对第一图像中的运动矢量，选择第二图像中的候选运动矢量，并确定第一图像中的运动矢量和第二图像中的候选运动矢量之间的相似性。[0024]确定相似性的步骤可包括：基于检测到的运动矢量的大小和方向来确定相似性。[0025]所述图像对齐方法还可包括：通过使用选择的第一转换函数或第二转换函数来对齐第一图像与第二图像。【专利附图】【附图说明】[0026]从结合附图对示例性实施例进行的以下描述，这些和/或其他方面将变得清楚和更易于理解，其中：[0027]图1是根据示例性实施例的图像融合系统的示意性框图；[0028]图2是根据示例性实施例的图像对齐设备的示意性框图；[0029]图3是根据示例性实施例的第一转换函数估计单元的示意性框图；[0030]图4是示出根据示例性实施例的选择特征点的示例的示图；[0031]图5是根据示例性实施例的第二转换函数估计单元的示意性框图；[0032]图6是示出根据示例性实施例的选择运动矢量的示例的示图；[0033]图7是用于示出根据示例性实施例的图像对齐方法的流程图；[0034]图8是用于示出根据示例性实施例的选择图7中示出的对应特征点的方法的流程图；[0035]图9是用于示出根据示例性实施例的选择对应运动矢量的方法的流程图。【具体实施方式】[0036]现在将对附图中示出的示例性实施例进行详细的描述，其中，相同的标号始终表示相同的元件。就这一点而言，这些实施例可具有不同的形式，并且本发明构思不应被解释为局限于在这里所阐述的描述。因此，下面只是通过参照附图对这些实施例进行描述，以解释本发明构思的一些方面。如这里所使用的，术语"和/或"包括相关的列出项中的一个或更多个的任意和所有组合。当诸如"…中的至少一个"的表述在一列元件之后时，其修饰整列的元件，而不是修饰列中的单个元件。[0037]由于本发明构思允许各种改变和多个实施例，因此将在附图中示出特定示例性实施例并在书面描述中对特定示例性实施例进行详细地描述。然而，这不旨在将本发明构思限制为特定的实践模式，将理解的是，不脱离本发明构思的精神和技术范围的所有更改、等同物和替代物包含在本发明构思中。在描述中，在认为对现有技术的特定的详细解释会不必要地使本发明的实质不清楚时，省略对现有技术的特定的详细解释。[0038]虽然如"第一"、"第二"等的这种术语可用于描述各种组件，但是这种组件不应局限于以上术语。以上术语只是用于区分一个组件与另一组件。[0039]本说明书中所使用的术语只是用于描述特定的示例性实施例，而不是旨在限制本发明构思。除非在上下文中具有明显不同的含义，否则单数的表述包含复数的表述。在本说明书中，要理解的是，诸如"包括"或"具有"等的术语旨在指示存在说明书中所公开的特征、数字、步骤、动作、组件、部分或者它们的组合，而不是旨在排除可存在或可添加一个或更多个其它特征、数字、步骤、动作、组件、部分或者它们的组合的可能性。[0040]可按照功能块组件和各种处理步骤来描述实施例。这种功能块可由被配置为执行特定功能的任意数量的硬件和/或软件组件来实现。例如，实施例可采用各种集成电路组件，例如，可在一个或更多个微处理器或其他控制装置的控制下执行多种功能的存储器元件、处理元件、逻辑元件、查找表（look-uptable)等。类似地，实施例的元件可利用软件编程或者使用任何编程或脚本语言(诸如，C、C++、Java、汇编程序等）的软件元件用各种算法来实现，所述各种算法用数据结构、对象、进程、程序或其他编程元素的任意组合来实现。可以以在一个或更多个处理器上执行的算法来实现功能方面。此外，本发明构思可采用用于电子设备配置、信号处理和/或控制、数据处理等的任意数量的传统技术。词语"机械"和"元件"被广泛使用，且不局限于机械或物理实施例，而可包括与处理器结合的软件程序等。[0041]图1是根据示例性实施例的图像融合系统1的示意性框图。[0042]根据实施例，参照图1，图像融合系统1包括第一图像传感器10、第二图像传感器20、图像对齐设备30、图像融合设备40和显示设备50。[0043]第一图像传感器10和第二图像传感器20可以是具有用于捕获相同场景并提供图像信息的不同特性的相机。第一图像传感器10和第二图像传感器20可设置有平移-倾斜-变焦（PTZ)功能，因此可被一起移动和倾斜以使用各自的变焦比率获得相同位置的图像。第一图像传感器10和第二图像传感器20可被安装为一个整体，可被安装在需要安全的银行或者公共建筑以及用于入口或出口的管理或者犯罪的预防的办公室、住宅、医院的内部或者外部。第一图像传感器10和第二图像传感器20可根据安装位置和使用目的而具有诸如线性类型或圆顶类型的各种形式。[0044]在当前的实施例中，第一图像传感器10为可见光相机。第一图像传感器10可使用光检测方法获得图像信息，并因此根据对象的亮度分布产生作为可见光图像的第一图像。例如，可见光相机可以是使用电荷耦合器件（CCD)或互补金属氧化物半导体（CMOS)作为成像装置的相机。[0045]在当前的实施例中，第二图像传感器20是红外线相机或者热感应相机。第二图像传感器可以感测和检测作为一种电磁波的红外光的波长形式的由对象发射的辐射能(热能)，并测量热能的强度，从而产生作为根据强度而示出不同色彩的热图像的第二图像。[0046]图像对齐设备30可通过将从不同的传感器获得的相同场景的两个或更多个图像中的点的位置进行匹配并在一个坐标系中对齐所述位置，来执行图像对齐。在用于使用两个或更多个传感器获得图像以产生一个融合图像的系统(诸如，监视系统或者医学图像）的情况下，需要执行图像对齐。[0047]图像对齐设备30将通过使用第一图像传感器10捕获的第一图像与通过使用第二图像传感器20捕获的第二图像对齐。为此，图像对齐设备30可基于从第一图像和第二图像提取的特征点信息和运动信息来估计转换函数。转换函数是表示第一图像和第二图像之间的特征点信息或者运动信息的对应关系的矩阵。图像对齐设备30通过应用估计的转换函数来对齐第一图像与第二图像。[0048]图像融合设备40可通过将接收到的图像信号输出为符合显示设备的规格的信号来执行信号处理。图像融合设备40将对齐的第一图像与第二图像融合。例如，红外线相机可清楚地提供对象的热分布，但是可能无法清楚地提供对象的形状。与此相反，可见光相机可清楚地提供对象的形状，但是可能无法清楚地提供对象的热分布。通过适当地利用可见光相机和红外线相机的优点和缺点，图像融合设备40可同时显示对象的图像和对象的热分布的状态。[0049]图像融合设备40可减少噪声，并针对第一图像和第二图像执行诸如伽马校正、滤色器阵列插值、色彩矩阵、色彩校正和色彩增强的图像信号处理，以提高图像品质。此外，图像融合设备40可通过压缩从用于图像改善的图像信号处理获得的融合的图像数据来产生图像文件，或者可从图像文件恢复图像数据。图像压缩类型可包括可逆的类型或者不可逆的类型。[0050]此外，图像融合设备40可执行诸如色彩处理、模糊处理、边缘增强处理、图像判读处理、图像识别处理、图像效果处理等的功能。图像识别处理可包括人脸识别处理和场景识别处理。[0051]显示设备50向用户提供从图像融合设备40输出的融合图像，从而用户可监视显示的图像。显示设备50可显示第一图像和第二图像彼此重叠的融合图像。显示设备50可由液晶显示器（IXD)面板、有机发光显示器（0LED)面板、电泳显示器（EH))面板等形成。显示设备50以可通过用户做出的触摸接收输入的触摸屏的形式被提供，因此，可作为用户输入界面操作。[0052]图2是根据示例性实施例的图像对齐设备30的示意性框图。[0053]参照图2,图像对齐设备30可包括第一转换函数估计单元301、第二转换函数估计单元303、转换函数选择单元305和对齐单元307。[0054]第一转换函数估计单元301可基于从通过第一图像传感器10捕获的第一图像和通过第二图像传感器20捕获的第二图像提取的特征点信息来估计第一转换函数H1。[0055]在这种情况下，第一转换函数估计单元301可从第一图像和第二图像提取特征点，并通过选择一对对应特征点的处理来估计第一转换函数H1。然而，如果难以检测到特征点的图像被输入，则可能无法估计第一转换函数H1，因此，可能难以执行实时对齐。[0056]因此，在当前的实施例中，如果第一转换函数估计单元301不可估计第一转换函数H1，则第二转换函数H2可通过从第一图像和第二图像提取运动信息来被估计，从而可执行实时对齐。[0057]第二转换函数估计单元303可基于从第一图像和第二图像提取的运动信息来估计第二转换函数H2。如果第一转换函数H1没有被估计，或者在根据用户设置预定的时间段内，第二转换函数估计单元303可估计第二转换函数H2。因此，即使第一转换函数估计单元301可能无法估计第一转换函数H1，第二转换函数估计单元303也可估计第二转换函数H2,从而可执行实时对齐。[0058]根据第一转换函数H1是否被估计，转换函数选择单元305可选择第一转换函数H1或者第二转换函数H2作为最终转换函数H。如果第一转换函数估计单元301正常地估计第一转换函数HI(Hl_error=0)，则转换函数选择单元305选择第一转换函数H1作为最终转换函数H。如果第一转换函数H1没有被估计（Hl_error=l)，则转换函数选择单元305选择第二转换函数H2作为最终转换函数H。转换函数选择单元305可在预定的时间段内选择第二转换函数H2作为最终转换函数H。下面提供的等式1中示出了通过选择转换函数选择单元305执行的选择方法。[0059]【权利要求】1.一种图像对齐设备，所述图像对齐设备包括：第一转换函数估计单元，被配置为基于从通过使用第一图像传感器捕获的第一图像和通过使用第二图像传感器捕获的第二图像提取的特征点信息来估计第一转换函数；第二转换函数估计单元，被配置为基于从第一图像和第二图像提取的运动信息来估计第二转换函数。2.根据权利要求1所述的图像对齐设备，还包括：转换函数选择单元，用于根据第一转换函数是否被估计来选择第一转换函数或者第二转换函数作为最终转换函数。3.根据权利要求1所述的图像对齐设备，其中，在第一转换函数没有被估计的情况下或者周期性地，第二转换函数估计单元估计第二转换函数。4.根据权利要求1所述的图像对齐设备，其中，第一转换函数估计单元包括：特征点检测单元，被配置为分别检测第一图像和第二图像中的特征点；特征点选择单元，被配置为从检测到的第一图像和第二图像中的特征点之中选择对应特征点；第一估计单元，用于基于选择的对应特征点来估计第一转换函数。5.根据权利要求4所述的图像对齐设备，其中，特征点选择单元包括：补丁图像获取单元，被配置为获取在补丁图像的中心分别具有第一图像和第二图像中的特征点的补丁图像；候选选择单元，被配置为针对第一图像中的特征点，选择与第一图像中的特征点对应的第二图像中的候选特征点；相似性确定单元，被配置为确定第一图像中的特征点的补丁图像和第二图像中的候选特征点的补丁图像之间的相似性；对应特征点选择单元，被配置为基于对相似性确定的结果，从第一图像中的特征点和第二图像中的候选特征点之中选择对应特征点。6.根据权利要求1所述的图像对齐设备，其中，第二转换函数估计单元包括：运动检测单元，被配置为分别检测第一图像和第二图像中的运动；运动矢量选择单元，被配置为在从检测到的第一图像和第二图像中的运动检测到的运动矢量之中选择对应运动矢量；第二估计单元，被配置为基于选择的对应运动矢量估计第二转换函数。7.根据权利要求6所述的图像对齐设备，其中，运动矢量选择单元包括：标记单元，被配置为对从第一图像和第二图像检测到的每个检测到的运动进行标记；运动矢量检测单元，被配置为针对第一图像和第二图像中的标记的运动来检测运动矢量；相似性确定单元，被配置为确定检测到的第一图像和第二图像中的运动矢量之间的相似性；对应运动矢量选择单元，被配置为基于对相似性确定的结果，选择第一图像和第二图像之间的对应运动矢量。8.根据权利要求7所述的图像对齐设备，其中，针对第一图像中的运动矢量，相似性确定单元被配置为选择第二图像中的候选运动矢量，并确定第一图像中的运动矢量和第二图像中的候选运动矢量之间的相似性。9.根据权利要求8所述的图像对齐设备，其中，相似性确定单元被配置为基于检测到的运动矢量的大小和方向来确定相似性。10.根据权利要求2所述的图像对齐设备，还包括：对齐单元，被配置为通过使用选择的第一转换函数或第二转换函数来对齐第一图像和第二图像。11.一种图像对齐方法，所述图像对齐方法包括：基于从通过使用第一图像传感器捕获的第一图像和通过使用第二图像传感器捕获的第二图像提取的特征点信息来估计第一转换函数；基于从第一图像和第二图像提取的运动信息来估计第二转换函数。12.根据权利要求11所述的图像对齐方法，还包括：根据第一转换函数是否被估计来选择第一转换函数或者第二转换函数作为最终转换函数。13.根据权利要求12所述的图像对齐方法，其中，在第一转换函数没有被估计的情况下或者周期性地，执行对第二转换函数的估计。14.根据权利要求12所述的图像对齐方法，其中，估计第一转换函数的步骤包括：分别检测第一图像和第二图像中的特征点；从检测到的第一图像和第二图像中的特征点之中选择对应特征点；基于选择的对应特征点来估计第一转换函数。15.根据权利要求14所述的图像对齐方法，其中，选择对应特征点的步骤包括：获取在补丁图像的中心分别具有第一图像和第二图像中的特征点的补丁图像；针对第一图像中的特征点，选择与第一图像中的特征点对应的第二图像中的候选特征占.确定第一图像中的特征点的补丁图像和第二图像中的候选特征点的补丁图像之间的相似性；基于对相似性确定的结果，从第一图像中的特征点和第二图像中的候选特征点之中选择对应特征点。16.根据权利要求12所述的图像对齐方法，其中，估计第二转换函数的步骤包括：分别检测第一图像和第二图像中的运动；在从检测到的第一图像和第二图像中的运动检测到的运动矢量之中选择对应运动矢量；基于选择的对应运动矢量估计第二转换函数。17.根据权利要求16所述的图像对齐方法，其中，选择对应运动矢量的步骤包括：对从第一图像和第二图像检测到的每个检测到的运动进行标记；针对第一图像和第二图像中的标记的运动来检测运动矢量；确定检测到的第一图像和第二图像中的运动矢量之间的相似性；基于对相似性确定的结果，选择第一图像和第二图像之间的对应运动矢量。18.根据权利要求17所述的图像对齐方法，其中，确定相似性的步骤包括：针对第一图像中的运动矢量，选择第二图像中的候选运动矢量，并确定第一图像中的运动矢量和第二图像中的候选运动矢量之间的相似性。19.根据权利要求17所述的图像对齐方法，其中，确定相似性的步骤包括：基于检测到的运动矢量的大小和方向来确定相似性。20.根据权利要求13所述的图像对齐方法，还包括：通过使用选择的第一转换函数或第二转换函数来对齐第一图像与第二图像。【文档编号】H04N7/18GK104427211SQ201410148031【公开日】2015年3月18日申请日期:2014年4月14日优先权日:2013年8月20日【发明者】李准性,吴哉仑,金坤洙申请人:三星泰科威株式会社