图像匹配方法及装置与流程

实施方式涉及一种图像处理方法及装置，并且更具体地，涉及一种用于生成使用全景监视(avm)的源图像进行匹配的全景图像的方法及装置。

背景技术：

由于交通工具和交通流量的增加，快速增长的交通事故的已经成为一种社会问题，因此，已经对用于防止事故的驾驶员辅助系统进行了积极地研究。驾驶员辅助系统辅助驾驶员驾驶或停放交通工具以用于驾驶员的安全驾驶。

驾驶员辅助系统必须包括用于在驾驶员坐在试驾员座位上时提供图像信息以识别交通工具的外部状况的装置。另外，用于提供图像信息的装置包括摄像机。

可以在交通工具外部安装指向各个方向的多个摄像机以向驾驶员提供图像信息。当由各个摄像机获取的图像被提供给驾驶员时，获取的图像可以根据各种视图模式被不同地转换并且可以提供给驾驶员。

然而，已经指出的问题在于，由于所提供的图像之间的亮度差而产生阶梯差异，或者在对应于现有技术的阿尔法混合(alphablending)方法中的图像合成过程期间出现鬼影现象。已经在用于全景监视(avm)系统的图像中特别地指出这个问题。

近来，已经积极地研究了全景监视(avm)系统以利用安装在系统中的多个摄像机以图像的形式向驾驶员提供交通工具的周围环境。来自德国和日本的各个汽车公司以及国内的公司已经开发并发布了产品形式的avm系统。近来，最主要使用如下系统，该系统包括安装在其中的多个摄像机以给驾驶员提供作为自上方看的对象的高视角的鸟瞰视角。

avm系统可以通过用于提供图像信息的装置使用由有限数目的摄像机获取的图像生成以360度的视角示出对象(例如，交通工具)的周围环境的图像。在这种情况下，为了获取广视角，鱼眼透镜或类似类型的广角透镜可以是作为安装在摄像机中的透镜的透镜。然而，由透镜获取的图像不同于基于人类视觉的图像并且最后的输出图像是与安装在交通工具中的摄像机透镜的方向相比的顶视图类型的图像，因此需要使用各种图像信号处理(isp)过程来处理从多个摄像机获取的图像。

因为不可能在交通工具中安装从上方拍摄交通工具的顶部的摄像机，所以需要这样的一系列过程。

图1a至图1c是示出根据现有技术的输出图像的图。

参照图1a至图1c，在图1b中示出了作为校正方法的阿尔法混合中的亮度的阶梯差异现象。在图1c中示出了作为校正方法的阿尔法混合中的鬼影现象。鬼影现象是在于区域中实际上不存的对象如鬼影一样显示的现象，并且经由用于使用周围像素来校正对应于相应区域的像素的阿尔法混合导致。

技术实现要素：

技术问题

实施方式提供一种图像匹配方法以及一种图像匹配装置，以用于通过如下的方法来在匹配多个图像的过程期间防止并减少亮度的阶梯差异和鬼影现象：在匹配多个图像的过程期间提取图像信息、基于提取的值来确定校正值、基于确定的校正值来对重叠区域执行逐渐校正以及然后匹配校正图像。

实施方式提供一种图像匹配方法以及一种图像匹配装置，以用于通过在匹配多个图像的过程期间使用仅至少两个图像中的重叠图像中的图像信息来确定校正值来降低在匹配多个图像的过程期间重叠区域中的噪声。

实施方式提供一种图像匹配方法以及一种图像匹配装置，以用于通过确定至少两个图像的信息的差值并且将确定的差值逐渐地应用于匹配多个图像的重叠区域以在匹配多个图像的过程期间校正图像来防止并减少亮度的阶梯差异和鬼影现象。

要理解的是，本公开内容的前述的一般描述和下面的详细描述均是示例性的且说明性的，并且旨在提供如所要求保护的本公开内容的进一步说明。

技术方案

在一个实施方式中，图像匹配方法包括从通过安装在交通工具中的摄像机装置获取的多个不同的图像中的每个中提取图像信息、根据基于多条提取的图像信息的校正参考应用渐变、以及校正并匹配多个图像以输出目标图像。

图像信息可以包括亮度信息和对比度信息中的至少一个。

目标图像的输出可以包括基于经校正的图像信息来确定校正参考值、应用校正参考值作为渐变以校正多个图像中的每个、以及匹配多个经校正的图像以输出目标图像。

多个不同的图像可以是通过将由多个摄像机装置获取的图像转换成顶视图形式而获得的图像。

校正参考值可以被确定为关于多条图像信息的平均值、中值、众数和标准偏差中的至少一个。

图像匹配方法还可以包括设置图像中的非重叠区域和重叠区域。

可以从包括在多个图像中的每个中的重叠区域中提取图像信息，而不是从多个图像中的每个的整个部分中提取图像信息。

渐变(gradation)可以包括从重叠区域的中心在非重叠区域的边界的直线方向上应用的线性渐变。

渐变可以包括从非重叠区域与重叠区域之间的边界在图像的边缘的直线方向上应用的线性渐变。

渐变可以包括从非重叠区域的中心在图像的边缘的径向方向上应用的非线性渐变。

目标图像的输出可以包括提取经转换的图像中的与被插入至目标图像中的区域对应的区域的数据，并且将提取的数据设置在目标图像中的预设区域中。

图像信息的提取可以包括提取与被插入至目标图像中的区域对应的区域的图像，并且从提取的数据中提取图像信息。

在目标图像的输出中，渐变可以包括从重叠区域的中心在非重叠区域的边界的直线方向上应用的线性渐变。

在目标图像的输出中，渐变可以包括从提取的图像的中心在边缘的直线方向上应用的线性渐变。

在目标图像的输出中，渐变可以包括从提取的图像的中心在边缘的径向方向上应用的非线性渐变。

在另一实施方式中，计算机可读记录介质可以在其上记录有用于由处理器执行前述图像匹配方法的应用程序。

在另一实施方式中，图像匹配装置包括至少一个处理器和包括在其上记录有计算机程序的至少一个存储装置的处理系统，并且处理系统可以执行通过图像匹配装置从多个不同的图像中的每个中提取图像信息，并且根据基于多条提取的图像信息的校正参考应用渐变，并且校正并匹配多个图像以输出目标图像，并且多个不同的图像是通过将由多个摄像机装置获取的图像转换成顶视图形式而获得的图像。

输出目标图像可以包括基于提取的图像信息来确定校正参考值、应用作为校正参考值的渐变以校正多个图像中的每个以及匹配多个经校正的图像以输出目标图像。

处理系统还可以包括通过图像匹配装置来设置在多个图像中的非重叠区域和重叠区域。

可以从包括在多个图像中的每个中的重叠区域中提取图像信息，而不是从多个图像中的每个的整个部分中提取图像信息。

处理系统还可以在通过图像匹配装置提取图像信息之前提取多个图像中的与被插入至目标图像中的区域对应的区域的数据。

处理系统还可以在图像匹配装置校正多个图像之后执行提取多个图像中的与被插入至目标图像中的区域对应的区域的数据。

目标图像的输出还可以包括将提取的数据设置在目标图像中的预设区域中。

图像信息可以包括亮度信息和对比度信息中的至少一个，并且校正参考值可以被确定为多条图像信息的平均值、中值、众数和标准偏差中的至少一个。

在另一实施方式中，图像匹配装置包括：设置单元，其用于设置两个不同的图像中的重叠区域和非重叠区域；提取单元，其用于提取两个图像中的每个图像中的重叠区域的图像信息；确定单元；其用于基于提取的图像信息来确定校正参考值；校正单元，其用于通过将校正参考值c0作为渐变应用于两个图像的重叠区域来执行校正；以及匹配单元，其用于基于经校正的重叠区域来匹配两个校正图像。

图像信息可以包括亮度信息和对比度信息中的至少一个。

校正参考值可以被确定为关于多条图像信息的平值、中值、众数和标准偏差中的至少一个。

渐变可以包括从重叠区域的中心在非重叠区域的边界的直线方向上应用的线性渐变。

渐变可以包括从非重叠区域与重叠区域之间的边界在图像的边缘的直线方向上应用的线性渐变。

渐变可以包括从非重叠区域的中心在图像的边缘的径向方向上应用的非线性渐变。

在另一实施方式中，一种用于匹配多个源图像以生成目标图像的图像匹配方法，该方法包括：通过第一摄像机来拍摄第一成像区域以获取第一源图像以及通过第二摄像机来拍摄包括与第一成像区域部分地重叠的重叠区域的第二成像区域以获取包括与第一源图像的一部分部分地重叠的重叠区域的第二源图像；将第一源图像和第二源图像转换成顶视图并且通过自动曝光(ae)来调整亮度以获取第一转换图像和第二转换图像；获取第一转换图像的重叠区域上的第一图像信息以及第二转换图像的重叠区域上的第二图像信息；以及生成包括在重叠区域中的第一区域以及重叠区域中的第二区域的目标图像，在所述第一区域中设置有基于第一图像信息和第二图像信息校正的第一转换图像的至少一部分，在所述第二区域中设置有基于第一图像信息和第二图像信息校正的第二转换图像的至少一部分，并且第二区域与第一区域没有重叠，并且校正包括对设置在第一区域上的第一转换图像和设置在第二区域上的第二转换图像的渐变校正。

将理解的是，本公开内容的前述的一般描述和下面的详细描述是示例性的且说明性的，并且旨在提供如所要求保护的本公开内容的进一步说明。

有益效果

根据实施方式的装置可以具有下面的效果。

实施方式可以降低由于多个源图像中的亮度差导致的匹配目标图像的亮度阶梯差异。

实施方式可以减少通过匹配多个图像获得的目标图像中的重叠区域中的鬼影现象。

本领域技术人员将理解的是，可以利用本公开内容实现的效果不限于上文中已经具体地描述的效果并且本公开内容的其他优势将结合附图根据下面的具体实施方式更加清楚地理解。

附图说明

可以参照下面的附图来详细地描述装置和实施方式，在附图中相似的附图标记指代相似的元件，并且在附图中：

图1a至图1c是示出根据现有技术的输出图像的图；

图2是根据实施方式的图像匹配装置的框图；

图3示出了图像匹配方法；

图4是用于说明图像信息提取方法的第一示例的图；

图5是用于说明图像信息提取方法的第二示例的图；

图6是图像匹配方法的流程图；

图7是包括在图6的s340中的操作的流程图；

图8是用于说明在本公开内容中使用的项的目标图像的示意图；

图9a至图9c是示出根据参数c的大小不同地校正的目标图像的图；

图10是用于说明图像匹配装置的第一示例的图；

图11是用于说明图像匹配装置的第二示例的图；

图12a是示出使用阿尔法混合方法匹配的目标图像的示例的图；

图12b是用于说明根据实施方式的匹配的目标图像的图；

图12c是用于说明经由阿尔法混合校正的目标图像和根据实施方式校正的目标图像的示例的图；

图13是示出参照图12a至图12c更加详细地描述的匹配图像的示例的图。

具体实施方式

可以将示例性实施方式不同地改变并实施成示出了说明性实施方式的各种形式。然而，示例性实施方式不应被理解为限于本文中阐述的实施方式，并且在本实施方式的主旨和范围内的任何改变、等同物或替代物应被理解为落入本实施方式的范围内。

将理解的是，尽管在本文中可以使用术语第一、第二等来描述各个元件，但是这些元件不应受这些术语限制。这些术语仅被用于区别一个元件与另一个元件。例如，在不偏离本实施方式的教导的情况下，第一元件可以被称为第二元件，并且第二元件可以被称为第一元件。术语“和/或”包括所列的相关联项中的一个或更多个中的任意和所有组合。如本文中使用的，术语“和/或”包括所列的相关联项中的一个或更多个中的任意和所有组合。另外，术语第一、第二等可以被理解为一个或另一个而不是被理解为第一或第二。

将理解的是，当元件被称为“在另一元件上”、“连接至”或“耦接至”另一元件时，其可以直接在其他元件上、直接连接至或耦接至其他元件，或者可以存在中间元件。相比之下，当元件被称为“直接在另一元件或层上”、“直接连接至”或“直接耦接至”另一元件或层时，不存在中间元件或层。

在本公开内容中使用的术语被用于说明具体的示例性实施方式，而非限制本公开内容。因此，除非上下文另有明确规定，否则本公开内容中的单数表述包括复数表述。此外，例如“包括”或“包含”的术语可以被理解为表示特定的特点、数目、步骤、操作、组成元件或其组合，但是可以不被理解为排除一个或更多个其他特点、数目、步骤、操作、组成元件或其组合的添加的存在或可能性。

除非另有定义，否则在本文中使用的包括技术和科技术语的所有术语具有与由本公开内容所属领域的普通技术人员通常理解的含义相同的含义。将进一步理解的是，例如在常用词典中定义的那些术语的术语应被理解为具有与它们的相关领域的背景中的含义一致的含义，并且除非本文中明确如此定义，否则将不被理解为理想化或过于正式的意义。

现在将详细地参考实施方式，在附图中示出了所述实施方式的示例。在附图中，附图中的相同附图标记指代相同元件，并且将不给出其重复说明。

在本公开内容中，使用术语第一摄像机和第二摄像机以及术语第一成像区域和第二成像区域，但是这些仅是示例性的，因此可以理解的是实施方式包括第二部件和第三部件。即，类似于第一摄像机至第四摄像机以及第一成像区域至第四成像区域，在实施方式中包括第一源图像至第四源图像、第一转换图像至第四转换图像以及第一区域和第二区域。

在下文中，将描述根据实施方式的图像匹配装置。

图2是根据实施方式的图像匹配装置的框图。

参照图2，图像匹配装置100可以包括图像获取单元110、图像处理器120、图像信息获取单元130以及校正单元140，并且还可以包括第一计算单元150和第二计算单元160。

图像匹配装置100可以匹配多个源图像以生成目标图像。

图像获取单元110可以通过第一摄像机拍摄第一成像区域以获取第一源图像，并且可以通过第二摄像机拍摄第二成像区域以获取第二源图像，第二源图像包括与第一源图像的一部分重叠的重叠区域。因此，可以通过摄像机实现图像获取单元110。摄像机可以是安装在交通工具的前侧、右侧、后侧和左侧的摄像机模块。

图像处理器120可以将第一源图像和第二源图像的显示模式转换成顶视图并且可以通过自动曝光(ae)来调整亮度。因此，可以获取第一转换图像和第二转换图像。

图像信息获取单元130可以获取第一转换图像的第一图像信息和第二转换图像的第二图像信息。此处，图像信息可以包括构成图像的像素的rgb值、亮度等。图像信息可以包括使用除rgb以外的方法表示的像素信息。

校正单元140可以生成包括重叠区域中的第一区域以及重叠区域中的第二区域的目标图像，在所述第一区域中设置有基于第一图像信息和第二图像信息校正的第一转换图像的像素，在所述第二区域中设置有基于第一图像信息和第二图像信息校正的第二转换图像的像素，并且所述第二区域与第一区域没有重叠。也就是说，校正单元140可以校正图像的像素并且可以匹配转换图像以生成目标图像。此处，校正可以包括用于调整设置在第一区域中的第一转换图像的像素和设置在第二区域中的第二转换图像的像素的亮度或颜色的渐变校正(gradationcorrection)。

第一计算单元150可以使用转换图像的亮度来获取第一转换图像与第二转换图像的亮度比。

第二计算单元160可以使用亮度比来计算用于转换图像的校正的增益。

此处，校正单元140可以设置校正度和校正区域并且可以基于亮度增益来校正转换图像的像素，并且在这种情况下，校正单元140可以将各个重叠区域的像素分开，可以将接近第一区域的源图像的像素用作两个重叠的源图像中的相对于第一区域的原始图像来校正原始图像，并且可以将接近第二区域的剩余源图像的像素用作两个重叠的源图像中的相对于第二区域的原始图像来校正原始图像以生成基于重叠区域来匹配源图像的目标图像。

图像匹配装置100还可以包括在附图中未示出的存储单元。存储单元可以将图像储存在易失性存储器或非易失性存储器中以按照执行部件的功能的顺序将图像提供给相应的部件。

图像处理器120、图像信息获取单元130、校正单元140、第一计算单元150和第二计算单元160可以执行储存在存储器中的程序命令。图像处理器120、图像信息获取单元130、校正单元140、第一计算单元150和第二计算单元160可以指代用于执行根据实施方式的方法的中央处理单元(cpu)、图形处理单元(gpu)或专用处理器。

存储器可以包括易失性存储介质和/或非易失性存储介质。例如，存储器可以包括只读存储器(rom)和/或随机存取存储器(ram)。

在一些实施方式中，图像匹配装置100可以从多个摄像机接收拜耳图形(bayerpattern)信息并且可以可选地执行操作(例如，颜色插值和去马赛克、颜色校正、伽马校正、颜色空间转换和边缘增强)。当从多个摄像机接收拜耳图形信息并且处理并匹配数据时，可以由一个图像处理器来执行图像匹配装置100的收集、处理和匹配拜耳图形信息的过程。

在下文中，将描述根据另一实施方式的图像匹配方法。

图3示出了图像匹配方法。

参照图3，图像匹配方法可以包括：从通过安装在交通工具中的摄像机装置获取的多个不同的图像中的每个中提取图像；以及根据基于多个提取的图像信息项的校正参考来应用渐变校正并匹配多个图像，并且输出目标图像。

更详细地，图像匹配方法可以包括将由多个摄像机装置获取的图像转换成顶视图形式(10)、从多个经转换的图像中的每个中提取图像信息(12)、基于提取的图像信息来确定校正参考值(14)、应用校正参考值作为渐变以校正多个图像中的每个图像(16)以及匹配多个校正图像以输出目标图像(18)。

尽管未示出，但是目标图像(18)的输出可以包括在校正图像中提取的与要被插入至目标图像中的区域对应的区域中的数据，以及将提取的数据设置在目标图像中的预设区域上。

当将多个摄像机安装在交通工具中时，可以获取交通工具的前侧、后侧、右侧和左侧的图像。当将图像中的每个显示给驾驶员或用户时，驾驶员或用户可以有利地获取交通工具的周围信息，但是当分开显示图像时，可能难以识别交通工具的周围状况。因此，当将如交通工具的通过匹配基于交通工具的不同方向上获取的图像且从上方观察的图像(例如，顶视图)的图像提供给驾驶员或用户时，驾驶员或用户可以容易地识别交通工具的周围信息。

为了将由摄像机获取的图像转换成顶视图的形式，可能需要去除图像中的对象的透视效果。当存在关于在交通工具中安装摄像机的高度和角度以及摄像机的水平视角和垂直视角的信息时，可以识别由摄像机获取的图像平面与要由驾驶员或用户观察的实际平面(顶视图形式的目标图像平面)之间的关系。基于该关系，可以将由摄像机获取的图像平面转换成要由用户观察的平面。

然后，可以从多个经转换的图像中提取图像信息(12)。由设置在不同位置处的摄像机获取并且通过在不同方向上拍摄对象来获取各个图像，因此图像不可避免地具有不同的光量。例如，当具有不同亮度的图像被简单组合时，还提供了由于噪声等而给驾驶员或用户造成混乱的图像。为了防止这种情况，可能需要在匹配图像之前提取关于相应的图像的信息。例如，图像信息可以包括亮度信息和对比度信息中的至少一个。

尽管未示出，但是图像匹配方法还可以包括在各个图像中设置非重叠区域和重叠区域以提取图像信息。在这种情况下，图像信息可以从包括在多个图像中的每个中的重叠区域中提取而不是从多个图像中的每个的整个部分中提取。

在一些实施方式中，图像信息(12)的提取可以包括提取多个图像中的与被插入至目标图像中的区域对应的区域的数据，以及从提取的数据中提取图像信息。当使用由多个不同的摄像机获取的图像中的仅一些图像来生成目标图像时，可能不需要对所有图像执行校正操作。因此，当预先获取多个获取的图像以与目标图像对应时，可以在图像的随后校正期间减少计算校正目标区域或校正所花费的时间段。

当从每个图像中提取图像信息时，可以基于图像信息来确定校正参考值(14)。此处，可以将校正参考值确定为关于多条图像信息的平均值、中值、众数和标准偏差中的至少一个。可以根据两条图像信息之间的比率或差值来确定校正参考值。

当校正参考值被确定时，可以校正每个图像(16)。在这种情况下，可以不使用校正参考值来校正图像的整个部分，而是可以使用校正参考值来仅校正与另一图像重叠的区域。例如，可以将从重叠区域的中心在非重叠区域的边界的直线方向上应用的线性渐变方法应用于图像校正。

在一些实施方式中，可以执行从图像中的非重叠区域与重叠区域之间的边界在图像的边缘的直线方向上应用的线性渐变方法以用于图像校正。

在一些实施方式中，还可以执行从图像中的非重叠区域的中心在图像的边缘的径向方向上应用的非线性渐变方法以用于图像校正。

当图像被预先提取以与目标图像对应时，可以使用从图像的中心在边缘的直线或径向方向上的线性或非线性渐变方法来校正图像。

两个不同的图像可以使用前述方法来校正，并且然后可以被匹配(18)。

前述图像匹配方法可以不同于用于传统图像匹配的阿尔法混合方法。首先，阿尔法混合指的是用于实现透明或半透明效果等或者当图像由另一图像覆盖时经由用于将阿尔法值混合的计算将两个图像颜色混合的效果的方案。然而，在通过阿尔法值来匹配两个图像值时，阿尔法混合很有可能生成噪声或者使扭曲图像。阿尔法混合不利地导致鬼影现象，从而两个对象被显示成彼此重叠。

在另一方面，前述图像匹配方法使用关于彼此的图像信息来预先校正对其执行匹配、耦接、覆盖等的两个不同的图像的重叠区域，然后基于校正过的重叠区域来匹配两个不同的图像，因此，可以预平衡两个不同的图像之间的亮度的阶梯差异并且可以防止阿尔法混合中的鬼影现象。

图4是用于说明图像信息提取方法的第一示例的图。

参照图4，从多个图像中提取图像信息的方法可以包括在经转换的图像中设置非重叠区域和重叠区域(22)并且提取重叠区域中的图像信息(24)。

此处，图像信息可以包括亮度信息和对比度信息中的至少一个。在这种情况下，可以分析并校正多个图像中的每个中的重叠区域，并且可以对图像中的非重叠区域(唯一区域)不进行分析和校正。

图5是用于说明图像信息提取方法的第二示例的图。

参照图5，从多个图像中提取图像信息的方法可以包括设置并剪切经转换的图像以对应于被插入至目标图像中的区域(26)并且从剪切的图像中提取图像信息(28)。

此处，图像信息可以包括亮度信息和对比度信息中的至少一个。在这种情况下，可以预先剪切并移除在多个图像中没有使用的图像区域，然后可以分析并处理图像，从而减少分析和处理图像所消耗的资源。

图6是图像匹配方法的流程图。

参照图6，图像获取单元110可以使用摄像机来获取源图像(s310)。此处，源图像的数目可以是两个或更多个。当将摄像机安装在交通工具中时，可以通过四个摄像机来获取四个源图像。然而，实施方式不限于此，并且还可以由于附加安装的摄像机而获取附加的源图像。此处，可以获取每个源图像以彼此交叠。即，两个源图像通常包括相同的主题区域，因此，可以基于主题区域将两个源图像彼此连接。

然后，图像处理器120可以将源图像的显示模式转换成顶视图并且可以经由自动曝光(ae)来调整亮度以获取转换图像(s320)。在该操作中，可以获取两个或更多个(详细地，两个)转换图像。

然后，图像信息获取单元130可以获取转换图像的图像信息(s330)。在该操作中，还可以获取两条或更多条(具体地是两条)图像信息。

然后，校正单元140可以生成包括重叠区域中的第一区域和重叠区域中的第二区域的目标图像，在所述第一区域中设置有基于第一图像信息和第二图像信息校正的第一转换图像的像素，在所述第二区域中设置有基于第一图像信息和第二图像信息校正的第二转换图像的像素并且所述第二区域与第一区域(s340)没有重叠。此处，校正可以包括对设置在第一区域上的第一转换图像的像素和设置在第二区域上的第二转换图像的像素的渐变校正。在该操作中，可以对包括两个或更多个(详细地，四个)重叠区域的第一区域至第八区域执行校正。

在下文中，将详细地描述校正方法。

图7是包括在图6的s340中的操作的流程图。

参照图7，第一计算单元150可以使用转换图像的亮度来获取第一转换图像与第二转换图像的亮度比(s341)。下面的表达式1表示亮度比r1、r2、r3和r4。

[表达式1]

r1＝l1/∠2，r2＝l3/l4，r3＝l5/l6，r4＝l7/∠8

在上面的表达式1中，l1至l8表示第一区域至第八区域的亮度。

图8是用于说明在本公开内容中使用的项的目标图像的示意图。

参照图8，第一图像至第四图像以及第一区域至第八区域被示出在目标图像上。另外，示出了第一区域至第八区域。此处，第一区域和第二区域可以对应于作为示例的重叠区域。可以在目标图像上形成四个重叠区域。

可以将平均亮度用作每个区域的亮度。

可以将具有校正误差的亮度比用作每个亮度比。下面的表达式2表示具有校正误差的亮度比。

[表达式2]

r′k＝rk·(r1·r2·r3·r4)^(1/4)

然后，第二计算单元160可以使用亮度比来计算用于转换图像的校正的亮度增益(s342)。

下面的表达式3表示在增益计算的过程中所需的亮度比的平均值。右边项的每个元素表示当利用第一源图像的亮度校正第一源图像至第四源图像时所乘的因子。通过将因子除以4获得的值可以是亮度比的平均值。

[表达式3]

r′aver＝(1+1/r′1+r′4·r′3+r′4)/4

下面的表达式4表示亮度增益g1、g2、g3和g4。可以通过将因子除以亮度比的平均值来计算每个亮度增益。

[表达式4]

g1＝1/r′aver

g2＝(1/r′1)/r′aver

g3＝(r′4·r′3)/r′aver

g4＝r′4/r′aver

然后，校正单元140可以设置校正度和校正区域并且可以基于亮度增益来校正转换图像的像素(s343)。

表达式5示出经由校正在第一区域上改变像素值。p1是校正前的像素值以及p1′是校正后的像素值。此处，参数c是校正度并且参数m1是校正区域。校正度可以与对应于第一区域至第八区域或者第一源图像至第四源图像的度的独立性有关。

[表达式5]

p1′＝p1·{((1/r4-1)·m1+1)·c+g1·(1-c)}

图9a至图9c是示出根据参数c的大小不同地校正的目标图像的图。

参照图9a，图9a示出了其中c是0的情况。参照图9b，图9b示出了其中c是0.3和0.7的情况。参照图9c，图9c示出了其中c是1的情况。因此，可以调整参数c以调整通过增加源图像之间的影响是独立地校正还是依赖地校正每个源图像。当c是0时，可以将像素校正为非彩色。

此处，每个重叠区域的像素可以被分为第一区域和第二区域并且可以被校正。关于第一区域，可以将接近第一区域的源图像的像素用作两个重叠的源图像中的原始图像来校正原始图像。

关于第二区域，可以将接近第二区域的剩余源图像的像素用作两个交叠的源图像中的原始图像来校正原始图像。

因此，可以基于重叠区域来匹配源图像以生成目标图像。

另外，可以根据下面的表达式6来表示第二区域至第八区域上的像素的校正。

[表达式6]

p′2＝p2·{((r1-1).m1+1).c+g1·(1-c)}

p′3＝p3·{((1/r1-1)·m2+1).c+g2·(1-c)}

p′4＝p4·{((r2-1)·m2+1)·c+g2·(1-c)}，

p′5＝p5·{((1/r2-1)·m3+1)·c+g3·(1-c)}

p′6＝p6·{((r3-1)·m3+1)·c+g3·(1-c)}，

p′7＝p7·{((1/r3-1)·m4+1)·c+g4·(1-c)}

p′8＝p8·{((r4-1)·m4+1).c+g4·(1-c)}

图10是用于说明图像匹配装置的第一示例的图。

参照图10，图像匹配装置可以包括用于设置两个不同的图像i1和i2中的重叠区域和非重叠区域的设置单元30、用于提取两个图像中的每个图像中的重叠区域的图像信息b1和b2的提取单元40、用于基于提取的图像信息b1和b2来确定校正参考值c0的确定单元50、用于通过将校正参考值c0作为渐变应用于两个图像i1和i2的重叠区域来执行校正的校正单元52以及用于基于经校正的重叠区域匹配两个校正图像ci1和ci2的匹配单元60。此处，用于匹配两个图像i1和i2的装置被描述为图像匹配装置的示例。当图像匹配装置对两个或更多个图像进行匹配时，可以增加校正每个图像需要的部件的数目。

更详细地，设置单元30可以包括用于接收第一图像i1的第一设置单元32，以在第一图像i1中设置与第二图像i2的重叠区域以及非重叠区域(唯一区域)，以及用于接收第二图像i2的第二设置单元34，以设置第一图像i1和第二图像i2彼此重叠的重叠区域以及非重叠区域(唯一区域)。

提取单元40可以包括用于提取第一图像i1中的重叠区域的第一图像信息b1的第一提取单元42以及用于提取第二图像i2中的重叠区域的第二图像信息b2的第二提取单元44。在这种情况下，由提取单元40获取的第一图像信息b1和第二图像信息b2可以包括在第二图像i2中的与第一图像i1的重叠区域中的亮度信息和对比度信息中的至少一个。然而，第一图像信息b1和第二图像信息b2需要是用于校正的相同类型的信息。

确定单元50可以基于第一图像信息b1和第二图像信息b2来确定校正参考值c0。此处，可以将校正参考值c0确定为多条图像信息b1和b2的平均值、中值、众数和标准偏差中的至少一个。可以基于多条图像信息b1和b2将校正参考值c0确定为彼此的比率。使用该方法确定的校正参考值c0可以用于参考关于不同成像器的信息的校正以校正两个不同的图像i1和i2的重叠区域。

校正单元52可以包括用于基于校正参考值c0来校正第一图像i1以输出第一校正图像ci1的第一校正图像ci1，以及用于基于校正参考值c0来校正第二图像i2以输出第二校正图像ci2的第二校正单元56。在一些实施方式中，第一校正单元54和第二校正单元56可以执行从图像中的非重叠区域与重叠区域之间的边界在图像的边缘的直线方向上应用的线性渐变方法以校正第一图像i1和第二图像i2。

在一些实施方式中，第一校正单元54和第二校正单元56还可以执行从图像中的非重叠区域的中心在图像的边缘的径向方向上应用的非线性渐变方法以校正第一图像i1和第二图像i2。

可以将通过校正单元52校正的第一校正图像ci1和第二校正图像ci2传输至匹配单元60，并且匹配单元60可以基于第一校正图像ci1的重叠区域和第二校正图像ci2的重叠区域来设置第一校正图像ci1和第二校正图像ci2并且然后将两个图像进行组合。通过该方法，匹配单元60可以输出目标图像ti。

图11是用于说明图像匹配装置的第二示例的图。

参照图11，可以使用由前、右、后和左表示的第一转换图像至第四转换图像。此处，明显的是，使用源图像而不是转换图像。每个转换图像可以包括唯一区域和重叠区域。可以将整个重叠区域分为8个部分(第一区域至第八区域)。实线指的是像素值并且虚线指的是标量值。

图像信息获取单元130可以获取重叠区域中的图像的平均亮度。可以基于获取的平均亮度来计算区域之间的亮度比。另外，可以基于亮度比来计算用于比率平衡校正的最佳补偿值。可以基于重叠区域上的边界线处的中心点位置将校正范围设置在0度至90度的角度范围内。最后，可以校正重叠区域上的图像以实现基于角度的渐变。

如上所述，在根据实施方式的图像匹配方法中，可以防止通过典型的阿尔法混合导致的亮度阶梯差异和鬼影现象。可以通过附图确认该效果。

图12a是示出使用阿尔法混合方法匹配的目标图像的示例的图。

参照图12a，目标图像可以对应于30度、60度和90度的校正范围。如从图12a观察的，随着校正范围增加，鬼影现象的程度变得严重。

图12b是用于说明根据实施方式的匹配目标图像的图。

如从图12b和图12a观察的，当使用根据实施方式的图像匹配方法来校正重叠区域的图像时，亮度阶梯差异和鬼影现象的程度变弱。

最后，图12c是用于说明经由阿尔法混合校正的目标图像和根据实施方式校正的目标图像的示例的图。

如从图12c观察的，减少亮度阶梯差异和鬼影现象的效果优于仅使用实施方式的图12b的情况中的效果。

图13是示出参照图12a至图12c更详细地描述的匹配图像的示例的图。如上所述，与应用典型的阿尔法混合方案的情况相比，可以使用由图像匹配装置输出的匹配图像来实现高品质的图像。此处，将更详细地描述要由图像匹配装置或图像处理装置输出的结果。为了便于描述，将描述匹配两个不同的图像92和82以生成一个匹配图像80的示例。

首先，两个不同的图像即第一图像92和第二图像82中的每个可以包括非重叠区域94和84以及重叠区域96和86。此处，第一图像92的重叠区域96和第二图像82的重叠区域86可以彼此重叠。当使用该方法来匹配第一图像92和第二图像82时，可以使用不能从一个摄像机装置获取的信息(连续信息81或者不连续但具有不同方向的信息项)来获取一个图像。

此处，第一图像92和第二图像82由不同的摄像机装置捕获并且具有不同的捕获图像的环境，因此可以具有不同的图像亮度。因此，当不进行任何校正地匹配第一图像92和第二图像82时，提供给用户的信息可能失真或者用户可能由于两个图像之间的亮度差而感到不便。为了克服这种情况，可以部分地调整图像亮度。

例如，第一边界90可以形成在第一图像92的重叠区域96和第二图像82的重叠区域86的中心处，第二边界88形成在第一图像92的重叠区域96与非重叠区域94之间，并且另一第二边界98可以形成在第二图像82的重叠区域86与非重叠区域84之间。

当关于第一图像92和第二图像82中的每个的图像亮度的信息存在时，可以基于该信息来设置校正参考。例如，校正参考可以是平均值、中值、众数和标准偏差中的至少一个。可以将校正参考应用于第一边界90，然后可以基于第一边界90将渐变应用于相对的第二边界88和98以校正第一图像92的重叠区域96和第二图像82的重叠区域86的图像亮度。当第一图像92的重叠区域96和第二图像82的重叠区域86的图像亮度被校正时，然后匹配两个图像即第一图像92和第二图像82，可以从匹配图像80中移除不自然并且可以获取高品质的匹配图像。

在一些实施方式中，在朝向相对的第二边界88和98的方向上应用的渐变可以基于第一边界90是线性的或非线性的。

在一些实施方式中，可以从相对的第二边界88和98在朝向第一边界90的方向上应用渐变以校正图像亮度。

在一些实施方式中，可以在从第一图像92的中心部分93以及第二图像82的中心部分83至第一边界90的线性或径向方向上校正图像亮度。在这种情况下，可以应用线性或非线性渐变。

前述第一边界90、第二边界88和98以及中心部分83和93不是实际上要提供给用户的参考点，而是可以是要由图像处理装置在内部设置以校正图像亮度的虚拟参考。

为了便于描述实施方式，图2或图10分别将部件示出并例示为不同的块，而且每个部件可以被配置为一个块。例如，每个块可以被配置成控制器、处理器等以执行前述一系列操作。

尽管已经具体地示出并描述了示例性实施方式，但是本领域的技术人员将理解的是，在不背离如由所附权利要求限定的本实施方式的主旨和范围的情况下可以进行各种形式和细节上的改变。