专利名称：图像处理装置及图像处理方法
技术领域：
本发明涉及将多个图像合成来生成高画质的图像的图像处理装置及图像处理方法。
背景技术：
目前，作为谋求改善拍摄图像的画质的技术，已知有由拍摄同一对象得到的两个图像生成合成图像的技术(例如参照专利文献I)。专利文献I记载的技术(以下称作“现有技术”)中，从拍摄同一对象的短时间曝光图像和长时间曝光图像按每个对应的像素对使像素值重叠，由此生成合成图像。此时，现有技术中，对长时间曝光图像中的物体的边缘的抖动范围提高短时间曝光图像的像素值的比率。短时间曝光图像的噪声多，但边缘清晰。长时间曝光图像的边缘不清晰，但噪声少。因此，现有技术中，可以作为整体将像素值的动态范围设为2倍，并且生成发挥了两图像的优点的合成图像。现有技术文献专利文献专利文献1:日本特开2007-324770号公报
发明内容
发明所要解决的问题但是，现有技术具有如下问题，在长时间曝光图像中，运动物体的抖动或相机抖动带来的拍摄对象的抖动残留于合成图像中，结果导致拍摄物体边界不清晰。这是因为仅由边缘信息无法判定物体的边界，可以在跨边界的范围内进行合成等计算处理。本发明的目的在于，提供一种图像处理装置及图像处理方法，能够抑制拍摄物体边界的不清晰并扩大动态范围，改善拍摄图像的画质。用于解决问题的方案本发明提供一种图像处理装置，其由通过拍摄得到的两个图像生成合成图像，其具有图像/距离获取单元，其获取所述两个图像间的对应像素对和所述对应像素对的深度信息及匹配得分；权重信息计算单元，其对每个所述对应像素对，基于所述深度信息及所述匹配得分对包含该对应像素对作为关注像素的规定区域范围的各像素决定权重；以及像素值重叠单元，其对所述两个图像的至少一个图像，按每个所述对应像素对，在所述规定区域范围对像素值适用所述权重并进行平滑化，且用通过所述平滑化得到的值置换所述规定区域范围的所述关注像素的像素值，并以像素为单位将所述两个图像重叠。本发明提供一种图像处理方法，其由通过拍摄得到的两个图像生成合成图像，其包括获取所述左眼图像和所述右眼图像之间的对应像素对和所述对应像素对的深度信息及匹配得分的步骤；对每个所述对应像素对，基于所述深度信息及所述匹配得分对包含该对应像素对作为关注像素的规定区域范围的各像素决定权重的步骤；对所述两个图像的至少一个图像，按每个所述对应像素对，在所述规定区域范围对像素值适用所述权重并进行平滑化，用通过所述平滑化得到的值置换所述规定区域范围的所述关注像素的像素值，并以像素为单位将所述两个图像重叠的步骤。发明效果根据本发明，能够抑制拍摄物体边界的不清晰化并扩大动态范围，改善拍摄图像的画质。
图1是表示本发明实施方式I的图像处理装置的结构的框图；图2是表示包含本发明实施方式2的图像处理装置的拍摄系统的结构的系统结构图；图3是表示本发明实施方式2的图像处理装置的结构之一例的框图；图4是表示本发明实施方式2的利用范围尺寸信息的内容之一例的图；图5是表不本发明实施方式2的权重设定信息的内容例的第一图；图6是表示本发明实施方式2的权重设定信息的内容例的第二图；图7是表示本发明实施方式2的图像处理装置的动作之一例的流程图；图8是表示本发明实施方式2的图像校准处理之一例的流程图；图9是示意性表示本发明实施方式2的图像校准处理的情形的图；图10是表示本发明实施方式2的权重计算处理之一例的流程图；图11是表示本发明实施方式2的合成图像生成处理之一例的流程图；图12是示意性表示本发明实施方式2的归一化后权重及平滑化后像素值的计算的情形的图。符号说明100图像处理装置200图像/距离获取单元210区域分割单元220分割区域特征点提取单元230图像特征点提取单元240区域网格生成单元250区域变形单元260利用范围计算单元300权重信息计算单元400像素值重叠单元410色调/范围调整单元420图像输出单元500拍摄系统510立体相机520图像显示装置
具体实施例方式下面，参照附图详细说明本发明的各实施方式。(实施方式I)本发明的实施方式I是本发明的基本方式之例。图1是表示本实施方式的图像处理装置的结构的框图。图1中，图像处理装置100是由通过同时拍摄得到的两个图像生成合成图像的装置。图像处理装置100具有图像/距离获取单元200、权重信息计算单元300及像素值重叠单元400。图像/距离获取单元200获取同时拍摄的两个图像之间的对应像素对和对应像素对的深度信息及匹配得分。此外，对应像素对是一图像的像素和另一图像的像素的组中被估计为拍摄同一位置(同一点)的像素的组。另外，深度①印访)信息是表示从进行上述立体拍摄的立体相机到像素拍摄的对象(点)的推定距离(以下简称为“距离”)的信息。另外，匹配得分是表示似然度的值，该似然度是表示一图像的像素和另一图像的像素为同一物体或背景部分的似然度。权重信息计算单元300对每个对应像素对，基于深度信息及匹配得分对包含该对应像素对作为关注像素的规定区域范围的各像素决定权重。像素值重叠单元400对两个图像的至少一个图像，按每个对应像素对在上述规定区域范围，对像素值适用权重并进行平滑化(加权和)。而且，像素值重叠单元400用通过平滑化得到的值置换该规定区域范围的关注像素的像素值，并以像素为单位将两个图像重叠(相加)。此外，图像处理装置100例如分别具有CPU(central processing unit,中央处理器)、存储控制程序的ROM (read only memory,只读存储器)等存储介质及RAM (randomaccess memory,随机存取存储器)等工作存储器。该情况下，上述各装置部的功能通过CPU执行控制程序而与硬件协作实现。这样的图像处理装置100由同时拍摄到的两个拍摄图像生成合成图像。另外，图像处理装置100按每个对应像素对将对包含该对应像素对的规定区域范围的像素值平滑化而得到的值重叠，生成合成图像。另外，图像处理装置100在进行该平滑化之前将基于深度信息而决定的权重适用于各像素。由此，图像处理装置100由于使用深度信息，因此，可以在将距离不同的物体的边缘的内侧部分和外侧部分分开的状态下进行用于除去噪声的平滑化并生成合成图像。即，图像处理装置100可以抑制拍摄物体边界的不清晰化并扩大动态范围，改善拍摄图像的画质。此外，本实施方式的图像处理装置100例如通过适用于立体相机可实现同时拍摄被摄体的无移动错位等的两个图像，且不需要用于图像拍摄的特别的装置。即，图像处理装置100通过对已有的立体相机进行轻微的变更，可以得到抑制边界的不清晰度并扩大动态范围的上述效果。(实施方式2)本发明的实施方式2是作为本发明的具体的方式将本发明的图像处理装置适用于使用立体相机进行拍摄的拍摄系统的例子。首先，对本实施方式的图像处理装置及包含该图像处理装置的拍摄系统的结构进行说明。图2是表示包含本发明的实施方式2的图像处理装置的拍摄系统的结构的系统结构图。图2中，拍摄系统500具有立体相机510、图像处理装置100及图像显示装置520。立体相机510通过立体拍摄，同时获取左眼图像及右眼图像(以下适宜称作“立体图像”)，将所获取的立体图像通过 有线通信或无线通信输出到图像处理装置100。立体相机510例如是具备CMOS (complementary metal oxidesemiconductor,互补金属氧化物半导体)等图像传感器的立体数码摄像机。图像处理装置100对所输入的左眼图像及右眼图像中的至少一个图像，按立体图像的每个对应像素对，在包含该对应像素对的规定区域范围(以下称作“利用范围”)对像素值适用权重并进行平滑化。而且，图像处理装置100用通过平滑化得到的值置换该利用范围的关注像素的像素值，并以像素为单位将左眼图像和右眼图像重叠(相加)。此时，图像处理装置100对利用范围内的每个像素基于其深度信息决定权重。成为重叠的对象的像素值例如是每个颜色的亮度值。图像处理装置100对每个对应像素对，将所得到的重叠结果设为新的像素值，由此生成合成图像。而且，图像处理装置100将所生成的合成图像通过有线通信、无线通信或经由可拆装的信息存储介质的传输等输出到图像显示装置520。图像显示装置520将所输入的合成图像显示于画面。图像显示装置520例如是液晶显示装置。这样的拍摄系统500可进行立体拍摄，从同时得到的立体图像生成改善了画质的合成图像并进行显示。此外，在本实施方式中，拍摄系统500以左眼图像为基准图像生成合成图像。图3是表示图像处理装置100的结构之一例的框图。图3中，图像处理装置100具有图像/距离获取单元200、区域分割单元210、分割区域特征点提取单元220、图像特征点提取单元230、区域网格生成单元240、区域变形单元250、利用范围计算单元260、权重信息计算单元300、像素值重叠单元400、色调/范围调整单元410及图像输出单元420。图像/距离获取单元200从立体相机510 (参照图2)获取立体图像。而且，图像/距离获取单元200对左眼图像的所有像素获取立体图像的对应像素对、深度信息以及匹配得分。具体而言，例如，图像/距离获取单元200在左眼图像和右眼图像之间进行图像匹配，按左眼图像的像素和右眼图像的像素的每个组合计算匹配得分。匹配得分是表示左眼图像的像素和右眼图像的像素是拍摄同一物体或背景部分的似然度的值。作为图像匹配的手法，例如可以使用将两图像区块化且求区块间的一致度的方法。该情况下，可以将基于这种一致度的值作为匹配得分使用。作为区块间的一致度的评价方法，例如可使用亮度差的总和(SAD SumofAbsolute Difference)、亮度值的平方和(SSD :Sum of Squared Difference)、或归一化互相关(NCC !Normalized Cross-Correlation)。
SAD例如通过以下的式(I)表示为M(XL, Xe)。在此，(xL, yL)和(xR, yR)是对应像素对在左眼图像中的坐标及在右眼图像中的坐标。L是对应像素对的在左眼图像中的像素值(例如亮度值)，Ik是对应像素对的在右眼图像中的像素值(例如亮度值)。[式I]
权利要求
1.图像处理装置，由通过拍摄得到的两个图像生成合成图像，其具有图像/距离获取单元，其获取所述两个图像间的对应像素对和所述对应像素对的深度信息及匹配得分；权重信息计算单元，其对每个所述对应像素对，基于所述深度信息及所述匹配得分对包含该对应像素对作为关注像素的规定区域范围的各像素决定权重；以及像素值重叠单元，其对所述两个图像的至少一个图像，按每个所述对应像素对，在所述规定区域范围对像素值适用所述权重并进行平滑化，且用通过所述平滑化得到的值置换所述规定区域范围的所述关注像素的像素值，并以像素为单位将所述两个图像重叠。
2.如权利要求1所述的图像处理装置，所述权重信息计算单元，对所述关注像素及所述规定区域范围的所述关注像素以外的像素即周边像素决定所述权重，所述权重为该像素的所述深度信息和所述关注像素的所述深度信息之间的距离差值越大则其值越低的权重。
3.如权利要求2所述的图像处理装置，还具有利用范围计算单元，该利用范围计算单元对每个所述对应像素对，以该对应像素对的所述匹配得分越低则范围越宽的方式决定所述规定区域范围。
4.如权利要求3所述的图像处理装置，所述权重信息计算单元以每个所述对应像素对的所述规定区域范围中的所述权重的总和恒定的方式决定所述权重。
5.如权利要求4所述的图像处理装置，所述利用范围计算单元将以所述关注像素为中心的同心圆状的区域决定为所述规定区域范围，所述权重信息计算单元将所述距离差值为规定阈值以上的所述周边像素的所述权重设为O。
6.如权利要求5所述的图像处理装置，所述权重信息计算单元使用所述关注像素的所述距离差值越小则值越小的所述规定阈值。
7.如权利要求6所述的图像处理装置，还具有区域分割单元，获取所述两个图像间的对应图像区域对；以及区域变形单元，对于每个所述对应图像区域对，使所述合成图像中的区域形状一致。
8.如权利要求1所述的图像处理装置，所述两个图像为通过立体图像得到的左眼图像及右眼图像。
9.图像处理方法，由通过拍摄得到的两个图像生成合成图像，其包括获取所述两个图像间的对应像素对和所述对应像素对的深度信息及匹配得分的步骤；对每个所述对应像素对，基于所述深度信息及所述匹配得分对包含该对应像素对作为关注像素的规定区域范围的各像素决定权重的步骤；以及对所述两个图像的至少一个图像，按每个所述对应像素对，在所述规定区域范围对像素值适用所述权重并进行平滑化，且用通过所述平滑化得到的值置换所述规定区域范围的所述关注像素的像素值，并以像素为单位将所述两个图像重叠的步骤。
全文摘要
在抑制拍摄物体边界的不清晰化的状态下改善拍摄图像的画质。图像处理装置(100)具有图像/距离获取单元(200)，其获取左眼图像和右眼图像间的对应像素对和对应像素对的深度信息及匹配得分；权重信息计算单元(300)，其对每个对应像素对，基于深度信息及匹配得分对包含该对应像素对作为关注像素的规定区域范围的各像素决定权重；像素值重叠单元(400)，其对两个图像的至少一个图像，按每个对应像素对，在所述规定区域范围对像素值适用权重并进行平滑化，且用通过平滑化得到的值置换规定区域范围的关注像素的像素值，然后以像素为单位将两个图像重叠。
文档编号G06T5/00GK103026380SQ20128000214
公开日2013年4月3日 申请日期2012年3月23日 优先权日2011年4月8日
发明者早田启介, 富田裕人, 木村智生 申请人:松下电器产业株式会社