专利名称：立体图像处理装置及立体图像处理方法
技术领域：
本发明涉及从拍摄同一对象物的立体图像(基准图像和参考图像)，计算起因于视差的图像的挪动的立体图像处理装置及立体图像处理方法。
背景技术：
以往，已知从使用立体照相机对同一对象物拍摄时的两个图像(基准图像和参考图像)计算图像的挪动，并基于该图像的挪动来测定距对象物的距离的立体图像处理装置。正在研究该立体图像处理装置适用于例如从车载照相机拍摄的前方车辆或行人的立体图像来测定距该车辆或行人的距离的装置等。可是，近年来因照相机(车载照相机等)的小型化的影响，照相机间隔也变小，其结果是，立体图像的挪动也变小。因此，对立体图像处理装置，不断要求高精度的视差运算功能。以往，作为立体图像处理装置中的高精度的立体匹配(立体图像处理的视差运算)的方式，例如提出了一维P0C(Phase Only Correlation ;仅相位相关)方式(例如,参照专利文献I)。在该一维POC方式中，首先，从基准图像及参考图像的各自图像中使用汉宁窗(Hanning window)截取部分图像(一维图像数据串)。接着，截取出的部分基准图像及部分参考图像在被实施一维傅立叶变换而成为傅立叶图像数据后进行合成。接着，合成后的傅立叶图像数据，在将其振幅分量归一化后，实施一维傅立叶逆变换。由此，求相位限定相关系数。然后，基于相位限定相关系数的相关峰值，计算图像的挪动量(视差)。现有技术文献专利文献专利文献1:特开2008-123141号公报
发明内容
`
发明要解决的课题但是，在以往技术中，对于位于远处的行人等的、在立体图像上所占有的基线长度方向上的图像区域的大小(以下，称为‘基线长度方向的图像区域大小’)小的对象物，有难以高精度地计算视差的课题。因为在基线长度方向的图像区域大小小的情况下，为了降低背景周围的图像的影响而需要减小一维图像数据串，但一维图像数据串越小，上述相关峰值的精度越低。本发明鉴于这样的方面而完成，目的在于提供即使对于基线长度方向的图像区域大小小的对象物，也可以高精度地计算视差的立体图像处理装置及立体图像处理方法。用于解决课题的方案本发明的一形态的立体图像处理装置，计算构成立体图像的基准图像和参考图像之间的子像素单位的挪动量，包括:截取装置，将第I窗函数适用于截取对象位置，从所述基准图像中截取子像素估计用单位基准图像，适用所述第I窗函数或所设定的第2窗函数，从所述参考图像中截取子像素估计用单位参考图像；计算装置，基于由所述截取出的子像素估计用单位基准图像的亮度值构成的数据串、和由所述截取出的子像素估计用单位参考图像的亮度值构成的数据串之间的相位差，计算所述子像素单位的挪动量；以及窗函数设定装置，基于由所述计算装置计算出的子像素单位的挪动量，对所述截取装置设定通过移动所述第I窗函数形成的所述第2窗函数。本发明的一形态的立体图像处理方法，用于计算构成立体图像的基准图像和参考图像之间的子像素单位的挪动量，包括截取步骤，将第I窗函数适用于截取对象位置，从所述基准图像中截取子像素估计用单位基准图像，适用所述第I窗函数或所设定的第2窗函数，从所述参考图像中截取子像素估计用单位参考图像；计算步骤，基于由所述截取出的子像素估计用单位基准图像的亮度值构成的数据串、和由所述截取出的子像素估计用单位参考图像的亮度值构成的数据串之间的相位差，计算所述子像素单位的挪动量；以及窗函数设定步骤，基于由所述计算步骤计算出的子像素单位的挪动量，通过移动所述第I窗函数而形成并设定所述第2窗函数。发明效果根据本发明，能够提供即使对于基线长度方向的图像区域大小小的对象物，也可以高精度地计算视差的立体图像处理装置及立体图像处理方法。
图1是表示本发明的实施方式I的立体图像处理装置的结构的方框图。图2是表示滤波器单元的结构的方框图。图3是表示高精度滤波器单元的结构的方框图。图4是用于说明立体图像处理装置的动作的流程图。图5是用于说明图像匹配(matching)单元的处理的图。图6是表示子像素单位运算处理的细节的流程图。图7是用于说明子像素单位运算处理的概念的图。图8是用于说明子像素单位运算处理的概念的图。图9是用于说明窗移动单元的处理的概念的图。图10是用于说明窗移动单元的处理的概念的图。图11是表示本发明的实施方式2的立体图像处理装置的结构的方框图。图12是用于说明立体图像处理装置的动作的流程图。标号说明100、900立体图像处理装置101立体图像获取单元102图像匹配单元103滤波器单元104、106峰值位置检测单元105高精度滤波器单元402,412图像截取单元403,413 滤波单元411窗函数移动(shift)单元
901高精度滤波器执行判定单元902输出单元
具体实施例方式以下，参照附图详细地说明本发明的实施方式。再有，在实施方式中，对同一结构要素附加同一标号，由于其说明重复而省略。再有，将图像横方向设为X轴，将图像纵方向设为Y轴，I像素为I坐标点来说明。[实施方式I][立体图像处理装置100的结构]图1表示本发明的实施方式I的立体图像处理装置100的结构。在图1中，立体图像处理装置100包括立体图像获取单元101 ;图像匹配单元102 ;滤波器单元103 ;峰值位置检测单元104、106 ;以及高精度滤波器单元105。立体图像获取单元101获取由两个以上的摄像系统(即，照相机)拍摄的立体图像。在立体图像中，包含通过两个不同的摄像系统拍摄同一对象物所得的基准图像和参考图像。而且，立体图像获取单元101将获取的立体图像输出到图像匹配单元102、滤波器单元103、以及高精度滤波器单元105。再有，在本实施方式中，假定立体图像获取单元101获取通过基线长度方向与水平方向大致一致的两个照相机拍摄的立体图像。图像匹配单元102获取参考图像对基准图像的基准点的像素级的对应点。具体地说，图像匹配单元102通过对于在立体图像获取单元101中获取的基准图像及参考图像进行图像匹配处理，获取参考图像对基准图像的基准点的像素级的对应点。然后，图像匹配单元102计算基准图像和参考图像之间的‘像素级的挪动量n’。另一方面，通过后述的峰值位置检测单元104及峰值位置检测单元106得到的、基准图像和参考图像之间的‘视差’的单位为子像素。即，在图像匹配单元102中，以‘像素单位’粗略地检测基准图像和参考图像之间的挪动，然后，通过峰值位置检测单元104及峰值位置检测单元106，以‘子像素单位’仔细地检测基准图像和参考图像之间的挪动。具体地说，图像匹配单元102将基准图像中包含的规定的I像素设为‘基准点’，从基准图像中截取以基准点为中心的周边的部分图像(以下，称为‘单位基准图像’)。此外，图像匹配单元102从参考图像中截取多个与单位基准图像为相同大小的部分图像(以下，称为‘单位参考图像’)。在参考图像中，从不同的位置截取多个单位参考图像。为了截取单位基准图像和基准参考图像，例如，采用规定大小的矩形窗(纵大小wv像素，横大小wh像素)的矩形窗。再有，以下，将规定该矩形窗的窗函数称为‘像素单位估计用窗函数’。在立体照相机的情况下，仅在照相机的基线长度方向上产生基准图像和参考图像之间的视差。因此，图像匹配单元102变更在基线长度方向上截取的位置，截取多个单位参考图像即可。而且，基准图像中的基准点的位置和参考图像的对应点的位置之间的挪动量，作为上述像素单位的挪动量n来计算。图像匹配单元102在截取出的多个单位参考图像之中，决定与单位基准图像的匹配度最大的单位参考图像。与决定的单位参考图像中的‘基准点’对应的I像素，成为参考图像中的‘像素级的对应点’。作为表示匹配度的指标，例如，采用意味着亮度差异性的SAD (Sum of Absolute Differences ;绝对值差的总和)的值。
滤波器单元103将来自图像匹配单元102的基准点及挪动量n、以及来自立体图像获取单元101的立体图像作为输入。而且，滤波器单元103基于基准图像和基准点的位置计算反相滤波器系数，使用计算出的反相滤波器系数，进行对参考图像的像素级的对应点周围的滤波处理。图2表示滤波器单元103的结构。在图2中，滤波器单元103包括图像截取单元402和滤波单元403。图像截取单元402在立体图像的基线长度方向上，从基准图像中截取部分图像作为子像素估计用单位基准图像。为了截取子像素估计用单位基准图像，采用子像素单位估计用窗函数。作为子像素估计用窗函数，例如，可以使用汉宁窗的窗函数。此外，图像截取单元402使用子像素单位估计用窗函数，从参考图像中，截取与子像素估计用单位基准图像同一大小的部分图像作为子像素估计用单位参考图像。而且，图像截取单元402将子像素估计用单位基准图像和子像素估计用单位参考图像输出到滤波单元403。再有，在本实施方式中，假定图像截取单元402决定基准图像中的图像的截取位置，以在子像素估计用单位基准图像中包含基准点。此外，假定图像截取单元402决定图像的截取位置，以在子像素估计用单位参考图像中包含像素级的对应点。滤波单元403计算将由图像截取单元402截取出的子像素估计用单位基准图像的各像素值的位置在前后方向上反转所得的反相滤波器系数。而且，滤波单元403使用计算出的反相滤波器系数，进行对子像素估计用单位参考图像的滤波处理。而且，滤波器生成单元403将滤波处理的结果(以下，称为‘滤波结果’)输出到峰值位置检测单元104。峰值检测单元104在从滤波器单元103接受的滤波结果中，获取子像素估计用单位基准图像和子像素估计用单位参考图像之间的相关度最高的相对位置关系。而且，峰值位置检测单元104基于获取的相对位置关系，计算子像素估计用单位基准图像和相对基准点的子像素估计用单位参考图像中的像素级的对应点之间的视差(挪动量)。高精度滤波器单元105将来自图像匹配单元102的基准点及挪动量n、来自立体图像获取单元101的立体图像、以及来自峰值位置检测单元104的子像素单位的挪动量作为输入。而且，与滤波器单元103同样，高精度滤波器单元105基于子像素估计用单位基准图像计算反相滤波器系数，使用计算出的反相滤波器系数，对子像素估计用单位参考图像进行滤波。即，与滤波器单元103同样，高精度滤波器单元105首先从基准图像中截取子像素估计用单位基准图像，并从子像素估计用单位基准图像计算反相滤波器系数。即，基于从基准图像中提取的子像素估计用单位基准图像，计算反相滤波器系数。但是，接着，与滤波器单元103不同，高精度滤波器单元105通过将滤波器单元103中子像素估计用单位参考图像的截取上使用的子像素单位估计用窗函数，进行相当于从峰值位置检测单元104输入的子像素单位的挪动量的移动，形成在高精度滤波器单元105中子像素估计用单位参考图像的截取上使用的子像素单位估计用移动窗函数。而且，高精度滤波器单元105使用子像素单位估计用移动窗函数，从参考图像中截取子像素估计用单位参考图像，使用计算出的反相滤波器系数，对于子像素估计用单位参考图像进行滤波处理，将滤波结果输出到峰值位置检测单元106。
图3表示高精度滤波器单元105的结构。在图3中，高精度滤波器单元105包括窗函数移动单元411、图像截取单元412、以及滤波单元413。窗函数移动单元411通过将滤波器单元103中子像素估计用单位参考图像的截取上使用的子像素单位估计用窗函数，移动相当于峰值位置检测单元104中计算出的子像素单位的挪动量，形成在高精度滤波器单元105中用于子像素估计用单位参考图像的截取的子像素单位估计用移动窗函数。图像截取单元412从基准图像中截取包含基准点的子像素估计用单位基准图像。此外，图像截取单元412使用在窗函数移动单元411中形成的子像素单位估计用移动窗函数，从参考图像中截取包含对应点(即，在参考图像中从与基准点相同的坐标起挪动了挪动量n的点)的子像素估计用单位参考图像。即，图像截取单元412与图像截取单元402具有基本上相同的功能。滤波单元413根据图像截取单元412中截取出的子像素估计用单位基准图像计算反相滤波器系数。而且，滤波单元413对于子像素估计用单位参考图像，使用计算出的反相滤波器系数进行滤波处理，将滤波结果输出到峰值位置检测单元106。S卩，滤波单元413与滤波单兀403具有基本上相同的功能。返回到图1，峰值位置检测单元106通过检测从高精度滤波器单元105接受的滤波结果中的峰值的位置，计算基准图像和参考图像之间的子像素单位的挪动量。这里，峰值是滤波结果为最大值的位置。[立体图像处理装置100的动作]下面说明具有以上结构的立体图像处理装置100的动作。再有，以下，将图像横方向设为X轴，将图像纵方向设为Y轴，I像素为I坐标点来说明。此外，为了便于说明，假定核线(bipolar line)方向(基线长度方向)在全体图像中平行于X轴。图4是用于说明立体图像处理装置100的动作的流程图。再有，在以下，说明基准图像中的某一个基准点的处理，而立体图像处理装置100在基准图像的整体中使基准点依次移动，对于测距对象区域内的全部像素进行以下步骤SI S9的动作。<分析基准位置决定处理>在步骤SI中，图像匹配单元102决定在测距对象区域中作为分析的对象的基准点的位置(以下，称为‘分析基准位置’)。<单位基准图像的截取处理>在步骤S2中，图像匹配单元102从立体图像获取单元101接受的基准图像中，截取单位基准图像。单位基准图像是将步骤SI中决定的分析基准位置(即，基准点)作为基准的部分区域的图像(图像区域)。单位基准图像的大小的单位是像素。即，单位基准图像是多个像素行(像素行)X多个像素列(像素列)的图像。<搜索范围及搜索开始位置的决定处理>在步骤S3中，图像匹配单元102基于步骤SI中决定的分析基准位置，决定参考图像中的搜索范围及搜索开始位置。立体图像的视差，根据照相机间的距离即基线长度和透镜的焦距、以及从立体照相机到对象物的距离来决定。因此，图像匹配单元102也可以基于从立体照相机到要测距的对象物的距离来决定搜索范围。此外，位于距立体照相机无限远的对象物在基准图像和参考图像的相同的位置被拍摄，所以图像匹配单元102也可以将与基准图像中的基准点相同的坐标作为参考图像中的搜索开始位置来设定。〈单位参考图像的截取处理〉在步骤S4中，图像匹配单元102决定截取基准位置，从参考图像中截取与单位基准图像相同大小的单位参考图像。图像匹配单元102将步骤S3中决定的搜索开始位置例如决定为最初的截取基准位置，以后使截取基准位置不断移动。<匹配度的计算处理>在步骤S5中，图像匹配单元102计算单位基准图像和单位参考图像之间的匹配度。为了该匹配度，例如使用表示亮度差异性的SAD值或亮度相似性。〈搜索范围的结束判 定处理〉在步骤S6中，图像匹配单元102进行对搜索范围的处理的结束判定处理。即，图像匹配单元102判定通过截取基准位置的移动是否网罗了搜索范围。这里，在判定为搜索范围未结束的情况下(步骤S6 否”)，图像匹配单元102返回到步骤S4。其结果，图像匹配单元102使截取基准位置在搜索范围内移动，以使步骤S4中的单位参考图像的截取区域挪动。由此，重复步骤S4 S6的处理，直至搜索范围结束(步骤S6 是”)。<匹配度的最大位置>在步骤S7中，图像匹配单元102基于由步骤S4 S6的处理得到的多个匹配度，确定匹配度为最大的单位参考图像的位置。在使用亮度差异性作为匹配度的情况下，图像匹配单元102检测亮度差异性非极小而为最小的单位参考图像。这里，参照图5具体地说明步骤S2 步骤S7的处理。如图5所示，图像匹配单元102在上述步骤S2中，将以分析基准位置(基准点)(xa, ya)为中心的周围的部分图像作为单位基准图像截取。为了截取该单位基准图像，使用以像素单位估计用窗函数规定的、预定大小(纵大小像素，横大小:wh像素)的矩形窗。此外，这里，作为使由像素单位估计用窗函数规定的矩形窗的中心和分析基准位置一致的情况来进行说明，但严格地说即使不是中心也可以，只要在矩形窗的中心附近存在分析基准位置即可。接着，图像匹配单元102在上述步骤S3中，基于步骤SI中决定的分析基准位置，决定参考图像中的搜索范围和搜索开始位置。搜索开始位置(在参考图像中截取单位参考图像的初始坐标)，例如使用与基准图像中的分析基准位置相同的坐标(xa，ya)。接着，如图5所示，图像匹配单元102依次挪动截取的基准位置，同时在步骤S4中，将以搜索开始位置为中心的周边的部分图像从参考图像中作为单位参考图像来截取。截取的基准位置，在这里为每次挪动I像素。在该单位参考图像的截取上，使用与在单位基准图像的截取中所使用的矩形窗相同的矩形窗。即，为了截取单位基准图像和单位参考图像，使用以相同像素单位估计用窗函数规定的矩形窗。然后，图像匹配单元102在上述步骤S5中，计算单位基准图像和各单位参考图像之间的匹配度。对于该匹配度，例如，使用表示亮度差异度的SAD值。该SAD值根据下式
(I)计算。
权利要求
1.立体图像处理装置，计算构成立体图像的基准图像和参考图像之间的子像素单位的挪动量，包括: 截取装置，将第I窗函数适用于截取对象位置，从所述基准图像中截取子像素估计用单位基准图像，适用所述第I窗函数或所设定的第2窗函数，从所述参考图像中截取子像素估计用单位参考图像； 计算装置，基于由所述截取出的子像素估计用单位基准图像的亮度值构成的数据串、和由所述截取出的子像素估计用单位参考图像的亮度值构成的数据串之间的相位差，计算所述子像素单位的挪动量；以及 窗函数设定装置，基于由所述计算装置计算出的子像素单位的挪动量，对所述截取装置设定通过移动所述第I窗函数形成的所述第2窗函数。
2.权利要求1所述的立体图像处理装置， 所述计算装置通过使所述截取出的子像素估计用单位基准图像的亮度值构成的数据串的数据顺序反转来计算反相滤波器系数，使用所述反相滤波器系数对于由所述子像素估计用单位参考图像的亮度值构成的数据串进行滤波，基于滤波结果的峰值位置来计算所述子像素单位的挪动量。
3.权利要求1所述的立体图像处理装置，还包括: 判定装置，根据基于由所述第I窗函数截取出的子像素估计用单位基准图像及子像素估计用单位参考图像计算出的所述子像素单位的挪动量，判定是否执行所述窗函数设定装置的处理。
4.立体图像处理方法，用于计算构成立体图像的基准图像和参考图像之间的子像素单位的挪动量，包括: 截取步骤，将第I窗函数适用于截取对象位置，从所述基准图像中截取子像素估计用单位基准图像，适用所述第I窗函数或所设定的第2窗函数，从所述参考图像中截取子像素估计用单位参考图像； 计算步骤，基于由所述截取出的子像素估计用单位基准图像的亮度值构成的数据串、和由所述截取出的子像素估计用单位参考图像的亮度值构成的数据串之间的相位差，计算所述子像素单位的挪动量；以及 窗函数设定步骤，基于由所述计算步骤计算出的子像素单位的挪动量，通过移动所述第I窗函数而形成并设定所述第2窗函数。
全文摘要
提供对于基线长度方向的图像区域小的对象物，也能够高精度地计算视差的立体图像处理装置及立体图像处理方法。窗函数移动单元(411)基于由峰值位置检测单元(104)计算出的子像素单位的挪动量，对图像截取单元(412)设定通过移动第2窗函数形成的第3窗函数。图像截取单元(412)将第2窗函数适用于截取对象位置，从基准图像中截取子像素估计用单位基准图像，并适用第2窗函数或由窗函数移动单元(411)设定的第3窗函数，从参考图像中截取子像素估计用单位参考图像。峰值位置检测单元(106)基于由截取出的子像素估计用单位基准图像的亮度值构成的数据串、和由截取出的子像素估计用单位参考图像的亮度值构成的数据串之间的相位差，计算子像素单位的挪动量。
文档编号G01C3/06GK103080973SQ201180040250
公开日2013年5月1日 申请日期2011年12月19日 优先权日2010年12月20日
发明者南里卓也, 丸谷健介, 黑河久 申请人:松下电器产业株式会社