行 数和像素列数与像素匹配基准像素数据相同的像素匹配参照像素数据。
[0191] 图像匹配单元107b将步骤S2030b中所确定的查找开始位置确定为例如最初的剪 切位置，然后使剪切位置移动。
[0192] <匹配度的计算处理>
[0193] 在步骤S2050b中，图像匹配单元107b计算像素匹配基准像素数据与像素匹配参 照像素数据之间的匹配度。例如使用表示亮度差异度的SAD值或亮度类似度作为该匹配 度。
[0194] 此外，匹配度的指标并不限定于SAD值，只要能够用作匹配度的指标，则能够使用 其他指标。例如，图像匹配单元l〇7b还可以使用SSD(Sum of Squared Differences,差方 和）作为匹配度的指标。
[0195] <查找范围的结束判定处理>
[0196] 在步骤S2060b中，图像匹配单元107b进行对查找范围的处理的结束判定处理。 艮P，图像匹配单元107b判定是否由于剪切位置移动而包含了整个查找范围。
[0197] 图像匹配单元107b在对查找范围的处理尚未结束的情况下（S2060b :"否"），返 回步骤S2040b。其结果是，图像匹配单元107b使剪切位置在查找范围内移动，以使步骤 S2040b中的像素匹配参照像素数据的剪切区域偏移。这样，反复进行步骤S2040b~S2060b 的处理，直到对查找范围的处理结束为止（S2060b :"是"）。
[0198] <匹配度最大的参照位置检测处理>
[0199] 在步骤S2070b中，图像匹配单元107b基于通过步骤S2040b~S2060b的处理得 到的多个匹配度，确定剪切位置。即，图像匹配单元107b确定匹配度达到最大的像素匹配 参照像素数据的剪切位置。
[0200] 在使用亮度差异度作为匹配度的情况下，图像匹配单元107b确定亮度差异度达 到极小或最小的像素匹配参照像素数据的剪切位置。接着，图像匹配单元l〇7b将匹配度达 到最大的剪切位置确定为相对于基准点的参照图像的对应点。
[0201] 这里，示意地说明直到检测出匹配度最大的位置为止的处理（图10的步骤 S2010 ~S2070b)的概要。
[0202] 图11是表示直到检测出匹配度最大的位置为止的处理的概要的示意图。
[0203] 如图IlA所示，图像匹配单元107b剪切以分析基准位置（基准点）（xa，ya) 311为 中心的周边的局部图像作为像素匹配基准像素数据312 (图10的步骤S2020b)。在该像素 匹配基准像素数据312的剪切中，使用规定大小（纵大小：wv像素，横大小：wh像素）的矩 形窗313。此外，在这里，说明使由第一窗函数规定的矩形窗313的中心与分析基准位置311 一致，但也可并非严格为中心。即，分析基准位置311只要存在于矩形窗313的中心附近即 可。
[0204] 接着，图像匹配单元107b基于确定的分析基准位置（图10的步骤S2010b)，确定 参照图像中的查找范围和查找开始位置（图10的步骤S2030b)。查找开始位置（参照图像 中的剪切像素匹配参照像素数据的初始坐标）例如使用与基准图像中的分析基准位置相 同的坐标（xa, ya)。
[0205] 接着，如图IlB所示，图像匹配单元107b在切取基准位置321，从参照图像剪切 以查找开始位置为中心的周边的局部图像作为像素匹配参照像素数据322(图10的步骤 S2040b)。在该单位参照图像322的剪切中，使用与在像素匹配基准像素数据的剪切中所使 用的矩形窗313相同的矩形窗。
[0206] 然后，如图IlC所示，图像匹配单元107b计算像素匹配基准像素数据312和各像 素匹配参照像素数据322之间的匹配度（图10的步骤S2050b)。例如使用表示亮度差异度 的SAD值作为该匹配度。通过以下的式（3)计算出该SAD值。
【主权项】
1. 立体图像处理装置，包括： 立体图像获取单元，获取立体图像的基准图像和参照图像； 图像剪切单元，分别从所述基准图像和所述参照图像，剪切与所述立体图像的基线长 度方向平行的局部图像，并获取表示所述局部图像的所述基线长度方向上的像素值的分布 的一维像素数据串； 相位校正单元，分别对于基准像素数据和参照像素数据进行相位校正处理，该基准像 素数据是从所述基准图像获取的所述一维像素数据串，该参照像素数据是从所述参照图像 获取的所述一维像素数据串，所述相位校正处理是在对于所述基准像素数据进行处理时， 使该基准像素数据的值更加左右对称的处理； 开窗单元，分别对于相位校正完毕基准像素数据和相位校正完毕参照像素数据进行开 窗，所述相位校正完毕基准像素数据是对于所述基准像素数据进行所述相位校正处理所得 的数据，所述相位校正完毕参照像素数据是对于所述参照像素数据进行所述相位校正处理 所得的数据； 相位相关单元，计算表示开窗完毕基准像素数据和开窗完毕参照像素数据之间的相关 程度的相位相关值，所述开窗完毕基准像素数据是对于所述相位校正完毕基准像素数据进 行所述开窗所得的数据，所述开窗完毕参照像素数据是对于所述相位校正完毕参照像素数 据进行所述开窗所得的数据；W及 峰值位置检测单元，基于所述相位相关值，计算所述参照图像的对应点相对于所述基 准图像的基准点的视差。
2. 如权利要求1所述的立体图像处理装置， 所述相位校正单元包括： 基准像素数据零相位化单元，对于所述基准像素数据，通过进行使各频率成分的相位 归零的零相位化处理，计算所述相位校正完毕基准像素数据； 相位校正滤波器计算单元，基于所述基准像素数据及所述相位校正完毕基准像素数 据，计算在适用于所述基准像素数据时使该基准像素数据的值左右对称的相位校正滤波 器；W及 参照像素数据相位校正单元，通过对于所述参照像素数据适用所述相位校正滤波器， 计算所述相位校正完毕参照像素数据。
3. 如权利要求2所述的立体图像处理装置， 所述零相位化处理包括对于所述基准像素数据依次实施一维傅立叶变换，除去虚数成 分及一维逆傅立叶变换的处理； 所述相位校正滤波器包括将对所述相位校正完毕基准像素数据进行一维傅立叶变换 所得的值，除W对所述基准像素数据进行一维傅立叶变换所得的值而计算的滤波器。
4. 如权利要求1所述的立体图像处理装置， 所述相位校正单元包括： 基准像素数据相位偏移单元，对于所述基准像素数据应用使一部分或全部的频率成分 的相位偏移90度的移相滤波器，计算移相完毕基准像素数据； 左右对称判定值计算单元，分别对于所述移相完毕基准像素数据和所述基准像素数 据，计算表示值的左右对称性的左右对称判定值； 左右对称判定值比较单元，将根据所述移相完毕基准像素数据算出的所述左右对称判 定值和根据所述基准像素数据算出的所述左右对称判定值进行比较，判定所述移相完毕基 准像素数据的所述左右对称性是否高于所述基准像素数据的所述左右对称性；W及 参照像素数据相位偏移单元，对所述参照像素数据适用所述移相滤波器，计算移相完 毕参照像素数据， 所述开窗单元在所述移相完毕基准像素数据的所述左右对称性高于所述基准像素数 据的所述左右对称性时，将所述移相完毕基准像素数据和所述移相完成参照像素数据，分 别作为所述相位校正完毕基准像素数据和所述相位校正完毕参照像素数据，在所述移相完 毕基准像素数据的所述左右对称性不高于所述基准像素数据的所述左右对称性时，将所述 基准像素数据和所述参照像素数据分别作为所述相位校正完毕基准像素数据和所述相位 校正完毕参照像素数据。
5. 如权利要求4所述的立体图像处理装置， 所述移相滤波器为微分滤波器。
6. 如权利要求1所述的立体图像处理装置， 所述相位相关单元通过使所述开窗完毕基准像素数据在排列方向上反转，计算反相滤 波器系数，并使用所述反相滤波器系数，对所述开窗完毕参照像素数据进行滤波，由此计算 所述相位相关值。
7. 如权利要求1所述的立体图像处理装置， 还包括获取像素级别的所述对应点的图像匹配单元， 所述图像剪切单元确定所述局部图像的剪切位置，W使所述局部图像中包含所述基准 点和所述对应点， 所述峰值位置检测单元基于所述相位相关值，计算子像素级别的所述对应点相对所述 基准图像的基准点的视差。
8. 立体图像处理方法，包括W下步骤： 获取立体图像的基准图像和参照图像的步骤； 分别从所述基准图像和所述参照图像剪切与所述立体图像的基线长度方向平行的局 部图像，并获取表示所述局部图像的所述基线长度方向上的像素值的分布的一维像素数据 串的步骤； 分别对于基准像素数据和参照像素数据进行相位校正处理的步骤，该基准像素数据是 从所述基准图像获取的所述一维像素数据串，该参照像素数据是从所述参照图像获取的所 述一维像素数据串，所述相位校正处理是在对于所述基准像素数据进行处理时，使所述基 准像素数据的值更加左右对称的处理； 分别对于相位校正完毕基准像素数据和相位校正完毕参照像素数据进行开窗的步骤， 所述相位校正完毕基准像素数据是对于所述基准像素数据进行所述相位校正处理所得的 数据，所述相位校正完毕参照像素数据是对于所述参照像素数据进行所述相位校正处理所 得的数据； 计算表示开窗完毕基准像素数据和开窗完毕参照像素数据之间的相关程度的相位相 关值的步骤，所述开窗完毕基准像素数据是对于所述相位校正完毕基准像素数据进行所述 开窗所得的数据，所述开窗完毕参照像素数据是对于所述相位校正完毕参照像素数据进行 所述开窗所得的数据；w及 基于所述相位相关值，计算所述参照图像的对应点相对于所述基准图像的基准点的视 差的步骤。
【专利摘要】本发明提供立体图像处理装置，其对于基线长度方向的图像区域尺寸小的对象物，也能够高精度地计算出视差。该装置(100)包括：立体图像获取单元(101)，获取立体图像的基准图像和参照图像；图像剪切单元(102)，从立体图像获取基准像素数据和参照像素数据；相位校正单元(103)，分别对于上述像素数据进行使基准像素数据的值更加左右对称的相位校正处理；开窗单元(104)，分别对于相位校正完毕的上述像素数据进行开窗；相位相关单元(105)，计算开窗完毕的上述两个像素数据之间的相位相关值；以及峰值位置检测单元(106)，基于相位相关值，计算参照图像的对应点相对基准图像的基准点的视差。
【IPC分类】G01B11-00, G01C3-06, G06T1-00
【公开号】CN104685535
【申请号】CN201380049586
【发明人】南里卓也, 黑河久, 石原健, 西村洋文
【申请人】松下知识产权经营株式会社
【公开日】2015年6月3日
【申请日】2013年7月4日
【公告号】EP2902960A1, EP2902960A4, US20150249814, WO2014049919A1