立体图像处理装置和立体图像处理方法
【技术领域】
[0001] 本发明涉及计算立体图像的参照图像的对应点相对立体图像的基准图像的基准 点的视差的立体图像处理装置和立体图像处理方法。
【背景技术】
[0002] 以往，已知有基于立体图像测量至对象物的距离的立体图像处理装置。这样的立 体图像处理装置（以下仅称为"立体图像处理装置"）从参照图像提取相对基准图像的对应 点。这里，"对应点"是指参照图像中的拍摄到与基准图像的基准点相同的对象物的点。并 且，立体图像处理装置基于照相机参数和对应点相对基准点的偏移量即视差，计算至对象 物的距离。
[0003] 已在研究将立体图像处理装置适用于安全装置等，该安全装置测量至车载摄像机 所拍摄的前方车辆或行人的距离。另外，近年来，这样的安全装置也逐步向小型车普及。因 此，要求立体图像处理装置中所使用的立体照相机小型化。
[0004] 立体照相机小型化后，拍摄基准图像的照相机和拍摄参照图像的照相机之间的间 隔变窄，视差减小。因此，要求立体图像处理装置高精度地计算视差。
[0005] 作为高精度地计算视差的技术，例如已有专利文献1中记载的现有技术。该现有 技术使用一维POC(Phase Only Correlation,仅相位相关性）方式计算视差。
[0006] 具体而言，现有技术使用汉宁窗，分别从基准图像和参照图像剪切一维的像素数 据串，对剪切出的像素数据串实施一维傅立叶变换并进行合成。接着，现有技术对合成的数 据串的振幅成分进行标准化，并进行一维逆傅立叶变换，由此求相位限定相关系数。然后， 现有技术基于求得的相位限定相关系数的相关峰值，计算上述视差。
[0007] 现有技术文献
[0008] 专利文献
[0009] 专利文献1 :日本特开2008-123141号公报
【发明内容】
[0010] 发明要解决的问题
[0011] 然而，现有技术有以下的问题：对于基线长度方向的图像区域大小小的对象物，难 以高精度地计算视差。这里，"基线长度方向的图像区域大小"是指基线长度方向上的图像 区域在立体图像上所占的大小。
[0012] 作为基线长度方向的图像区域大小小的对象物，例如可举出处于远离照相机的位 置的行人。特别是在将立体图像处理装置应用于上述安全装置的情况下，优选对于基线长 度方向的图像区域大小小的对象物，也能够更高精度地计算视差。
[0013] 本发明的目的在于，提供立体图像处理装置和立体图像处理方法，其对于基线长 度方向的图像区域大小小的对象物，也能够高精度地计算视差。
[0014] 解决问题的方案
[0015] 本发明的立体图像处理装置包括：立体图像获取单元，获取立体图像的基准图像 和参照图像；图像剪切单元，分别从所述基准图像和所述参照图像剪切与所述立体图像的 基线长度方向平行的局部图像，并获取一维像素数据串，该一维像素数据串表示该局部图 像的所述基线长度方向上的像素值的分布；相位校正单元，分别对于基准像素数据和参照 像素数据进行相位校正处理，该基准像素数据是从所述基准图像获取的所述一维像素数据 串，该参照像素数据是从所述参照图像获取的所述一维像素数据串，所述相位校正处理是 在对于所述基准像素数据进行处理时，使该基准像素数据的值更加左右对称的处理；开窗 单元，分别对于相位校正完毕基准像素数据和相位校正完毕参照像素数据进行开窗，所述 相位校正完毕基准像素数据是对于所述基准像素数据进行所述相位校正处理所得的数据， 所述相位校正完毕参照像素数据是对于所述参照像素数据进行所述相位校正处理所得的 数据；相位相关单元，计算表示开窗完毕基准像素数据和开窗完毕参照像素数据之间的相 关程度的相位相关值，所述开窗完毕基准像素数据是对于所述相位校正完毕基准像素数据 进行所述开窗所得的数据，所述开窗完毕参照像素数据是对于所述相位校正完毕参照像素 数据进行所述开窗所得的数据；以及峰值位置检测单元，基于所述相位相关值，计算所述参 照图像的对应点相对于所述基准图像的基准点的视差。
[0016] 本发明的立体图像处理方法包括以下步骤：获取立体图像的基准图像和参照图像 的步骤；分别从所述基准图像和所述参照图像剪切与所述立体图像的基线长度方向平行的 局部图像，并获取一维像素数据串的步骤，该一维像素数据串表示该局部图像的所述基线 长度方向上的像素值的分布；分别对于基准像素数据和参照像素数据进行相位校正处理的 步骤，该基准像素数据是从所述基准图像获取的所述一维像素数据串，该参照像素数据是 从所述参照图像获取的所述一维像素数据串，所述相位校正处理是在对于所述基准像素数 据进行处理时，使所述基准像素数据的值更加左右对称的处理；分别对于相位校正完毕基 准像素数据和相位校正完毕参照像素数据进行开窗的步骤，所述相位校正完毕基准像素数 据是对于所述基准像素数据进行所述相位校正处理所得的数据，所述相位校正完毕参照像 素数据是对于所述参照像素数据进行所述相位校正处理所得的数据；计算表示开窗完毕基 准像素数据和开窗完毕参照像素数据之间的相关程度的相位相关值的步骤，所述开窗完毕 基准像素数据是对于所述相位校正完毕基准像素数据进行所述开窗所得的数据，所述开窗 完毕参照像素数据是对于所述相位校正完毕参照像素数据进行所述开窗所得的数据；以及 基于所述相位相关值，计算所述参照图像的对应点相对于所述基准图像的基准点的视差的 步骤。
[0017] 发明的效果
[0018] 根据本发明，对于基线长度方向的图像区域大小小的对象物，也能够高精度地计 算出视差。
【附图说明】
[0019] 图1是表示实施方式1的立体图像处理装置的结构的一例的方框图。
[0020] 图2是表示实施方式2的立体图像处理装置的结构的一例的方框图。
[0021] 图3是表示实施方式2的立体图像处理装置的动作的一例的流程图。
[0022] 图4是表示实施方式2中的相位校正完毕数据生成处理的一例的流程图。
[0023] 图5是表示实施方式3的立体图像处理装置的结构的一例的方框图。
[0024] 图6是用于说明实施方式3中的微分滤波器的效果的图。
[0025] 图7是表示实施方式3的立体图像处理装置的动作的一例的流程图。
[0026] 图8是表示实施方式3中的相位校正完毕数据生成处理的一例的流程图。
[0027] 图9是表示实施方式4的立体图像处理装置的结构的一例的方框图。
[0028] 图10是表示实施方式4的立体图像处理装置的动作的一例的流程图。
[0029] 图11是表示实施方式4中的至检测出匹配度最大的位置为止的处理的概要的示 意图。
[0030] 图12是表示实施方式4中的子像素推测处理的动作的一例的流程图。
[0031] 图13是表示实施方式4中的从剪切局部图像到计算出反相滤波器系数为止的处 理的概要的示意图。
[0032] 图14是用于说明实施方式4中的利用反相滤波器系数进行的滤波的概念的示意 图。
[0033] 图15是表示实施方式4中的使用了 sine函数的峰值位置检测处理的一例的概要 的示意图。
[0034] 图16是表示实施方式4中的使用了二次曲线近似的峰值位置检测处理的一例的 概要的示意图。
【具体实施方式】
[0035] 本发明涉及以下的立体图像处理，在对从基准图像获取的像素数据串开窗所得的 数据和对从参照图像获取的像素数据串开窗所得的数据之间，比较相位特性，由此求立体 图像的视差。更具体而言，本发明涉及以下的立体图像处理：计算基准像素数据和参照像素 数据之间的相位差，并基于计算结果求视差。
[0036] 在以上述方式计算相位差的情况下，用于上述开窗的窗函数的最佳形状是左右对 称且两端相连的零形状。但是在像素数据的两端，作为开窗对象的像素数据的值大不相同 时，由这样的窗函数开窗产生的对于像素数据的相位特性的影响变得显著。在像素数据的 两端大不相同的像素数据的一例是像素数据左端的（最初的）亮度值为〇,而右端的（最后 的）亮度值成为255的边缘信号（对应于对象物边缘部分的像素数据）。
[0037] 关于这一内容，本发明人发现通过使像素数据的值左右对称，该像素数据的值在 像素数据的两端会一致。即，本发明人发现作为开窗对象的像素数据的值越接近于左右对 称，则由开窗产生的对相位特性的影响越小。
[0038] 另外，本发明人发现作为开窗对象的像素数据的像素数据数（等于开窗的数据 数）会大幅度地影响开窗后的像素数据串的相位特性。若像素数据数大，则由开窗产生的 对相位特性的影响小。但是，由开窗产生的对相位特性的影响会随着像素数据数减小而急 剧增大。
[0039] 因此，本发明对于从基准图像获取的像素数据串和从参照图像获取的像素数据串 均进行相位校正处理，该相位校正处理是使从基准图像获取的像素数据的值进一步左右对 称的处理。即，本发明保留两个像素数据串之间的相位差，并且使两个像素数据串各自进一 步左右对称。
[0040] 由此，本发明即使在像素数据数小的情况下，仍能够将由开窗产生的对相位特性 的影响抑制得较小。对于基线长度方向的图像区域大小小的对象物而言，该效果特别大。 艮P，本发明通过进行上述相位校正处理，能够抑制视差计算精度的下降，且对于基线长度方 向的图像区域大小小的对象物，也能够高精度地计算出视差。
[0041] 以下，参照附图详细地说明本发明的实施方式。
[0042] (实施方式1)
[0043] 本发明的实施方式1是本发明的基本方式的一例。
[0044] 图1是表示本实施方式的立体图像处理装置的结构的一例的方框图。
[0045] 在图1中，立体图像处理装置100具有立体图像获取单元101、图像剪切单元102、 相位校正单元103、开窗单元104、相位相关单元105及峰值位置检测单元106。
[0046] 立体图像获取单元101获取立体图像的基准图像和参照图像。
[0047] 图像剪切单元102分别从基准图像和参照图像，剪切与立体图像的基线长度方向 平行的局部图像。接着，图像剪切单元102获取一维像素数据串，该一维像素数据串表示剪 切出的局部图像的基线长度方向上的像素值的分布。
[0048] 在以下的说明中，从基准图像获取的一维像素数据串被称为"基准像素数据"。另 外，从参照图像获取的一维像素数据串被称为"参照像素数据"。
[0049] 相位校正单元103分别对于基准像素数据和参照像素数据进行相位校正处理，该 相位校正处理是对于基准像素数据进行处理时，使该基准像素数据的值进一步左右对称的 处理。
[0050] 在以下的说明中，对于基准像素数据进行相位校正处理所得的数据被称为"相位 校