。边缘视差图像是由常用的块匹配法导出并且仅在例如参考图像中的边缘的 具有相对强纹理的部分代表视差值的图像。
[0046] SGM法是即使对于具有弱纹理的物体也导出适当的视差值、并且基于图2(a)中示 出的参考图像而导出图2(b)中示出的高密度视差图像的方法。当使用块匹配法时，图2(c) 中示出的边缘视差图像是基于图2(a)中示出的参考图像导出的。通过比较在图2(b)和图 2(c)中由虚线包围的椭圆形能够理解的是，与边缘视差图像相比，高密度视差图像可以表 示例如具有弱纹理的道路的详细信息并且因此能够更详细地进行距离测量。
[0047] 在SGM方法中，视差值是通过计算出成本并且然后进一步计算被相异地合成的合 成成本而导出的，而不是通过计算出相异的成本后立即导出视差值而导出的。在该方法中， 最终导出表示了几乎所有像素中的视差值的视差图像（这里指高密度视差图像）。在成本 计算方面块匹配法与SGM方法相同。然而，与SGM方法不同的是，在未计算合成成本的前提 下，仅在例如边缘的具有相对强的纹理的部分导出视差值。
[0048] 成本计算
[0049] 首先将参考图3和图4描述计算成本C(p，d)的方法。图3(a)是示出了参考图 像中的参考像素的概念图并且图3(b)是在相对于（a)中的参考像素对于比较图像中的对 应像素的候选连续偏移（位移）时计算成本的概念图。图4是示出了针对偏移量的成本的 图。这里，对应像素是在比较图像中最接近于参考图像中的参考像素的像素。在以下描述 中，假定 C(p，d)表示 C(x，y，d)。
[0050] 如图3(a)中所示，基于参考图像中的预定的参考像素p(x，y)的辉度值和与参考 像素P(x，y)对应的比较图像中核线EL上的多个候选对应像素q(x+d，y)的辉度值，计算与 参考像素P (x，y)对应的每个候选对应像素q (x+d，y)的成本C (p，d)。变量d是从参考像 素P的对于对应像素的每个候选q的偏移量（位移量），在本实施例中以像素为单位来表达 偏移量。也就是说，图3中，候选对应像素q(x+d，y)和参考像素p(x，y)之间的辉度值上 相异的成本C(p，d)是在预定范围（例如，0<d<25)内一个像素接一个像素地连续偏移 候选对应像素q(x+d，y)时计算出来的。当成本C表示相异时应用例如SAD(绝对差之和） 的已知方法作为计算成本C的方法。
[0051] 如图4中所示，由此计算的成本C(p，d)可以通过针对偏移量d的一套成本C的 成本曲线的图来表达。图4中，由于当偏移量d = 5、12、19时成本为零，因此不能获得最小 值。因此在物体具有弱纹理的情况下很难获得成本C的最小值。
[0052] 合成成本计算
[0053] 现在将参考图5和图6描述计算合成成本Ls(p，d)的方法。图5是用于导出合成 成本的概念图。图6是示出了针对视差值的合成成本的合成-成本曲线的图。
[0054] 在本实施例中的计算合成成本的方法中，计算参考像素p(x，y)中的成本C(p，d)， 并且也计算存在于离参考像素p(x，y)由近到远的位置上的像素p(x n，yn)中的每一个的成 本作为对于另一个参考像素P(xn，y n)中的每一个的成本C。采用这种配置，通过合计对于 参考像素P(x，y)计算的成本C(p，d)和对于存在于离参考像素p(x，y)由近到远的位置上 的其它参考像素P(x n，yn)计算的成本C来计算对于参考像素p(x，y)的合成成本Ls(p，d)。 类似地，通过合计对于一个参考像素p (xn，yn)的计算成本C和对于存在于离参考像素p (xn， yn)由近到远的位置上的其它参考像素的计算成本C来计算对于每一个参考像素p (xn，yn) 的合成成本Ls。
[0055] 现在将更详细地描述计算合成成本的方法。为了计算合成成本Ls (p，d)，首先需要 计算路径成本Lr(p，d)。等式（3)是用于计算路径成本Lr(p，d)的等式，并且等式（4)是 用于计算合成成本Ls的等式。
[0056] Lr (p, d) = C (p, d) +min {(Lr (p~r, d), Lr (p~r, d-1) +P1, Lr (p~r, d+1) +P1, Lrmin (p -r)+p2} (3)
[0057] 这里，在等式（3)中，r代表在合计方向上的方向矢量并且具有X方向和Y方向的 两个分量。术语min {}是用于获得最小值的函数。Lrmin (p-r)代表当偏移量d在将p在r 方向上偏移一个像素的坐标中变化时Lr(p-r，d)的最小值。如等式（3)中所表达的，路径 成本Lr被反复地应用。P1和P2是预先由实验设置的固定的参数以使得路径上的相邻参考 像素的视差值A有可能连续。例如，P1 = 48,P2 = 96。正如等式（3)中表达的，通过将图 5中示出的r方向上的像素中每个像素的路径成本Lr的最小值添加到参考像素p(x，y)中 的成本C上来获得路径成本Lr (p，d)。如上所述，为了获得r方向上每个像素处的Lr，首先 从参考像素P(x，y)的r方向上的最末端像素获得Lr，并且沿着r方向获得Lr。如图5中 所，获1%八个方向上的Lr。、Lr 45、Lr9。、Lr135、Lr18。、Lr225、Lr 27。、Lr315，并且基于等式⑷取 终获得合成成本Ls。
[0058]
(4)
[0059] 如图6中所示，可以由表示了针对偏移量d的合成成本Ls(p，d)的合成-成本曲 线的图来表示由此计算的合成成本Ls(p，d)。在图6中，合成成本Ls在偏移量d = 3时具 有最小值并且因此以视差值△ =3来计算。虽然在前述中r的数量是八，但是该数量并不 限于此。例如，八个方向可以进一步被二分为16个方向或三分为24个方向。虽然被表达 为"相异"，然而成本C可以被表示为作为相异的互反的"相似"。在这种情况下，应用例如 NCC(正规化交叉相关）的已知的方法作为计算成本C的方法。在这种情况下，导出的并非 是具有最小值而是具有"最大值"的合成成本的视差值△。可以将相似和相异包含地表示 为"匹配度"。
[0060] 本实施例的具体描述
[0061] 下面参考附图给出本实施例的具体说明。这里，将描述车载物体识别系统1。物体 识别系统1不仅可以安装在作为车辆的示例的汽车上，而且还可以安装在作为车辆的其它 示例的摩托车、自行车、轮椅和农业耕种机上。物体识别系统1不仅可以安装在作为可移动 装置的示例的车辆上，也可以安装在作为可移动装置的另一示例的机器人上。机器人可以 不是可移动装置而是例如固定安装在FA(工业自动化）中的工业机器人的装置。固定安装 的装置可能不是机器人而是安全监控摄像机。
[0062] 实施例配置
[0063] 首先，将参考图7至图9描述本实施例的每一个的整体配置。
[0064] 外部配置
[0065] 将参考图7和图8描述本实施例中的物体识别系统1的外部配置。图7 (a)是描 述了装备有根据本发明实施例的物体识别系统的汽车的侧面示意图，并且图7(b)是描述 了汽车前部的示意图。图8是物体识别系统的示意图。
[0066] 如图7(a)和图7(b)中所示，本实施例的物体识别系统1包括成像设备10a(第一 成像单元）和成像设备l〇b (第二成像单元）。安装成像设备10a和成像设备10b (第一成 像位置，第二成像位置）以便能够对汽车行驶方向前方的场景成像。如图8中所示，物体识 别系统1包括主体2和提供在主体2上的一对圆柱形成像设备10a和成像设备10b。
[0067] 整体硬件配置
[0068] 现在将参考图9描述物体识别系统1的整体硬件配置。图9是总体上物体识别系 统的硬件配置图。
[0069] 如图9中所示，物体识别系统1包括主体2中的物体识别设备5和视差值导出设 备3〇
[0070] 视差值导出设备3通过对物体E成像而获得多个图像来导出指示了对于物体E的 视差值A，并且输出指示了每个像素中的视差值A的高密度视差图像。物体识别设备5基 于从视差值导出设备3输出的高密度视差图像来执行例如测量从成像设备10a、10b到物体 E的距离的处理。
[0071] 这里，将首先描述视差值导出设备3的硬件配置。如图9中所示，视差值导出设备 3包括成像设备10a、成像设备10b、信号转换设备20a、信号转换设备20b以及图像处理设 备30。
[0072] 成像设备10a通过对前方场景成像而生成代表图像的模拟信号，并且包括成像透 镜11a、快门12a和图像传感器13a。
[0073] 成像透镜11a是用于衍射穿过成像透镜11a的光以形成物体的图像的光学元件。 快门12a切断穿过成像透镜11a的光的一部分来调整输入到下文所述的图像传感器13a的 光量。图像传感器13a是半导体设备，将从成像透镜11a和快门12a输入的光转换成电模拟 图像信号并且通过例如电荷耦合设备（CCD)或互补金属氧化物半导体（CMOS)来实现。成 像设备l〇b具有与成像设备10a相同的配置，并且省略了成像设备10b的描述。安装成像 透镜11a和成像透镜lib以使得他们各自的透镜面在同一平面。
[0074] 信号转换设备20a将代表所捕获的图像的模拟信号转换为数字格式的图像数据， 并且包括相关双采样（⑶S) 21a、自动增益控制（AGC) 22a、模拟数字转换器（ADC) 23a和帧存 储器24a。
[0075] ⑶S 21a通过相关双采样从由图像传感器13a转换的模拟图像信号中除去噪音。 AGC 22a执行控制具有由⑶S 21a除去的噪音的模拟图像信号的强度的增益控制。ADC 23a 将由AGC 22a执行增益-控制的模拟图像信号转换为数字格式的图像数据。帧存储器24a 存储由ADC 23a转换的图像数据。
[0076] 类似地，信号转换设备20b从由成像设备10b转换的模拟图像信号获得图像数据， 并且包括CDS 21b、AGC 22b、ADC 23b和帧存储器24b。
[0077] CDS 21b、AGC 22b、ADC 23b 和帧存储器 24b 分别与 CDS 21a、AGC 22a、ADC 23a 和 帧存储器24a具有相同的配置并且省略其说明。
[0078] 图像处理设备30是用于处理由信号转换设备20