候选像素q (x+d，y)的成本C (p，d)， 通过合计对于参考像素（第二参考区域）的比较图像lb中的像素的成本C来计算候选像 素q(x+d，y)的合成成本Ls(p，d)，其中参考像素是参考图像la中在参考像素p(x，y)(第 一参考区域）邻近的像素。这里，成本合成器320使用抽样偏移特征中包括的偏移量d作 为用于计算合成成本Ls(p，d)的偏移量d来计算合成成本Ls(p，d)。也就是说，成本合成 器320并不是基于以像素为单位偏移的偏移量d来计算合成成本Ls，而是基于抽样偏移特 征中包括的离散偏移量d来计算合成成本Ls (p，d)。作为结果，为其计算合成成本Ls的指 定范围内的各个候选像素q(x+d，y)的区域包括那些在偏移方向上最接近的区域中移位了 两个或两个以上像素的区域。成本合成器320由图9中示出的FPGA 31来实现。为了计算 合成成本Ls，首先成本合成器320通过上文（等式3)在预定方向r上计算路径成本Lr(p， d)。在这种情况下，（等式3中）Lr (p-r，d)表示当将从参考像素p的坐标在r方向偏移一 个像素的坐标上的像素偏移了抽样偏移特征中包括的偏移量d时的路径成本Lr。其次，成 本合成器320在如图5中示出的八个方向即Lr。、Lr 45、Lr9(l、Lr135、Lr18(l、Lr 225、Lr27(l、Lr315上 计算路径成本Lr并且基于上文（公式4)最终计算出合成成本Ls(p，d)。图13中的图表 示了包括在抽样偏移特征中的离散偏移量d与由成本合成器320计算的合成成本Ls之间 的关系。如图13中所示，当偏移量d = 3时获得合成成本Ls的最小值。如上所述，成本合 成器320并不是基于以像素为单位偏移的偏移量d，而是基于包括在抽样偏移特征中的离 散偏移量d来计算合成成本Ls的，从而降低了用于计算合成成本Ls的处理负荷。
[0097] 亚像素估计器330在与对于参考图像la中的参考像素的比较图像lb中的像素的 合成成本Ls的最小值（第一极值）相对应的偏移量d和相邻的偏移量d上，基于由成本合 成器320计算的合成成本Ls来执行亚像素估计。亚像素估计器330由图9中所示的FPGA 31来实现。图13中示出的合成成本Ls的图是针对离散选择但是像素为单位分段的偏移量 d的合成成本Ls的图。因此，在图13的图中的合成成本Ls的最小值是在以像素为单位分 段的偏移量d = 3时的合成成本Ls。也就是说，在如图13中示出的、合成成本Ls针对以像 素为单位分段的偏移量d的图中，仅能够导出以像素为单位的值作为视差值A。这里，亚像 素估计是指估计并导出比像素小的单位（以下简称亚像素）的视差值△，而不是以像素为 单位的值。
[0098] 首先将参考图14描述亚像素估计器330通过抛物线拟合来执行亚像素估计的情 况。亚像素估计器330获得与由成本合成器320计算的合成成本Ls的图（图13)中最小 的合成成本Ls对应的偏移量d的值。在图13的示例中，偏移量d = 3对应于最小的合成 成本Ls。接下来，亚像素估计器330在抽样偏移特征中获得与偏移量d = 3相邻的偏移量 d。具体地，偏移量d = 2、5。接下来，亚像素估计器330在图13的偏移量d和合成成本Ls 的图中获得穿过偏移量d = 2、3、5的三点的下凸二次曲线，如图14所示。然后，亚像素估 计器330将与二次曲线的局部最小值（第二极值）对应的、以亚像素为单位的偏移量d估 计为视差值A。
[0099] 现在将参考图15描述亚像素估计器330通过最小二乘法执行亚像素估计的情况。 亚像素估计器330获得与由成本合成器320计算的合成成本Ls的图（图13)中合成成本 Ls最小时的偏移量d的值。在图13的示例中，偏移量d = 3对应于最小合成成本Ls。接 下来，亚像素估计器330获得抽样偏移特征中偏移量d = 3附近的四个偏移量d。具体地， 偏移量d= 1、2、5、7。接下来，亚像素估计器330在图13中的偏移量d和合成成本Ls的图 中通过最小二乘法获得穿过偏移量d = 1、2、3、5、7的五点附近的下凸二次曲线，如图15中 所示。然后，亚像素估计器330将与二次曲线的局部最小值（第三极值）相对应的、以亚像 素为单位的偏移量d估计为视差值A。
[0100] 亚像素估计器330通过基于图14中示出的抛物线拟合的亚像素估计或者基于图 15中示出的最小二乘法的亚像素估计来估计并导出视差值△。由于由此能够以小于像素 的单位的亚像素为单位导出视差值△，因此能够导出准确的、高密度的视差值A。
[0101] 亚像素估计并不限于基于抛物线拟合的估计和基于最小二乘法的估计，而是可以 基于其他方法。例如，亚像素估计器330可以使用图14中示出的三点，通过获得穿过三点 的等角线而不是二次曲线由用于估计视差值△的等角线性拟合来执行亚像素估计。
[0102] 在基于最小二乘法的亚像素估计中，使用图15的图中的五个点来得到二次曲线。 然而实施例并不限于此，并且可以使用不同数量的点来获得二次曲线。
[0103] 实施例不限于由亚像素估计器330通过亚像素估计以亚像素为单位计算视差值 A。可以在不执行亚像素估计的前提下计算以像素为单位的视差值△。在这种情况下，亚 像素估计器330输出由成本合成器320计算的、与对于参考图像la中的参考像素的比较图 像lb中的像素的合成成本Ls的最小值相对应的偏移量d作为视差值A。
[0104] 视差图像生成器350基于亚像素估计器330导出的、以亚像素为单位的视差值A， 通过与那个像素相对应的视差值△来生成视差图像Ip (高密度视差图像），该视差图像是 代表参考图像la中的每个像素的辉度值的图像。视差图像生成器350由图9中示出的FPGA 31来实现。图16A是示出了比较图像lb的示例的示意图，图16B是示出了参考图像la的 示例的示意图，并且图16C是示出了由视差图像生成器350生成的视差图像Ip的概念图的 示意图。
[0105] 成本计算器310、成本合成器320、亚像素估计器330和视差图像生成器350由 FPGA 31，也就是说，硬件电路来实现，但实施例并不限于此。也就是说，在成本计算器310、 成本合成器320、亚像素估计器330和视差图像生成器350中的至少一个可以由执行软件程 序的CPU 32来实现。成本计算器310、成本合成器320、亚像素估计器330和视差图像生成 器350是被概念性地配置成块的功能，并且实施例并不限于这样的配置。
[0106] 视差值导出设备的图像处理操作
[0107] 图17是示出了根据本实施例的视差值导出设备中的立体匹配处理的操作过程示 例的图。将参考图17描述在视差值导出设备3中基于立体匹配处理（SGM法）的图像处理 的操作过程。
[0108] 步骤 S1-1
[0109] 视差值导出设备3的图像获取单元110通过使用左照相机（成像设备10b)对前 方物体成像来生成模拟图像信号并且基于图像信号获得作为图像的辉度图像。然后处理前 进到步骤S2-1。
[0110] 步骤 S1-2
[0111] 视差值导出设备3的图像获取单元110通过使用右照相机（成像设备10a)对前 方物体成像来生成模拟图像信号并且基于图像信号获得作为图像的辉度图像。然后处理前 进到步骤S2-2。
[0112] 步骤 S2-1
[0113] 视差值导出设备3的过滤器210从通过使用成像设备10b成像获得的模拟图像信 号中除去噪声并且将图像信号转换成数字图像数据。然后处理前进到步骤S3-1。
[0114] 步骤 S2-2
[0115] 视差值导出设备3的过滤器210从通过使用成像设备10a成像获得的模拟图像信 号中除去噪声并且将图像信号转换成数字图像数据。然后处理前进到步骤S3-2。
[0116] 步骤 S3-1
[0117] 过滤器210基于在步骤S2-1转换的数字图像数据来输出图像作为在立体匹配处 理中的比较图像lb。然后处理前进到步骤S4。
[0118]步骤S3-2
[0119] 过滤器210基于在步骤S2-2转换的数字图像数据来输出图像作为在立体匹配处 理中的比较图像la。然后处理前进到步骤S4。
[0120] 步骤 S4
[0121] 视差值导出设备3的成本计算器310基于参考图像la中的参考像素p(x，y)的 辉度值和对于对应像素的每个候选像素q(x+d，y)的辉度值，计算并获得每个候选像素 q(x+d，y)的成本C(p，d)，其中候选像素是基于参考像素p(x，y)将与比较图像lb中的核 线上的参考像素P(x，y)的位置相对应的像素偏移了偏移量d的位置而指定的。这样做时， 成本计算器310通过使用存储在存储设备340中的特征表T中的抽样偏移特征中包括的偏 移量d来计算成本C (p，d)，作为用于计算比较图像lb中的候选像素q (x+d，y)的成本C (p， d)所用的偏移量d。然后处理前进到步骤S5。
[0122]步骤S5
[0123] 视差值导出设备3的成本合成器320采用由成本计算器310计算的候选像素 q(x+d，y)的成本C(p，d)，通过合计对于参考像素的比较图像lb中的像素的成本C来计 算候选像素q(x+d，y)的合成成本Ls(p，d)，其中参考像素是在参考图像la中的参考像素 P(x，y)的邻近的像素。这样做时，成本合成器320通过使用抽样偏移特征中包括的偏移量 d来计算合成成本Ls(p，d)，作为计算合成成本Ls(p，d)所用的偏移量d。然后处理前进到 步骤S6。
[0124]步骤S6
[0125] 视差值导出设备3的亚像素估计器330基于在与对于参考图像la中的参考像素 的比较图像lb中的像素的合成成本Ls的最小值对应的偏移量d和与以上偏移量d相邻的 偏移量d的、由成本合成器320计算的合成成本Ls来执行亚像素估计。亚像素估计器330 将与由亚像素估计所获得的拟合曲线（图14和图15中的下凸的二次曲线）的局部最小值 相对应的、以亚像素为单位的偏移量d估计为视差值△。然后处理前进到步骤S7。
[0126]步骤S7
[0127] 视差值导出设备3的视差图像生成器350基于由亚像素估计器330导出的以亚像 素为单位的视差值△来生成视差图像Ip (高密度视差图像），该视差图像Ip是用与那个像 素相对应的视