视差值导出设备及方法、装备控制系统、可移动装置的制造方法
【技术领域】
[0001] 本发明涉及一种视差值导出设备、装备控制系统、可移动装置、机器人和视差值导 出方法。
【背景技术】
[0002] 近年来，车载系统已经被广泛用于通过测量汽车之间的距离或者汽车与障碍物之 间的距离来防止汽车碰撞。使用了使用立体照相机的三角测量原理的立体匹配处理已被用 来作为测量距离的方法。立体匹配处理是在由立体照相机的两个照相机之一捕获的参考图 像和由其它照相机捕获的比较图像之间匹配相关像素来获得视差、并从视差计算出立体照 相机与被包括在图像中的物体之间的距离的处理。通过使用立体照相机的这种立体匹配处 理来计算到物体的距离能够进行多种识别处理以及用于防止碰撞的制动控制和转向控制。
[0003] 如上所述的立体匹配处理包括块匹配法，其中为了评估图像之间的相似性，从要 被比较的图像中切割出区域并且对区域获得例如辉度的绝对差之和（SAD)、平方差之和 (SSD)和零均值正规化互相关（ZNCC)。然而，在表示了图像中的物体的辉度上的变化量的 纹理很弱的部分中很难提取图像特征，并且块匹配法可能无法提供准确的视差。随后提出 了作为用于导出精确视差的方法的技术，其中不仅将对于参考图像中对应参考像素的比较 图像中像素的成本而且将比较图像中的像素的邻域中的像素的成本进行合计以导出对于 具有弱纹理的物体的视差（见日本专利申请特开No. 2012-181142)。
[0004] 然而，在日本专利申请特开No. 2012-181142中描述的技术受困于立体匹配处理 而使用了大的内存并且增加了图像的处理负荷，原因是对于连续排列以形成图像的每个像 素都获得合计的成本值。因此很难获得配置有实时视差值的视差图像。
[0005] 因此，有必要提供一种视差值导出设备、装备控制系统、可移动装置、机器人、视差 值导出方法，能够减少图像处理的负荷并降低用于导出视差值所需的时间。
【发明内容】
[0006] 本发明的目标是至少部分地解决现有技术中存在的问题。
[0007] 根据一个实施例，提供了一种视差值导出设备，包括：获取单元，配置成获取从第 一成像位置捕获的参考图像中的参考区域与从第二成像位置捕获的比较图像中的指定范 围内的多个区域中的每一个之间的匹配度，其中多个区域包括与参考区域相对应的对应区 域；合成器，配置成合成所述参考图像中的预定参考区域周边的参考区域的匹配度和参考 图像中的预定参考区域的匹配度；以及导出单元，配置成基于合成器所获得的合成的匹配 度来导出物体的视差值，所述物体的图像在预定参考区域和与预定参考区域相对应的对应 区域中被捕获。指定范围内的至少部分区域被在预定方向上在最接近的区域中移动两个或 两个以上像素。
[0008] 根据另一实施例，提供了一种用于从参考图像和比较图像中导出代表了对于物体 的视差的视差值的视差值导出设备，其中参考图像由捕获物体的图像的第一成像单元获 得，比较图像由捕获物体的另一图像的第二成像单元获得。视差值导出设备包括：获取单 元，配置成基于第一参考区域的辉度值和候选区域的辉度值来计算多个候选区域的各自的 匹配度，其中所述多个候选区域的每一个都作为与参考图像中的第一参考区域相对应的比 较图像中的对应区域的候选，其中基于第一参考区域，在比较图像中的核线上，从与第一参 考区域的位置相对应的区域中，通过从预定的偏移范围部分地除去预定的偏移量而获得的 特征中包括的偏移量进行位置偏移来指定候选区域的辉度值；合成器，配置成基于特征中 包括的偏移量，使用候选区域的匹配度，通过合计对于在第一参考区域周边的第二参考区 域在比较图像中的匹配度，来计算每个候选区域的合成匹配度；和导出单元，配置成基于与 比较图像中的各个候选区域的合成的匹配度的第一极值相对应的偏移量来导出视差值。
[0009] 根据再一个实施例，提供了一种视差值导出方法，包括：获取从第一成像位置捕获 的参考图像中的参考区域与从第二成像位置捕获的比较图像中的指定范围内的多个区域 中的每一个之间的匹配度，其中多个区域包括与参考区域相对应的对应区域；合成参考图 像中的预定参考区域周边的参考区域的匹配度和参考图像中的预定参考区域的匹配度；以 及基于合成中所获得的合成的匹配度来导出物体的视差值，所述物体的图像在预定参考区 域和与预定参考区域相对应的对应区域中被捕获。指定范围内的至少部分区域被在预定方 向上在最接近的区域中移动两个或两个以上像素。
[0010] 根据再一个实施例，提供了一种视差值导出设备，包括获取单元，配置成获取从第 一成像位置捕获的参考图像中的参考区域与从第二成像位置捕获的比较图像中的指定范 围内的多个不连续区域中的每一个之间的匹配度，其中多个不连续区域包括与参考区域相 对应的对应区域；合成器，配置成合成参考图像中的预定参考区域周边的参考区域的匹配 度和参考图像中的预定参考区域的匹配度；以及导出单元，配置成基于合成器所获得的合 成的匹配度来导出物体的视差值，所述物体的图像在预定参考区域和与预定参考区域相对 应的对应区域中被捕获。
[0011] 当结合附图考虑时，通过阅读发明的当前优选实施例的以下详细描述将更好地理 解此发明的以上和其他目的、特征、优点以及技术和工艺实用性。
【附图说明】
[0012] 图1是导出从成像设备到物体的距离的原理的示意图；
[0013] 图2示出了（a)参考图像示例、（b)高密度视差图像示例和（c)边缘视差图像示 例；
[0014] 图3示出了在相对于参考图像依次偏移比较图像中对应像素的候选时，偏移量的 计算；
[0015] 图4是不出了针对偏移量的成本的图；
[0016] 图5是用于导出合成成本的概念图；
[0017] 图6是示出了针对视差值的合成成本的图；
[0018] 图7示出了装备有根据本发明实施例的视差值导出设备的汽车；
[0019] 图8是物体识别系统的示意图；
[0020] 图9是物体识别系统的整体硬件配置图；
[0021] 图10是示出了根据本实施例的视差值导出设备的块配置的示例的图；
[0022] 图11是示出了描述了抽样偏移特征的特征表的示例的图；
[0023] 图12是示出了抽样偏移特征的偏移量与成本之间的关系的图；
[0024] 图13是示出了抽样偏移特征的偏移量与合成成本之间的关系的图；
[0025] 图14是示出了由抛物线拟合得到的亚像素估计的图；
[0026] 图15是示出了由最小二乘法得到的亚像素估计的图；
[0027] 图16是示出了使用亚像素估计的高密度视差图像的概念图；
[0028] 图17是示出了根据本实施例的视差值导出设备的立体匹配处理的操作过程的示 例的图；以及
[0029] 图18是示出了装载在车辆上的根据本实施例的装备控制系统的示例的图。
【具体实施方式】
[0030] 下面将参考附图描述本发明的实施例。
[0031] 使用SGM方法的距离测量方法的综述
[0032] 首先将参考图1至图6描述使用半全局匹配（SGM)方法的距离测量方法的综述。 通过半全局匹配和交互信息在准确和有效的立体处理中公开SGM方法并且下面给出简要 说明。
[0033] 距离测量原理
[0034] 参考图1，将描述测量从立体照相机到物体的距离的原理，其中通过使用立体照相 机来进行立体成像而将物体的视差导出为视差值，并且视差值被用来测量从立体照相机到 物体的距离。图1是导出从成像设备到物体的距离的原理的示意图。为了使解释更简单， 以下描述解释了针对每个单个像素而不是针对包括多个像素的每个预定区域的处理。当不 是以单个像素为单位而是以每个都包括多个像素的预定的区域为单位来执行过程时，将包 括参考像素的预定的区域表示为参考区域，并且将包括对应像素的预定的区域表示为对应 区域。参考区域可以只包括参考像素并且对应区域可以只包括对应像素。
[0035] 视差值计算
[0036] 图1中示出的通过成像设备10a和成像设备10b捕获的图像被分别表示为参考图 像la和比较图像lb。在图1中，成像设备10a和成像设备10b平行并且以相同高度安装。 在图1中，三维空间中的物体E上的点S被捕获到成像设备10a的一个位置上并且也被捕 获到成像设备l〇b的一个位置上，其中这两个位置在成像设备10a与成像设备10b的同一 水平线上。也就是说，将每个图像中的点S捕获到参考图像la中的点Sa(x，y)以及比较图 像lb中的点Sb(x，y)。这里，将视差值A表达为使用成像设备10a的坐标中的Sa(x，y)和 成像设备l〇b的坐标中的Sb(X，y)的等式（1)。
[0037] A= X-x (1)
[0038] 这里，如图1的情况，视差值写为A = Aa+A b，其中A a是参考图像la中的点 Sa(x，y)与从成像透镜11a向成像面的法向延伸相交的点之间的距离，并且A b是比较图 像lb中的点Sb(X，y)与从成像透镜lib向成像面的法向延伸相交的点之间的距离。
[0039] 距离计算
[0040] 可以使用视差值A来导出从成像设备10a、10b到物体E的距离Z。具体地，距离 Z是从包括成像透镜11a的焦点位置和成像透镜lib的焦点位置的平面到物体E上特定点 S的距离。如图1中所示，可以使用成像透镜11a和成像透镜lib的焦距f、作为成像透镜 11a和成像透镜lib之间的长度的基线长度B和视差值A，通过等式（2)来计算距离E。
[0041] Z = (BXf)/A
[0042] (2)
[0043] 从等式（2)可知，视差值A越大，距离Z越小，并且视差值A越小，距离Z越大。
[0044] SGM 方法
[0045] 现在将参考图2至图6描述使用SGM方法的距离测量方法。图2 (a)是示出了参 考图像的概念图，图2(b)是示出了对于图2(a)的高密度视差图像的概念图，并且图2(c) 是示出了对于图2(a)的边缘视差图像的概念图。这里，参考图像是通过辉度表示物体的图 像。高密度视差图像是通过SGM方法从参考图像导出并且在参考图像中的每组坐标上表示 视差值的图像