视差值导出装置、可偏移设备、机器人、视差值产生方法和计算机程序与流程

文档序号:13217763阅读:139来源:国知局
技术领域本发明涉及视差值导出装置、可偏移设备、机器人、视差值产生方法和计算机程序。

背景技术:
远距离测量方法是传统公知的,其中从立体相机通过立体成像导出对于对象的视差,指示这种视差的视差值被用于基于三角测量原理来测量从立体相机到对象的距离。采用该距离测量方法,例如,测量在汽车之间的距离或者在汽车与障碍物之间的距离以用于防止汽车碰撞。立体匹配过程被用于获取视差值。在该立体匹配过程中,通过获取图像信号是最类似的所在的对应像素的位置,计算在通过立体相机中的两个相机中的一个所获取的基准图像与通过其它相机所获取的比较图像之间的视差值,同时,相对于在基准图像中的目标基准像素,依次偏移对于在比较图像中的对应像素的多个候选。一般地,比较通过两个相机获取的图像信号的亮度值,借此获取与在偏移量当中比较的亮度值有关的具有代价的最低的一个(在此,代价是“相异度”)的像素的位置(参见日本专利申请公开No.2006-090896)。然而,在指示对象的亮度改变幅度的纹理是弱的并且待提取的特征是稀缺的所在的区域中,即使通过执行边缘检测,也不能获取足够的效果。提出一种即使对于具有弱纹理的对象导出更加精确的视差的方法(参见,例如,日本专利申请公开No.2012-181142)。采用该方法,不仅在基准图像中的目标基准像素的代价,还有存在于接近远离基准像素的位置的其它像素的代价被聚合,以导出对于具有弱纹理的对象的视差。然而,当使用在日本专利申请公开No.2012-181142中描述的方法来测量在汽车之间的距离或其它距离时,对于公路或具有弱纹理的其它对象的代价被具有强纹理的环境(例如前方行驶的车辆)的代价所影响。这导致不能导出精确的代价。

技术实现要素:
本发明的目的是至少部分地解决在常规技术中的问题。根据实施例,提供一种用于导出视差值的视差值导出装置,所述视差值指示来自通过捕获对象的图像的第一成像单元所获取的基准图像和通过捕获所述对象的另一个图像的第二成像单元所捕获的比较图像中的所述对象的视差获取。视差值导出装置包括计算器,其被配置为,基于基准区域的亮度值和对于对应区域的候选的亮度值,来计算与在基准图像中的所述基准区域对应的比较图像中的对应区域的候选的代价,所述对于对应区域的候选以如下方式来指定,即基于在所述比较图像中的基准区域,对于所述对应区域的各自的候选在核线上偏移各自的偏移量;改变器,其被配置为,将在由所述计算器所计算的代价当中的超过阈值的代价改变为高于所述阈值的给定值;合成器,其被配置为,关于所述偏移量中的每个,使如下项进行合成,即对于与由所述改变器改变之后的一个基准区域对应的对应区域的候选的代价,以及对于与由所述改变器改变之后的另一个基准区域对应的对应区域的候选的代价;以及导出单元,其被配置为,基于在基准图像中的一个基准区域的位置和在所述比较图像中的对应区域的位置,导出所述视差值,对于在所述比较图像中的所述对应区域,在由合成器合成之后的代价是最小的。当结合附图考虑时,通过阅读本发明的当前优选的实施例的以下详细描述,将更好地理解该发明的以上和其它目的、特征、优点以及技术和工业意义。附图说明图1是导出从成像装置到对象的距离的原理的图示。图2示出(a)基准图像的示例、(b)高密度视差图像的示例,以及(c)边缘视差图像的示例。图3示出在依次偏移对于相对于基准图像的比较图像中的对应像素的候选的偏移量的计算。图4是示出相对于偏移量的代价的图表。图5是用于导出合成代价的概念图。图6是示出相对于视差值的合成代价的图表。图7示出配备根据本发明的实施例的视差值导出装置的汽车。图8是视差值导出装置的示意图。图9是作为整体的视差值导出装置的硬件配置图。图10是视差值导出装置的主要部分的硬件配置图。图11是示出在第一实施例中的处理的流程图。图12示出基准图像的示例、部分基准图像、没有代价改变的高密度视差图像、具有代价改变且具有阈值Th=40的高密度视差图像,以及具有代价改变且具有阈值Th=20的高密度视差图像。图13示出没有代价改变的代价的图表、具有代价改变的代价的图表、没有代价改变的合成代价的图表,以及具有代价改变的合成代价的图表。图14是基准图像的概念图,该基准图像包括指示由对象识别装置识别的对象识别结果的尺寸的帧。图15是示出在第二实施例中的处理的流程图。图16示出基准图像的示例、部分基准图像、没有代价改变的高密度视差图像,以及具有代价改变的高密度视差图像。图17示出没有代价改变的代价的图表、具有代价改变的代价的图表、没有代价改变的合成代价的图表,以及具有代价改变的合成代价的图表。图18示出与图17的(b)等同的图表、与图17的(d)等同的图表,以及具有代价改变的合成代价的图表。具体实施方式下面将参考附图描述本发明的实施例。使用SGM方法的距离测量方法的概述首先参考图1到图6,将描述使用半全局匹配(SGM)的距离测量方法的概述。SGM方法在由半全局匹配和相互信息的精确和有效的立体处理(AccurateandEfficientStereoProcessingbySemi-GlobalMatchingandMutualInformation)中公开,并且在下面给出简要说明。距离测量的原理参照图1,将描述测量从立体相机到对象的距离的原理,其中通过使用立体相机来进行立体成像,对象的视差被导出为视差值,并且视差值被用于测量从立体相机到对象的距离。图1是导出从成像装置到对象的距离的原理的图示。为使说明更简单,以下描述相对于每个单个像素而不是相对于包括多个像素的每个预定区域来说明过程。当不以单个像素为单位而是以均包括多个像素的预定区域为单位时,包括基准像素的预定区域被表示为基准区域,并且包括对应像素的预定区域被表示为对应区域。基准区域可仅包括基准像素,并且对应区域可仅包括对应像素。视差值的计算由在图1中示出的成像装置10a和成像装置10b捕获的图像分别被表示为基准图像la和比较图像lb。在图1中,成像装置10a和成像装置10b以平行并且相同的高度来安装。在图1中,在成像装置10a的一个位置处以及还有在成像装置10b的一个位置处捕获在三维空间中的对象E上的点S,其中这两个位置在成像装置10a和成像装置10b的相同的水平线上。也就是,在基准图像la中的点Sa(x,y)以及在比较图像lb中的点Sb(x,y)处捕获在每个图像中的点S。在此,使用在成像装置10a的坐标中的Sa(x,y)和在成像装置10b的坐标中的Sb(x,y),视差值Δ被表示为等式(1)。Δ=X-x(1)在此,如在图1中的情况中,视差值被写为Δ=Δa+Δb,其中Δa是在基准图像la中的点Sa(x,y)与从成像透镜11a法线延伸到成像表面的交点之间的距离,并且Δb是在比较图像lb中的点Sb(x,y)与从成像透镜11b法线延伸到成像表面的交点之间的距离。距离计算使用视差值Δ可导出从成像装置10a、10b到对象E的距离Z。具体地,距离Z是从包括成像透镜11a的聚焦位置和成像透镜11b的聚焦位置的平面到在对象E上的特定点S之间的距离。如图1所示,可使用成像透镜11a和成像透镜11b的焦距f、作为在成像透镜11a与成像透镜11b之间的距离的基线距离B以及视差值Δ并通过等式(2)来计算距离Z。Z=(B×f)/Δ(2)从等式(2),视差值Δ越大,则距离Z越小,并且视差值Δ越小,则距离Z越大。SGM方法现在参照图2到图6,将描述使用SGM的距离测量方法。图2(a)是示出基准图像的概念图,图2(b)是示出对于图2(a)的高密度视差图像的概念图,并且图2(c)是示出对于图2(a)的边缘视差图像的概念图。在此,基准图像是由亮度表示对象的图像。高密度视差图像是通过SGM方法从基准图像导出的图像,并且是在基准图像的每组坐标中表示视差值的图像。边缘视差图像是通过常规使用的块匹配方法来导出的图像,并且是仅在具有相对强的纹理(例如基准图像中的边缘)的部分处表示视差值的图像。SGM方法是甚至对于具有弱纹理的对象适当地导出视差值的方法,并且是基于在图2(a)中示出的基准图像导出在图2(b)中示出的高密度视差图像的方法。当使用块匹配方法时,基于在图2(a)中示出的基准图像来导出在图2(c)中示出的边缘视差图像。如通过比较由在图2(b)和图2(c)中的虚线所包围的椭圆可以理解的,与边缘视差图像相比,高密度视差图像可表示诸如具有弱纹理的道路之类的详细信息,并且因此使得能更详细地进行距离测量。在SGM方法中,通过计算代价并且之后进一步计算作为合成的相异度的合成的代价来导出视差值,而不是在计算作为相异度的代价之后立即导出视差值。在该方法中,最终导出表示在几乎所有像素中的视差值的视差图像(在此,高密度视差图像)。块匹配方法与计算代价的SGM方法相同。然而,不像SGM方法,在不计算合成代价的情况下,仅在具有诸如边缘的强纹理的部分处导出视差值。代价的计算首先参照图3和图4,将描述计算代价C(p,d)的方法。图3(a)是示出在基准图像中的基准像素的概念图,并且图3(b)是在相对于在(a)中的基准像素的比较图像中计算在依次偏移(偏移)对于对应像素的候选时的偏移量(偏移量)的概念图。图4是示出相对于偏移量的代价的图表。在此,对应像素是与在基准图像中的基准像素最类似的在比较图像中的像素。在以下描述中,假设C(p,d)表示C(x,y,d)。如图3(a)所示,基于在基准图像中的预定基准像素p(x,y)和在对应于基准像素p(x,y)的比较图像中的核线上的多个对应像素的候选q(x+d,y)中的亮度值,计算对应于基准像素p(x,y)的每个对应像素的候选q(x+d,y)的代价C(p,d)。变量d是对于对应像素的每个候选q的从基准像素p的偏移量(偏移量),并且在本发明中偏移量以像素为单位来表示。也就是,在图3中,在预定范围(例如,0<d<25)中一个像素一个像素地依次偏移对应像素的候选q(x+d,y)时计算代价C(p,d),该代价C(p,d)是在对应像素候选q(x+d,y)与基准像素p(x,y)之间的亮度值中的相异度。应用诸如SAD(绝对差的总和)的已知方法作为计算代价C(其中代价C表示相异度)的方法。如图4所示,如此计算的代价C(p,d)可通过相对于偏移量d的代价C的一组代价曲线的图表来表示。在图4中,因为当偏移量d=5、12、19时代价C是零,不能获取最小值。在具有弱纹理的对象的情况中,因此难以获取代价C的最小值。合成代价的计算现在参照图5和图6,将描述计算合成代价Ls(p,d)的方法。图5是用于导出合成代价的概念图。图6是示出相对于视差值的合成代价的合成代价曲线。在本实施例中的计算合成的代价的方法中,计算在基准像素p(x,y)中的代价C(p,d),并且对于存在于接近基准像素p(x,y)的较远位置的像素p(xn,yn)中的每一个的代价也被计算,作为对于另一个基准像素p(xn,yn)中的每一个的代价C。采用该配置,通过将对于基准像素p(x,y)的计算的代价C(p,d)与对于存在于接近基准像素p(x,y)的较远位置的其它基准像素p(xn,yn)的计算的代价C聚合,计算对于基准像素p(x,y)的合成代价Ls(p,d)。类似地,通过将对于一个基准像素p(xn,yn)的计算的代价C与对于存在于接近基准像素p(xn,yn)的较远位置的其它基准像素的计算的代价C聚合,计算对于基准像素p(xn,yn)中的每一个的合成代价Ls。现在将更具体地描述计算合成代价的方法。为了计算合成代价Ls(p,d),首先,有必要计算路径代价Lr(p,d)。等式(3)是用于计算路径代价Lr(p,d)的等式,并且等式(4)是用于计算合成代价Ls的等式。Lr(p,d)=C(p,d)+min{(Lr(p-r,d),Lr(p-r,d-1)+P1,Lr(p-r,d+1)+P1,Lrmin(p-r)+p2
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1