专利名称：视差计算方法和视差计算装置的制作方法
技术领域：
本发明涉及用于对于本车辆前方的车辆、或者步行者、墙壁、栅栏、树丛等存在于道路环境中的物体进行测距、检测的车载立体照相机进行立体匹配(Stero matching)视差计算的方法和装置的领域。
背景技术：
所谓立体匹配，是在通过安装了两个透镜的立体照相机拍摄测距对象的立体图像数据中，从参照图像数据的搜索区域，搜索与基准图像数据的各个点对应的对应点，其中，上述基准图像数据是用一方的透镜拍摄到的立体图像数据，上述参照图像数据是用另一方的透镜拍摄到的立体图像数据。作为对应点的判定方法，一般使用以下的方法，即 以作为基准图像数据的各个点的基准点为中心提取小区域，比较提取了的小区域与搜索区域内的小区域，使用图像亮度的差分绝对值和(SAD:Sum of absolute differences)、 差分平方和(SSD:Sum of squared differences)、以及归一化互相关(NCC :Normalized Cross-correlation)等的评价值的基准判定各个小区域的图像亮度图案(pattern)是否相似。但是，在测距对象物包含人行横道、栅栏等棒状、矩形的模样反复出现这样的、连续的相似图案的物体时，对于SAD、SSD、NCC而言，要计算多个对应点候补，难以在原理上计算准确的对应点。作为计算出多个对应点候补时的现有技术的对策，存在以该基准点的对应点不明为由不输出的方法(例如，参照专利文献1)。另外，存在根据预防碰撞(Precrash)控制、与前方车辆之间的车距控制、停车辅助控制等的应用的控制形态，选择对应点的方法(例如， 参照专利文献幻。图12表示专利文献2记载的现有技术的立体匹配方式。在图12中，立体图像数据获取单元1202获取用一方的透镜拍摄的基准图像数据、 和用另一方的透镜拍摄的参照图像数据作为用安装了两个透镜的立体照相机同时拍摄的一对图像数据。立体匹配单元1203通过SAD计算出基准图像数据的各个点、与参照图像数据的搜索区域内的搜索点之间的图像亮度的差异度，计算搜索区域内的相似度的集合作为评价值分布。存在多个对应点候补判定单元1204从评价值分布，判定是否存在多个对应点候补。评价值极小对应点计算单元1205对于判定为不存在多个对应点候补的基准点， 计算作为图像亮度的差异度的评价值为极小的搜索点，作为对应点候补。控制形态数据获取单元1206获取表示控制形态的模式的控制形态数据。控制形态对应点计算单元1207对于判定为存在多个对应点候补的基准点，在控制形态为预防碰撞控制时选择距离最远的对应点候补，在控制形态为车距控制时选择距离最近的对应点候补，在控制形态为停车辅助控制时选择距离最近的对应点候补。视差数据输出单元1208对于判定为不存在多个对应点候补的基准点，代入评价值最小的对应点，对于判定为存在多个对应点候补的基准点，代入通过控制形态选择的对应点，计算对基准图像的视差数据。现有技术文献专利文献专利文献1 日本专利特开2001-351200号公报专利文献2 日本专利特开2007-85773号公报
发明内容
发明要解决的问题但是，在现有技术的结构中，是通过控制形态确定对应点的位置，因此，难以测量准确的距离。例如，实际上，存在于距离本车5. 7m的位置上的物体中包含的、连续的相似图案的间隔为IOcm的情况下，在假设构成立体照相机的两个透镜之间的距离(基线长度) 为0. 12m，照相机的焦距为lOOOpixel时，在搜索区域内的相似图案位置上为极小，因此，计算出视差为5、21、37的多个对应点候补。在上述情况下，根据三角测量的原理，(视差)= (基线长度)X (焦距)/(距离)的关系成立，所以视差为0. 12X1000/5. 7 = 21的对应点是准确的对应点。但是，在选择距离最近的对应点候补时，是选择视差为37的对应点候补，因此，错误计算为距离是0. 12X 1000/37 = 3. 2m，另一方面，在选择距离最远的对应点候补时，是选择视差为5的对应点候补，因此，错误计算为距离是0. 12X1000/5 = 24m0因此，在栅栏这样、棒状的物体以IOcm间隔配置，在由视差检测装置识别为相似图像图案连续的物体时，即使有控制形态的预防碰撞控制，也存在刹车控制不充分动作的可能性。另外，在控制形态为车距控制时，存在不充分减速的可能性，在控制形态为停车辅助控制时，有可能难以停车在适当的位置。进而，还具有以下的课题，即当存在栅栏这样的、包含连续的相似图案的物体时， 难以进行栅栏的检测，因此，有时行驶路径的判定不充分。本发明的目的在于，提供即使在存在包含连续的相似图案的物体的情况下，也计算出准确的视差的视差计算方法和装置。解决问题的方案本发明的一个形态的视差计算装置，包括立体图像数据获取单元，具有第1摄像系统和第2摄像系统，获取使用第1摄像系统拍摄对象物所得的基准图像的数据、以及使用第2摄像系统拍摄对象物所得的参照图像的数据；立体匹配单元，计算评价值分布，该评价值分布表示基准图像具有的基准点、与参照图像具有的多个搜索点之间的、图像亮度的差异度；对应点候补数判定单元，从评价值分布包含的搜索点中，检测评价值为极小的搜索点，在检测到的搜索点的数量为多个时，输出检测到的多个搜索点作为对应点候补；极小值分布计算单元，从包含对应点候补的评价值分布，计算表示对应点候补的坐标分布的极小值分布的第1极小值分布和第2极小值分布，该第1极小值分布对应于第1基准点，该第2 极小值分布对应于存在于包含第1基准点的基准图像的周围区域中的一个或者多个第2基准点；评价值图计算单元，基于第1极小值分布和第2极小值分布，计算表示第1基准点和第2基准点与多个对应点候补的坐标变动值的关系的评价值图；对应点判定单元，在评价值图中，将坐标变动值为最小的对应点候补判定为对应点；以及视差数据输出单元，输出视差值，该视差值是对应点在参照图像中的坐标点与第1基准点在参照图像中的坐标点的差分。由此，具有以下的效果，S卩通过在基准图像中，将存在于基准点的周围区域中的其他基准点的信息重叠，对于包含连续的相似图案的物体的情况，也能够计算出准确的视差。另外，在本发明的一个形态的视差计算装置中，周围区域的范围是基于第1基准点的极小值分布中包含的评价值为极小的搜索点的数、以及间隔而确定的范围。由此，具有以下的效果，S卩对于在基准图像内存在多个包含连续的相似图案的物体，并且各个物体的距离不同的情况，能够更高精度地计算出各个物体的大小。另外，在本发明的一个形态的视差计算装置中，对应点判定单元在第1基准点涉及的对应点候补的数量与第2基准点涉及的对应点候补的数量不同时，去除仅包含在第1 基准点和第2基准点涉及的极小值分布的任一个中的对应点候补，判定对应点。由此，具有以下的效果，即减轻带给视差计算装置的信息处理的负荷，能够计算出准确的视差。另外，在本发明的一个形态的视差计算装置中，对应点判定单元通过对评价值图进行霍夫变换，提取坐标变动值为最小的对应点候补作为对应点。由此，具有以下的效果，S卩对于包含连续的相似图案的物体以一条直线状存在的情况，能够更高精度地计算出距离。另外，在本发明的一个形态的视差计算装置中，在第1摄像系统具有第1透镜，第 2摄像系统具有第2透镜，周围区域是在第1透镜与第2透镜的排列方向上具有任意的宽度的区域时，评价值图计算单元基于第1评价值分布、第2评价值分布、以及对应于第3基准点的极小值分布，计算评价值图，第3基准点对于存在于周围区域中的基准点，存在于第 1透镜与第2透镜的排列方向的垂直方向上。由此，具有以下的效果，即通过在重叠存在于与第1透镜和第2透镜的排列方向垂直的方向上的其他基准点的极小值分布后，基于有关存在于周围区域的各个基准点的极小值分布计算评价值图，提高了对应点提取的准确度。另外，在本发明的一个形态的视差计算装置中，周围区域的范围是基于对应于第1 基准点的评价值分布和对应于第2基准点的评价值分布的、对应于多个搜索点的图像亮度的差异度的差分和而确定的范围。由此，具有以下的效果，S卩通过包含相同视差(距离)的基准点作为周围区域，提高了估计准确的视差值的准确度。另外，本发明的一个形态的视差计算方法包括以下步骤获取使用第1摄像系统拍摄对象物所得的基准图像的数据、以及使用第2摄像系统拍摄对象物所得的参照图像的数据；计算评价值分布，该评价值分布表示基准图像具有的基准点与参照图像具有的多个搜索点之间的图像亮度的差异度；从评价值分布包含的搜索点中，检测评价值为极小的搜索点，在检测到的搜索点的数量为多个时，输出检测到的多个搜索点作为对应点候补；从包含对应点候补的评价值分布，计算表示对应点候补的坐标分布的极小值分布的第1极小值分布和第2极小值分布，该第1极小值分布对应于第1基准点，该第2极小值分布对应于存在于包含第1基准点的基准图像的周围区域中的一个或者多个第2基准点；基于第1极小值分布和第2极小值分布，计算表示第1基准点和第2基准点与多个对应点候补的坐标变动值的关系的评价值图；在评价值图中，将坐标变动值为最小的对应点候补判定为对应点； 以及输出视差值，该视差值是对应点在参照图像中的坐标点与第1基准点在参照图像中的坐标点的差分。由此，具有以下的效果，S卩通过在基准图像中，将存在于基准点的周围区域中的其他基准点的信息重叠，对于包含连续的相似图案的物体的情况，也能够计算出准确的视差。发明的效果根据本发明，在立体匹配中，通过不是以小区域的比较进行对应点搜索，而是还附加周围区域的比较信息来判定对应点，从而对于通过立体匹配难以计算的、包含连续的相似图像图案的物体，能够计算出准确的视差，能够稳定地测量在交通环境中大量存在的护栏、在停车场等大量存在的栅栏等的距离，因此，本车辆的控制、警报等也能够准确地动作。
图1是表示本发明的实施方式1的视差计算装置的块结构的图。图2是表示视差计算方法的处理流程的图。图3A 图;3B是表示立体图像中的对象物的位置的图。图4A 图4C是用于说明有关基准图像的任意的范围中的各个基准点的评价值分布的图。图5A 图5C是用于说明有关基准图像的任意的范围中的各个基准点的评价值分布的图。图6A 图6D是用于说明有关基准图像的任意的范围中的各个基准点的评价值分布的图。图7A 图7E是表示存在多个对应点候补的基准点的极小值分布Hm、与在基准图像中与基准点相邻的其他基准点的极小值分布Hm的关系的示意图。图8A 图8D是表示计算评价值图的步骤的示意图。图9A 图9D是表示在Hm(xbn)中的极小值的数、与Hm(xbl)中的极小值的数不同时的极小值分布的关系的示意图。图IOA 图IOC是表示反映在基准图像中的栅栏的物体、与获得的评价值图的例子的示意图。图IlA 图IlD是表示本发明的实施方式2的评价值分布的重叠的示意图。图12是表示现有技术的视差计算装置的块结构的图。标号说明100视差计算装置101视差计算单元102立体图像数据获取单元103视差数据输出单元104立体匹配单元105对应点候补数判定单元
106极小值分布计算单元107评价值图计算单元108对应点判定单元1201视差计算单元1202立体图像数据获取单元1203立体匹配单元1204存在多个对应点候补判定单元1025评价值极小对应点计算单元1206控制形态数据获取单元1207控制形态对应点计算单元1208视差数据输出单元
具体实施例方式以下，参照
本发明的实施方式。(实施方式1)图1是表示本发明的实施方式1的视差计算装置100的方框图。图1所示的视差计算单元100包括视差计算单元101、立体图像数据获取单元102、以及视差数据输出单元 103。并且，视差计算单元101包括立体匹配单元104、对应点候补数判定单元105、极小值分布计算单元106、评价值图计算单元107、以及对应点判定单元108。在视差计算装置100中，基于立体图像数据获取单元102获取的立体图像，视差计算单元101进行视差计算，视差数据输出单元103输出视差数据。图2是表示图1所示的视差计算装置100的视差计算方法的处理流程图。以下， 进行本实施方式1的视差计算方法、以及视差计算装置的说明。在立体图像数据获取单元102中，获取通过安装了左右排列的两个透镜的立体照相机同时拍摄到的、一对立体图像数据(S201)。立体图像数据包括作为由一方的透镜拍摄到的基准图像的数据的基准图像数据，以及作为由另一方的透镜拍摄到的参照图像的数据的参照图像数据。再者，虽然说明了立体照相机是安装了左右排列的两个透镜的照相机， 但本发明并不限于此，也可以用两个照相机代替。图3是测距对象物为前方的车体时的立体图像，图3A表示基准图像，图;3B表示参照图像。在两个透镜中，将使用哪个透镜拍摄到的图像作为基准图像是任意的，在以下的说明中，面向测距对象物，以用右透镜拍摄到的图像作为基准图像，用左透镜拍摄到的图像作为参照图像进行说明。在参照图像中拍摄的测距对象物的位置与在基准图像中拍摄的测距对象物的位置比较，为偏右的位置。该偏差就是视差，根据测距的对象物的距离而发生变化。具体而言， 在设基准图像中的测距对象物的左端的坐标为xb，参照图像中的测距对象物的左端的坐标为xr时，测距对象物的左端的视差d是作为坐标位置的差的xr-xb。将获取的立体图像数据进行透镜的失真校正和光轴的平行化校正，变换为校正后的立体图像数据。进行透镜的失真校正的方法，能通过使用了透镜的设计值的校正变换表进行失真校正的方法、通过使用了半径方向的畸变的模型的参数估计进行校正的方法等， 校正透镜的失真的所有的方法来实现，本发明不受其限制。另外，光轴的平行化校正可以通过进行立体照相机的光轴平行化的、所有的方法来实现，本发明不受其限制。例如，通过在立体照相机的公共视野中设置栅格图案，从进行了对应关联的栅格点位置计算立体照相机的相对关系，进行光轴的平行化校正的方法，也能够进行平行化校正。在视差计算单元101中，由立体匹配单元104在通过立体图像数据获取单元102 获取的基准图像与参照图像之间进行立体匹配(S202)。立体匹配单元104计算表示各个基准图像的任意的范围中包含的各个基准点、与在参照图像中包含对应于基准图像的基准点的坐标点的搜索区域中包含的搜索点之间的、 图像亮度的差异度的评价值分布。这里，搜索区域是具有任意的范围的区域。有关计算出的各个基准点的评价值分布被记录在内置于立体匹配单元104的存储器中。对应点候补数判定单元105在各个基准点的评价值分布中，判定是否存在多个评价值为极小的对应点候补(S203)。关于在基准图像中的各个基准点中、判定为仅存在一个对应点候补的基准点，视差数据输出单元103将对应点候补位置、与在参照图像中与该基准值位于同一坐标点的坐标点的差分记录为该基准点的视差值。然后，视差数据输出单元103输出视差数据(S208)。另一方面，关于在基准图像中的各个基准点中、判定为存在多个对应点候补的基准点，极小值分布计算单元106计算在评价值分布中评价值为极小的对应点候补，计算极小值分布(S204)。评价值图计算单元107计算评价值图(S20O。评价值图是，基于判定为存在多个对应点候补的基准点的极小值分布和在基准图像中位于包含了该基准点的周围区域的其他基准点的极小值分布，表示与对各个基准点的各个对应点候补的视差值的每个对应点候补的变动值的图。对应点判定单元108在评价值图中，提取最为直线状连续的线段(S206)，将提取到的对应点候补的坐标点判定为对应点(S207)。以下，详细地说明视差计算单元101的结构要素的各个部分的功能、以及效果。立体匹配单元104在基准图像与参照图像之间进行立体匹配。也就是说，计算基准图像的任意的范围中包含的各个基准点、与在参照图像中包含与各个基准点相同的坐标点的、搜索区域内的各个搜索点之间的、图像亮度的差异度的评价值分布(S202)。这里，搜索区域的范围是任意的，由包含测量的物体的距离的范围、立体照相机的基线长度、照相机的焦距的几何学参数决定。图4是有关基准图像的任意范围中的各个基准点，图4A表示计算评价值分布时的基准图像，图4B表示参照图像，图4C表示评价值分布。以下，说明有关基准点的评价值分布的计算步骤。再者，在说明中，基准图像的任意的范围如图示那样说明一部分范围，但也可以是全部范围。另外，将计算评价值分布的基准点的坐标设为(xbl、ybl)，立体图像数据进行了平行化校正而进行说明。在立体图像数据进行了平行化校正的情况下，基准图像中的对象物的Y坐标、与参照图像中的对象物的Y坐标相同。再者，在图4中，以四边形符号表示的区域为1像素，1像素为基准点。在以下的说明中也同样。立体匹配单元104将参照图像中位于与基准点(xbl、ybl)相同坐标(xrl = xbl、 yrl = ybl)的坐标点，作为对应于基准图像中的基准点(xbl、ybl)的搜索点，将从该坐标点到X坐标方向的一定的范围(搜索宽度)，设定为图4B所示的搜索区域。搜索区域是在参照图像中，在ft 轴上、也就是横方向具有一定的宽度的区域。将搜索区域设为参照图像的横方向，是因为立体照相机在横方向排列透镜的缘故。具体而言，在对于作为基准图像上的基准点的坐标的(xbl，ybl)，将基于应用所需要的测距对象的距离的最小值/最大值确定的搜索宽度设为R时，参照图像上的搜索点的范围为(xrl、yrl)、(xrl+l、yrl)、(xrl+2、yrl)、· · ·、(xrl+R、yrl)。再者，基准图像上的坐标(xbl、ybl)、与参照图像上的坐标(xrl、yrl)在图像上的坐标位置相同。然后，计算搜索区域内的各个搜索点与基准点xbl之间的图像亮度的差异度，计算基于差异度的评价值分布H(xbl)。这里，评价值分布H(xbl)的D轴(Depth轴)、与)(b轴和)(r轴的关系是，以&轴为原点偏移到xbl的位置的是D轴，D轴、胁轴、&轴的次元均为像素。再者，在以上的说明中，说明了立体图像数据被进行了平行化校正，在立体图像数据未进行平行化校正时，无法进行立体图像的上下方向的定位，因此，在基准图像的基准点 (xbl、ybl)拍摄的测距对象物的点，在参照图像中不被拍摄在与该基准点的坐标的Y坐标相同的Y坐标，因此，还包含基准点的Y轴方向的定位，设定为搜索区域。通过立体匹配获得的评价值分布H(xbl)是表示横轴为D轴，纵轴为基准点、与相对于此的搜索点之间的图像亮度的差异度的一次元的分布。对于基准点与搜索点之间的图像亮度的差异度，使用以基准点为中心的8X8的小区域和以各个搜索点位中心的8X8的小区域之间的、图像亮度的差分绝对值和(SAD)。再者，用作评价值的图像亮度的差异度可以用差分平方和(SSD)等、在完全一致时值为最小的、所有的差异度来代替。另外，在用作评价值的图像亮度的差异度为归一化互相关(NCC)等、完全一致时，也可以将值为最大的相似度的指标反极性而使用。再者，以上的处理对于各个基准点进行，有关计算出的各个基准点的评价值分布存储在内置于立体匹配单元104的存储器中。对应点候补数判定单元105在评价值分布H(xbl)中，搜索极小值。在对应点候补数判定单元105搜索极小值的结果为存在一个极小值时，将评价值为极小的搜索点判定为对应点(S203 “否”)，将该对应点候补位置记录为该基准点的视差值，输出视差数据(S208)。图5表示测距对象物是位于前方的车体的情况，图5A表示基准图像，图5B表示参照图像，图5C表示评价值分布。在车体这样不是包含连续的相似图案的物体的情况下，图像亮度与包含基准点(xbl、ybl)的小区域为相同程度的对应点候补如图5C所示，在参照画面上仅存在一个。另一方面，在对应点候补数判定单元105搜索极小值的结果是在评价值分布中检测到多个极小值时，将评价值为极小的多个搜索点判定为多个对应点候补(S203 “是”)。
图6表示测距对象物是位于前方的栅栏的情况，图6A表示基准图像，图6B表示参照图像，图6C表示评价值分布，图6D表示后述的极小值分布Hm(xbl)。在是栅栏这样的包含连续的相似图案的物体的情况下，图像亮度与基准图像中的、基准点(xbl、ybl)为相同程度的对应点候补如图6C所示，在参照画面中存在多个。再者，判定是否存在多个对应点候补的判定方法，通过计算评价值分布的极小值， 判断存在几个极小值等，从一次元的分布判定是否为周期性的分布的其他方法也能够实现。在对应点候补数判定单元105搜索极小值所得的结果是在评价值分布中检测到多个极小值时，极小值分布计算单元106提取评价值为极小的对应点候补的坐标，计算仅表示极小值的分布的极小值分布Hm(xbl) (S204)。以下，使用图6说明极小值分布Hm(xbl)的计算步骤。如图6A所示，由于测距对象为包含连续的相似图案的栅栏，因此，评价值分布 H(xbl)如图6C所示，为在多个位置具有极小值的分布。极小值分布计算单元106计算在评价值分布H(xbl)中仅提取了多个极小值的位置的分布，如图6D所示，在计算出的评价值分布的极小值的位置代入一 1的值，除此之外的位置代入0的值，计算极小值分布Hm(xbl)。这里，图6D所示的极小值分布Hm(xbl)的极小值的位置以对基准点(xbl、ybl)的搜索区域的左端为原点，表示参照图像中的对应点候补的位置。再者，关于计算极小值分布时使用的极小值的位置的常数、以及除此之外的位置的常数的值只是一个例子，本发明不受其限制。再者，有关对于基准点的评价值分布，进行是否存在多个对应点候补的判定，在存在多个对应点候补时，对于存储器中存储的所有的基准点的各个实施计算极小值分布这一系列的步骤。再者，也可以在将评价值为极小的多个搜索点判定为对应点候补时，在评价值轴上设定规定的阈值，将规定的阈值以下的搜索点作为对应点候补。由此，能够将差异度高、 并且为极小点的搜索点从对应点候补中去除，能够提高对应点候补的判定精度。图7是表示存在多个对应点候补的基准点(xbl、ybl)的极小值分布Hm(xbl)和在基准图像中与基准点(xbl、ybl)相邻的另一基准点(让2、计2)的极小值分布Hm(xb2)之间的关系的示意图。图7A表示基准图像，图7B表示参照图像，图7C表示基准点(xbl、ybl) 的极小值分布Hm(xbl)，图7D表示基准点(xb2、yb2)的极小值分布Hm(xb2)，图7E表示对图7B所示的参照图像中的基准点(xbl、ybl)的对应点候补，以及对于基准点(xb2、yb2)的对应点候补。以下，说明基准点(xbl、ybl)和与其相邻的基准点(xb2、yb2)的极小值分布之间的关系。再者，图7A、以及图7E所示的基准点(xbl、ybl)的对应点候补为图7B所示的对应点候补1到对应点候补4，图7A、以及图7E所示的基准点(xb2、yb2)的对应点候补设为图7B所示的对应点候补5到对应点候补8而进行说明。另外，对应点候补1到对应点候补 4用虚线表示。在图7A所示的基准图像中，基准点(xb2、yb2)被选择为与基准点(xbl、ybl)相邻的基准点。如图7B所示，对基准点(xb2、yb2)的搜索区域是，使对基准点(xbl、ybl)的搜索区域在)(r轴位移了让2与xbl之差的区域。这里，在比较图7C所示的、基准点(xbl、ybl)的极小值分布Hm(xbl)的D轴上的各个极小值的位置，与图7D所示的、基准点(xb2、yb2)的极小值分布HmOA2)的D轴上的各个极小值的位置时，既存在相当于在D轴上位移了 xb2与xbl之差的极小值，另一方面， 也存在位移了大于、或者小于xb2与xbl之差的极小值。使用图7E进行说明，在从对基准点(xbl、ybl)的对应点候补3的坐标，在&轴上位移了 xb2与xbl之差的位置上，存在对基准点(让2、计2)的对应点候补7，可以认为在相邻的基准点所拍摄的点的距离大致相等，因此，意味着各个对应点候补是准确的对应点的可能性较高。另一方面，在从对图7E的基准点(xbl、ybl)的对应点候补1的坐标，在&轴上位移了让2与xbl之差的位置上，不存在对基准点(xb2、yl^)的对应点候补5，因此，意味着对应点候补不是准确的对应点。在上述情况下，对应点候补3与对应点候补7的区域为准确的对应点的位置，是准确的视差，对应点候补1与对应点候补5的区域不是准确的对应点的位置。评价值图计算单元107基于由极小值分布单元106计算出极小值分布的基准点 (xbl、ybl)和在基准图像中存在于该基准点xbl的周围区域的位置、或多个其他基准点 Xbn(n 自然数)的极小值分布，计算评价值图(S205)。这里，所谓周围区域，是在基准图像中包含基准点(让1、7131)，在％轴方向具有任意的宽度的区域。原则上，周围区域中包含的各个基准点是％坐标相同的区域。将周围区域在基准图像中设为横方向，是因为存在以下的可能性的缘故，即对于各个基准点，将搜索区域设定为参照图像的横方向，由此产生在横方向上错误检测相似图案的可能性。再者，将搜索区域设为参照图像的横方向，是因为在横方向排列立体照相机的缘故，在纵方向排列立体照相机的情况下，搜索区域为参照图像的纵方向，基准图像的周围区域也是纵方向。图8是基于基准点(xbl、ybl)的极小值分布Hm(xbl)和位于基准点(xbl、ybl)的周围区域的各个基准点(xbruybn) (η:自然数)的极小值分布Hm(Xbn)，计算评价值图的步骤的示意图。图8Α表示基准图像，图8Β表示参照图像，图8C表示各个基准点(xbn、ybn) 的极小值分布Hm(xbn)的关系，图8D表示通过重叠基准点(xbruybn)的极小值分布而计算出的评价值图。以下，说明图8所示的评价值图的计算方法。在图8A所示的基准图像中，从存储器中读出存在于基准点(xbl、ybl)的周围区域中的、对于其他基准点(xb2、yl^)、(xb3, yb3), (xb4、yb4)的每个计算出的评价值分布 Hm(xbn)。这里，设各个基准点的对应点候补存在四个来进行说明，但本发明不受其限制。如图8C所示，在分布于各个极小值分布Hm(Xbn) (η :1到4的整数)的四个对应点候补中，存在距原点的距离对每个极小值分布不同的对应点候补。在图8C中，以线a、b、d 所划的线上的对应点候补距原点的距离对每个极小值分布而不同。这意味着对于各个基准点的视差值发生变动。评价值图M(D、Xb)是将图8C所示的各个极小值分布Hm(Xbn) (η :1到4的整数) 的D轴合在一起，以对胁轴的线表示D轴上的各个对应点候补相对于胁轴的变动值、也就是视差值的变动值。作为信息处理，增加称为胁轴的次元，将对应点候补的位置作为三次元分布进行了处理。也就是说，评价值图M(D、Xb)是基于图8C所示的各个极小值分布，表示各个基准点与多个对应点候补的坐标变动值之间的关系的图。在评价值图M(D、Xb)中，线c上的对应点候补表示对各个基准点的各个对应点候补的视差值没有变动，也就是说各个基准点存在于相同的视差，也就是说存在于相同的距离，表示准确的视差值。这里，在xbl表示基准点的X坐标，xId2.....xbn表示对于基准点在左右方向相邻
的基准点的X坐标时，计算评价值图M(D、Xb)的数式为以下的数式(1)。M(D,Xb) = (Xm(Xb1)jHm(Xb2)jHm(Xb3),…，Hm(xbN)}... (1)再者，在以上的说明中，将Y坐标(ybl)的图像横一列的任意的区域设定为基准点 (xbUybl)的周围区域，但也可以包含基准图像中的Y坐标(ybl)在胁轴上的所有的基准点ο再者，周围区域的设定方法，例如能够将到基准点的评价值分布的特征量、也就是极小值的数或极小值之间的间隔，与存在于周围区域的其他基准点的评价值分布的特征量的差为一定范围的周围基准点为止作为选择范围。通过限制选择范围，在存在多个包含连续的相似图案的物体，并且是位置相互不连续的物体时，能够计算出各个物体的准确的视差。对应点判定单元108计算出在评价值图M(D、Xb)中所示的线a到d中、直线性最强的线，也就是在各个对应点候补中，视差值的坐标变动值最小的对应点候补作为对应点。 在图8D所示的评价值M(DJb)中，在线a到线d中，线c是直线分量最强的直线。具体而言，为了提取栅栏等在直线上连续存在的物体，在评价值图M(D、)(b)中，通过霍夫变换提取评价值较小的点在一条直线上连续的、直线分量最强的线(S206)。所谓霍夫变换，是提取图像上的直线分量的基本的图像处理之一。这里，作为对于评价值图整体进行了霍夫变换的结果，提取直线分量最强的线。在物理层面的含义上，当在现实空间呈直线状排列着包含连读的相似图案的物体时，在评价值图上，获得对应点分布在直线性最强的线上的结果。评价值图中的评价值较小的点是表示物体的存在位置的点，对于栅栏等包含连续的相似图案的物体而言，基准图像与参照图像并不能使所有相同位置的支柱部分对应关联，因此，产生多个物体存在位置的候补。在存在多个对应点候补时，在评价值图上获得多个线，但在不是真实的视差的位置的直线中，在评价值图上存在一部分直线性紊乱的部分，发生不呈直线性分布的部位。该部分是在现实空间中，栅栏的粗细有少许不同的支柱的部分，另外，在为人行横道标示时，是颜色较浅的部分。也就是说，栅栏等包含连续的相似图案的物体，实际上存在周期性的紊乱，该部分的多个对应点候补的位置，与不存在周期性紊乱的部分的多个对应点候补的位置不同。因此，在栅栏等、包含连续的相似图案的物体的存在周期性紊乱的部分与不存在周期性紊乱的部分之间，比较多个对应点候补的位置时，存在仅在真实的视差一致的对应点，其在真实的视差之外不一致。在表现为评价值图时，仅在真实的视差的位置保持直线性，在除此之外的视差的位置，得到直线性紊乱了的结果。
这里，在对于图8A中的基准点位置(xbl、ybl)、也就是评价值图中的xb = xbl的位置，设应求的真实的对应点位置为DCorrect(Xbl)，评价值极小的位置为DM (xbl)，计算出的直线的位置为Dline(Xbl)时，真实的对应点可以用以下的数式(2)表示。计算出的直线的位置Dline (xbl)表示图8D中的线c为xb = xbl的D轴的值。
权利要求
1.视差计算装置，包括立体图像数据获取单元，具有第ι摄像系统和第2摄像系统，获取使用所述第1摄像系统拍摄对象物所得的基准图像的数据、以及使用所述第2摄像系统拍摄所述对象物所得的参照图像的数据；立体匹配单元，计算评价值分布，该评价值分布表示所述基准图像具有的基准点与所述参照图像具有的多个搜索点之间的图像亮度的差异度；对应点候补数判定单元，从所述评价值分布包含的搜索点中，检测所述评价值为极小的搜索点，在所述检测到的搜索点的数量为多个时，输出所述检测到的多个搜索点作为对应点候补；极小值分布计算单元，在所述评价值分布中包含所述对应点候补时，计算表示所述对应点候补的坐标分布的极小值分布的第1极小值分布和第2极小值分布，所述第1极小值分布对应于第1基准点，所述第2极小值分布对应于存在于包含所述第1基准点的所述基准图像的周围区域中的一个或者多个第2基准点；评价值图计算单元，基于所述第1极小值分布和所述第2极小值分布，计算表示所述第 1基准点和所述第2基准点与所述多个对应点候补的坐标变动值的关系的评价值图；对应点判定单元，在所述评价值图中，将所述坐标变动值为最小的所述对应点候补判定为对应点；以及视差数据输出单元，输出视差值，该视差值是所述对应点在所述参照图像中的坐标点与所述第1基准点在所述参照图像中的坐标点的差分。
2.如权利要求1所述的视差计算装置，所述周围区域的范围是基于所述第1基准点的所述极小值分布中包含的评价值为极小的搜索点的数、以及间隔而确定的范围。
3.如权利要求1所述的视差计算装置，所述对应点判定单元在所述第1基准点涉及的所述对应点候补的数量与所述第2基准点涉及的所述对应点候补的数量不同时，去除仅包含在所述第1基准点和所述第2基准点涉及的所述极小值分布的任一个中的所述对应点候补，判定所述对应点。
4.如权利要求1所述的视差计算装置，所述对应点判定单元通过对所述评价值图进行霍夫变换，提取所述坐标变动值为最小的所述对应点候补作为对应点。
5.如权利要求1所述的视差计算装置，在所述第1摄像系统具有第1透镜，所述第2摄像系统具有第2透镜，所述周围区域是在所述第1透镜与所述第2透镜的排列方向上具有任意的宽度的区域时，所述评价值图计算单元基于所述第1评价值分布、所述第2评价值分布、以及对应于第 3基准点的极小值分布，计算所述评价值图，所述第3基准点，对于存在于所述周围区域中的基准点，存在于所述第1透镜与所述第2透镜的排列方向的垂直方向上。
6.如权利要求1所述的视差计算装置，所述周围区域的范围是基于对应于所述第1基准点的评价值分布和对应于所述第2基准点的评价值分布的、对应于所述多个搜索点的图像亮度的差异度的差分和而确定的范围。
7.视差计算方法，包括以下步骤获取使用第1摄像系统拍摄对象物所得的基准图像的数据、以及使用第2摄像系统拍摄所述对象物所得的参照图像的数据；计算评价值分布，该评价值分布表示所述基准图像具有的基准点与所述参照图像具有的多个搜索点之间的图像亮度的差异度；从所述评价值分布包含的搜索点中，检测所述评价值为极小的搜索点，在所述检测到的搜索点的数量为多个时，输出所述检测到的多个搜索点作为对应点候补；在所述评价值分布中包含所述对应点候补时，计算表示所述对应点候补的坐标分布的极小值分布的第1极小值分布和第2极小值分布，所述第1极小值分布对应于第1基准点， 所述第2极小值分布对应于存在于包含所述第1基准点的所述基准图像的周围区域中的一个或者多个第2基准点；基于所述第1极小值分布和所述第2极小值分布，计算表示所述第1基准点和第2基准点与所述多个对应点候补的坐标变动值的关系的评价值图；在所述评价值图中，将所述坐标变动值为最小的所述对应点候补判定为对应点；以及输出视差值，该视差值是所述对应点在所述参照图像中的坐标点与所述第1基准点在所述参照图像中的坐标点的差分。
全文摘要
公开了实现包含连续的相似图案的物体的距离测量的立体照相机。在使用了立体照相机的立体匹配中，在对基准点的SAD等的评价值分布中存在多个对应点候补时，重叠被判定为存在多个对应点的基准点的评价值分布和存在于该基准点的周围区域中的其他各个基准点的评价值分布，生成评价值图。由此，表现被判定为存在多个对应点的基准点的周围的现实空间中的物体的形状，通过提取评价值图上直线性最强的线段，能够计算在一条直线上连续的栅栏等的准确距离。
文档编号G08G1/16GK102203552SQ20108000312
公开日2011年9月28日 申请日期2010年9月2日 优先权日2009年9月7日
发明者南里卓也, 西村洋文 申请人:松下电器产业株式会社