行驶路面检测装置和行驶路面检测方法
【专利摘要】本发明提供一种高精度地检测行驶路面的行驶路面检测装置和行驶路面检测方法。区域确定部(22A)基于视差图像，确定路面区域、立体物存在区域、以及路面区域和立体物存在区域以外的不确定区域。视差高度确定部(22D)将不确定区域中的包含如下视差点的区域确定为视差高度存在区域，该视差点是自路面的高度位置起具有预先设定的阈值以上的高度的视差点。行驶路面检测部(22B)在拍摄图像上以朝向远离车辆V的方向而依次延长的方式检测行驶路面。此外，行驶路面检测部(22B)，不将立体物存在区域、视差高度存在区域、以及从车辆V观察时比立体物存在区域和视差高度存在区域靠远离车辆V的方向侧的区域检测为行驶路面。
【专利说明】
行驶路面检测装置和行驶路面检测方法
技术领域
[0001]本发明的各方面涉及检测车辆的行驶路面的行驶路面检测装置和行驶路面检测方法。
【背景技术】
[0002]以往，存在如下的行驶路面检测装置，该行驶路面检测装置根据车辆的周围的拍摄图像的视差信息来检测车辆所行驶的行驶路面和存在立体物的立体物存在区域，并将从车辆观察时直到立体物存在区域的跟前为止的区域检测为行驶区域。作为这样的行驶路面检测装置，例如已知有下述的专利文献I所记载的装置。
[0003]现有技术文献
[0004]专利文献:
[0005]专利文献1:美国专利申请公开第2014/0071240号说明书
【发明内容】
[0006]发明要解决的问题
[0007]在此，行驶路面检测装置在基于视差信息进行立体物的检测的情况下，例如在立体物较细等时，有时无法高精度地检测立体物。在该情况下，有时尽管实际存在立体物，行驶路面检测装置却会将存在该立体物的区域和比存在该立体物的区域更远的区域检测为行驶路面。
[0008]于是，本发明的各方面的目的在于提供一种能够高精度地检测行驶路面的行驶路面检测装置和行驶路面检测方法。
[0009]用于解决问题的手段
[0010]本发明的一方面是检测车辆的行驶路面的行驶路面检测装置，具备:视差图像生成部，其基于车载相机所拍摄到的车辆的周围的拍摄图像，生成包含被关联了视差信息的像素即视差点的视差图像；区域确定部，其基于视差图像，确定车辆的周围的路面区域、存在立体物的立体物存在区域、以及车辆的周围的除了路面区域和立体物存在区域以外的不确定区域;行驶路面检测部，其在拍摄图像上以朝向远离车辆的方向而依次延长的方式检测行驶路面;路面高度推定部，其基于视差信息推定路面区域内的路面的高度位置;以及视差高度确定部，其基于视差信息和所推定出的路面的高度位置，将不确定区域中的包含如下视差点的区域确定为视差高度存在区域，所述视差点是自路面的高度位置起具有预先设定的阈值以上的高度的视差点，行驶路面检测部不将立体物存在区域、视差高度存在区域、以及从车辆观察时比立体物存在区域和视差高度存在区域靠远离车辆的方向侧的区域检测为行驶路面。
[0011]在该行驶路面检测装置中，视差高度确定部基于视差信息和推定出的路面的高度位置，确定不确定区域中的包含如下视差点的视差高度存在区域，所述视差点是自路面的高度位置起具有预先设定的阈值以上的高度的视差点。行驶路面检测部不将立体物存在区域、视差高度存在区域、以及从车辆观察时比立体物存在区域和视差高度存在区域靠远离车辆的方向侧的区域检测为行驶路面。这样，由于行驶路面检测装置不将立体物存在区域、视差高度存在区域、以及从车辆观察时比立体物存在区域和视差高度存在区域靠远离车辆的方向侧的区域检测为行驶路面，所以即使在无法高精度地检测立体物的情况下，也能够将不是行驶路面的区域排除而高精度地检测行驶路面。
[0012]本发明的另一方面涉及检测车辆的行驶路面的行驶路面检测装置的行驶路面检测方法，包括:视差图像生成步骤，由行驶路面检测装置的视差图像生成部基于车载相机所拍摄到的车辆的周围的拍摄图像，生成被关联了视差信息的像素即视差点的视差图像；区域确定步骤，由行驶路面检测装置的区域确定部基于视差图像，确定车辆的周围的路面区域、存在立体物的立体物存在区域、以及车辆的周围的除了路面区域和立体物存在区域以外的不确定区域;行驶路面检测步骤，由行驶路面检测装置的行驶路面检测部在拍摄图像上以朝向远离车辆的方向而依次延长的方式检测行驶路面;路面高度推定步骤，由行驶路面检测装置的路面高度推定部基于视差信息推定路面区域内的路面的高度位置；以及视差高度确定步骤，由行驶路面检测装置的视差高度确定部基于视差信息和所推定出的路面的高度位置，将不确定区域中的包含如下视差点的区域确定为视差高度存在区域，所述视差点是自路面的高度位置起具有预先设定的阈值以上的高度的视差点，在行驶路面检测步骤中，不将立体物存在区域、视差高度存在区域、以及从车辆观察时比立体物存在区域和视差高度存在区域靠远离车辆的方向侧的区域检测为行驶路面。
[0013]该行驶路面检测装置，在视差高度确定步骤中，基于视差信息和推定出的路面的高度位置，确定不确定区域中的包含如下视差点的视差高度存在区域，所述视差点是自路面的高度位置起具有预先设定的阈值以上的高度的视差点。行驶路面检测装置，在行驶路面检测步骤中，不将立体物存在区域、视差高度存在区域、以及从车辆观察时比立体物存在区域和视差高度存在区域靠远离车辆的方向侧的区域检测为行驶路面。这样，根据行驶路面检测方法，由于不将立体物存在区域、视差高度存在区域、以及从车辆观察时比立体物存在区域和视差高度存在区域靠远离车辆的方向侧的区域检测为行驶路面，所以即使在无法高精度地检测立体物的情况下，也能够将不是行驶路面的区域排除而高精度地检测行驶路面。
[0014]发明效果
[0015]根据本发明的各方面，能够高精度地检测行驶路面。
【附图说明】
[0016]图1是示出行驶路面检测装置的概略结构的图。
[0017]图2是示出以视差图像中的横向位置为横轴、以视差为纵轴的视差投票映射的图。
[0018]图3的(a)是示出表示被分类到被设定了立体物的属性的方框的视差点的图，图3的(b)是示出被分类到被设定了路面的属性的方框的视差点的图，图3的(C)是示出被分类到被设定了不确定的属性的方框的视差点的图，图3的(d)是表示被分类到被设定了存在视差高度的属性的方框的视差点的图。
[0019]图4是示出沿着在拍摄图像上设定的放射线来检测行驶路面的情形的图。
[0020]图5是示出确定立体物存在区域和视差高度存在区域等的处理的流程的流程图。
[0021]图6是示出基于视差高度存在区域等的确定结果来检测行驶路面的处理的流程的流程图。
[0022]标号说明
[0023]l...行驶路面检测装置、3…立体相机(车载相机)、21…图像取得部(视差图像生成部)、22Α.._区域确定部、22B…行驶路面检测部、22C…路面高度推定部、22D…视差高度确定部、R…行驶路面、V…车辆。
【具体实施方式】
[0024]以下，参照附图对本发明的实施方式进行说明。此外，在附图的说明中，对同一要素标注同一标号，省略重复的说明。
[0025]如图1所示，本实施方式的行驶路面检测装置I例如搭载于乘用车等车辆V，基于从拍摄图像得到的视差信息(自车载相机起的距离信息)来检测行驶路面，拍摄图像是对车辆V的周围进行拍摄而得到的图像。行驶路面例如是指车辆V能够行驶的道路的路面。此外，除了车辆V所行驶的道路的路面之外，行驶路面也可以包括停车场的通道和停车空间的路面。
[0026]行驶路面检测装置I通过对车辆V的周围进行拍摄的车载相机来取得拍摄图像，基于根据拍摄图像生成的视差图像的视差信息(视差)来检测行驶路面。视差图像是指包含视差信息的图像。
[0027]如图1所示，行驶路面检测装置I具备用于检测行驶路面的ECUtElectronicControl Unit]2、以及立体相机(车载相机)340112是具有CPU[Central Processing Unit:中央处理器]、R0M[Read Only Memory:只读存储器]、RAM[Random Access Memory:随机存取存储器]等的电子控制单元。在ECU2中，通过将存储于ROM的程序载入RAM并由CPU执行，来执行各种处理。ECU2也可以由多个电子控制单元构成。
[0028]立体相机3是对车辆V的周围进行拍摄而取得拍摄图像的图像取得设备。立体相机3具有以再现双眼视差的方式配置的第一相机3A和第二相机3B。第一相机3A和第二相机3B例如设置于车辆V的前挡风玻璃的里侧，对车辆V的前方进行拍摄。
[0029]此外，行驶路面检测装置I也可以具备单眼相机而代替立体相机3。在单眼相机中，也能够通过使用周知的方法(例如利用了拍摄的时间差的方法)而从拍摄图像得到视差图像。
[0030]接着，对ECU2的功能结构进行说明。如图1所示，ECU2具有图像取得部(视差图像生成部)21、检测部22以及路面信息输出部23。
[0031]图像取得部21取得立体相机3所拍摄到的拍摄图像。图像取得部21例如基于立体相机3中的第一相机3A的拍摄图像和第二相机3B的拍摄图像，通过周知的方法生成包含视差信息的视差图像。例如，构成视差图像的各像素被关联了视差信息。以下，将被关联了视差信息的视差图像中的像素称作视差点。
[0032]检测部22基于视差信息来检测立体相机3的拍摄图像中的行驶路面。此外，检测部22例如可以使用由第一相机3A或第二相机3B拍摄到的任一拍摄图像作为立体相机3的拍摄图像。更详细而言，检测部22具有区域确定部22A、行驶路面检测部22B、路面高度推定部22C以及视差高度确定部22D。
[0033]区域确定部22A基于由图像取得部21生成的视差图像的视差信息，确定路面区域、立体物存在区域以及不确定区域。路面区域是指车辆V的周围的路面的区域。立体物存在区域是指车辆V的周围的存在立体物的区域。不确定区域是指车辆V的周围的除了路面区域和立体物存在区域以外的区域。
[0034]作为一例，区域确定部22A可以以如下方式来确定路面区域、立体物存在区域以及不确定区域。首先，区域确定部22A设定如图2所示的视差投票映射。图2的视差投票映射通过使多个矩形状的方框排列而构成，该多个矩形状的方框是以横向的边与视差图像的横向(水平方向)的位置对应、且纵向的边与视差的大小对应的方式设定的方框。区域确定部22A基于视差图像中的视差点的位置和视差点的视差的大小，将视差点分类(投票)到构成视差投票映射的多个方框中的对应的方框。这样，区域确定部22A使视差投票映射的方框与各视差点对应。
[0035]接着，区域确定部22A针对视差投票映射的各个方框，算出视差的平均值、视差的偏差、视差点处的视差图像的纵向的坐标的平均值、视差点处的视差图像的纵向的坐标的偏差。
[0036]区域确定部22A针对视差投票映射的各个方框，对视差点的纵向的分布大、且视差方向的分布小的方框设定立体物属性。具体而言，区域确定部22A例如判定视差点的纵向的分布(视差点处的视差图像的纵向的坐标的偏差)是否为预先设定的第一阈值以上。另外，区域确定部22A例如判定视差方向的分布(视差点处的视差图像的纵向的坐标的偏差/视差的偏差)是否小于第二阈值。在视差点的纵向的分布为预先设定的第一阈值以上、且视差方向的分布小于第二阈值的情况下，区域确定部22A对该方框设定立体物属性。即，在被设定了立体物属性的方框内，存在第一阈值以上的高度的立体物。区域确定部22A将被分类到被设定了立体物属性的方框的视差点确定为立体物候补点。
[0037]例如，如图3(a)所示，在视差投票映射的方框内，在具有相同程度的视差(距离)的视差点分布于视差图像中的纵向的位置广的范围的情况下，区域确定部22A能够判定为该视差点的集合表示立体物。
[0038]另外，区域确定部22A针对视差投票映射的各个方框，对视差点的纵向的分布小、且视差方向的分布大的方框设定路面属性。具体而言，区域确定部22A例如判定视差点的纵向的分布(视差点处的视差图像的纵向的坐标的偏差)是否小于预先设定的第三阈值。另夕卜，区域确定部22A例如判定视差方向的分布(视差点处的视差图像的纵向的坐标的偏差/视差的偏差)是否为第四阈值以上。在视差点的纵向分布小于预先设定的第三阈值、且视差方向的分布为第四阈值以上的情况下，区域确定部22A对该方框设定路面属性。区域确定部22A将被分类到被设定了路面属性的方框的视差点确定为路面候补点。
[0039]例如，如图3(b)所示，在视差投票映射的方框内，在具有相同程度的视差(距离)的视差点分布于视差图像中的纵向的位置窄的范围、且视差图像中的纵向的位置随着视差减少(随着距离增大)而平滑地上升的情况下，区域确定部22A能够判定为该视差点的集合表示路面。
[0040]另外，区域确定部22A对视差投票映射的方框中既没有被设定路面属性也没有被设定立体物属性的方框设定不确定属性。区域确定部22A将被分类到没有被确定为立体物或路面而是被设定了不确定属性的方框的视差点确定为不确定候补点。被设定了不确定属性的方框可以是包含不具有被设定立体物属性的程度的高度的物体、或者横向宽度细的物体等的方框。另外，被设定了不确定属性的方框也可以是由于分类(投票)的视差点的数量小于预先设定的基准数所以被设定了不确定属性的方框。另外，被设定了不确定属性的方框也可以是不清楚是否存在立体物的方框。
[0041]具体而言，例如如图3(c)所示，被设定了不确定属性的方框可以包括由于方框内的视差点的数量少所以无法判定视差点的集合所表示的对象物的方框。另外，例如如图3(d)所示，被设定了不确定属性的方框也可以包括具有相同程度的视差(距离)的视差点分布于视差图像中的纵向的位置窄的范围的方框。具有相同程度的视差(距离)的视差点分布于视差图像中的纵向的位置窄的范围的方框也可以是包含高度低的立体物的方框。
[0042]区域确定部22A以预先设定的间隔对立体相机3的拍摄图像设定格子线，将拍摄图像区划成多个格子(参照图4)。然后，区域确定部22A使视差点与拍摄图像对应，将各格子中的存在立体物候补点的格子确定为立体物存在区域。另外，区域确定部22A将各格子中的仅存在路面候补点的区域确定为路面区域。区域确定部22A将各格子中的存在不确定候补点的格子确定为不确定区域。
[0043]路面高度推定部22C基于视差信息推定车辆V的周围的路面的高度位置。具体而言，首先，路面高度推定部22C基于被区域确定部22A确定为路面区域的格子内的路面候补点，推定路面的高度位置。路面高度推定部22C例如可以使用公知的V-d i spar i ty图像来进行基于路面候补点的路面的高度位置的推定。
[0044]视差高度确定部22D基于视差信息和推定出的路面的高度位置，在被确定为不确定区域的格子中确定视差高度存在区域。视差高度存在区域是指被确定为不确定区域的格子中的包含如下视差点的区域，该视差点是自路面的高度位置起具有预先设定的阈值以上的高度的视差点。
[0045]具体而言，首先，视差高度确定部22D使用由路面高度推定部22C推定出的路面的高度位置作为基准高度位置。然后，视差高度确定部22D针对各格子内的不确定候补点的集合，算出自基准高度位置起的高度。例如，视差高度确定部22D基于基准高度位置和不确定候补点的分布来算出该不确定候补点的集合的自基准高度位置起的高度。即，视差高度确定部22D算出不确定候补点所表示的物体的自基准高度位置起的高度。视差高度确定部22D判定算出的不确定候补点的集合的自基准高度位置起的高度是否为预先设定的阈值以上。在算出的不确定候补点的集合的自基准高度位置起的高度为预先设定的阈值以上的情况下，视差高度确定部22D将包含该不确定候补点的集合的格子确定为视差高度存在区域。即，视差高度确定部22D针对被区域确定部22A确定为不确定区域的格子，将属性从不确定改写为存在视差高度。例如，可以将包含图3(d)所示的视差点的集合的格子确定为视差高度存在区域。
[0046]这样，被确定为视差高度存在区域的格子是由于视差点的集合体的高度的幅度不足所以没有被区域确定部22A确定为立体物存在区域，但包含虽然不具有被确定为立体物的程度的高度但自路面起具有某种程度的高度的视差点的集合体的方框。即，被确定为视差高度存在区域的格子是由于包含自路面起具有某种程度的高度的视差点的集合体所以被确定为至少不是行驶路面的格子。
[0047]行驶路面检测部22B在拍摄图像上以朝向远离车辆V的方向而依次延长的方式检测行驶路面。在本实施方式中，行驶路面检测部22B针对在拍摄图像上设定的格子，以从车辆V向放射方向扩展的方式依次检测行驶路面。在该情况下，例如，行驶路面检测部22B在拍摄图像上以将车辆V作为中心而从车辆V以预先设定的角度扩展的方式设定多条放射线L(参照图4)。然后，行驶路面检测部22B针对放射线L所通过的格子，从靠近车辆V的一侧朝向远离车辆V的一侧依次以行驶路面的区域延长的方式检测行驶路面。另外，在放射线L所通过的格子是视差高度存在区域或立体物存在区域的情况下，行驶路面检测部22B在放射线L上不将视差高度存在区域、立体物存在区域以及从车辆V观察时比视差高度存在区域和立体物存在区域靠远离车辆V的方向侧的区域检测为行驶路面。
[0048]具体而言，首先，行驶路面检测部22B在放射线L所通过的格子中判定最靠近车辆V的格子是否是视差高度存在区域或立体物存在区域。在不是视差高度存在区域或立体物存在区域的情况下，行驶路面检测部22B基于该格子内的视差点和像素信息(辉度、质地(texture)等)的至少任一方，判定该格子内的区域是否是行驶路面。作为基于视差点和像素信息的至少任一方来判定是否是行驶路面的方法，行驶路面检测部22B可以使用已知的图像处理方法等各种方法。
[0049]在判定为格子内的区域是行驶路面的情况下，行驶路面检测部22B在放射线L所通过的格子中针对处于第二靠近车辆V的位置的格子，如上述那样判定是否是视差高度存在区域或立体物存在区域。然后，如上所述，在不是视差高度存在区域或立体物存在区域的情况下，行驶路面检测部22B基于格子内的视差点和像素信息的至少任一方来检测行驶路面。
[0050]这样，行驶路面检测部22B在放射线L所通过的格子中，从靠近车辆V的一侧起依次以将行驶路面的区域相连的方式进行行驶路面的检测。即，行驶路面检测部22B在放射线L所通过的格子中，将直到是视差高度存在区域或立体物存在区域的格子的前一个格子(是视差高度存在区域或立体物存在区域的格子的车辆V侧的相邻的一个格子)为止的格子、或者直到基于视差点和像素信息的至少任一方判定为不是行驶路面的格子的前一个格子为止的格子检测为行驶路面。行驶路面检测部22B对各放射线L依次进行沿着放射线L的行驶路面的检测。
[0051]图4示出所检测到的行驶路面的一例。此外，为了使得所检测到的行驶路面的范围容易观察，图4中将立体相机3的拍摄图像变换为从车辆V的上方观察的状态而示出。在图4所示的例子中，前车Vl正在车辆V的前方行驶。假设存在该前车Vl的格子被区域确定部22A确定为了立体物存在区域。另外，在车辆V的前方设置有2根警示柱(pole)P。假设存在该警示柱P的格子设为被区域确定部22A确定为了不确定区域，且被视差高度确定部22D确定为了视差高度存在区域。例如，假设:由于警示柱P细，所以与警示柱P对应的视差点没有被确定为立体物候补点而是被确定为了不确定候补点。另外，假设:由于警示柱P自路面起的高度为预先设定的阈值以上，所以视差高度确定部22D将包含与警示柱P对应的视差点(不确定候补点)的集合的格子确定为了视差高度存在区域。此外，在图4中，假设车辆V存在于图中的下侧。
[0052]如上所述，行驶路面检测部22B从靠近车辆V的一侧起沿着放射线L检测行驶路面。行驶路面检测部22B在放射线L所通过的格子中，不将被确定为了视差高度存在区域的包含警示柱P的格子确定为行驶路面R。此外，在图4中，行驶路面R是添加了细小的点的区域。另夕卜，行驶路面检测部22B在放射线L所通过的格子中，不将比包含警示柱P的格子靠远离车辆V的方向侧的区域检测为行驶路面R。另外，行驶路面检测部22B不将被确定为了立体物存在区域的包含前车Vl的格子确定为行驶路面R。另外，行驶路面检测部22B在放射线L所通过的格子中，不将比包含前车Vl的格子靠远离车辆V的方向侧的区域检测为行驶路面R。
[0053]路面信息输出部23将由检测部22检测出的行驶路面R的信息向外部输出。路面信息输出部23例如可以对进行车辆V的自动驾驶的ECU或者进行车辆V的驾驶支援的ECU输出行驶路面R的信息。
[0054]接着，对由行驶路面检测装置I进行的行驶路面检测方法的处理的流程进行说明。此外，图5和图6所示的检测行驶路面R的处理例如在车辆V处于发动机驱动期间时在预先设定的每个时间执行。首先，使用图5的流程图，对根据立体相机3的拍摄图像来确定立体物存在区域和视差高度存在区域等的处理的流程进行说明。图像取得部21取得立体相机3所拍摄到的拍摄图像(SlOl)。图像取得部21基于取得的拍摄图像生成视差图像(S102:视差图像生成步骤)。区域确定部22A例如使用视差投票映射，将视差图像中的视差点分类为立体物候补点、路面候补点以及不确定候补点(S103)。
[0055]区域确定部22A对立体相机3的拍摄图像设定格子。然后，区域确定部22A将各格子中的存在立体物候补点的格子确定为立体物存在区域，将仅存在路面候补点的区域确定为路面区域，将存在不确定候补点的格子确定为不确定区域(S104:区域确定步骤)。
[0056]路面高度推定部22C基于被区域确定部22A确定为了路面区域的格子内的路面候补点，推定路面的高度位置(S105:路面高度推定步骤)。视差高度确定部22D针对各格子内的不确定候补点的集合，算出自基准高度位置起的高度。在算出的不确定候补点的集合的自基准高度位置起的高度为预先设定的阈值以上的情况下，视差高度确定部22D将包含该不确定候补点的集合的格子确定为视差高度存在区域(S106:视差高度确定步骤)。
[0057]接着，使用图6的流程图，对基于视差高度存在区域等的确定结果来检测行驶路面R的处理的流程进行说明。行驶路面检测部22B在立体相机3的拍摄图像上设定多条放射线L
(5201)。行驶路面检测部22B在多条放射线L中设定成为行驶路面R的检测对象的放射线L
(5202)。此外，在S202的处理的执行为第2次以后的情况下，行驶路面检测部22B将多条放射线L中没有被设定为检测对象的放射线L设定为检测对象的放射线L。
[0058]行驶路面检测部22B设定成为行驶路面R的检测对象的格子(S203)。该格子是在S104中在拍摄图像上设定的格子。具体而言，行驶路面检测部22B在通过S202设定的成为检测对象的放射线L所通过的格子中，将最靠近车辆V的格子设定为检测对象的格子。此外，在S203的处理的执行为第2次以后的情况下，行驶路面检测部22B将在上次进行S203的处理时被设定为检测对象的格子的远离车辆V的一侧的后一个格子设定为检测对象。这样，行驶路面检测部22B在放射线L所通过的格子中，从靠近车辆V的一侧朝向远离车辆V的一侧依次设定成为检测对象的格子。
[0059]行驶路面检测部22B判定被设定为检测对象的格子是否是视差高度存在区域(S204:行驶路面检测步骤)。在被设定为检测对象的格子是视差高度存在区域的情况下(S204:是)，行驶路面检测部22B不将被设定为检测对象的格子检测为行驶路面R。然后，行驶路面检测部22B判定针对在S201中设定的所有放射线L的行驶路面R的检测处理是否都已结束(S205)。在针对所有放射线L的行驶路面R的检测处理都已结束的情况下(S205:是)，路面信息输出部23将由行驶路面检测部22B检测出的行驶路面R的信息向外部输出(S206)。在针对所有放射线L的行驶路面R的检测处理还未结束的情况下(S205:否)，行驶路面检测部22B进行上述S202的处理。
[0060]在被设定为检测对象的格子不是视差高度存在区域的情况下(S204:否)，行驶路面检测部22B判定被设定为检测对象的格子是否是立体物存在区域(S207:行驶路面检测步骤)。在被设定为检测对象的格子是立体物存在区域的情况下(S207:是)，行驶路面检测部22B不将被设定为检测对象的格子检测为行驶路面R。然后，行驶路面检测部22B进行上述S205的处理。
[0061]在被设定为检测对象的格子不是立体物存在区域的情况下(S207:否)，行驶路面检测部22B基于被设定为检测对象的格子内的视差点和像素信息的至少任一方，判定被设定为检测对象的格子内的区域是否是行驶路面R(S208)。在被设定为检测对象的格子内的区域不是行驶路面R的情况下(S208:否)，行驶路面检测部22B不将被设定为检测对象的格子检测为行驶路面R。然后，行驶路面检测部22B进行上述S205的处理。
[0062]在被设定为检测对象的格子内的区域是行驶路面R的情况下(S208:是)，行驶路面检测部22B将被设定为检测对象的格子检测为行驶路面R(S209:行驶路面检测步骤)。接着，行驶路面检测部22B判定针对在S202中设定的放射线L所通过的所有格子的行驶路面R的检测处理是否都已结束(S210)。在针对所有格子的行驶路面R的检测处理都已结束的情况下(S210:是)，行驶路面检测部22B进行上述S205的处理。在针对所有格子的行驶路面R的检测处理还未结束的情况下(S210:否)，行驶路面检测部22B进行上述S203的处理。
[0063]在此，针对所有格子的行驶路面R的检测处理都已结束的情况，也可以是在放射线L上不再存在更远的格子的情况。另外，针对所有格子的行驶路面R的检测处理都已结束的情况，也可以是在自车辆V起预先设定的范围内行驶路面R的检测处理全部都已结束的情况。
[0064]本实施方式如以上那样构成，视差高度确定部22D基于视差信息和由路面高度推定部22C推定出的路面的高度位置，将不确定区域中的包含如下视差点的区域确定为视差高度存在区域，该视差点是自路面的高度位置起具有预先设定的阈值以上的高度的视差点。行驶路面检测部22B不将立体物存在区域、视差高度存在区域、以及从车辆V观察时比立体物存在区域和视差高度存在区域靠远离车辆V的方向侧的区域检测为行驶路面R。在此，视差高度存在区域是如下区域:虽然没有检测到立体物，但由于包含自路面起具有某种程度的高度的视差点的集合体，所以至少不是行驶路面R。这样，由于行驶路面检测装置I不将立体物存在区域、视差高度存在区域、以及从车辆V观察时比立体物存在区域和视差高度存在区域靠远离车辆V的方向侧的区域检测为行驶路面R，所以即使在无法高精度地检测立体物的情况下，也能够将不是行驶路面的区域排除而高精度地检测行驶路面R。
[0065]以上，虽然对本发明的实施方式进行了说明，但本发明不限于上述实施方式。例如，行驶路面检测部22B虽然沿着从车辆V起以预先设定的角度扩展的放射线L来检测行驶路面R，但也可以沿着放射线L以外的基准线来检测行驶路面R。例如，行驶路面检测部22B在立体相机3的拍摄图像上在车宽方向上以预定的间隔设定多条与车辆V的行进方向平行的基准线。然后，行驶路面检测部22B可以沿着设定的基准线从车辆V的跟前侧起依次进行行驶路面R的检测。
【主权项】
1.一种行驶路面检测装置，是检测车辆的行驶路面的行驶路面检测装置，其中，所述行驶路面检测装置具备: 视差图像生成部，其基于车载相机所拍摄到的车辆的周围的拍摄图像，生成包含被关联了视差信息的像素即视差点的视差图像； 区域确定部，其基于所述视差图像，确定所述车辆的周围的路面区域、存在立体物的立体物存在区域、以及所述车辆的周围的除了所述路面区域和所述立体物存在区域以外的不确定区域； 行驶路面检测部，其在所述拍摄图像上以朝向远离所述车辆的方向而依次延长的方式检测所述行驶路面； 路面高度推定部，其基于所述视差信息推定所述路面区域内的路面的高度位置；以及视差高度确定部，其基于所述视差信息和推定出的所述路面的高度位置，将所述不确定区域中的包含如下视差点的区域确定为视差高度存在区域，所述视差点是自所述路面的高度位置起具有预先设定的阈值以上的高度的视差点， 所述行驶路面检测部，不将所述立体物存在区域、所述视差高度存在区域、以及从所述车辆观察时比所述立体物存在区域和所述视差高度存在区域靠远离所述车辆的方向侧的区域检测为所述行驶路面。2.根据权利要求1所述的行驶路面检测装置， 所述区域确定部将所述拍摄图像区划成多个格子，基于所述视差图像将所述多个格子中的每个格子确定为所述立体物存在区域、所述路面区域以及所述不确定区域中的某一方， 所述视差高度确定部，将被确定为所述不确定区域的格子中的包含如下视差点的集合的格子确定为所述视差高度存在区域，所述视差点是自所述路面的高度位置起具有预先设定的阈值以上的高度的视差点。3.—种行驶路面检测方法，是检测车辆的行驶路面的行驶路面检测装置的行驶路面检测方法，其中，所述行驶路面检测方法包括: 视差图像生成步骤，由所述行驶路面检测装置的视差图像生成部基于车载相机所拍摄到的车辆的周围的拍摄图像，生成包含被关联了视差信息的像素即视差点的视差图像；区域确定步骤，由所述行驶路面检测装置的区域确定部基于所述视差图像，确定所述车辆的周围的路面区域、存在立体物的立体物存在区域、以及所述车辆的周围的除了所述路面区域和所述立体物存在区域以外的不确定区域； 行驶路面检测步骤，由所述行驶路面检测装置的行驶路面检测部在所述拍摄图像上以朝向远离所述车辆的方向而依次延长的方式检测所述行驶路面； 路面高度推定步骤，由所述行驶路面检测装置的路面高度推定部基于所述视差信息推定所述路面区域内的路面的高度位置;以及 视差高度确定步骤，由所述行驶路面检测装置的视差高度确定部基于所述视差信息和推定出的所述路面的高度位置，将所述不确定区域中的包含如下视差点的区域确定为视差高度存在区域，所述视差点是自所述路面的高度位置起具有预先设定的阈值以上的高度的视差点， 在所述行驶路面检测步骤中，不将所述立体物存在区域、所述视差高度存在区域、以及从所述车辆观察时比所述立体物存在区域和所述视差高度存在区域靠远离所述车辆的方向侧的区域检测为所述行驶路面。4.根据权利要求3所述的行驶路面检测方法， 在所述区域确定步骤中，将所述拍摄图像区划成多个格子，基于所述视差图像将所述多个格子中的每个格子确定为所述立体物存在区域、所述路面区域以及所述不确定区域中的某一方， 在所述视差高度确定步骤中，将被确定为所述不确定区域的格子中的包含如下视差点的集合的格子确定为所述视差高度存在区域，所述视差点是自所述路面的高度位置起具有预先设定的阈值以上的高度的视差点。
【文档编号】G06T7/00GK106056569SQ201610182377
【公开日】2016年10月26日
【申请日】2016年3月28日 公开号201610182377.2, CN 106056569 A, CN 106056569A, CN 201610182377, CN-A-106056569, CN106056569 A, CN106056569A, CN201610182377, CN201610182377.2
【发明人】西岛征和
【申请人】丰田自动车株式会社