行驶路面检测装置和行驶路面检测方法
【专利摘要】本申请涉及行驶路面检测装置和行驶路面检测方法。提供一种基于车辆周围的视差图像检测行驶路面的装置。视差图像由车载摄像机获取。该装置包括：区域判定单元，其基于视差图像的视差信息对于视差图像的各个单位区域判定单位区域是否为路面区域或非路面区域；坐标变换单元，其基于单位区域的视差信息和坐标位置将各个单位区域与地图中的网格关联，地图的视点被设定为比视差图像的视点高，该地图通过以网格分割车辆周围的区域而得到；以及检测单元，其将路面网格和地图上的位于路面网格之间的各个网格检测为地图上的行驶路面，路面网格是与被判定为路面区域的单位区域相对应的网格。
【专利说明】
行驶路面检测装置和行驶路面检测方法
技术领域
[0001 ]本发明涉及一种行驶路面检测装置和行驶路面检测方法。
【背景技术】
[0002]美国专利申请公开N0.2014/0071240描述了一种检测行驶路面的装置。该装置通过使用分别从左右摄像机得到的图像，来获取其中视差信息与各个像素关联的视差图像，基于视差图像的视差信息识别路面区域，并且进行视差图像到网格平面地图上的坐标变换，从而检测行驶路面。
[0003]然而，在从视差图像到平面地图上的坐标变换时，因为例如视差图像的视点与平面地图的视点之间的差异，所以视差图像中的连续路面区域可能是网格平面地图上的不连续区域。在这种情况下，在美国专利申请公开N0.2004/0071240中描述的装置错误地将连续行驶路面检测为包括多个间隙的行驶路面或分隔的多个行驶路面。在该技术领域，期望能够改善行驶路面的检测精度降低的行驶路面检测装置和行驶路面检测方法。
【发明内容】
[0004]本发明的方面提供了一种行驶路面检测装置，其基于车辆周围的视差图像来检测行驶路面。视差图像由车载摄像机得到。该行驶路面检测装置包括:区域判定单元，其基于所述视差图像的视差信息对于所述视差图像的各个单位区域判定所述单位区域是否为路面区域或非路面区域，各个所述单位区域均包括一个或多个像素;坐标变换单元，其基于所述单位区域的视差信息和坐标位置将各个所述单位区域与地图中的网格关联，所述地图的视点被设定为比所述视差图像的视点高，所述地图通过以网格分割所述车辆周围的区域而得到；以及检测单元，其将路面网格和所述地图上的位于所述路面网格之间的各个网格检测为所述地图上的所述行驶路面，所述路面网格是与由所述区域判定单元判定为所述路面区域的所述单位区域相对应的网格。
[0005]利用该行驶路面检测装置，在利用坐标变换单元进行视差图像到地图上的坐标变换之后，检测单元将地图上的不是路面网格但是位于路面网格之间的各个网格检测为地图上的行驶路面。因此，利用该行驶路面检测装置，例如，当包括路面区域的视差图像经受坐标变换并且投射到地图上时，即使当地图上的与路面区域相对应的区域不连续时，也能够通过插补不连续区域而检测到行驶路面。因此，该装置能够改善行驶路面的检测精度的降低。
[0006]在一个实施例中，检测单元可以通过将夹在所述路面网格之间的各个网格设定为用于所述地图上的位于所述路面网格之间的网格而检测所述地图上的所述行驶路面，所述路面网格布置在所述地图上以所述车载摄像机的位置为基准的一个放射状延伸方向上。例如，如果该装置构造成将地图上的夹在路面网格之间的各个网格检测为行驶路面，该路面网格布置于以立体摄像机的位置为基准的横向(车辆宽度方向)上，则存在将不能从作为观察点的立体摄像机识别的障碍物后方的网格检测为行驶路面的担心。相比之下，行驶路面检测装置将夹在路面网格之间的各个网格设定为地图上的位于路面网格之间的网格，该路面网格布置于以车载摄像机的位置为基准的放射状延伸方向上的。因此，例如，能够避免将障碍物后方的网格错误地检测为行驶路面。
[0007]在一个实施例中，行驶路面检测装置可以还包括区域识别单元，该区域识别单元基于由所述区域判定单元判定为所述路面区域的各个所述单位区域的坐标位置或像素信息，将识别相应的所述路面区域的识别信息与由所述区域判定单元判定为所述路面区域的各个单位区域关联。当分别与同夹着所述网格的一对所述路面网格相对应的所述单位区域关联的识别信息彼此不同时，所述检测单元不将夹在一对所述路面网格之间的所述网格检测为所述行驶路面。在这种情况下，利用该行驶路面检测装置，例如，当在视差图像中包括多个路面区域时，能够避免将与路面区域之间的各个单位区域相对应的网格错误地检测为行驶路面。
[0008]本发明的另一个方面提供了一种行驶路面检测方法，其基于车辆周围的视差图像检测行驶路面。视差图像由车载摄像机得到。该行驶路面检测方法包括:基于所述视差图像的视差信息，对于所述视差图像的各个单位区域判定所述单位区域是否为路面区域或非路面区域，各个所述单位区域均包括一个或多个像素;基于所述单位区域的所述视差信息和坐标位置，将各个所述单位区域与地图中的网格关联，所述地图的视点被设定为比所述视差图像的视点高，所述地图通过以网格分割所述车辆周围的区域而得到；以及将路面网格和所述地图上的位于所述路面网格之间的各个网格检测为所述地图上的所述行驶路面，所述路面网格是与被判定为所述路面区域的所述单位区域相对应的网格。利用该方法，除了从根据本发明的上述方面的行驶路面检测装置得到的有益效果之外，还能够改善行驶路面的检测精度的降低。
[0009]根据本发明的各个方面和实施例，能够改善行驶路面的检测精度的降低。
【附图说明】
[0010]下面将参考附图描述本发明的示例性实施例的特征、优点以及技术和工业重要性，其中，相同的标号表示相同的元件，并且其中:
[0011]图1是图示出根据实施例的行驶路面检测装置的块图；
[0012]图2是示出由立体摄像机捕捉到的视差图像的一个实例的视图；
[0013]图3A是图示出由根据该实施例的行驶路面检测装置处理的数据的一个实例的表格；
[0014]图3B是图示出由根据该实施例的行驶路面检测装置处理的数据的一个实例的表格；
[0015]图3C是图示出由根据该实施例的行驶路面检测装置处理的数据的一个实例的表格；
[0016]图3D是图示出由根据该实施例的行驶路面检测装置处理的数据的一个实例的表格；
[0017]图4是视差图像中的路面区域的一个实例；
[0018]图5A是示出从视差图像到网格地图的坐标变换的一个实例中的视差图像的预定区域的一个实例的视图；
[0019]图5B是图示出作为从视差图像到网格地图的坐标变换的一个实例的与视差图像的预定区域相对应的网格地图的一个实例的视图；
[0020]图6A是图示出作为网格地图上的行驶路面检测处理的一个实例的在以立体摄像机的位置为基准的放射状延伸方向上扫描网格地图的情况的一个实例的视图；
[0021]图6B是图示出图6A所示的网格地图上的行驶路面检测处理的视图；
[0022]图7是示出由根据该实施例的行驶路面检测装置使用的行驶路面检测方法的一个实例的流程图；以及
[0023]图8是通过根据该实施例的行驶路面检测装置输出行驶路面信息的处理的一个实例的流程图。
【具体实施方式】
[0024]在下文中，将参考附图描述本发明的实施例。
[0025]图1是图示出根据该实施例的行驶路面检测装置的块图。图1所示的行驶路面检测装置I基于车辆周围的视差图像检测行驶路面。例如，行驶路面是允许车辆在其上行驶的路面。行驶路面不仅可以包括车辆在其上行驶的道路的路面，而且还可以包括停车场中的通道和停车空间的路面。在该实施例中，将在假设行驶路面检测装置I安装在诸如乘用车这样的车辆上的情况下进行描述。
[0026]基于由捕捉车辆周围的图像的车载摄像机所获取的视差图像，行驶路面检测装置I检测行驶路面。视差图像是包括视差信息或深度信息的图像(数据)。例如，视差信息或深度信息与构成视差图像的各个像素关联。更具体地，例如，视差图像是图像中的坐标位置与视差?目息或深度?目息关联的图像。
[0027]行驶路面检测装置的构造
[0028]如图1所示，行驶路面检测装置I包括用于检测行驶路面的电子控制单元(ECU)2和立体摄像机3(车载摄像机的一个实例KECU2是包括中央处理单元(CPU)、只读存储器(ROM),随机存取存储器(RAM)、控制器局域网(CAN)通信电路等的电子控制单元。例如，ECU2连接到使用CAN通信电路进行通信的网络，并且可通信地连接到立体摄像机3ο例如，E⑶2基于从CPU输出的信号通过操作CAN通信电路而输入或输出数据，将输入数据存储在RAM中，将存储在ROM中的程序加载到RAM上，并且执行加载到RAM上的程序，从而实现部件(将在稍后描述)的功能。ECU 2可以由多个电子控制单元形成。
[0029]立体摄像机3是通过捕捉车辆周围的图像而获取视差图像的图像获取装置。例如，立体摄像机3包括两个摄像机。在图1中，立体摄像机3包括布置成复制(replicate)双眼视差的第一摄像机4和第二摄像机5。例如，第一摄像机4和第二摄像机5设置在车辆的挡风玻璃的里侧，并且捕捉车辆前方的图像。
[0030]立体摄像机3通过使用分别由第一摄像机4和第二摄像机5捕捉的第一图像和第二图像而生成视差图像。例如，立体摄像机3对于第一图像的各个像素执行以第一图像为基准在第二图像中搜索与第一图像的像素相对应的对应点的处理，并且计算各个像素的视差信息。例如，视差信息是第一图像的像素位置与第二图像的相应点的像素位置之间的距离(图像中的像素间距离)。例如，立体摄像机3生成将图像中的横坐标位置X和纵坐标位置y与像素间距离关联的图像作为视差图像。像素间距离是视差信息。立体摄像机3可以通过将各个像素的视差信息应用到变换的通式而得到深度信息(关于距离立体摄像机3的距离的信息)，并且可以生成图像中的横坐标位置X和纵坐标位置y与深度信息关联的图像作为视差图像。变换的通式是这样的公式:其中，立体摄像机3的基本信息(例如，摄像机间距离等)设定为系数、并且视差信息和深度信息互相成反比。立体摄像机3将所获取的视差图像传送到ECU 2。
[0031]接下来，将描述ECU2的功能性构造。如图1所示，E⑶2包括:图像获取单元10、区域判定单元11、区域识别单元12、坐标变换单元13和行驶路面信息输出单元(检测单元)14。
[0032]图像获取单元10从立体摄像机3获取视差图像。当CAN通信电路基于从CPU输出的信号而运转时，实现图像获取单元10。图2是示出由立体摄像机3捕捉的视差图像的一个实例的视图。图2所示的视差图像Gl是由捕捉到的车辆前方的图像生成的图像。如图2所示，车辆在其上行驶的行驶路面R位于路缘Kl与护栏K2之间。人行道Hl位于路缘Kl与位于路缘Kl外侧的树木K3之间。人行道H2位于护栏K2与位于护栏K2外侧的建筑物K4之间。图3A是视差图像的数据表格的一个实例。在图3A所示的表格中，识别各个像素的像素ID、视差图像Gl中的X坐标位置、视差图像GI中的y坐标位置和深度信息z彼此关联。例如，作为坐标(X，y)的(I，I)和作为深度信息z的“100”与像素ID“1”关联。相似地，作为坐标(x，y)的(I，2)和作为深度信息的“200”与像素ID“2”关联。在这里省略各个像素ID与像素值的关联。图像获取单元10将所获取的视差图像存储在诸如RAM这样的存储区域中。
[0033]区域判定单元11基于视差图像Gl的视差信息对于视差图像Gl的各个单位区域判定单位区域是路面区域还是非路面区域。视差图像Gl的各个单位区域包括一个或多个像素。当CPU将存储在ROM中的程序加载到RAM上并且执行加载到RAM上的程序时，实现区域判定单元U。单位区域是视差图像Gl中的区域，并且该区域包括一个或多个像素。即，最小单位区域是包括一个像素的区域。在下文中，将描述单位区域是一个像素(像素单位)的实例。
[0034]例如，区域判定单元11重复地执行设定进行判定的像素的处理和通过从左上像素到右下像素扫描视差图像Gl而对该像素进行判定的处理。路面区域是视差图像Gl中的描绘路面的范围。非路面区域是除了路面区域之外的区域，并且是例如视差图像Gl中的描绘除了路面之外的物体的范围。例如，除了路面之外的物体是建筑物、树木、护栏、路缘等。
[0035]将描述通过区域判定单元11而判定像素是否为路面区域的实例。区域判定单元11通过使用预先获取的统计数据估算各个像素的路面梯度(gradient)。统计数据表示深度信息与路面梯度之间的关系。随后，区域判定单元11通过使用各个像素(X坐标、y坐标)的深度信息和估算的相应路面梯度来获取估算到的路面梯度的高度信息Hy(对应于视差图像中的y坐标)。区域判定单元11比较y坐标与高度信息Hy。当差小于预定值时，区域判定单元11判定像素是路面区域;反之，当差大于或等于预定值时，区域判定单元11判定像素是非路面区域。图3B是由区域判定单元11管理的数据表格的实例。在图3B所示的表格中，像素ID、判定像素是路面区域还是非路面区域的路面标记和标签(稍后描述)彼此关联。路面标记是这样的数据:当将路面标记设定为“I”时，表示像素是路面区域;并且当将路面标记设定为“O”时，表示像素是非路面区域。路面标记是由区域判定单元11的判定的结果。例如，当像素ID“I”的像素是路面区域时，区域判定单元11将作为路面标记的“I”与像素ID“1”关联。相似地，当像素ID“2”的像素是非路面区域时，区域判定单元11将作为路面标记的“O”与像素ID“2”关联。
[0036]基于由区域判定单元11判定为路面区域的各个像素的坐标位置，区域识别单元12将识别相应路面区域的识别信息与由区域判定单元11判定为路面区域的各个像素关联。当CPU将存储在ROM中的程序加载到RAM上并且执行加载到RAM上的程序时，实现区域识别单元
12。例如，识别信息是能够唯一地识别路面区域组的信息。识别信息的具体实例是表示路面区域组的标签。
[0037]首先，区域识别单元12通过使用由区域判定单元11判定为路面区域的各个像素的坐标位置来判定与其它像素的连通性(connectivity)。例如，当要处理的像素周围的上、下、右、左和倾斜方向上的相邻像素是被判定为路面区域的像素时，区域识别单元12判定在要处理的像素与相邻像素之间具有连通性。随后，区域识别单元12对判定为存在连通性的要处理的像素与相邻像素关联相同标签。即，当像素关联相同标签时，像素包括在相同路面区域中。图3B所示的上述表格也由区域识别单元12管理。当区域识别单元12判定在要处理的像素与相邻像素之间存在连通性时，区域识别单元12更新图3B所示的表格的标签。例如，当区域识别单元12判定在像素ID“1”的像素与像素ID“4096”的像素之间存在连通性时，区域识别单元12利用相同标签“2”更新这些像素ID的标签。图4是视差图像中的路面区域的一个实例。图4示出视差图像Gl上的三个路面区域Rl、R2、R3。例如，路面区域Rl由关联有标签“I”的像素组构成，路面区域R2由关联有标签“2”的像素组构成，并且路面区域3由关联有标签“3”的像素组构成。即，图3B所示的表格中的关联有标签“I”的像素ID的像素是构成图4所示的视差图像Gl中的路面区域Rl的像素。相似地，图3B所示的表格中的关联有标签“2”的像素ID的像素是构成图4所示的视差图像Gl中的路面区域R2的像素。相似地，图3B所示的表格中的关联有标签“3”的像素ID的像素是构成图4所示的视差图像Gl中的路面区域R3的像素。
[0038]区域识别单元12可以通过使用像素信息代替被判定为路面区域的像素之间的位置关系(位置坐标)，来判定是否存在连通性。像素信息是像素值，诸如辉度、色度和对比度。例如，区域识别单元12可以对辉度差小于或等于预定值的像素组关联相同标签。以这种方式，当未精确地获取像素的视差信息时，区域识别单元12能够通过使用像素值来对像素进行标注。区域识别单元12可以通过使用被判定为路面区域的像素之间的位置关系和像素的像素信息来判定是否存在连通性。
[0039]坐标变换单元13基于像素的视差信息和坐标位置将各个像素与网格地图(地图的一个实例)中的网格关联。网格地图的视点被设定为比视差图像Gl的视点高。通过以网格分割在车辆前方展开的区域(车辆周围区域的实例)而得到网格地图。当CPU将存储在ROM中的程序加载到RAM上并且执行加载到RAM上的程序时，实现坐标变换单元13。
[0040]例如，网格地图设置成使得将由到车辆的距离和横向位置所表示的二维平面以设定的间隔分割成单元(cells)。网格地图的各个单元称为网格。各个单元可以具有方形或矩形。例如，网格地图具有图3C和图3D所示的数据表格的数据结构。如图3C所示，地图的横坐标X(对应于视差图像的横坐标X)和纵坐标Z(对应于视差图像的深度信息z)均关联有唯一地识别对应的一个网格的各自的网格ID。例如，通过将关联有像素ID的相应的视差信息和坐标位置代入到一般坐标变换公式内，坐标变换单元13识别网格地图上的对应于各个像素ID的位置，从而得到对应于各个像素ID的网格ID。即，坐标变换单元13查阅图3A和图3B所示的数据表格，并且通过使用与像素ID关联的位置信息(X坐标位置)和深度信息z以及坐标变换公式将像素位置变换为网格地图上的网格(X，Z)，从而将各个像素ID与相应的网格ID关耳关。
[0041]坐标变换单元13对与像素ID对应的网格ID分配(assigns)与各个像素ID关联的路面标记和标签。例如，如图3D所示，路面标记、标签和搜索ID(稍后描述)与各个网格ID关联。坐标变换单元13对相应的一个网格ID分配与各个像素ID关联的路面标记和标签。当一个网格ID对应于多个像素ID时，坐标变换单元13可以基于预定条件从与多个像素ID关联的路面标记和标签中判定一个路面标记和一个标签，并且可以将判定的路面标记和标签与网格ID关联。在下文中，将在假设与由区域判定单元11判定为路面区域的像素相对应的网格，即，路面标记是“I”的网格称为“路面网格”、并且路面标记是“O”的网格称为“非路面网格”的情况下进行描述。如将在稍后描述地，因为存在既不是路面网格也不是非路面网格的网格，所以图3D示出了将这样的网格的路面标记设定为NULL值的实例(参见网格ID“2”)。
[0042 ]图5A和58是图示出从视差图像GI到视差图像G2的坐标变换的实例的视图。图5A是视差图像GI的实例。图5B是对应于视差图像GI中的预定区域AI的网格地图G2的实例。图5B所示的网格地图G2是平面图中的车辆前方的区域分割成网格、并且图3C和图3D所示的数据可视化的地图。网格地图G2包括路面网格RG。在图中，剖面线网格是路面网格RG。在图中，剖面线的类型根据标签而改变。例如，标签“I”与对应于路面区域Rl的路面网格RG关联，标签“2”与对应于路面区域R2的路面网格RG关联，并且标签“3”与对应于路面区域R3的路面网格RG关联。即，在图中剖取(hatching)的不同类型的对角线分别用于标签“I”、标签“2”和标签“3”。在网格地图G2中，非路面网格NG对应于与非路面区域关联的像素。在图中，填充有点的网格是非路面网格NG。
[0043]例如，行驶路面信息输出单元14扫描(搜索)网格地图G2，以扫描方向的顺序连接路面网格RG，并且将连接的路面网格RG的集合体检测为行驶路面。当CPU将存储在ROM中的程序加载到RAM上并且执行加载到RAM上的程序时，实现行驶路面信息输出单元14。如图5B所示，当视差图像GI的路面区域R1、R2和R3投射到网格地图G2上时，在网格地图G2上的对应于路面区域R1、R2、R3的区域中出现间隙。在网格地图G2上的对应于非路面区域的区域中也出现间隙。在图5B中，由粗边界方框围绕的网格是间隙。在下文中，将在假设不对应于与路面区域或非路面区域关联的像素的网格是间隙网格的情况下进行描述。因为视差图像Gl的视点与视差图像G2的视点之间的差、作为网格地图Gl的构成单元的各个像素与作为网格地图G2的构成单元的各个像素之间的尺寸差、立体摄像机3的捕捉精度随着捕捉距离增大而降低并且视差信息的错误随着捕捉距离增加而增加的事实等，所以出现间隙网格。当已经通过使用包括间隙网格的网格地图G2检测行驶路面时，存在将初始连续的行驶路面错误地检测为分割的行驶路面的担忧。
[0044]因此，例如，根据该实施例的行驶路面检测装置I在如下假设下检测行驶路面:将包括间隙的路面网格RG的集合体视作不包括间隙的路面网格RG的集合体。具体地，行驶路面信息输出单元14不仅将路面网格RG、而且将网格地图G2上的位于路面网格RG之间的间隙网格EG检测为网格地图G2上的行驶路面。网格地图G2上的路面网格RG之间的各个间隙网格EG是指网格地图G2上的在行驶路面信息输出单元14的扫描方向上夹在路面网格RG之间的间隙网格EG。例如，当网格地图G2上的扫描方向(搜索方向)是X方向(车辆宽度方向、横向)时，网格地图G2上的位于路面网格RG之间的间隙网格EG是网格地图G2上在X轴方向上夹在一对路面网格RG之间的间隙网格EG。例如，当网格地图G2上的扫描方向(搜索方向)是Y方向(深度方向、纵向)时，网格地图G2上的位于路面网格RG之间的各个间隙网格EG是网格地图G2上在Z轴方向上夹在一对路面网格RG之间的间隙网格EG。
[0045]行驶路面信息输出单元14不仅能够在横向或纵向上、而且能够在倾斜方向上扫描(搜索)并且连接路面网格，并且能够检测行驶路面。例如，行驶路面信息输出单元14可以在网格地图G2上的以立体摄像机3的位置为基准的放射状延伸方向上扫描。在这种情况下，夹在路面网格RG之间的间隙网格EG是指夹在布置于以立体摄像机3的位置为基准的一个放射状延伸方向上的一对路面网格RG之间的间隙网格EG。
[0046]位于网格地图G2上的路面网格RG之间的间隙网格EG可以是指仅当间隙网格EG夹在一对相邻的路面网格RG之间时的间隙网格EG。作为一个具体实例，仅当路面网格RG、间隙网格EG和路面网格RG在扫描方向上顺次布置时，将间隙网格EG视为位于网格地图G2上的路面网格RG之间的间隙网格EG ο通过将间隙网格EG限制为间隙网格EG夹在相邻的路面网格RG之间的情况，例如，即使当已经错误地将路面网格RG检测为处于远处位置时，也能够通过使用错误检测的路面网格RG抑制不应该被初始地检测为行驶路面的区域的检测。相比之下，位于网格地图G2上的路面网格RG之间的间隙网格EG不限于仅当间隙网格EG夹在一对相邻的路面网格RG之间时的间隙网格EG，而且位于路面网格RG之间的间隙网格EG可以是指夹在一对路面网格RG之间的多个间隙网格EG。在这种情况下，例如，即使当路面网格RG、间隙网格EGl、间隙网格EG2和路面网格RG在扫描方向上顺次布置时，夹置的两个间隙网格EGl、EG2均是位于网格地图G2上的路面网格RG之间的间隙网格EG。通过不限制夹置的间隙网格EG的数量，将间隙网格EG检测为行驶路面的机会增加，所以能够进一步改善行驶路面的检测精度的降低。可选择地，位于网格地图G2上的路面网格RG之间的间隙网格EG可以受限为夹置间隙网格EG的一对路面网格RG之间的距离大于或等于预定值的情况。在这种情况下，例如，当存在诸如路缘这样的低高度障碍物、并且在视差图像Gl中识别障碍物后方的路面区域时，能够抑制不应该被初始地检测为行驶路面的区域的检测。通过将搜索一个路面网格RG到下一个路面网格RG的范围设定为例如预定值以下或预定值以上，行驶路面信息输出单元14能够将位于网格地图G2上的路面网格RG之间的间隙网格EG限制为上述各种含义。
[0047]图6A和图6B是图示出网格地图G2上的行驶路面检测处理的一个实例的视图。图6A是在以立体摄像机3的位置为基准的放射状延伸方向上扫描网格地图G2的情况的一个实例，并且各个箭头Y表示任意一个扫描方向。对各个箭头分配唯一地识别该箭头的搜索ID。如图3D所示，行驶路面信息输出单元14对沿着图6A所示的相应的一个箭头Y布置的网格的各个网格ID分配与相应的一个箭头Y相关的搜索ID。当行驶路面信息输出单元14在网格地图G2上的图中的各个箭头方向上搜索时，行驶路面信息输出单元14提取网格ID，该网格ID与关于相应箭头的搜索ID相同的搜索ID关联。行驶路面信息输出单元14实际上通过使用图3C的各个网格ID的位置信息以到车辆的距离的顺序一维布置提取到的网格ID，并且从车辆侧朝着远方侧扫描一维布置的网格，从而在倾斜方向上扫描。
[0048]将通过使用图6A和图6B所示的箭头Y来详细描述网格地图G2上的行驶路面检测处理的一个实例。箭头Y的搜索ID是“I”。行驶路面信息输出单元14从图3D所示的数据表格中提取与搜索ID“1”关联的网格ID“1”、“3”.....“240”，并且以到车辆的距离的顺序扫描提取出的网格ID的网格。图6B是图示出图6A所示的网格地图G2上的行驶路面检测处理的视图。如图6B所示，将主要描述路面网格RGl、间隙网格EGl、路面网格RG2、非路面网格NGl、间隙网格EG2、以及路面网格RG3以该顺序布置的部分。路面网格RGl和路面网格RG2的标签是“I”，并且路面网格RG3的标签是“3”。
[0049]行驶路面信息输出单元14沿着箭头Y扫描，并且判定路面网格从车辆到路面网格RGl连续。当行驶路面信息输出单元14已经检测到间隙网格EGl时，行驶路面信息输出单元14判定在更远侧上是否存在路面网格RG。在间隙网格EGl的远侧上存在路面网格RG2。行驶路面信息输出单元14判定路面网格RGl的标签与路面网格RG2的标签是否相同。因为路面网格RGl和路面网格RG2的标签是“I”，所以行驶路面信息输出单元14判定路面网格RGl和路面网格RG2是布置在一个放射状延伸方向上的一对路面网格RG，并且判定间隙网格EGl是夹在一对路面网格RG之间的间隙网格EG。行驶路面信息输出单元14将间隙网格EGl转换为路面网格RG。具体地，在图3A至图3D所示的数据表格中，行驶路面信息输出单元14将间隙网格EGl的路面标记从改为“I”。行驶路面信息输出单元14可以指定与一对路面网格RG的标签相同的标签作为间隙网格EGl的标签。从而，插补(interpolated) 了具有间隙的路面网格RG的集合体。
[0050]另一方面，在行驶路面信息输出单元14判定路面网格RG从车辆到路面网格RG2连续之后，行驶路面信息输出单元14进一步沿着箭头Y扫描。当行驶路面信息输出单元14已经检测到非路面网格NGl之后，行驶路面信息输出单元14判定在更远侧上是否存在路面网格RG。在非路面网格NGI的远侧上存在间隙网格EG2和路面网格RG3。行驶路面信息输出单元14判定路面网格RG2的标签是否与路面网格RG3的标签相同。路面网格RG2的标签是“I”，并且路面网格RG3的标签是“3”。以这种方式，当分别与对应于夹持间隙网格EG的一对路面网格RG的像素关联的标签彼此不同时，行驶路面信息输出单元14不将夹在一对路面网格RG之间的间隙网格EG检测为行驶路面。即，行驶路面信息输出单元14不将间隙网格EG2转换为路面网格RG。更具体地，在图3A至图3D所示的数据表格中，行驶路面信息输出单元14将间隙网格EG的路面标记保持为。以这种方式，当视差图像中包括多个路面区域Rl、R2、R3时，行驶路面检测装置I能够避免将与路面区域R1、R3之间的像素相对应的间隙网格EG错误地检测为行驶路面。
[0051]行驶路面信息输出单元14对所有的搜索ID执行上述处理。如图6B所示，插补了路面网格RG的集合体。行驶路面信息输出单元14从多个路面网格RG的集合体之中选择最靠近车辆的集合体。例如，在图6B所示的情况下，行驶路面信息输出单元14选择路面网格RG的集合体RX。行驶路面信息输出单元14将路面网格RG的集合体RX的区域检测为网格地图G2上的行驶路面。以这种方式，当路面网格RG的集合体包括间隙时，行驶路面检测装置I在路面网格RG的集合体不包括间隙的假设下检测行驶路面。
[0052]用于行驶路面检测装置的行驶路面检测方法
[0053]接着，将参考附图描述用于行驶路面检测装置I的行驶路面检测方法。图7是示出由行驶路面检测装置I使用的行驶路面检测方法的一个实例的流程图。例如，在车辆由发动机驱动的同时，以预定时间间隔执行图7所示的流程图。
[0054]如图7所示，在步骤SlOl中，E⑶2利用图像获取单元10获取图像。图像获取单元10从立体摄像机3获取车辆周围的视差图像。
[0055]随后，在步骤S102中，E⑶2通过区域判定单元11对于各个像素(各个单位区域)执行判定像素是否是路面区域的处理(区域判定步骤)。区域判定单元11通过使用预先获取并且表示深度信息与路面梯度之间的关系的统计数据来估算各个像素的路面梯度。随后，区域判定单元11通过使用相应像素(X坐标，y坐标)的深度信息和估算的路面梯度，来获取各个估算的路面梯度的高度信息Hy(对应于视差图像中的y坐标)。区域判定单元11比较y坐标与高度信息Hy。当差小于预定值时，区域判定单元11判定预期的(intended)像素是路面区域;反之，当差大于或等于预定值时，区域判定单元11判定预期的像素是非路面区域。
[0056]随后，在步骤S103中，ECU2使用区域识别单元12执行对各个像素(各个单位区域)进行标记的处理。基于由区域判定单元11判定为路面区域的像素的坐标位置，区域识别单元12将识别相应路面区域的标签与由区域判定单元11判定为路面区域的各个像素关联。
[0057]随后，在步骤S104中，E⑶2使用坐标变换单元13执行投射到网格地图上的投射处理(坐标变换处理)。坐标变换单元13基于像素(单位区域)的视差信息和坐标位置将各个像素与网格地图(地图的一个实例)中的网格关联。将网格地图的视点设定为比视差图像Gl的视点高。通过以网格分割在车辆前方展开的区域(车辆周围区域的一个实例)而得到网格地图。
[0058]随后，在步骤S105中’ECU2利用行驶路面信息输出单元14执行输出行驶路面信息的处理(检测步骤)。例如，行驶路面信息输出单元14输出最靠近车辆的路面网格RG的集合体是行驶路面的行驶路面信息。例如，行驶路面信息输出单元14将行驶路面信息输出到自动驾驶车辆的ECU或支持车辆驾驶的ECU。当步骤S105结束时，ECU 2结束图7所示的流程图。
[0059]在图8中示出图7所示的步骤S105的处理细节。图8是示出由行驶路面检测装置I输出行驶路面信息的处理的一个实例的流程图。
[0060]如图8所示，在步骤S200中，E⑶2利用行驶路面信息输出单元14执行设定要处理的搜索ID的处理。行驶路面信息输出单元14从多个搜索ID之中选择并且设定要处理的一个搜索ID。
[0061]随后，在步骤S201中，ECU2利用行驶路面信息输出单元14执行提取网格的处理。行驶路面信息输出单元14基于在步骤S200中设定的搜索ID提取网格地图G2上的所有预期的网格。
[0062]随后，在步骤S202中，E⑶2利用行驶路面信息输出单元14执行设定要处理的网格的处理。行驶路面信息输出单元14基于在步骤S200中设定的搜索ID设定要处理的网格。例如，行驶路面信息输出单元14以到车辆的距离的顺序布置网格地图G2上的全部预期的网格，并且选择要处理的一个网格。行驶路面信息输出单元14选择一个网格，使得随着到网格的距离减小而优先处理网格。
[0063]随后，在步骤S204中，E⑶2利用行驶路面信息输出单元14执行路面网格判定处理。行驶路面信息输出单元14判定在步骤S202中设定的网格是否为路面网格RG或非路面网格NG。即，行驶路面信息输出单元14判定在步骤S202中设定的网格是否是间隙网格EG。当行驶路面信息输出单元14判定在步骤S202中设定的网格是路面网格RG或是非路面网格NG时(步骤S204:是)，ECU 2使处理进入步骤S207。即，当在步骤S202中设定的网格不是间隙网格时，ECU 2使处理前进到步骤S207。即，当步骤S202中设定的网格不是间隙网格时，ECU2前进到步骤S207。另一方面，当行驶路面信息输出单元14判定在步骤S202中设定的网格既不是路面网格RG也不是非路面网格NG时(步骤S204:否)，ECU 2使处理前进到步骤S205。即，当在步骤S202中设定的网格是间隙网格时，ECU 2使处理前进到步骤S205。
[0064]在步骤S205中，ECT2利用行驶路面信息输出单元14执行相同标签判定处理。行驶路面信息输出单元14判定作为在步骤S202中设定的网格的间隙网格EG是否位于具有相同标签的路面网格RG之间。当行驶路面信息输出单元14判定间隙网格EG位于具有相同标签的路面网格RG之间时(步骤S205:是)，ECU 2使处理前进到步骤S206。另一方面，当行驶路面信息输出单元14判定间隙网格EG不位于具有相同标签的路面网格RG之间时(步骤S205:否)，E⑶2使处理前进到步骤S207。
[0065]在步骤S206中，ECU2利用行驶路面信息输出单元14执行插补处理。行驶路面信息输出单元14将作为在步骤S202中设定的网格的间隙网格EG改变为路面网格RG。其后，ECU 2使处理前进到步骤S207。
[0066]在步骤S207中，ECT2利用行驶路面信息输出单元14执行是否已经完成对在步骤S201中所提取的全部网格的处理的判定处理。当行驶路面信息输出单元14判定尚未完成对全部网格的处理时(步骤S207:否)，ECU 2返回步骤S202，并且执行设定要处理的下一个网格的处理。即，直到行驶路面信息输出单元14判定已经完成对在步骤S201中所提取的全部网格的处理时(步骤S207:是)为止，E⑶2重复执行步骤S202至步骤S207。从而，关于图6A所示的一个箭头的搜索完成，并且将满足条件的间隙网格EG改变为路面网格RG。
[0067]当行驶路面信息输出单元14判定已经完成对全部网格的处理时(步骤S207:是)，ECU 2利用行驶路面信息输出单元14执行是否已经完成对全部搜索ID的处理的判定处理。当行驶路面信息输出单元14判定尚未完成对全部搜索ID的处理时(步骤S208:否)，ECU 2返回步骤S200，并且执行判定要处理的下一个网格的处理。即，直到行驶路面信息输出单元14判定已经完成对全部搜索ID的处理(步骤S208:是)为止，E⑶2重复执行步骤S200至步骤S208。从而，关于图6A所示的全部箭头的搜索完成。
[0068]随后，在步骤S209中，ECU2利用行驶路面信息输出单元14执行输出行驶路面信息的处理。行驶路面信息输出单元14将集合体检测为网格地图G2上的行驶路面，该集合体通过连接在各个搜索方向上判定的连续的网格地图RG而得到。行驶路面信息输出单元14将关于检测到的行驶路面的信息(行驶路面信息)输出到例如其它ECU等。当步骤S209的处理结束时，图8所示的流程图结束。
[0069]行驶路面检测装置和行驶路面检测方法的作用和有益效果
[0070]利用上述行驶路面检测装置(行驶路面检测方法)1，在坐标变换单元13进行从视差图像Gl到网格地图G2的坐标变换之后，利用行驶路面信息输出单元14将位于网格地图G2上的路面网格RG之间的各个间隙网格EG检测为网格地图G2上的行驶路面。因此，利用行驶路面检测装置I，例如，在包括路面区域R1、R2、R3的视差图像Gl经受坐标变换并且投射到网格地图G2上时，即使当网格地图G2上的对应于路面区域R1、R2、R3的区域不连续时，也能够通过插补不连续的区域而检测行驶路面。因此，该装置能够改善行驶路面的检测精度的降低。
[0071]利用行驶路面检测装置(行驶路面检测方法)1，行驶路面信息输出单元14能够将夹在路面网格RG之间的各个间隙网格EG设定用于网格地图G2上的位于路面网格RG之间的间隙网格EG，其中，路面网格RG布置于以立体摄像机3的位置为基准的一个放射状延伸方向上。例如，如果该装置构造成将网格地图G2上的夹在路面网格RG之间的各个间隙网格EG检测为行驶路面，该路面网格RG布置于以立体摄像机3的位置为基准的横向(车辆宽度方向)上，则存在将不能从作为观察点的立体摄像机3识别的障碍物的后方处的间隙网格EG检测为行驶路面的担心。相比之下，行驶路面检测装置I在网格地图G2上的以立体摄像机3的位置为基准的放射状延伸方向上扫描。从而，行驶路面检测装置I将夹在路面网格RG之间的各个间隙网格EG设定为用于网格地图G2上的位于路面网格RG之间的间隙网格EG，该路面网格RG布置于以立体摄像机3的位置为基准的一个放射状延伸方向上。因此，例如，行驶路面检测装置I能够避免将障碍物后方的间隙网格EG错误地检测为行驶路面。
[0072]利用行驶路面检测装置(行驶路面检测方法)I，行驶路面信息输出单元14可以构造成:当分别与对应于夹着间隙网格EG的一对路面网格RG的像素关联的标签彼此不同时，不将夹在一对路面网格RG之间的间隙网格EG检测为行驶路面。在这种情况下，例如，当在视差图像Gl中包括多个路面区域Rl、R2、R3时，行驶路面检测装置I能够避免将与路面区域之间的像素相对应的间隙网格EG错误地检测为行驶路面。
[0073]以上描述了本发明的实施例；然而，本发明不限于上述实施例。例如，在上述实施例中，描述了这样的实例:其中，ECU 2包括图像获取单元10、区域判定单元11、区域识别单元12、坐标变换单元13和行驶路面信息输出单元(检测单元)14。代替地，E⑶2不必须包括区域识别单元12。
[0074]在上述实施例中，将行驶路面检测装置I描述为安装在车辆上的装置;然而，行驶路面检测装置I不限于车载装置。例如，行驶路面检测装置I可以是安装在车外并且能够通过通信获取视差图像的服务器(server)等。
[0075]在上述实施例中，说明了第一摄像机4和第二摄像机5设置在车辆的挡风玻璃里侧并且捕捉车辆前方的图像的实例;然而，第一摄像机4和第二摄像机5的安装位置不限于该位置。例如，第一摄像机4和第二摄像机5可以设置在车辆侧方或车辆后方(例如，后窗的里侧)，并且可以捕捉车辆侧方或车辆后方的图像。在这种情况下，坐标变换单元13仅需要准备网格地图，使得将网格地图的视点设定为比视差图像的视点高，并且以网格分割车辆侧方或车辆后方的区域，而后执行坐标变换处理。即，坐标变换单元13仅需要准备这样的网格地图:其中，以与捕捉视差图像的方向相当的网格分割车辆周围的区域。利用该构造，例如，即使当车辆后退时，行驶路面检测装置I也能够改善行驶路面的检测精度的降低。
[0076]在上述实施例中，描述了平面图中的网格地图G2;然而，网格地图不限于平面图中的地图。网格地图可以是将视点设定为比视差图像Gl的视点高的鸟瞰图。图5B示出与视差图像Gl中的预定区域Al相对应的视差图像G2的一个实例。可以根据需要设定预定区域Al的尺寸。例如，可以将整个视差图像Gl设定为预定区域Al。
[0077]在上述实施例中，描述了行驶路面检测装置I连接于立体摄像机3的实例。可以设置单目摄像机代替立体摄像机3。利用单目摄像机，能够通过使用已知技术(例如，行驶的车辆中的使用捕捉图像的时间差的技术)得到视差图像。
[0078]在上述实施例中，描述了行驶路面信息输出单元14将位于路面网格RG之间的各个间隙网格EG转换为路面网格RG的实例。然而，不总是需要执行将间隙网格EG转换为路面网格RG的处理。当最终判定路面网格RG的连通性时，可以在各个间隙网格EG是路面网格RG的假设下检测行驶路面。例如，这样的处理可以通过使用路面网格假设标记等来实现。
【主权项】
1.一种行驶路面检测装置，基于由车载摄像机获取的车辆周围的视差图像而检测行驶路面，该行驶路面检测装置包括: 区域判定单元，基于所述视差图像的视差信息，对于所述视差图像的各个单位区域判定所述单位区域是否为路面区域或非路面区域，各个所述单位区域均包括一个或多个像素； 坐标变换单元，基于所述单位区域的视差信息和坐标位置，将各个所述单位区域与地图中的网格关联，所述地图的视点被设定为比所述视差图像的视点高，所述地图通过以网格分割所述车辆周围的区域而得到；以及 检测单元，将路面网格和所述地图上的位于所述路面网格之间的各个网格检测为所述地图上的所述行驶路面，所述路面网格是与由所述区域判定单元判定为所述路面区域的所述单位区域相对应的所述网格。2.根据权利要求1所述的行驶路面检测装置，其中 所述检测单元通过将夹在所述路面网格之间的各个网格设定为用于所述地图上的位于所述路面网格之间的所述网格而检测所述地图上的所述行驶路面，所述路面网格布置在所述地图上以所述车载摄像机的位置为基准的一个放射状延伸的方向上。3.根据权利要求1或2所述的行驶路面检测装置，还包括: 区域识别单元，基于由所述区域判定单元判定为所述路面区域的各个所述单位区域的坐标位置或像素信息，将识别相应的所述路面区域的识别信息、与由所述区域判定单元判定为所述路面区域的各个所述单位区域关联，其中 当与夹着所述网格的一对所述路面网格所对应的、所述单位区域分别关联的识别信息彼此不同时，所述检测单元不将夹在一对所述路面网格之间的所述网格检测为所述行驶路面。4.一种行驶路面检测方法，基于由车载摄像机获取的车辆周围的视差图像而检测行驶路面，该行驶路面检测方法包括: 基于所述视差图像的视差信息，对于所述视差图像的各个单位区域判定所述单位区域是否为路面区域或非路面区域，各个所述单位区域均包括一个或多个像素； 基于所述单位区域的视差信息和坐标位置，将各个所述单位区域与地图中的网格关联，所述地图的视点被设定为比所述视差图像的视点高，所述地图通过以网格分割所述车辆周围的区域而得到；以及 将路面网格和所述地图上的位于所述路面网格之间的各个网格检测为所述地图上的所述行驶路面，所述路面网格是与被判定为所述路面区域的所述单位区域相对应的所述网格。
【文档编号】G06K9/00GK105868687SQ201610080766
【公开日】2016年8月17日
【申请日】2016年2月4日
【发明人】西嶋征和
【申请人】丰田自动车株式会社