边界检测装置和边界检测方法
【技术领域】 本发明设及一种边界检测装置和边界检测方法。
【背景技术】 在相关技术中存在从图像识别目标的方法。例如，日本专利申请公开 No. 2013-114476 (JP2013-114476A)公开了设及目标识别方法的技术，在该目标识别方法 中，确定了在充当识别对象的视差图像的各个位置中表面的梯度，根据表面的梯度的连接 情况提取视差图像的表面之间的折叠的位置和方向作为识别对象的特征信息，并且基于提 取的特征信息来确定识别对象的类型。 期望能够基于视差图像W高的精度来检测台阶表面之间的边界。例如，视差值变化的 点可W检测为边界。然而，在从远处捕捉的区域中，视差值是小的。因此难W在从远处捕捉 的区域中，W高精度提取视差值变化的点作为边界。
【发明内容】
本发明提供了一种边界检测装置和边界检测方法，利用该边界检测装置和边界检测方 法，能够W高精度检测台阶表面之间的边界。 根据本发明的第一方面的边界检测装置，包括获取单元、提取单元和检测单元。获取单 元被构造成基于通过捕捉车辆的周围环境的图像而获得的信息，来获取视差图像。所述视 差图像包括第一像素区域和第二像素区域。提取单元被构造成基于所述第一像素区域的视 差梯度方向和所述第二像素区域的视差梯度方向，从所述第一像素区域和所述第二像素区 域提取预定的像素区域。检测单元被构造成通过将至少一些由所述提取单元提取的多个所 述预定像素区域连接在一起，来检测沿着道路存在的台阶表面的边界。所述第一像素区域 和所述第二像素区域将所述预定像素区域夹在中间。由所述第一像素区域的所述视差梯度 方向与所述第二像素区域的所述视差梯度方向形成的角度在直角的预定角度范围之内。 利用根据本发明的第一方面的边界检测装置，能够W高的精度检测到台阶表面之间的 边界。例如，甚至在从远处捕捉的图像区域中，也能够W高的精度检测到台阶表面之间的边 界。 在本发明的第一方面中，所述第一像素区域可W包括第一像素和第二像素。所述第二 像素区域可W包括第=像素和第四像素。所述第一像素和所述第=像素可W在第一方向上 定位在所述预定像素区域的两侧。由所述第一像素的第一视差梯度方向与所述第=像素的 第=视差梯度方向所形成的角度可W在直角的预定角度范围之内。所述第二像素和所述第 四像素可W在第二方向上定位在所述预定像素区域的两侧，该第二方向与所述第一方向大 致正交。由所述第二像素的第二视差梯度方向与所述第四像素的第四视差梯度方向所形成 的角度可W在直角的预定角度范围之内。 在W上边界检测装置中，所述提取单元可W被构造成基于所述第一像素的所述第一视 差梯度方向、所述第二像素的所述第二视差梯度方向、所述第=像素的所述第=视差梯度 方向和所述第四像素的所述第四视差梯度方向，来确定所述预定像素区域是否构成所述台 阶表面的上侧或者下侧的边界。所述检测单元可W被构造成将确定为构成所述台阶表面的 所述上侧的所述边界的所述预定像素区域连接到一起，并且将确定为构成所述台阶表面的 所述下侧的所述边界的所述预定像素区域连接到一起。 在W上边界检测装置中，所述提取单元可W被构造成基于所述第一像素的所述第一视 差梯度方向、所述第二像素的所述第二视差梯度方向、所述第=像素的所述第=视差梯度 方向和所述第四像素的所述第四视差梯度方向，来确定所述预定像素区域是否构成定位在 所述道路的左侧或者右侧的所述台阶表面的边界。所述检测单元可W被构造成将确定为构 成定位所述左侧上的所述台阶表面的所述边界的所述预定像素区域连接到一起，并且将确 定为构成定位在所述右侧的所述台阶表面的所述边界的所述预定像素区域连接到一起。 根据本发明的第二方面的边界检测方法，包括：基于通过捕捉车辆的周围环境的图像 而获得的信息，来获取视差图像，所述视差图像包括第一像素区域和第二像素区域；基于所 述第一像素区域的视差梯度方向和所述第二像素区域的视差梯度方向，从所述第一像素区 域和所述第二像素区域提取预定像素区域；并且通过将至少一些提取的多个所述预定像素 区域连接到一起，来检测沿着道路而存在的台阶表面的边界。所述第一像素区域和所述第 二像素区域将所述预定像素区域夹在中间。由所述第一像素区域的所述视差梯度方向与所 述第二像素区域的所述视差梯度方向形成的角度在直角的预定角度范围之内。
【附图说明】 下面将通过参考附图描述本发明的说明性实施例的特征、优势、技术和工业重要性，其 中相同的编号指示相同的元件，并且其中： 图1是示出根据实施例的操作的流程图； 图2是示出根据本实施例的边界检测装置的构造的示意性框图； 图3是示出图像数据的实例的图； 图4是示出距离图像的实例的图； 图5是视差梯度方向的说明图； 图6是示出了提取预定的像素区域的方法的图； 图7是示出视差梯度方向的另一图； 图8是示出上端区域提取结果的实例的图； 图9是示出下端区域提取结果的实例的图； 图10是设及直线匹配处理的说明图； 图11是示出边界线检测结果的实例的图； 图12是示出根据实施例的第四修改实例的视差图像的图； 图13是示出根据实施例的第四修改实例的窗口的图；W及 图14是设及实施例的第五修改实例的说明图。
【具体实施方式】 下面将通过参考附图具体描述根据本发明的实施例的边界检测装置和边界检测方法。 注意，本发明不限于该实施例。此外，下述的实施例的构成元件包括大致相同的元件或者本 领域中的技术人员能够容易地设想到的元件。
[第一实施例] 将通过参考图1至11描述第一实施例。本实施例设及一种边界检测装置和边界检测 方法。图1是示出根据发明的本实施例的操作的流程图；图2是示出根据本实施例的边界 检测装置的构造的示意性框图；图3是示出图像数据的实例的图；图4是示出距离图像的 实例的图；图5是视差梯度方向的说明图；图6是示出了提取预定的像素区域的方法的图； 图7是示出视差梯度方向的另一张图；图8是示出上端区域提取结果的实例的图；图9是示 出下端区域提取结果的实例的图；图10是设及直线匹配处理的说明图；图11是示出边界 线检测结果的实例的图。 根据本实施例的边界检测装置和边界检测方法用于基于距离图像检测主要W台阶形 式发生高度变化的道路边界位置。例如，道路边界位置与路缘、人行道的边缘或者排水沟的 位置相对应。为了检测诸如路缘该样的道路边界，可W使用从距离图像计算高度信息并且 提取发生高度变化的位置的方法。然而，由于路缘上表面与路面之间的高度差仅大约10至 20厘米，并且距离图像自身可能包括误差，所W难高的精度检测远处的路缘。响应该问 题已经设计了根据本发明的边界检测装置和边界检测方法，并且提供了一种直接从距离图 像提取由诸如路缘该样的台阶构成的道路边界的方法。 图2所示的边界检测装置1用于检测立体道路边界，并且该边界检测装置1安装在例 如车辆100中，从而检测在车辆100的前方的立体道路边界。在本说明书中，立体道路边界 是沿着道路而存在的台阶表面的边界。该边界通常是台阶表面的上端上的外角部或者台阶 表面的下端上的内角部。可W引用沿着道路安置的路缘的侧面作为台阶表面的典型实例。 在本实施例中，将描述如下情况作为实例：在路缘的侧面的上端和下端处的边界线被检测 为立体道路边界。 如图2中所示，根据本实施例的边界检测装置1包括图像获取单元11、距离数据获取 单元12、台阶候选点提取单元13、坐标变换单元14 W及道路边界线检测单元15。在本实施 例中，距离数据获取单元12充当获取单元，台阶候选点提取单元13充当提取单元，并且道 路边界线检测单元15充当检测单元。根据本实施例的边界检测装置1可W是电子控制单 元巧CU)，该电子控制单元巧CU)包括图像获取单元11、距离数据获取单元12、台阶候选点 提取单元13、坐标变换单元14 W及道路边界线检测单元15。 在车辆100中安装右侧照相机2和左侧照相机3。右侧照相机2和左侧照相机3分别 捕捉车辆100的周围环境的图像。根据本实施例的右侧照相机2和左侧照相机3安装在车 辆100的前部，从而捕捉车辆100的前方的环境的图像。根据本实施例的右侧照相机2和 左侧照相机3 -起构成立体照相机。右侧照相机2和左侧照相机3被安置成在车辆100的 车辆宽度方向上互相邻近，使得他们各自的光轴平行。 通过使右侧照相机2和左侧照相机3同时或者W接近的时间捕捉图像来产生立体图 像。将由右侧照相机2和左侧照相机3分别捕捉和产生的图像数据传输到图像获取单元 11。图像获取单元11从在相同时间具有立体构造的右侧照相机2和左侧照相机3获取亮 度图像。图像获取单元11将图像捕捉指令信号输出到右侧照相机2和左侧照相机3, W使 得右侧照相机2和左侧照相机3 W同步时间捕捉图像。例如，图像获取单元11使得右侧照 相机2和左侧照相机3 W预定的帖速捕捉车辆的前方的图像。此外，图像获取单元11获取 由右侧照相机2和左侧照相机3产生的图像信息。由各个照相机2、3产生的图像信息表示 图像上的各像素的位置与表示该像素的亮度和颜色的信息之间的关系。注意，图像获取单 元 11 可 W使用例如 A. Geiger, M. Roser, and, R. Urtasun:"Efficient Large-Scale Stereo Matching" , Proc. Asian Conf. on Computer Vision, Queenstown, New Zealand, 2010 年 11 月中描述的方法。 距离数据获取单元12充当基于通过捕捉车辆的周围环境的图像而获得的信息来获取 视差图像的获取单元。距离数据获取单元12通过找到从左和右照相机2、3获取的图像上 的相同点之间的对应关系，来计算充当=维距离信息的视差。换句话说，距离数据获取单元 12通过基于由右侧照相机2产生的图像信息和左侧照相机3产生的图像信息计算距离数 据而获取视差图像。注意在本说明书中，由右侧照相机2产生的图像信息将被称为"右侧图 像信息"，并且由左侧照相机3产生的图像信息将被称为"左侧图像信息"。例如，距离数据 获取单元12从左侧图像信息提取与右侧图像信息的焦点像素相对应的像素（后文简称为 "对应像素"）。对应像素是在左侧图像信息的像素之中具有与焦点像素最高的相关度的像 素。距离数据获取单元12计算右侧图像信息中的焦点像素的位置与左侧图像信息中的对 应像素的位置之间的位移量，作为像素的视差值（大小）。 距离数据获取单元12计算右侧图像信息的每个像素的视差值，并且将所计算的视差 值与像素的位置相关联。例如，如上所述，距离数据获取单元12可W利用A. Geiger, M. Roser,and, R. Urtasun: "Efficient Large-Scale Stereo Matching"，Proc.Asian Conf. on Computer Vision, Queenstown, New Zealand, 2010年 11 月中描述的方法，来获取视差图 像。视差图像是W上述方式获取的、表示图像的各个像素的视差值的信息。图3示出了左 侧图像信息作为图像信息的实例。图4示出了基于图3所示的左侧图像信息和对应于该左 侧图像信息的右侧图像信息而产生的距离图像（视差图像）。视差值随着到照相机2、3的 距离的减小而稳定地增加。在图4所示的视差图像上，具有大的视差值的像素、或者换句话 说通过捕捉靠近照相机2、3的成像对象的图像而获得的像素，具有低的亮度（显示黑色）。 另一方面，具有小的视差值的像素、或者换句话说通过捕捉远离照相机2、3的成像对象的 图像而获得的像素，具有高的亮度（显示白色）。在示出视差图像的其它图中，相似地表示 视差值。 台阶候选点提取单元13充当；基于像素区域的各个视差梯度方向、从构成视差图像的 各个像素区域中提取预定的像素区域的提取单元。根据本实施例的台阶候选点提取单元13 从充当距离数据的视差图像提取台阶状的台阶候