不平路面驾驶辅助设备和用于不平路面驾驶辅助的方法
【专利摘要】本发明一种不平路面驾驶辅助设备，包括：具有双目摄像头系统的路面信息采集装置，利用双目摄像头系统对车辆的前方路面进行拍摄以采集前方路面视频信息；以及不平路面判断装置，将路面信息采集装置所采集的前方路面视频信息转化为视差图，利用移动窗口将所述视差图分割为一系列子视差图，并根据V视差图生成准则将分割后的各子视差图转化为各子V视差图，对各个子V视差图进行线段拟合，拟合出路面映射线段，根据各子V视差图中的所述路面映射线段的端点总数来判断所述前方路面是否为不平路面。
【专利说明】不平路面驾驶辅助设备和用于不平路面驾驶辅助的方法
[0001]
【技术领域】
[0001]本发明涉及一种不平路面驾驶辅助设备和用于不平路面驾驶辅助的方法，能够利用安装在车辆上的两个摄像头拍摄的影像，进行前方不平路面的判断检测，并实现坡型路面/坑型路面的分类，自动判断是否存在安全隐患。
【背景技术】
[0002]无人汽车通常具有认知行驶环境和自动驾驶功能。其中可行路面区域检测是认知行驶环境功能中的一个重要组成部分。路面信息采集仪器中摄像设备采集的数据信息远比测距传感器采集的数据信息更为准确可靠，其图像信息覆盖范围更大。
[0003]基于摄像头信息的路面检测通常利用简单二维图像数据(包括颜色、轮廓等信息)进行路面检测，此类方法对于有明显路标等特征的结构化路面的检测比较有效，此时该问题被直接转化为车道线和道路边界的识别。而对于非结构化的路面，例如野外环境，很难单纯从颜色或者轮廓分割出路面。
[0004]在立体视觉系统中除了可以运用到上述的方法进行路面检测，特别是对于野外路面的检测，更多的是利用三维数据(视差图、点云图等)，目前的方法大体可分为主平面分析法、区域生长法以及直方图分析法。主平面分析法只适用于行驶环境为单一平坦路面的情况。区域生长法需要整体三维重建，不适合实时检测。直方图分析法即V视差(Vertical-disparity)法，常被用为检测路面并可检测出路面上的障碍物。
[0005]在2002 年由 Raphael Labayrade 发表的题为《Real Time ObstacleDetection inStereovision on non-fla`t Road Geometry through V-disparity Representation))论文中提出了 V视差算法，用于检测不平路面上存在的障碍物。该算法的应用实现需要生成一副V视差图。V视差图生成准则如下:世界坐标系中的点P(x，y, ζ)τ在双目摄像头系统中的左图像坐标系中的投影坐标为(Ul，V1),在右图像坐标系中的投影坐标为(Ur，Vr) 0计算左图所有像素相对右图关联点的水平视差ΛΡ = U1-Ur,并以每个像素点的视差作为该点对应的新灰度值，可得到视差图像ΛΡ)。然后累加视差图像每一行上具有相同水平视差的像素个数Countp,并以(ΔΡ，V1)为新的像素坐标，以COuntp为对应于该像素的灰度值，这样就形成了一幅宽度是最大视差值、高度和原图像一致的新图像V视差图。V视差法的原理是把四周环境分割成水平平面、垂直平面和其他平面。垂直地面障碍物，例如行人、车辆、树木等，可以近似表示为垂直平面；倾斜平面，如斜坡、凹地等，可以近似为倾斜平面；车体所在大地平面被近似为水平平面。如果世界坐标系中大地平面是平坦的，则在V视差图中表现为单独的一条线段，如果是分段平坦，则表现为折线。在得到路面映射线段(或折线)后，就知道了视差图中每一行属于路面的视差值。
[0006]目前V视差算法实际应用大致可以分为以下两大类:检测道路上的障碍物和检测路面。检测障碍物的具体实施步骤如下:根据V视差图上的路面投影线段和障碍物投影线段，得到障碍物和路面的交点，确定障碍物所在位置。在少数公知例中，会提取道路分界线，得到前景信息，以缩小障碍物的搜索范围。检测路面的具体实施步骤如下:根据V视差图上提取路面投影线段得到路面范围。在少量公知例中，会加上路面色彩信息用来提高最终结果的准确性。
[0007]但是传统V视差算法存在局限性，该方法虽然可以检测出前方路面，但是不能量化判断该段路面是否为不平路面，而且无法进行坡/坑的判断，并未能结合车体实际参数来判断前方坡/坑是否存在危险隐患。
【发明内容】
[0008]为了解决现有技术的上述问题提出了本发明。因此，本发明的目的是提出一种不平路面驾驶辅助设备和用于不平路面驾驶辅助的方法，能够利用安装在车辆上的两个摄像头拍摄的影像，进行前方不平路面的判断检测，并实现坡型路面/坑型路面的分类，自动判断是否存在安全隐患。
[0009]为了实现上述目的，根据本发明，提出了一种不平路面驾驶辅助设备，包括:具有双目摄像头系统的路面信息采集装置，利用双目摄像头系统对车辆的前方路面进行拍摄以采集前方路面视频信息；以及不平路面判断装置，将路面信息采集装置所采集的前方路面视频信息转化为视差图，利用移动窗口将所述视差图分割为一系列子视差图，并根据V视差图生成准则将分割后的各子视差图转化为各子V视差图，对各个子V视差图进行线段拟合，拟合出路面映射线段，根据各子V视差图中的所述路面映射线段的端点总数来判断所述iu方路面是否为不平路面。
[0010]优选地，如果并非每个子V视差图中的所述路面映射线段的端点总数均为2，则所述不平路面判断装置判断所述前方路面为不平路面，而如果每个子V视差图中的所述路面映射线段的端点总数均为2，则所述不平路面判断装置判断所述前方路面为平坦路面。
[0011 ] 优选地，根据本发明的不平路面驾驶辅助设备还包括:路面状况通知装置，根据所述不平路面判断装置的判断结果，对所述前方路面是否为不平路面进行通知。
[0012]优选地，根据本发明的不平路面驾驶辅助设备还包括:摄像头信息采集装置，用于采集所述双目摄像头系统的摄像头相关参数；车体数据采集装置，用于采集包括车辆宽度、车辆的底盘高度、以及车辆的最大可爬行坡度在内的车体数据；以及坡/坑参数计算装置，在由所述不平路面判断装置判断所述前方路面为不平路面的情况下，利用小于或等于与所述车体数据采集装置所采集的所述车辆宽度相对应的尺寸的窗长的移动窗口，将所述视差图重新分割为一系列子视差图，并根据V视差图生成准则将分割后的各子视差图转化为各子V视差图，对各个子V视差图进行线段拟合，拟合出路面映射线段，根据各子V视差图中的所述路面映射线段的端点参数信息、以及所述摄像头信息采集装置所采集的摄像头相关参数，来确定与该子V视差图中的所述路面映射线段相对应的路面是否为坑型路面或者坡型路面，如果为坑型路面，则计算该坑型路面的可视坑深，如果为坡型路面，则计算该坡型路面的可视坡度，通过将计算出的坑型路面的可视坑深与所述车体数据采集装置采集的车辆的底盘高度进行比较，或者将计算出的坡型路面的可视坡度与所述车体数据采集装置所采集的车辆的最大可爬行坡度或进行比较，来确定该坑型路面或坡型路面是否为车辆无法安全通过的危险路面。[0013]优选地，根据本发明的不平路面驾驶辅助设备还包括：路面状况通知装置，根据所述坡/坑参数计算装置的计算结果，对坑型路面或者坡型路面的位置、以及该坑型路面或坡型路面是否为危险路面进行通知。
[0014]优选地，所述路面映射线段的端点参数信息包括所述路面映射线段的各端点的坐标息和对应的视差值。
[0015]优选地，所述坡/坑参数计算装置根据所述路面映射线段的各端点的坐标信息和对应的视差值、以及所述摄像头信息采集装置所采集的摄像头参数，计算所述路面映射线段的各端点对应的实际高度，如果路面映射线段的相邻两个端点的实际高度差大于零，则确定与该路面映射线段相对应的路面是坡型路面，如果路面映射线段的相邻两个端点的高度差小于零，则确定与该路面映射线段相对应的路面是坑型路面。
[0016]另外，为了实现上述目的，根据本发明，还提出了 一种用于不平路面驾驶辅助的方法，包括以下步骤：利用双目摄像头系统对车辆的前方路面进行拍摄以采集前方路面视频信息；以及将所采集的前方路面视频信息转化为视差图，利用移动窗口将所述视差图分割为一系列子视差图，并根据V视差图生成准则将分割后的各子视差图转化为各子V视差图，对各个子V视差图进行线段拟合，拟合出路面映射线段，根据各子V视差图中的所述路面映射线段的端点总数来判断所述前方路面是否为不平路面。
[0017]本发明的优点在于：1)改进了传统V视差方法中不能判断路面是否不平的局限性；以及2)对不平路面中坑洼突起路面提前做出危险预警，利于车体避开坑洼突起路面，提高车体行驶环境舒服度，降低乘客的不适感，增强安全驾驶系数，减少事故发生，减轻车体磨损。
【专利附图】
【附图说明】
[0018]通过参考以下组合附图对所采用的优选实施方式的详细描述，本发明的上述目的、优点和特征将变得更显而易见，其中：
[0019]图I是示出了根据本发明的实施例的不平路面驾驶辅助设备的结构的方框图。
[0020]图2是示出了根据本发明的实施例的由不平路面判断装置执行的不平路面判断过程的流程图。
[0021]图3是示出了根据本发明的实施例的由坡/坑参数计算装置执行的坡/坑参数计算过程的流程图。
[0022]图4是示出了根据本发明的实施例的抬头显示器所显示的界面示例的示意图。
[0023]图5是用于说明根据本发明的实施例的子V视差图中的路面映射线段的可视坡度计算的示意图。
【具体实施方式】
[0024]下面将结合附图对本发明的实施例进行详细说明。
[0025]图I是示出了根据本发明的实施例的不平路面驾驶辅助设备的结构的方框图。
[0026]如图I所示，根据本发明的不平路面驾驶辅助设备可以包括：路面信息采集装置110、摄像头信息采集装置120、不平路面判断装置130、车体数据采集装置140、坡/坑参数计算装置150、以及路面状况显示装置160。根据本发明，可以将该不平路面驾驶辅助设备安装在车辆等上，以对车辆等在不平路面上的驾驶进行辅助。
[0027]路面信息采集装置110具有安装在车体的适当位置的双目摄像头系统，即两部相同的摄像头系统，采集并存储来自车体前方的视频信息。摄像头系统通常由光学系统与摄像头组成，光学系统可以具有变倍功能、自动调焦功能等。摄像头可以采用彩色CCD(电荷耦合元件)摄像机。
[0028]摄像头信息采集装置120采集并存储双目摄像头系统的摄像头相关的内部参数以及外部参数。这里，摄像头相关的内部参数包括左右摄像头的焦距、尺度因子、径向、左摄像头内参数矩阵、左摄像头畸变参数向量、右摄像头内参数矩阵、以及右摄像头畸变参数向量。摄像头相关的外部参数包括左右摄像头正交相对旋转参数矩阵、左摄像头相对世界坐标旋转参数矩阵、右摄像头相对世界坐标旋转参数矩阵、左摄像头射影变换矩阵、右摄像头射影变换矩阵。
[0029]车体数据采集装置140通过车载传感器(未图示)采集并存储车辆当前的底盘高度、车辆的最大爬行坡度、以及当前车辆宽度。
[0030]路面状况显示装置160的一个实施例如图4所示。在该实施例中，路面状况显示装置160为抬头显示器。抬头显示器上左侧显示的图标表示当前路面为不平路面。另外，在该抬头显示器中，可以由绿色部分表示前方路面中的可行区域，并且可以由红色部分表示前方路面中的危险区域。当然，本发明并不限于该实施例的显示形式，还可以通过语音提示设备、方向盘震动设备对前方路况进行危险预警。
[0031]下面，将参考图2，来说明根据本发明的实施例的由不平路面判断装置130执行的不平路面判断过程。
[0032]在步骤S210，输入由路面信息采集装置110采集的前方路面视频信息，并将其分帧转化为立体图像对。
[0033]在步骤S220，对立体图像对进行立体匹配，寻找立体图像对的两个图像之间的相对关联点，计算每个相对关联点的视差，由此，将立体图像对转化为视差图。
[0034]在步骤S230，利用移动窗口对视差图进行划分生成子视差图，其中移动窗口的窗长为Umax/N，位移为Δη。此时Umax为视差图的横向宽度，N为大于I的自然数，Δη为属于[O Umax/2N]的任意数。该窗长的宽度选择能够确保经过V视差处理可以实时检测到障碍物和路面细节。由此，可以利用移动窗口将上述视差图分割成一系列子视差图。
[0035]在步骤S240，根据V视差图生成准则将各子视差图转化为各子V视差图。
[0036]接下来，在步骤S250，对各子V视差图进行线段拟合，拟合出路面映射线段和障碍物映射线段，确定并记录各个子V视差图中的路面映射线段的端点总数，而且确定并记录最远端路面映射线段的起始端点的位置信息。
[0037]在步骤S260，判断各个子V视差图中的路面映射线段中的端点总数是否均为2。如果每个子V视差图中的路面映射线段中的端点总数均为2 (步骤S260中的是)，则判断前方路面为平坦路面(步骤S280)。此时,可以通过路面状况显示装置160显示出前方路面为平坦路面(可行路面)。如果并非每个子V视差图的端点总数均为2(步骤S260中的否)，则判断前方路面为不平路面(步骤S270)。此时，可以通过路面状况显示装置160显示出当前路面为不平路面。
[0038]根据本发明，在不平路面判断装置130通过上述过程判断出当前路面为不平路面的情况下，可以由坡/坑参数计算装置150执行坡/坑参数计算过程。
[0039]下面，将参考图3，对由坡/坑参数计算装置150执行的该坡/坑参数计算过程进行说明。
[0040]在步骤S310，在不平路面判断装置130判断出当前路面为不平路面的情况下，根据步骤S250中确定的在子V视差图中最远端路面映射线段的起始端点的位置信息，即此时该起始端点在子V视察图的坐标信息，再利用摄像头信息采集装置120所采集的摄像头相关的内部参数(例如，左右摄像头的焦距、径向、左摄像头内参数矩阵、右摄像头内参数矩阵)和摄像头相关的外部参数(例如，左摄像头相对世界坐标旋转参数矩阵、右摄像头相对世界坐标旋转参数矩阵、左摄像头射影变换矩阵、右摄像头射影变换矩阵)，计算出最远端路面起点在车体世界坐标系中的实际空间坐标，并且得到此起点离车体的水平距离d。然后，利用车体数据采集装置140所采集的车辆宽度(车宽)W，根据数学式1，来求得该车宽下在最远端路面映射线段的起点位置处的图像中车宽对应的尺寸W。。
[0041]
【权利要求】
1.一种不平路面驾驶辅助设备，包括： 具有双目摄像头系统的路面信息采集装置，利用双目摄像头系统对车辆的前方路面进行拍摄以采集前方路面视频信息；以及 不平路面判断装置，将路面信息采集装置所采集的前方路面视频信息转化为视差图，利用移动窗口将所述视差图分割为一系列子视差图，并根据V视差图生成准则将分割后的各子视差图转化为各子V视差图，对各个子V视差图进行线段拟合，拟合出路面映射线段，根据各子V视差图中的所述路面映射线段的端点总数来判断所述前方路面是否为不平路面。
2.根据权利要求1所述的不平路面驾驶辅助设备，其中， 如果并非每个子V视差图中的所述路面映射线段的端点总数均为2，则所述不平路面判断装置判断所述前方路面为不平路面，而如果每个子V视差图中的所述路面映射线段的端点总数均为2，则所述不平路面判断装置判断所述前方路面为平坦路面。
3.根据权利要求1所述的不平路面驾驶辅助设备，还包括： 路面状况通知装置，根据所述不平路面判断装置的判断结果，对所述前方路面是否为不平路面进行通知。
4.根据权利要求1所述的不平路面驾驶辅助设备，还包括： 摄像头信息采集装置，用于采集所述双目摄像头系统的摄像头相关参数； 车体数据采集装置，用于采集包括车辆宽度、车辆的底盘高度、以及车辆的最大可爬行坡度在内的车体数据；以及 坡/坑参数计算装置，在由所述不平路面判断装置判断所述前方路面为不平路面的情况下，利用小于或等于与所述车体数据采集装置所采集的所述车辆宽度相对应的尺寸的窗长的移动窗口，将所述视差图重新分割为一系列子视差图，并根据V视差图生成准则将分割后的各子视差图转化为各子V视差图，对各个子V视差图进行线段拟合，拟合出路面映射线段，根据各子V视差图中的所述路面映射线段的端点参数信息、以及所述摄像头信息采集装置所采集的摄像头相关参数，来确定与该子V视差图中的所述路面映射线段相对应的路面是否为坑型路面或者坡型路面，如果为坑型路面，则计算该坑型路面的可视坑深，如果为坡型路面，则计算该坡型路面的可视坡度，通过将计算出的坑型路面的可视坑深与所述车体数据采集装置采集的车辆的底盘高度进行比较，或者将计算出的坡型路面的可视坡度与所述车体数据采集装置所采集的车辆的最大可爬行坡度或进行比较，来确定该坑型路面或坡型路面是否为车辆无法安全通过的危险路面。
5.根据权利要求4所述的不平路面驾驶辅助设备，还包括： 路面状况通知装置，根据所述坡/坑参数计算装置的计算结果，对坑型路面或者坡型路面的位置、以及该坑型路面或坡型路面是否为危险路面进行通知。
6.根据权利要求4所述的不平路面驾驶辅助设备，其中， 所述路面映射线段的端点参数信息包括所述路面映射线段的各端点的坐标信息和对应的视差值。
7.根据权利要求6所述的不平路面驾驶辅助设备，其中， 所述坡/坑参数计算装置根据所述路面映射线段的各端点的坐标信息和对应的视差值、以及所述摄像头信息采集装置所采集的摄像头参数，计算所述路面映射线段的各端点对应的实际高度，如果路面映射线段的相邻两个端点的实际高度差大于零，则确定与该路面映射线段相对应的路面是坡型路面，如果路面映射线段的相邻两个端点的高度差小于零，则确定与该路面映射线段相对应的路面是坑型路面。
8.一种用于不平路面驾驶辅助的方法，包括以下步骤: 利用双目摄像头系统对车辆的前方路面进行拍摄以采集前方路面视频信息；以及将所采集的前方路面视频信息转化为视差图，利用移动窗口将所述视差图分割为一系列子视差图，并根据V视差图生成准则将分割后的各子视差图转化为各子V视差图，对各个子V视差图进行线段拟合，拟合出路面映射线段，根据各子V视差图中的所述路面映射线段的端点总数来判断 所述前方路面是否为不平路面。
【文档编号】G01B11/22GK103837139SQ201210483451
【公开日】2014年6月4日 申请日期:2012年11月23日 优先权日:2012年11月23日
【发明者】戴依若, 王文佳, 川股幸博 申请人:株式会社日立制作所