专利名称：可行驶空间的检测系统及其检测方法
技术领域：
本发明是有关于一种可行驶空间的检测系统及其检测方法，特别是指一种利用立体视觉判断道路可行驶空间的检测系统及其检测方法。
背景技术：
交通载具与人们的生活息息相关，其中又以汽车为首要的个人交通载具。然而，汽车驾驶可能因技巧、经验及专注能力不同，而导致可能的交通事故，所以，现今的汽车搭载许多电子辅助装置，辅助并提醒汽车驾驶，以避免上述情况。其中，障碍物检测系统是汽车工业正努力发展的方向之一，常见的障碍物检测系统，如倒车雷达，已成为许多汽车的标准配备之一，有效地辅助汽车驾驶评估停车空间，以顺利完成停车动作。而最近特别受到瞩目的是，汽车停止或行驶中对前方障碍物的检测，这方面的检测技术可以避免汽车驾驶因忽略前方障碍物而导致车祸，甚至可以在特定的情况下，为汽车驾驶减速或刹车，大幅提升行车安全性。然而，如何有效地检测障碍物，目前的相关技术仍有许多缺点有待改进。以美国专利案 US 5937079“Method for Stereo Image Object Detection，，为例，该发明主以水平边缘特征，确定输入的参考影像的障碍物样板，再通过直方图统计，求得障碍物三维空间的位置。然而，该案以二维影像的水平特征作为障碍物比对的样板，容易受到障碍物样板设计及数量的影响。另外，在美国专利案US 6801244 “Obstacle Detection Apparatus and Method”中，该发明通过离线左右摄影机影像的车道转换矩阵，再利用有高度物体于左右影像存有视差的特性，区分出路面与障碍物。虽然该案以左右影像视点转换的手法，估算出道路可行驶空间，但此方法易受道路环境变异的影响，举例来说，当车辆从平面道路转换至斜坡道路时，会误判是遇到障碍物。再者，在美国专利案US 2006/0095207 iiObstacle Detection Using StereoVision”中，该发明以二维影像的边角(Edge)与颜色信息检测出障碍物，然后通过立体视觉估算出障碍物的三维空间信息，再估算道路可行驶空间与安全可行驶路径。然而，本案以二维影像特征检测障碍物，易受障碍物二维特征选用的限制，也就是说，如果没有预先妥善地设定障碍物的二维特征，则无法检测出障碍物。由上述前案可以了解，过去在道路可行驶空间检测演算法中，大都先检测出障碍物，再进行可行驶空间估算。其中障碍物检测演算法大多以影像纹理信息(颜色/边缘/阴影)或型态信息(长/宽/长宽比)或样板比对方式进行检测，易受环境影响且适用性低，障碍物遮蔽与数量也会造成影响，进而产生可行驶路径的误差。另外，车辆在行驶的过程中，系统辨识障碍物所需的反应时间必须是近乎即时的讯息回馈，系统的演算法不但不能受到外界环境的其他因素干扰，还要具备一定程度的可靠性。采用二组摄影机以建立立体视觉的三维信息虽可解决外界环境的影响，但庞大的运算负荷，却是此系统最大的瓶颈，也是系统是否实用的关键性因素。
发明内容
本发明的目的是在提供一种利用立体视觉判断道路可行驶空间的检测系统。本发明可行驶空间的检测系统，安装于一交通载具上并朝向该交通载具的移动方向，该检测系统包含:二影像撷取单元、一处理单元及一存储单元。这些影像撷取单元相间隔地设置于该交通载具上，并朝向该交通载具前进的方向以记录一第一影像及一第二影像。该处理单元电连接这些影像撷取单元。该存储单元电连接该处理单元，并储存该第一影像、该第二影像及一与检测可行驶空间相关并供该处理单元执行的检测程序，这些影像撷取单元、该处理单元及该存储单元协同配合执行可行驶空间的检测。该检测程序使该处理单元:首先，执行一立体影像重建运算，转换该第一影像及第二影像为一包括多个像素的第三影像，各该像素具有一视差值。接着，依据一道路函数将该第三影像转换为一包括多个格的距离阵列。再者，执行一成本函数，以一障碍物项及一道路平面项估算多个对应这些格的障碍值，其中该障碍物项及该道路平面项是依据该距离阵列的各栏的视差值而得。然后，执行一最佳化边界估算函数，以计算出一平滑度值。接着，依据该平滑度值执行一最佳化演算法，以计算出多个最佳可行驶空间边界值。本发明的另一目的是在提供一种利用立体视觉判断道路可行驶空间的检测方法。本发明可行驶空间的检测方法，运作于一包括二相间隔的影像撷取单元、一存储单元及一处理单元的检测系统，该检测方法包含下列步骤:首先，该二影像撷取单元记录一第一影像及一第二影像于该存储单元。接着，该处理单元执行一立体影像重建运算，将该第一影像及第二影像转换为一包括多个像素的第三影像，各该像素具有一视差值。再者，该处理单元依据一道路函数将该第三影像转换为一包括多个格的距离阵列。然后，该处理单元执行一成本函数，以一障碍物项及一道路平面项估算多个对应这些格的障碍值，其中该障碍物项及该道路平面项是依据该距离阵列的各栏的视差值而得。接着，该处理单元执行一最佳化边界估算函数，以计算出一平滑度值。再者，依据该平滑度值执行一最佳化演算法，以计算出多个最佳可行驶空间边界值。本发明的有益效果在于:成本函数中的障碍物项及道路平面项是依据该距离阵列的各栏的视差值而得，可以适用于不同的道路情境，不论是平面道路或是上、下坡道路，对于障碍物的检测都有良好的效果。
图1是显示本发明可行驶空间的检测系统中的二影像撷取单元的情境俯视图；图2是说明本发明较佳实施例的可行驶空间的检测系统的系统方块图；图3是在该较佳实施例中，这些影像撷取单元所拍摄的一第一影像及一第二影像的影像示意图；图4是本发明较佳实施例的可行驶空间的检测方法的的系统流程图；图5是该较佳实施例中的一距离阵列的一张二维数据示意图；图6是该较佳实施例中的多个检测区域的情境俯视图；图7是该较佳实施例中的多个对应多个最佳可行驶空间边界值所对应的障碍线段一张二维数据示意图8是在该较佳实施例中的一障碍物检测图层的影像示意图；及图9是在该较佳实施例中，该障碍物检测图层及多个障碍提示线段迭置于一基底影像上，并显示一合成影像的影像示意图。
具体实施例方式为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式
作详细说明。首先需要说明的是，本发明并不限于下述具体实施方式
，本领域的技术人员应该从下述实施方式所体现的精神来理解本发明，各技术术语可以基于本发明的精神实质来作最宽泛的理解。图中相同或相似的构件采用相同的附图标记表示。参阅图1、2，本发明的可行驶空间的检测系统是安装在交通载具11上，在本较佳实施例中，该交通载具11为一车辆，但并不限于此。该检测系统包含二相间隔设置的影像撷取单元21、一存储单元22、一处理单元23、一检测单元24，及一播放单元25。这些影像撷取单元21在本较佳实施例中为二具摄影机，每一影像撷取单元21可以对交通载具11前方的景物拍摄一设定视角的影像，如30度视角的影像，该每一影像的解析度设为640像素X 480像素，也就是说，该影像的栏(Column)具有640个像素，而该影像的列(Row)具有480个像素，但该影像的解析度并不限于此。这些影像撷取单元21如车辆头灯般相间隔地安装于该交通载具11的适当处，如前保险杆处、车顶上、中控仪表板上方或通过机构吸付于挡风玻璃等位置，且拍摄方向是面向欲检测的方向，在本较佳实施例中，该拍摄方向如箭头12所示，朝着交通载具11向前方移动的方向，其目的在于交通载具11向前移动时，检测其前方是否有任何障碍物，并推估可行驶的空间。参阅图1、3，左侧的影像撷取单元21可以撷取到一第一影像211，而右侧的影像撷取单元21可以撷取到一第二影像212，这些第一影像211及第二影像212因为拍摄角度略有不同，因此会产生“视差”，第一影像211及第二影像212中越接近影像撷取单元21的障碍物，视差的情况会越明显，相反的，越远离影像撷取单元21的障碍物，视差的情况则越不明显。在本较佳实施例中，该交通载具11移动方向前方的障碍物是一位于交通载具11左侧的高墙31、一位于交通载具11左前方的机车32及一位于交通载具11右前方的大客车33。参阅图1、2，该存储单元22储存如图3所示的该第一影像211、该第二影像212及一与检测可行驶空间相关并供该处理单元23执行的检测程序，另外也可以暂时性地储存检测程序所需的影像文件及计算数据，以供该检测程序存取。在本较佳实施例中，该存储单兀22为一存储器(Memory)模块。该处理单元23电连接这些影像撷取单元21及该存储单元22，在本较佳实施例中，该处理单元23为一包括一中央处理器的主机板模块。该检测系统的存储单元22及处理单元23并不限于由一车用电脑(Car PC)实施，也可以制作成一专用的独立芯片或独立主机板整合于车辆的电子控制系统中。该检测单元24电连接该处理单元23，该检测单元24在本较佳实施例中连线该交通载具11的一方向灯模块和一车速模块(均图未不)，该方向灯模块可依据左一方向灯及一右方向灯的开启状况，产生一包括相对应的一左转信号及一右转信号的转向信息，而该车速模块则依据目前车速，产生一车速信息，如时速60公里。该转向信息及车速信息都会传送至该检测单元24，而该检测单元24将多个对应该转向信息及车速信息的检测信号传送至该处理单元23。必须注意的是，该包括左转信号及右转信号的转向信息并不限于由上述方向灯模块提供，也可以是由一方向盘提供，当方向盘以逆时针及顺时针转动一特定角度，则产生对应的转向信息。该播放单元25电连接该处理单元23，该播放单元25在本较佳实施例中设于该交通载具11的仪表板，并为一包括一喇叭的液晶显示屏幕，提供驾驶者关于行驶中的相关图
像化信息及声音警示。上述的这些影像撷取单元21、该存储单元22、该处理单元23、该检测单元24,及该播放单元25协同配合执行可行驶空间的检测，该检测程序使该处理单元23执行的步骤容后说明。参阅图2、3，本发明的可行驶空间的检测方法运作于上述检测系统，该检测系统包含这些影像撷取单元21、该包括该检测程序的存储单元22、该执行该检测程序的处理单元23、该检测单元24，及该播放单元25，该检测方法包含下列步骤:参阅图2、3、4，首先，如步骤401所示，这些影像撷取单元21记录该第一影像211及该第二影像212于该存储单元22。其中，该第一影像211及第二影像212因为上述的视差，可以做为产生立体影像并分析距离的素材。接着，如步骤402所示，该处理单元23执行一立体影像重建运算，利用该第一影像211及第二影像212制作出一呈现景物中障碍物距离的第三影像。该立体影像重建运算在本较佳实施例中，是将该第一影像211及该第二影像212利用一特征点匹配法转换为一包括多个像素的第三影像，而每一像素具有一视差值(Disparity)。所谓特征点匹配法，是指在该第一影像211及该第二影像212中找出多个相同的特征点(如机车32)，再依据这些特征点确认第三影像中每一像素的视差值。该第三影像中，其解析度与该第一影像211与该第二影像212相同，影像的栏与列分别是640像素及480像素，但是第三影像中是以16色灰阶显示每一像素的视差值，该第三影像中某一像素的灰度越深，代表视差程度越小，也指出了该像素较远离这些影像撷取单元21，相反地，该第三影像中某一像素灰度越淡，代表视差程度越高，也指出了该像素较靠近这些影像撷取单元21，每一像素集合所构成且视差值(灰度)接近的区块在本较佳实施例中可能是机车32、大客车33及天空34等。因此该第二影像实质上是一个包括影像的栏、影像的列及视差值二种/[目息构成的二维座标影像。在计算机图学的领域，该第三影像的产生并不限于采用特征点匹配法，也可以采用别种演算法取得上述的第二影像。参阅图2、4，再者，如步骤403所示，该处理单元23依据该第三影像中同一列的所有像素，及这些像素的视差值计算出一道路函数。在本较佳实施例中，计算该道路函数的方法是由该处理单元23设定一组二维座标，其中横轴座标设定为该第三影像的视差值，纵轴座标设定为该第三影像的列，将每一像素依据其所属的“列”及“视差值”分别填入上述二维座标的纵轴与横轴中，取得一由这些像素所构成的不规则曲线，再利用一曲线拟合的数学方法计算出一最接近上述不规则曲线的最佳曲线以找出每一像素的“列”及“视差值”的关系，而代表上述关系的公式就称为该道路函数，而该道路函数是:第三影像的列=(视差值X道路常数A) +道路常数B在本较佳实施例中，该道路常数A为0.6173，该道路常数B为246.0254。
然后，如步骤404所示，该处理单元23将该第三影像依据上述的道路函数进行转换，目的是为了求得第三影像的列与视差值的转换关系，以利后续运算。原本的第三影像的纵轴是该第三影像的列，而横轴是该第三影像的栏，该处理单元23利用该道路函数将第三影像的列转换为相对应的视差值，而横轴则维持是栏，原第三影像的像素则依据新的座标系统重新排列产生一距离信息。参阅图2、4、5，接着，如步骤405所示，该处理单元23对上述距离信息执行一占有格(Occupancy Grid)转换以计算出一包括多个格的距离阵列5,实质上降低距离信息的数据量，增加该处理单元23的运算效率，达到即时处理的效果。所谓的占有格转换，是把原本较高精度的二维数据，转换成以一组较低精度的二维的格状阵列来表现。以本较佳实施例来说，该距离信息的栏是640像素(对应原本第三影像的栏)，而纵轴的视差值是16阶，总共为10240组「栏的视差值」。假设该距离阵列5每一格51所设定的宽度是40像素、高度是I阶视差值，则距离阵列5的横轴是16格，而高度也是16格，总共为256组「栏的视差值」，大幅减少的数据量有助于减轻该处理单元23的运算负荷。必须注意的是，上述占有格转换的目的在于减少待处理的数据量，但是并不限于上述方法。取得距离阵列5的意义可以视为如图1所示的交通载具11前方空间的俯视图，由于交通载具11前方的障碍物越接近该交通载具11，则对应该障碍物的像素的视差值越大，相反的，越远离该交通载具11，则对应该障碍物的像素值越小，甚至趋近于O。在距离阵列5中标示“ X ”的格代表某一栏中，像素的视差值大部分聚集在此，也就是说该栏中有某个障碍物位于特定的距离。参阅图2、3、5接着，如步骤406所示，为了更进一步减少该处理单元实际的运算负荷，该处理单元23依据该检测单元24的检测信号处理在该距离阵列5中对应如图6所示的多个检测区域61、62、63的数据。在本较佳实施例中，这些检测信号依据前述的速度信息是否高于一预设速度，如30公里，及转向信息而改变。这些检测信号如表I所示:表I
权利要求
1.一种可行驶空间的检测系统，安装于一交通载具上并朝向该交通载具的移动方向，其特征在于该检测系统包含: 二影像撷取单元，所述影像撷取单元相间隔地设置于该交通载具上，并朝向该交通载具前进的方向以记录一第一影像及一第二影像； 一处理单元，电连接所述影像撷取单元；及 一存储单元，电连接该处理单元，并储存该第一影像、该第二影像及一与检测可行驶空间相关并供该处理单元执行的检测程序，所述影像撷取单元、该处理单元及该存储单元协同配合执行可行驶空间的检测；其中 该检测程序使该处理单元进行以下步骤: 执行一立体影像重建运算，转换该第一影像及第二影像为一包括多个像素的第三影像，各该像素具有一视差值， 依据一道路函数将该第三影像转换为一包括多个格的距离阵列， 执行一成本函数，以一障碍物项及一道路平面项估算多个对应所述格的障碍值，其中该障碍物项及该道路平面项是依据该距离阵列的各栏的视差值而得， 执行一最佳化边界估算函数，以计算出一平滑度值，以及 依据该平滑度值执行一最佳化演算法，以计算出多个最佳可行驶空间边界值。
2.根据权利要求1所述的可行驶空间的检测系统，其特征在于:该检测系统还包含一电连接该处理单元，并输出多个检测信号的检测单元，而该距离阵列的所述格属于多个检测区域，该处理单元依据所述检测信号决定处理该距离阵列的其中一检测区域。
3.根据权利要求1所述的可行驶空间的检测系统，其特征在于:该处理单元将该第三影像转换为该距离阵列时，是将该第三影像的纵座标轴由列转换为该视差值，再执行一占有格转换。
4.根据权利要求1所述的可行驶空间的检测系统，其特征在于:该成本函数是各该障碍值=一障碍物项权重常数X该障碍物项+ —道路平面项权重常数X该道路平面项。
5.根据权利要求1所述的可行驶空间的检测系统，其特征在于:该处理单元执行该最佳化边界估算函数前，还执行一初始边界估算函数，利用所述障碍值计算出多个对应该距离阵列的栏的初始可行驶空间边界值，用于计算出该平滑度值。
6.一种可行驶空间的检测方法，运作于一包括二相间隔的影像撷取单元、一存储单元及一处理单元的检测系统，其特征在于该检测方法包含下列步骤: (a)该二影像撷取单元记录一第一影像及一第二影像于该存储单元； (b)该处理单元执行一立体影像重建运算，将该第一影像及第二影像转换为一包括多个像素的第三影像，各该像素具有一视差值； (C)该处理单元依据一道路函数将该第三影像转换为一包括多个格的距离阵列； (d)该处理单元执行一成本函数，以一障碍物项及一道路平面项估算多个对应所述格的障碍值，其中该障碍物项及该道路平面项是依据该距离阵列的各栏的视差值而得； (e)该处理单元执行一最佳化边界估算函数，以计算出一平滑度值；及 (f)依据该平滑度值执行一最佳化演算法，以计算出多个最佳可行驶空间边界值。
7.根据权利要求6所述的可行驶空间的检测方法，其特征在于:在该(c)步骤及(d)步骤间，还包含一步骤(g)，该处理单元依据一检测单元的多个检测信号，该处理单元依据所述检测信号决定处理该距离阵列的多个检测区域的其中之一。
8.根据权利要求6所述的可行驶空间的检测系统，其特征在于:在该(c)步骤中，该处理单元将该第三影像的纵座标轴由列转换为该视差值，再执行一占有格转换。
9.根据权利要求6所述的可行驶空间的检测系统，其特征在于:在该(d)步骤中，该成本函数是各该障碍值=一障碍物项权重常数X该障碍物项+ —道路平面项权重常数X该道路平面项。
10.根据权利要求9所述的可行驶空间的检测系统，其特征在于:在该(d)步骤及该(e)步骤中，还包含一步骤(h)，该处理单元执行一初始边界估算函数，利用所述障碍值计算出多个对应该距离阵列的栏的初始可行驶空间边界值，而在该(e)步骤中，该处理单元利用所述初始可行驶空间边界值计算出该平滑度值。
全文摘要
本发明是一种可行驶空间的检测系统及其检测方法，该检测复方包含下列步骤首先，二影像撷取单元记录一第一影像及一第二影像。接着，该处理单元执行一立体影像重建运算，将该第一、二影像转换为一包括多个像素的第三影像，各该像素具有一视差值。再者，该处理单元依据一道路函数将该第三影像转换为一包括多个格的距离阵列。然后，该处理单元执行一成本函数，以一障碍物项及一道路平面项估算多个对应这些格的障碍值，其中该障碍物项及该道路平面项是依据该距离阵列的各栏的视差值而得。接着，该处理单元执行一最佳化边界估算函数，以计算出多个最佳可行驶空间边界值。
文档编号G06K9/00GK103185571SQ20111045512
公开日2013年7月3日 申请日期2011年12月30日 优先权日2011年12月30日
发明者陈育菘, 廖育升, 刘嘉修 申请人:财团法人车辆研究测试中心