专利名称：物体检测装置、物体检测方法及程序的制作方法
技术领域：
本发明涉及对立体图像中拍摄到的物体进行检测的物体检测装置、物体检测方法及程序。
背景技术：
以往，已知有通过对立体图像(基准图像及参照图像)的立体匹配来计算基准图像和参照图像偏差(视差)，且基于计算出的视差检测物体的物体检测装置。探讨了将该物体检测装置例如适用到在对使用车载相机拍摄车辆前方得到的立体图像中所拍摄的物体(例如车辆或步行者等立体物。不包含路面。)、路面等进行检测的装置。作为现有的物体检测装置采用的方式，提出了计算立体图像中所拍摄的物体的高度方向的倾斜，通过使用计算出的倾斜来判定是物体还是路面的方式(例如参照专利文献I)。图1是表示专利文献I所记载的物体检测装置的结构的方框图。如图1所示，物体检测装置10具备立体图像获取单元11、视差图生成单元12、路面估计单元13、物体候选位置提取单元14及倾斜计算判定单元15。立体图像获取单元11获取由搭载有左右排列的两个透镜的立体相机同时拍摄到的一对立体图像。视差图生成单元12基于立体图像获取单元11中获取的立体图像生成视差图。视差图是指通过立体匹配对各像素计算基准图像和参照图像间的偏差(视差)。路面估计单元13基于视差图生成单元12中生成的视差图估计路面。物体候选位置提取单元14基于视差图生成单元12中生成的视差图，从立体图像中提取拍摄到在实空间中比路面估计单元13中估计出的路面更靠上的空间所得的区域。而且，物体候选位置提取单元14通过将在提取出的区域中视差的值接近的区域进行成组，提取立体图像中拍摄了可能是物体的部分(以下称为“物体候选”)的区域。倾斜计算判定单元15基于视差图生成单元12中生成的视差图，计算物体候选位置提取单元14中提取的拍摄了物体候选的区域的图像垂直方向的视差的倾斜(即物体候选的高度方向的倾斜)，判定物体候选是物体还是路面。具体而言，如果视差的倾斜大于规定的阈值，则倾斜计算判定单元15判定物体候选为物体，如果视差的倾斜小于规定的阈值，则判定物体候选为路面。另外，专利文献2所记载的对象物判定装置基于立体图像中的拍摄了物体候选的区域的视差，计算进深方向的视差的值的偏差和垂直方向的视差的值的偏差，且基于计算出的偏差，判定物体候选是物体还是路面。现有技术文献专利文献专利文献1:日本特开2008 - 33750号公报专利文献2 :日本特开2006 - 234682号公报发明要解决的问题
但是，现有的物体检测装置中，有可能将绘在远方的路面上的路面标示(表示最高速度的数字等)误判为物体。这是因为，在立体图像中，拍摄到存在于远方的物体的区域的视差计算的精度差，难以高精度地计算存在于远方的物体的高度方向的倾斜。
发明内容
本发明的目的在于，提供能够高精度地判定立体图像中拍摄到的对象物是物体还是路面的物体检测装置、物体检测方法及程序。解决问题的方案本发明的物体检测装置，检测立体图像中包含的路面上的物体，该装置采用的结构包括视差图生成单元，基于所述立体图像生成视差图；路面估计单元，基于所述视差图估计路面区域；物体候选位置提取单元，从所述视差图中提取存在于所述路面区域的上方的视差数据组作为物体候选存在的区域即物体候选区域；物体判定区域提取单元，从所述视差图中提取包含所述物体候选区域和所述物体候选区域的周边区域的物体判定区域；形状特征提取单元，提取所述物体判定区域的形状特征；以及物体判定单元，基于所述形状特征，判定物体候选是物体还是路面。本发明的物体检测方法，检测立体图像中包含的路面上的物体，该方法包括如下步骤视差图生成单元基于所述立体图像生成视差图；路面估计单元基于所述视差图估计路面区域；物体候选位置提取单元从所述视差图中提取存在于所述路面区域的上方的视差数据组作为物体候选存在的区域即物体候选区域；物体判定区域提取单元从所述视差图中提取包含所述物体候选区域和所述物体候选区域的周边区域的物体判定区域；形状特征提取单元提取所述物体判定区域的形状特征；以及物体判定单元基于所述形状特征，判定物体候选是物体还是路面。发明的效果根据本发明，可以高精度地判定立体图像中拍摄的对象物是物体还是路面。
图1是表示专利文献I的物体检测装置的结构的方框图。图2是表示本发明实施方式I的物体检测装置的结构的方框图。图3是由实施方式I的物体检测装置的搭载于车辆的立体相机拍摄本车辆前方的车辆所得的立体图像的示意图。图4是用于说明实施方式I的物体检测装置的视差图生成单元中的视差图生成方法的示意图。图5是用于说明实施方式I的物体检测装置的视差图生成单元中的视差图生成方法的图。图6是用于说明由实施方式I的物体检测装置的路面估计单元估计的路面区域的示意图。图7是用于说明实施方式I的物体检测装置的物体候选位置提取单元中的、路面区域以下的视差数据的删除方法的图。
图8是用于说明实施方式I的物体检测装置的物体候选位置提取单元中的、物体候选区域的提取方法的图。图9是表示实施方式I的物体检测装置的物体判定区域提取单元、形状特征提取单元及物体判定单元的处理概念的图。图10是用于说明实施方式I的物体检测装置的物体判定区域提取单元中的、物体判定区域的提取方法的图。图11是用于说明实施方式I的物体检测装置的物体判定区域提取单元中的、物体判定区域的提取方法的图。图12是用于说明实施方式I的物体检测装置的形状特征提取单元中、的形状特征的提取方法的图。图13是用于说明实施方式I的物体检测装置的物体判定参数存储器中存储的物体判定参数的学习方法的图。图14是表示实施方式I的在一部分区域中视差数据缺漏的物体判定区域的图。图15是用于说明将实施方式I的物体检测装置的物体判定参数存储器中存储的物体判定参数的学习对应上下方向的偏差后的情况的图。图16是用于说明本发明实施方式2的物体检测装置的形状特征提取单元中的、相关特征的提取方法的图。标号说明10物体检测装置11立体图像获取单元12视差图估计单元13路面估计单元14物体候选位置提取单元15倾斜计算判定单元100物体检测装置110立体图像获取单元120视差图生成单元130路面估计单元140物体候选位置提取单元150物体判定区域提取单元160形状特征提取单元170物体判定单元180物体判定参数存储器601 路面区域602物体候选区域701物体候选区域801物体候选区域901物体候选区域1001物体判定区域
1601相关特征提取用比特图案
具体实施例方式下面，参照附图详细地说明本发明的实施方式。(实施方式I)图2是表示本发明实施方式I的物体检测装置的结构的方框图。本实施方式是适用于使用搭载于车辆的立体相机检测本车辆前方的车辆或步行者等存在于道路环境的物体(例如车辆或步行者等立体物。路面除外)的物体检测装置的例子。如图2所示，物体检测装置100具备立体图像获取单元110、视差图生成单元120、路面估计单元130、物体候选位置提取单元140、物体判定区域提取单元(立体物判定区域提取单元)150、形状特征提取单元160、物体判定单元(立体物判定单元)170、以及物体判定参数存储器(立体物判定参数存储器)180。立体图像获取单元110从未图示的拍摄单元(立体相机等)获取立体图像。拍摄单元具有第一拍摄系及第二拍摄系，拍摄由使用第一拍摄系拍摄对象物得到的基准图像和使用第二拍摄系拍摄该对象物得到的参照图像构成的立体图像，将该立体图像输出至立体图像获取单元110。视差图生成单元120基于由立体图像获取单元110获取的立体图像生成视差图。路面估计单元130基于由视差图生成单元120生成的视差图，估计立体图像上的路面。物体候选位置提取单元140基于由视差图生成单元120生成的视差图和由路面估计单元130估计的路面，从立体图像中提取在视差图中存在于路面上方的物体候选所存在的区域(以下称为“物体候选区域”)。物体判定区域提取单元150基于由视差图生成单元120生成的视差图，提取包含物体候选区域和物体候选区域的周边区域的区域作为物体判定区域。形状特征提取单元160提取物体判定区域的图像特征作为物体候选的形状特征。物体判定参数存储器180存储学习了物体和路面(例如路面标示)的多数形状特征的结果即物体判定参数。物体判定单元170基于提取出的物体候选的形状特征和预先存储在物体判定参数存储器180中的物体判定参数，进行物体候选是物体还是路面的判定，并输出判定结果。以下，按每个单元的处理说明物体检测装置100的动作。[立体图像获取单元110]立体图像获取单元110获取由搭载了左右排列的2系统的相机(拍摄系)的立体相机拍摄的立体图像。立体图像由使用一相机拍摄的基准图像和使用另一相机拍摄的参照图像构成。立体相机的拍摄中使用CCD (Charge Coupled Devices,电荷f禹合器件)、CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)等图像传感器。图3表示使用搭载于车辆的立体相机等拍摄本车辆前方的车辆所得的立体图像的不意图。图3 (a)表不基准图像，图3 (b)表不参照图像。此外，将左右立体图像中的哪一个设为基准图像是任意的。
以下，为便于说明，面向对象物将由右相机拍摄的图像设为基准图像，将由左相机拍摄的图像设为参照图像进行说明。对由立体图像获取单元110获取的立体图像，实施透镜的畸变校正及光轴的平行化校正。透镜的畸变校正方法可通过基于使用了透镜的设计值的校正变换表的方法、基于使用了半径方向的畸变模型的参数估计的方法等而实现。另外，光轴的平行化校正例如有如下方法等各种方法，该方法为在同时拍摄绘有格状图案的一张板所得的基准图像和参照图像中，使拍摄相同格点的坐标彼此对应，由此计算右相机和左相机的相对位置关系，并基于计算出的位置关系进行光轴的平行性校正。此外，将立体相机设为搭载有左右排列的两个透镜的相机而进行了说明，但不限于此，可以在上下排列等任意的位置关系下实现，只要至少包含两个拍摄系即可。[视差图生成单元120]视差图生成单元120从立体图像获取单元110获取立体图像。然后，视差图生成单元120通过立体匹配，对立体图像的各像素估计基准图像和参照图像之间的偏差(视差)，生成视差图。视差图除X轴和Y轴外还包含距离轴，因此包含三维信息。图4是用于说明视差图生成的示意图，表示拍摄存在于相机前方的车辆所得的立体图像。图4 (a)表不基准图像，图4 (b)表不参照图像。基准图像中的车辆位置和参照图像中的车辆位置的偏差就是视差。视差依赖于立体相机和拍摄对象(图4中的物体(车辆))之间的距离,距离远时视差小。在将基准图像中的拍摄对象的左端的坐标设为xb、将参照图像中的拍摄对象的左端的坐标设为xr时，坐标的差即(xr-xb)为有关拍摄对象的左端的视差d。图5是用于说明视差图生成单元120的视差图生成方法的图。图5 (a)表示基准图像中成为计算视差的对象的像素(以下称为“视差计算点”)的基准图像内的扫描方法。图5 Ca)表示使视差计算点从基准图像中要扫描的区域的左上端的像素开始，向右横向一像素一像素地移动，到达要扫描的区域的右端后，使其移动到下一行的左端像素，之后同样地向右横向一像素一像素地移动。图5 (b)表示在参照图像中搜索与视差计算点对应的像素(以下称为“对应点”)的搜索区域。另外，图5 (c)表示基准图像中的视差计算点的亮度和参照图像中的搜索区域内的各像素的亮度的差异度。图5 (c)中，亮度差异度最小的像素是对应点。以下，将视差计算点设为基准图像中的I像素进行说明，但也可以是多个像素。视差图生成单元120通过对基准图像整体扫描视差计算点，对基准图像整体的像素估计视差，生成将基准图像的各像素的视差作为二维排列而显示的视差图(图5 (d))。此外，虽然说明了在图像整体上进行视差计算点的图像扫描，但也可以仅对必要的区域进行图像操作，如只对拍摄了实空间的路面和路面之上的空间的区域进行扫描等。图5 Cd)是以颜色的浓淡表现视差图的图，表示颜色越浓，则视差越小(即距拍摄对象的距离远)。参照图像中的对应点的搜索区域至少根据视差计算点的坐标及外极线(印ipolarline)设定。外极线是将一相机的光轴向由另一相机拍摄的图像投影所得的线，根据两个相机的几何学关系确定。另外，图5 (C)中，横轴表示搜索区域内的各像素和搜索区域左端的像素的距离即视差搜索值，纵轴表示视差计算点的亮度和搜索区域内各像素的亮度的差异度。通过以视差计算点为中心的8像素X8像素的区域的亮度和以搜索区域内的各像素为中心的8像素X8像素的区域的亮度之间的绝对差值和(SAD :Sum ofAbsolute Difference),可计算视差计算点的亮度和搜索区域内各像素的亮度的差异度。差异度最小时的搜索区域内的像素为对应点，基准图像中的视差计算点的位置和参照图像中的对应点的位置的偏差就是视差。此外，将计算差异度的区域设为8像素X8像素而进行了说明，但不限于此，能够在任意大小的矩形中实现。另外，设为对差异度使用亮度而进行了说明，但不限于此。另外,差异度可通过差方和(SSD :Sum of Squared Differences)等在计算差异度的对象的两个值完全一致时值成为最小的所有的方式进行计算。另外，差异度也可以将归一化互相关(NCC :Normalized Cross Correlation)等在完全一致的情况下值成为最大的相似度的指标正负颠倒来利用。[路面估计单元130]路面估计单元130基于视差图生成单元120中生成的视差图而估计路面(路面区域)。路面区域可以基于基准图像或参照图像表现，但也可以在视差图上表现。图6是用于说明由路面估计单元130估计的路面区域的示意图，表示由三维数据表现了由视差图生成单元120生成的视差图的视差图。下面将由三维数据表现的视差图作为三维像素(voxel)数据进行说明。由三维数据表现的视差图(三维体素数据)是对于具有X轴和Y轴的图像的各坐标(像素)追加了视差的轴的坐标空间的数据，对图像的各坐标存在一个视差数据。三维像素数据包含拍摄了道路面的路面区域601 (斜线部分)和拍摄了物体的区域602 (纵线部分)。路面估计单元130基于三维像素数据，将斜线部分即路面区域601 (图6中的斜线部)估计为一个平面。此外，图6中，为便于说明，显示了拍摄有物体的区域602，但如后述，由于距相机远的物体的视差的精度低，所以在路面估计单元130的处理中，并不确定拍摄物体的区域602。使用一般的图像处理就可以估计路面区域601。例如，在本车辆前方的车辆和立体相机的距离远的情况下，在基准图像中路面区域所占的区域最宽。因此，路面估计单元130可以通过最大似然估计法将三维像素数据中数据点数的密度分布最密的平面估计为路面区域601。路面区域601由定义平面的式子表
/Jn ο此外，说明了路面估计单元130基于三维像素数据估计路面区域，但也可以通过下述方式实现，即，将三维像素数据向Y轴和视差的轴的平面投影并投票，将路面即斜线部分的倾斜作为相机设置角进行估计。此外，说明了路面估计单元130通过最大似然估计法以路面为一个平面估计数据点数的密度分布最密的平面，但也可以将路面设为由多个平面或曲面的组合构成而进行估计。[物体候选位置提取单元140]物体候选位置提取单元140基于由视差图生成单元120生成的视差图和由路面估计单元130估计的路面区域，提取拍摄了物体候选的区域(以下称为“物体候选区域”)。即，物体候选区域是指在视差图中存在物体候选的区域。图7表示删除了存在于估计出的路面区域601的下方的视差数据的三维像素数据的示意图。使用图7说明物体候选位置提取单元140中的路面区域以下的视差数据的删除方法。存在于路面区域601的下方的视差数据是指，在三维像素数据的坐标轴上，Y轴的值成为比表示路面区域601的平面的Y轴的值大的值的坐标的视差数据。即，存在于路面区域601的下方的视差数据是指，在注目于X轴的值为x1、视差d轴的值为di的位置时，坐标(x1、di)处的路面区域601的Y轴的值Yr和坐标(x1、di)处的视差数据的Y轴的值Yd满足Yr+ σ < Yd的关系的视差数据。这里，σ是考虑到实空间中的路面的凸凹等的值。这样，物体候选位置提取单元140从三维像素数据中删除存在于路面区域601的下方的视差数据，由此可以提取存在于路面区域601的上方的视差数据。存在于路面区域601的上方的视差数据是指，在三维视差图中，存在于比路面区域601高的位置的视差数据。即，存在于路面区域601的上方的视差数据的实空间中的位置在实空间中存在于路面的上方。由此，提取包含物体候选区域602的视差数据。此外，也可以不删除存在于路面区域601的下方的视差数据，而提取存在于路面区域601的上方的视差数据。此时，只要在视差图中确定路面区域601即可。但是，根据三角测量的原理，存在于远方的物体的视差的估计的精度低。因此，难以确定远方的路面区域的视差数据。例如，图7所示的视差数据组701-a及701-b是因视差小而不被确定为路面区域601的视差数据组。图8是用于说明物 体候选位置提取单元140中的物体候选区域602的提取方法的图。物体候选位置提取单元140对于如图7所示那样存在于路面区域601的上方的视差数据组，将相邻或附近的视差数据进行成组，从而将视差数据分类成多个组，将各组作为物体候选区域801a及801b。物体候选位置提取单元140将表示物体候选区域的基准图像上的位置的坐标信息(以下称为“物体候选位置”)输出至物体判定区域提取单元150。[物体判定区域提取单元150]物体判定区域提取单元150从视差图生成单元120获取视差图，基于从物体候选位置提取单元140获取的物体候选区域的基准图像上的坐标信息(位置信息)即物体候选位置，从视差图中提取包含物体候选区域和其周边区域的物体判定区域。图9是表示物体判定区域提取单元150、形状特征提取单元160及物体判定单元170的处理概念的图。图9 (a)表示以颜色浓淡表现了视差值的视差图。图9 (a)中，颜色越深的像素，视差越小，距拍摄对象的距离越远。图9 (b)表示应判定是物体还是路面的物体候选区域。物体判定区域提取单元150提取包含各物体候选区域901和各自的周边区域的物体判定区域。然后，形状特征提取单元160基于物体判定区域提取单元150中提取出的物体判定区域的视差数据，提取物体候选的形状特征。另外，物体判定单元170基于形状特征提取单元160中提取出的形状特征和物体判定参数存储器180中存储的物体判定参数，判定物体候选是物体还是路面。图10表示用于说明物体判定区域提取单元150中的物体判定区域的提取方法的图。物体判定区域提取单元150提取包含物体候选和其周边区域的物体判定区域1001 (由虚线包围的区域)。物体判定区域1001是视差图中判定物体候选是物体还是路面的对象区域。为基于统计性学习来判定偏差大的两个分布(物体/路面)，需要增多物体判定区域的像素数。通过增多物体判定区域的像素数，对于物体判定区域，可以提取高精度的图像特征。但是，在拍摄到距立体相机远的物体的情况下，在立体图像上物体所占的区域的像素数少，因此，对于物体判定区域，难以提取高精度的图像特征。因此，本实施方式的发明通过利用包含物体候选和周边区域的更大的范围的视差数据，能够使用包含物体和物体的背景的图像特征来提高判别精度。即，相比于仅由物体候选区域的图像特征进行判别的情况，在使用物体候选区域和背景区域两者进行判别的情况下，不仅由于像素数的增加而判别精度提高，而且可以使用物体候选区域和背景区域的亮度值的整体性差异等进行判定，所以判定精度提高。在判定物体候选的情况下，需要使物体候选的判定对象(本实施方式中为车辆或路面)包含于物体判定区域，且不包含位于路侧的护栏或树木等判定对象以外的物体。由于一般的车辆的宽度大致为2. 0m，一般的道路宽度约为3m，因此，也考虑到车辆不在行驶路中心行驶的情况，将实空间中的2. 5m的宽度区域设定为物体判定区域。即，通过将物体候选区域的宽度的1. 25倍宽的区域作为物体判定区域，能够在更多的一般道路的场景中最优地进行判定。此外，将物体判定区域设定为2. 5m，且将物体候选区域的宽度的1. 25倍宽的区域作为物体判定区域是设计事项，并不限定于此。这样，物体判定区域提取单元105也可以基于物体候选区域的区域尺寸来确定物体判定区域。另外，物体判定区域提取单元105也可以基于物体候选区域的视差值(距离值)和物体候选区域的区域尺寸来确定物体判定区域。由此，能够获得即使对于距立体相机远的物体也可提取高精度的图像特征的效
果O另外，物体判定区域提取单元105也可以基于物体候选在实空间中的大小来确定物体判定区域1001的区域尺寸。具体而言，物体判定区域提取单元105基于物体候选区域602的区域尺寸和视差值(距离值)，计算物体候选在实空间中的大小。物体判定区域提取单元105预先保持可能存在于道路环境的物体(车辆、人等)在实空间中的大小信息，将计算出的物体候选在实空间中的大小和所存储的物体的大小信息进行比较，判断物体候选是否是可能存在于道路环境的物体。而且，在判断为物体候选为可能存在于道路环境的物体的情况下，提取相对于物体候选区域602为第一倍率(例如1. 25倍)的周边区域。另外，在判断为物体候选不是可能存在于道路环境的物体的情况下，提取相对于物体候选区域602为第二倍率(例如1. 5倍)的周边区域。第二倍率被设定为比第一倍率大。这是因为，在不是假定为存在于道路环境的物体的情况下(例如大的遗落物)，不是在道路环境中自主移动的物体，为防止发生碰撞，需要更高精度地进行物体检测。
此外，在上述的说明中，物体判定区域提取单元105基于物体候选区域的区域尺寸和视差值，计算了物体候选在实空间中的大小，但物体检测装置100也可以预先保持使物体候选区域的区域尺寸、距离值和物体判定区域的区域尺寸相关联的表(未图示)。这种情况下，物体判定区域提取单元105参照该表，根据物体候选区域的区域尺寸确定物体判定区域的区域尺寸。具体而言，基于物体候选区域的区域大小和视差值，确定物体候选在实空间中的大小。例如，在物体候选在实空间中的大小在宽度为1. 9m、高度为1. 6m之内的情况下，将物体候选认为轿车，实空间内的周边区域的大小例如确定为宽度为2. 0m、高度为2. Om，基于该实空间中的周边区域的大小和物体候选区域的视差值，唯一地确定视差图中的周边区域的区域尺寸。这样确定的物体候选区域的区域尺寸、视差值和与其相对应的物体判定区域的区域尺寸被保持于该表中。此外，这里说明了轿车的情况，但该表中对于假定为存在于道路环境的所有的物体进行确定。此外，说明了以包含物体候选区域的周边区域的方式进行扩大而提取物体判定区域，但下端方向也可以不扩大。图11表示在物体候选区域的下端方向不设置周边区域的情况下的、物体判定区域的提取方法的说明图。图11 (a)表示从视差图中提取物体判定区域的方法，图11 (b)表不物体候选位置。物体判定区域提取单元150根据视差图中的物体候选位置，设定物体判定区域的大小。物体判定区域提取单元150使物体判定区域的下端位置与物体候选区域的下端位置相同。基于通过路面估计单元130估计的路面区域上的物体候选的位置，设定物体候选区域的下端位置。这是因为，与使用基准图像中的视差计算点和参照图像中的对应点的偏差这种局部性数据估计的物体候选位置相比，基于视差图估计的路面区域的坐标信息用于估计的数据数多，因此是高精度。这样，通过使用路面区域的位置信息设定物体判定区域的下端位置，物体候选和路面的判定中不需要的物体候选下端以下的数据减少。由此，可以高精度地判定是物体还是路面。物体候选的下端以下的数据无论物体还是路面都为相同形状，这一点会导致精度的劣化。但是，这里，使用路面区域的坐标信息设定了物体判定区域的下端位置，但并非排除使用物体候选的坐标信息来设定物体判定区域的下端位置。在以上的说明中，基于物体候选区域的视差值(距离值)、区域尺寸、以及预保持的表，确定了物体判定区域的区域尺寸，但也可以仅根据物体候选区域的区域尺寸来确定。这种情况下，也可以根据检测对象的物体和立体相机的距离，动态地变更物体判定区域的大小。具体而言，在物体候选为车辆的情况下，基于立体相机和物体候选的距离，计算与车辆的一般尺寸即宽度2. OmX高度2. Om相当的区域在视差图中的大小，将其设为物体判定区域的大小。例如，对于存在于距立体相机的距离为80m的位置的车辆，提取宽度20像素X高度20像素的物体判定区域，对于存在于40m的位置的车辆，提取宽度40像素X高度40像素的物体判定区域。[形状特征提取单元160]形状特征提取单元160从由物体判定区域提取单元150提取的物体判定区域中，提取形状特征向量。形状特征向量是表示存在于物体判定区域的物体候选的平面性或凸性等三维形状的特征的向量。图12 Ca)是表示形状特征提取单元160中的形状特征的提取方法的图。形状特征提取单元160将物体判定区域分割成格状，将各格子的视差数据代表值设为形状特征向量。这里，视差数据代表值是包含于各格子的视差数据的平均、中间值等。图12 (b)是表示形状特征向量的图。物体判定区域提取单元150将物体判定区域在图像垂直方向分割为N个格子、在图像水平方向分割为M个格子，计算以各格子区域中的视差数据代表值为要素的NXM的二维数据。而且，物体判定区域提取单元150将计算出的二维数据以一维排序，作为形状特征向量。[物体判定单元170]物体判定单元170从形状特征提取单元160获取提取出的形状特征向量，且从物体判定参数存储器180获取预先学习的物体判定参数。这里，物体判定参数是含有用于将形状特征提取单元160提取的形状特征向量变换成物体或是道路面这二值的向量和阈值的数据。图13是表示存储在物体判定参数存储器180的物体判定参数的学习方法的图。图13(a)是表示存储在物体判定参数存储器180的物体判定参数的学习的图。通过对将从物体的视差数据中提取的形状特征向量学习用地汇集数百 数千而成的数据、以及将从处于道路面上且容易误检测的路面标示的视差数据中提取的形状特征向量学习用地汇集数百 数千而成的数据使用统计性学习方式，可计算用于判定存在于物体候选的区域的对象物是物体还是路 面的物体的判定参数。而且，算出的物体判定参数被预先存储在物体判定参数存储器180中。此外，物体判定参数的学习中，从物体的视差数据中提取形状特征向量的方法与形状特征提取单元160采用的方法相同。另外，物体判定参数的学习中，提取物体的视差数据的区域的方法也与物体判定区域提取单元150采用的方法相同。物体判定单元170基于从形状特征提取单元160获取的形状特征向量和从物体判定参数存储器180获取的物体判定参数，判定物体候选是物体还是路面。作为学习和判定方式，可适用判别分析或SVM(Support Vector Machine,支持向量机)等通常的方式，并不限定本发明。在基于立体图像估计视差的情况下，图像中高频分量少的区域、即边缘或亮度变化少的区域难以估计视差，在物体判定区域内产生视差数据缺漏的区域。特别是拍摄车辆所得的图像中高频分量少的区域多，所以有时产生视差数据缺漏的区域。例如，能否估计视差数据的图案(pattern)(以下称为“视差图案”)在车辆背面以“ H型”为代表。S卩，车辆背面的左右边缘和牌照、尾灯的区域虽然存在视差数据，但车辆中央上部、车辆中央下部由于为高频分量少的区域，所以视差数据缺漏。 在采用在存在阈值以上的、与物体候选的代表视差(例如物体候选区域中的视差的平均值)相差悬殊的视差数据情况下判定为不能检测物体候选的方式时，如车辆那样视差数据容易缺漏的物体可能会成为未检测。本发明中，还利用视差图案，判断物体候选是物体还是路面。图14是表示在一部分区域视差数据缺漏的物体判定区域的图。这样的情况下，将物体视差数据缺漏的区域的视差值设为O进行处理。使用物体和路面标示的视差数据的物体判定参数的学习时也同样，在物体或路面标示的学习用的视差数据的一部分区域中视差数据缺漏的情况下，也将视差数据缺漏的区域的视差值设为O进行处理。另外，由于路面的图像的高频分量也少，所以通过利用视差图案，能够进行高精度的判定。在采用基于视差的倾斜或视差的标准偏差判定是物体还是路面的方式的情况下，不能进行视差数据缺漏的区域的判定，但在本发明中，使用包含视差图案而学习的物体判定参数，因此，可进行高精度的判定。此外，在将立体相机搭载于车辆上的情况下，因车辆的纵摇变动，在立体图像中的物体候选位置多产生上下方向的偏差。图15是用于说明使存储在物体判定参数存储器180的物体判定参数的学习与上下方向的偏差相对应的情况的图。为进行对上下方向的偏差具有鲁棒性的判定，在学习物体判定参数时使用的视差数据中，追加使下端的位置在上下10像素的范围错开的视差数据来学习。由此，能够进行对上下方向的偏差具有鲁棒性的判定。如以上详细说明，本实施方式的物体检测装置100具备基于获取的立体图像生成视差图的视差图生成单元120和基于生成的视差图估计路面的路面估计单元130。另外，物体检测装置100具备基于生成的视差图和路面来提取在实空间中存在于路面的上侧的物体候选的位置的物体候选位置提取单元140、和从生成的视差图中提取也包含物体候选周边的区域的立体判定区域的物体判定区域提取单元150。另外，物体检测装置100具备基于物体判定区域提取物体候选的形状特征的形状特征提取单元160、和基于提取出的形状特征及预先存储在物体判定参数存储器180的物体判定参数，判定物体候选是物体还是路面的物体判定单元170。而且，物体检测方法是，获取使用拍摄系拍摄得到的立体图像，基于立体图像生成视差图，且基于视差图估计路面。然后，基于视差图和路面，提取实空间中存在于路面的上方的物体候选的位置，从视差图中提取也包含物体候选周边的区域的物体判定区域。然后，从提取出的物体判定区域中提取物体候选的形状特征，基于形状特征和物体判定参数，判定物体候选是物体还是路面。另外，通过将物体候选区域的周边区域也包含在内来提取物体判定区域或用于学习的视差数据，从而使用包含物体和物体的背景的图像特征，可提高判别精度。即，与仅通过物体候选区域的图像特征进行判别的情况相比，使用物体候选区域和背景区域两方进行判别的情况下，不仅因像素数的増加而判别精度提高，而且可以使用物体候选区域和背景区域的亮度值的整体性差异等进行判定，所以判定精度提高。由此，也可以高精度地检测难以判定是物体还是路面(路面标示)的远方的物体。特别是在使用基线长度短的立体相机的情况或检测远方的物体的情况下有效。另外，在本实施方式中，通过采用以下的结构，物体判定区域提取单元150、形状特征提取单元160及物体判定单元170具有特有的効果。通过由物体判定区域提取单元150根据至物体候选的距离而变更提取的物体判定区域的大小，从而不需要对每个直至物体候选的距离保持物体判定参数，可以削减存储量。另外，通过由物体判定区域提取单元150将物体候选区域的下端设为物体判定区域的下端，从而不使用在实空间中存在于物体候选的下端之下的物体的视差数据，因此，可以对物体和路面使用高精度地表现的形状特征，可以提高是物体还是路面(路面标示)的判定精度。另外，通过由形状特征提取单元160将物体判定区域分割成格状，并将各格子的视差数据代表值设为形状特征向量，从而即使在物体判定区域中视差数据局部缺漏的情况下，也能够更鲁棒地、正确地判定是物体还是路面(路面标示)。通过由物体判定单元170使用基于统计性学习的形状特征的学习结果进行判定，可以高精度地判定是物体还是路面(路面标示)。通过由物体判定单元170使用学习在没有视差数据的情况下将视差值设为零的形状特征的结果，从而即使在高频分量少的车辆或路面等中，视差数据发生缺漏的情况下，也能够高精度地判定是物体还是道路面(路面标示)。通过由物体判定单元170在学习物体判定参数时多使用在上下方向错开的区域的视差数据，从而即使在纵摇变动大的车载环境下，也能够高精度地判定是物体还是道路面(路面标示)。(实施方式2)图16是表示本发明实施方式2的物体检测装置的形状特征提取单元中的、基于相关特征的提取方法的图。本实施方式的形状特征提取单元取代图2的物体检测装置100的形状特征提取单元160而被使用。本发明实施方式2的物体检测装置的基本结构及动作与实施方式I相同。图16 (a)是表不相关特征的提取方法的图，图16 (b)是表不基于相关特征的形状特征向量的图。如图16所示，本实施方式的形状特征提取单元将物体判定区域分割成格状，基于各格子的视差数据代表值的相关值，生成形状特征向量。首先，形状特征提取单元将物体判定区域在图像垂直方向分割成N个格，在图像水平方向分割成M个格，计算以各格子区域中的视差数据代表值为各要素的NXM的二维排列数据。然后，形状特征提取单元160提取相关特征，生成形状特征向量。相关特征基于在将各格子的视差数据代表值根据规定的阈值2值化而成的NXM的二维排列数据中，存在例如L个3X3的相关特征提取用比特图案1601的数量等求出。另外，基于从物体的学习用视差数据中提取出的相关特征，也计算存储在物体判定参数存储器的物体判定参数。这样，根据本实施方式，物体检测装置的形状特征提取单元通过将物体判定区域分割成格状，并将基于各格子的视差数据代表值的相关值的形状特征设为形状特征向量，可以提取表示视差数据的相关性的形状特征。因此，可以提取对于物体判定区域的偏差更鲁棒的形状特征，可以更高精度地判定是物体还是路面(路面标示)。此外，作为形状特征向量的各要素使用了各格子区域中的视差数据的平均，但不限定本发明，通过使用视差数据的中间值等也可以实现。以上的说明是本发明的优选的实施方式的例证，本发明的范围不限于此。例如，上述各实施方式中，也可以进行与其它信息提示方式例如声音或音频信息、振动等组合的提示。此外，构成上述物体检测装置的各结构单元、例如立体图像获取单元的种类、视差图生成单元的估计方法等不限于上述的实施方式。
以上说明的物体检测方法也可以通过用于使该物体检测方法发挥作用的程序实现。该程序被存储在可由计算机读取的存储介质中。工业实用性本发明的物体检测装置及物体检测方法具有可以使用立体图像来检测难以判定是物体还是路面(路面标示)的存在于远方的物体的功能，作为先行车辆跟踪辅助等很有用。
权利要求
1.物体检测装置，检测立体图像中包含的路面上的物体，该装置包括 视差图生成单元，基于所述立体图像生成视差图； 路面估计单元，基于所述视差图估计路面区域； 物体候选位置提取单元，从所述视差图中提取存在于所述路面区域的上方的视差数据组作为物体候选存在的区域即物体候选区域； 物体判定区域提取单元，从所述视差图中提取包含所述物体候选区域和所述物体候选区域的周边区域的物体判定区域； 形状特征提取单元，提取所述物体判定区域的形状特征；以及 物体判定单元，基于所述形状特征，判定物体候选是物体还是路面。
2.如权利要求1所述的物体检测装置， 所述物体候选位置提取单元通过对存在于所述路面区域的上方的视差数据组，将相邻的视差数据进行成组，从而提取所述物体候选区域。
3.如权利要求1所述的物体检测装置， 所述周边区域是基于所述物体候选区域的区域尺寸确定的。
4.如权利要求1所述的物体检测装置， 还包括使物体候选区域的尺寸及视差值与物体判定区域的区域尺寸相关联的表， 物体判定区域提取单元基于所述表和所述物体候选区域的区域尺寸，从所述视差图中提取所述物体判定区域。
5.如权利要求1所述的物体检测装置， 所述物体判定区域提取单元基于所述物体候选区域的视差值及区域尺寸，计算所述物体候选区域在实空间中的大小，并基于计算出的所述物体候选区域在实空间中的大小和预先保持的、可能存在于道路环境的物体在实空间中的大小信息，判断所述物体候选是否是可能存在于道路环境的物体，在判断为所述物体候选为可能存在于道路环境的物体的情况下，提取相对于所述物体候选区域的区域尺寸具有第一倍率的区域尺寸的周边区域，而在判断为所述物体候选不是可能存在于道路环境的物体的情况下，提取相对于所述物体候选区域的区域尺寸具有第二倍率的区域尺寸的周边区域。
6.如权利要求5所述的物体检测装置， 所述第一倍率比所述第二倍率小。
7.如权利要求1所述的物体检测装置， 所述周边区域的下端和所述物体候选区域的下端一致。
8.如权利要求1所述的物体检测装置， 所述物体判定区域提取单元根据直至所述物体候选的距离，变更提取的物体判定区域的大小。
9.如权利要求1所述的物体检测装置， 所述形状特征提取单元将物体判定区域分割为格状，且基于各格子的视差数据代表值，生成形状特征向量。
10.如权利要求1所述的物体检测装置， 所述形状特征提取单元将物体判定区域分割为格状，且基于各格子的视差数据代表值的相关值，生成形状特征向量。
11.如权利要求1所述的物体检测装置， 所述物体判定单元使用基于统计性学习的学习结果进行判定。
12.如权利要求11所述的物体检测装置， 所述物体判定单元使用在没有视差数据的情况下将视差值设为零而学习的结果进行判定。
13.如权利要求11所述的物体检测装置， 所述物体判定单元使用学习了上下方向的偏差的结果进行判定。
14.物体检测方法，检测立体图像中包含的路面上的物体，该方法包括如下步骤 视差图生成单元基于所述立体图像生成视差图； 路面估计单元基于所述视差图估计路面区域； 物体候选位置提取单元从所述视差图中提取存在于所述路面区域的上方的视差数据组作为物体候选存在的区域即物体候选区域； 物体判定区域提取单元从所述视差图中提取包含所述物体候选区域和所述物体候选区域的周边区域的物体判定区域； 形状特征提取单元提取所述物体判定区域的形状特征；以及 物体判定单元基于所述形状特征，判定物体候选是物体还是路面。
15.程序，用于使计算机执行权利要求14所述的物体检测方法的各步骤。
全文摘要
提供能够高精度地判定拍摄到立体图像中的对象物是物体还是路面物体检测装置、物体检测方法及程序。物体检测装置(100)具备视差图生成单元(120)，基于获取的立体图像生成视差图；路面估计单元(130)，基于生成的视差图估计路面；物体候选位置提取单元(140)，基于生成的视差图和路面，提取在实空间中存在于路面上侧的物体候选的位置；以及物体判定区域提取单元(150)，从生成的视差图中，提取物体候选周边区域也包含在内的立体判定区域。另外，物体检测装置(100)还具备形状特征提取单元(160)，基于物体判定区域提取物体候选的形状特征；以及物体判定单元(170)，基于提取出的形状特征及预先存储在物体判定参数存储器(180)的物体判定参数，判定物体候选是物体还是路面。
文档编号G06T1/00GK103052968SQ20118003815
公开日2013年4月17日 申请日期2011年8月3日 优先权日2010年8月3日
发明者南里卓也, 丸谷健介, 西村洋文 申请人:松下电器产业株式会社