立体物检测装置以及立体物检测方法
【专利摘要】提供能够在维持检测立体物的精度的同时减少运算负荷的立体物检测装置以及立体物检测方法。由第2分类部，对于对视差点进行分类而得到的各个集合，基于属于集合的视差点的在视差图像中的纵向的位置的分布，来将集合分类为立体物类别、路面类别以及不明类别中的任一者。由路面推定部，基于被分类为路面类别的集合的视差点来推定路面，由第3分类部，基于所推定出的路面来从被分类为不明类别的集合中分类出与立体物对应的集合。由此，基于视差点和所推定出的路面来检测立体物的处理限于被分类为不明类别的视差点的集合，所以能够在维持检测立体物的精度的同时减少运算负荷。
【专利说明】
立体物检测装置以及立体物检测方法
技术领域
[0001 ]本发明的一方面和其他方面涉及立体物检测装置以及立体物检测方法。
【背景技术】
[0002]提出有如下技术:基于表示由车载相机分别从不同的视点对车辆的周围进行拍摄而取得的彼此具有视差的多个图像的图像数据，来检测车辆的周围的立体物。例如，在专利文献I的装置中，可得到表示由车载的立体相机取得的彼此具有视差的多个图像的图像数据。基于该图像数据生成视差图像，所述视差图像表示在多个图像的各个图像中相对应的点即视差点各自的视差。基于与所生成的视差图像的视差点相关的信息推定车辆的周围的路面。基于视差点和所推定的路面，来检测从路面突出的公交车、自动双轮车等立体物。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1:美国特许申请公开第2014/0071240号说明书
【发明内容】
[0006]发明要解决的问题
[0007]然而，在上述专利文献I的装置中，虽然能够高精度地检测立体物，但存在运算负荷大的缺点，希望改善。
[0008]于是，本发明的目的在于提供能够维持检测立体物的精度并且能够减少运算负荷的立体物检测装置以及立体物检测方法。
[0009]用于解决问题的手段
[0010]本发明的一方面涉及一种立体物检测装置，具备:拍摄部，其通过由车载相机从不同的视点分别对车辆的周围进行拍摄来取得表示彼此具有视差的多个图像的图像数据;视差图像生成部，其基于图像数据生成视差图像，所述视差图像表示在多个图像的各个图像中相对应的点即视差点各自的视差;第I分类部，其将视差点分类为以视差范围和横向位置范围作为条件的多个集合中的各个集合，所述视差范围是将视差图像中的视差点的视差按多个范围中的每个范围进行划分而得的范围，所述横向位置范围是将视差图像中的视差点得横向的位置按多个范围的每个范围进行划分而得的范围；第2分类部，对于针对对视差点进行分类而得到的各个集合，基于属于集合的视差点的在视差图像中的纵向的位置的分布，来将集合分类为包括立体物类别、路面类别以及不明类别的多个类别中任一者;路面推定部，其基于被分类为路面类别的集合的视差点来推定车辆的周围的路面；以及第3分类部，其基于所推定出的路面来从被分类为不明类别的集合中分类出与立体物对应的集合。
[0011]根据该构成，由第I分类部，将视差图像中的视差点分类为以视差点的视差范围和横向位置范围作为条件的多个集合中的各个集合，由第2分类部，对于针对对视差点进行分类而得到的各个集合，基于属于集合的视差点的在视差图像中的纵向的位置的分布，来将集合分类为包括立体物类别、路面类别以及不明类别的多个类别中任一者。由此，能够以少的运算负荷概括地分类出立体物的视差点的集合、路面的视差点的集合、不明确是立体物的视差点还是路面的视差点的视差点的集合。由路面推定部，基于被分类为路面类别的集合的视差点来推定路面，由第3分类部，基于所推定出的路面来从被分类为不明类别的集合中分类出与立体物对应的集合。由此，基于视差点和所推定出的路面来检测立体物的处理限于被分类为不明类别的视差点的集合，所以能够在维持检测立体物的精度的同时，减少运算负荷。
[0012]在该情况下，也可以是，第2分类部，针对对视差点进行分类而得到的各个集合，将属于集合的视差点的数量小于无效阈值的集合分类为不属于立体物类别、路面类别以及不明类别中的任一者的无效类别。
[0013]根据该构成，由第2分类部，将因属于集合的视差点的数量少而能够视为单纯的噪音等的集合分类为不属于立体物类别、路面类别以及不明类别中的任一者的无效类别，将该集合从用于检测立体物的运算中去除，所以能够进一步减少运算负荷。
[0014]另外，也可以是，第2分类部，对于针对对视差点进行分类而得到的各个集合，在属于集合的视差点在视差图像中的纵向的位置上分布的范围为立体物阈值以上的情况下，将集合分类为立体物类别，在属于集合的视差点在视差图像中的纵向的位置上分布的范围为小于立体物阈值的路面阈值以下的情况下，将集合分类为路面类别，在属于集合的视差点在视差图像中的纵向的位置上分布的范围小于立体物阈值且超过了路面阈值的情况下，将集合分类为不明类别。
[0015]根据该构成，由第2分类部，在属于集合的视差点在视差图像中的纵向的位置分布的范围大到立体物阈值以上的情况下，该视差点的集合是立体物的可能性高，所以将该集合分类为立体物类别。另外，由第2分类部，在属于集合的视差点在视差图像中的纵向的位置分布的范围小到路面阈值以下的情况下，该视差点的集合是路面的可能性高，所以将该集合分类为路面类别，所述路面阈值是小于立体物阈值的阈值。另外，由第2分类部，对于既没有分类为立体物类别也没有分类为路面类别的集合，将该集合分类为不明类别。由此，能够以少的运算负荷概括地分类出立体物的视差点的集合、路面的视差点的集合、不明确是立体物的视差点还是路面的视差点的视差点的集合。
[0016]另外，本发明的其他方面涉及一种立体物检测方法，具备:拍摄步骤，由立体物检测装置的拍摄部，通过由车载相机从不同的视点分别对车辆的周围进行拍摄来取得表示彼此具有视差的多个图像的图像数据;视差图像生成步骤，由立体物检测装置的视差图像生成部基于图像数据生成视差图像，所述视差图像表示在多个图像的各个图像中相对应的点即视差点各自的视差;第I分类步骤，由立体物检测装置的第I分类部，将视差点分类为以视差范围和横向位置范围作为条件的多个集合中的各个集合，所述视差范围是将视差图像中的视差点的视差按多个范围的各个范围进行划分而得的范围，所述横向位置范围是将视差图像中的视差点的横向的位置按多个范围的各个范围进行划分而得的范围；第2分类步骤，由立体物检测装置的第2分类部，针对对视差点进行分类而得到的各个集合，基于属于集合的视差点的在视差图像中的纵向的位置的分布，来将集合分类为包括立体物类别、路面类别以及不明类别的多个类别中的任一者;路面推定步骤，由立体物检测装置的路面推定部，基于被分类为路面类别的集合的视差点来推定车辆的周围的路面；以及第3分类步骤，由立体物检测装置的第3分类部，基于所推定出的路面从被分类为不明类别的集合中分类出与立体物对应的集合。
[0017]在该情况下，在第2分类步骤中，也可以是，针对对视差点进行分类而得到的各个集合，将属于集合的视差点的数量小于无效阈值的集合分类为不属于立体物类别、路面类别以及不明类别中任一者的无效类别。
[0018]另外，也可以是，在第2分类步骤中，针对对视差点进行分类而得到的各个集合，在属于集合的视差点在视差图像中的纵向的位置分布的范围为立体物阈值以上的情况下，将集合分类为立体物类别，在属于集合的视差点在视差图像中的纵向的位置分布的范围为路面阈值以下的情况下，将集合分类为路面类别，在属于集合的视差点在视差图像中的纵向的位置分布的范围小于立体物阈值且超过了路面阈值的情况下，将集合分类为不明类别，所述路面阈值是小于立体物阈值的阈值。
[0019]发明的效果
[0020]根据本发明的一方面以及另一方面，能够在维持检测立体物的精度的同时，减少运算负荷。
【附图说明】
[0021 ]图1是表示实施方式的立体物检测装置的框图。
[0022]图2是表示图1的立体物检测装置的动作的流程图。
[0023]图3是表示以视差图像中的横向的位置为横轴、以视差为纵轴的视差映射的图。
[0024]图4(a)是表示属于被分类为立体物类别的集合(块)的视差点的图，图4(b)是表示属于被分类为路面类别的集合的视差点的图，图4(c)是表示属于被分类为不明类别的集合的视差点的图，图4(d)是表示属于被分类为无效类别的集合的视差点的图。
[0025]图5是表示将属于被分类为路面类别的各个集合的视差点在V视差(V-disparity)平面进行构图的一例的图。
[0026]图6是表示映于图像中的路面与道路壁的图。
[0027]图7是表示基于所推定出的路面来从被分类为不明类别的集合中分类出与图6的道路壁对应的集合的方法的图。
[0028]图8是表示映于图像中的路面与护栏的图。
[0029]图9是表示基于所推定出的路面来从被分类为不明类别的集合中分类出与图8的护栏对应的集合的方法的图。
[0030]附图标记说明
[0031]I…立体物检测装置；2...Ε⑶;3…立体相机;4…第I相机;5…第2相机；IL...拍摄部；12…视差图像生成部；13…第I分类部；14…第2分类部；15…路面推定部；16…第3分类部；101...路面；102…道路壁；103...护栏;d…视差范围；tr..横向位置范围；0th...立体物阈值;Sth...路面阈值;Rth...再分类阈值;F1、F2…图像;zl、z2…范围；Piq1、Piq2、Piq3...视差点；Hl02、HlQ3…尚度。
【具体实施方式】
[0032]以下，参照附图，对本发明的实施方式的立体物检测装置和立体物检测方法进行说明。
[0033]如图1所示，第I实施方式的立体物检测装置I例如搭载于乘用车等车辆，检测车辆的周围的立体物。立体物例如是指从车辆的周围的路面突出的物体，包括与路面分离的物体和与路面一体化的物体这两者。所谓路面，例如是车辆能够行驶的道路的表面。此外，除了车辆所行驶的道路的表面以外，路面也可以包括驻车场的通路和驻车空间的表面。
[0034]立体物检测装置I具备用于检测立体物的EQJ(Electronic Control Unit:中央控制单元)2和立体相机(车载相机)34012是具有CPU(Central Processing Unit:中央处理器)、R0M(Read Only Memory:只读存储器)、RAM (Random Access Memory:随机存取存储器)等的电子控制单元。在ECU2中，将存储于ROM的程序载入RAM，并由CPU执行，由此执行各种处理。E⑶2也可以由多个电子控制单元构成。
[0035]立体相机3是获取通过由车载相机从不同的视点分别对车辆的周围进行拍摄而取得的彼此具有视差的多个图像的图像取得设备。立体相机3具有以再现两眼视差的方式配置的第I相机4和第2相机5。第I相机4和第2相机5例如设置于车辆的前玻璃的里侧，对车辆的前方进行摄像。
[0036]第I相机4和第2相机5例如安装成在水平方向上隔有预定间隔，所以在对物体进行拍摄时，可得到具有视差的多个图像即左图像和右图像。所得到的2个图像具有视差。因此，能够从2个图像取得视差图像，所述视差图像是包含与视差点各自的视差有关的信息的图像，所述视差点是2个图像间相对应的点。基于视差图像，通过三角测量的原理，能够求出到每个视差点的路面和立体物的距离。
[0037]此外，也可以是第I相机4和第2相机5设置于车辆的侧部或车辆的后部(例如后玻璃的里侧)，对车辆的侧方或后方进行摄像。另外，也可以是，立体相机3利用3个以上的相机从3个以上的不同的视点对车辆的周围进行拍摄，由此取得彼此具有视差的3个以上的图像。立体相机3将所拍摄到的表示彼此具有视差的多个图像的图像数据向ECU2发送。
[0038]此外，也可以是，立体物检测装置I具备单眼相机，而代替立体相机3。对于单眼相机，通过采用周知的方法(例如利用摄像的时间差的方法)，也能够得到视差图像。
[0039]接着，对ECU2的功能结构进行说明。如图1所示，ECU2具有拍摄部11、视差图像生成部12、第I分类部13、第2分类部14、路面推定部15以及第3分类部16。拍摄部11，通过由立体相机3从第I相机4和第2相机5的不同的视点分别对车辆的周围进行拍摄来取得表示彼此具有视差的2个图像的图像数据。
[0040]视差图像生成部12，基于由拍摄部11取得的图像数据生成视差图像，所述视差图像表示在2个图像的各个图像中相对应的点即视差点各自的视差。第I分类部13，将视差点分类为以视差范围和横向位置范围作为条件的多个集合中的各个集合，所述视差范围是将由视差图像生成部12生成的视差图像中的视差点的视差按多个范围中的各个范围进行划分而得的范围，所述横向位置范围是将视差图像中的视差点的横向的位置按多个范围中的各个范围进行划分而得的范围。
[0041]第2分类部14，针对由第I分类部13对视差点进行分类得到的各个集合，基于属于集合的视差点的数量及/或视差图像中的纵向的位置的分布，将集合分类为立体物类别、路面类别、不明类别以及无效类别中的任一者。路面推定部15，基于由第2分类部14分类为路面类别的集合的视差点来推定车辆的周围的路面。第3分类部16，基于由路面推定部15推定出的路面来从被分类为不明类别的集合中分类出与立体物对应的集合。
[0042]以下，对本实施方式的立体物检测装置I的动作进行说明。如图2所示，作为拍摄步骤，由立体物检测装置I的ECU2的拍摄部11，通过由立体相机3从第I相机4和第2相机5的不同的视点分别对车辆的周围进行拍摄，来取得表示彼此具有视差的2个图像的图像数据
(SI)。
[0043]作为视差图像生成步骤，由立体物检测装置I的ECU2的视差图像生成部12，基于在拍摄步骤中所取得的图像数据生成视差图像，所述视差图像表示在2个图像的各个图像中相对应的点即视差点各自的视差(距离)(S2)。对于2个图像的视差点的视差的算出，例如可以针对2个图像各自的相对应的多个像素，在预定的大小的区域内设定视差点，使用绝对差值和(SAD)算出视差。视差点的视差也可以使用差量的平方和、归一化函数来算出。
[0044]作为第I分类步骤，由立体物检测装置I的ECU2的第I分类部13，针对在视差图像生成步骤中所生成的视差图像，将视差点分类为以视差范围和横向位置范围作为条件的多个集合中的各个集合，所述视差范围是将视差图像中的视差点的视差按多个范围的各个范围划分而得的范围，所述横向位置范围是将视差图像中的视差点的横向的位置按多个范围的各个范围划分而得的范围(S3)。
[0045]第I分类部13设定如图3所示那样的视差投票映射。在图3的视差投票映射中，通过排列多个矩形状的块而构成，所述多个矩形状的块的纵向的边定为与视差的大小对应，并且该多个矩形状的块横向的边定为与视差图像的水平方向(横向)的坐标对应。视差投票映射的多个矩形状的块的各个块表示以视差范围d和横向位置范围V作为条件的视差点的集合，所述视差范围d是将视差图像中的视差点的视差按多个范围的各个范围进行划分而得的范围，所述横向位置范围V是将视差图像中的视差点的横向的位置按多个范围的各个范围进行划分而得的范围。
[0046]第I分类部13对如图3所示那样的视差投票映射的各个块分类(投票)对应的视差点。第I分类部13，将各个视差点的在视差图像中的水平方向的坐标、各个视差点的视差、各个视差点的在视差图像中的垂直方向(纵向)的坐标以及视差点的数量与视差投票映射的各个块相关联地存储。
[0047]如图2所示，作为第2分类步骤，由立体物检测装置I的第2分类部14，针对在第I分类步骤中对视差点进行了分类而得到的各个集合，基于属于集合的视差点的数量及/或在视差图像中的垂直方向(纵向)的位置的分布，将集合分类为立体物类别、路面类别、不明类别以及无效类别中的任一者(S4)。
[0048]如图4(a)所示，在属于集合的视差点的数量为预先设定的无效阈值以上、且属于集合的视差点在视差图像中的纵向的位置分布的范围为预先所设定的立体物阈值Oth以上的情况下，第2分类部14将该集合分类为立体物类别。无效阈值是用于决定是否将视差点的集合用于立体物和路面的检测的视差点的数量的阈值。另外，立体物阈值Oth是用于决定视差点的集合是否表示立体物的、视差点的在视差图像中的纵向的位置分布的范围的阈值。
[0049]如图4(a)所示，在具有相同程度的视差(距离)的视差点在视差图像中的纵向位置的宽的范围分布的情况下，能够推定为该视差点的集合表示立体物。也可以是，第2分类部14，对于针对属于集合的各个视差点，在以视差和视差图像中的纵向位置作为坐标轴的坐标平面上进行直线近似，该直线的视差图像中的纵向位置相对于视差的梯度比预先设定的梯度值陡的情况下，将该集合分类为立体物类别。
[0050]如图4(b)所示，在属于集合的视差点的数量为预先设定的无效阈值以上、且属于集合的视差点在视差图像中的纵向的位置分布的范围为路面阈值Sth以下的情况下，第2分类部14将该集合分类为路面类别，所述路面阈值Sth是比立体物阈值Oth小的预先设定的阈值。路面阈值Sth是用于决定视差点的集合是否表示路面的、视差点的在视差图像中的纵向的位置分布的范围的阈值。
[0051]如图4(b)所示，在具有相同程度的视差(距离)的视差点在视差图像中的纵向的位置的窄的范围分布，随着视差减少(随着距离增大)，视差图像中的纵向的位置平滑地上升的情况下，能够推定为该视差点的集合表示路面。也可以是，第2分类部14，对于针对属于集合的各个视差点，在以视差和视差图像中的纵向的位置作为坐标轴的坐标平面上进行直线近似，在该直线的视差图像中的纵向的位置相对于视差的梯度比预先设定的梯度值平缓的情况下，将该集合分类为路面类别。
[0052]如图4(c)所示，在属于集合的视差点的数量为预先设定的无效阈值以上、且属于集合的视差点在视差图像中的纵向的位置分布的范围小于立体物阈值Oth且超过了路面阈值Sth的情况下，第2分类部14将该集合分类为不明类别。在第2分类步骤的阶段还未进行与路面的对比，所以对于无法以高精度推定为属于表示立体物的视差点的视差点的集合，保留关于是否属于立体物的推定。也可以是，第2分类部14，针对属于集合的各个视差点，在以视差和视差图像中的纵向的位置为坐标轴的坐标平面上进行直线近似，在该直线的视差图像中的纵向的位置相对于视差的梯度处于预先设定的范围内的情况下，将该集合分类为不明类别。
[0053]如图4(d)所示，在属于集合的视差点的数量小于无效阈值的情况下，第2分类部14将该集合分类为不属于立体物类别、路面类别以及不明类别中的任一者的无效类别。此外，也可以是，第2分类部14将视差点的集合分类为除了上述的立体物类别、路面类别、不明类别以及无效类别以外的任意的类别。
[0054]如图2所示，作为路面推定步骤，由立体物检测装置I的ECU2的路面推定部15，基于被分类为路面类别的集合的视差点来推定车辆的周围的路面(S5)。基于被分类为路面类别的集合的视差点进行的路面的推定，例如可以通过公知的V视差(v-d i spar i ty)进行。如图5所示，V视差是横轴取视差(视差所示的距离)，纵轴取视差图像中的垂直方向的坐标，针对视差图像求出水平方向的直方图而得到的图表。在视差图像中，对于路面的区域，例如随着视差图像的垂直方向的坐标向上方变化，视差平滑地减少(视差所示的距离增大)。因此，如图5所示，在V视差平面中，路面被投影为沿着倾斜方向延伸的线段。路面推定部15提取被推定为表示路面的视差点的视差点。路面推定部15，也可以通过V视差以外的公知的方法，基于被分类为路面类别的集合的视差点，来推定车辆的周围的路面。
[0055]如图2所示，作为第3分类步骤，由立体物检测装置I的ECU2的第3分类部16，基于所推定出的路面来从被分类为不明类别的集合中分类出与立体物对应的集合(S6)。例如，如图6所示，在映有路面101和道路壁102的图像Fl中，假定想在范围zl中如上所述那样对视差点的集合进行了分类的情况。如图4(c)所示，对于该集合，在第2分类步骤中，由于道路壁102距路面101的高度低而且，视差点在视差图像中的纵向的位置分布的范围窄，所以该集合被分类为不明类别。
[0056]如图7所示，在第3分类步骤中，对于该集合，示出了在路面推定步骤中被推定为表示路面的视差点的视差点Pm。在从表示路面的各个视差点Pm中视差图像中的纵向的位置最低的视差点PlQl到表不道路壁102的各个视差点PlQ2中视差图像中的纵向的位置最尚的视差点P1Q2为止的高度H1Q2为预先设定的再分类阈值Rth以上的情况下，第3分类部16将被分类为不明类别的集合分类为与立体物对应的集合。再分类阈值Rth是用于将被分类为不明类别的集合分类为与立体物对应的集合、视差图像中的纵向的位置的范围的阈值。
[0057]在第3分类步骤中，也可以是，在从表示路面的各个视差点Pm中视差图像中的纵向的位置的平均值到表示道路壁102的各个视差点Piq2中视差图像中的纵向的位置的平均值为止的高度为预先设定的再分类阈值Rth以上的情况下，第3分类部16将被分类为不明类别的集合分类为与立体物对应的集合。另外，在第3分类步骤中，也可以是，在从表示路面的各个视差点Pm中视差图像中的纵向的位置最高的视差点Pm到表示道路壁102的各个视差点P1Q2中视差图像中的纵向的位置最低的视差点P1Q2为止的高度为预先设定的再分类阈值Rth以上的情况下，第3分类部16将被分类为不明类别的集合分类为与立体物对应的集合。
[0058]另外，例如，如图8所示，在映有路面1I和护栏13的图像F2中，假想在范围z2中如上所述那样对集合进行了分类的情况。如图9所示，在从表示路面的各个视差点Pm中视差图像中的纵向的位置最低的视差点P皿到表示护栏103的各个视差点Piq3中视差图像中的纵向的位置最高的视差点P1Q3的高度H1Q3为预先设定的再分类阈值Rth以上的情况下，第3分类部16将被分类为不明类别的集合分类为与立体物对应的集合。
[0059]在本实施方式中，由第I分类部13，将视差图像中的视差点分类为以视差点的视差范围d和横向位置范围h作为条件的多个集合中的各个集合，由第2分类部14，针对被分类了对视差点进行分类而得到的各个集合，基于属于集合的视差点的在视差图像中的纵向的位置的分布，来将集合分类为包括立体物类别、路面类别以及不明类别的多个类别中的任一者。由此，能够以少的运算负荷概括地分类出立体物的视差点的集合、路面的视差点的集合、不明确是立体物的视差点还是路面的视差点的视差点的集合。由路面推定部15，基于被分类为路面类别的集合的视差点推定路面，由第3分类部16，基于所推定出的路面来从被分类为不明类别的集合中分类出与立体物对应的集合。由此，基于视差点和所推定出的路面来检测立体物的处理，限于被分类为不明类别的视差点的集合，所以能够在维持检测立体物的精度的同时，减少运算负荷。
[0060]另外，在本实施方式中，由第2分类部14，将因属于集合的视差点的数量少而能够视为单纯的噪音等的集合分类为不属于立体物类别、路面类别以及不明类别中的任一者的无效类别，将该集合从用于检测立体物的运算中去除，所以能够进一步减少运算负荷。
[0061]另外，在本实施方式中，由第2分类部14，在属于集合的视差点在视差图像中的纵向的位置分布的范围大到立体物阈值Oth以上的情况下，该视差点的集合为立体物的可能性高，所以将该集合分类为立体物类别。另外，由第2分类部14，在属于集合的视差点在视差图像中的纵向的位置分布的范围小到路面阈值Sth以下的情况下，该视差点的集合是路面的可能性高，所以将该集合分类为路面类别，所述路面阈值Sth是小于立体物阈值Oth的阈值。另夕卜，由第2分类部14，对于既没有分类为立体物类别也没有分类为路面类别的集合，将该集合分类为不明类别。由此，能够以少的运算负荷概括地分类出立体物的视差点的集合、路面的视差点的集合、以及不明确是立体物的视差点还是路面的视差点的视差点的集合。
[0062]此外，本发明的实施方式的立体物检测装置以及立体物检测方法不限于上述的实施方式，当然可以在不脱离本发明的实施方式的主旨的范围内施加各种变更。
[0063]例如，在上述实施方式中，不一定由第2分类部14将视差点的集合分类为无效类另Ij，也可以将视差点的集合分类为立体物类别、路面类别及不明类别这3个类别中的任一者。由此，对于属于集合的视差点的数量少的集合也进行是立体物还是路面的推定，所以能够提高立体物的检测的精度。另外，立体物检测装置I也可以具备显示部，所述显示部将所检测到的立体物显示给车辆的驾驶员。另外，立体物检测装置I也可以具备基于所检测到的立体物来执行车辆的制动、加速或操舵等行驶控制的行驶控制部。
【主权项】
1.一种立体物检测装置，具备: 拍摄部，其通过由车载相机从不同的视点分别对车辆的周围进行拍摄来取得表示彼此具有视差的多个图像的图像数据； 视差图像生成部，其基于所述图像数据生成视差图像，所述视差图像表示在所述多个图像的各个图像中相对应的点即视差点各自的所述视差； 第I分类部，其将所述视差点分类为以视差范围和横向位置范围作为条件的多个集合中的各个集合，所述视差范围是将所述视差图像中的所述视差点的视差按多个范围中的各个范围进行划分而得的范围，所述横向位置范围是将所述视差图像中的所述视差点的横向的位置按多个范围的各个范围进行划分而得的范围； 第2分类部，对于对所述视差点进行分类而得到的各个所述集合，基于属于所述集合的所述视差点的在所述视差图像中的纵向的位置的分布，来将所述集合分类为包括立体物类另Ij、路面类别以及不明类别的多个类别中的任一者； 路面推定部，其基于被分类为所述路面类别的所述集合的所述视差点来推定所述车辆的周围的路面；以及 第3分类部，其基于所推定出的所述路面来从被分类为所述不明类别的所述集合中分类出与立体物对应的所述集合。2.根据权利要求1所述的立体物检测装置， 所述第2分类部，对于对所述视差点进行分类而得到的各个所述集合，将属于所述集合的所述视差点的数量小于无效阈值的所述集合分类为不属于所述立体物类别、所述路面类别以及所述不明类别中的任一者的无效类别。3.根据权利要求1或2所述的立体物检测装置， 所述第2分类部，对于对所述视差点进行分类而得到的各个所述集合， 在属于所述集合的所述视差点在所述视差图像中的纵向的位置上分布的范围为立体物阈值以上的情况下，将所述集合分类为立体物类别， 在属于所述集合的所述视差点在所述视差图像中的纵向的位置上分布的范围为小于所述立体物阈值的路面阈值以下的情况下，将所述集合分类为路面类别， 在属于所述集合的所述视差点在所述视差图像中的纵向的位置上分布的范围小于所述立体物阈值且超过了所述路面阈值的情况下，将所述集合分类为不明类别。4.一种立体物检测方法，具备: 拍摄步骤，由立体物检测装置的拍摄部，通过由车载相机从不同的视点分别对车辆的周围进行拍摄来取得表示彼此具有视差的多个图像的图像数据； 视差图像生成步骤，由所述立体物检测装置的视差图像生成部基于所述图像数据生成视差图像，所述视差图像表示在所述多个图像的各个图像中相对应的点即视差点各自的所述视差； 第I分类步骤，由所述立体物检测装置的第I分类部，将所述视差点分类为以视差范围和横向位置范围作为条件的多个集合中的各个集合，所述视差范围是将所述视差图像中的所述视差点的视差按多个范围的各个范围进行划分而得的范围，所述横向位置范围是将所述视差图像中的所述视差点的横向的位置按多个范围的各个范围进行划分而得的范围； 第2分类步骤，由所述立体物检测装置的第2分类部，对于对所述视差点进行分类而得到的各个所述集合，基于属于所述集合的所述视差点的在所述视差图像中的纵向的位置的分布，来将所述集合分类为包括立体物类别、路面类别以及不明类别的多个类别中的任一者； 路面推定步骤，由所述立体物检测装置的路面推定部，基于被分类为所述路面类别的所述集合的所述视差点来推定所述车辆的周围的路面;以及 第3分类步骤，由所述立体物检测装置的第3分类部，基于所推定出的所述路面来从被分类为所述不明类别的所述集合中分类出与立体物对应的所述集合。5.根据权利要求4所述的立体物检测方法， 在所述第2分类步骤中，对于对所述视差点进行分类而得到的各个所述集合，将属于所述集合的所述视差点的数量小于无效阈值的所述集合分类为不属于所述立体物类别、所述路面类别以及所述不明类别中的任一者的无效类别。6.根据权利要求4或5所述的立体物检测方法， 在所述第2分类步骤中，对于对所述视差点进行分类而得到的各个所述集合， 在属于所述集合的所述视差点在所述视差图像中的纵向的位置上分布的范围为立体物阈值以上的情况下，将所述集合分类为立体物类别， 在属于所述集合的所述视差点在所述视差图像中的纵向的位置上分布的范围为小于所述立体物阈值的路面阈值以下的情况下，将所述集合分类为路面类别， 在属于所述集合的所述视差点在所述视差图像中的纵向的位置上分布的范围小于所述立体物阈值且超过了所述路面阈值的情况下，将所述集合分类为不明类别。
【文档编号】H04N13/02GK106060516SQ201610223976
【公开日】2016年10月26日
【申请日】2016年4月12日 公开号201610223976.4, CN 106060516 A, CN 106060516A, CN 201610223976, CN-A-106060516, CN106060516 A, CN106060516A, CN201610223976, CN201610223976.4
【发明人】西岛征和
【申请人】丰田自动车株式会社