技术领域本发明的一方面和另一方面涉及立体物检测装置以及立体物检测方法。
背景技术：
提出了如下技术：基于表示由车载相机从不同的视点分别对车辆的周围进行拍摄而取得的、彼此具有视差的多个图像的图像数据，来检测车辆的周围的立体物。例如，在专利文献1中公开了一种装置，基于表示由车载的立体相机取得的彼此具有视差的多个图像的图像数据，来检测车辆的周围的路面和立体物。现有技术文献专利文献专利文献1：美国专利申请公开第2014/0071240号说明书
技术实现要素：
发明要解决的问题然而，在上述专利文献1的装置中，存在无法检测出实际存在的立体物的情况、将路面的模样等误检测为立体物的情况，希望进行改善。于是，本发明的目的在于，提供能够提高立体物的检测的信赖性的立体物检测装置以及立体物检测方法。用于解决问题的手段本发明的一方面涉及立体物检测装置，具备：第1检测部，其基于图像数据来检测车辆的周围的路面和立体物，所述图像数据表示通过由车载相机从不同的视点分别对车辆的周围进行拍摄而取得的、彼此具有视差的多个图像；第2检测部，其通过毫米波雷达检测立体物；以及检测控制部，其基于第1检测部和第2检测部中的至少任一者的检测结果来检测立体物，检测控制部，在能够通过第1检测部检测路面的范围内，基于第1检测部的检测结果来检测立体物，在无法通过第1检测部检测路面的范围内，基于第2检测部的检测结果、或者基于第1检测部和第2检测部的检测结果来检测立体物。根据该构成，由检测控制部，在能够通过第1检测部检测路面的范围内，基于因能够检测路面而信赖度高的第1检测部的检测结果来检测立体物，所以能够高精度地检测立体物。另外，由检测控制部，在无法通过第1检测部检测路面的范围内，基于因为无法检测路面而信赖度低的第1检测部的检测结果、和信赖度高的利用毫米波雷达的第2检测部的检测结果，或者基于第2检测部的检测结果来检测立体物，所以即使在无法通过第1检测部检测路面的范围内，也能够高精度地检测立体物。因此，能够提高立体物的检测的信赖性。在该情况下，也可以是，检测控制部，对于在预先设定的时间内、在无法通过第1检测部检测路面的范围内未由第1检测部检测出、且在能够由第1检测部检测路面的范围内连续地由第1检测部检测出的次数超过了阈值的立体物，基于第1检测部的检测结果来检测立体物，对于在预先设定的时间内、在无法通过第1检测部检测路面的范围内未由第1检测部检测出、且在能够通过第1检测部检测路面的范围内连续地由第1检测部检测出的次数为阈值以下的立体物，基于第1检测部和第2检测部的检测结果来检测立体物。根据该构成，对于在无法通过第1检测部检测路面的范围内未由第1检测部检测出、且在能够通过第1检测部检测路面的范围内连续地由第1检测部检测出的次数超过了阈值而被认为第1检测部的检测结果的信赖度高的立体物，由检测控制部基于第1检测部的检测结果来检测，对于不满足该条件的立体物，由检测控制部基于第1检测部和第2检测部的检测结果来检测，所以能够防止根据第1检测部的错误的检测结果来检测立体物。另外，也可以是，还具备车辆控制部，所述车辆控制部根据由检测控制部检测出的立体物来执行对车辆的加速、减速以及操舵中的任一者进行控制的车辆控制。根据该构成，由车辆控制部，根据由检测控制部以高信赖度检测出的立体物来执行对车辆的加速、减速以及操舵中的任一者进行控制的车辆控制，所以能够防止基于错误的检测结果执行车辆控制。另外，本发明的另一方面涉及立体物检测方法，具备：第1检测步骤，由立体物检测装置的第1检测部基于图像数据来检测车辆的周围的路面和立体物，所述图像数据表示通过由车载相机从不同的视点分别对车辆的周围进行拍摄而取得的、彼此具有视差的多个图像；第2检测步骤，由立体物检测装置的第2检测部通过毫米波雷达检测立体物；以及检测控制步骤，由立体物检测装置的检测控制部基于第1检测步骤和第2检测步骤中的至少任一者的检测结果来检测立体物，在检测控制步骤中，在能够通过第1检测部检测路面的范围内，由检测控制部基于第1检测步骤的检测结果来检测立体物，在无法通过第1检测部检测路面的范围内，由检测控制部基于第2检测步骤的检测结果、或者基于第1检测步骤和第2检测步骤的检测结果来检测立体物。在该情况下，也可以是，在检测控制步骤中，对于在预先设定的时间内、在无法通过第1检测部检测路面的范围内未由第1检测部检测出、且在能够通过第1检测部检测路面的范围内连续地由第1检测部检测出的次数超过了阈值的立体物，由检测控制部基于第1检测部的检测结果来检测立体物，对于在预先设定的时间内、在无法通过第1检测部检测路面的范围内未由第1检测部检测出、且在能够通过第1检测部检测路面的范围内连续地由第1检测部检测出的次数为阈值以下的立体物，由检测控制部基于第1检测部和第2检测部的检测结果来检测立体物。另外，也可以是，还具备车辆控制步骤，在所述车辆控制步骤中，由立体物检测装置的车辆控制部，根据由检测控制部检测出的立体物来执行对车辆的加速、减速以及操舵中的任一者进行控制的车辆控制。发明的效果根据本发明的一方面和另一方面，能够提高立体物的检测的信赖性。附图说明图1是表示实施方式的立体物检测装置的框图。图2是表示图1的立体物检测装置的工作的流程图。图3是表示在V-视差(V-disparity)平面中示出的路面的一例的图。图4是表示基于V-视差的路面的检测结果的一例的图。图5是表示以视差图像中的横向位置作为横轴、以视差作为纵轴的视差映射的图。图6是表示在所拍摄的图像中重叠立体物的检测结果的一例的图。图7是表示在俯视的平面中重叠立体物的检测结果的一例的图。图8是表示基于V-视差的路面的检测结果的另一例的图。图9是表示在所拍摄的图像中重叠立体物的检测结果的另一例的图。图10是表示在俯视的平面中重叠立体物的检测结果的另一例的图。附图标记说明1…立体物检测装置、2…ECU、3…立体相机、4…第1相机、5…第2相机、6…毫米波雷达、7…致动器、8…HMI、11…第1检测部、12…第2检测部、13…检测控制部、14…车辆控制部、I1，I2…图像、Bi、Bo…立体物。具体实施方式以下，参照附图，对本发明的实施方式的立体物检测装置以及立体物检测方法进行说明。如图1所示，第1实施方式的立体物检测装置1例如搭载于乘用车等车辆，检测车辆的周围的立体物。立体物例如是指从车辆的周围的路面突出的物体，包括与路面分离的物体和与路面一体化的物体这两者。路面例如是指车辆能够行驶的道路的表面。此外，路面除了包括车辆行驶的道路的表面以外，还可以包括驻车场的通路和驻车空间的表面。立体物检测装置1具备用于检测立体物的ECU(ElectronicControlUnit：电子控制单元)2、立体相机(车载相机)3、毫米波雷达6、致动器7以及HMI(人机界面)8。ECU2是具有CPU(CentralProcessingUnit：中央处理器)、ROM(ReadOnlyMemory：只读存储器)、RAM(RandomAccessMemory：随机存取存储器)等的电子控制单元。在ECU2中，将存储于ROM的程序加载于RAM，由CPU执行，由此执行各种处理。ECU2也可以由多个电子控制单元构成。立体相机3是取得由车载相机从不同的视点分别对车辆的周围进行拍摄而得到的彼此具有视差的多个图像的图像取得设备。立体相机3具有以再现双眼视差的方式配置的第1相机4和第2相机5。第1相机4和第2相机5例如设置于车辆的前窗玻璃的里侧，对车辆的前方进行拍摄。第1相机4和第2相机5例如在水平方向上隔有预定间隔地安装，所以在对物体进行拍摄时，得到作为具有视差的多个图像的左图像和右图像。所得到的2个图像具有视差。因此，从2个图像能够取得包含如下信息的视差图像，所述信息是关于在2个图像间的相对应的点即视差点各自处的视差的信息。基于视差图像，并根据三角测量的原理，能够求出到每个视差点的路面和立体物为止的距离。此外，第1相机4和第2相机5也可以设置于车辆的侧部或车辆的后部(例如后窗玻璃的里侧)，对车辆的侧方或后方进行拍摄。另外，立体相机3也可以通过3个以上的相机从3个以上的不同的视点对车辆的周围进行拍摄，来取得彼此具有视差的3个以上的图像。立体相机3将表示所拍摄的彼此具有视差的多个图像的图像数据向ECU2发送。此外，立体物检测装置1也可以具备单眼相机，而代替立体相机3。单眼相机中，也能够通过采用周知的方法(例如利用拍摄的时间差的方法)，得到视差图像。毫米波雷达6例如设置于车辆的车体前端和车辆的车体后端，利用毫米波来检测车辆前后的立体物。毫米波雷达6可以也设置于车辆的侧面，来检测自身车辆的侧方的立体物。毫米波雷达6例如将毫米波向车辆的前后发送，并接收被其他车辆等的立体物反射后的毫米波，由此检测立体物。立体物作为多个检测点被检测出。毫米波雷达6将所检测到的立体物信息向ECU2发送。立体物信息包括与立体物(各检测点)的方向和距离相关的信息。致动器7是执行车辆的行驶控制的装置。致动器7至少包括节气门致动器、制动器致动器以及转向器致动器。节气门致动器根据来自ECU2的控制信号控制对发动机的空气的供给量(节气门开度)而控制车辆的驱动力。此外，在车辆为混合动力车或电动汽车的情况下，不包括节气门致动器，而向作为动力源的马达输入来自ECU2的控制信号来控制该驱动力。制动器致动器根据来自ECU2的控制信号来控制制动系统，对向车辆的车轮施加的制动力进行控制。作为制动系统，例如可以使用液压制动系统。转向器致动器根据来自ECU2的控制信号控制电动动力转向系统中控制转向转矩的辅助马达的驱动。由此，转向器致动器控制车辆的转向转矩。HMI8是用于在车辆的乘员(包括驾驶员)与立体物检测装置1之间进行信息的输出和输入的界面(interface)。HMI8例如具备用于向乘员显示图像信息的显示器面板、用于输出声音的扬声器以及供乘员进行输入操作的操作按钮或触摸面板等。HMI8也可以利用通过无线连接的便携信息终端来对乘员输出信息，也可以利用便携信息终端来接受乘员的输入操作。接着，对ECU2的功能上的构成进行说明。如图1所示，ECU2具有第1检测部11、第2检测部12、检测控制部13以及车辆控制部14。第1检测部11基于图像数据来检测车辆的周围的路面和立体物，所述图像数据表示通过由立体相机3从不同的视点分别对车辆的周围进行拍摄而取得的、彼此具有视差的多个图像。第2检测部12通过毫米波雷达6检测立体物。第2检测部12基于来自毫米波雷达6的立体物信息检测多个检测点，识别从毫米波雷达6观察的各检测点的方向和距离，由此检测立体物。检测控制部13基于第1检测部11和第2检测部12中的至少任一者的检测结果来检测立体物。更详细而言，检测控制部13，在能够通过第1检测部11检测路面的范围内，基于第1检测部11的检测结果来检测立体物，在无法通过第1检测部11检测路面的范围内，基于第1检测部11和第2检测部12的检测结果来检测立体物。关于选择第1检测部11和第2检测部12中至少任一者的检测结果的方法的详细情况，后面将进行阐述。车辆控制部14根据由检测控制部13检测出的立体物来执行对车辆的加速、减速以及操舵中的任一者进行控制的车辆控制。与立体物相应的车辆控制例如基于立体物的距离、位置、大小以及速度等进行。车辆控制部14通过向致动器7输出控制信号，从而利用致动器7的节气门致动器控制车辆的加速，利用致动器7的制动器致动器控制车辆的减速，利用致动器7的转向器致动器控制车辆的操舵。另外，车辆控制部14根据由检测控制部13检测到的立体物，通过HMI8向乘员提供必要的信息。以下，对本实施方式的立体物检测装置1的动作进行说明。如图2所示，作为第1检测步骤，由立体物检测装置1的ECU2的第1检测部11基于图像数据来检测车辆的周围的路面和立体物(S1)，所述图像数据表示通过由立体相机3从不同的视点分别对车辆的周围进行拍摄而取得的、彼此具有视差的多个图像。第1检测部11基于在视差点的视差检测车辆的周围的路面。基于在视差点的视差而进行的路面的检测例如可以通过公知的V-视差来进行。如图3所示，V-视差是如下图表，即横轴取视差(视差所示的距离)，纵轴取视差图像中的垂直方向的坐标，对视差图像求出水平方向的直方图而得到的图表。在视差图像中，关于路面的区域，例如随着视差图像的垂直方向的坐标向上方变化，视差平滑地减少(视差所示的距离增大)。因此，如图3所示，在V-视差平面中，路面投影为沿着倾斜方向延伸的线段。基于V-视差，如图4所示推定路面。立体相机3中，距离越远则视差越小，难以通过视差点切实地检测路面。在本实施方式中，将能够根据视差图像的视差点切实地检测路面的距离的阈值设为路面检测距离dth。另外，将与车辆相距路面检测距离dth以内的距离设定为能够检测路面的范围。路面检测距离dth根据车辆所行驶的行驶环境而变化。即使在无法根据视差点切实地检测路面的情况下，如图4中虚线所示，也可以基于距车辆的近距离侧的梯度(斜度)来推定远方的路面。但是，在本实施方式中，将路面检测距离dth以下的距离设为能够切实地检测路面的范围，利用视差点检测路面，由此能够应对远方的路面的梯度的变化。在图4的例子中，距车辆35m的距离是路面检测距离dth。第1检测部11基于以上述方式检测到的路面和视差点来检测立体物。第1检测部11设定图5所示那样的视差投票映射。在图5的视差投票映射中，通过排列如下多个矩形方框而构成，所述多个矩形方框的横向的边被设定为与视差图像的水平方向的坐标对应，且纵向的边被设定为与视差的大小对应。视差投票映射的多个矩形方框的各自表示在视差图像内具有所设定的范围内的水平方向的坐标和所设定的范围内的视差的视差点的集合。第1检测部11对与图5所示那样的视差投票映射的各个方框对应的视差点进行分类(投票)。第1检测部11将各个视差点的在视差图像中的水平方向坐标、各个视差点的视差、各个视差点的在视差图像中的垂直方向坐标以及视差点的数量与视差投票映射的各个方框相关联并存储。例如，在路面上存在立体物的情况下，在视差投票映射的彼此相邻的多个方框中，被分类有许多具有相同程度的视差、且具有比如上述那样检测出的路面的视差点的垂直方向坐标靠上方的垂直方向坐标的视差点的情况下，能够推定为该视差点表示立体物。如以上那样，第1检测部11检测车辆的周围的路面和立体物。如图2所示，作为第2检测步骤，立体物检测装置1的ECU2的第2检测部12通过毫米波雷达6检测立体物(S2)。作为检测控制步骤，由立体物检测装置1的ECU2的检测控制部13基于第1检测步骤和第2检测步骤中的至少任一者的检测结果来检测立体物(S3)。在检测控制步骤中，在能够通过第1检测部11检测路面的范围内(S4)，由检测控制部13基于第1检测步骤的检测结果检测立体物(S5)。另一方面，在无法通过第1检测部11检测路面的范围内(S4)，由检测控制部13基于第1检测步骤和第2检测步骤的检测结果来检测立体物(S6)。此外，基于第1检测部11的检测结果来检测立体物是指，例如仅基于第1检测部11的检测结果来检测立体物。另外，基于第1检测部11和第2检测部12的检测结果来检测立体物是指，例如，在根据第1检测部11的检测结果检测出立体物、并且根据第2检测部12的检测结果检测出该立体物的情况下，检测到存在该立体物。在检测控制步骤中，对于在预先设定的时间内、在无法通过第1检测部11检测路面的范围内未由第1检测部11检测出、且在能够通过第1检测部11检测路面的范围内连续地由第1检测部11检测出的次数超过了阈值(例如，2次)的立体物，由检测控制部13基于第1检测部11的检测结果来检测立体物。对于在预先设定的时间内、在无法通过第1检测部11检测路面的范围内由第1检测部11检测出(即使是1次)的立体物，由检测控制部13将上述次数初始化为0次。另一方面，对于在预先设定的时间内、在无法通过第1检测部11检测路面的范围内未由第1检测部11检测出、且在能够通过第1检测部11检测路面的范围内连续地由第1检测部检测出的次数为上述阈值以下的立体物，由检测控制部13基于第1检测部11和第2检测部12的检测结果来检测立体物。此外，上述预先设定的时间可以设定成：距车辆的距离越长，则该时间越长。另外，上述阈值可设定成：距车辆的距离越长，则该阈值越大。以下，对本实施方式的立体物检测装置1的检测结果的例子进行说明。图6的图像I1和图7的俯视的平面中，实线的框内检测出的立体物Bi是在能够检测路面的范围内基于第1检测部11的检测结果而检测出的立体物。另一方面，在图6和图7中虚线的框内检测出的立体物Bo是在无法检测路面的范围内基于第1检测部11的检测结果而检测出的立体物。在图6和图7的例子中，相向车辆存在于能够检测路面的范围内，所以基于第1检测部11的检测结果而被检测出，第1检测部11的检测结果是基于立体相机3的图像数据的检测结果。另外，广告牌和/或护栏等路侧物体存在于能够检测路面的范围内，所以基于第1检测部11的检测结果而被检测出，第1检测部11的检测结果是基于立体相机3的图像数据的检测结果。由此，能够高精度地进行难以通过毫米波雷达6进行检测的路侧物体的检测。另一方面，在图6和图7的例子中，前行车辆存在于无法检测路面的范围内，所以与立体相机3的图像数据进行的第1检测部11的检测结果一起，如图7中多个检测点所示那样，还基于使用毫米波雷达6的第2检测部12的检测结果来检测。在图7的例子中，根据第1检测部11的检测结果检测出作为前行车辆的立体物，并且根据第2检测部12的检测结果检测出作为该前行车辆的立体物，所以由检测控制部13检测出存在作为该前行车辆的立体物。另外，将如图8所示那样路面存在急剧的梯度变化的状况下的立体物的检测结果表示在图9和图10中。图9的图像I2和图10的俯视下的平面如所示，路面存在急剧的梯度变化，路面的模样存在于无法检测路面的范围内，所以第1检测部11的检测结果中误将在无法检测路面的范围内的路面的模样检测为立体物Bo。但是，如图10所示，在无法检测路面的范围内，与第1检测部11的检测结果一起，还基于使用毫米波雷达6的第2检测部12的检测结果来检测立体物。在图10的例子中，第1检测部11的检测结果中检测出作为路面的模样的立体物Bo，但第2检测部12的检测结果中未检测出作为路面的模样的立体物Bo，所以由检测控制部13不检测出存在作为路面的模样的立体物Bo。由此，能够防止误检测。如图2所示，作为车辆控制步骤，由立体物检测装置1的ECU2的车辆控制部14，根据由检测控制部13检测出的立体物的距离、位置、大小以及速度等来执行对车辆的加速、减速以及操舵中的任一者进行控制的车辆控制(S7)。例如，在立体物与车辆的距离为预定的距离阈值以下时，由车辆控制部14通过致动器7的制动器致动器来控制车辆的减速。根据本实施方式，由检测控制部13，在能够通过第1检测部11检测路面的范围内，基于因能够检测路面而信赖度高的第1检测部11的检测结果来检测立体物，所以能够高精度地检测立体物。另外，由检测控制部13，在无法通过第1检测部11检测路面的范围内，基于因无法检测路面而信赖度低的第1检测部11的检测结果和信赖度高的利用毫米波雷达6的第2检测部12的检测结果来检测立体物，所以即使在无法通过第1检测部11检测路面的范围内，也能够高精度地检测立体物。因此，能够提高立体物的检测的信赖性。另外，对于在无法通过第1检测部11检测路面的范围内未由第1检测部11检测出、且在能够通过第1检测部11检测路面的范围内连续地由第1检测部11检测出的次数超过了次数阈值、被认为第1检测部11的检测结果的信赖度高的立体物，由检测控制部13基于第1检测部11的检测结果来检测，对于不满足该条件的立体物，由检测控制部13基于第1检测部11和第2检测部12的检测结果来检测，所以能够防止根据第1检测部11的错误的检测结果来检测立体物。另外，由车辆控制部14根据由检测控制部13以高信赖度检测出的立体物，来执行对车辆的加速、减速以及操舵中的任一者进行控制的车辆控制，所以能够防止基于错误的检测结果执行制动动作等车辆控制。此外，本发明的实施方式的立体物检测装置和立体物检测方法不限于上述的实施方式，当然能够在不脱离本发明的实施方式的主旨的范围内施加各种变更。例如，在上述实施方式中，可以是，不判定是否在无法通过第1检测部11检测路面的范围内未由第1检测部11检测出、且在能够通过第1检测部11检测路面的范围内连续地由第1检测部11检测出的次数超过了阈值，而仅仅是，由检测控制部13，在能够通过第1检测部11检测路面的范围内基于第1检测部11的检测结果检测立体物，在无法通过第1检测部11检测路面的范围内基于第2检测部12的检测结果、或第1检测部11和第2检测部12的检测结果来检测立体物。由此，能够减少运算负荷。另外，在上述实施方式中，也可以不必执行与通过检测控制部13检测出的立体物相应的车辆控制，而可以仅进行立体物的检测。