物体检测装置以及物体检测方法

专利名称：物体检测装置以及物体检测方法
技术领域：
本发明涉及一种基于通过雷达以及图像传感器所取得的信息来检测物体的物体检测装置以及物体检测方法。
背景技术：
近年来,开发出了 PCS (Pre-crash safety system :预碰撞安全系统)等用于避免碰撞或者降低由于碰撞而导致的损害的安全系统。为了理想地实现这种安全系统，需要正确地掌握本车辆以外的车辆以及行人等障碍物的位置、大小、和该障碍物与本车辆之间的距离等。作为用来掌握这些信息的技术，已知一种使用雷达以及立体图像传感器的物体检测装置。通过雷达，能够识别作为电磁波的反射点的物标(作为检测对象的物体)，由此，能够取得物标的位置。但是，通过雷达难以准确地取得物标的边缘。另一方面，能够根据由立体图像传感器所拍摄的图像而高精度地取得物标的边缘。因此，在上述物体检测装置中，将通过雷达所取得的物标信息、与根据由立体图像传感器所拍摄的图像而取得的物标信息相融合。由此，能够提高物体检测装置的物体检测能力。但是，在作为图像传感器而使用立体图像传感器时，为了设置立体图像传感器，将产生确保较大空间的需要，并且，用于制造物体检测装置的成本也会比较高。因此，期望实现如下的物体检测装置，即，使用单镜头图像传感器以取代立体图像传感器，并具有与使用立体图像传感器时相同的功能以及性能。在专利文献I中，公开了一种使用毫米波雷达和单镜头照相机的车辆用障碍物识别装置。该车辆用障碍物识别装置具备物体信息运算单元、图像处理单元以及车辆信息取得单元。物体信息运算单元根据毫米波雷达的输出，而对与检测物体之间的相对距离和相对横向位置等物体信息进行运算。图像处理单元根据物体信息运算单元的运算结果，而对由单镜头照相机所拍摄的图像进行处理。并且，该车辆用障碍物识别装置至少根据物体信息运算单元以及车辆信息取得单元的输出，来判断检测物体成为障碍物的可能性。并且，根据物体信息运算单元的运算结果，来判断图像处理单元的输出对于障碍物的判断是否有效，并只在有效时，将图像处理单元的输出也用于障碍物的判断。在专利文献2中，公开了一种从照相机和雷达取得图像信息以及距离信息的物体检测装置。在该物体检测装置中，根据图像信息来计算边缘的方向矢量、边缘的方向矢量的方差、边缘强度以及边缘强度的方差。并且，根据上述信息中的至少一种、以及与检测对象物体之间距离，来判断对象物体的种类。在先技术文献 专利文献I :日本特开2008-276689号公报专利文献2 日本特开2007-288460号公报
发明内容
发明所要解决的课题在物体检测装置中，在作为图像传感器而使用单镜头图像传感器的情况下，能够实现空间节省化以及低成本化。但是，根据由单镜头图像传感器所拍摄的图像难以取得准确的纵深方向的信息。因此，在根据由单镜头图像传感器所拍摄的图像来检测物标的左右边缘的情况下，有时会出现如下问题，即，从本车辆观察时实际上位于该物标的纵深一侧的物体或者图案的边缘，被误检测为该物标的边缘。如果根据以此种方式被误检测出的边缘来导出该物标在横向上的位置(横向位置)，则有可能该物标的横向位置也会被误检测。本发明是鉴于上述问题而实施的，其目的在于，提供一种技术，该技术能够在基于由雷达所取得的物标信息、和根据由单镜头图像传感器所拍摄的图像而取得的物标信息来检测物体的物体检测装置中，进一步提高对物标的横向位置的检测精度。用于解决课题的方法在本发明中，根据由单镜头图像传感器所拍摄的图像而取得物标的右侧边缘以及左侧边缘。并且，对两边缘导出轨迹拟合线，该轨迹拟合线为，对右侧边缘以及左侧边缘的轨迹进行拟合而形成的直线或者预定的曲线。并且，将右侧边缘以及左侧边缘中位于轨迹拟合线上的边缘的数量较多的一方，作为物标的真正边缘而选择，并根据所选择的一方的边缘的位置，来导出物标的横向位置。更加详细来说，第一发明所涉及的物体检测装置为，基于通过雷达而取得的物标信息、和根据由单镜头图像传感器所拍摄的图像而取得的物标信息来检测物体的物体检测装置，其特征在于，具备边缘取得单元，其从由所述单镜头图像传感器所拍摄的图像中，提取与通过所述雷达而识别出的物标相当的物标，并取得所提取的该物标的右侧边缘以及左侧边缘；轨迹拟合线导出单元，其对两边缘导出轨迹拟合线，该轨迹拟合线为，对通过所述边缘取得单元而取得的右侧边缘以及左侧边缘的轨迹进行拟合而形成的直线或者预定的曲线；选择单元，其将通过所述边缘取得单元而取得的右侧边缘以及左侧边缘中位于所述轨迹拟合线上的边缘的数量较多的一方，作为物标的真正边缘而选择；横向位置导出单元，其根据通过上述选择单元作为真正边缘而选择的一方的边缘的位置，来导出物标的横向位置。根据本发明，根据由单镜头图像传感器所拍摄的图像而取得的物标的右侧边缘以及左侧边缘中可靠度较高一方的边缘，被作为物标的真正边缘而选择。并且，物标的横向位置根据可靠度较高一方的边缘的位置而被导出。所以，能够进一步提高对物标的横向位置的检测精度。本发明所涉及的物体检测装置，还可以具有加权单元，该加权单元对由边缘取得单元所取得的右侧边缘以及左侧边缘进行可靠度的加权。此时，加权单元以使距离由雷达识别出的物标的位置较近一方的可靠度更高的方式，对右侧边缘以及左侧边缘进行加权。并且，本发明所涉及的物体检测装置还可以具备可靠度总值计算单元，该可靠度总值计算 单元通过分别对右侧边缘以及左侧边缘将由加权单元加权后的可靠度进行总计，从而计算两边缘的可靠度的总值。在本发明中，有时右侧边缘和左侧边缘位于轨迹拟合线上的边缘的数量会相同。此时，选择单元可以将右侧边缘和左侧边缘中由可靠度总值计算单元所计算出的可靠度的总值较大的一方，作为物标的真正边缘而选择。
由此，也能够将物标的右侧边缘以及左侧边缘中可靠度较高的边缘作为物标的真正边缘而选择。在本发明中，横向位置导出单元可以具有轨迹预测单元和碰撞位置预测单元。轨迹预测单元对由选择单元作为真正边缘而选择的边缘的此后的轨迹进行预测。碰撞位置检测单元根据由轨迹预测单元预测出的边缘的此后的轨迹，来预测物标与车辆的碰撞位置，所述碰撞位置为，该边缘和车辆在前后方向上的距离为零时的位置。此时，横向位置导出单元可以根据由碰撞位置预测单元预测出的碰撞位置处的、由选择单元作为真正边缘而选择的一方的边缘的位置，来导出在该碰撞位置处的物标在横向上的中心(以下，称为物标中心)的横向位置。由此，能够检测出在物标与车辆的碰撞位置处的物标中心的横向位置。在本发明所涉及的物标检测装置中，横向位置导出单元可以具有用于推断物标的横向宽度的横向宽度推断单元。此时，横向位置导出单元可以将从通过选择单元作为真正边缘而选择的一方的边缘的位置起，向另一方的边缘一侧偏移了由横向宽度推断单元推断出的物标的横向宽度的1/2的位置，作为物标中心的横向位置而导出。根据此结构，能够高精度地检测物标中心的横向位置。并且，第二发明所涉及的物体检测方法为，基于通过雷达而取得的物标信息、和根据由单镜头图像传感器所拍摄的图像而取得的物标信息来检测物体的物体检测方法，其特征在于，具有边缘取得步骤，从由所述单镜头图像传感器所拍摄的图像中，提取与通过所述雷达而识别出的物标相当的物标，并取得所提取的该物标的右侧边缘以及左侧边缘；轨迹拟合线导出步骤，对两边缘导出轨迹拟合线，该轨迹拟合线为，对在所述边缘取得步骤中所取得的右侧边缘以及左侧边缘的轨迹进行拟合而形成的直线或者预定的曲线；选择步骤，将在所述边缘取得步骤中所取得的右侧边缘以及左侧边缘中位于所述轨迹拟合线上的边缘的数量较多的一方，作为物标的真正边缘而选择；横向位置导出步骤，根据在所述选择步骤中作为真正边缘而选择的一方的边缘的位置，来导出物标的横向位置。在本发明中，物标的横向位置也是根据可靠度较高一方的边缘的位置而被导出的。所以，能够进一步提闻对物标的横向位置的检测精度。本发明所涉及的物体检测方法，还可以具有加权步骤，对在边缘取得步骤中所取得的右侧边缘以及左侧边缘进行可靠度的加权。此时，在加权步骤中，以使距离由雷达识别出的物标的位置较近一方的可靠度更高的方式，对右侧边缘以及左侧边缘进行可靠度的加 权。并且，本发明所涉及的物体检测方法可以具备可靠度总值计算步骤，通过分别对右侧边缘以及左侧边缘，将在加权步骤中加权后的多个可靠度进行总计，从而计算两边缘的可靠度的总值。并且，在本发明中，在边缘取得步骤中所取得的右侧边缘和左侧边缘位于轨迹拟合线上的边缘的数量相同的情况下，在选择步骤中，将在可靠度总值计算步骤中所计算出的可靠度的总值较大的一方作为物标的真正边缘而选择。由此，能够将物标的右侧边缘以及左侧边缘中可靠度较高的边缘作为物标的真正边缘而选择。而且，在第一以及第二发明中，“位于轨迹拟合线上的边缘”之中，不仅包括位于与轨迹拟合线完全一致的位置上的边缘，还可以包括位于距轨迹拟合线预定的允许范围内的边缘。发明效果通过本发明，能够在基于通过雷达而取得的物标信息、和根据由单镜头图像传感器所拍摄的图像而取得的物标信息来检测物体的物体检测装置中，进一步提高对物标的横向位置的检测精度。


图I为表示实施例I所涉及的碰撞预测装置的概要结构的框图。图2为表示实施例I所涉及的物体检测部的概要结构的框图。图3为表示由单镜头图像传感器所拍摄的图像中的毫米波检测位置和单镜头图像检测边缘的图。图4为表示使用毫米波雷达和立体图像传感器来检测障碍物时的检测结果的图。图5为表示使用毫米波雷达和单镜头图像传感器来检测障碍物时的检测结果的图。
图6为表示实施例I所涉及的、对单镜头图像检测边缘所导出的右侧边缘以及左侧边缘的轨迹拟合线的图。图7为表示实施例I所涉及的、选择边缘的轨迹拟合线以及所预测的此后的轨迹、碰撞位置以及物标中心的横向位置之间的关系的图。图8为表示实施例I所涉及的碰撞判断流程的一部分的流程图。图9为表示实施例I所涉及的碰撞判断流程的一部分的流程图。图10为表示实施例2所涉及的物体检测部的概要结构的框图。图11为表示使用毫米波雷达和单镜头图像传感器检测障碍物时的检测结果的图。图12为表示实施例2所涉及的、对单眼单镜头图像检测边缘所导出的右侧边缘以及左侧边缘的轨迹拟合线的图。图13为表示实施例2所涉及的、选择边缘的轨迹拟合线以及所预测的此后的轨迹、碰撞位置以及物标中心的横向位置之间的关系的图。图14为表示实施例2所涉及的碰撞判断流程的一部分的流程图。符号说明I :毫米波雷达；2 :单镜头图像传感器；3:转向角传感器；4:横摆率传感器；5 :车轮脉冲传感器；6 :物体检测部；7 :碰撞判断部；8 :警告装置；9 :碰撞回避/碰撞损害降低系统；10 :ECU ;
61 :边缘检测部；62 :轨迹拟合线导出部；63 :选择部；64 :横向位置导出部；65 :加权部；66 :可靠度总值计算部；100 :车辆；200 :碰撞预测装置；641 :轨迹预测部；642 :碰撞位置预测部；643 :横向宽度推断部；644 :物标中心横向位置导出部；
具体实施例方式以下，根据附图，对本发明的具体实施方式
进行说明。关于在本实施例中所记载的结构部件的尺寸、材质、形状及其相对配置等，只要没有特别的记载，则发明的技术范围均不限定于此。
(实施例I)下面根据图I至9对本发明的实施例I进行说明。(概要结构)在这里，对将本发明应用于碰撞预测装置时的情况进行说明。图I以及图2为，表示本实施例所涉及的碰撞预测装置的概要结构的框图。碰撞预测装置200为，被搭载于车辆100上，用于对其他车辆或行人等障碍物与本车辆100之间的碰撞进行预测的装置。并且，在车辆100中，除了该碰撞预测装置200以外，还搭载有在预测到与障碍物之间的碰撞时工作的警告装置8、和碰撞回避/碰撞损害降低系统9。碰撞预测装置200具有毫米波雷达I、单镜头图像传感器2、转向角传感器3、横摆率传感器4、车轮脉冲传感器5以及ECU10。毫米波雷达I被安装于车辆100的前侧中央部。毫米波雷达I通过毫米波段的电磁波，在水平方向上扫描车辆100的前方以及斜前方，并接收由车外的物体的表面所反射的电磁波。由此，毫米波雷达I将物标作为电磁波的反射点来进行识别。并且，从毫米波的收发数据中获得的物标信息(物标相对于本车辆100的相对位置)被输入至E⑶10中。单镜头图像传感器2被安装于车辆100的前侧中央部。单镜头图像传感器2对车辆100的前方以及斜前方的图像进行拍摄。所拍摄的图像作为图像信号而被输入至ECUlO中。转向角传感器3被安装于车辆100的转向杆等之上，用于对由驾驶员所操作的方向盘的转向角进行检测。横摆率传感器4被设置于车辆100的车身的中央位置处，用于对车身上产生的横摆率进行检测。车轮脉冲传感器5被设置于车辆100的车轮部分，用于检测车辆的车轮速度。这些传感器的输出信号被输入至ECUlO中。E⑶10具有物体检测部6以及碰撞判断部7。物体检测部6基于由毫米波雷达I所取得的物标信息、和根据由单镜头图像传感器2所拍摄的图像而取得的物标信息来检测障碍物。碰撞判断部7对通过物体检测部6而检测出的障碍物与本车辆100是否会发生碰撞进行判断。关于物体检测部6的物体检测方法以及碰撞判断部7的碰撞判断方法的详细情况，将在后文中叙述。图2为，表示本实施例所涉及的物体检测部6的概要结构的框图。如图2(a)所示，物体检测部6具备边缘检测部61、轨迹拟合线导出部62、选择部63以及横向位置导出部64。并且，如图2(b)所示，横向位置导出部64具备轨迹预测部641、碰撞位置预测部642、横向宽度推断部643以及物标中心横向位置导出部644。关于各个部分61 64以及641 644的详细情况，将在后文中叙述。E⑶10还具备推断转弯半径运算部、本车速度运算部、本车轨道运算部、障碍物速度运算部以及障碍物移动距离运算部等(图示省略)的、用于对碰撞判断部进行碰撞判断时所需要的各种参数进行计算的运算部。例如，推断转弯半径运算部根据从转向角传感器3所输入的转向角信号以及从横摆率传感器4所输入的横摆率信号，来计算本车辆100的推断转弯半径。本车速度运算部根据从车轮脉冲传感器5所输入的车轮速度信号，来计算本车辆100的车速。本车轨道运算部根据由推断转弯半径运算部所输入的推断转弯半径信号，来计算本车辆100的轨道。障碍物速度运算部根据物标信息，来计算由物体检测部6检测出的障碍物的移动速度。障碍物移动距离运算部根据物标信息，来计算由物体检测部6检测出的障碍物在检测之后的移动距离。当通过碰撞判断部7而判断为会与障碍物发生碰撞时，将从E⑶10向警告装置8和碰撞回避/碰撞损害降低系统9发送启动(ON)信号。警告装置8在收到该启动信号时，将通过显示器的显示或者声音等对驾驶员进行警告。碰撞回避/碰撞损害降低系统在收到该启动信号时，将执行碰撞回避控制和碰撞损害降低控制。作为碰撞回避及碰撞损害降低系统，能够例举出自动转向系统、座椅安全带控制系统、座椅位置控制系统、制动控制系统以及安全气囊控制系统等。(横向位置导出方法)碰撞预测装置200中的E⑶10的物体检测部6，导出用于碰撞判断部7的碰撞判断的、障碍物的横向位置。以下，根据图3 7对本实施例所涉及的障碍物的横向位置导出方法进行说明。如上文所述，物体检测部6基于通过毫米波雷达I而取得的物标信息、和根据由单镜头图像传感器2所拍摄的图像而取得的物标信息来检测障碍物。通过毫米波雷达1，能够检测出物标相对于本车辆100的相对位置。但是，通过毫米波雷达I难以高精度地检测出物标的边缘。因此，在本实施例中，使用由单镜头图像传感器2所拍摄的图像来检测物标的边缘。更加详细来说，在物体检测部6的边缘检测部61中，从通过单镜头图像传感器2所拍摄的图像中，提取与通过毫米波雷达I而识别出的物标相当的物标，即，与位于通过毫米波雷达I而检测出的物标的位置处(以下，有时也称为毫米波检测位置)的物标相当的物标。并且，从所提取的物标的图像中，检测出该物标的右侧边缘以及左侧边缘(以下，有时也将该边缘称为单镜头图像检测边缘)。
但是，根据由单镜头图像传感器2所拍摄的图像，难以取得准确的在纵深方向上的信息(距离)。因此，在根据由单镜头图像传感器2所拍摄的图像来检测物标的左右边缘的情况下，有时会出现如下状况，即，从本车辆100观察时，实际上位于该物标的纵深一侧的物体或者图案的边缘被误检测为该物标的边缘。图3为，表示由单镜头图像传感器所拍摄的图像中的毫米波检测位置和单镜头图像检测边缘的图。图3(a)表示物标的边缘被正常检测出时的情况，图3(b)表示物标的边缘被误检测时的情况。而且，在图3(a)以及(b)中，将物标设为“近前的电线杆”。如图3(b)所示，当根据由单镜头传感器所拍摄的图像来检测边缘时，有时会将“纵深一侧的电线杆”的边缘误检测为“近前的电线杆”的边缘。在这里，根据图4，对与本实施例不同而使用毫米波雷达以及立体图像传感器来检测障碍物时的检测结果进行说明。此时，也从通过立体图像传感器所拍摄的图像中，提取位于毫米波检测位置处的物标。并且，根据所提取的物标的图像，来检测该物标的右侧边缘以及左侧边缘(以下，有时也将这些边缘称为立体图像检测边缘)。图4为，表示以“近前的电线杆”为物标时的、毫米波检测位置以及立体图像检测边缘相对于本车辆的时间性位置 变化的图。并且，在图4中，t = n+l的图表示从t = n起经过50ms之后的状态。并且，在t = 4的图中，中空箭头表示根据毫米波检测位置以及立体图像检测边缘而导出的物标的轨迹。根据由立体图像传感器所拍摄的图像，能够取得正确的在纵深方向上的信息。因此，当根据由单镜头图像传感器所拍摄的图像来检测边缘时，即使在“近前的电线杆”的纵深一侧存在“纵深一侧的电线杆”，如图4所示，也不会将“纵深一侧的电线杆”的边缘误检测为“近前的电线杆”的边缘。所以，能够根据立体图像检测边缘而高精度地导出物标中心的横向位置。因此，如t = 4的图所示，能够根据毫米波检测位置以及立体图像检测边缘而高精度地导出物标的轨迹。其结果为，对于物标的此后的轨迹也能够高精度地进行预测。另一方面，根据图5，对以本实施例的方式，使用毫米波雷达和单镜头图像传感器来检测障碍物时的检测结果进行说明。图5为，表示以“近前的电线杆”为物标时的、毫米波检测位置以及单镜头图像检测边缘相对于本车辆的时间性位置变化的图。而且，在图5中，与图4相同地,t = n+1的图表示从t = n的图起经过50ms之后的状态。并且,在t = 5的图中，中空箭头表示根据毫米波检测位置以及单镜头图像检测边缘而导出的物标的轨迹。如上文所述，当根据由单镜头图像传感器所拍摄的图像来检测边缘时，有时会将“纵深一侧的电线杆”的边缘误检测为“近前的电线杆”的边缘。所以，根据单镜头图像检测边缘，难以高精度地导出物标中心的横向位置。因此，当根据毫米波检测位置以及单镜头图像检测边缘而导出物标的轨迹时，如t = 5的图所示，有时会错误地导出该轨迹。在这种情况下，难以高精度地预测物标的此后的轨迹。当根据被错误地预测出的物标的轨迹来进行碰撞判断部7对该物标与本车辆100的碰撞判断时，将存在导致错误判断的危险。因此，在本实施例中，为了导出用于碰撞判断部7的碰撞判断的、物标的横向位置，物体检测部6对由单镜头图像传感器2所拍摄的图像实施如下的横向位置导出处理。并且，图6以及图7为，表示本实施例所涉及的横向位置导出处理的形象图。本实施例所涉及的横向位置导出处理中，如图6所示，在物体检测部6的轨迹拟合线导出部62中，对于通过边缘检测部61每隔预定时间(在本实施例中为每隔50ms)所检测出的多个单镜头图像检测边缘，导出轨迹拟合线，该轨迹拟合线为，对右侧边缘以及左侧边缘的各个轨迹进行拟合而形成的直线或者预定的曲线。图6(a)以及(b)均图示了在图5中所检测出的单镜头图像检测边缘。图6(a)中的单点划线表示对左侧边缘所导出的轨迹拟合线，图6(b)中的单点划线表示对右侧边缘所导出的轨迹拟合线。而且，导出轨迹拟合线的方法被预先设定。在这里，可以应用最小二乘法和样条插值法等已知的任意一种方法。“预定的曲线”是指，利用预先设定的拟合方法而导出的曲线。在这里，如图6(a)所示，因为左侧边缘全部被正常地检测出来，所以5个边缘全部位于轨迹拟合线上。另一方面，如图6(b)所示，因为在右侧边缘中包括被误检测的边缘，所以5个边缘中，只有3个位于轨迹拟合线上。而且，在这里，尽管不在与轨迹拟合线完全一致的位置上、但是位于距该轨迹拟合线的预定允许范围内的边缘，就可以作为位于轨迹拟合线上的边缘来计数。在图6(a)以及(b)中，由圆圈所包围的边缘表示“位于轨迹拟合线上的边缘”。也就是说，位于轨迹拟合线上的边缘的数量较多一方的边缘能够被判断为，其可 靠度高于位于轨迹拟合线上的边缘的数量较少一方的边缘。因此，在选择部63中，根据位于轨迹拟合线上的边缘的数量，来计算右侧边缘以及左侧边缘的可靠度。并且，选择右侧以及左侧边缘中的可靠度较高的一方(即，位于轨迹拟合线上的边缘的数量较多的一方(在图6中为左侧边缘))作为物标的真正边缘。并且，在横向位置导出部64中，根据由选择部63作为物标的真正边缘而选择的一方的边缘(以下，有时称为选择边缘)的位置，而导出物标的横向位置。更加详细来说，如图7所示，首先，在轨迹预测部641中，根据到目前为止的轨迹拟合线，对选择边缘(在图7中为左侧边缘)此后的轨迹进行预测。在图7中，由单点划线所示的箭头表示选择边缘到目前为止的轨迹拟合线以及预测出的此后的轨迹。之后，在碰撞位置预测部642中，根据由轨迹预测部641预测出的选择边缘的此后的轨迹、和在E⑶10的本车轨道运算部中计算出的本车辆100的轨道，来预测物标与本车辆100的碰撞位置,所述碰撞位置为,选择边缘和本车辆100在前后方向上的距离为零时的位置。在图7中，由虚线表示碰撞位置。并且，在横向位置导出部64的横向宽度推断部643中，对物标的横向宽度Wt进行推断。在这里，作为横向宽度推断方法，可以应用已知的任意一种方法。具体来说，可以例举出，以从单镜头图像检测边缘所导出的物标的横向宽度的平均值作为物标的横向宽度Wt而进行计算的方法、和根据毫米波雷达I的接收波强度而推断出的物标的种类而导出物标的横向宽度Wt的方法等。并且，在物标中心横向位置导出部644中，导出由碰撞位置预测部642所预测的碰撞位置处的物标中心的横向位置。具体来说，将从碰撞位置处的选择边缘的位置起，向另一方的边缘(在图7中为右侧边缘)偏移了由横向宽度推断部643所推断的物标横向宽度Wt的1/2的位置，作为在碰撞位置处的物标中心的横向位置而导出。在图7中，中空三角形所示的位置表示碰撞位置处的物标中心的横向位置。根据上文叙述的横向位置导出方法，使单镜头图像检测边缘的右侧边缘以及左侧边缘中可靠度较高一方的边缘被选择为物标的真正边缘。并且，根据可靠度较高一方的边缘的位置，而导出在碰撞位置处的物标中心的横向位置。所以，即使在作为图像传感器而使用单镜头图像传感器的情况下，也能够高精度地导出在碰撞位置处的物标中心的横向位置。并且，在碰撞判断部7中，根据在物体检测部6中所导出的碰撞位置处的物标中心的横向位置，而进行碰撞判断。由此，能够更加高精度地判断本车辆100与障碍物是否会发生碰撞。(碰撞判断流程)下面根据图8以及图9所示的流程图对本实施例所涉及的、本车辆与障碍物之间的碰撞判断的流程进行说明。本流程通过ECUlO而以预定间隔被反复执行。在本流程中，首先在步骤SlOl中，从通过单镜头图像传感器2所拍摄的图像中提取位于毫米波检测位置的物标。之后，在步骤S102中，根据在步骤SlOl中所提取的物标的图像，而检测出右侧边缘以及左侧边缘。而且，步骤SlOl以及步骤S102的处理通过边缘检测部61来执行。之后，在步骤S103中，对在步骤S102中所检测出的多个单镜头图像检3测边缘，而导出右侧边缘以及左侧边缘的各自的轨迹拟合线。而且，步骤S103的处理通过轨迹拟合线导出部62来执行。 之后，在步骤S104中，根据位于在步骤S103中所导出的轨迹拟合线上的边缘的数量，来计算右侧边缘以及左侧边缘的可靠度。之后，在步骤105中，将右侧边缘以及左侧边缘中，在步骤S104中所计算出的可靠度较高的一方的边缘作为物标的真正边缘而选择。而且，步骤S104以及S105的处理通过选择部63来执行。之后，在步骤S106中，对在步骤S105中所选择的选择边缘的此后的轨迹进行预测。而且，步骤S106的处理通过轨迹预测部641来执行。之后，在步骤S107中，根据在步骤S106中所预测的选择边缘的此后的轨迹和在本车轨道运算部中所计算出的本车辆100的轨道，来预测物标与本车辆100的碰撞位置。而且，步骤S107的处理通过碰撞位置预测部642来执行。之后，在步骤S108中，推断物标的横向宽度Wt。而且，步骤S108的处理通过横向宽度推断部643来执行。之后，在步骤S109中，将从步骤S107中所预测的碰撞位置处的选择边缘的位置起，向另一方边缘一侧偏移了在步骤S108中所推断的物标横向宽度Wt的1/2的位置，作为在碰撞位置处的物标中心的横向位置而导出。而且，步骤S109的处理通过物标中心横向位置导出部644来执行。之后，在步骤SllO中，根据在步骤S109中所导出的碰撞位置处的物标中心的横向位置，来计算该物标与本车辆100的碰撞概率Pc0之后，在步骤Slll中，判断在步骤SllO中所计算出的碰撞概率Pc是否在基准概率Pcbase以上。在这里，基准概率Pcbase为，作为应判断为物标与本车辆100会发生碰撞的阈值，而被预先设定的值。在步骤Slll中，当判断为肯定时，则在之后的步骤S112中，判断为物标与本车辆100会发生碰撞。另一方面，在步骤Slll中，当判断为否定时，则在之后的步骤S113中，判断为物标与本车辆100不会发生碰撞。而且，步骤SllO S113的处理通过碰撞判断部7来执行。并且，当在步骤S112中判断为物标与本车辆100会发生碰撞时，碰撞判断部I将向警告装置8和碰撞回避/碰撞损害降低系统9发送启动信号。(本实施例的结构要素与本发明的结构要件之间的关系)而且，在本实施例中，物体检测部6相当于本发明所涉及的物体检测装置。并且，本实施例所涉及的物体检测部6的结构要素与本发明的结构要件之间的关系如下文叙述。边缘检测部61相当于本发明所涉及的边缘取得单元。轨迹拟合线导出部62相当于本发明所涉及的轨迹拟合线导出单元。选择部63相当于本发明所涉及的选择单元。横向位置导出部64相当于本发明所涉及的横向位置导出单元。轨迹预测部641相当于本发明所涉及的轨迹预测单元。碰撞位置预测部642相当于本发明所涉及的碰撞位置预测单元。横向宽度推断部643相当于本发明所涉及的横向宽度推断单元。并且，在本实施例中，图8所示的流程图中的步骤SlOl以及S102，相当于本发明所涉及的边缘取得步骤。图8所示的流程图中的步骤S103相当于本发明所涉及的轨迹拟合线导出步骤。图8所示的流程图中的步骤S104以及S105相当于本发明所涉及的选择步骤。图8所示的流程图中的步骤S106 S109相当于本发明所涉及的横向位置导出步骤。(实施例2)下面，根据图10 14对本发明的实施例I进行说明。而且，在这里，只对与实施例I不同的点进行说明。(概要结构)图10为，表示本实施例所涉及的物体检测部6的概要结构的框图。如图10所示，本实施例所涉及的物体检测部6在边缘检测部61、轨迹拟合线导出部62、选择部63以及横向位置导出部64之外，还具有加权部65以及可靠度总值计算部66。关于加权部65以及可靠度总值计算部66的详细情况，将在后文中叙述。(横向位置导出方法)下面根据图11 13对本实施例所涉及的障碍物的横向位置导出方法进行说明。图11为，表示本实施例所涉及的、使用毫米波雷达和单镜头图像传感器来检测障碍物时的检测结果的图。图11为，与图5同样地，表示以“近前的电线杆”为物标时的、毫米波检测位置以及单镜头图像检测边缘相对于本车辆的时间性位置变化的图。而且，在图11中，与图5同样地，t = n+1的图表示从t = n起经过50ms之后的状态。图11的情况为，在“近前的电线杆”的纵深一侦,在“横穿车辆”。此时，当根据由单镜头图像传感器所拍摄的图像来检测边缘时，有时会将“横穿车辆”的边缘误检测为“近前的电线杆”的边缘。并且，在图11中，每次右侧边缘都会被误检测。此种误检测，虽然会在如图5所示情况这种、在作为物标的“近前的电线杆”的纵深一侧存在“纵深一侧的电线杆”这样的固体物体的情况下发生，但是，在物标的纵深一侧存在的物体为“横穿车辆”这样的沿横向移动的移动物体的情况下，更容易发生。在本实施例中，物体检测部6为了导出用于碰撞判断部7的碰撞判断的物标的横向位置，而对由单镜头图像传感器2所拍摄的图像进行如下这种横向位置导出处理。图12以及图13为，表示本实施例所涉及的横向位置导出处理的形象图。 在本实施例所涉及的横向位置导出处理中，如图12所示，也在物体检测部6的轨迹拟合线导出部62中，对于通过边缘检测部61每隔预定时间(在本实施例中为每隔50ms)所检测出的多个单镜头图像检测边缘，导出轨迹拟合线，该轨迹拟合线为，对右侧边缘以及左侧边缘的轨迹进行拟合而形成的直线或者预定的曲线。图12(a)以及(b)均图示了在图11中所检测出的毫米波检测位置以及单镜头图像检测边缘。图12(a)中的单点划线表示对左侧边缘所导出的轨迹拟合线，图12(b)中的单点划线表示对右侧边缘所导出的轨迹拟合线。而且，导出轨迹拟合线的方法与实施例I的情况相同。在这里，在右侧边缘每次都被误检测的情况下，如图12(b)所示，即使为误检测，也与图12(a)所示的被正常检测出来的左侧边缘相同地、5个边缘全部都位于轨迹拟合线上。而且，在本实施例中，也与实施例I的情况相同地，尽管不在与轨迹拟合线完全一致的位置上但是位于距该轨迹拟合线的预定允许范围内的边缘，就可以作为位于轨迹拟合线上的边缘来计数。在图12(a)以及(b)中，由圆圈所包围的边缘表示“位于轨迹拟合线上的边缘”。因此，当根据位于轨迹拟合线上的边缘的数量来计算该边缘的可靠度时，每次被正常地检测的一方的边缘的可靠度与每次被误检测的一方的边缘的可靠度将相同。此时，难以在实施例I所涉及的横向位置导出处理中选择物标的真正边缘。因此，本实施例所涉及的横向位置导出处理中，在加权部65中，根据距毫米波检测位置的距离，而分别对由边缘检测部61所检测出的右侧边缘以及左侧边缘进行可靠度的加权。在这里，距离毫米波检测位置较远的边缘与距离毫米波检测位置较近的边缘相比，成为误检测的边缘的可能性更高。因此，在加权部65中，以使距离毫米波检测位置较近的一方的可靠度更高的方式，对右侧边缘以及左侧边缘进行加权。并且，在可靠度总值计算部66中，通过分别对右侧边缘和左侧边缘进行多个由加权部65加权后的可靠度的总计，从而计算两边缘的可靠度的总值。例如，如图12所示的情况，5次均为左侧边缘距毫米波检测位置近于右侧边缘。在这里，当将右侧边缘以及左侧边缘中距离毫米波检测位置较近的一方的加权设为I. 1，距离毫米波检测位置较远的一方的加权设为0. 9时，则左侧边缘的可靠度的总值为5. 5，而右侧边缘的可靠度的总值为4. 5。并且，在选择部63中，将右侧边缘以及左侧边缘中，由可靠度总值计算部66所计算出的可靠度的总值较大的一方(在图12中为左侧边缘)作为物标的真正边缘而选择。由此，即使在如图11所示这样的、一方的边缘每次都被误检测的情况下，也能够将单镜头图 像检测边缘中的右侧边缘以及左侧边缘中可靠度较高一方的边缘，作为物标的真正边缘而选择。而且，在本实施例中，横向位置导出部64根据以上文叙述的方式而选择出的选择边缘的位置，通过与实施例I相同的方法，来导出物标的横向位置。也就是说，如图13所示，在轨迹预测部641中，对选择边缘的此后的轨迹进行预测。之后，在碰撞位置预测部642中，对物标与本车辆100的碰撞位置进行预测。并且，在横向宽度推断部643中，对物标的横向宽度Wt进行推断。而且，在物标中心横向宽度导出部644中，导出碰撞位置处的物标中心的横向位置。并且，在图13中，与图7相同地，单点划线所示的箭头表示选择边缘到目前为止的轨迹拟合线以及所预测的此后的拟合线，虚线表示碰撞位置，中空三角形所示的位置表示碰撞位置处的物标中心的横向位置。
通过如上文所述的横向位置导出方法，也与实施例I同样地，根据单镜头图像检测边缘中的右侧边缘以及左侧边缘中可靠度较高一方的边缘的位置，而导出在碰撞位置处的物标中心的横向位置。所以，即使在作为图像传感器而使用单镜头图像传感器的情况下，也能够高精度地导出在碰撞位置处的物标中心的横向位置。(碰撞判断流程)下面根据图14所示的流程图，对本实施例所涉及的、本车辆与障碍物的碰撞判断的流程进行说明。本流程通过ECUlO而以预定间隔被反复执行。而且，本流程为，在图8所示的流程图中追加了步骤S201至S203的流程。因此，只对步骤S201至S203进行说明，而省略对其它步骤的说明。本流程中，在步骤S104之后，执行步骤S201的处理。在步骤S201中，判断在步骤S104中所计算出的右侧边缘的可靠度与左侧边缘的可靠度是否相同。在这里，当右侧边缘 以及左侧边缘位于轨迹拟合线上的边缘的数量相同时，则判断为两边缘的可靠度相同。在步骤S201中，当判断为否定时，则执行之后的步骤S105的处理。此时，之后的处理与实施例I相同。另一方面，在步骤S201中，当判断为肯定时，则执行之后的步骤S202的处理。在步骤S202中，分别对在步骤S102中所检测出的多个单镜头图像检测边缘，进行右侧边缘以及左侧边缘的可靠度的加权。在这里，如上文所述，以使距离毫米波检测位置较近的一方可靠度更高的方式进行加权。而且，步骤S201的处理通过加权部65来执行。之后，在步骤S203中，分别对在步骤S202中加权后的多个右侧边缘以及左侧边缘的可靠度进行总计，从而计算出两边缘的可靠度的总值。而且，步骤S203的处理，通过可靠度总值计算部66来执行。之后，在步骤S105中，进行物标的真正边缘的选择。此时，在该步骤S105中，右侧边缘以及左侧边缘中，在步骤S203中所计算出的可靠度的总值较高一方的边缘被作为物标的真正边缘而选择。之后的处理与实施例I相同。(本实施例的结构要素与本发明的结构要件之间的关系)而且，在本实施例中，加权部65相当于本发明所涉及的加权单元，可靠度总值计算部66相当于本发明所涉及的可靠度总值计算单元。并且，在本实施例中，图14所示的流程图中的步骤S202相当于本发明所涉及的加权步骤，该流程图中的步骤S203相当于本发明所涉及的可靠度总值计算步骤。
权利要求
1.ー种物体检测装置，其基于通过雷达所取得的物标信息、和根据由单镜头图像传感器所拍摄的图像而取得的物标信息来检测物体，所述物体检测装置的特征在于，具备 边缘取得単元，其从由所述单镜头图像传感器所拍摄的图像中，提取与通过所述雷达而识别出的物标相当的物标，并取得所提取的该物标的右侧边缘以及左侧边缘； 轨迹拟合线导出单元，其对两边缘导出轨迹拟合线，所述轨迹拟合线为，对通过所述边缘取得单元而取得的右侧边缘以及左侧边缘的轨迹进行拟合而形成的直线或者预定的曲线； 选择单元，其将通过所述边缘取得单元而取得的右侧边缘以及左侧边缘中位于所述轨迹拟合线上的边缘的数量较多的一方，作为物标的真正边缘而选择； 横向位置导出单元，其根据通过所述选择単元作为真正边缘而选择的一方的边缘的位置，来导出物标的横向位置。
2.如权利要求I所述的物体检测装置，其特征在干，还具备 加权单元，其对通过所述边缘取得单元而取得的右侧边缘以及左侧边缘，以使距离由所述雷达识别出的物标的位置较近一方的可靠度更高的方式，进行可靠度的加权； 可靠度总值计算単元，其通过分别对右侧边缘以及左侧边缘，将由所述加权単元加权后的多个可靠度进行总计，从而计算两边缘的可靠度的总值， 在通过所述边缘取得单元而取得的右侧边缘和左侧边缘中位于所述轨迹拟合线上的边缘的数量相同的情况下，所述选择単元将该右侧边缘和左侧边缘中通过所述可靠度总值计算单元而计算出的可靠度的总值较大的一方，作为物标的真正边缘而选择。
3.如权利要求I或2所述的物体检测装置，其特征在干， 所述横向位置导出单元具备 轨迹预测单元，其对由所述选择単元作为真正边缘而选择的一方的边缘的、此后的轨迹进行预测； 碰撞位置预测单元，其根据由所述轨迹预测单元所预测的边缘的此后的轨迹，来预测物标与车辆的碰撞位置，所述碰撞位置为，该边缘和车辆在前后方向上的距离为零时的位置， 所述横向位置导出单元根据由所述选择単元作为真正边缘而选择的一方的边缘在所述碰撞位置处的位置，而导出所述碰撞位置处的物标在横向上的中心的横向位置。
4.如权利要求I或2所述的物体检测装置，其特征在干， 所述横向位置导出单元具备，对物标的横向宽度进行推断的横向宽度推断単元， 所述横向位置导出单元将从所述选择単元作为真正边缘而选择的一方的边缘的位置起、向另一方的边缘ー侧偏移了由所述横向宽度推断单元推断出的物标的横向宽度的1/2的位置，作为物标在横向上的中心的横向位置而导出。
5.ー种物体检测方法，其基于通过雷达而取得的物标信息、和根据由单镜头图像传感器所拍摄的图像而取得的物标信息来检测物体，所述物体检测方法的特征在于，具备 边缘取得步骤，从由所述单镜头图像传感器所拍摄的图像中，提取与通过所述雷达而识别出的物标相当的物标，并取得所提取的该物标的右侧边缘以及左侧边缘； 轨迹拟合线导出步骤，对两边缘导出轨迹拟合线，该轨迹拟合线为，对在所述边缘取得步骤中所取得的右侧边缘以及左侧边缘的轨迹进行拟合而形成的直线或者预定的曲线；选择步骤，将在所述边缘取得步骤中所取得的右侧边缘以及左侧边缘中位于所述轨迹拟合线上的边缘的数量较多的一方，作为物标的真正边缘而选择； 横向位置导出步骤，根据在所述选择步骤中作为真正边缘而被选择的边缘的位置，来导出物标的横向位置。
6.如权利要求5所述的物体检测方法，其特征在于， 还具备 加权步骤，对在所述边缘取得步骤中所取得的右侧边缘以及左侧边缘，以使距离由所述雷达识别出的物标的位置较近一方的可靠度更高的方式，进行可靠度的加权； 可靠度总值计算步骤，通过分别对右侧边缘以及左侧边缘，将在所述加权步骤中加权后的多个可靠度进行总计，从而计算两边缘的可靠度的总值， 在所述边缘取得步骤中所取得的右侧边缘和左侧边缘中位于所述轨迹拟合线上的边缘的数量相同的情况下，在所述选择步骤中，将该右侧边缘和左侧边缘中在所述可靠度总 值计算步骤中所计算出的可靠度的总值较大的一方，作为物标的真正边缘而选择。
全文摘要
本发明涉及一种使用雷达以及图像传感器来检测物体的物体检测装置以及物体检测方法，其目的在于，提高对物标的横向位置的检测精度。在本发明中，从通过单镜头图像传感器所拍摄的图像中，提取与通过雷达而识别出的物标相当的物标，并取得该物标的右侧边缘以及左侧边缘。而且，对两边缘导出轨迹拟合线，该轨迹拟合线为，对右侧边缘以及左侧边缘的轨迹进行拟合而形成的直线或者预定的曲线。并且，将右侧边缘以及左侧边缘中，位于轨迹拟合线上的边缘的数量较多的一方作为物标的真正边缘而选择，并根据所选择的边缘的位置，来导出物标的横向位置。
文档编号B60R21/00GK102696060SQ20098013283
公开日2012年9月26日 申请日期2009年12月8日 优先权日2009年12月8日
发明者加藤雅之 申请人:丰田自动车株式会社