车辆周围监测装置制造方法
【专利摘要】本发明的车辆周围监测装置具有：雷达，其搭载在车辆上，由其检测出的存在于所述车辆周围的第1监测范围内的物体和该车辆的相对位置；摄像头，其搭载在上述车辆上，由其拍摄与所述第1监测范围重叠的第2监测范围；种类判定部，由其根据上述雷达测得的检测数据和所述摄像头拍摄到的拍摄图像，判定存在于车辆周围的物体的种类，所述种类判定部在将能够根据所述摄像头拍摄的图像判定出种类的物体从种类判定对象中去除的基础上，针对没能判定出种类的物体，根据所述雷达测得的检测数据进行种类判定。采用本发明，在受环境影响摄像头拍到的拍摄图像的可利用性降低时，也能够防止对物体种类的判定精度降低的情况出现。
【专利说明】车辆周围监测装置
【技术领域】
[0001]本发明涉及一种车辆周围监测装置，其利用搭载在车辆上的雷达测得的物体的位置信息和搭载在车辆上的摄像头拍到的拍摄图像来识别存在于车辆周围的物体。
【背景技术】
[0002]在现有技术中，有人提出以下一种物体检测装置:在车辆上同时设置雷达和摄像头，根据雷达测得的到物体的距离和由摄像头拍到的物体的图像来判定检测到的物体的种类(例如参照专利文献I)。
[0003]专利文献I中记载的物体检测装置，根据雷达测得的到物体的距离的变化求出自己车辆和物体的相对速度，再根据该相对速度和由车速传感器测得的自己车辆的行驶速度求出物体的移动速度(绝对速度)。
[0004]根据物体的移动速度、从摄像头拍到的拍摄图像中抽出的边缘的方向向量分散度、雷达测得的反射强度的分散度和反射强度，判定物体是车辆、摩托车、道路构建物、行人或其他物体。
[0005]专利文献1:日本发明专利公报特开2007-288460号
[0006]如上所述，根据雷达测得的到物体的距离和由摄像头拍到的物体的图像来判定检测到的物体的种类时存在以下问题:若是夜间、逆光条件或天气不好等情况，由摄像头拍到的拍摄图像的可利用性降低，因此对物体种类的判定精度较低。
[0007]另外，使用红外线摄像头时存在以下问题:在酷暑条件下，拍摄图像的对比度降低，因此对物体种类的判定精度较低。
【发明内容】
[0008]对此，本发明的目的在于提供一种车辆周围监测装置，受环境影响摄像头拍到的拍摄图像的可利用性降低时，也能够防止对物体种类的判定精度降低的情况出现。
[0009]为了实现上述目的，本发明的车辆周围监测装置为，具有:雷达，其搭载在车辆上，由其检测出的存在于所述车辆周围的第I监测范围内的物体和该车辆的相对位置；摄像头，其搭载在上述车辆上，由其拍摄与所述第I监测范围重叠的第2监测范围；种类判定部，由其根据上述雷达测得的检测数据和所述摄像头拍摄到的拍摄图像，判定存在于车辆周围的物体的种类，所述种类判定部在将能够根据所述摄像头拍摄的图像判定出种类的物体从种类判定对象中去除的基础上，针对没能判定出种类的物体，根据所述雷达测得的检测数据进行种类判定。
[0010]采用上述车辆周围监测装置，在摄像头拍到的拍摄图像的可利用性降低时，对于不能通过照相机判定的对象，也能够通过雷达进行判定，防止对物体种类的判定精度降低的情况出现。另外，由于能够通过照相机(的信息)判定的物体由照相机判定，因而，与在照相机精度降低时(例如夜间、天气不好等时)立即改变为仅通过雷达(的信息)进行判定的情况相比，判定精度较高。
[0011]车辆周围监测装置可以具有移动方向判定部，该移动方向判定部根据由所述雷达测得的物体位置的变化或从该物体的位置的变化测得的物体速度的方向，判定该物体是在所述车辆的前进方向上移动还是在与该前进方向正交的横向方向上移动，对于由所述移动方向判定部判定的在上述前进方向上移动的物体，所述种类判定部根据所述雷达测得的检测数据判定是自行车还是行人。
[0012]另外，车辆周围监测装置可以构成为，对于由所述移动方向判定部判定的在上述横向方向上移动的物体，所述种类判定部根据所述雷达测得的检测数据判定是摩托车还是自行车。
[0013]再者.车辆周围监测装置可以具有移动方向判定部，移动方向判定部根据由所述雷达测得的物体位置的变化或从该物体的位置的变化测得的物体速度的方向，判定该物体是在所述车辆的前进方向上移动还是在与该前进方向正交的横向方向上移动，对于由所述移动方向判定部判定的在所述横向方向上移动的物体，所述种类判定部根据所述雷达测得的检测数据判定是摩托车还是自行车。
[0014]另外，本发明的说明书中还包含有下述技术方案:
[0015]技术方案I所述的车辆周围监测装置为，其具有:雷达，其搭载在车辆上，用于检测出存在于上述车辆周围的第I监测范围内的物体和该车辆的相对位置；摄像头，其搭载在上述车辆上，用于拍摄与上述第I监测范围重叠的第2监测范围；种类判定部，其根据上述雷达测得的检测数据和由上述摄像头拍到的拍摄图像，判定存在于车辆周围的物体的种类。
[0016]另外还具有移动方向判定部，其根据上述雷达测得的物体位置的变化或检测到的物体的速度，判定该物体是在上述车辆的前进方向上移动还是在与该前进方向垂直交叉的横向方向上移动。通过上述种类判定部进行以下2种种类判定处理:第I种类判定处理，对于由上述移动方向判定部判定的在上述前进方向上移动的物体，根据上述雷达测得的检测位置而求出的该物体的大小在第I规定范围内时，将该物体判定为四轮汽车；第2种类判定处理，对于由上述移动方向判定部判定的在上述横向方向上移动的物体，根据上述雷达测得的检测位置而求出的该物体的大小在第2规定范围内时，将该物体判定为四轮汽车。
[0017]采用上述技术方案I时，对于由上述雷达测得的物体，由上述移动方向判定部判定该物体的移动方向(前进方向/横向方向)。对移动方向已判明的物体，上述种类判定部根据其不同的移动方向，和由上述雷达测得的检测位置而求出的该物体的大小的不同，进行上述第I种类判定处理或上述第2种类判定处理，判定该物体是否是四轮汽车。此时，对于四轮汽车，由于不利用由上述摄像头拍到的拍摄图像进行种类判定，所以受环境影响上述摄像头拍到的拍摄图像的可利用性降低时，也能够防止将物体判定为四轮汽车的判定精度降低的情况出现。
[0018]另外，本发明技术方案2所述的车辆周围监测装置，在上述第I种类判定处理中，对于大小比上述第I规定范围还要小的物体，上述种类判定部根据该物体的大小和速度，对该物体进行以下种类判定处理:或者判定为两轮摩托车；或者判定为两轮摩托车或自行车；或者判定为两轮摩托车、自行车或行人；或者判定为两轮摩托车、自行车、行人或构建物。
[0019]采用上述技术方案2时，对于大小比上述第I规定范围还要小的物体，根据该物体的大小和速度进行上述区分处理，可在一定程度上缩小物体种类范围，之后再利用上述拍摄图像进行物体的种类判定处理。因此，不仅能够高效地利用上述拍摄图像进行物体的种类判定处理，还能够降低对种类的错误判定。
[0020]另外，本发明技术方案3所述的车辆周围监测装置，在上述第2种类判定处理中，对于大小比上述第2规定范围还要小的物体，上述种类判定部根据该物体的大小和速度，对该物体进行以下种类判定处理:或者判定为两轮摩托车；或者判定为两轮摩托车或自行车；或者判定为两轮摩托车、自行车或构建物；或者判定为行人；或者判定为行人或构建物。
[0021]采用上述技术方案3时，对于大小比上述第2规定范围还要小的物体，根据该物体的大小和速度进行上述区分处理，可在一定程度上缩小物体种类范围，之后再利用上述拍摄图像进行物体的种类判定处理。因此，不仅能够高效地利用上述拍摄图像进行物体的种类判定处理，还能够降低对种类的错误判定。
[0022]另外，本发明技术方案4所述的车辆周围监测装置，对通过上述第I种类判定处理或上述第2种类判定处理而判定为不是四轮汽车的物体，上述种类判定部根据上述雷达测得的该物体的反射强度的强弱或反射强度的分布来判定该物体的种类。
[0023]采用上述技术方案4时，因为物体种类(两轮摩托车、自行车、行人等)不同，上述雷达测得的该物体的反射强度的强弱或反射强度的分布也不同，因此，能够由上述种类判定部根据上述雷达测得的该物体的反射强度的强弱或反射强度的分布来判定该物体的种类。另外，由于此时无需利用由上述摄像头拍到的拍摄图像进行种类判定，所以受环境影响上述摄像头拍到的拍摄图像的可利用性降低时，也能够防止对物体种类的判定精度降低的情况出现。
[0024]另外，本发明技术方案5所述的车辆周围监测装置，对通过上述第2种类判定处理而判定为不是四轮汽车的物体，上述种类判定部根据上述雷达测得的该物体的反射强度的强弱检测出安装在该物体上的反射器的位置或个数，来判定该物体是两轮摩托车还是自行车。
[0025]采用上述技术方案5时，自己车辆跟从在两轮摩托车的后面行驶时，能够检测出安装在摩托车后挡泥板等上的I个反射器，自己车辆跟从在自行车的后面行驶时，除了能够检测出安装在自行车后挡泥板等上的反射器以外，还能够检测出安装在左右脚蹬板上的反射器。这样，对于两轮摩托车和自行车，由于反射器的安装位置和安装个数不同，所以能由上述种类判定部根据物体上的反射器的检测位置和检测个数判定该物体是两轮摩托车还是自行车。另外，由于此时无需利用由上述摄像头拍到的拍摄图像来判定为是两轮摩托车还是自行车，所以受环境影响上述摄像头拍到的拍摄图像的可利用性降低时，也能够防止对物体种类的判定精度降低的情况出现。
[0026]另外，本发明技术方案6所述的车辆周围监测装置，对通过上述第2种类判定处理而判定为不是四轮汽车的物体，上述种类判定部根据上述雷达测得的该物体的反射强度的强弱检测出安装在该物体上的反射器的位置，如果该物体上的该反射器的位置周期性变化时，将该物体判定为自行车。
[0027]采用上述技术方案6时，物体上的反射器的检测位置周期性变化时，可以推定为检测到了安装在上下位移的脚蹬板上的反射器，该脚蹬板因骑车人的蹬车操作而产生上下位移。因此，此时能由上述种类判定部将上述雷达检测出的物体判定为自行车。另外，由于此时无需利用由上述摄像头拍到的拍摄图像判定为是否是自行车，所以受环境影响上述摄像头拍到的拍摄图像的可利用性降低时，也能够防止对物体种类的判定精度降低的情况出现。
【专利附图】
【附图说明】
[0028]图1是表示本发明的车辆周围监测装置的结构的图。
[0029]图2是说明将车辆周围监测装置安装在车辆上的状态的图。
[0030]图3是说明判定存在于前进方向上的物体的种类的图。
[0031]图4是说明考虑了激光雷达的反射强度的判定物体种类的图。
[0032]图5是说明根据反射器的位置来判别自行车和两轮摩托车的图。
[0033]图6是说明根据反射器的位移来判别自行车和两轮摩托车的图。
[0034]图7是说明判定存在于横向方向上的物体的种类的图。
[0035]图8是说明根据反射强度的分布来判定物体的种类的图。
【具体实施方式】
[0036]下面参照图1?图8说明本发明的实施方式。如图1所示，本发明中的车辆周围监测装置具有:ECU(Electronic Control Unit) I ;红外线摄像头(相当于本发明的摄像头)，其能够检测出远红外线；激光雷达8 (相当于本发明的雷达)，其通过向物体发射激光光线并接收其反射波来检测出实际空间中的物体和车辆之间的相对位置(包含相对距离)；横向角速度传感器3，其用于检测出车辆的横向角速度；车速传感器4，其用于检测出车辆的行驶速度。
[0037]根据激光雷达8测得的物体位置的检测数据和由红外线摄像头2拍到的拍摄图像，由ECUl判别存在于车辆前方的物体的种类(四轮汽车、两轮摩托车、自行车、行人等)，当检测出与车辆产生碰撞的可能性较大的自行车或行人时发出警报。另外，车辆周围监测装置还具有:扬声器5，其通过声音发出警报；平视显示器(以下称为HUD) 7，其进行显示而使驾驶员察觉到被监测对象。
[0038]接下来参照图2说明将车辆周围监测装置安装在车辆上的状态。激光雷达8是扫描式激光雷达，设置在车辆10的前部。另外，激光雷达8沿水平方向和垂直方向扫描预先设定在前方(车辆10的前进方向)的第I监测范围。
[0039]另外，红外线摄像头2具有如下特性:被拍摄物的温度越高，其输出信号的强度越高(灰度值越大)。另外，红外线摄像头2设置在车辆10的前部，用于拍摄预先设定在前方的第2监测范围(设定在上述第I监测范围内)。HUD7的显示画面7a形成在驾驶员一侧的车辆10的前挡风玻璃的前方位置。
[0040]E⑶I具有:图像输入电路，其用于将红外线摄像头2输出的模拟影像信号变换为数字数据并存储在图像存储器中；接口电路，其用于访问(读取和写入)存储在上述图像存储器中的图像数据；接口电路，其用于输入激光雷达8测得的物体的位置(从车辆10到物体的相对位置)的检测信号。
[0041]另外，E⑶I是具有计算机(由CPU、存储器、输入输出电路等构成的运算处理电路或者集成了它们的功能的微型计算机)等的电子单元，由上述计算机对存储在图像存储器中的车辆前方的图像数据进行各种运算处理。
[0042]另外，通过使上述计算机运行车辆周围监测用程序，可使该计算机起到以下各部的作用:移动方向判定部20，其根据激光雷达8测得的检测数据判定存在于车辆10的周围的物体的移动方向(车辆10的前进方向/横向方向)；种类判定部21,其根据激光雷达8的检测数据和由红外线摄像头2拍到的拍摄图像判定存在于车辆10的周围的物体的种类；被监测对象检测部22，其根据激光雷达8的检测数据和由红外线摄像头2拍到的拍摄图像检测出与车辆10产生碰撞的可能性较大的物体(被监测对象)。
[0043]由激光雷达8测得的物体的位置在车辆的前进方向(前后方向)上有变化时，由移动方向判定部20将该物体的移动方向判定为车辆10的前进方向。另外，由激光雷达8测得的物体的位置在车辆的横向方向(左右方向)上有变化时，由移动方向判定部20将该物体的移动方向判定为相对于车辆10的横向方向。
[0044]还有，还可这样判定物体的移动方向:根据激光雷达8测得的物体的位置变化检测出该物体的速度(与车辆10的相对速度)，再由速度的朝向判定该物体的移动方向。
[0045]由被监测对象检测部22读取车速传感器4和横向角速度传感器3输出的数据并求出车辆10的方位角。另外，根据激光雷达8测得的测距数据，由被监测对象检测部22边修正方位角边跟踪存在于第I监测区域内的物体。另外，对于被跟踪的物体，如果从红外线摄像头2拍到的拍摄图像中判断为与车辆10产生碰撞的可能性较大的行人或自行车时，由被监测对象检测部22通过HUD7上的显示和扬声器5发出的声音向驾驶员进行提示。
[0046]根据激光雷达8测得的物体的位置变化，由种类判定部21求出该物体相对于车辆10的相对速度，再根据该相对速度和由车速传感器4测得的车辆10的行驶速度，由上述种类判定部21求出该物体的绝对速度。另外，根据激光雷达8测得的位置检测数据，由种类判定部21求出物体的大小，通过下面的第I种类判定处理或第2种类判定处理来判定物体的种类。
[0047][第I种类判定处理]
[0048]在由移动方向判定部20判定的移动方向为车辆10的前进方向时，由种类判定部21进行第I种类判定处理。对于第I种类判定处理，如图3所示，由种类判定部21根据物体的速度(绝对速度)和物体的宽度(物体在横向方向上相对于车辆10的宽度，相当于本发明的物体的大小)判定物体的种类。
[0049]图3中，纵轴设定为物体的移动速度(绝对速度)，横轴设定为物体的宽度(车辆10的横向方向上的宽度)，表示所对应的种类的范围。首先，作为宽度为1.5m?2.5m的范围(相当于本发明的第I规定范围)的Al分配给判定四轮汽车用。
[0050]还有，作为物体的速度，并非是某一瞬间的速度，将跟踪了规定时间内的最高速度用作物体的速度，这样能够易于利用速度进行区分。
[0051]另外，对于宽度为0.25m?0.8m的范围，将速度超过30 km/h的范围A2分配给判定两轮摩托车用，将速度为8km/h?30 km/h的范围A3分配给判定两轮摩托车、自行车用，将速度不足8km/h的范围A4分配给判定两轮摩托车、自行车、行人用。还有，将速度为Okm/h附近的范围A5分配给判定两轮摩托车、自行车、行人、构建物用。
[0052]根据图3，由种类判定部21将属于Al的物体判定为四轮汽车，将属于A2的物体判定为两轮摩托车。另外，对于属于A4的物体，根据图4所示的反射强度的不同，判定是否是行人。
[0053]图4是在图3中附加了根据物体的反射强度的强弱来区分种类的图，属于图4的反射强度较弱(反射强度不足规定阈值)的物体被判定为行人。
[0054]另外，如图5所示，由种类判定部21根据反射强度的分布检测出反射器，以判别属于A3或A4的两轮摩托车和自行车。对于图5中的两轮摩托车31，能检测出I个反射强度较强的反射器31a，相对于此，对于自行车32，除了能够检测出后挡泥板部上的反射强度较强的反射器32a以外，还能够检测出左右脚蹬板部上的反射强度较强的反射器32b、32c。
[0055]因此，种类判定部21能够根据检测出的反射器的位置的不同或个数的不同区别判定两轮摩托车和自行车。另外，即使对于四轮汽车40，也能够根据反射器30a、30b的位置(离地表的高度)的不同或个数的不同区别判定两轮摩托车和自行车。
[0056]还有，如图6所示，检测出的物体是自行车32时，安装在脚蹬板上的反射器因骑车人对该脚蹬板的蹬车操作而产生上下周期性位移。因此，从由激光雷达8测得的反射强度检测出的反射器的位置周期性变化。相对于此，两轮摩托车31中，反射器31a的位置几乎不变。
[0057]因此对于属于A3或A4的物体，检测出周期性位置变化的反射器(反射强度超过规定强度的部分)时，由种类判定部21将该物体判定为两轮摩托车。
[0058]还有，对于属于A4的物体，由种类判定部21根据红外线摄像头2拍到的拍摄图像中的图像部分的特征来判定是否是行人。另外，对于属于A5的物体，种类判定部21根据由红外线摄像头2拍到的拍摄图像进行去除处理，以去除(排除)具有电线杆或道旁树等能想到的构建物和两轮摩托车的特征(具有消声器等热源的图像部分等)的物体(即构建物和两轮摩托车)(的可能性)后，再根据上述反射强度的不同或有无反射器等情况判别自行车和行人。
[0059][第2种类判定处理]
[0060]下面，在由移动方向判定部20判定的移动方向为相对于车辆10的横向方向时，由种类判定部21进行第2种类判定处理。对于第2种类判定处理，如图7所示，由种类判定部21根据物体的速度(绝对速度)和物体的宽度(与车辆的前进方向垂直交叉的方向上的宽度)判定物体的种类。
[0061 ] 图3中，纵轴设定为物体的移动速度(绝对速度)，横轴设定为物体的宽度(相对于车辆10的横向方向上的宽度，相当于本发明的物体的大小)，表示所对应的种类的范围。首先，作为宽度为超过2.5m的范围(相当于本发明的第2规定范围)的BI分配给判定四轮汽车用。
[0062]另外，对于宽度为Im?2m的范围，将速度超过30 km/h的范围B2分配给判定两轮摩托车用，将速度为lkm/h?30 km/h的范围B3分配给判定两轮摩托车、自行车用，将速度大致为Okm/h的范围B4分配给判定两轮摩托车、自行车、构建物用。
[0063]还有，对于宽度为0.25m?0.8m的范围，将速度为lkm/h?8 km/h的范围B5分配给判定行人用，将速度大致为Okm/h的范围B6分配给判定行人、构建物用。
[0064]根据图7，由种类判定部21将处于BI范围内的物体判定为四轮汽车，将处于B2范围内的物体判定为两轮摩托车。另外，对于属于B3的物体，根据图8所示的反射强度的分布，判定是两轮摩托车还是自行车。
[0065]如图8所示，对比两轮摩托车41和自行车42时，对于激光雷达8的反射强度较强的范围(金属部等)41a、42a，两轮摩托车41的范围41a要比自行车42的范围42a的大而且距离地表的位置较高。因此，根据整个物品所占的反射强度较强的部分的比率，或者根据反射强度较强的部分距离地表的高度的不同，能够由种类判定部21判别物体是两轮摩托车还是自行车。
[0066]另外，由种类判定部21将属于B5的物体判定为行人。还有，对于属于B4的物体，种类判定部21根据由红外线摄像头2拍到的拍摄图像中的特征进行去除处理，以去除(排除)电线杆或道旁树等能想到的构建物(的可能性)，然后，再判别该物体是两轮摩托车还是自行车。
[0067]另外，对于属于B6的物体，种类判定部21根据由红外线摄像头2拍到的拍摄图像中的特征进行去除处理，以去除电线杆或道旁树等能想到的构建物，然后，再判别该物体是否是行人。
[0068]还有，本实施方式中，将物体的宽度用作物体的大小，但也可以使用物体的周长或面积、对角线长度等其他要素。
[0069]另外，在本实施方式中，将红外线摄像头2用作本发明的拍摄机构，但也可以使用只能检测出可见光的普通的摄像机。
[0070]【工业实用性】
[0071]如上所述，采用本发明的车辆周围监测装置时，即使受环境影响摄像头拍到的拍摄图像的可利用性降低时，也能够防止对物体种类的判定精度降低的情况出现，因此本发明适用于判定车辆周围的物体的种类并对该物体进行监测的情况。
[0072]【附图标记说明】
[0073]I...E⑶,2…红外线摄像头,3…横向角速度传感器,4…车速传感器,6…扬声器，7…HUD，8…激光雷达，10…车辆(自己车辆)，20…移动方向判定部，21...种类判定部，22...被监测对象检测部
【权利要求】
1.一种车辆周围监测装置，具有:雷达，其搭载在车辆上，由其检测出的存在于所述车辆周围的第1监测范围内的物体和该车辆的相对位置；摄像头，其搭载在上述车辆上，由其拍摄与所述第1监测范围重叠的第2监测范围；种类判定部，由其根据上述雷达测得的检测数据和所述摄像头拍摄到的拍摄图像，判定存在于车辆周围的物体的种类，该车辆周围检测装置的特征在于， 所述种类判定部在将能够根据所述摄像头拍摄的图像判定出种类的物体从种类判定对象中去除的基础上，针对没能判定出种类的物体，根据所述雷达测得的检测数据进行种类判定。
2.根据权利要求1所述的车辆周围监测装置，其特征在于， 具有移动方向判定部，该移动方向判定部根据由所述雷达测得的物体位置的变化或从该物体的位置的变化测得的物体速度的方向，判定该物体是在所述车辆的前进方向上移动还是在与该前进方向正交的横向方向上移动， 对于由所述移动方向判定部判定的在上述前进方向上移动的物体，所述种类判定部根据所述雷达测得的检测数据判定是自行车还是行人。
3.根据权利要求2所述的车辆周围监测装置，其特征在于， 对于由所述移动方向判定部判定的在上述横向方向上移动的物体，所述种类判定部根据所述雷达测得的检测数据判定是摩托车还是自行车。
4.根据权利要求1所述的车辆周围监测装置，其特征在于， 具有移动方向判定部，该移动方向判定部根据由所述雷达测得的物体位置的变化或从该物体的位置的变化测得的物体速度的方向，判定该物体是在所述车辆的前进方向上移动还是在与该前进方向正交的横向方向上移动， 对于由所述移动方向判定部判定的在所述横向方向上移动的物体，所述种类判定部根据所述雷达测得的检测数据判定是摩托车还是自行车。
【文档编号】G01S17/58GK104251993SQ201410419803
【公开日】2014年12月31日 申请日期:2011年2月9日 优先权日:2010年3月17日
【发明者】西垣守道, 横地裕次, 江口敦央, 根来昌树, 泽田健一 申请人:本田技研工业株式会社