专利名称：驾驶支援装置的制作方法
技术领域：
本发明涉及驾驶支援装置。
背景技术：
作为本发明的技术领域的背景技术，例如有日本专利特开平10-24801号公报。在该公报中记载有“[课题]安全地从狭路驶入交叉道路。[解决方法]具备设置在车辆前方的拍摄模块1A、1B；设置在车辆前方的侧部，测定至侧部的相对距离的测距模块2A、2B；通过无线电线路发送由拍摄模块和测距模块获得的图像信号和距离信号的发送模块3；接收从发送模块3发送的信号的接收模块4；检测车辆的车速的车速检测模块7；和车速在预定的速度以下，并且由接收模块4接收的距离信号所示的距离在预定的距离以下时，在车辆的挡风玻璃10的规定部11A、11B上显示根据由拍摄模块1A、1B获得的图像信号而获得的图像的控制模块6”。
另外，作为本发明的技术领域的背景技术，例如有日本专利特开2002-49998号公报。在该公报中记载有“[课题]在进行导航和空气调节等操作时，多发生操作者看操作盘，不注意前方而发生的碰撞事故。因此，目的在于提供通过获得车辆周围的外部信息，向面向操作盘的操作者提供其视线方向的区域内接近车辆的信息，由此对于操作者没有疏远感，可实现安全行车的驾驶支援装置。[解决方法]本驾驶支援装置具备通过摄像机21监视整个周围的的外部状况监视部22；从上述外部状况监视部22获得的信息检测障碍物的障碍物检测部23；设置在操作者对操作盘进行操作时视线对着的方向上的障碍物信息显示部24；和从障碍检测部23获得的信息判断危险障碍物的危险障碍物判断部31，仅在通过危险障碍物判断部31检测危险的障碍物时，在障碍物信息显示部24上显示接近物的图像”。
另外，作为本发明的技术领域的背景技术，例如有日本专利特开平11-321494号公报。在该公报中记载有“[课题]其它车辆有可能碰撞自己的车辆时，使驾驶者确认有可能碰撞的其它车辆的位置、种类等，驾驶者据此进行最终的判断，确保高度安全性。[解决方法]在车辆2行驶时，通过对从摄像机3输出的图像信号进行图像处理，根据方向指示灯开关5的位置，其它车辆从正后方、或右后方、或左后方接近时，检测该情况，发生蜂鸣音，提醒驾驶者注意，同时对从摄像机3输出的图像信号，以叠加的形式将呈四边框的标志11附加在有可能碰撞的车辆的图像上，在显示装置10上进行显示，使驾驶者识别有可能碰撞的车辆”。
关于具有处理安装有摄像机等的拍摄装置的机器等的图像信息的功能的摄像系统、摄像机、或其他图像信号处理装置，如上所述，有将摄像机等拍摄装置安装在车辆上作为车载摄像机，拍摄车后方和驾驶者的死角等，显示在监视器上的结构。
可是，不仅有碰撞的危险性，而且由于遮挡视野的障碍物等的存在，有碰撞的危险性的对象物被遮挡。在从障碍物出现的瞬间，驾驶者来不及操作，有可能来不及躲避危险。本发明就是鉴于这样的情况而完成的，谋求即使在被障碍物遮住视野的情况下，也能使利用者识别对象物的装置。
还没有这样一种结构在车停止状态下被障碍物遮挡时，通过声音和图像等使驾驶者知道从死角的地方移动来的物体这样的由毫米波雷达构成的碰撞回避系统，或者识别有碰撞可能性的物体，预测碰撞的可能性，以便人能识别进行碰撞的物体。另外，还没有这样一种结构不仅自己而且对方和第三者将同样的系统、或通知危险的装置安装在身边，或者，如果在街道等地方存在这样的装置，根据该危险的逼近方向，通过听觉、视觉等使人认识到危险。通过利用图像和声音通知危险的结构和利用一个以上的摄像机的立体摄像机这样的摄像系统，预测物体的碰撞的结构是重要的。
本发明的目的在于在驾驶支援系统中，进一步提高安全性。
发明内容
为了达到上述目的，其特征在于，具备拍摄模块，拍摄被拍摄体；显示模块，显示通过该拍摄模块拍摄的图像；和控制模块，控制该显示模块，使其在该被拍摄体中有移动体的情况下，算出该移动体的光流，并且在该移动体被其它物体遮挡而不能拍摄的情况下，根据遮挡前算出的该移动体的光流，算出该移动体的位置，将该移动体重叠在该其它物体上进行显示。
根据本发明，在驾驶支援系统中能进一步提高安全性。
参照附图能够更明确地了解本发明的特征、目的、优点等。
图1是多摄像机驾驶支援装载车结构图。
图2是模拟显示图。
图3是碰撞回避辅助系统流程图。
图4是驾驶支援装置结构图。
图5是移动体模拟显示图。
图6是局部模拟显示图。
图7是文字和移动方向模拟显示图。
图8是障碍物模拟显示图。
图9是图标模拟显示图。
图10是空间模拟显示图。
具体实施例方式
以下，参照
本发明的一个实施方式。
在本发明的一个实施方式中，驾驶支援装置的特征在于，具备拍摄车的行进方向和车的周边的拍摄模块；检测本车的运动方向的检测模块；根据拍摄的拍摄数据算出光流的光流算出模块；和根据上述本车的运动方向数据，修正算出的光流的修正模块。
另外，其特征在于，还具备根据上述算出的光流数据，在被遮挡视野的物体遮挡的情况下，用于根据已经拍摄的图像，模拟显示被遮挡的部分的显示模块；预先存储有常见的物体，与拍摄的物体进行样式匹配，识别物体的识别模块；存储拍摄的信息的存储模块；从存储模块存储的信息中抽出死角信息，模拟显示死角的图像的死角信息显示模块；和用于即使移动物体被遮挡视野的障碍物遮挡住，也能利用移动物体的光流，预测何时从障碍物出来的运算模块。
以下具体地说明。
图1表示安装有多个摄像机的本发明的一个实施例。多摄像机驾驶支援装置装载车1(以下称为本车)安装有多个摄像机10，在视野角4中分别拍摄本车1的周边。摩托车等移动体2沿移动体的行进方向x接近本车1的行进方向y。以t0～t4表示移动体2每一经过时间的位置。另外，在通过摄像机100、101进行拍摄的区域内存在遮挡移动体2的拍摄的障碍物3。由于存在该障碍物3，所以有摄像机100、101不能拍摄时刻t2时的移动体2的时刻。由于有障碍物3，所以以虚线表示摄像机100、101对本来能拍摄的视野角4不能进行拍摄的区域。图2表示时刻t0～t2的画面显示。拍摄t0、t1的移动体2，检测光流。如果利用光流，预测在时刻t2的障碍物的实际图像中存在移动体2，则在画面中显示预测的时刻t2时的图像。如果该时刻t2时本车1能采取制动控制和手动操作等避免碰撞的行动，就能避免碰撞。
图3表示本发明的驾驶支援装置进行的用于避免碰撞的驾驶支援流程。发动机启动(ST1)，本车1开始拍摄(ST2)。检测拍摄的图像信息中的移动体的光流和本车的运动方向数据(ST3)。根据在(ST3)中检测的数据，进行有无碰撞的移动体的判断(ST4)。如果没有，则重复进行(ST3)和(ST4)的处理。其次，如果检测到有可能碰撞的正在接近的移动体，则通过听觉、触觉、视觉等人能感知的通知方法，通知驾驶者有正在接近的移动体(ST5)，在监视器中显示正在接近的有可能碰撞的移动体2(ST6)。根据距离、本车位置，提高报警音量等调整报警器(ST7)，判断是否已避免危险(ST8)，如果危险未避免，则从(ST7)至(ST8)重复进行。如果已避免危险，则消除警报(ST9)。判断是否继续驾驶(ST10)，如果继续驾驶，则再次重复进行(ST3)和(ST4)。如果驾驶结束，则关闭发动机，结束拍摄(ST11)，驾驶支援结束。
图4是表示本发明的驾驶支援装置装载车的结构图。驾驶支援装置装载车1装载有拍摄车辆周边的拍摄模块100、101、102、…10n，将拍摄的信息发送到控制模块11，控制拍摄的图像数据。具备根据拍摄的图像数据，算出光流的运算模块12；以及存储拍摄的图像数据和光流数据的存储模块13。存储模块13不仅存储拍摄的图像数据，而且还存储各种电子数据。例如，为了进行样式识别，预先将常见的物体的图像数据存储起来，即使是拍摄模块只能拍摄一部分的移动体，也存储通过样式识别模拟用于显示是否存在什么物体的信息等。输出模块14具有利用声音和图像等告知正在接近的移动体的方向的功能。具备外部的终端装置151、服务器152、以及用于进行收发的通信模块15。
图5表示本发明的t0～t2的移动体2的模拟显示方法。利用移动体2的光流，即使在一部分重叠在障碍物3上的情况下，如t1时的画面显示的虚线所示，进行移动体2的图像显示，即使移动体2完全被障碍物3遮挡后，如t2的画面显示所示，与虚线重叠显示，能够透视，通过一系列动作表示移动体2正在移动。
图6表示出本发明的t0～t2的移动体2的模拟显示。识别移动体2为人时，除实施例5的显示方法以外，在t2的画面显示中，在被障碍物3遮挡的状态下也能模拟地显示人的运动。
图7表示本发明的t0～t2的移动体2的模拟显示。识别移动体2为人时，除实施例6的显示方法以外，在t2的画面显示中，在被障碍物3遮挡的状态下，通过文字表现人，或者以框围起来进行显示。另外以箭头等表示行进方向，使人直观地知道移动方向而显示。
图8表示本发明的t0～t2的移动体2的模拟显示。识别移动体2为人时，在t2的画面显示中，在被障碍物3遮挡的状态下，以框将障碍物3围起来进行显示。或者，使障碍物着色，表示移动体被遮挡。或者，使框和颜色等进行闪烁显示。或者，将上述显示组合起来进行显示，表示移动体2被障碍物3遮挡住。
图9表示本发明的t0～t2的移动体2的模拟显示。识别移动体2为人时，在能抽取人物的面部特征的情况下，将面部图像作为移动体2进行显示。或者，用图标显示表示人被障碍物3遮挡住。
图10表示本发明的空间模拟显示。根据车辆在时刻t0、t1获得的图像信息，抽取空间的图像信息。根据抽取的空间的图像信息，对于在时刻t2时即使由于障碍物3而本来看不见的空间，根据从过去获得的图像信息t0、t1时获得的空间的图像数据，也能进行空间的模拟显示。
在本发明的一个实施方式中，能够具有这样的结构如果人进入车辆或物体的阴影中，利用进入物体阴影之前的图像信息，根据进入物体阴影之前的光流，通过运算模块预测何时从物体阴影中出来，进行移动体的模拟显示，或者利用图标、文字等进行显示，通过声音模块从环绕接近物体的方向输出声音，以人声“左前方有移动体”等可听懂的语言进行通知。
另外，在预测移动体从物体阴影中快速出来的情况下，通过与保存在存储模块中的移动体的图像的样式匹配，在相匹配的情况下，从模拟显示的预想图像切换到实际图像。另外，在经过预测的出现时刻移动体也未从障碍物出来的情况下，为了表示在物体阴影后，模拟显示被物体阴影遮挡之前拍摄的图像，或者用表示移动体的动画、图标、和文字等，显示移动体在物体阴影后。
另外，在图像中，由于其它车辆等的障碍物，移动体的整体像已经没有移动的情况下，如果摄像机也能拍摄作为障碍物的其它车辆的下侧，则拍摄其它车辆的下侧与路面之间的间隙，如果能拍摄到移动体，则通过移动体的样式匹配，判断移动体是什么，重叠在作为障碍的其它车辆的实际图像上，进行模拟显示，在显示装置中显示人等移动体进入了其它车辆等的阴影中。另外，在识别出自行车和摩托车等的车轮的情况下，根据自行车的车轮的大小和轮距等，用动画、图标、和文字等，显示有自行车被车辆遮挡。另外，在朝向车辆还有汽车等的情况下，即使被有客货两用车和四轮驱动车等车身高的车的阴影遮挡了的其它车辆，如果也能拍摄到一部分，则根据预先登录的车辆信息，进行样式匹配，显示模拟的图像，用动画、图标、和文字等，能显示在车辆的背面存在设想的其它车辆，由人的眼睛看位于遮挡视野的障碍物的相对一侧的物体，能直觉地认识到存在什么样的物体，本发明的装置就是具有上述特征的装置。
另外，根据过去拍摄的图像数据，将本来看不见的空间和物体重叠在障碍物上，进行模拟显示，能识别障碍物相对一侧的样子。
如上所述，根据各实施例，不存在于人的视野中的移动体和障碍物等在摄像机等不能拍摄的状况下，也能通过利用光流和过去拍摄的信息的模拟显示，能对移动体和本车的碰撞防患于未然，能获得减少交通事故、支援安全驾驶的效果。
以上说明了本发明的几个实施例，但是可知在本发明的范围内可以对实施例进行变更和修改。这些变更和修改不被上述详细的说明和实施例限制，而是由权利要求的范围决定。
权利要求
1.一种驾驶支援装置，其特征在于，具备拍摄模块，拍摄被拍摄体；显示模块，显示通过该拍摄模块拍摄的图像；和控制模块，控制该显示模块，使其在该被拍摄体中有移动体的情况下，算出该移动体的光流，并且在该移动体被其它物体遮挡而不能拍摄的情况下，根据遮挡前算出的该移动体的光流，算出该移动体的位置，将该移动体重叠在该其它物体上进行显示。
2.根据权利要求1所述的驾驶支援装置，其特征在于所述拍摄模块有多个，所述控制模块通过对从该多个拍摄模块输出的信号进行立体信号处理，算出所述光流。
3.根据权利要求1或2所述的驾驶支援装置，其特征在于具备将碰撞移动体的情况通知驾驶者的通知模块，所述控制模块检测该驾驶支援装置的光流，根据所述移动体的光流和该驾驶支援装置的光流，在碰撞该移动体的情况下，通过该通知模块将碰撞该移动体的情况通知驾驶者。
全文摘要
至今虽然有根据光流显示移动体的结构，但还没有在存在障碍物而不能拍摄移动体的情况下，模拟显示移动体等，通知碰撞的危险的装置。在本发明中，即使由于障碍物而不能拍摄移动体，但通过光流和样式匹配等，将移动体的模拟图像叠加在实际图像上进行显示，具有能透视的效果，通过声音或图像等人可感知的通知方法，将用于避免危险的信息提前通知驾驶者，避免碰撞等危险。
文档编号B60W40/02GK1928494SQ20061010786
公开日2007年3月14日 申请日期2006年7月26日 优先权日2005年9月7日
发明者久保雄一, 千叶浩 申请人:株式会社日立制作所