碰撞预测装置、碰撞预测方法以及程序与流程

本发明涉及碰撞预测装置、碰撞预测方法以及程序。

背景技术：

现有技术中，正在开发如下系统：通过搭载于车辆的毫米波雷达、拍摄装置来检测位于车辆周边的其他车辆，并提供支援以避免与检测出的车辆发生碰撞。这样的系统称为pcs(pre-crashsafetysystem)，在预测为与检测出的车辆发生碰撞的可能性高的情况下，通过发出警报、自动使制动器工作等，能避免碰撞。

作为碰撞的预测方法，提出了如下方法：从拍摄时刻不同的2帧拍摄图像的光流中检测朝向为倾斜的其他车辆，估计该其他车辆的行驶的轨迹来预测碰撞(例如，参照专利文献1)。

在先技术文献

专利文献

专利文献1：jp特开2011-48420号公报

技术实现要素：

(发明要解决的课题)

然而，在上述现有的预测方法中，在碰撞的预测时需要拍摄时刻错开的2帧拍摄图像。由于获取拍摄图像需要耗费时间，因此在车辆高速行驶中时碰撞的预测有可能迟。

本发明的目的在于，缩短对与其他车辆的碰撞进行预测所需的时间。

(用于解决课题的技术方案)

根据技术方案1记载的发明，提供一种碰撞预测装置，具备：检测部，其从对车辆的周边进行拍摄而得到的1帧拍摄图像中分别检测位于所述车辆的周边的其他车辆的前方、后方以及侧面；以及判定部，其根据所述检测部的检测结果来判定与所述其他车辆发生碰撞的可能性，所述判定部判定为：所述车辆与由所述检测部检测到前方、后方以及侧面中的任意一者以上的所述其他车辆当中的、仅检测到前方或后方的所述其他车辆发生碰撞的可能性高。

由此，能从1帧拍摄图像判定碰撞的可能性高的其他车辆。碰撞的预测不需要多帧拍摄图像，能缩短至开始预测为止的时间，进而缩短碰撞的预测所需的时间。另外，能将从拍摄图像中仅检测到前方的其他车辆(例如朝车辆行进的其他车辆)、仅检测到后方的其他车辆(例如位于车辆的行进方向上的其他车辆)作为避免碰撞对象，能进行适当的避免碰撞支援。

根据技术方案2记载的发明，在技术方案1记载的碰撞预测装置的基础上，所述碰撞预测装置具备计测部，所述计测部从所述1帧拍摄图像中计测所述车辆与所述其他车辆之间的距离，所述判定部判定为：所述车辆与由所述检测部仅检测到前方或后方、且由所述计测部计测出的距离小于阈值的所述其他车辆发生碰撞的可能性高。

由此，能将车间距离不足的其他车辆作为避免碰撞对象。

根据技术方案3记载的发明，在技术方案1或2记载的碰撞预测装置的基础上，所述检测部对在所述1帧拍摄图像中仅检测到后方的所述其他车辆的后灯的点亮进行检测，所述判定部判定为：所述车辆与由所述检测部仅检测到后方且检测到后灯的点亮的所述其他车辆发生碰撞的可能性高。

由此，能将在背后朝车辆行进的其他车辆作为避免碰撞对象。

根据技术方案4记载的发明，提供一种碰撞预测方法，包括：检测工序，从对车辆的周围进行拍摄而得到的1帧拍摄图像中分别检测位于所述车辆的周边的其他车辆的前方、后方以及侧面；以及判定工序，根据所述检测的结果来判定与所述其他车辆发生碰撞的可能性，在所述判定工序中判定为：所述车辆与通过所述检测工序检测到前方、后方以及侧面中的任意一者以上的所述其他车辆当中的、仅检测到前方或后方的所述其他车辆发生碰撞的可能性高。

由此，能从1帧拍摄图像判定碰撞的可能性高的其他车辆。碰撞的预测不需要多帧拍摄图像，能缩短至开始预测为止的时间，进而缩短碰撞的预测所需的时间。另外，能将从拍摄图像中仅检测到前方的其他车辆(例如朝车辆行进的其他车辆)、仅检测到后方的其他车辆(例如位于车辆的行进方向上的其他车辆)作为避免碰撞对象，能进行适当的避免碰撞支援。

根据技术方案5记载的发明，提供一种用于使计算机执行碰撞预测方法的程序，所述碰撞预测方法包括：检测工序，从对车辆的周围进行拍摄而得到的1帧拍摄图像中分别检测位于所述车辆的周边的其他车辆的前方、后方以及侧面；以及判定工序，根据所述检测的结果来判定与所述其他车辆发生碰撞的可能性，在所述判定工序中判定为：所述车辆与通过所述检测工序检测到前方、后方以及侧面中的任意一者以上的所述其他车辆当中的、仅检测到前方或后方的所述其他车辆发生碰撞的可能性高。

由此，能从1帧拍摄图像判定碰撞的可能性高的其他车辆。碰撞的预测不需要多帧拍摄图像，能缩短至开始预测为止的时间，进而缩短碰撞的预测所需的时间。另外，能将从拍摄图像中仅检测到前方的其他车辆(例如朝车辆行进的其他车辆)、仅检测到后方的其他车辆(例如位于车辆的行进方向上的其他车辆)作为避免碰撞对象，能进行适当的避免碰撞支援。

(发明效果)

根据本发明，能缩短对与其他车辆的碰撞进行预测所需的时间。

附图说明

图1是按功能表示本发明的实施方式的碰撞预测装置的主要的构成的框图。

图2是表示在碰撞预测装置中判定与其他车辆发生碰撞的可能性时的处理过程的流程图。

图3是表示仅检测到前方的其他车辆的拍摄图像的图。

图4是表示仅检测到后方的其他车辆的拍摄图像的图。

图5是表示仅检测到侧面的其他车辆的拍摄图像的图。

图6是表示分别检测到前方和侧面的其他车辆的拍摄图像的图。

图7是表示分别检测到前方和侧面的其他车辆的拍摄图像的图。

具体实施方式

以下，参照附图来说明本发明的碰撞预测装置、碰撞预测方法以及程序的实施方式。

图1是按功能表示本发明的实施方式的碰撞预测装置1的构成的框图。

如图1所示，碰撞预测装置1和与碰撞预测装置1同样搭载于车辆的拍摄装置20、通知部30以及车辆控制装置40相连接。

碰撞预测装置1从由拍摄装置20生成的拍摄图像中预测与位于车辆的周边的其他车辆的碰撞。另外，碰撞预测装置1将碰撞的预测结果分别输出至通知部30以及车辆控制装置40。

以下，将通过碰撞预测装置1来预测与其他车辆发生碰撞的可能性的车辆称为目标车辆。

拍摄装置20每隔一定时间间隔对目标车辆的周边进行拍摄，并按每次拍摄来生成1帧拍摄图像。

既可以使用1个或多个拍摄装置20来获得目标车辆的前方侧、后方侧、侧方侧等各方向的拍摄图像，也可以使1个拍摄装置20旋转来获得所有方向的拍摄图像。拍摄装置20的拍摄范围越宽，越能扩大预测碰撞的其他车辆的检测范围。

通知部30向驾驶员通知由碰撞预测装置1预测为碰撞的可能性高的其他车辆的存在。通知方法不作特别限定，能通过声响、语音、显示，振动等来进行通知，能使用扬声器、显示器、振动发生器等来作为通知部30。

车辆控制装置40对目标车辆的制动器、加速器、方向盘等的操作进行控制。在碰撞预测装置1预测为与其他车辆发生碰撞的可能性高的情况下，车辆控制装置40对目标车辆的发车、停止、行驶速度、行进方向等进行自动控制，从而能够支援避免碰撞。

(碰撞预测装置)

碰撞预测装置1如图1所示，构成为具备检测部11、计测部12以及判定部13。检测部11、计测部12以及判定部13各自的处理内容能通过将描述各部的处理过程的程序由计算机从存储该程序的存储介质中读取并执行的软件处理来实现。作为计算机，例如能使用cpu(centralprocessingunit)、gpu(graphicsprocessingunit)等处理器。作为存储介质，能使用硬盘、rom(readonlymemory)等。

检测部11输入由拍摄装置20以一定时间间隔生成的拍摄图像。检测部11在每次输入1帧拍摄图像时，从该1帧拍摄图像中分别检测位于目标车辆的周边的其他车辆的前方、后方以及侧面。

检测部11能对在1帧拍摄图像中仅检测到后方的其他车辆的后灯的点亮进行检测。后灯是指设置于车辆的后方且仅在车辆倒车行驶时点亮的灯。

计测部12从由检测部11检测到其他车辆的前方、后方以及侧面的1帧拍摄图像中计测目标车辆与检测到的其他车辆之间的距离。

判定部13根据检测部11的检测结果来判定与其他车辆发生碰撞的可能性。

图2示出了在碰撞预测装置1中预测碰撞的可能性时的处理过程。碰撞预测装置1在每从拍摄装置20输入1帧拍摄图像时执行该处理过程。

如图2所示，在碰撞预测装置1中，检测部11从由拍摄装置20输入的1帧拍摄图像中分别检测在该拍摄范围内位于目标车辆的周边的其他车辆的前方、后方以及侧面(步骤s1)。

检测部11执行的检测方法不作特别限定，但例如能利用采用了机器学习、人工智能的深度学习(deeplearning)等。作为机器学习，例如列举神经网络、支持向量机等。作为深度学习，例如列举faster-rcnn等。其中，faster-rcnn等深度学习的检测精度高，处理高速，因此优选。在机器学习或深度学习的情况下，检测部11将从各种方向对车型或远近感不同的车辆进行拍摄而得到的拍摄图像用作学习用的图像，来学习车辆的前方、后方以及侧面的图像的特征。然后，检测部11在检测对象的拍摄图像中检测与已学习的车辆的前方、后方以及侧面的图像的特征分别一致的图像区域。

图3示出了仅检测到其他车辆的前方的拍摄图像的一例。图3中的方框a示出了检测到的其他车辆的前方的图像区域。

在其他车辆面向目标车辆的前方、后方或侧面的情况下，如图3所示，仅检测到其他车辆的前方。例如，在从对目标车辆的前方侧进行拍摄而得到的拍摄图像中如图3所示仅检测到其他车辆的前方的情况下，能设想目标车辆与其他车辆彼此相向的场景等。另外，在为对目标车辆的后方侧或侧方侧进行拍摄而得到的拍摄图像的情况下，能设想其他车辆正朝目标车辆行进的场景等。

图4示出了仅检测到其他车辆的后方的拍摄图像的一例。图4中的方框b示出了检测到的其他车辆的后方的图像区域。

在目标车辆正朝其他车辆行进的情况下，如图4所示，仅检测到其他车辆的后方。例如，在从对目标车辆的前方侧进行拍摄而得到的拍摄图像中如图4所示仅检测到其他车辆的后方的情况下，能设想目标车辆正朝其他车辆行进的场景等。另外，在为对目标车辆的后方侧或侧方侧进行拍摄而得到的拍摄图像的情况下，能设想其他车辆正在远离目标车辆、或者其他车辆倒车而朝目标车辆行进的场景等。

图5示出了仅检测到其他车辆的侧面的拍摄图像的一例。图5中的方框c示出了仅检测到侧面的其他车辆的图像区域。

在其他车辆在目标车辆的前方或后方横穿、或者在目标车辆的相邻的车道上行驶的情况下，如图5所示，仅检测到其他车辆的侧面。例如，在从对目标车辆的前方侧或后方侧进行拍摄而得到的拍摄图像中如图5所示仅检测到其他车辆的侧面的情况下，能设想其他车辆正在横穿的场景。另外，在为对目标车辆的侧方侧进行拍摄而得到的拍摄图像的情况下，能设想其他车辆正在目标车辆的相邻的车道上行驶的场景。

图6以及图7分别示出了分别检测到其他车辆的前方和侧面的拍摄图像的一例。在图6以及图7中，在1台其他车辆上，表示前方的图像区域的检测的方框a与表示侧面的图像区域的检测的方框c两者重叠。

在其他车辆的朝向相对于目标车辆倾斜的情况下，如图6以及图7所示，检测到其他车辆的前方和侧面的两者。

接下来，检测部11针对在1帧拍摄图像中仅检测到后方的其他车辆，进而检测后灯的点亮(步骤s2)。

关于后灯的点亮，还能通过上述机器学习或深度学习来将后灯已点亮的车辆的图像用作学习用的图像，从而检测后灯的点亮。由于点亮时亮度变高，因此还能在通过模板匹配等检测到后灯的位置后，对拍摄图像进行2值化，从而在检测到的后灯的图像区域变白而成为低浓度的情况下，判断为点亮。

若检测结束，则计测部12从检测到其他车辆的1帧拍摄图像中计测目标车辆与其他车辆之间的距离(步骤s3)。

车间距离的计测方法不特别限定。例如，计测部12将目标车辆的行进方向设为y方向，将与行进方向正交的方向设为x方向，从而在拍摄图像中设定xy座标。然后，计测部12求取拍摄图像上的消失点的座标。针对求取消失点的座标的方法也不特别限定，例如能以拍摄图像中所含的白线等直线为基础进行确定。计测部12将从拍摄图像的下边起至消失点为止的y方向的长度设为y0，来求取以消失点为顶点且以拍摄图像的下边为底边的等腰三角形的底角、以及从拍摄图像的下边起到车辆的底部为止的y方向的长度y1。若从拍摄装置20到地面的距离固定，则拍摄图像的下边的x方向的长度x0唯一确定。计测部12根据求出的长度y0以及y1，通过远近法来对从目标车辆到其他车辆的距离进行推测。

计测后，判定部13判定与从拍摄图像中检测出的其他车辆发生碰撞的可能性。在检测出多个其他车辆的情况下，判定部13提取其中一个。在提取出的其他车辆是仅检测到前方、后方以及侧面当中的前方的其他车辆的情况下(步骤s4：是)，判定部13判定为与提取出的其他车辆发生碰撞的可能性高(步骤s5)。由此，即便是在从拍摄图像检测到前方、后方以及侧面的1个以上方向的其他车辆当中，也能将仅检测到前方的其他车辆(例如朝目标车辆行进的其他车辆)作为避免碰撞对象。

在提取出的其他车辆是仅检测到后方的其他车辆的情况下(步骤s4：否，s6：是)，判定部13将由计测部12计测出的与该其他车辆之间的距离和阈值进行比较。阈值能按照足以避免碰撞的距离来任意地决定。例如，在避免碰撞的充分距离为100m的情况下，能将阈值设定为100m。是否足以避免碰撞还根据行驶速度而变化，因此阈值可以不是恒定值，而是根据目标车辆的行驶速度而变动的值。另外，在目标车辆的行驶速度相对于其他车辆而言快的情况下，车间距离在短时间内变短，因此在知道其他车辆的行驶速度的情况下，可以使阈值相对于其他车辆与目标车辆的相对速度而变动。

在仅检测到后方的其他车辆与目标车辆的距离小于阈值的情况下(步骤s7：否)，判定部13判定为与该其他车辆发生碰撞的可能性高(步骤s5)。由此，能将仅检测到后方的其他车辆(例如位于目标车辆的行进方向上的其他车辆)且为没有足够的车间距离的其他车辆作为避免碰撞对象。

在虽然仅检测到后方的其他车辆与目标车辆的距离为阈值以上(步骤s7：是)但检测到该其他车辆的后灯的点亮的情况下(步骤s8：是)，判定部13判定为与该其他车辆发生碰撞的可能性高(步骤s5)。由此，即使在检测时车间距离足够，也能将因倒车而朝目标车辆行进的其他车辆作为避免碰撞对象。

另一方面，在与仅检测到后方的其他车辆之间的距离为阈值以上(步骤s7：是)、且也未检测到后灯的点亮的情况下(步骤s8：否)，判定部13判定为与该其他车辆发生碰撞的可能性低(步骤s9)。由此，判定为虽位于目标车辆的行进方向上但与行进方向相同且车间距离足够的其他车辆发生碰撞的可能性低，能从避免碰撞对象中排除出去。

另外，在提取出的其他车辆不是仅检测到前方或后方的其他车辆的情况下(步骤s4：否，s6：否)，判定部13判定为与该其他车辆发生碰撞的可能性低(步骤s9)。由此，例如能将仅检测到侧面的其他车辆、检测到前方和侧面两者的其他车辆等未朝目标车辆行进的其他车辆从避免碰撞对象中排除出去。

在还未对提取出的全部其他车辆判定碰撞的可能性的情况下(步骤s10：否)，回到步骤s4的处理，判定部13针对未判定的其他车辆重复上述步骤s4～s9的处理。然后，若针对提取出的全部其他车辆判定完碰撞的可能性(步骤s10：是)，则结束本处理。

碰撞预测装置1将如上所述预测出的结果输出至通知部30以及车辆控制装置40。通过已输入预测结果的通知部30，能向驾驶员通知碰撞的可能性高的其他车辆的存在。另外，通过已输入预测结果的车辆控制装置40，能进行使制动器工作从而自动停车、自动控制加速器来使行驶速度低速化等用于避免碰撞的控制。

如上所述，本实施方式的碰撞预测装置1具备：检测部11，其从对目标车辆的周围进行拍摄而得到的1帧拍摄图像中分别检测在目标车辆的周边位于拍摄范围内的其他车辆的前方、后方以及侧面；以及判定部13，其根据检测部11的检测结果来判定与其他车辆发生碰撞的可能性。在本实施方式中，判定部13判定为与仅检测到前方的其他车辆发生碰撞的可能性高。

由此，能从1帧拍摄图像中判定碰撞的可能性高的其他车辆。碰撞的预测不需要多帧拍摄图像，因此能缩短至开始预测为止的时间，进而缩短碰撞的预测所需的时间。即使在目标车辆或其他车辆的行驶速度为高速的情况下，也能迅速输出碰撞的可能性的预测结果，避免碰撞变得容易。另外，能将从拍摄图像中仅检测到前方的其他车辆(例如正朝目标车辆行进的其他车辆)作为避免碰撞对象，能进行适当的避免碰撞支援。

上述实施方式只是本发明的优选的一例，不限于此。在不脱离本发明的主旨的范围内能酌情变更。

例如，判定部13针对仅检测到后方的其他车辆，目标车辆正朝其他车辆前进，碰撞的可能性不小，因此可以不管与目标车辆之间的距离如何或者不论是否处于倒车中，均判定为与该其他车辆发生碰撞的可能性高。

另外，虽然在上述处理过程中，判定部13无论与目标车辆之间的距离如何，均将与仅检测到前方的其他车辆发生碰撞的可能性判定为高，但也可以在仅检测到前方的其他车辆中根据与目标车辆之间的距离来判定碰撞的可能性。具体而言，判定部13能判定为与仅检测到前方且计测出的同目标车辆之间的距离小于阈值的其他车辆发生碰撞的可能性高。另一方面，若即使是仅检测到前方的其他车辆但与目标车辆之间的距离为阈值以上，则判定部13能判定为碰撞的可能性低。

此外，仅检测到前方的其他车辆正朝目标车辆行进，其与仅检测到后方的其他车辆相比，避免碰撞所需的时间不同。故而，可以使用于同仅检测到前方的其他车辆和目标车辆之间的距离进行比较的阈值与上述步骤s7中用于同仅检测到后方的其他车辆和目标车辆之间的距离进行比较的阈值不同。

另外，虽然上述处理过程设想目标车辆与其他车辆双方处于行驶中，但在目标车辆或其他车辆处于停止中的情况下，也可以通过上述处理过程来判定碰撞的可能性。其中，在目标车辆处于停止中的情况下，从目标车辆朝其他车辆行进而碰撞的可能性小。因此，针对仅检测到后方的其他车辆(步骤s6：是)且为与目标车辆之间的距离判断为小于阈值的其他车辆(步骤s7：否)，即使通过上述处理过程而判定为碰撞的可能性高，判定部13也可以无视该判定结果。目标车辆是否处于停止中信息能从车辆控制装置40取得。

另外，在其他车辆处于停止中的情况下，其他车辆朝目标车辆行进而发生碰撞的可能性小。因此，在判定部13能取得其他车辆是否处于停止中的信息的情况下，针对仅检测到前方的其他车辆，即使通过上述处理过程而判定为碰撞的可能性高，判定部13也可以无视该判定结果。

本申请基于在2017年9月1日提出的日本专利申请特愿2017-168497号主张优先权，并引用该日本专利申请的全部的记载内容。

(标号说明)

1碰撞预测装置

11检测部

12计测部

13判定部

20拍摄装置。