用于用针对行人的主动制动的摄影机输入缓解雷达传感器限制的方法与流程

本申请要求于2014年7月25日提交的美国临时专利申请No. 62/029,227的优先权，其全部内容特此通过引用并入本文。

技术领域

本发明涉及用于用车辆传感器自动检测行人的系统和方法。

背景技术：

在现代车辆中，各种安全系统被并入车辆的设计和构造中。在安全系统当中，有行人检测和响应系统，也被称为针对行人的主动制动系统。针对行人的主动制动系统自动地感测并检测行人沿车辆的行进方向的出现。在检测时，电子控制单元跟踪行人并且连续地评估车辆和行人之间是否存在碰撞的危险。如果存在这种危险，则电子控制单元自动启用车辆的制动系统。然而，即使用现代图像检测和识别技术，仅基于视频检测系统也难以确定碰撞的可能性。

技术实现要素：

本发明的实施例涉及一种用于在配备有行人检测的车辆中用用于主动制动系统的摄影机输入缓解雷达传感器限制的方法和系统。雷达传感器被配置为具有远距离感测能力。为了实现远距离感测，雷达传感器可具有约束其视野的有限开角。有限开角可防止检测近距离对象。具体地，横向于雷达开口位移的行人对雷达传感器而言不可见。因此，独立于其它感测系统操作的远距离雷达传感器对于主动制动系统中的行人感测而言不是理想的。

行人和其它对象的视频检测和雷达检测可为针对行人的主动制动系统提供优越的检测和跟踪能力。这些系统结合有助于补偿在每个检测系统中存在的限制。视频检测具有比远距离雷达传感器所提供的视角更宽的视角。视频检测允许针对行人的主动制动系统检测在近距离和中距离处以及在距离检测系统的中心线更远距离处的行人。行人的视频检测通过分析来自摄影机的一系列图像（即，视频信息）来实现。在这种情况下，电子控制单元（ECU）分析来自由摄影机产生的视频流的多个帧，以便检测、分类和跟踪对象。ECU可基于关于位于可由ECU访问的数据库中的类似对象的信息将对象分类为行人对象。

然而，视频检测在用于基于视频信息确定真实世界距离的精度方面具有固有的限制。具体地，可能难以确定摄像机和对象之间的距离。视频检测会依赖于确定行人与地平面（例如，道路表面）之间的交点。使用交点和地平面的分析，ECU确定到行人的估计距离。在这种情况下，ECU确定地平面的取向和地平面的形状，并使用这些确定来确定估计的距离。该方法能够在理想条件下（诸如当估计在平展的、平坦的道路表面上距行人的距离时）提供可靠的估计距离。然而，车辆和行人之间的海拔的急剧变化能够干扰估计距离的确定的准确性。另外，在摄影机的视野内的其它位置处的海拔的急剧变化可以恶化估计距离的准确性。在另一种情形中，当行人处于不是ECU已经分析的地平面的一部分的表面上时，估计距离甚至比在存在急剧的海拔变化的情况下确定的估计距离更不准确。例如，如果行人处于从道路表面的高度就高度而言升高或降低了显著的量的人行道上，则ECU会不准确地确定行人和道路表面的交点。然后从不准确的交点得到不准确的估计距离。因此，根据视频信号估计距离的这两种方法均包括在某些条件下的固有限制或不准确性。

为了校正这些限制和不准确性，本发明的实施例提供使用视频信号和雷达信号的组合来确定距离行人的估计距离的方法。具体地，ECU可以使用视频信号来识别行人，并且使用远距离雷达传感器检测该行人。在这种情况下，ECU将雷达信息与视频信息组合以更好地确定距行人的距离的估计。一旦雷达信息和视频信息被融合，ECU就基于来自雷达信息的距离、数据库和视频信息来确定行人的高度。ECU将高度确定值储存在存储器中。然后，ECU基于部分地基于所储存的高度确定值所确定的距离来确定车辆与行人之间的碰撞的可能性。当ECU确定可能发生碰撞时，ECU自动控制车辆以防止碰撞。例如，ECU可以启用车辆的制动系统。即使当行人运动出远距离雷达的视野时，也使用雷达信息和视频信息识别碰撞的可能性。

在一个实施例中，本发明提供一种用于车辆的行人碰撞安全系统，其包括定位在车辆上的雷达传感器和定位在车辆上的摄影机。该系统还包括电气地连接到雷达传感器和摄影机的电子控制单元（ECU）。电子控制单元被配置为用雷达传感器和摄影机感测车辆的周围区域，并且接收来自雷达传感器的雷达信息和来自摄影机的视频信息。ECU检测视频信息中的对象，并基于视频信息与数据库的比较将对象分类为行人。ECU基于雷达信息确定距离被分类为行人的任何对象的距离，并基于视频信息、距离和数据库确定行人的特性。然后，ECU在存储器中记录行人的特性。当行人不再被雷达传感器检测到时，ECU基于视频信息和行人的特性确定距行人的更新距离。ECU部分地基于距行人的距离来确定是否存在车辆与行人之间的碰撞的可能性。当存在碰撞的可能性时，ECU启用自动车辆响应。

在另一实施例中，本发明提供一种在车辆上操作行人碰撞安全系统的方法。该方法包括用雷达传感器和摄影机感测车辆的周围区域，并且将来自雷达传感器的雷达信息和来自摄影机的视频信息发送到电子控制单元。在视频信息中检测对象，并且基于与数据库的比较将对象分类为行人。基于雷达信息确定距被分类为行人的对象的距离，并且基于视频信息、距离和数据库确定行人的特性。行人的特性被记录在存储器中。当行人不再被雷达传感器检测时，基于视频信息和行人的特性确定距行人的更新距离。部分地基于距行人的距离确定存在车辆与行人之间的碰撞的可能性。当存在碰撞的可能性时，启用自动车辆响应。

通过考虑详细描述和附图，本发明的其它方面将变得显而易见。

附图说明

图1是配备有针对行人的主动制动系统的车辆的框图。

图2是图1的针对行人的主动制动系统的控制系统的框图。

图3是使用图1的针对行人的主动制动系统的边界框的摄影机检测到的对象的图。

图4是用图1的针对行人的主动制动系统监测车辆的周围环境的方法的流程图。

图5是基于图1的针对行人的主动制动系统控制车辆的方法的流程图。

图6是具有启用图1的针对行人的主动制动系统的可能性的交通情形的图。

具体实施方式

在详细解释本发明的任何实施例之前，应当理解的是，本发明就其应用而言不限于在以下描述中所阐述的或在以下附图中图示的部件的构造和布置的细节。本发明能够具有其它实施例并且能够以各种方式实践或执行。

应当注意的是，术语电子控制单元指的是整合于汽车电子控制单元内的基于硬件的控制电路，其用于执行指令以实施本文所描述的方法。例如，电子控制单元可以包括微处理器、微控制器或其它计算装置。电子控制单元可以包括一个或多个电子控制单元、包括非暂时性计算机可读介质的一个或多个存储器模块、一个或多个输入/输出接口，以及连接部件的各种连接件（例如，系统总线）。

图1图示配备有针对行人100的主动制动系统的车辆103。针对行人100的主动制动系统包括制动系统105、电子控制单元（ECU 107）、雷达传感器109和摄影机111。制动系统105包括图1中未图示的制动部件，例如制动器、制动管线、制动控制器和制动踏板。本发明的实施例可以被配置为与各种类型和构造的制动系统一起工作。这些可以包括防抱死制动系统、液压制动系统、电子制动系统、再生制动系统，以及这些系统和其它系统的组合。在这种构造中，电子控制单元107发送信号从而以对于操作特定构造或类型的制动系统而言所必需的任何形式启用制动系统105。

在一些实施例中，雷达传感器109定位在车辆103前部上。雷达传感器109可以是长距离雷达传感器，并且可被定位成检测在车辆103前方的中距离和远距离处的对象。替代性地，雷达传感器109可以包括多个雷达传感器，包括一个或多个短距离雷达传感器和/或后向雷达传感器。类似地，摄影机111可以定位在车辆103前部上。车辆103的后部也可以包括摄影机111。摄影机111可以被配置为检测在车辆103的前方和后方两者的短距离到中距离处的对象。在一些实施例中，摄影机111具有比雷达传感器109的视野更宽的视野。在这样的实施例中，摄影机111能够沿前向方向以更大的视角检测对象。例如，位于邻近车辆103的人行道上的行人在摄影机111的视野中可以是可见的，但是不在雷达传感器109的视野中。

图2中图示ECU 107。ECU 107被配置为接收来自雷达传感器109的雷达信息以及来自摄影机111的视频信息。ECU 107包括多个电气和电子部件，这些部件向ECU 107内的部件和模块提供动力、操作控制和保护。ECU 107也可以向雷达传感器109和摄影机111提供动力、操作控制和保护。具体地，除了其它部件之外，ECU 107还包括电子处理单元205（例如，可编程微处理器、微控制器或类似装置）、电源模块210和输入/输出模块215。ECU 107还包括非暂时性、机器可读的存储器225。电子处理单元205通信地联接到存储器225。电子处理单元205被配置为从存储器225取回并且执行与本文所描述的控制过程和方法相关的指令（除其它事项之外）。在一些实施例中，ECU 107的电子处理单元205执行程序或算法以实施图4和图5中图示的方法。在其它实施例中，ECU 107包括额外的、更少的或不同的部件。存储器225可以包含数据库，该数据库包括被分类为带有共同的特征集合（诸如例如高度、大小、姿势、位置、形状等）的组的对象。

在图2中图示的示例中，通信链路230提供制动系统105、雷达传感器109和摄影机111之间的通信介质。在这样的实施例中，输入/输出模块215控制来自通信链路230的信号的传输和接收。通信链路230可借助于用于与输入/输出模块215通信的诸如J1939或CAN总线的协议进行通信。在其它实施例中，取决于具体应用的需要，通信链路230在其它合适的协议下与输入/输出模块215通信。在一些实施例中，通信链路230也输入来自各种其它汽车控制和传感器的信息。

在其它示例中，制动系统105、雷达传感器109和摄影机111直接连接到ECU 107，而不通过通信链路230。在这种情况下，ECU 107可以包含独立于其它装置直接处理去往和来自这些装置中的每一者的通信的子模块或部件。例如，ECU 107可在图像处理模块（未示出）处接收来自摄影机111的视频信息，该图像处理模块对视频信息实施各种图像处理技术。图像处理模块可以与电子处理单元205协调以实施图像处理、识别和跟踪。

图3是图示ECU 107的监测过程的一部分的摄像机图像的示例。当ECU 107接收到摄像机信息时，ECU 107检测或感测摄像机信息中的对象。ECU 107通过用边界框305围绕对象的周边来检测对象。边界框305限定所感测的对象的周边。图3中图示的每个边界框305均突出显示了用于由ECU 107分析的对象。可基于各种图像处理技术确定边界框305，所述图像处理技术诸如比较形成图像的部分的像素的亮度和颜色。一旦向对象分配边界框305，就能够跟踪对象，并且能够由ECU 107记录对象的历史。ECU 107也可以基于边界框305来确定对象的特性。例如，可基于用于该对象的边界框305的高度来确定对象的高度。

图4是使用图1的针对行人100的主动制动系统监测行人的方法的流程图400。在一个实施例中，ECU 107执行包括以下步骤的程序。 ECU 107从雷达传感器109和摄影机111接收信息。ECU 107分析视频信息并使用边界框305检测对象（步骤405）。在一些实施例中，ECU 107将雷达信息和视频信息融合在一起。一旦信息被融合，ECU 107就能够将视频信息中的对象与雷达信息中的对象进行交叉匹配和比较。一旦检测到对象，ECU 107就基于视频信息对对象进行分类（步骤410）。可由ECU 107内的分类器（未示出）实施分类。在这种情况下，通过机器学习包含共同特征的分类组的对象来对分类器进行预编程。分类可以包括将检测到的对象的一个​​或多个特征与ECU 107的数据库内的对象的一个​​或多个特征相比较。数据库可包括表示行人和其它对象的多个图像模型。分类也可以包括将每个边界框305中的对象与视频信息中的其它对象相比较。另外，ECU 107可以使用方法的组合以对对象进行分类，包括将视频信息中的特征与数据库中的对象的类似特征相比较和与已经在视频信息中识别的其它对象的特征相比较两者。如果对象的特征与数据库中的行人的一个或多个预先限定的特性匹配，则ECU 107可将对象分类为行人。还可以基于预先限定的特性确定行人的不同类别和姿势。例如，被分类为行人的对象可进一步被分类为成人、儿童、在跑步的行人、骑自行车的人等。根据本文所陈述的语言的背景，应当理解的是，对象或被分类为行人的对象可指代表示对象或被分类为行人的对象的ECU 107内的信息。

一旦行人被检测到并被分类，ECU 107就基于雷达信息确定距该行人的距离（步骤415）。然后，ECU 107基于所确定的距离、边界框305和预先限定的特性确定包括行人的估计高度的行人的特性（步骤420）。包括行人的高度的特性被储存在存储器225中以便稍后使用（步骤425）。 ECU 107基于视频信息使用边界框305跟踪行人，并且只要行人处于雷达传感器109和摄影机111两者的范围内，ECU 107就定期地更新关于行人的信息，诸如检测、分类和特性确定（步骤430）。更新关于行人的信息可以包括连续地重复步骤405-430并且当行人处于摄影机111和雷达传感器109两者的视野中时以规则的间隔更新行人的分类、距离和特性。只要行人保持处于雷达传感器109的视野中，ECU 107就如在步骤430中那样继续跟踪和更新信息（步骤435）。然而，如果行人不再处于雷达传感器109的视野内（步骤435），则ECU 107使用视频信息和所记录的行人的特性来跟踪行人（步骤440）。由于缺少更新的雷达信息，ECU 107仅基于视频信息使用所记录的行人的特性来重新计算距行人的距离。由于部分地基于来自雷达传感器109的距离测量（其比基于摄影机111的估计距离更加准确）确定包括估计高度的特性，因此重新确定的距行人的距离比仅基于视频信息的重新确定值更加准确。在行人返回雷达传感器109的视野的情况下，将雷达信息与视频信息组合以至少更新行人或其它对象距离车辆103的距离。

图5是基于在图4的方法中获得的监测信息的车辆控制反应的流程图500。在一个实施例中，通过由ECU 107的电子处理单元205执行的算法或程序来实施图4中图示的步骤。当ECU 107实施监测方法时，ECU 107实施控制反应。在监测期间，ECU 107确定车辆103与行人之间的碰撞的可能性（步骤505）。当确定碰撞的可能性时，ECU 107可以将各种参数作为考虑因素。例如，当确定碰撞的可能性时，ECU 107可考虑到车辆103和行人之间的距离、车辆103的速度和车辆103的方向。ECU 107也可以基于跟踪与行人相关联的边界框305来考虑行人正运动的方向和速度。基于这些因素，如果ECU 107没有确定碰撞是可能的，则ECU 107继续重复前述步骤（即，步骤505-510）。不同地，如果ECU 107确定碰撞是可能的，则ECU 107基于距行人的距离和车辆103的速度确定制动时间，并且在一些实施例中确定碰撞的时间（步骤515）。制动时间也可以基于车辆103的预先限定的特性。例如，制动时间可基于车辆的已知制动特性将车辆103的最大减速度整合于确定中。另外，ECU 107可在假定车辆103和行人在碰撞之前不改变路线或速度的情况下确定车辆103与行人之间的碰撞时间。ECU 107根据制动时间确定避免与行人碰撞的最迟的（latest）可能制动时刻。在一些实施例中，当制动时间接近碰撞时间时（步骤520），ECU 107向制动系统105发送命令以使车辆103停止（步骤525）。以此方式，车辆103及时制动以避免与行人碰撞。在其它实施例中，ECU 107基于碰撞时间实施其它自动的、回避性驾驶操纵（evasive driving maneuver）。

在一些实施例中，ECU 107被配置为基于制动时间启用制动系统105，使得制动系统105尽可能晚地启用以避免与行人610碰撞。在这种情况下，车辆103的驾驶员经历更少的主动制动情形。这在不必须要主动制动以避免碰撞的情形中是有利的。这是因为主动制动从驾驶员移走车辆103的一些控制。误启用（例如，对防止碰撞而言不必须的启用）是不期望的，既因为其向驾驶员施加突然的冲击，也因为其可以引起其它安全风险。

在其它实施例中，制动时间也可以包括安全因数（即，安全裕度）。带有安全因数的制动时间提供了比针对仅最迟的可能制动时刻所确定的制动时间更高的制动时间估计。安全因数赋予了避免碰撞的更大的可能性。安全因数帮助补偿不理想的制动情形，诸如，潮湿的道路表面条件、道路倾斜、旧轮胎等。

图6图示其中配备有针对行人100的主动制动系统的车辆605可以启用针对行人610的制动系统105的情形。当车辆605接近交叉口600时，雷达传感器109和摄影机111检测沿道路的侧面（例如，在人行道上）行走的行人。根据图4的方法，由ECU 107将边界框与行人相关联。当车辆605仍远离一些距离时，雷达传感器109检测到行人610。然后，ECU 107基于视频信息、距离和储存在数据库中的行人的已知特征将行人610分类为行人。ECU 107也估计行人610的高度并将高度记录在存储器中。当车辆605接近行人610时，车辆605的运动方向和行人610的位置之间的角度增大。换言之，行人610开始运动至雷达传感器109的视野的边缘。在某一位置处，行人610不再处于雷达传感器109的视野中，但保持在摄影机111的视野中。ECU 107仅使用视频信息和行人610的记录的高度继续跟踪行人610。如果在行人610穿过的同时车辆605然后在交叉口600处右转弯，则ECU 107确定存在碰撞的可能性，并且在最迟的可能时刻启用制动系统105以防止碰撞。

在图6中所示的情形中，ECU 107基于所确定的距行人610的距离确定制动时间，该距离在不受益于雷达信息的情况下根据视频信息确定，这是由于相比于雷达传感器109的视野，摄影机111具有宽视野。在这些情形中，有益的是部分地基于储存的行人610的高度或行人610的其它特性（而不是使用基于视频信息的连续计算的高度）来确定距行人610的距离。通过使用储存的高度而不是重新计算的高度，距行人610的距离的确定更加准确，并且因此更准确地确定停止时间。这改进了安全性，同时减少了错误的主动制动事件。

继续图6中图示的示例，尽管在路边存在行人610，但车辆605可以立即继续向右转（例如，右转箭头）。在这种情况下，行人610可以接近路缘并且然后由于红色交通信号而在路边处突然停止。尽管碰撞的风险很小，但ECU 107可确定存在碰撞的可能性并且可启用针对行人的制动系统。在这种情况下，最好尽可能晚地启用主动制动，以避免不必要的启用。由于ECU 107使用所储存的行人610的特性以在车辆605接近行人610时确定更新的距离，因此能够由于由ECU 107进行的距离确定的更高的准确度而延迟制动时间。

因此，除其它特征之外，本发明提供了基于视频和雷达信息的针对行人的主动制动系统。ECU 107将雷达信息和视频信息融合以产生行人的特性，这些特性随后被用于实施距离测量。本发明的各种特征和优点在以下权利要求中阐述。