用于夜晚环境的车辆驾驶辅助系统及方法与流程

本发明涉及一种在夜晚环境中使用的车辆驾驶辅助系统及方法。更具体地，本发明涉及一种基于增强现实显示的在夜晚环境中使用的车辆驾驶辅助系统及方法。

背景技术：

夜晚行车(特别是没有路灯等照明设施的情况下)时，由于环境光线差，车辆驾驶员的可视范围受到车辆前灯照射范围的限制，很可能不能及时发现道路上无明显发光或反光标志的行人以及障碍物等，容易发生交通事故。

目前，很多汽车采用夜视系统来解决上述问题。目前的夜视系统采用红外摄像头，拍摄车辆前方图像，并且在车辆的仪表盘或前挡风玻璃上显示所拍摄的红外图像。该红外图像能够清晰地显示出车辆前方的包括在前灯照射范围之外的行人，从而可以帮助驾驶员提前发现行人，及时采取制动或避让措施。

但是，上述方案中，由于摄像头拍摄角度等的原因，驾驶员容易对行人的真实距离产生错觉，这可能导致驾驶员采取错误的制动或避让措施。

技术实现要素：

本发明提供了一种用于夜晚环境的车辆驾驶辅助系统和方法，其能够在夜晚环境中检测在车辆的前方不易被驾驶员观察到的行人和其他物体等，并通过增强现实显示的方式提醒驾驶员。本发明的车辆驾驶辅助系统及方法能够通过增强现实显示使得驾驶员体会到被显示物体的真实物理信息，从而有利于驾驶员做出正确的制动或避让措施，避免事故的发生。

根据本发明的一个方面，提供了一种用于夜晚环境的车辆驾驶辅助系统，包括：传感器装置，其包括红外摄像头，并且配置成利用所述红外摄像头拍摄所述车辆前方环境的红外图像；检测单元，其配置成基于所述红外图像识别所述车辆前方的物体；可见性判断单元，其配置成判断由所述检测单元所识别的各个物体对于所述车辆的驾驶员是否可见；以及增强现实显示装置，其用于当所述可见性判断单元判断为某个所识别的物体对于所述驾驶员不可见时，对不可见物体进行增强现实显示。

根据本发明的一个实施例，其中，所述传感器装置还包括可见光摄像头，所述可见光摄像头配置成与所述红外摄像头同步地拍摄所述车辆前方环境的可见光图像；所述可见性判断单元根据所述可见光图像中所述所识别的各个物体的对应图像的亮度，来判断所述所识别的各个物体对于所述驾驶员是否可见。

根据本发明的一个实施例，所述车辆驾驶辅助系统还包括：轨迹预测单元，其配置成根据所述车辆的当前行驶速度和转向角度预测所述车辆的行驶轨迹，并且根据被判断为对于所述驾驶员不可见的物体的位置判断不可见物体是否在所述车辆的预测行驶轨迹范围内，并且所述增强现实显示装置对在所述车辆的预测行驶轨迹范围内的所述不可见物体进行显示。

根据本发明的一个实施例，其中，所述增强现实显示装置从所述车辆前方环境的所述红外图像中获取不可见物体的红外图像并用于显示。

根据本发明的一个实施例，其中，所述增强现实显示装置在所述车辆的前挡风玻璃上进行增强现实显示。

根据本发明的一个实施例，其中，所述增强现实显示装置对所述不可见物体的红外图像以闪烁、特殊颜色框线、高对比度或低对比度的方式进行高亮显示。

根据本发明的另一个方面，提供了一种用于夜晚环境的车辆驾驶辅助方法，所述方法包括以下步骤：拍摄所述车辆前方环境的红外图像；基于所述红外图像识别所述车辆前方的物体；判断所识别的各个物体对于所述车辆的驾驶员是否可见；以及当判断为某个所识别的物体对于所述驾驶员不可见时，对不可见物体进行增强现实显示。

根据本发明的一个实施例，所述车辆驾驶辅助方法还包括以下步骤：与所述红外图像同步地拍摄所述车辆前方环境的可见光图像；根据所述可见光图像中所述所识别的各个物体的对应图像的亮度，来判断所述所识别的各个物体对于所述驾驶员是否可见。

根据本发明的一个实施例，所述车辆驾驶辅助方法还包括以下步骤：根据所述车辆的当前行驶速度和转向角度预测所述车辆的行驶轨迹；根据被判断为对所述驾驶员不可见的物体的位置判断不可见物体是否在所述车辆的预测行驶轨迹范围内；以及对在所述车辆的预测行驶轨迹范围内的所述不可见物体进行增强现实显示。

根据本发明的另一个实施例，车辆驾驶辅助方法还包括以下步骤：从所述车辆前方环境的红外图像中获取并对所述不可见的物体的红外图像进行增强现实显示。

根据本发明的另一个实施例，车辆驾驶辅助方法还包括以下步骤：在所述车辆的前挡风玻璃上进行增强现实显示。

根据本发明的另一个实施例，车辆驾驶辅助方法还包括以下步骤：对所述不可见物体的红外图像以闪烁、特殊颜色框线、高对比度或低对比度的方式进行高亮显示。

根据本发明的又一个方面，还提供了一种车辆，其安装或应用有如上所述任意实施例的用于夜晚环境的车辆驾驶辅助系统。

由此，根据本发明的实施例的用于夜晚环境的车辆驾驶辅助系统可以显示车辆驾驶员不能看见的车辆前方物体，并且能够通过增强现实显示的方式使驾驶员感受到所显示物体的真实物理信息，有利于驾驶员采取正确的制动或避让措施，避免交通事故的发生。

附图说明

下面，将结合附图对本发明的示例性实施例的特征、优点和技术效果进行描述，附图中相似的附图标记表示相似的元件，其中：

图1示出了根据本发明的实施例的车辆驾驶辅助系统的示意性框图。。

图2示出了根据本发明的实施例的车辆驾驶辅助方法的流程图。

具体实施方式

下文中，参照附图描述本发明的实施例。下面的详细描述和附图用于示例性地说明本发明的原理，本发明不限于所描述的优选实施例，本发明的范围由权利要求书限定。

本发明的各个实施例提供了一种车辆驾驶辅助系统和方法，其能够利用红外摄像头在夜晚环境中检测车辆前方的物体并且通过增强现实显示装置来显示驾驶员不能观察到的行人、骑行者以及围栏、路缘等物体，以提醒驾驶员，避免发生交通事故。根据本发明的车辆驾驶辅助系统和方法还能够通过增强现实显示使驾驶员感受到所显示物体的真实物理信息，有利于驾驶员做出正确的制动或避让措施。

根据本发明的车辆驾驶辅助系统的部件可以被包括在车辆上、车辆内或与车辆集成。本公开的车辆驾驶辅助系统的一个或多个部件可以与现有车辆系统的一个或多个部件共享，例如(但不限于)传感器系统。

根据本发明的车辆驾驶辅助系统及方法适用于包括在任何适合的车辆中或原本可用于任何适合车辆，例如(但不限于)：(1)非商业客运车辆，例如轿车或卡车；(2)商用车辆如牵引式拖车；或(3)非民用车辆，诸如由执法机构、政府机构、应急响应机构(例如，火灾响应机构)或医疗响应机构(例如，医院)使用的车辆。该列表不是穷举的，并且仅仅是示例性的。

尽管在下文中在车辆移动的情况下描述了对应于本文所述的车辆驾驶辅助系统的车辆和特征，但是当车辆处于静止状态(例如，泊车、在红灯处停止或在交通中停止)也在本申请的范围内。

尽管在前文中描述了本发明的车辆驾驶辅助系统及方法在夜晚环境中使用，但是，本文所述的车辆驾驶辅助系统及方法不限于夜晚环境，还适用于环境可见光严重不足的情况，例如大雾、雾霾、阴天等情况。

图1示出了根据本发明的实施例的车辆驾驶辅助系统的示意性框图。如图1所示，车辆驾驶辅助系统可以包括传感器装置10、计算单元20和增强现实显示装置30。车辆驾驶辅助系统的各个部分可以配置成以各个部分中的部件相互连接的方式工作。连接方式包括系统总线、网络和/或其他适合的连接方式。根据本发明的其他实施例，车辆驾驶辅助系统可以包括更多、更少或不同的装置，并且各个装置可以包括更多、更少或不同的部件。此外，所述装置和部件可以以多种方式组合或拆分。

下面，将具体地描述根据本发明的实施例的车辆驾驶辅助系统的各个单元和/或部件的配置和功能。

传感器装置10可以包括外部图像传感器，以获取车辆前方的环境图像。特别地，为了具有夜视功能，外部图像传感器可以包括红外摄像头，用于在夜晚环境中拍摄车辆前方的环境的红外图像。红外图像可包含车辆前方的各个物体的类别、轮廓、位置、速度和方向等信息。这些物体包括机动车辆、行人、骑行者(骑自行车、电动车等)、动物、车道线、围栏、路缘以及地面上的其他障碍物等。此外，这些物体的类别、轮廓、位置、速度和方向等信息可以利用计算机图像处理和识别技术从红外图像中提取。红外摄像头可以具体地设置在车辆的前部，例如车辆的前挡风玻璃的后视镜的位置处，车辆的前保险杠的左右两侧等以及其他适合拍摄车辆前方(包括正前方和侧前方)环境图像的位置处。

外部图像传感器还包括普通的可见光摄像头。可见光摄像头用于与红外摄像头同步拍摄车辆前方环境的可见光图像。由此，传感器装置10可以获取车辆前方环境在相同时刻的红外图像和可见光图像。类似地，可见光图像也包含了车辆前方的各个物体的类别、轮廓、位置、速度和方向等信息，并且还包含了亮度信息。这些信息可以通过计算机图像处理和识别技术从可见光图像中得到。

传感器装置10还可以包括内部图像传感器，其用于获取驾驶员的头部图像。根据本发明的实施例，为了在夜晚环境中拍摄驾驶员的头部图像，内部图像传感器可以为红外摄像头。传感器装置10还可以额外地设置有红外补光光源，以辅助红外摄像头在夜晚环境中更加有效地拍摄驾驶员的头部图像。红外摄像头可以设置在车辆的仪表盘的位置处，向上倾斜安装以拍摄驾驶员的头部图像。红外摄像头也可以布置在车辆内部其他适合的位置处，只要能够拍摄到需要的驾驶员的头部图像即可。红外摄像头的数量可以包括两个或两个以上，以充分获取驾驶员头部的图像信息。

传感器装置10还可以包括车辆自身设置的各种传感器，并且通过这些传感器获取车辆的位置、速度、加速度、转向角等运动参数。这些传感器包括但不限于用于获取车辆的位置的gnss传感器、测量车辆的速度的速度传感器、测量车轮的转向角度的转向角传感器、测量车辆的加速度的加速度传感器等。

下面，将具体地描述根据本发明的实施例的计算装置20的配置和功能。计算装置20具体地由处理器和存储器实现。处理器可以包括一个或多个通用处理器和/或一个或多个专用处理器(例如，图像处理器、数字信号处理等)。存储器可以包括一个或多个易失性和/或一个或多个非易失性存储器。存储器可以与处理器一体的形成或分别单独地形成。存储器可以包含由处理器执行以实现各种功能的指令。存储器还可以存储计算单元20执行指令时需要的数据以及产生的数据等。具体地，计算装置20可以包括检测单元21和可见性判断单元22。

检测单元21配置成在夜晚环境下基于外部图像传感器所拍摄的红外图像识别车辆前方的物体，并且还可以获取所识别的各个物体的类别、轮廓、位置、速度和方向等信息。检测单元21可以通过已知的计算机图像处理和识别技术来实现上述功能。当然，在环境可见光充足的情况下，检测单元21也可以通过外部图像传感器所拍摄的可见光图像来实现上述功能。

可见性判断单元22配置成判断检测单元21所识别的各个物体对于车辆的驾驶员是否可见。在夜晚环境中，对于车辆前方的物体，有些物体可能有利于驾驶员的观察，例如车灯打开的车辆、带反光标志的围栏、自行车或摩托车等，但是，有些物体或对象不利于驾驶员的观察，例如道路路缘、道路上的行人等无明显发光或反光标志的物体或对象。即使在车灯打开的情况下，受到车灯照射范围的限制，驾驶员也有可能由于光线太暗而看不见一些行人或者发现得较晚。因此，对于检测单元21利用红外图像识别的车辆前方的各个物体或对象，根据本发明的车辆驾驶辅助系统可以通过可见性判断单元22判断其对于驾驶员来说是否可见，并且在对于驾驶员不可见的情况下采取措施提醒驾驶员这些不可见物体或对象的存在。而对于驾驶员可见的物体，不再进行提醒，从而可以减少对驾驶员的干扰。

可见性判断单元22可以通过如下方式来判断由检测单元21所识别的物体或对象对于驾驶员是否可见。具体地，对于由检测单元21从车辆前方环境的红外图像中所识别的各个物体，可见性判断单元22可以根据从与上述红外图像相同时刻拍摄的可见光图像中其对应图像的亮度，来判断这些物体对于驾驶员是否可见。在具体的操作中，检测单元21根据红外摄像头所拍摄的红外图像，识别出车辆前方的车辆、行人、骑行者、动物、车道线、围栏、路缘等各个物体。随后，可见性判断单元22可以从传感器装置10获取与识别物体时所用红外图像同步拍摄的车辆前方环境的可见光图像。进一步地，可见性判断单元22从该可见光图像中截取由检测单元21所识别的各个物体的对应图像。可见性判断单元22可以设置特定的亮度阈值，并且检测由检测单元21所识别的各个物体的对应可见光图像的亮度水平。对于对应可见光图像的亮度水平等于或高于亮度阈值的那些物体，判断为对于驾驶员可见；而对于对应可见光图像的亮度水平低于亮度阈值的那些物体，判断为对于驾驶员不可见。

当然，本发明的车辆驾驶辅助系统对物体的可见性判断不限于上述方式。基于通过亮度水平来评估物体的可见性的原理，本领域的技术人员可以想到其他任何适合的方式来实现该判断。

下面，将详细描述根据本发明的车辆驾驶辅助系统的增强现实显示装置30。增强现实显示装置30配置成对由可见性判断单元22判断为对于驾驶员不可见的那些车辆前方的物体进行增强现实显示。具体地，增强现实显示装置30利用增强显示显示器对车辆前方的驾驶员不可见物体进行显示。此外，增强现实显示装置30所显示的物体与驾驶员看到的真实车辆外部场景有效地叠加，使得驾驶员可感受到所显示物体的真实类别、轮廓、位置等信息。这样，驾驶员不仅可以发现到其原本看不到的物体，而且还能够了解其真实物理信息，从而可以采用正确的制动或避让措施，避免发生交通事故。

增强现实显示装置30可以包括图像处理部、投影仪和显示器。图像处理部从传感器装置10获取车辆前方环境的红外图像，并且根据可见性判断单元22的判断结果从红外图像中截取驾驶员不可见物体的红外图像。图像处理部可以通过沿包围物体的最小方框或物体的外轮廓剪裁其红外图像。图像处理部所截取的不可见物体的红外图像可用于后续的增强现实显示。

投影仪可以是专用投影仪，也可以是车辆原有的车载投影仪。显示器可以安装在车辆的前挡风玻璃上。根据一个实施例，车辆的前挡风玻璃的一部分可专用于车辆外部物体的增强现实显示。前挡风玻璃可以包括反射部分以用于增强现实显示。前挡风玻璃的一部分还可以包括特殊反射膜，投影仪可以将图像投影到前挡风玻璃的该部分上，以进行增强现实显示。

外部红外摄像头所拍摄的图像与驾驶员眼睛看到的前方图像存在视角和距离上的差异，并且不同身高、不同坐姿的驾驶员的视野也存在差异。因此，为了确保显示的物体的红外图像与驾驶员看到的车辆前方的真实场景有效地叠加，不可见物体的红外图像在经过进行校正后(例如通过增强现实显示装置30的图像处理部或其他专用图像处理装置)再显示。显示器所显示的不可见物体的红外图像应该能让驾驶员体会到不可见物体的真实类别、轮廓和位置等信息。上述校正可以根据不可见物体的位置、驾驶员眼睛的位置和视线方向、外部红外摄像头的位置和拍摄角度、投影仪的位置和投射角度、显示器的布置等进行。其中，驾驶员眼睛的位置和视线方向可以通过分析和处理由内部红外摄像头所拍摄的驾驶员的头部图像获得。在显示器安装在车辆的前挡风玻璃上的情况下，增强现实显示装置30可以在驾驶员的眼睛和车辆外部的真实物体之间的连线与前挡风玻璃的交点处显示物体的红外图像，以方便驾驶员观察。

显示器可以通过闪烁、特殊颜色方框、高或低对比度的方式高亮显示不可见物体的红外图像，以提醒驾驶员。

此外，根据本发明的一个实施例，车辆驾驶辅助系统对于由可见性判断单元22判断为不可见的物体不全部显示，而是仅显示与车辆行驶相关的物体，以减少对驾驶员的干扰。具体地，车辆驾驶辅助系统的计算装置20还包括轨迹预测单元23，其根据车辆的当前行驶速度和转向角度等预测车辆的行驶轨迹，并且根据不可见物体的位置判断不可见物体是否在车辆的预测行驶轨迹范围内。对于判断为在车辆的预测行驶轨迹范围内的不可见物体，使增强现实显示装置30对其进行增强现实显示。这里，车辆的预测行驶范围内包括与车辆的预测行驶轨迹重叠的区域，也包括与车辆的预测行驶轨迹不重叠但在预测行驶轨迹的附近的区域，以增加安全系数，避免意外情况发生。

此外，对于车辆前方的移动物体，例如行人、骑行者等，轨迹预测单元23还可以根据移动物体的当前行驶速度、方向等来预测预定时间段内移动物体的行驶轨迹，并且判断其预测行驶轨迹是否会在预定时间段内与车辆的预测行驶轨迹相交。如果是，则增强现实显示装置30对该移动物体也进行显示(即使该移动物体在当前时刻不在车辆的预测行驶轨迹范围内)。从而，可以提前提醒驾驶员可能会与车辆发生冲突的物体或对象，避免交通事故发生。

应当理解，在上述实施例中，系统可以设置有亮度传感器，其在车辆开启时，自动检测车辆周围的环境亮度，以确定是否启动根据本发明的车辆驾驶辅助系统。当判断为车辆周围的环境亮度较低时，自动启动驾驶辅助系统，使得摄像头等图像获取装置开始摄取车辆前方环境的图像。本发明的车辆驾驶辅助系统也可以通过车辆启动时的时间确定是否启动，例如车辆在夜间开启时，自动启动根据本发明的车辆驾驶辅助系统。此外，驾驶员也可以在环境亮度较低，例如夜晚环境下，通过按钮、开关或触摸屏等主动输入命令以启动根据本发明的车辆驾驶辅助系统。

下面，将详细描述根据本发明的用于夜晚环境的车辆驾驶辅助方法的步骤。图4示出了根据本发明的实施例的用于夜晚环境的车辆驾驶辅助方法的流程图。

在步骤s10中，利用车辆的外部图像传感器拍摄车辆前方的环境图像。具体地，利用外部红外摄像头拍摄车辆前方环境的红外图像。此外，车辆的外部可见光摄像头与红外摄像头同步拍摄车辆前方环境的图像。由此，可以获得车辆前方环境在相同时刻的红外图像和可见光图像。

在步骤s12中，利用红外图像识别车辆前方的物体。此外，还可以利用计算机图像处理和识别技术，获取所识别的物体的类别、轮廓、位置、速度和方向等信息。

在步骤s14中，判断所识别的各个物体对于车辆的驾驶员是否可见。根据一个实施例，根据所识别的各个物体在车辆前方环境的可见光图像中的对应图像的亮度来判断其可见性。具体地，可以从与识别步骤所用的红外图像同步拍摄的可见光图像中截取所识别的各个物体的对应图像，并且检测各个物体的对应可见光图像的亮度水平。对于对应可见光图像的亮度水平等于或高于亮度阈值的那些物体，判断为对于驾驶员可见；而对于对应可见光图像的亮度水平低于亮度阈值的那些物体，判断为对于驾驶员不可见。当然，上述可见性判断的实现不限于上述方式。基于通过亮度水平来评估物体的可见性的原理，本领域的技术人员可以想到其他任何适合的方式来实现该步骤。

在步骤s16中，从车辆的前方环境的红外图像中获取被判断为对驾驶员不可见物体的红外图像，并对该不可见的物体进行增强现实显示。具体地，首先从车辆前方环境的红外图像中截取对驾驶员不可见物体的红外图像，可以通过沿包围物体的最小方框或物体的外轮廓剪裁其红外图像。其次，对所获取的不可见物体的红外图像进行校正，并且在增强现实显示器上显示经校正的红外图像。所显示的经校正的红外图像可以与车辆的驾驶员当前观察到的车辆前方的真实场景有效地叠加，使得驾驶员即使在看不到所显示物体的实体的情况下，也能够体会到所显示物体的真实类别、轮廓、位置等信息。因此，上述校正考虑不可见物体的位置、驾驶员眼睛的位置和视线方向、外部红外摄像头的位置和拍摄角度、投影仪的位置和投射角度、显示器的布置等因素。为了方便驾驶员观察，增强现实显示器安装在车辆的前挡风玻璃上。在这种情况下，可以在驾驶员的眼睛和车辆外部的真实物体之间的连线与前挡风玻璃的交点处显示物体的经校正红外图像，以使其融合到驾驶员观察到的真实场景中。

此外，在该步骤中，还可以通过闪烁、特殊颜色方框、高或低对比度的方式高亮显示不可见物体的经校正的红外图像，以提醒驾驶员。

由此，根据本发明的车辆驾驶辅助方法，可以在夜晚环境中通过增强现实显示车辆驾驶员不能看见的车辆前方物体，以对驾驶员进行提醒，防止交通事故的发生。

根据本发明的一个实施例的车辆驾驶辅助方法，在对判断为对驾驶员不可见的物体进行增强现实显示之前，还包括对这些不可见物体进行筛选的步骤。具体地，根据该实施例的车辆驾驶辅助方法不显示全部不可见物体，而是仅显示与车辆行驶相关的不可见物体，以减少对驾驶员的干扰。具体地，根据该实施例的车辆驾驶辅助方法还包括步骤s18，在该步骤s18中，根据车辆的当前行驶速度和转向角度等预测车辆的行驶轨迹，并且根据不可见物体的位置判断不可见物体是否在车辆的预测行驶轨迹范围内。对于判断为在车辆的预测行驶轨迹范围内的物体，进入步骤s16，增强现实显示装置30对其进行增强现实显示。对于判断为在车辆的预测行驶轨迹范围之外的物体，则进入步骤s20，不进行显示。

在该步骤中，对于车辆前方的移动物体，例如行人、骑行者等，还可以预测根据移动物体的当前行驶速度、方向等来预测预定时间段内移动物体的行驶轨迹，并且判断其预测行驶轨迹是否会在所述预定时间段内与车辆的预测行驶轨迹相交。如果是，则对该移动物体进行增强现实显示(即使该移动物体在当前时刻没有落在车辆的预测行驶轨迹范围内)。由此，可以提前提醒驾驶员可能与车辆行驶相关的移动物体，避免发生交通事故。

尽管已经参考示例性实施例描述了本发明，但是应理解，本发明并不限于上述实施例的构造和方法。相反，本发明意在覆盖各种修改例和等同配置。另外，尽管在各种示例性结合体和构造中示出了所公开发明的各种元件和方法步骤，但是包括更多、更少的元件或方法的其它组合也落在本发明的范围之内。