驾驶辅助系统和增强驾驶员视力的方法与流程

[0001]
本发明涉及一种驾驶辅助方法和增强驾驶员视力的方法，尤其涉及一种驾驶辅助方法和增强驾驶员视力的方法，所述驾驶辅助方法和增强驾驶员视力的方法当情况需要时能够向驾驶员提供相关和增强的信息。


背景技术：

[0002]
现代车辆配备了大量的传感器和摄像头来收集周围的数据，并提供额外的信息来帮助驾驶员。然而，缺点是信息太多而没有仔细检查可能会使驾驶员烦人和分心。本发明提供了一种驾驶辅助系统，仅当环境需要时，才向目标车辆中的驾驶员提供相关和增强的信息。


技术实现要素：

[0003]
本发明提供了一种用于辅助驾驶员的车辆驾驶辅助系统。该系统包括：设置在车辆中并配置为捕获可见图像的第一摄像头；设置在车辆中并配置为捕获不可见图像的第二摄像头；配置为向驾驶员显示图像的显示设备；以及与第一摄像头耦合的处理器。第二摄像头和显示装置，处理器进行图像融合处理，将可见图像和不可见图像结合，得到融合图像；其中显示装置仅在可见图像的清晰度低于预设阈值时显示融合图像。
[0004]
本发明还提供了一种从车辆增强驾驶员视觉的方法。该方法包括：获取可见图像；获取不可见图像；进行图像融合，将可见图像与不可见图像结合，得到融合图像；以及向所述驾驶员显示所述融合图像，以在所述可见图像的清晰度低于阈值时增强所述驾驶员的视觉。
[0005]
在阅读以下各种图和图中所示的优选实施例的详细说明后，本发明的这些和其他目标对于本领域的普通技术人员无疑将变得明显。
附图说明
[0006]
图1是根据本发明实施例的驾驶辅助系统的示意图。
[0007]
图2是根据本发明一个实施例的驾驶辅助系统确定驾驶条件的示意图。
[0008]
图3是根据本发明的另一实施例，由驾驶辅助系统确定驾驶条件的示意图。
[0009]
图4是图1所示的第一台相机拍摄的可见图像p3的示意图。
[0010]
图5是图1所示第二台相机拍摄的不可见图像p4的示意图。
[0011]
图6是融合图像p5的原理图，结合处理器生成的可见和不可见图像p3和p4，如图1所示。
[0012]
图7说明了根据本发明实施例的驾驶辅助方法的方法。
[0013]
图8是融合图像p5的示意图，结合了图1所示的处理器在雾天条件下生成的可见和不可见图像。
具体实施方式
[0014]
如图1所示，本发明的驾驶辅助系统100包括至少两个摄像头110和120，配置为分别捕捉人眼可见的可见图像（如图4所示）和人眼不可见的热图像（如图5所示）。此外，驾驶辅助系统100还包括设置在目标车辆10中以收集其周围数据的多个传感器（图1中未显示）；以及配置为处理可见图像、热图像和收集数据的处理器140。在本发明中，处理器140进行图像融合处理，将可见图像和热图像结合起来，得到融合图像。（如图6和8）。此外，本发明的驾驶辅助系统100还包括显示装置130，其配置为有条件地向驾驶员显示融合图像。
[0015]
在本发明的一个实施例中，相机110捕获的可见图像用于模拟目标车辆10的驾驶员视觉。可见图像的清晰度用于确定驾驶员在当前驾驶条件下看东西的能力是否受到影响。在本发明中，预设了若干标准和阈值以确定可见图像的清晰度是否低于，如果低于，则系统100将假定目标车辆10中的驾驶员可能无法清楚地看到周围的事物。只有当结论得到满足时，显示设备130才会向驾驶员显示融合图像。此外，热图像可由热成像摄像机或红外摄像机捕获。
[0016]
另一方面，如果可见图像的清晰度不低于阈值，则本发明的系统100可认为驾驶员的视力不受影响。因此，不需要显示融合图像来帮助驾驶员。这样，驾驶员就不那么分心了，可以集中精力开车。
[0017]
图8示出了由于多雾天气而部分地损害了主车辆10周围的物体的可见性的情况。如图所示，未受影响的零件为实线，而受影响的零件为点线。如果本发明的驾驶辅助系统100确定用户可能看不到周围的物体，则它提供融合图像p5，其中热图像与部分清晰可见图像融合以帮助用户。
[0018]
如先前所说的，有许多方法来确定可见图像的清晰度是否是不合需要的。图2描绘了一种情况，其中来自主车辆10的驾驶员的视力可能由于另一车辆的后灯而受到负面影响;而图图3示出了另一种情况，其中由于有雾的天气导致驾驶员的视力受损。例如，可以通过参考在可见图像上发现的耀眼或模糊区域的尺寸（或尺寸比），耀眼或模糊区域的像素量，或者环境光之间的强度来进行确定。关键区域及其邻近区域。如果满足任一标准，则本发明的系统100假定由于驾驶条件而来自主车辆10的驾驶员视力受损或将受到损害。因此，仅在这种情况下，本发明的显示装置130将融合图像显示给驾驶员。
[0019]
应该注意的是本发明的系统100并不完全依赖可见图像的清晰度来确定可见度；相反，系统100可能依赖于传感器收集的数据。例如，温度和湿度传感器可以收集温度和湿度，并且根据数据，本发明的系统可以预测驾驶员的视线是否受到或将受到影响的天气是否模糊。或者，本发明的系统100还可以包括用于检测pm浓度的颗粒物（pm）传感器。如果该值达到某个阈值，则本发明的系统100得出结论：天气是烟雾弥漫的，因此驾驶员的视力受到限制。如前所述，只有当得出结论认为目标车辆10的驾驶员视力受到或将受到影响时，系统100的显示设备130才会显示融合图像，以向驾驶员提供信息和预防措施。本领域技术人员应当理解，除了在显示装置130上显示融合图像外，显示装置130还可以显示传感器收集的相关环境数据以通知驾驶员。
[0020]
在本发明的另一个实施例中，驾驶辅助系统100除上述两个摄像头110和120外，还可包括激光雷达或雷达传感器，以收集诸如检测到的物体图像等信息，而这些图像在其他方面不可从可见图像和热图像中获得。.同样，本发明的处理器140进行图像融合处理，将可
见图像、热图像和检测到的目标图像结合起来，得到融合图像。本发明的显示装置130仅当确定驾驶员在当前驾驶条件下的视力受到或将受到损害时，才向驾驶员显示融合图像。
[0021]
本发明还提供了一种从目标车辆10提高驾驶员视力的方法。步骤如图7所示。如图所示，所述方法包括：从被试车辆10（步骤701）获得用于模拟驾驶员视觉的可见图像；获得驾驶员以其他方式不可见的不可见图像（步骤702）；进行图像融合的过程，将可见图像和不可见图像结合起来获得融合图像（步骤703）；如果可见图像的清晰度低于阈值（步骤704），则向驾驶员显示融合图像以增强驾驶员的视觉。如前所述，不可见图像可能是由热照相机拍摄的热图像。
[0022]
在本发明的另一个实施例中，该方法还可以包括从激光雷达或雷达（图7中未显示）获取检测到的目标图像。对可见光图像、不可见光图像和被检测目标图像进行图像融合，得到融合后的图像。只有当可见图像的清晰度低于阈值时，才会显示融合图像以增强目标车辆10的驾驶员视觉。
[0023]
此外，该方法还可以包括通过传感器数量收集各种环境数据（图7中未显示）。当满足上述条件时，收集到的环境数据可与融合图像一起处理并呈现给驾驶员。
[0024]
在确定可见图像的清晰度方面，这些方法与上述讨论的方法相同，将在此处跳过。