车辆前挡图像的处理方法、设备、存储介质及电子设备与流程

本发明涉及图像处理，并且更具体地，涉及一种车辆前挡图像的处理方法、设备、存储介质及电子设备。

背景技术：

1、前挡风玻璃对于驾驶者而言，是观察外部路况的主要工具，它在确保安全驾驶中扮演着重要角色。尽管如此，目前的技术在前挡的图像处理上仍存在不足。

2、现有的汽车前挡主要分为两类：传统的未经处理的前挡以及应用了ar-hud技术的前挡。ar-hud，即增强现实抬头显示，将计算机生成的虚拟信息与真实的三维道路环境相结合，以创造与实际路况相匹配的视觉效果，从而提供更丰富、直观的驾驶信息。但不论是哪一类前挡，都尚未针对特定光线条件，如夜间或强光环境，进行适当的图像处理。在这些条件下，驾驶员的视线很容易受到干扰，从而带来潜在的安全风险。

3、目前的解决方案大致有以下两种：

4、1.贴膜法：这是一种直接在前挡风玻璃上粘贴遮光膜的方法。它能有效地避免过度的曝光，但无法进行局部抑制，且在夜间或光线较暗的环境中，遮光膜的存在可能进一步限制了驾驶者的视野，使视线变得更暗。

5、2.电子显示屏法：这种方法是将前挡风玻璃转化为一个显示屏，实时展示通过摄像头捕获并经计算机处理后的道路情况。尽管它在图像清晰度上具有明显的优点，但仍然存在以下挑战：

6、1)视觉深度问题：由于信息展示为二维形式，可能使驾驶员在判断车距和车速上遇到困难。

7、2)技术故障风险：例如，黑屏、画面延迟等情况在关键时刻可能导致严重的安全问题。

技术实现思路

1、为了解决上述背景技术所述的至少一个问题，本发明提供一种车辆前挡图像的处理方法、设备、存储介质及电子设备，针对前挡的光线变化，增强前挡图像的呈现效果，提高驾驶观察的舒适性，弥补视线受阻的不足。

2、根据本发明的一个方面，提供了一种车辆前挡图像的处理方法，包括：

3、获取车辆外部的第一图像信息和车辆内部的第二图像信息；

4、基于第一图像信息对车辆外部的画面进行三维重建，得到车辆外部的三维重建图像；根据第二图像信息，确定车辆的驾驶员的眼睛位置信息；

5、将驾驶员的眼睛位置信息与车辆外部的三维重建图像进行匹配，确定驾驶员视角下的车辆前挡图像；

6、对驾驶员视角下的车辆前挡图像进行增强处理，并通过实时投影的形式将增强处理输出的最优图像投影至车辆的前挡风玻璃上。

7、可选地，所述获取车辆外部的第一图像信息和车辆内部的第二图像信息，包括：

8、通过第一图像采集设备获取车辆外部的第一图像信息，其中第一图像采集设备为设置于车辆外部的双目摄像头；

9、通过第二图像采集设备获取车辆内部的第二图像信息，其中第二图像采集设备为设置于车辆内部且处于驾驶座位前方的双目摄像头。

10、可选地，所述将驾驶员的眼睛位置信息与车辆外部的三维重建图像进行匹配，确定驾驶员视角下的车辆前挡图像，包括：

11、根据驾驶员的眼睛位置信息，确定驾驶员视角下能看到的外部画面的外界位置；

12、根据驾驶员的眼睛位置信息和外界位置之间的关系，从三维重建图像中确定驾驶员视角下的车辆前挡图像。

13、可选地，所述对驾驶员视角下的车辆前挡图像进行增强处理，并通过实时投影的形式将增强处理得到的最优图像投影至车辆的前挡风玻璃上，包括：

14、对驾驶员视角下的车辆前挡图像进行暗光增强或者过曝抑制处理，得到多张候选图像；

15、利用预设的深度学习算法，从多张候选图像中选择效果分数最高的图像，作为增强处理得到的最优图像；

16、通过实时投影的形式，将增强处理得到的最优图像投影至车辆的前挡风玻璃上。

17、根据本发明的又一个方面，提供了一种车辆前挡图像的处理设备，包括：

18、图像获取模块，用于获取车辆外部的第一图像信息和车辆内部的第二图像信息；

19、图像处理模块，用于基于第一图像信息对车辆外部的画面进行三维重建，得到车辆外部的三维重建图像；根据第二图像信息，确定车辆的驾驶员的眼睛位置信息；

20、前挡图像确定模块，用于将驾驶员的眼睛位置信息与车辆外部的三维重建图像进行匹配，确定驾驶员视角下的车辆前挡图像；

21、最优图像确定模块，用于对驾驶员视角下的车辆前挡图像进行增强处理，并通过实时投影的形式将增强处理输出的最优图像投影至车辆的前挡风玻璃上。

22、可选地，所述图像获取模块，具体用于：

23、通过第一图像采集设备获取车辆外部的第一图像信息，其中第一图像采集设备为设置于车辆外部的双目摄像头；

24、通过第二图像采集设备获取车辆内部的第二图像信息，其中第二图像采集设备为设置于车辆内部且处于驾驶座位前方的双目摄像头。

25、可选地，所述前挡图像确定模块，具体用于：

26、根据驾驶员的眼睛位置信息，确定驾驶员视角下能看到的外部画面的外界位置；

27、根据驾驶员的眼睛位置信息和外界位置之间的关系，从三维重建图像中确定驾驶员视角下的车辆前挡图像。

28、可选地，所述最优图像确定模块，具体用于：

29、对驾驶员视角下的车辆前挡图像进行暗光增强或者过曝抑制处理，得到多张候选图像；

30、利用预设的深度学习算法，从多张候选图像中选择效果分数最高的图像，作为增强处理得到的最优图像；

31、通过实时投影的形式，将增强处理得到的最优图像投影至车辆的前挡风玻璃上。

32、根据本发明的又一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本发明上述任一方面所述的方法。

33、根据本发明的又一个方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本发明上述任一方面所述的方法。

34、本发明首先获取车辆外部的第一图像信息和车辆内部的第二图像信息，然后基于第一图像信息对车辆外部的画面进行三维重建，得到车辆外部的三维重建图像，根据第二图像信息，确定车辆的驾驶员的眼睛位置信息。其次，将驾驶员的眼睛位置信息与车辆外部的三维重建图像进行匹配，确定驾驶员视角下的车辆前挡图像。最后，对驾驶员视角下的车辆前挡图像进行增强处理，并通过实时投影的形式将增强处理输出的最优图像投影至车辆的前挡风玻璃上。从而，本发明可随环境的光线变化而实时变化，能够进行有针对性的局部处理，有利于提高驾驶安全性，在暗光或强光环境，进行图像增强，提高驾驶员观察到舒适性。避免屏幕式前挡的视觉深度感知不足，黑屏、画面延迟等问题。

技术特征：

1.一种车辆前挡图像的处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述获取车辆外部的第一图像信息和车辆内部的第二图像信息，包括：

3.根据权利要求1所述的方法，其特征在于，所述将驾驶员的眼睛位置信息与车辆外部的三维重建图像进行匹配，确定驾驶员视角下的车辆前挡图像，包括：

4.根据权利要求1所述的方法，其特征在于，所述对驾驶员视角下的车辆前挡图像进行增强处理，并通过实时投影的形式将增强处理得到的最优图像投影至车辆的前挡风玻璃上，包括：

5.一种车辆前挡图像的处理设备，其特征在于，包括：

6.根据权利要求5所述的设备，其特征在于，所述图像获取模块，具体用于：

7.根据权利要求5所述的设备，其特征在于，所述前挡图像确定模块，具体用于：

8.根据权利要求5所述的设备，其特征在于，所述最优图像确定模块，具体用于：

9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-4任一所述的方法。

10.一种电子设备，其特征在于，所述电子设备包括：

技术总结
本发明公开了一种车辆前挡图像的处理方法、系统、存储介质及电子设备，该方法包括：获取车辆外部的第一图像信息和车辆内部的第二图像信息；基于第一图像信息对车辆外部的画面进行三维重建，得到车辆外部的三维重建图像；根据第二图像信息，确定车辆的驾驶员的眼睛位置信息；将驾驶员的眼睛位置信息与车辆外部的三维重建图像进行匹配，确定驾驶员视角下的车辆前挡图像；对驾驶员视角下的车辆前挡图像进行增强处理，并通过实时投影的形式将增强处理输出的最优图像投影至车辆的前挡风玻璃上。通过这种方式，可以针对前挡的光线变化，增强前挡图像的呈现效果，提高驾驶观察的舒适性，弥补视线受阻的不足。

技术研发人员：张宇瑄,陈东源
受保护的技术使用者：张宇瑄
技术研发日：
技术公布日：2024/1/15