基于流媒体后视镜的图像处理方法、装置及计算机设备与流程

本发明涉及车载图像处理的，特别涉及一种基于流媒体后视镜的图像处理方法、装置及计算机设备。

背景技术：

1、传统汽车后视镜通常采用反光镜或摄像头作为图像采集设备。然而，这些设备存在着许多缺点。例如，反光镜容易被夜晚的车灯和强烈阳光所干扰，从而影响驾驶员的视线；摄像头则需要安装复杂的接线和控制系统，并且在恶劣的天气条件下往往无法正常工作。

2、为了解决这些问题，近年来已经出现了一些新型的后视镜设计。其中一种较为先进的设计是基于流媒体技术的后视镜。该后视镜通过将车后方的实时视频信号转换成数字信号，再通过无线网络传输到驾驶舱内的显示器上，使得驾驶员可以更加清晰地观察到车后方的情况。此外，该设计还具有简单易用、节省空间等优点。

3、然而，目前的基于流媒体后视镜存在一些问题。例如，由于视频信号的传输需要一定的时间，因此在快速变道、并线等操作时会存在一定的延迟，从而影响驾驶员的判断和反应。另外，由于车后方的图像往往比较复杂，容易出现雨滴、灰尘等遮挡物，从而影响图像的清晰度和可视性。

技术实现思路

1、本发明的主要目的为提供一种基于流媒体后视镜的图像处理方法、装置及计算机设备，以通过预训练的图像卷积模型对采集到的图像中的雨滴、灰尘等遮挡物进行识别，并将其位置标记出来，再通过分层通道的图像处理算法对标记的遮挡物进行填补和修复，达到使图像恢复到最佳状态的效果。

2、为实现上述目的，本发明提供了一种基于流媒体后视镜的图像处理方法，包括以下步骤：

3、通过流媒体后视镜采集若干后视镜图像，所述若干后视镜图像至少包括左后视镜图像和右后视镜图像；

4、将若干所述后视镜图像分别通过对应的数据传输通道输入至四维流媒体建模框架中，以通过所述四维流媒体建模框架生成后视空间四维图；

5、将所述后视空间四维图输入至图像卷积神经网络模型中，以通过所述图像卷积神经网络模型将后视空间四维图中的异常因子进行标定；

6、通过图像处理算法对标定有异常因子的所述后视空间四维图进行清晰化处理，以生成与所述后视空间四维图关联的显示图像，并显示所述显示图像。

7、进一步地，将若干所述后视镜图像分别通过对应的数据传输通道输入至四维流媒体建模框架中，以通过所述四维流媒体建模框架生成后视空间四维图的步骤，包括：

8、通过若干所述后视镜图像的具体个数设置对应数量的所述数据传输通道；

9、识别并标记若干后视镜图像的摄像朝向；

10、通过标记有摄像朝向的若干后视镜图像输入至四维流媒体建模框架，以由所述四维流媒体建模框架生成后视空间四维图，生成方法为，

11、对若干后视镜图像依照摄像朝向标记进行图像拼接；

12、识别出若干后视镜图像的图像边缘，并根据所述图像边缘判断若干后视镜图像的图像拼接是否出现边缘重合；

13、若边缘重合，则进行图像拼接后的去重合处理，生成后视空间四维图；

14、若边缘不重合，则进行图像拼接后的虚线拟合处理，生成后视空间四维图。

15、进一步地，所述四维流媒体建模框架的创建方法，包括：

16、创建车载流媒体坐标系xyr，其中所述车载流媒体坐标系xyr包括行驶方向x、后视视角y和转向倾斜角度r；

17、将所述车载流媒体坐标系xyr与数据传输通道建立数据传输协议，以将所述数据传输通道预关联的标记信息t与所述后视视角y进行关联以创建所述四维流媒体建模框架xyrt。

18、进一步地，所述将所述后视空间四维图输入至图像卷积神经网络模型中，以通过所述图像卷积神经网络模型将后视空间四维图中的异常因子进行标定的步骤，包括：

19、所述图像卷积神经网络模型对后视空间四维图进行异常因子标定方法为，

20、通过输入层持续性获取后视空间四维图，并将所述后视空间四维图导入至卷积层；

21、通过卷积层对后视空间四维图进行距离矩阵分段处理，以对所述后视空间四维图进行前、中、后段的矩阵分段生成前段后视空间图、中段后视空间图和后段后视空间图，并将所述前段后视空间图、中段后视空间图和后段后视空间图输入至池化层；

22、通过池化层对前段后视空间图、中段后视空间图和后段后视空间图进行视觉锐化增强处理并输出至全连接层；

23、通过全连接层中预训练的因子模板分别匹配出前段后视空间图、中段后视空间图和后段后视空间图中的异常因子，并将所述异常因子输入至softmax层，其中所述异常因子包括但不限于是水滴、灰尘；

24、通过softmax层对异常因子与因子模板进行相似度判断的过程，当判断所述异常因子与因子模板相似度大于设定值时，将所述异常因子标定在前段后视空间图、中段后视空间图和后段后视空间图的位置；

25、由输出层将标定有异常因子的所述前段后视空间图、中段后视空间图和后段后视空间图进行输出。

26、进一步地，通过图像处理算法对标定有异常因子的所述后视空间四维图进行清晰化处理，以生成与所述后视空间四维图关联的显示图像，并显示所述显示图像的步骤，包括：

27、识别所述后视空间四维图中被异常因子遮挡的异常部分和未被遮挡的正常部分；

28、对所述异常部分和正常部分之间的模糊线做锐化处理，生成分隔线；

29、根据异常因子类型对分隔线所确定的异常部分进行清晰化处理。

30、进一步地，所述根据异常因子类型对分隔线所确定的异常部分进行清晰化处理的步骤，包括：

31、识别所述后视空间四维图被异常因子遮挡后的透视线索数据；

32、将所述透视线索数据导入至图像处理算法中进行要素补全，生成第一补全数据并载入至后视空间四维图的异常部分中。

33、进一步地，所述根据异常因子类型对分隔线所确定的异常部分进行清晰化处理的步骤，包括：

34、识别所述后视空间四维图被异常因子完全遮挡后的推演数据；

35、将所述推演数据导入至图像处理算法中进行要素补全，生成第二补全数据并载入至后视空间四维图的异常部分中。

36、本发明一种基于流媒体后视镜的图像处理装置，包括：

37、采集单元，用于通过流媒体后视镜采集若干后视镜图像，所述若干后视镜图像至少包括左后视镜图像和右后视镜图像；

38、构图单元，用于将若干所述后视镜图像分别通过对应的数据传输通道输入至四维流媒体建模框架中，以通过所述四维流媒体建模框架生成后视空间四维图；

39、标定单元，用于将所述后视空间四维图输入至图像卷积神经网络模型中，以通过所述图像卷积神经网络模型将后视空间四维图中的异常因子进行标定；

40、处理单元，用于通过图像处理算法对标定有异常因子的所述后视空间四维图进行清晰化处理，以生成与所述后视空间四维图关联的显示图像，并显示所述显示图像。

41、本发明还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述基于流媒体后视镜的图像处理方法的步骤。

42、本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的基于流媒体后视镜的图像处理方法的步骤。

43、本发明提供的基于流媒体后视镜的图像处理方法、装置及计算机设备具有以下有益效果：

44、（1）提高后视镜图像处理的质量和效果：通过引入四维流媒体建模框架和卷积神经网络模型，以及针对标定有异常因子的后视空间四维图进行清晰化处理的方法，可以有效地提高后视镜图像的清晰度和准确性。

45、（2）减少图像传输带宽和延迟：利用数据压缩算法和基于udp协议的快速数据传输通道，可以在保证图像质量的同时减少数据传输带宽和延迟，提高系统的实时性和稳定性。

46、（3）提高图像处理的自动化程度：通过利用深度学习算法自动识别和标记后视镜图像的摄像朝向，可以减少人工干预，提高图像处理的自动化程度，降低系统运营成本。