一种全景环视图像的盲区填充方法与装置与流程

1.本发明涉及图像融合技术领域，具体涉及一种全景环视图像的盲区填充方法与装置。


背景技术：

2.目前，随着自动驾驶技术的广泛应用，配置有自动驾驶技术的车身周围上会设置有多个视觉传感器，通过车身周围的视觉传感器可获取展示车身四周景象的图像，将获取的图像拼接可获取车身四周的全景图，又称为全景环视图像，但是由于车身的阻碍视觉传感器无法获取车底下的图像，因此全景环视图像会存在有车底部分的盲区。当车底存在影响驾驶的物体时，若是无法观察到车底情况，容易引发安全事故。
3.为了消除车辆全局环视图像中的车底盲区，技术人员想到通过将其他帧图像中对应车底盲区的图像部分融合进全局环视图像中，但是，目前的对全局环视图像的盲区填充方法主要是前后帧进行图像融合，也就是说当前帧的盲区的一部分需要从前一帧的非盲区部分获取，而当前帧盲区的另一部分需要从前一帧的盲区部分获取，即需要继承前一帧图像之前数帧的图像部分，由于不同帧图像受到光照强弱的不同，其灰度水平也存在差异，这样会导致当前帧图像的盲区部分显示存在多条边界，影响观感。
4.因此，有必要提供一种新的全景环视图像的盲区填充方法与装置，以解决上述问题。


技术实现要素：

5.本发明的目的在于提供一种全景环视图像的盲区填充方法、装置、电子设备和计算机可读存储介质，能够对减少全景环视图像中填充完成的盲区区域的断层感，有利于提高对完成填充的全景环视图像的观感。
6.为实现上述目的，本发明提供了一种全景环视图像的盲区填充方法，包括：
7.s1、确定关键帧图像；
8.s2、确定所述关键帧图像后的待填充帧图像内的盲区区域对应所述关键帧图像内的第一区域；
9.s3、根据所述第一区域填充所述待填充帧图像内的所述盲区区域；
10.重复步骤s2至步骤s3，直到一个所述待填充帧图像对应的所述第一区域与所述关键帧图像的边缘存在重合。
11.可选地，所述盲区填充方法还包括：
12.当一所述待填充帧图像对应的所述第一区域与所述关键帧图像的边缘存在重合时，将所述盲区区域填充完成的该所述待填充帧图像确定为新的关键帧图像；
13.按照所述新的关键帧图像重复步骤s2至步骤s3。
14.可选地，所述“确定所述关键帧图像后的待填充帧图像内的盲区区域对应所述关键帧图像内的第一区域”包括：
15.将所述盲区区域的像素点在所述待填充帧图像内的第一坐标信息转换至所述关键帧图像内，以获取第二坐标信息；
16.根据若干所述第二坐标信息确定所述关键帧图像内的所述第一区域。
17.可选地，所述盲区填充方法还包括：
18.在所述待填充帧图像上围绕所述盲区区域设置融合过渡区域，所述融合过渡区域的内框线与所述盲区区域的轮廓线重合；
19.确定所述融合过渡区域内像素点的第一灰度值以及所述融合过渡区域内像素点映射至所述关键帧图像内像素点的第二灰度值；
20.根据所述第一灰度值、所述第二灰度值和所述融合过渡区域内像素点与所述轮廓线和所述融合过渡区域的外框线的距离关系，确定所述融合过渡区域内每个像素点的第三灰度值，所述融合过渡区域内靠近所述外框线的像素点的所述第三灰度值接近对应的所述第一灰度值，所述融合过渡区域内靠近所述轮廓线的像素点的所述第三灰度值接近对应的所述第二灰度值。
21.可选地，所述“根据所述第一灰度值、所述第二灰度值和所述融合过渡区域内像素点与所述轮廓线和所述融合过渡区域的外框线的距离关系，确定所述融合过渡区域内每个像素点的第三灰度值”包括：
22.确定所述融合过渡区域内像素点到所述轮廓线的最短距离为第一距离，确定所述融合过渡区域内像素点到所述外框线的最短距离为第二距离；
23.对所述融合过渡区域内的像素点对应的所述第一灰度值和所述第二灰度值分别生成第一系数和第二系数，并计算所述第一灰度值与所述第一系数的乘积和所述第二灰度值与所述第二系数的乘积之和作为所述第三灰度值；
24.其中，所述第一系数为所述第一距离与所述第一距离和所述第二距离之和的比值，所述第二系数为所述第二距离与所述第一距离和所述第二距离之和的比值。
25.可选地，所述步骤s3之前还包括：
26.确定所述待填充帧图像内除所述盲区区域以外的第二区域以及所述关键帧图像内对应所述第二区域的第三区域；
27.根据所述第二区域内像素点的最大灰度值跨度和所述第三区域内像素点的最大灰度值跨度，获得所述待填充帧图像与所述关键帧图像间的灰度映射函数；
28.根据所述灰度映射函数校正所述第一区域内像素点映射到填充帧图像的灰度值。
29.可选地，所述盲区填充方法还包括：
30.在所述待填充帧图像上围绕所述盲区区域设置融合过渡区域，所述融合过渡区域的内框线与所述盲区区域的轮廓线重合；
31.确定所述融合过渡区域内像素点的第一灰度值以及所述融合过渡区域内像素点映射至所述关键帧内像素点的第二灰度值；
32.将所述第二灰度值作为所述灰度映射函数的输入，以输出第四灰度值；
33.根据所述第一灰度值、所述第四灰度值和所述融合过渡区域内像素点与所述轮廓线和所述融合过渡区域的外框线的距离关系，确定所述融合过渡区域内每个像素点的第三灰度值，所述融合过渡区域内靠近所述外框线的像素点的所述第三灰度值接近对应的所述第一灰度值，所述融合过渡区域内靠近所述轮廓线的像素点的所述第三灰度值接近对应的
所述第四灰度值。
34.为实现上述目的，本发明还提供了一种全景环视图像的盲区填充装置，包括：
35.确定模块，用于确定关键帧图像；
36.映射模块，用于确定所述关键帧图像后的待填充帧图像内的盲区区域对应所述关键帧图像内的第一区域；
37.填充模块，用于根据所述第一区域填充所述待填充帧图像内的所述盲区区域；
38.循环模块，用于在所述确定模块确定所述关键帧图像后，控制所述获取模块和所述填充模块循环工作，直到所述获取模块获取到一个所述第一区域与所述关键帧图像的边缘存在重合所述待填充帧图像。
39.为实现上述目的，本发明还提供了一种电子设备，包括：
40.处理器；
41.存储器，其中存储有所述处理器的可执行指令；
42.其中，所述处理器配置为经由执行所述可执行指令来执行如上所述的全景环视图像的盲区填充方法。
43.为实现上述目的，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的全景环视图像的盲区填充方法。
44.本发明还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述全景环视图像的盲区填充方法。
45.本发明通过确定关键帧图像，并在关键帧图像内确定待填充帧图像内盲区区域对应的第一区域，根据第一区域填充待填充帧图像内的盲区区域，从而生成无车底盲区的全景环视图像，而本发明所确定的关键帧需要被其后面数帧作为填充的依据，直到一个待填充帧图像对应的第一区域与关键帧图像的边缘存在重合，即直到关键帧无法继续作为填充依据时才将其舍弃，有利于减少在全景环视图像中参与拼接盲区区域的帧数，进而减少帧与帧拼接的割裂感。本发明能够对减少全景环视图像中填充完成的盲区区域的断层感，有利于提高对完成填充的全景环视图像的观感。
附图说明
46.图1是一通过前后帧的图像融合而填补的全景环视图像的示意图。
47.图2是本发明实施例全景环视图像的盲区填充方法流程图。
48.图3是本发明实施例确定关键帧图像内的第一区域的方法流程图。
49.图4是采用本发明所填补的一示例全景环视图像的示意图。
50.图5是本发明实施例全景环视图像的盲区填充装置的示意框图。
51.图6是本发明实施例电子设备的示意框图。
具体实施方式
52.为了详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。
53.请参阅图1，图1为通过前后帧的图像融合而填补的全景环视图像的示意图，其中，填补后的盲区区域1会显示出若干块显示灰度不一致的区域，每块区域之间会显示出类似分割线2的线条，影响观感，造成该现象的原因便是每块区域都是分别来源于不同帧图像，而不同帧图像之间由于阳光等干扰会导致灰度值差距较大，因此拼接时会显现出分割线2，为此，本发明公开了一种全景环视图像的盲区填补方法，减少全景环视图像中填充完成的盲区区域的断层感。
54.具体地，请参阅图2，该方法包括：
55.s1、确定关键帧图像。
56.可以理解的是，关键帧图像为能够为后续待填充帧图像提供填充依据的已完成盲区填充的全局环视图像。
57.s2、确定关键帧图像后的待填充帧图像内的盲区区域对应关键帧图像内的第一区域。
58.具体地，请参阅图3，步骤s2包括：
59.s21、将盲区区域的像素点在待填充帧图像内的第一坐标信息转换至关键帧图像内，以获取第二坐标信息；
60.s22、根据若干第二坐标信息确定关键帧图像内的第一区域。
61.具体来说，可分别通过轮速计以及imu传感器获取车辆在获取关键帧图像和待填充帧图像时的全局坐标，再通过卡尔曼滤波融合分别得到优化后的车辆在获取关键帧图像和待填充帧图像时的全局坐标，根据两帧图像下车辆的全局坐标计算关键帧图像和待填充帧图像之间的rt矩阵，再对rt矩阵进行优化，通过优化后的rt矩阵可计算确定待填充帧图像内盲区区域的像素点转换到关键帧图像内的第二坐标信息，根据第二坐标信息可确定关键帧图像内与待填充帧图像内盲区区域的像素点对应的像素点，进而确定对应的第一区域。
62.确定待填充帧图像内与关键帧图像对应的一区域，将待填充帧图像的该区域转换到关键帧图像内，当两对应区域的灰度梯度差值最小时，确定用于转换的rt矩阵为优化后的rt矩阵。
63.进一步地，步骤s3之前还包括：
64.确定待填充帧图像内除盲区区域以外的第二区域以及关键帧图像内对应第二区域的第三区域；
65.根据第二区域内像素点的最大灰度值跨度和第三区域内像素点的最大灰度值跨度，获得待填充帧图像与关键帧图像间的灰度映射函数；
66.根据灰度映射函数校正第一区域内像素点映射到待填充帧图像的灰度值。
67.可以理解的是，由于关键帧图像和待填充帧图像可能相隔时间较久，两帧之间的灰度值相差较大，若是直接将关键帧图像内的第一区域作为盲区区域的填充，可能导致生成的全局环视图像的原盲区区域与图像不一致，通过灰度映射函数校正第一区域内像素点映射到待检测图像的灰度值，能够消除原盲区区域与图像不一致的视觉效果。
68.具体来说，通过下述公式校正第一区域内像素点映射到待填充帧图像的灰度值：
69.70.上述公式可转换为：
[0071][0072]
其中，关键帧图像内第三区域的像素点的灰度值范围为【o
min
，o
max
】，待填充帧图像内的第二区域的像素点的灰度值范围为【i
min
，i
max
】，待填充帧图像内盲区区域的像素点的灰度校正值为i
ij
，关键帧图像内对应盲区区域的第一区域内的像素点的灰度值为o
ij
。
[0073]
s3、根据第一区域填充待填充帧图像内的盲区区域。
[0074]
可以理解是，根据第一区域填充待填充帧图像内的盲区区域可以是记录第一区域内每个像素点的像素值，并将像素值分别赋予盲区区域内对应的像素点，以填充盲区区域，也可以是直接截取第一区域与盲区区域拼接融合，等等，只要能够将盲区区域正确填充即可，本技术不作限制。
[0075]
重复步骤s2至步骤s3，直到一个待填充帧图像对应的第一区域与关键帧图像的边缘存在重合。判断第一区域与关键帧图像的边缘是否存在重合可通过像素点的坐标是否一致实现。
[0076]
当车辆行驶时获取的待填充帧图像会逐渐远离关键帧图像，若待填充帧图像对应的第一区域与关键帧图像的边缘存在重合时，则意味着该关键帧图像以无法继续作为后续待填充帧图像的填充依据。
[0077]
具体地，本方法还包括：
[0078]
当一待填充帧图像对应的第一区域与关键帧图像的边缘存在重合时，将盲区区域填充完成的该待填充帧图像确定为新的关键帧图像；
[0079]
按照新的关键帧图像重复步骤s2至步骤s3。
[0080]
通过不断更新新的关键帧可持续为后续的待填充帧图像提供填充依据。
[0081]
在一些实施例中，本方法还包括：
[0082]
在待填充帧图像上围绕盲区区域设置融合过渡区域，融合过渡区域的内框线与盲区区域的轮廓线重合；
[0083]
确定融合过渡区域内像素点的第一灰度值以及融合过渡区域内像素点映射至关键帧图像内像素点的第二灰度值(即关键帧图像内对应融合过渡区域的像素点的第二灰度值)；
[0084]
根据第一灰度值、第二灰度值和融合过渡区域内像素点与轮廓线和融合过渡区域的外框线的距离关系，确定融合过渡区域内每个像素点的第三灰度值，融合过渡区域内靠近外框线的像素点的第三灰度值接近对应的第一灰度值，融合过渡区域内靠近轮廓线的像素点的第三灰度值接近对应的第二灰度值。
[0085]
可以理解的是，融合过渡区域的形状在此不作限制，只要能够使融合过渡区域的内框线与盲区区域的轮廓线重合即可。如图4所示，图中的融合过渡区域5为矩形环框区域。
[0086]
通过设置融合过渡区域，并对融合过渡区域内的像素点的灰度值进行调整，能够消除全局环视图像中原盲区区域与图像之间的融合边界的视觉效果。
[0087]
具体来说，“根据第一灰度值、第二灰度值和融合过渡区域内像素点与轮廓线和融合过渡区域的外框线的距离关系，确定融合过渡区域内每个像素点的第三灰度值”包括：
[0088]
确定融合过渡区域内像素点到轮廓线的最短距离为第一距离，确定融合过渡区域
内像素点到外框线的最短距离为第二距离；
[0089]
对融合过渡区域内的像素点对应的第一灰度值和第二灰度值分别生成第一系数和第二系数，并计算第一灰度值与第一系数的乘积和第二灰度值与第二系数的乘积之和作为第三灰度值；
[0090]
其中，第一系数为第一距离与第一距离和第二距离之和的比值，第二系数为第二距离与第一距离和第二距离之和的比值。
[0091]
计算公式如下：
[0092]
g＝w1g1+w2g2[0093][0094][0095]
其中，g为第三灰度值，w1为第一系数，w2为第二系数，g1为第一灰度值，g2为第一灰度值，dista为第一距离，distb为第一距离。
[0096]
在一些实施例中，本方法还包括：
[0097]
在待填充帧图像上围绕盲区区域设置融合过渡区域，融合过渡区域的内框线与盲区区域的轮廓线重合；
[0098]
确定融合过渡区域内像素点的第一灰度值以及融合过渡区域内像素点映射至关键帧内像素点的第二灰度值；
[0099]
将第二灰度值作为灰度映射函数的输入，以输出第四灰度值；
[0100]
根据第一灰度值、第四灰度值和融合过渡区域内像素点与轮廓线和融合过渡区域的外框线的距离关系，确定融合过渡区域内每个像素点的第三灰度值，融合过渡区域内靠近外框线的像素点的第三灰度值接近对应的第一灰度值，融合过渡区域内靠近轮廓线的像素点的第三灰度值接近对应的第四灰度值。
[0101]
通过对关键帧图像内对应融合过渡区域的像素点的像素值进行灰度映射函数的处理，使得这一区域内的像素点的灰度值与待填充帧图像内像素点的灰度值靠近，然后再进行融合过渡区域内像素点的调整，从而获得观感更优的全局环视图像。
[0102]
本发明通过确定关键帧图像，并在关键帧图像内确定待填充帧图像内盲区区域对应的第一区域，根据第一区域填充待填充帧图像内的盲区区域，从而生成无车底盲区的全景环视图像，而本发明所确定的关键帧需要被其后面数帧作为填充的依据，直到一个待填充帧图像对应的第一区域与关键帧图像的边缘存在重合，即直到关键帧无法继续作为填充依据时才将其舍弃，有利于减少在全景环视图像中参与拼接盲区区域的帧数，进而减少帧与帧拼接产生的割裂感。本发明能够对减少全景环视图像中填充完成的盲区区域的断层感，有利于提高对完成填充的全景环视图像的观感。
[0103]
请参阅图5，本发明还提供了一种全景环视图像的盲区填充装置，包括：
[0104]
确定模块100，用于确定关键帧图像。
[0105]
映射模块200，用于确定关键帧图像后的待填充帧图像内的盲区区域对应关键帧图像内的第一区域。
[0106]
填充模块300，用于根据第一区域填充待填充帧图像内的盲区区域。
[0107]
循环模块400，用于在确定模块确定关键帧图像后，控制获取模块和填充模块循环工作，直到获取模块获取到一个第一区域与关键帧图像的边缘存在重合待填充帧图像。
[0108]
本发明能够对减少全景环视图像中填充完成的盲区区域的断层感，有利于提高对完成填充的全景环视图像的观感。
[0109]
请参阅图6，本发明还提供了一种电子设备，包括：
[0110]
处理器40；
[0111]
存储器50，其中存储有处理器40的可执行指令；
[0112]
其中，处理器40配置为经由执行可执行指令来执行如上的全景环视图像的盲区填充方法。
[0113]
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上的全景环视图像的盲区填充方法。
[0114]
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行如上的全景环视图像的盲区填充方法。
[0115]
应当理解，在本发明实施例中，所称处理器可以是中央处理模块(centralprocessing unit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digitalsignal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0116]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random accessmemory，ram)等。
[0117]
以上所揭露的仅为本发明的较佳实例而已，不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，均属于本发明所涵盖的范围。