基于图像融合的图像补偿方法、装置、设备及存储介质与流程

本发明涉及自动驾驶，特别涉及一种基于图像融合的图像补偿方法、装置、设备及计算机可读存储介质。

背景技术：

1、在辅助驾驶及自动驾驶领域中，能准确探知环境深度信息的传感器被广泛的采用，例如激光雷达传感器。但点云会随距离的增加会越发稀疏，远距离的行人，车辆等物体常常只有一个平面，并且物体遮挡也常常导致数据缺失，因此对目标感知带来不利影响。现有技术中一些方案采用图像和雷达结合的方法，通过图像识别及分割策略分割出不同区域，然后将点云补全，得到稠密点云，但此方案填充点云的会出现失真，而且也存在远距离像素稀疏，物体遮挡等问题，只能补全一部分不受遮挡影响的点云。因此对于车辆前方的较远距离的环境，像素很稀疏，远距离的目标信息比较少，识别精度不高，另外在物体有遮挡时，信息也会缺失，也会影响目标检测的精度。

技术实现思路

1、为了解决现有存在的技术问题，本发明实施例提供一种基于图像融合的图像补偿方法、装置、设备及计算机可读存储介质，能通过结合历史帧中的信息对当前帧中的信息进行补偿，可以使车辆设备在行驶过程中不断地积累目标的特征数据，而且在匹配拼接过程中，引入了二维检测数据中的颜色信息，增加了更多的特征，提高了目标检测的准确度，从而提高驾驶安全。

2、第一方面，提供一种基于图像融合的图像补偿方法，包括：

3、获取车辆设备在行驶过程中同步采集的当前帧下的三维点云图像及当前帧下的可见光图像；

4、基于当前帧下的三维点云图像及当前帧下的可见光图像，获取待优化目标的当前帧下的当前检测数据，所述当前检测数据包括基于当前帧下的三维点云图像得到的当前三维检测数据，及基于当前帧下的可见光图像得到的当前二维检测数据；

5、获取所述待优化目标的历史检测数据，所述历史检测数据是从所述当前帧对应的历史帧获取到的数据，所述历史检测数据包括历史三维检测数据及历史二维检测数据；

6、对所述待优化目标的当前检测数据及所述历史检测数据进行拼接，得到所述待优化目标对应的三维拼接彩色点云图；

7、基于所述待优化目标对应的三维拼接彩色点云图，修正所述待优化目标的当前三维检测数据。

8、第二方面，提供一种车辆设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行本申请实施例所提供的基于图像融合的图像补偿方法的步骤。

9、第三方面，提供一种存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行本申请实施例所提供的基于图像融合的图像补偿方法的步骤。

10、在上述实施例中，获取待优化目标的当前帧下的三维点云图像及当前帧下的可见光图像，从而获取待优化目标的当前帧下的当前三维检测数据及当前二维检测数据，并获取待优化目标的历史三维检测数据及历史二维检测数据，对所述待优化目标的当前检测数据及所述历史检测数据进行拼接，得到所述待优化目标对应的三维拼接彩色点云图，这样三维拼接彩色点云图包括历史帧中的点云信息及历史帧的颜色信息，因此三维拼接彩色点云图包括更多的信息，这样可以对当前三维检测数据中进行补偿。通过结合历史帧中的信息对当前帧中的信息进行补偿，可以使车辆设备在行驶过程中不断地积累目标的特征数据，从而提高目标跟踪的准确度，而且在匹配拼接过程中，引入了二维检测数据中的颜色信息，增加了更多的特征，提高了目标检测的准确度，从而提高驾驶安全。

技术特征：

1.一种基于图像融合的图像补偿方法，其特征在于，所述方法包括：

2.如权利要求1所述的基于图像融合的图像补偿方法，其特征在于，所述基于当前帧下的三维点云图像及当前帧下的可见光图像，获取待优化目标的当前帧下的当前检测数据包括：

3.如权利要求2所述的基于图像融合的图像补偿方法，其特征在于，所述从所述至少一个三维目标及所述至少一个二维目标中获取至少一个相同目标，并将至少一个相同目标的当前三维检测数据及当前二维检测数据相绑定包括：

4.如权利要求2所述的基于图像融合的图像补偿方法，其特征在于，所述从所述至少一个相同目标中确定所述待优化目标包括：

5.如权利要求1所述的基于图像融合的图像补偿方法，其特征在于，所述当前二维检测数据及所述历史二维检测数据包括颜色信息，所述对所述待优化目标的当前检测数据及所述历史检测数据进行拼接，得到所述待优化目标对应的三维拼接彩色点云图包括：

6.如权利要求1所述的基于图像融合的图像补偿方法，其特征在于，所述基于所述待优化目标对应的三维拼接彩色点云图，修正所述待优化目标的当前三维检测数据包括：

7.如权利要求1至6中任一项所述的基于图像融合的图像补偿方法，其特征在于，所述待优化目标的当前三维检测数据的三维检测框中内的点云数量大于预设点云数量。

8.如权利要求1至6中任一项所述的基于图像融合的图像补偿方法，其特征在于，所述方法还包括：

9.一种车辆设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8任一项所述方法的步骤。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至8任一项所述方法的步骤。

技术总结
本发明公开一种基于图像融合的图像补偿方法、装置、设备及存储介质，所述方法包括:获取车辆设备在行驶过程中同步采集的当前帧下的三维点云图像及当前帧下的可见光图像；基于当前帧下的三维点云图像及当前帧下的可见光图像，获取待优化目标的当前帧下的当前检测数据，获取所述待优化目标的历史检测数据，所述历史检测数据是从所述当前帧对应的历史帧获取到的数据；对所述待优化目标的当前检测数据及所述历史检测数据进行拼接，得到所述待优化目标对应的三维拼接彩色点云图；基于所述待优化目标对应的三维拼接彩色点云图，修正所述待优化目标的当前三维检测数据。

技术研发人员：王星宇,陈洋,冯站银,石本义,梁林林,童城
受保护的技术使用者：合肥英睿系统技术有限公司
技术研发日：
技术公布日：2024/3/27