图像处理方法及装置、电子设备、存储介质与流程

本技术涉及计算机领域，具体而言，涉及一种图像处理方法及装置、电子设备、存储介质、程序产品。

背景技术：

1、为进行自动驾驶、智能导航等，通常需要对移动对象（例如，车辆等）所处的环境进行拍摄，以基于拍摄得到的图像检测移动对象所处的环境中的障碍物、车道线、红绿灯等目标。为提升检测全面性，可以从不同视角对移动对象所处的环境进行拍摄。

2、相关技术中，在拍摄得到多张视角不同的图像后，通常对多张图像分别进行检测，再根据多张图像分别对应的检测结果确定最终的检测结果，由于单张图像的视角有限、受不利因素的影响较大，单张图像的质量较低，根据单张图像进行检测容易出现目标分裂、目标闪现等问题，使得单张图像的检测准确度较低，进而降低了最终的检测结果的准确度。

技术实现思路

1、本技术的实施例提供了一种图像处理方法及装置、电子设备、存储介质、程序产品，可以提升环境图的质量，进而提升检测准确度。

2、根据本技术实施例的一个方面，提供了一种图像处理方法，所述方法包括：

3、获取针对移动对象在指定时刻所处的环境拍摄得到的多张环境图；其中，所述多张环境图对应的视角不完全相同；对所述多张环境图进行融合，得到所述移动对象在所述指定时刻的全景环境图；查找所述移动对象在历史时刻的历史全景环境图，以及所述移动对象在所述历史时刻与所述指定时刻之间的移动信息；其中，所述历史时刻早于所述指定时刻；根据所述移动信息以及所述历史全景环境图，对所述全景环境图进行修正。

4、根据本技术实施例的一个方面，提供了一种图像处理装置，所述装置包括：

5、获取模块，配置为获取针对移动对象在指定时刻所处的环境拍摄得到的多张环境图；其中，所述多张环境图对应的视角不完全相同；融合模块，配置为对所述多张环境图进行融合，得到所述移动对象在所述指定时刻的全景环境图；查找模块，配置为查找所述移动对象在历史时刻的历史全景环境图，以及所述移动对象在所述历史时刻与所述指定时刻之间的移动信息；其中，所述历史时刻早于所述指定时刻；修正模块，配置为根据所述移动信息以及所述历史全景环境图，对所述全景环境图进行修正。

6、在一示例性实施例中，基于前述方案，该装置还包括检测模块，配置为：对修正后的全景环境图和所述历史全景环境图中位于同一位置的像素点的像素参数进行拼接，得到融合全景环境图；根据所述融合全景环境图检测所述移动对象在所述指定时刻所处的环境中包含的障碍物，得到障碍物检测结果；其中，所述障碍物检测结果中包含障碍物的位置、尺寸、方向角、移动速度中的至少一种。

7、在一示例性实施例中，基于前述方案，在所述移动信息包含所述移动对象在所述历史时刻与所述指定时刻之间的移动速度和移动方向的条件下，所述修正模块具体配置为：根据所述移动速度、以及所述历史时刻与所述指定时刻之间的时差，计算所述移动对象在所述历史时刻与所述指定时刻之间的移动距离；根据所述移动距离和所述移动方向，查找所述历史全景环境图与所述全景环境图的重叠区域；根据所述历史全景环境图中处于所述重叠区域内的第一图像数据，对所述全景环境图中处于所述重叠区域内的第二图像数据进行修正。

8、在一示例性实施例中，基于前述方案，所述修正模块具体配置为：根据所述历史全景环境图中所述重叠区域与所述移动对象之间的距离计算所述第一图像数据对应的权重，并根据所述全景环境图中所述重叠区域与所述移动对象之间的距离计算所述第二图像数据对应的权重；其中，权重与距离负相关；根据计算出的权重对所述第一图像数据和所述第二图像数据进行融合，得到修正后的第二图像数据。

9、在一示例性实施例中，基于前述方案，所述融合模块具体配置为：对所述多张环境图分别进行特征提取，得到多张特征图；其中，所述多张特征图中包含所述多张环境图分别对应的特征图；对所述多张特征图进行融合，得到所述全景环境图。

10、在一示例性实施例中，基于前述方案，所述融合模块具体配置为：按照多种下采样参数分别对每张环境图进行下采样处理，得到所述每张环境图对应的多张初始特征图；对所述多张初始特征图进行融合，得到所述每张环境图对应的特征图。

11、在一示例性实施例中，基于前述方案，所述融合模块具体配置为：对每张初始特征图中包含的图像数据进行降维处理，得到降维处理后的多张初始特征图；其中，所述降维处理后的多张初始特征图所包含的图像数据的维度相匹配；从降维处理后的多张初始特征图中筛选出尺寸最大的目标初始特征图以及除所述目标初始特征图之外的其他初始特征图；对所述其他初始特征图进行上采样处理，得到所对应的尺寸与所述目标初始特征图的尺寸相匹配的其他初始特征图；对所述目标初始特征图和上采样处理后的其他初始特征图分别包含的图像数据进行融合，得到所述每张环境图对应的特征图。

12、在一示例性实施例中，基于前述方案，所述融合模块具体配置为：获取每张特征图对应的图像坐标系与所述全景环境图对应的世界坐标系之间的坐标转换参数；对所述每张特征图中包含的每个像素点的深度进行检测，得到所述每个像素点的深度值；根据所述坐标转换参数、所述每个像素点的深度值，以及所述每个像素点在所述图像坐标系中的坐标，计算所述每个像素点在所述世界坐标系中对应的世界坐标；根据所述每个像素点对应的世界坐标，将所述每个像素点映射至所述世界坐标系中，得到所述全景环境图。

13、在一示例性实施例中，基于前述方案，所述融合模块具体配置为：根据所述每个像素点对应的世界坐标，查找所述每个像素点在所述全景环境图中所对应的目标像素点；若所述多张特征图中存在多个像素点对应于同一目标像素点，则对所述多个像素点的像素参数进行融合，得到所述同一目标像素点的像素参数。

14、在一示例性实施例中，基于前述方案，所述融合模块具体配置为：根据多个指定深度对所述每个像素点的像素参数进行检测，得到所述每个像素点在所述多个指定深度分别对应的像素参数；根据所述多个指定深度对所述每个像素点的深度进行检测，得到所述每个像素点的深度概率分布；其中，所述深度概率分布中包含所述每个像素点的深度属于每个指定深度的概率；根据所述每个像素点的深度概率分布，对所述每个像素点在所述多个指定深度分别对应的像素参数进行融合，得到所述每个像素点的融合像素参数；根据所述每个像素点对应的世界坐标，查找所述每个像素点在所述全景环境图中所对应的目标像素点，并根据所述每个像素点的融合像素参数更新所述目标像素点的像素参数。

15、在一示例性实施例中，基于前述方案，在所述世界坐标系是以所述移动对象所处的位置为原点建立的三维坐标系的条件下，所述融合模块具体配置为：根据所述每个像素点对应的世界坐标，计算所述每个像素点与所述移动对象之间的水平距离；若所述水平距离处于设定距离区间，则将所述每个像素点映射至所述世界坐标系中；若所述水平距离没有处于所述设定距离区间，则丢弃所述每个像素点。

16、在一示例性实施例中，基于前述方案，在所述世界坐标系是以所述移动对象所处的位置为原点建立的三维坐标系的条件下，所述融合模块具体配置为：根据所述每个像素点对应的世界坐标，计算所述每个像素点与所述移动对象之间的高度差；若所述高度差小于或等于设定高度阈值，则将所述每个像素点映射至所述世界坐标系中；若所述高度差大于所述设定高度阈值，则丢弃所述每个像素点。

17、根据本技术实施例的一个方面，提供了一种电子设备，包括：

18、一个或多个处理器；存储装置，用于存储一个或多个计算机程序，当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述电子设备实现如前所述的图像处理方法。

19、根据本技术实施例的一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被电子设备的处理器执行时，使电子设备实现如前所述的图像处理方法。

20、根据本技术实施例的一个方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如前所述的图像处理方法。

21、在本技术的实施例所提供的技术方案中，在获取到针对移动系在指定时刻所处的环境拍摄得到的、且所对应的视角不完全相同的多张环境图后，先对多张环境图进行融合，得到移动对象在指定时刻的全景环境图，并查找移动对象在早于指定时刻的历史时刻的历史全景环境图，以及移动对象在历史时刻与指定时刻之间的移动信息，从而根据移动信息以及历史全景环境图对指定时刻的全景环境图进行修正，相比相关技术，一方面，指定时刻的全景环境图融合了指定时刻对应的视角不完全相同的多张环境图，不仅扩大了全景环境图的视角，并且，融合过程中多张环境图能够互相补偿，降低了不利因素的影响，提升了全景环境图的质量，基于该全景环境图进行检测等，可以避免目标分裂、目标闪现等问题，提升检测准确度；另一方面，基于历史时刻的历史全景环境图以及移动对象的移动信息对指定时刻的全景环境图进行修正，可以进一步提升指定时刻的全景环境图的质量，从而进一步提升检测准确度。

22、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。