图像处理方法、图像处理装置、存储介质和电子设备与流程

本公开涉及图像处理领域。具体而言，涉及一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备。

背景技术：

在图像处理领域中，具有环境探测和感知设备功能的激光雷达设备得到了重视。激光雷达通过激光测量原理得到的点云称为激光点云，具有三维坐标和激光反射强度等信息。

当一束激光照射到物体表面时，所反射的激光会携带方位、距离等信息。激光器对于一目标对象发出激光束，并按照某种轨迹进行扫描，边扫描边记录反射的激光点信息，通过极为精细的扫描，可以获取大量的激光点信息，因而就可形成激光点云。

然而，在环境较差的场景中，激光雷达即使采用精密设备和极为精细的扫描获取激光点信息，形成的激光点云质量依旧很差。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现要素：

本公开的目的在于提供一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致激光点云数据质量差的问题。

根据本公开的第一个方面，提供了一种图像处理方法，包括：获取待处理的激光点云数据和对应的拍摄图像；利用激光点云数据生成待处理的激光图像；将拍摄图像和激光图像输入训练后的模型，确定激光特征图；确定激光特征图中各特征点的深度信息，并基于激光特征图中各特征点的深度信息得到处理后的激光点云数据。

根据本公开的第二个方面，提供一种图像处理装置，包括：对象获取模块，用于获取待处理的激光点云数据和对应的拍摄图像；图像生成模块，用于利用激光点云数据生成待处理的激光图像；特征图确定模块，用于将拍摄图像和激光图像输入训练后的模型，确定激光特征图；激光点云确定模块，用于确定激光特征图中各特征点的深度信息，并基于激光特征图中各特征点的深度信息得到处理后的激光点云数据。

可选地，对象获取模块包括：点云数据获取单元，用于利用激光雷达获取待处理的激光点云数据；图像获取单元，用于利用相机获取与激光点云数据对应的拍摄图像；其中，激光雷达和相机位置对准，以使激光雷达扫描的场景与相机拍摄的场景一致。激光雷达和相机还可配置为：激光雷达和相机之间的俯仰角小于第一预设阈值，且激光雷达和相机之间的距离小于第二预设阈值。

可选地，激光点云确定模块包括：特征采样单元，用于对激光特征图进行采样，得到中间特征图；特征点确定单元，用于确定中间特征图中各特征点的深度信息，并基于中间特征图中各特征点的深度信息，得到处理后的激光点云数据。

可选地，图像处理装置还包括：图像去噪模块，用于利用训练后的模型对拍摄图像进行去噪处理，以得到去噪后的拍摄图像。

可选地，特征图确定模块包括：图像确定单元，用于确定激光图像的采集范围，并获取与采集范围匹配的拍摄图像作为待处理拍摄图像；图像对准单元，用于若激光图像的尺寸小于待处理拍摄图像的尺寸，对激光图像进行插值处理，以使激光图像和所述待处理拍摄图像的分辨率对准；特征图确定单元，用于将对准后的激光图像和待处理拍摄图像输入训练后的模型，确定激光特征图。

可选地，图像处理装置还包括：模型训练模块，可以被配置为执行：获取多组训练样本，每组训练样本包括存在异常对象的同一场景下获取的样本激光点云数据和样本拍摄图像，以及不包含异常对象的正常图像；利用样本激光点云数据、样本拍摄图像以及正常图像对一待训练模型进行训练，以得到训练后的模型。

可选地，模型训练模块还可以被配置为执行：利用样本激光点云数据生成样本激光图像；对样本拍摄图像和样本激光图像进行下采样，确定中间图像特征；从中间图像特征中分别提取透射率特征、图像辐射特征和样本激光特征；利用图像辐射特征、样本拍摄图像以及透射率特征确定出目标预测图像；根据目标预测图像与正常图像的比较结果以及样本激光特征对一待训练模型进行训练，以得到训练后的模型。

可选地，模型训练模块还可以被配置为执行：根据目标预测图像和基准拍摄图像计算得出第一损失函数；根据样本激光特征和基准激光图像计算得出第二损失函数；基于样本激光特征和图像辐射特征计算得出第三损失函数；基于目标预测图像获取图像灰度特征，并根据图像灰度特征和样本激光特征计算得出第四损失函数；基于目标预测图像和正常图像计算得出第五损失函数；基于第一损失函数、第二损失函数、第三损失函数、第四损失函数以及第五损失函数确定出总损失函数；利用目标预测图像与正常图像的比较结果以及确定出的总损失函数对一待训练模型进行训练，以得到训练后的模型。其中，每组训练样本还包括与样本拍摄图像对应的不存在异常对象的基准拍摄图像和基准激光图像。

可选地，模型训练模块还可以被配置为执行：确定样本激光图像的采集范围，并获取与采集范围匹配的样本拍摄图像作为中间拍摄图像；若样本激光图像的尺寸小于中间拍摄图像的尺寸，对样本激光图像进行插值处理，以使样本激光图像和中间拍摄图像的分辨率对准；针对对准后的样本激光图像和中间拍摄图像进行下采样，确定中间图像特征。

根据本公开的第三个方面，提供一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现如上述的图像处理方法。

根据本公开的第四个方面，提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现如上述的图像处理方法。

本公开的示例性实施例具有以下有益效果：

在本公开的一些实施例所提供的技术方案中，首先，获取待处理的激光点云数据和对应的拍摄图像；接下来，利用激光点云数据生成待处理的激光图像；然后，将拍摄图像和激光图像输入训练后的模型，确定激光特征图；随后，确定激光特征图中各特征点的深度信息，并基于激光特征图中各特征点的深度信息得到处理后的激光点云数据。一方面，将待处理的激光点云数据生成激光图像，并将激光图像和拍摄图像输入训练后的模型进行图像处理后，得到处理后激光图像，进而基于激光图像各特征点的深度信息得出处理后的激光点云数据，提高了获取激光点云数据的深度信息的能力，进而可以增强激光点云的质量。另一方面，利用激光点云数据生成待处理的激光图像，使得输入训练后模型的对象的类型相同，提高了激光点云数据的处理效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示意性示出了雾霾天气下的图像合成原理示意图；

图2示意性示出了根据本公开的示例性实施方式的生成对抗网络的结构示意图；

图3示意性示出了根据本公开的示例性实施方式的图像处理方法的流程图；

图4示意性示出了根据本公开的示例性实施方式的图像处理装置的方框图；

图5示意性示出了根据本公开的示例性实施方式的对象获取模块的方框图；

图6示意性示出了根据本公开的示例性实施方式的激光点云确定模块的方框图；

图7示意性示出了根据本公开的另一示例性实施方式的图像处理装置的方框图；

图8示意性示出了根据本公开的示例性实施方式的特征图确定模块的方框图；

图9示意性示出了根据本公开的另一示例性实施方式的图像处理装置的方框图；

图10示意性示出了根据本公开的示例性实施方式的电子设备的方框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，本公开所用的术语“第一”、“第二”仅是为了区分的目的，不应当作为本公开内容的限制。

在人工智能领域中，激光雷达作为环境探测和感知设备之一，用来采集激光点云图像。其中，激光点云是由三维空间下稀疏激光扫描点合成的，并具有三维坐标和激光反射强度等信息。在恶劣的环境下，激光雷达采集到的激光反射强度低，深度信息误差大，导致采集到激光点云的质量受损。以雾霾天气的图像为例，在现有的技术中，雾霾图像的形成原理有一个常用的物理模型，即大气散射模型。如图1所示，拍摄系统接收的光来源于物体本身和跟物体距离相关的大气光照两部分组成，则基于该模型得出雾霾图像的合成公式，见公式1：

c(x)＝c′(x)t(x)+a(1-t(x))(公式1)

其中，c(x)是为雾霾图像，c′(x)为场景的原始辐射图，a为全局大气光照，t(x)＝exp(-βd(x))为场景深度d(x)相关的透射率。为了增强激光点云的质量和对具有异常信息图像进行处理，本公开则结合激光点云数据和图像相关的现有技术提供了一种生成对抗网络，参考图2。

如图2示意性示出了本公开的示例性实施方式的生成对抗网络。本公开采用该生成对抗网络，且生成对抗网络可以包括生成网络和判别网络。参考图2，该生成网络可以包括级联层、密集卷积块(denseblock)、下采样层、卷积层、上采样层、激励层、批归一化层、全连接层和概率归一化层(sigmoid)等。w可以表示图像的宽，h可以表示图像的高。例如，w×h×3可以表示拍摄图像的数据尺寸为w×h，通道数为3。

另外，生成网络的参数可以设置如下：密集卷积块中的卷积块数为5；下采样层可以包括2×2的卷积核，且执行步长为2的操作；上采样层可以进行2倍上采样；激励层的参数可以为0.2；全连接层的输出为512维。

具体地，首先，将样本激光图像和对应的样本拍摄图像输入至级联层，得到级联后的图像数据；然后，将图像数据输入密集卷积块和下采样层，提取出中间图像特征；

其次，将中间图像特征输入至第一子网络得到透射率特征，第一子网络执行的操作包括级联的第一卷积层、批归一化层、激励层、第二卷积层、批归一化层、激励层、全连接层、激励层、全连接层和概率归一化层，其中，第一卷积层包括128个大小为3×3且步长为2的卷积核，第二卷积层包括64个大小为3×3且步长为2的卷积核；

将中间图像特征输入至第二子网络得到图像辐射特征，第二子网络执行的操作包括级联的第三卷积层、上采样层、激励层、第四卷积层、上采样层、激励层和第五卷积层，其中，第三卷积层包括128个大小为3×3且步长为1的卷积核，第四卷积层包括64个大小为3×3且步长为1的卷积核，第五卷积层包括1个大小为3×3且步长为1的卷积核；

将中间图像特征输入至第三子网络得到样本激光特征，第三子网络执行的操作包括级联的第六卷积层、上采样层、激励层、第七卷积层、上采样层、激励层和第八卷积层，其中，第六卷积层包括128个大小为3×3且步长为1的卷积核，第七卷积层包括64个大小为3×3且步长为1的卷积核，第八卷积层包括2个大小为3×3且步长为1的卷积核；

再次，根据样本拍摄图像、图像辐射特征和透射率特征确定出目标预测图像；接着，将目标预测图像和正常图像输入判别网络进行比较；随后，根据比较结果和样本激光特征对生成网络进行训练。在生成阶段，将待处理的激光图像和对应的拍摄图像输入训练后的生成网络，得到处理后的激光特征图、去噪后的拍摄图像和图像灰度特征。

下面对本公开示例性实施方式的图像处理方法进行说明。需要注意的是，在本公开的示例性实施方式中，下面的图像处理方法通常可以由终端设备(如，手机、平板、个人计算机等)来实现，以便可以对终端设备拍摄的图像进行实时处理。在这种情况下，图像处理装置可以配置在该终端设备内。然而，在对实时性要求不高的场景下，图像处理方法还可以由服务器来实现，也就是说，可以由服务器执行图像处理方法的各个步骤，在这种情况下，图像处理装置可以配置在该服务器内。本公开对此不做特殊限制。

图3示意性示出了本公开的示例性实施方式的图像处理方法的流程图。参考图3，图像处理方法可以包括以下步骤：

s302.获取待处理的激光点云数据和对应的拍摄图像。

其中，拍摄图像是指包含异常对象的且还未进行图像处理的图像。激光点云数据是指与拍摄图像是在同一场景中获取的相同的拍摄物体。

异常对象可以是拍摄环境中会影响图像质量的对象，例如，雾霾、雾气、沙尘暴等空气中的各种悬浮颗粒。正常图像可以是从网络数据库中获取到的，与样本拍摄图像的拍摄物体相同的图像。

此外，本公开可以利用激光雷达获取待处理的激光点云数据，利用相机获取与激光点云数据对应的拍摄图像。其中，相机可以作为一个独立的终端设备，也可以是集成在其他终端设备的相机。

另外，为了使相机和激光雷达可以在同一场景和同一时间的情况下采集各自对应的图像，也就是说，使得相机和激光雷达在同一场景和同一时间的情况下采集的对象基本相同。根据本公开的一个实施例，激光雷达和相机可以位置对准，以使激光雷达扫描的场景与相机拍摄的场景一致。具体的步骤可以是，激光雷达和相机之间的俯仰角小于第一预设阈值，且激光雷达和相机之间的距离小于第二预设阈值。

第一预设阈值可以是一个预设的固定角度阈值，也可以是根据拍摄环境需要进行调整的动态角度阈值。例如，固定角度阈值和动态角度阈值都可以是0.1度、0.5度、1度等。

第二预设阈值可以是预设的固定距离阈值，也可以是根据拍摄地点需要进行调整的动态距离阈值。例如，固定距离阈值和动态距离阈值都可以是1厘米、5厘米等。

需要说明的是，在拍摄前，也可以指定该同一坐标与待拍摄物体的距离超过固定阈值，例如，固定阈值可以是5米、10米等。

例如，在沙尘暴环境中，激光雷达和相机处于同一位置并且同时拍摄了一个物体，获取该物体的激光点云数据和拍摄图像。其中，为了确定同一位置，首先，将激光雷达和相机可以固定在一个支架上，然后，确定激光雷达和相机之间的俯仰角在预设阈值内，激光雷达和相机之间的距离在预设阈值内，使得激光雷达和相机尽可能保持在误差范围内的同一位置进行采集。

s304.利用激光点云数据生成待处理的激光图像。

其中，激光点云数据可以是三维的特征点数据的集合，每个特征点数据可以包含特征点的深度信息。激光图像可以是包含深度特征的图像。

例如，将激光点云数据在球面坐标系下进行空间投影，生成一个球面激光扫描图，且该球面激光扫描图的深度特征可以由公式2计算：

d(x)＝exp(-β*depth(x))*255(公式2)

其中，depth(x)为激光点云数据的特征点的深度信息，β为归一化系数。

s306.将拍摄图像和激光图像输入训练后的模型，确定激光特征图。

在本公开的示例性实施方式中，在将图像输入训练后的模型之前，可以对拍摄图像和激光图像进行分辨率对准。其中，分辨率对准是指调整拍摄图像和样本激光图像的分辨率大小，使两者的分辨率相同。

具体地，首先，可以确定激光图像的采集范围，并获取与采集范围匹配的拍摄图像作为待处理拍摄图像；接着，若激光图像的尺寸小于待处理拍摄图像的尺寸，对激光图像进行插值处理，以使激光图像和所述待处理拍摄图像的分辨率对准；随后将对准后的激光图像和待处理拍摄图像输入训练后的模型，确定激光特征图。

对激光图像进行插值处理是指，根据激光图像分辨率的实际情况选择不同的插值方法进行处理，例如：有些激光点是无效的，可以进行选择性插值。有些激光图像需要进行扩充，则可以选择扫描线插值。插值方法包括但不限于一下方法：最近邻居插值法、二次插值法等。

另外，本公开可以通过参考图2的生成对抗网络对一待训练的模型进行训练，得到训练后的模型。其中，训练模型的步骤通常可以由服务器来实现，也就是说，可以由服务器执行训练该模型的各个步骤。

对一待训练的模型的训练步骤可以包括：服务器可以获取多组训练样本，且每组训练样本包括存在异常对象的同一场景下获取的样本激光点云数据和样本拍摄图像，以及不包含异常对象的正常图像；并利用样本激光点云数据、样本拍摄图像以及正常图像对一待训练模型进行训练，以得到训练后的模型。

本公开可以利用激光雷达获取存在异常对象的同一场景下获取的样本激光点云数据；利用相机获取与样本激光点云数据对应的样本拍摄图像。其中，相机可以作为一个独立的终端设备，也可以是集成在其他终端设备的相机。需要说明的是，激光雷达和相机的位置关系在步骤s302中已进行了说明，此处不再赘述。

根据本公开的另一个实施例，具体地，服务器首先可以利用样本激光点云数据生成样本激光图像，然后，对样本拍摄图像和样本激光图像进行下采样，确定中间图像特征，其次，从中间图像特征中分别提取透射率特征、图像辐射特征和样本激光特征，再次，利用图像辐射特征、样本拍摄图像以及透射率特征确定出目标预测图像，随后，根据目标预测图像与正常图像的比较结果以及样本激光特征对一待训练模型进行训练，以得到训练后的模型。

在本公开的示例性实施方式中，样本激光点云数据与步骤s304中的激光点云数据的类型相同，样本激光图像与步骤s304中的待处理的激光图像类型相同，此处不再赘述。

确定中间图像特征可以指，服务器可以将样本拍摄图像和样本激光图像进行级联，并将级联后的图像数据输入密集卷积块和下采样层，得出中间图像特征。

需要注意的是，虽然，本公开在同一场景下，针对同一对象获取得到样本拍摄图像和样本激光点云数据，然而，两者的空间分辨率并不能对准，即样本拍摄图像和样本激光图像也可能分辨率不同。

在本公开的另一示例性实施方式中，需要在进行模型训练前对获取的样本拍摄图像和样本激光图像进行分辨率对准。

也就是说，首先，服务器确定样本激光图像的采集范围，并获取与采集范围匹配的样本拍摄图像作为中间拍摄图像，然后，对样本激光图像和中间拍摄图像的尺寸进行比较，若样本激光图像的尺寸小于中间拍摄图像的尺寸，对样本激光图像进行插值处理，以使样本激光图像和中间拍摄图像的分辨率对准，随后，针对对准后的样本激光图像和中间拍摄图像进行下采样，确定中间图像特征。

对样本激光图像进行插值处理是指，根据样本激光图像分辨率的实际情况选择不同的插值方法进行处理。此处使用插值方法与上述插值方法相同，不再进行赘述。

从中间图像特征中分别提取是指，将中间图像特征输入三个子网络后分别提取出与样本拍摄图像相关的特征。其中，三个子网络是根据处理样本拍摄图像的预期目标确定的。也就是说，透射率特征、图像辐射特征和样本激光特征是预期目标需要的三个与样本拍摄图像相关的特征。目标预测图像可以是通过生成网络对样本拍摄图像进行去噪处理后，得到的去噪图像。例如，针对雾霾图像，目标预测图像可以是去掉雾霾图像中的雾霾后的图像。

在本公开的示例性实施方式中，服务器可以将目标预测图像与正常图像输入至判别网络进行比较，然后根据得到的比较结果和样本激光特征对一待训练模型进行训练，以得到训练后的模型。其中，比较结果可以表征目标预测图像与正常图像之间是否相同的概率，例如，比较结果可以是0-1之间的数值，且包含0和1。如，0可以表征目标预测图像与正常图像完全不同，1可以表征目标预测图像与正常图像相同，0-1之间的数值则可以表征目标预测图像与正常图像之间的相同的概率，也可以表征目标预测图像与正常图像之间的不相同的概率。另外，1可以表征目标预测图像与正常图像完全不同，0可以表征目标预测图像与正常图像相同。

在本公开的另一示例性实施方式中，每组训练样本还包括与样本拍摄图像对应的不存在异常对象的基准拍摄图像和基准激光图像。其中基准拍摄图像是与样本拍摄图像的拍摄物体相同、获取图像的终端设备坐标相同、不包含异常对象的图像。基准激光图像是指与样本拍摄图像的拍摄物体相同、获取图像的终端设备坐标相同、不包含异常对象的激光图像。

服务器可以通过基准拍摄图像、基准激光图像、样本拍摄图像、样本激光图像以及正常图像可以计算出损失函数，然后，利用目标预测图像与正常图像的比较结果和损失函数对一待训练模型进行训练，以得到训练后的模型。

损失函数计算过程包括：根据目标预测图像和基准拍摄图像计算得出第一损失函数；根据样本激光特征和基准激光图像计算得出第二损失函数；基于样本激光特征和图像辐射特征计算得出第三损失函数；基于目标预测图像获取图像灰度特征，并根据图像灰度特征和样本激光特征计算得出第四损失函数；基于目标预测图像和正常图像计算得出第五损失函数；基于第一损失函数、第二损失函数、第三损失函数、第四损失函数以及第五损失函数确定出总损失函数。

总损失函数可以包括第一损失函数、第二损失函数、第三损失函数、第四损失函数以及第五损失函数，因此，总损失函数可以由上述五个损失函数确定得到。

第一损失函数、第二损失函数、第三损失函数、第四损失函数以及第五损失函数都是将上述特征代入相应的计算公式中得到的。需要说明的是，第一损失函数、第二损失函数、第三损失函数、第四损失函第五损失函数以及总损失函数可以是人为设定的计算公式。

以雾霾图像为例，第一损失函数公式，见公式3：

l1＝exp(-λ1mean(g_c-c′))(公式3)

其中，l1可以表征第一损失函数，g_c可以表征基准拍摄图像，c′可以表征目标预测图像，λ1可以表征第一损失函数的参数值，mean(·)可以表征颜色差均值。

第二损失函数公式，见公式4：

l2＝exp(-λ2mean(g_l-l′))(公式4)

其中，l2可以表征第二损失函数，g_l可以表征基准激光图像，l′可以表征样本激光特征，λ2可以表征第二损失函数的参数值，mean(·)可以表征深度差和图像辐射度差的均值。

第三损失函数公式，见公式5：

l3＝exp(-λ3mean(d′-t))(公式5)

其中，l3可以表征第三损失函数，d′可以表征样本激光特征的激光深度图，t可以表征图像辐射图，λ3可以表征第三损失函数的参数值，mean(·)可以表征激光深度图和图像辐射图的均值。

第四损失函数公式，见公式6：

l4＝exp(-λ4mi(i′,g))(公式6)

其中，l4可以表征第四损失函数，g可以表征样本激光特征的激光强度图，i′可以表征目标预测图像的图像灰度特征，λ4可以表征第四损失函数的参数值，mi(·)可以表征互信息函数。

第五损失函数l5可以是现有生成对抗网络的误差函数，见公式7：

l5＝exlog(d(x))+ezlog(g(z))(公式7)

其中，e(·)可以表征概率期望，g(z)可以表征样本拍摄图像通过模型后得到的图像，可以包括目标预测图像，d(x)可以表征输入判别网络的正常图像。

则总损失函数公式，见公式8：

l＝γ1l1+γ2l2+γ3l3+γ4l4+γ5l5(公式8)

其中，l可以表征损失函数，γi∈[0,1]为权重系数，满足γ1+γ2+γ3+γ4+γ5＝1。

本公开可以使用多组训练样本训练一待训练的模型，通过不断地调整网络参数，使得生成对抗网络的总损失函数最小，进而得到训练后的模型。

另外，根据本公开的另一个实施例，可以利用训练后的模型对拍摄图像进行去噪处理，以得到去噪后的拍摄图像。

拍摄图像可以是包含异常对象的且还未进行图像处理的图像，例如，在沙尘暴环境中，拍摄一物体获取的拍摄图像，该拍摄图像中包含沙尘物，需要对拍摄图像进行去噪处理。

本公开利用训练后的模型对拍摄图像进行去噪的步骤可以包括：利用该模型可以得到与拍摄图像相关的图像辐射特征和透射率特征，接着，将图像辐射特征、透射率特征以及拍摄图像，代入图像去噪的合成公式，计算得到去噪后的拍摄图像。其中，图像去噪的合成公式可以根据不同的图像合成结构来确定。

例如，针对雾霾图像，可以采用公式1所示的雾霾图像的合成公式，得出去噪后的图像。服务器可以根据训练后的模型对雾霾图像进行去噪处理，得出与雾霾图像相关的图像辐射特征a、透射率特征t，接着，将图像辐射特征a、透射率特征t以及雾霾图像c(x)代入公式1中进行计算，得到去噪后的图像c′(x)。

因此，本公开可以去除拍摄图像中的异常对象，提高拍摄图像的清晰度，进而增强了拍摄图像的图像质量，同时提高了图像的展示效果。

除此之外，如果获取的样本拍摄图像中除了拍摄对象，还包含无用区域，则可以先对样本拍摄图像进行图像处理前的预处理，例如，在保留拍摄对象的前提下，对样本拍摄图像进行剪裁，节省了后续的图像处理成本，提高了图像处理效率。

s308.确定激光特征图中各特征点的深度信息，并基于激光特征图中各特征点的深度信息得到处理后的激光点云数据。

在本公开的示例性实施方式中，利用空间投影转换确定出激光点云数据的位置信息，参考公式2，并基于激光特征图中各特征点的深度信息计算出激光点云数据的特征点的深度信息，见公式9：

depth(x)＝-/β*log(d(x)/255)(公式9)

另外，根据本公开的另一个实施例，为了简化激光点云数据的处理过程，可以根据激光特征图与激光点云数据的空间投影转换关系，对激光特征图进行采样得到中间特征图，也就是可以采样激光特征图的部分特征点，接着，确定中间特征图中各特征点的深度信息，并基于中间特征图中各特征点的深度信息，得到处理后的激光点云数据。

在本公开的示例性实施方式中，因利用激光雷达获取激光点云数据的场景具有异常对象，导致该激光点云数据特征点的深度信息具有误差，而上述图像处理方法可以去除异常对象，提高确定激光点云数据特征点的深度信息的准确度，进而增强激光点云数据的质量。

应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

进一步的，本示例实施方式中还提供了一种图像处理装置。

图4示意性示出了本公开的示例性实施方式的图像处理装置的方框图。参考图4，根据本公开的示例性实施方式的图像处理装置400可以包括：大小获取模块401、图像生成模块403、特征图确定模块405和激光点云确定模块407。

其中，对象获取模块401，用于获取待处理的激光点云数据和对应的拍摄图像；图像生成模块403，用于利用激光点云数据生成待处理的激光图像；特征图确定模块405，用于将拍摄图像和激光图像输入训练后的模型，确定激光特征图；激光点云确定模块407，用于确定激光特征图中各特征点的深度信息，并基于激光特征图中各特征点的深度信息得到处理后的激光点云数据。

根据本公开的示例性实施例，参考图5，对象获取模块401可以包括点云数据获取单元502和图像获取单元504。

其中，点云数据获取单元502，用于利用激光雷达获取待处理的激光点云数据；图像获取单元504，用于利用相机获取与激光点云数据对应的拍摄图像；其中，激光雷达和相机位置对准，以使激光雷达扫描的场景与相机拍摄的场景一致。在本公开的一示例性实施方式中，激光雷达和相机还可配置为：激光雷达和相机之间的俯仰角小于第一预设阈值，且激光雷达和相机之间的距离小于第二预设阈值。

根据本公开的示例性实施例，参考图6，激光点云确定模块407可以包括特征采样单元601和特征点确定单元603。

其中，特征采样单元601，用于对激光特征图进行采样，得到中间特征图；特征点确定单元603，用于确定中间特征图中各特征点的深度信息，并基于中间特征图中各特征点的深度信息，得到处理后的激光点云数据。

根据本公开的示例性实施例，参考图7，相比于图像处理装置400，图像处理装置700还可以包括图像去噪模块702。

其中，图像去噪模块702，用于利用训练后的模型对拍摄图像进行去噪处理，以得到去噪后的拍摄图像。

根据本公开的示例性实施例，参考图8，特征图确定模块405可以包括图像确定单元801、图像对准单元803和特征图确定单元805。

其中，图像确定单元801，用于确定激光图像的采集范围，并获取与采集范围匹配的拍摄图像作为待处理拍摄图像；图像对准单元803，用于若激光图像的尺寸小于待处理拍摄图像的尺寸，对激光图像进行插值处理，以使激光图像和所述待处理拍摄图像的分辨率对准；特征图确定单元805，用于将对准后的激光图像和待处理拍摄图像输入训练后的模型，确定激光特征图。

根据本公开的示例性实施例，参考图9，相比于图像处理装置400，图像处理装置900还可以包括模型训练模块902。

其中，模型训练模块902，可以被配置为执行：获取多组训练样本，每组训练样本包括存在异常对象的同一场景下获取的样本激光点云数据和样本拍摄图像，以及不包含异常对象的正常图像；利用样本激光点云数据、样本拍摄图像以及正常图像对一待训练模型进行训练，以得到训练后的模型。

在本公开的一示例性实施方式中，模型训练模块902，还可以被配置为执行：利用样本激光点云数据生成样本激光图像；对样本拍摄图像和样本激光图像进行下采样，确定中间图像特征；从中间图像特征中分别提取透射率特征、图像辐射特征和样本激光特征；利用图像辐射特征、样本拍摄图像以及透射率特征确定出目标预测图像；根据目标预测图像与正常图像的比较结果以及样本激光特征对一待训练模型进行训练，以得到训练后的模型。

根据本公开的另一示例性实施例，模型训练模块902，还可以被配置为执行：根据目标预测图像和基准拍摄图像计算得出第一损失函数；根据样本激光特征和基准激光图像计算得出第二损失函数；基于样本激光特征和图像辐射特征计算得出第三损失函数；基于目标预测图像获取图像灰度特征，并根据图像灰度特征和样本激光特征计算得出第四损失函数；基于目标预测图像和正常图像计算得出第五损失函数；基于第一损失函数、第二损失函数、第三损失函数、第四损失函数以及第五损失函数确定出总损失函数；利用目标预测图像与正常图像的比较结果以及确定出的总损失函数对模型进行训练，以得到训练后的模型。其中，每组训练样本还包括与样本拍摄图像对应的不存在异常对象的基准拍摄图像和基准激光图像。

在本公开的另一示例性实施例中，模型训练模块902，还可以被配置为执行：确定样本激光图像的采集范围，并获取与采集范围匹配的样本拍摄图像作为中间拍摄图像；若样本激光图像的尺寸小于中间拍摄图像的尺寸，对样本激光图像进行插值处理，以使样本激光图像和中间拍摄图像的分辨率对准；针对对准后的样本激光图像和中间拍摄图像进行下采样，确定中间图像特征。

由于本发明实施方式的程序运行性能分析装置的各个功能模块与上述方法发明实施方式中相同，因此在此不再赘述。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图10来描述根据本发明的这种实施方式的电子设备1000。图10显示的电子设备1000仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图10所示，电子设备1000以通用计算设备的形式表现。电子设备1000的组件可以包括但不限于：上述至少一个处理单元1010、上述至少一个存储单元1020、连接不同系统组件(包括存储单元1020和处理单元1010)的总线1030、显示单元1040。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1010执行，使得所述处理单元1010执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元1010可以执行如图3中所示的步骤s302至步骤s308。

存储单元1020可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)10201和/或高速缓存存储单元10202，还可以进一步包括只读存储单元(rom)10203。

存储单元1020还可以包括具有一组(至少一个)程序模块10205的程序/实用工具10204，这样的程序模块10205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1030可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备1000也可以与一个或多个外部设备1100(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1000的设备通信，和/或与使得该电子设备1000能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口1050进行。并且，电子设备1000还可以通过网络适配器1060与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器1060通过总线1030与电子设备1000的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1000使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。