一种图像处理方法、模型训练方法、装置及存储介质与流程

1.本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、模型训练方法、装置及存储介质。


背景技术：

2.在外景拍摄过的图像质量会受到环境的影响，拍摄的图像中会存在环境噪声。比如，在雨天、雾天或雾霾天气中，由于天气原因，摄像装置的镜头会沾上雨滴、雾气或灰尘，加上所拍摄的场景或目标中由于雨滴、雾气或灰尘对大气光和场景光的散射等影响，拍摄的图像往往会出现颜色失真、模糊、对比度低等可见质量退化，对于这样的图像，目标检测、目标识别、跟踪和分割等计算机视觉任务会变得非常复杂。
3.自动驾驶领域中，自动驾驶系统通过感知系统，获取车辆自身信息与周围环境信息，经过处理器对采集到的数据信息进行分析计算和处理，从而做出决策以控制执行系统实现车辆加减速和转向等动作。感知系统可以及时处理汽车周边环境信息，包括但不限于对动态目标进行检测、对环境内容进行语义解读，对行驶环境进行工况分类等。这些任务一般需要通过预设的模型，对激光雷达或车载摄像头回传的点云或图片信息做进一步的处理，完成感知系统对车周环境的解读，并协助驾驶系统做出反应，保证汽车的安全行驶。感知系统的输入依赖于摄像头捕捉的结果，由于摄像头得到信息的方式为被动感知，摄像头自身并不会发射并接收发射的信号，所以环境自身的质量好坏会直接影响摄像头采集到的图像质量，因而感知系统基于图像处理结果作出的驾驶决策受环境的影响较大。如何在恶劣环境下提高感知系统的感知能力，成为目前自动驾驶急需解决的问题之一。


技术实现要素：

4.针对现有技术的上述问题，本发明的目的在于，提供一种图像处理方法、模型训练方法、装置及存储介质，本技术的技术方案可以用于自动驾驶领域，用于处理摄像装置采集的图像，以提高图像质量进而提高感知系统的感知能力。
5.根据本技术的一方面，提供一种图像处理方法，所述方法包括：
6.对实时图像进行预处理，得到第一处理图像；所述实时图像为包括第一类型对象和第二类型对象的图像，所述第一处理图像为不包括第一类型对象的图像；
7.基于图像处理模型对所述第一处理图像进行图像提取操作，得到第二处理图像；所述第二处理图像为不包括第二类型对象的图像；所述图像处理模型包括通道特征提取层，所述通道特征提取层用于提取所述第一处理图像对应的多个通道特征之间的关联信息。
8.在一个可能的实现方式中，所述方法还包括：
9.在得到与当前时刻对应的第二处理图像的情况下，对当前时刻对应的第二处理图像与上一时刻对应的目标图像进行图像融合处理，得到与当前时刻对应的第三处理图像；所述上一时刻对应的目标图像为所述上一时刻对应的实时图像，或者为所述上一时刻对应
的第三处理图像。
10.在一个可能的实现方式中，所述对实时图像进行预处理，得到第一处理图像，包括：
11.基于对象识别模型，对所述实时图像进行对象识别；
12.在存在所述第一类型对象的情况下，基于第一预设神经网络对所述实时图像进行对象去除操作，得到所述第一处理图像。
13.在一个可能的实现方式中，所述基于图像处理模型对所述第一处理图像进行图像提取操作，得到第二处理图像，包括：
14.对所述第一处理图像进行全局特征提取，得到所述第一处理图像对应的多个通道特征；
15.基于所述通道特征提取层对所述多个通道特征进行关联信息提取，得到所述多个通道特征之间的关联信息；
16.基于所述关联信息，得到所述第二处理图像。
17.在一个可能的实现方式中，所述对当前时刻对应的第二处理图像与上一时刻对应的目标图像进行图像融合处理，得到与当前时刻对应的第三处理图像，包括：
18.获取上一时刻对应的目标图像；
19.将所述上一时刻对应的目标图像进行特征分解，得到所述上一时刻对应的目标图像在预设空间维度的特征向量和变换矩阵；
20.基于所述变换矩阵和所述预设空间维度，将所述第二处理图像进行空间变换，得到所述第二处理图像在所述预设空间维度的特征向量；
21.基于所述上一时刻对应的目标图像的特征向量和变换矩阵、所述第二处理图像特征向量和所述变换矩阵，分别计算所述上一时刻对应的目标图像和所述第二处理图像的特征值；
22.将所述上一时刻对应的目标图像和所述第二处理图像的特征值进行加权平均，得到融合特征值；
23.基于所述变换矩阵和所述预设空间维度，将所述融合特征值进行逆变换，得到与当前时刻对应的第三处理图像。
24.在一个可能的实现方式中，在所述实时图像为图像采集装置采集到的第一帧图像的情况下，所述方法还包括：
25.基于对象识别模型，对所述实时图像进行对象识别；
26.在不存在所述第一类型对象的情况下，将所述实时图像作为当前图像对应的目标图像。
27.在一个可能的实现方式中，所述基于对象识别模型，对所述实时图像进行对象识别，之后所述方法还包括：
28.在存在所述第一类型对象的情况下，基于第一预设神经网络对所述实时图像进行特征提取操作，得到所述第一处理图像；
29.基于图像处理模型对所述第一处理图像进行图像提取操作，得到第二处理图像；
30.将所述第二处理图像作为所述当前图像对应的目标图像。
31.根据本技术的另一方面，提供一种雨雾噪声去除模型训练方法，用于训练上述的
图像处理模型，所述方法包括：
32.获取训练样本图像和基础图像处理模型；所述训练样本图像包括带有雨雾噪声的原始图像、以及对所述原始图像进行预处理得到的无雨雾噪声的环境原图和雨雾噪声图像；所述基础图像处理模型包括全局特征提取层和通道特征提取层；
33.将所述原始图像输入所述全局特征提取层，对所述训练样本图像进行全局特征提取，得到所述原始图像对应的多个通道特征；
34.将所述多个通道特征作为所述通道特征提取层的输入，建立多个所述通道特征之间的映射关系，并基于所述映射关系对所述原始图像进行雨雾噪声特征分离，得到所述原始图像对应的预测噪声图和预测环境图；
35.基于预设规则计算所述预测噪声图与雨雾噪声图像之间的第一损失值和所述预测环境图与所述环境原图之间的第二损失值；
36.基于所述第一损失值和所述第二损失值对所述基础图像处理模型进行反向传播计算，得到更新参数的基础图像处理模型；
37.将所述更新模型参数的基础图像处理模型作为当前基础图像处理模型，并返回获取训练样本图像和基础图像处理模型的步骤执行，直到达到预设训练完成条件时，得到所述图像处理模型。
38.根据本技术的另一方面，提供一种图像处理装置，所述装置包括：
39.第一图像处理模块，用于对实时图像进行预处理，得到第一处理图像；所述实时图像为包括第一类型对象和第二类型对象的图像，所述第一处理图像为不包括第一类型对象的图像；
40.第二图像处理模块，用于基于图像处理模型对所述第一处理图像进行图像提取操作，得到第二处理图像；所述第二处理图像为不包括第二类型对象的图像；所述图像处理模型包括通道特征提取层，所述通道特征提取层用于提取所述第一处理图像对应的多个通道特征之间的关联信息。
41.根据本技术的另一方面，提供一种存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现上述的任一可行的图像处理方法，或实现上述的图像处理模型训练方法。
42.本技术提供的图像处理方法、模型训练方法、装置及存储介质，具有如下有益效果：
43.本技术的图像处理方法对实时图像进行预处理，得到第一处理图像；基于图像处理模型对第一处理图像进行图像提取操作，得到第二处理图像；第二处理图像为不包括第二类型对象的图像；图像处理模型包括通道特征提取层，通道特征提取层用于提取第一处理图像对应的多个通道特征之间的关联信息。利用本技术的技术方案，能够对摄像装置采集的实时图像进行处理，通过图像预处理以及图像处理模型构建的通道特征之间的关联信息，对实时图像进行两级处理，能够去除图像中不同颗粒度的环境噪声，进而能够提高图像质量。
附图说明
44.为了更清楚地说明本发明的技术方案，下面将对实施例或现有技术描述中所需要
使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
45.图1为本技术实施例提供的一种应用环境的示意图；
46.图2为本技术实施例提供的一种图像处理方法的流程示意图；
47.图3为本技术实施例提供的另一种图像处理方法的流程示意图；
48.图4为本技术实施例提供的另一种图像处理方法的流程示意图；
49.图5为本技术实施例提供的一种图像处理模型的示意性框图；
50.图6为本技术实施例提供的一种雨雾去除模型训练方法的流程示意图；
51.图7为本技术实施例提供的一种图像处理装置的示意性框图；
52.图8为本技术实施例提供的一种电子设备的示意性框图。
具体实施方式
53.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
54.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
55.请参照图1，图1是本技术实施例提供的一种应用环境的示意图，如图1所示，车辆自动驾驶系统包括感知系统、决策系统和执行系统。自动驾驶系统通过感知系统获取车辆自身信息与周围环境信息，并将收集的数据信息传送给决策系统，决策系统经过处理器对采集到的数据信息进行分析计算和处理，从而做出决策；决策系统通过向执行系统发出控制信息以控制执行系统的相应执行单元执行对车辆的加减速和转向等动作。其中，感知系统通常包括摄像装置、雷达装置或定位装置等；执行系统通常包括电子制动单元、电子驱动单元和的电动转向单元等。
56.车辆配置的摄像装置可以是单目摄像头、双目摄像头或环视摄像头，摄像头采集到的实时图像经过图像处理模块降噪处理后传送给决策系统。经过决策系统对图像数据信息的分析处理，以控制执行系统的电子制动单元、电子驱动单元或者电动转向单元实现车辆的加、减速和转向等动作。其中，决策系统对图像的分析处理包括但不限于目标检测、语义分析和工况分类中一种或多种。
57.然而实际应用中，由于感知系统的输入依赖于摄像头捕捉的结果，摄像头得到信息的方式为被动感知，摄像头自身并不会发射并接收发射的信号，所以环境自身的质量好坏会直接影响摄像头采集到的图像质量，因而自动驾驶系统基于图像处理结果作出的驾驶
决策受环境的影响较大。本技术实施例提供的图像处理方法可以应用于感知系统中，用于处理摄像装置采集的实时图像，利用本技术的技术方案，通过图像预处理以及图像处理模型构建的通道特征之间的关联信息，对实时图像进行两级处理，能够去除图像中不同颗粒度的环境噪声，进而能够提高图像质量，如下具体说明：
58.请参照图2，图2是本技术实施例提供的一种图像处理方法的流程示意图，包括：
59.s210，对实时图像进行预处理，得到第一处理图像；实时图像为包括第一类型对象和第二类型对象的图像，第一处理图像为不包括第一类型对象的图像；
60.本技术实施例中图像处理方法用于处理车辆的摄像装置采集的视频流中的图像帧。实时图像为摄像装置实时采集的当前时刻的图像，当前时刻的图像之前的图像帧为上一时刻的图像。第一类型对象和第二类型对象可以是同一类别的不同颗粒度的噪声；例如，在雨雾场景中，第一类型对象可以为雨滴，第二类型对象可以为嵌入环境原图中的雨雾噪声；在风沙场景中，第一类型对象可以为灰尘颗粒，第二类型对象可以为嵌入环境原图中的尘雾等。预处理过程是对容易识别的颗粒度较大的第一类型对象进行去除。
61.需要说明的是，图像中存在的第一类型对象和第二类对象可能是镜头上存在的遮挡物造成的，也可能是摄像装置视角内的环境因素造成的。
62.s220，基于图像处理模型对第一处理图像进行图像提取操作，得到第二处理图像；第二处理图像为不包括第二类型对象的图像；图像处理模型包括通道特征提取层，通道特征提取层用于提取第一处理图像对应的多个通道特征之间的关联信息。
63.本技术实施例中，图像处理模型用于去除第一处理图像中嵌入环境原图中的颗粒度较小的噪声，这类噪声覆盖范围大，与场景图像融合度较高，不易识别，很难去除。为此，本实施例中将图像中的第二类型对象看作叠加在不包含噪声的环境原图上的噪声图。
64.本技术实施例中通过构建图像处理模型的通道特征提取层，基于神经网络的深度学习，对通道特征进行高维的融合特征提取，得到不同通道特征之间噪声的叠加关系，以及叠加在环境原图中的部分畸变是如何产生的，构建第一处理图像中不同通道特征之间的关联信息。从而能够对叠加在环境原图上的噪声图进行分离，得到不包括第二类型对象的第二处理图像。其中，通道特征可以包括但不限于图像中提取的颜色、形状和纹理等图像或空间上的抽象特征，不同通道特征包含不同权重的噪声因素。
65.在一个实施例中，图像处理模型的通道特征提取层可以是基于transformer的神经网络的注意力机制构建的不同通道特征之间的融合注意力网络，融合注意力网络学习不同通道特征中噪声因素的叠加机制，得到能够分离环境原图和噪声图的图像处理模型。
66.本技术实施例的图像处理模型可以用于但不限于去除颗粒度较小的嵌入环境原图中的雨雾噪声或尘雾噪声。
67.请参照图3，在一个实施例中，在步骤s220之后，该方法还包括：
68.s330，在得到与当前时刻对应的第二处理图像的情况下，对当前时刻对应的第二处理图像与上一时刻对应的目标图像进行图像融合处理，得到与当前时刻对应的第三处理图像；上一时刻对应的目标图像为上一时刻对应的实时图像，或者为上一时刻对应的第三处理图像。
69.实际应用中，在上一时刻的实时图像中不存在第一类型对象的情况下，则认为上一时刻的实时图像中不存在噪声因素，将上一时刻的实时图像直接作为上一时刻对应的目
标图像。在上一时刻的实时图像中存在第一类型对象的情况下，则认为当前时刻的实时图像中包括上述的第一类型对象和第二类型对象。利用上述步骤s210和s220对上一时刻的实时图像处理后，得到与上一时刻的实时图像对应的第二处理图像；再经步骤s330，将该第二处理图像与上一时刻的实时图像之前的实时图像对应的第三处理图像进行图像融合处理，得到上一时刻对应的第三处理图像；将该第三处理图像作为上一时刻对应的目标图像。本技术实施例通过在当前时刻的实时图像处理过程中融合上一时刻对应的目标图像，能够兼顾上一时刻的实时图像中包括和不包括第一类型对象的情况，得到与当前时刻对应的第三处理图像。
70.特别地，在当前时刻的实时图像中存在第一类型对象的情况下，通过将当前时刻对应的第二处理图像与上一时刻对应的目标图像进行图像融合处理，能够利用视频图像时序上的关联关系，对当前时刻的实时图像进行修正，降低当前时刻的图像中噪声的干扰，进一步提高图像品质，进而提高决策系统对图像内容的感知能力。
71.请参照图4，在一个具体实施例中，步骤s210可以包括：
72.s2110，基于对象识别模型，对实时图像进行对象识别；
73.s2120，在存在第一类型对象的情况下，基于第一预设神经网络对实时图像进行对象去除操作，得到第一处理图像。
74.本技术实施例中，对象识别模型可以是由包含第一类型对象的原图和去除第一类型对象的原图训练得到的能够识别第一类型对象的卷积神经网络。
75.本技术实施例中，第一预设神经网络可以是预先训练的基于生成对抗网络(gan)训练得到的图像处理模型。该方法通过两个模型(生成式网络g和判别式网络d)之间的对抗训练，最终使得模型能够将包含第一类型对象的图像还原为不包括第一类型对象的第一处理图像。
76.在一个实施例中，对象识别模型用于识别雨滴。第一预设神经网络是预先训练的基于生成对抗网络(gan)训练得到的图像处理模型，用于将实时图像中的雨滴进行去除，得到实时图像的环境原图。
77.进一步地，步骤s220可以包括：
78.s2210，对第一处理图像进行全局特征提取，得到第一处理图像对应的多个通道特征；
79.本技术实施例中，可以选择常见的提取图像特征的网络结构，例如，resnet、mobilenet等卷积神经网络结构。通过全局特征提取对图像中的颜色、形状和纹理等图像或空间上的浅层抽象特征进行提取，得到对应的通道特征。
80.s2220，基于通道特征提取层对多个通道特征进行关联信息提取，得到多个通道特征之间的关联信息；
81.多个通道特征之间的关联信息，可以是transformer注意力网络基于对全局特征提取得到的颜色、形状和纹理等图像或空间上的多个通道特征建立联系，学习到的第二类型对象在的不同通道特征中的层次叠加关系，例如不同通道特征中携带不同权重的第二类型对象，通过transformer的多头注意力结构深度学习第二类型对象在不同通道特征中权重的叠加关系。
82.s2230，基于关联信息，得到第二处理图像。
83.本步骤利用上述多个通道特征之间的关联信息对第一处理图像进行还原，得到不包括第二类型对象的第二处理图像。
84.需要说明的是，基于上述处理过程，本技术实施例中构建了一种基于通道特征的用于提取不同通道特征中各特征的融合特征的网络结构，得到多个通道特征之间的关联信息，该关联信息不仅包括浅层的抽象图像特征，还包括提取到的多尺度的特征之间的层次之间的相关性，从而提高了对图像中重要信息的关注程度。由此，本技术实施例中能够获得更加符合真实场景的第二处理图像。
85.在一个实施例中，第二类型对象为雨雾噪声。
86.在另一个实施例中，第二类型对象为尘雾噪声。
87.进一步地，步骤s330可以包括：
88.s3310，获取上一时刻对应的目标图像；
89.需要说明的是，在上一时刻的图像不包括第一类型对象的情况下，上一时刻对应的目标图像为上一时刻的实时图像。在上一时刻的图像包括第一类型对象的形况下，上一时刻对应的目标图像为上一时刻对应的第三处理图像。
90.s3320，将上一时刻对应的目标图像进行特征分解，得到上一时刻对应的目标图像在预设空间维度的特征向量和变换矩阵；
91.s3330，基于变换矩阵和预设空间维度，将第二处理图像进行空间变换，得到第二处理图像在预设空间维度的特征向量；
92.s3340，基于上一时刻对应的目标图像的特征向量和变换矩阵、第二处理图像特征向量和变换矩阵，分别计算上一时刻对应的目标图像和第二处理图像的特征值；
93.s3350，将上一时刻对应的目标图像和第二处理图像的特征值进行加权平均，得到融合特征值；
94.s3360，基于变换矩阵和预设空间维度，将融合特征值进行逆变换，得到与当前时刻对应的第三处理图像。
95.示例性的，本技术实施例中，可以采用pca(principle component analysis，主成分分析)方式进行特征分解。
96.pca特征分解是一种将信息(图片信息、特征信息等可用多维度表示的信息)进行降维的方法，主要思想是找出几个特定变量来代替原来众多的变量，使这些特定变量能尽可能地代表原来变量的信息量，而且彼此之间互不关联。这种方法同样也可以将信息在特征空间进行表示，对特征值进行结合，再对特征空间做逆变换回到本来的信息空间，实现信息的融合。pca变换后图像的信息主要集中在前几个主成分分量中,在变换域中丢弃信息量小的主成分分量,将原始的海量高光谱数据变换为少量的几个成分，在降低数据维数的同时，最大限度地保持了原始数据的信息。
97.本技术实施例中通过上述步骤将上一时刻对应的目标图像为无噪声图与当前时刻的第二处理图像进行融合，能够在当前时刻得到的无噪声的第二处理图像融合上一时刻得到的无噪声图的图像特征，从而可以利用上一时刻的实时图像与当前时刻的实时图像在时序上的关联对图像品质的进一步修正。这样可以尽可能获取和利用时间上的优势，在第一时间噪声对原图带来的干扰。
98.实际应用中，对于摄像装置采集的第一帧图像，由于在其上一时刻不存在图像，因
此不存在与上一时刻对应的目标图像。为此，本技术实施例中进一步提供一种解决方案。
99.在一个实施例中，在实时图像为图像采集装置采集到的第一帧图像的情况下，该方法还可以包括：
100.s410，基于对象识别模型，对实时图像进行对象识别；
101.本技术实施例中，对象识别模型可以是由包含第一类型对象的原图和去除第一类型对象的原图训练得到的能够识别第一类型对象的卷积神经网络。
102.s420，在不存在第一类型对象的情况下，将实时图像作为当前图像对应的目标图像。
103.进一步地，在步骤s410之后，该方法还可以包括：
104.s430，在存在第一类型对象的情况下，基于第一预设神经网络对实时图像进行特征提取操作，得到第一处理图像；
105.s440，基于图像处理模型对第一处理图像进行图像提取操作，得到第二处理图像；
106.s450，将第二处理图像作为当前图像对应的目标图像。
107.本技术实施例的上述方法，基于第一帧图像中是否存在第一类型对象，分别设置对应的目标图像，解决了首帧图像之前不存在与其融合和的上一时刻的图像对应的第三处理图像或实时图像的问题，提供了一种能够处理车辆摄像装置采集的所有图像帧的通用方法。
108.本技术实施例进一步提供一种图像处理模型的训练方法，可以用于训练上述方法实施例中的图像处理模型。
109.在一个具体的实施例中，该图像处理模型用于去除环境原图中的雨雾噪声，请参照图6，本技术实施例提供一种雨雾去除模型的训练方法，该方法可以包括：
110.s110，获取训练样本图像和基础图像处理模型；训练样本图像包括带有雨雾噪声的原始图像、以及对原始图像进行预处理得到的无雨雾噪声的环境原图和雨雾噪声图像；基础图像处理模型包括全局特征提取层和通道特征提取层；
111.请参照图5，图中给出了一个实施例的基础图像处理模型的基本构成，包括全局特征提取层和通道特征提取层。其中，全局特征提取层可以包括多层卷积神经网络，从而多角度提取图像中的全局特征。通道特征提取层的输入为全局特征提取层的输出，通过transformer的注意力网络对全局特征提取输入的多个通道特征建立联系，以捕捉第二类型对象在的不同通道特征中的层次叠加关系。
112.有雨雾噪声的原始图可以是通过摄像装置采集的原图，无雨雾噪声的环境原图和雨雾噪声图像可以是对采集的原图进行特征分离后得到的。例如，使用photoshop或者其他专业制图软件对图像进行图像特征分离；
113.在一些其他实施例中，训练样本图像的获取方式也可以是依次拍摄的环境原图、雨雾噪声图和环境原图与雨雾噪声叠加后的图像。
114.s120，将原始图像输入全局特征提取层，对训练样本图像进行全局特征提取，得到原始图像对应的多个通道特征；
115.示例性的，可以选择常见的提取图像特征的网络结构，例如，resnet、mobilenet等卷积神经网络结构。通过全局特征提取对图像中的颜色、形状和纹理等图像或空间上的浅层抽象特征进行提取，得到对应的通道特征。
116.s130，将多个通道特征作为通道特征提取层的输入，建立多个通道特征之间的映射关系，并基于映射关系对原始图像进行雨雾噪声特征分离，得到原始图像对应的预测噪声图和预测环境图；
117.通过transformer的多头注意力结构深度学习第二类型对象在不同通道特征中权重的叠加关系。构建的不同通道特征之间的融合注意力网络，融合注意力网络学习不同通道特征中噪声因素的叠加机制，并利用学习到的叠加机制对原始图像的环境原图和噪声图进行预测，得到预测环境原图和噪声图。
118.s140，基于预设规则计算预测噪声图与雨雾噪声图像之间的第一损失值和预测环境图与环境原图之间的第二损失值；
119.本技术实施例中，可以采用交叉熵损失来计算损失值。本领域技术人员也可以根据需要选择其他损失函数进行计算。
120.s150，基于第一损失值和第二损失值对基础图像处理模型进行反向传播计算，得到更新参数的基础图像处理模型；
121.通过上述步骤，完成对基础图像模型的首次参数更新。
122.s160，将更新模型参数的基础图像处理模型作为当前基础图像处理模型，并返回获取训练样本图像和基础图像处理模型的步骤执行，直到达到预设训练完成条件时，得到图像处理模型。
123.多次重复上述步骤，直到达到预设训练次数，或者损失值满足设定的阈值结束模型训练过程。
124.需要说明的是，上述训练样本图像可以是预先准备的训练图像集，其中包括多组训练样本图像，每次训练使用其中的一组训练样本图像。上述训练样本图像也可以在训练过程中分多次获得，在必要时根据训练效果，针对性地生成目标训练样本图像，以减少训练次数，提高训练效率。
125.本技术实施例的图像处理模型训练方法，通过训练样本图像训练基础图像处理模型的全局特征提取层和通道特征提取层，对图像中噪声的叠加关系进行深度学习，可以去图像中颗粒度较小的噪声，得到更加符合真实场景的环境原图。通过上述步骤获得的图像处理模型能够用于上述图像处理方法中，进一步提高本技术的图像处理方法的图像处理效率。
126.在另一个具体的实施例中，该图像处理模型用于去除环境原图中的尘雾背景，该训练过程与上述的雨雾噪声去除模型的差别在于训练样本图像，尘雾去除模型的训练方法中，训练样本图像包括带有尘雾噪声的原始图像、以及对原始图像进行预处理得到的无尘雾噪声的环境原图和尘雾噪声图像；其余过程均可参照上述步骤s110至s160。本技术实施例中不再展开说明
127.本技术实施例进一步提供一种图像处理装置，请参照图7，该装置可以包括：
128.第一图像处理模块10，用于对实时图像进行预处理，得到第一处理图像；实时图像为包括第一类型对象和第二类型对象的图像，第一处理图像为不包括第一类型对象的图像；
129.第二图像处理模块20，用于基于图像处理模型对第一处理图像进行图像提取操作，得到第二处理图像；第二处理图像为不包括第二类型对象的图像；图像处理模型包括通
道特征提取层，通道特征提取层用于提取第一处理图像对应的多个通道特征之间的关联信息。
130.在一个实施例中，该装置还可以包括：
131.第三图像处理模块，用于在得到与当前时刻对应的第二处理图像的情况下，对当前时刻对应的第二处理图像与上一时刻对应的目标图像进行图像融合处理，得到与当前时刻对应的第三处理图像；上一时刻对应的目标图像为上一时刻对应的实时图像，或者为上一时刻对应的第三处理图像。
132.在一个实施例中，第一图像处理模块10可以包括：
133.对象识别单元，用于基于对象识别模型，对实时图像进行对象识别；
134.对象去除单元，用于在存在第一类型对象的情况下，基于第一预设神经网络对实时图像进行对象去除操作，得到第一处理图像。
135.在一个实施例中，第二图像处理模块20可以包括：
136.全局特征提取单元，用于对第一处理图像进行全局特征提取，得到第一处理图像对应的多个通道特征；
137.通道特征提取单元，用于基于通道特征提取层对多个通道特征进行关联信息提取，得到多个通道特征之间的关联信息；
138.第二图像处理单元，基于关联信息，得到第二处理图像。
139.在一个实施例中，第三图像处理模块可以包括：
140.目标图像获取单元，用于获取上一时刻对应的目标图像；
141.第一特征分解单元，用于将上一时刻对应的目标图像进行特征分解，得到上一时刻对应的目标图像在预设空间维度的特征向量和变换矩阵；
142.第二特征分解单元，用于基于变换矩阵和预设空间维度，将第二处理图像进行空间变换，得到第二处理图像在预设空间维度的特征向量；
143.计算单元，用于基于上一时刻对应的目标图像的特征向量和变换矩阵、第二处理图像特征向量和变换矩阵，分别计算上一时刻对应的目标图像和第二处理图像的特征值；
144.融合处理单元，用于将上一时刻对应的目标图像和第二处理图像的特征值进行加权平均，得到融合特征值；
145.第三图像处理单元，用于基于变换矩阵和预设空间维度，将融合特征值进行逆变换，得到与当前时刻对应的第三处理图像。
146.关于图像处理装置的具体限定可以分别参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理方法和图像处理模型训练方法的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
147.本技术的图像处理方法和图像处理模型训练方法均可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本技术的各个方面的计算机可读程序指令。
148.本技术实施例还提供一种电子设备，该电子设备包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加
载并执行以实现如上述控制方法实施例所提供的图像处理方法和图像处理模型训练方法。图8是本技术实施例提供的一种电子设备的硬件结构框图。如图8所示，该电子设备800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，cpu)810(处理器810可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器830，一个或一个以上存储应用程序823或数据822的存储介质820(例如一个或一个以上海量存储设备)。其中，存储器830和存储介质820可以是短暂存储或持久存储。存储在存储介质820的程序可以包括一个或一个以上模块，每个模块可以包括对电子设备中的一系列指令操作。更进一步地，中央处理器810可以设置为与存储介质820通信，在电子设备800上执行存储介质820中的一系列指令操作。电子设备800还可以包括一个或一个以上电源860，一个或一个以上有线或无线网络接口850，一个或一个以上输入输出接口840，和/或，一个或一个以上操作系统821，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm等等。
149.输入输出接口840可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备800的通信供应商提供的无线网络。在一个实例中，输入输出接口840包括一个网络适配器(network interface controller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口840可以为射频(radio frequency，rf)模块，其用于通过无线方式与互联网进行通讯。
150.本领域普通技术人员可以理解，图8所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子设备800还可包括比图8中所示更多或者更少的组件，或者具有与图8所示不同的配置。
151.存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
152.本技术实施例所提供的消息处理方法可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。
153.本技术的实施例还提供了一种计算机可读存储介质，存储介质可设置于服务器之中以保存用于实现方法实施例中车辆信息处理方法或车辆远程控制方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述的图像处理方法或图像处理模型训练方法。
154.可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
155.需要说明的是：上述本技术实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本技术特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍
然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
156.本技术中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备和存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
157.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指示相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
158.以上仅为本技术的较佳实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。
159.以上仅为本发明的较佳实施例，并不用以限制本发明，对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
160.此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。