图像处理方法、装置、电子设备和存储介质与流程

1.本公开涉及人工智能技术领域，具体涉及计算机视觉和深度学习技术，尤其涉及图像处理方法、装置、电子设备和存储介质。


背景技术：

2.对采集的图像进行处理，得到图像分割和深度识别结果，对业务场景的进一步分析较为重要，例如，在智能驾驶场景下，根据图像分割结果和深度识别结果进行路面状况分析，可以提高驾驶安全性、减少拥堵，提高交通效率。因此，提高获取到的图像分割结果和深度识别结果是亟待解决的技术问题。


技术实现要素：

3.本公开提供了一种图像处理方法、装置、电子设备和存储介质。
4.根据本公开的一方面，提供了一种图像处理方法，包括：
5.获取待处理的图像；
6.将所述待处理的图像输入识别模型中深度特征提取网络以得到深度特征图，以及输入语义特征提取网络以得到语义分割特征图；
7.将所述深度特征图和所述语义分割特征图输入所述图像识别模型的特征交互网络进行融合，以得到融合语义特征的目标深度特征图和融合深度特征的目标语义分割特征图；
8.将目标深度特征图和目标语义分割特征图，输入所述图像识别模型中对应的输出网络，以得到深度估计结果和语义分割结果。
9.根据本公开的另一方面，提供了一种图像处理装置，包括：
10.获取模块，用于获取待处理的图像；
11.特征提取模块，用于将所述待处理的图像输入识别模型中深度特征提取网络以得到深度特征图，以及输入语义特征提取网络以得到语义分割特征图；
12.融合模块，用于将所述深度特征图和所述语义分割特征图输入所述图像识别模型的特征交互网络进行融合，以得到融合语义特征的目标深度特征图和融合深度特征的目标语义分割特征图；
13.输出模块，将目标深度特征图和目标语义分割特征图，输入所述图像识别模型中对应的输出网络，以得到深度估计结果和语义分割结果。
14.根据本公开的另一方面，提供了一种电子设备，包括：
15.至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述一方面所述方法的步骤。
16.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行前述一方面所述方法的步骤。
17.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机指令，所述计算机指令在被处理器执行时实现前述一方面所述方法的步骤。
18.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
19.附图用于更好地理解本方案，不构成对本公开的限定。其中：
20.图1为本公开实施例所提供的一种图像处理方法的流程示意图；
21.图2为本公开实施例提供的另一种图像处理方法的流程示意图；
22.图3为本公开实施例提供的另一种图像处理方法的流程示意图；
23.图4为本公开实施例提供的另一种图像处理方法的流程示意图；
24.图5为本公开实施例提供的一种图像处理装置的结构示意图；
25.图6为本公开实施例提供的示例电子设备的示意性框图。
具体实施方式
26.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
27.下面参考附图描述本公开实施例的图像处理方法、装置、电子设备和存储介质。
28.图1为本公开实施例所提供的一种图像处理方法的流程示意图。
29.如图1所示，该方法包含以下步骤：
30.步骤101，获取待处理的图像。
31.本公开实施例的图像处理方法的执行主体为图像处理装置，该图像处理装置可设置在电子设备中，该电子设备可以为手机、可穿戴设备、车辆或车载设备等。
32.本公开实施例中，待处理的图像即为需要进行深度识别和图像分割处理的图像。
33.其中，本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
34.步骤102，将待处理的图像输入识别模型中深度特征提取网络以得到深度特征图，以及输入语义特征提取网络以得到语义分割特征图。
35.本公开实施例中的识别模型为双分支的多任务模型，其中，一个分支用于进行对待处理图像进行深度特征提取，一个分支用于对待处理图像进行语义分割特征的提取，双分支的多任务模型，例如为多任务模型(perception-aided single image dehazing network，pad-net),或(multi-scale task interaction network，mti-net。其中，提取得到的深度特征图中的各元素指示了待处理图像中对应的各个像素点的深度特征。提取得到的语义分割特征图中的各元素指示了待处理图像中对应的各个像素点的语义分割特征，语义分割特征相同的各像素点可能是属于同一个对象。
36.步骤103，将深度特征图和语义分割特征图输入图像识别模型的特征交互网络进行融合，以得到融合语义特征的目标深度特征图和融合深度特征的目标语义分割特征图。
37.本公开实施例中，通过语义分割得到的同一类别的对象其深度较为平滑，而对象的边缘也就是分割类别变化的地方，深度则会存在跳变，因此，分割特征和深度特征间存在相关关系，从而，在图像识别模型中增加了特征交互网络，特征交互网络用于对输入的深度特征图和语义分割特征图中的深度特征和语义特征进行融合，以得到融合语义特征的目标深度特征图和融合深度特征的目标语义分割特征图，从而更好的利用两个任务之间的相关性学习得到更好的特征表达，以提高后续输出的深度结果和语义分割结果的效果。
38.步骤104，将目标深度特征图和目标语义分割特征图，输入图像识别模型中对应的输出网络，以得到深度估计结果和语义分割结果。
39.本公开实施例中，将融合了语义分割特征的目标深度特征图，输入图像识别模型中对应的输出网络，由于目标深度特征图中的深度特征融合了语义分割特征，从而基于多模态特征提高了得到的深度估计结果的准确性。而将融合了深度特征的目标语义分割特征图，输入图像识别模型中对应的输出网络，由于目标语义分割特征图中的特征融合了深度特征，基于多模态特征提高了得到的语义分割结果的准确性。
40.其中，深度估计结果和语义分割结果，在不同场景下具有不同的作用，例如，在自动驾驶领域，可根据深度估计结果和语义分割结果，识别路面状况，确定道路各个要素，如，车道线、电线杆等，以控制车辆的安全运行；还可以识别车辆周围的障碍物和障碍物的距离，以进行避障处理，减少拥堵，提高驾驶的安全性。
41.本公开实施例的图像处理方法中，将待处理的图像输入识别模型中深度特征提取网络以得到深度特征图，以及输入语义特征提取网络以得到语义分割特征图，将深度特征图和语义分割特征图输入图像识别模型的特征交互网络进行融合，以得到融合语义特征的目标深度特征图和融合深度特征的目标语义分割特征图，将目标深度特征图和目标语义分割特征图，输入图像识别模型中对应的输出网络，以得到深度估计结果和语义分割结果，通过交互网络，将语义分割特征图和深度特征图进行特征融合，实现根据两个任务间的相关性，学习到更好的特征表达，提高了深度估计和语义分割的准确性。
42.基于上述实施例，本公开实施例提供了另一种图像处理方法，图2为本公开实施例提供的另一种图像处理方法的流程示意图。
43.如图2所示，该方法包含以下步骤：
44.步骤201，获取待处理的图像。
45.步骤202，将待处理的图像输入识别模型中深度特征提取网络以得到深度特征图，以及输入语义特征提取网络以得到语义分割特征图。
46.具体地，步骤201和步骤202，可参照前述实施例中的解释说明，原理相同，本实施例中不再赘述。
47.步骤203，获取特征交互网络学习到的语义分割权重矩阵。
48.本公开实施例中，语义分割权重矩阵中的各个元素指示了语义分割特征图中对应元素的特征在进行深度估计时的重要程度，也就是说语义分割权重矩阵，指示了语义分割特征图中有多少语义特征会传递到深度特征图中，即指示了语义分割特征图和深度特征图之间的特征相关性。其中，对于语义分割权重矩阵，作为一种可能的实现方式，特征交互网络的卷积层与语义分割任务的特征图相卷积，经过sigmoid函数得到权重参数，并通过在识别模型训练的过程中不断的调整权重参数，以学习得到语义分割权重矩阵。例如，语义分割
权重矩阵中各个元素的取值在0-1之间，取值越大，说明该元素的特征在进行深度估计时的重要性越大，从而需要更多的传递到深度特征图中。
49.步骤204，将语义分割特征图和语义分割权重矩阵相乘，得到加权语义分割特征图。
50.本公开实施例中，将语义分割特征图和语义分割权重矩阵相乘，得到加权语义分割特征图，使得加权得到的语义分割特征图可以更好的利用深度估计任务和语义分割任务之间的相关性。
51.步骤205，将加权语义分割特征图和深度特征图融合，得到目标深度特征图。
52.在本公开实施例的一种实现方式中，将加权语义分割特征图中的语义分割特征和深度特征图中的深度特征拼接，以得到目标深度特征图，通过拼接得到的目标深度特征图中，不仅包含了深度特征，还融合了加权得到的语义分割特征，提高了目标深度特征图中携带的特征信息量。
53.在本公开实施例的另一种实现方式中，将加权语义分割特征图中的语义分割特征和深度特征图中的深度特征进行加和，以得到目标深度特征图，通过加和得到的目标深度特征图中，不仅包含了深度特征，还融合了加权得到的语义分割特征，提高了目标深度特征图中携带的特征信息量，同时特征的维度也没有增加，减少了后续识别的运算量。
54.步骤206，获取特征交互网络学习到的深度权重矩阵。
55.本公开实施例中，深度权重矩阵中的各个元素指示了深度特征图中对应元素的特征在进行语义分割时的重要程度，也就是说深度权重矩阵，指示了深度特征图中有多少深度特征会传递到语义分割特征图中，即指示了语义分割特征图和深度特征图之间的特征相关性。其中，对于深度权重矩阵，作为一种可能的实现方式，特征交互网络的卷积层与深度估计任务的特征图相卷积，经过sigmoid函数得到权重参数。并通过在识别模型训练的过程中不断的调整权重参数，以学习得到深度权重矩阵。例如，深度权重矩阵中各个元素的取值在0-1之间，取值越大，说明该元素的特征在进行语义分割时的重要性越大，从而需要更多的传递到语义分割特征图中。
56.步骤207，将深度特征图和深度权重矩阵相乘，得到加权深度特征图。
57.本公开实施例中，将深度特征图和深度权重矩阵相乘，得到加权深度特征图，使得加权得到的深度特征图可以更好的利用深度估计任务和语义分割任务之间的相关性。
58.步骤208，将加权深度特征图和语义分割特征图融合，得到目标语义分割特征图。
59.在本公开实施例的一种实现方式中，将加权深度特征图中的深度特征和语义分割特征图中的语义分割特征拼接，以得到目标语义分割特征图，通过拼接得到的目标语义分割特征图中，不仅包含了语义分割特征，还融合了加权得到的深度特征，提高了目标语义分割特征图中携带的特征信息量。
60.在本公开实施例的另一种实现方式中，将加权深度特征图中的深度特征和语义分割特征图中的语义分割特征进行加和，以得到目标语义分割特征图，通过加和得到的目标语义分割特征图中，不仅包含了语义分割特征，还融合了加权得到的深度特征，提高了目标语义分割特征图中携带的特征信息量，同时特征的维度也没有增加，减少了后续识别的运算量。
61.步骤209，将目标深度特征图和目标语义分割特征图，输入图像识别模型中对应的
输出网络，以得到深度估计结果和语义分割结果。
62.具体地，可参照前述实施例中的解释说明，原理相同，本实施例中不再赘述。
63.本公开实施例的图像处理方法中，图像识别模型中设置特征交互网络，通过特征交互网络预先学习到的语义分割权重矩阵和深度权重矩阵，分别对语义特征进行加权，对深度特征进行加权，以更好的利用两个任务之间的相关性学习到更好的特征表达，并对加权得到的深度特征和语义分割特征进行融合，得到目标深度特征图和目标分割语义特征图，提高了得到的目标分割特征图和语义分割特征图的准确性，从而，根据目标分割特征图和语义分割特征图提高了深度估计和图像分割的准确性。
64.基于上述实施例，图3为本公开实施例提供的另一种图像处理方法的流程示意图，如图3所示，步骤204包含以下步骤：
65.步骤301，将语义分割特征图中各个元素的语义分割特征和语义分割权重矩阵中对应元素的权重相乘，得到各元素的加权语义分割特征。
66.步骤302，根据各元素的加权语义分割特征，生成加权语义分割特征图。
67.本公开实施例中，语义分割特征图中包含的元素和语义分割权重矩阵中包含的元素具有一一对应关系，同时和待分割图像中的像素点或像素点的组合，具有对应关系，通过将语义分割特征图中各个元素的语义分割特征和语义分割权重矩阵中对应元素的权重相乘，可以得到各元素的加权语义分割特征，从而，根据各元素的加权语义分割特征，生成加权语义分割特征图，提高了加权语义分割特征图的粒度的细化程度。而加权语义分割特征图中各个元素指示了和深度特征图中各个元素的深度特征间的相关关系，例如，在加权语义分割图中，语义分割的各对象边缘加权语义分割特征的信息较多，以用于指示边缘深度变化较大的特性。
68.本公开实施例的图像处理方法中，将语义分割特征图中各个元素的语义分割特征和语义分割权重矩阵中对应元素的权重相乘，得到各元素的加权语义分割特征，根据各元素的加权语义分割特征，生成加权语义分割特征图，通过各个元素的加权，提高了加权语义分割特征图的准确性。
69.基于上述实施例，图4为本公开实施例提供的另一种图像处理方法的流程示意图，如图4所示，步骤207包含以下步骤：
70.步骤401，将深度特征图中各个像素的深度特征和深度权重矩阵中对应像素的权重相乘，得到各像素的加权深度特征。
71.步骤402，根据各像素的加权深度特征，生成加权深度特征图。
72.本公开实施例中，深度特征图中包含的元素和深度权重矩阵中包含的元素具有一一对应关系，通过将深度特征图中各个元素的深度特征和深度权重矩阵中对应元素的权重相乘，可以得到各元素的加权深度特征，从而，根据各元素的加权深度特征，生成加权深度特征图，提高了加权深度特征图的粒度的细化程度。加权深度特征图中各个元素指示了和语义分割特征图中各个元素的语义分割特征间的相关关系，例如，在加权深度图中，语义分割的各对象边缘深度特征的信息较多，以用于指示边缘深度变化较大的特性。
73.本公开实施例的图像处理方法中，将深度特征图中各个像素的深度特征和深度权重矩阵中对应像素的权重相乘，得到各像素的加权深度特征，根据各像素的加权深度特征，生成加权深度特征图，通过各个元素的加权，提高了加权深度特征图的准确性。
74.为了实现上述实施例，本实施例提供了一种图像处理装置。
75.图5为本公开实施例提供的一种图像处理装置的结构示意图，如图5所示，该装置包含：
76.获取模块51，用于获取待处理的图像。
77.特征提取模块52，用于将所述待处理的图像输入识别模型中深度特征提取网络以得到深度特征图，以及输入语义特征提取网络以得到语义分割特征图。
78.融合模块53，用于将所述深度特征图和所述语义分割特征图输入所述图像识别模型的特征交互网络进行融合，以得到融合语义特征的目标深度特征图和融合深度特征的目标语义分割特征图。
79.输出模块54，将目标深度特征图和目标语义分割特征图，输入所述图像识别模型中对应的输出网络，以得到深度估计结果和语义分割结果。
80.在本公开实施例的一种实现方式中，融合模块53，还用于：
81.获取所述特征交互网络学习到的语义分割权重矩阵；所述语义分割权重矩阵中的各个元素指示了所述语义分割特征图中对应元素的特征在进行深度估计时的重要程度；将所述语义分割特征图和所述语义分割权重矩阵相乘，得到加权语义分割特征图；将所述加权语义分割特征图和所述深度特征图融合，得到目标深度特征图。
82.在本公开实施例的一种实现方式中，融合模块53，还用于：
83.获取所述特征交互网络学习到的深度权重矩阵；所述深度权重矩阵中的各个元素指示了所述深度特征图中对应元素的特征在进行语义分割时的重要程度；将所述深度特征图和所述深度权重矩阵相乘，得到加权深度特征图；将所述加权深度特征图和所述语义分割特征图融合，得到目标语义分割特征图。
84.在本公开实施例的一种实现方式中，融合模块53，具体还用于：
85.将所述语义分割特征图中各个元素的语义分割特征和所述语义分割权重矩阵中对应元素的权重相乘，得到各所述元素的加权语义分割特征；根据各所述元素的加权语义分割特征，生成所述加权语义分割特征图。
86.在本公开实施例的一种实现方式中，融合模块53，具体还用于：
87.将所述深度特征图中各元素的深度特征和所述深度权重矩阵中对应元素的权重相乘，得到各所述元素的加权深度特征；根据各所述元素的加权深度特征，生成所述加权深度特征图。
88.需要理解的是，前述方法实施例中的解释说明也适用于本实施例的中的装置，原理相同，本实施例中不再赘述。
89.本公开实施例的图像处理装置中，获取待处理的图像，将待处理的图像输入识别模型中深度特征提取网络以得到深度特征图，以及输入语义特征提取网络以得到语义分割特征图，将深度特征图和语义分割特征图输入图像识别模型的特征交互网络进行融合，以得到融合语义特征的目标深度特征图和融合深度特征的目标语义分割特征图，将目标深度特征图和目标语义分割特征图，输入图像识别模型中对应的输出网络，以得到深度估计结果和语义分割结果，通过设置交互网络，将语义分割特征图和深度特征图进行融合，得到多模态的特征，以根据两个任务间的相关性，以学习到更好的特征表达，提高了深度估计和语义分割的准确性。
specific integrated circuit，专用集成电路)、assp(application specific standard product，专用标准产品)、soc(system on chip，芯片上系统的系统)、cpld(complex programmable logic device，复杂可编程逻辑设备)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
100.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
101.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、ram、rom、eprom(electrically programmable read-only-memory，可擦除可编程只读存储器)或快闪存储器、光纤、cd-rom(compact disc read-only memory，便捷式紧凑盘只读存储器)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
102.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(cathode-ray tube，阴极射线管)或者lcd(liquid crystal display，液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
103.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：lan(local area network，局域网)、wan(wide area network，广域网)、互联网和区块链网络。
104.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务("
virtual private server"，或简称"vps")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
105.其中，需要说明的是，人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
106.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
107.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。