图像处理方法及装置、电子设备和存储介质与流程

本技术涉及图像处理，尤其涉及一种图像处理方法及装置、电子设备和存储介质。

背景技术：

1、图像语义分割是针对图像中每一个像素都分配一个语义标签的任务，是图像处理中的一个基础任务。图像语义分割可以应用在自动驾驶、图像语义增强、增强现实、安防和遥感测控等多个现实生活中的领域。鉴于近年来深度学习在计算机视觉领域的巨大成功，目前的图像语义分割技术大多是基于深度神经网络的算法。

2、目前，常见的分割算法通常采用池化(pooling)、大步幅的卷积运算等方式对原始图像进行逐层下采样，以获取原始图像中的分割图像，为了恢复原始图像的原始尺寸，通常会采用直接上采样的方式对低分辨率的分割图像中的特征图进行恢复处理。然而，这种直接上采样的方式使得恢复尺寸后的分割图像存在明显的偏移现象。

技术实现思路

1、本技术提供了一种图像处理方法、装置、电子设备和存储介质。其主要目的在于解决通过直接上采样的方式分割图像时，恢复尺寸后的分割图像存在明显的偏移的问题。

2、根据本技术的第一方面，提供了一种图像处理方法，包括：

3、对初始图像对应的第一分辨率特征图上采样，为第二分辨率特征图，所述第一分辨率特征图与所述第二分辨率特征图具备相同的尺度大小，且上采样前的第一分辨率特征图的分辨率低于所述第二分辨率特征图的分辨率；

4、将所述第一分辨率特征图和所述第二分辨率特征图进行连接，获得中间特征图；

5、获取所述中间特征图对应所述第一分辨率特征图的第一偏移矩阵，及所述中间特征图对应所述第二分辨率特征图的第二偏移矩阵；

6、根据所述第一偏移矩阵对所述第一分辨率特征图进行纠正，以及根据所述第二偏移矩阵对所述第二分辨率特征图进行纠正；

7、根据纠正后所述第一分辨率特征图与纠正后的第二分辨率特征图对所述初始图像进行语义分割处理，得到目标图像。

8、可选地，根据纠正后所述第一分辨率特征图与纠正后的第二分辨率特征图对所述初始图像进行语义分割处理，得到目标图像包括：

9、将纠正后所述第一分辨率特征图与纠正后的第二分辨率特征图进行叠加，得到叠加后的特征图；

10、对叠加后的特征图进行图像语义分割，输出所述目标图像。

11、可选地，所述对初始图像对应的第一分辨率特征图上采样，为第二分辨率特征图包括：

12、通过逐级上采样对所述初始图像进行特征提取，得到所述第一分辨率特征图与第二分辨率特征图；

13、对所述第一分辨率特征图采用预设内插上采样算法，上采样到与所述第二分辨率特征图相同的尺度大小。

14、可选地，所述根据所述第一偏移矩阵对所述第一分辨率特征图进行纠正，以及根据所述第二偏移矩阵对所述第二分辨率特征图进行纠正包括：

15、根据所述第一偏移矩阵获取所述第一分辨率特征图中每个的像素坐标，相对所述第二分辨率特征图的第一偏移量；

16、调用预设纠正函数，根据所述第一偏移量对所述第一分辨率特征图进行纠正；

17、根据所述第二偏移矩阵获取所述第二分辨率特征图中每个像素坐标，相对所述第二分辨率特征图的第二偏移量；

18、调用所述预设纠正函数根据所述第二偏移量对所述第二分辨率特征图进行纠正。

19、可选地，在对初始图像对应的第一分辨率特征图上采样，为第二分辨率特征图之前，所述方法还包括：

20、配置图像语义分割模型的基准网络为双边分割网络中的上下文通路网络；

21、配置所述图像语义分割模型的主干网络为残差神经网络，用于提取特征图；

22、配置所述图像语义分割模型的上采样网络为基于特征对齐的上采样网络，以完成所述图像语义分割模型的网络搭建；

23、使用样本图像对所述图像语义分割模型进行训练，以利用训练好的所述图像语义分割模型执行所述图像语义的分割。

24、可选地，所述使用样本图像对所述图像语义分割模型进行训练包括：

25、将所述样本图像输入所述双边分割网络中上下文通路网络；

26、基于所述残差神经网络提取样本图像对应的训练第一分辨率特征图，以及训练第二分辨率特征图；

27、使用上采样方式将所述训练第一分辨率特征图上采样到与训练第二分辨率特征图相同的尺度；

28、由基于所述上采样网络将所述训练第一分辨率特征图与所述训练第二分辨率特征图进行学习，并对所述训练第一分辨率特征图及所述训练第二分辨率特征图进行纠正；

29、基于纠正后所述训练第一分辨率特征图、纠正后的训练第二分辨率特征图及预设损失函数对所述图像语义分割模型进行训练。

30、可选地，所述由基于所述上采样网络将所述训练第一分辨率特征图与所述训练第二分辨率特征图进行学习，并对所述训练第一分辨率特征图及所述训练第二分辨率特征图进行纠正包括：

31、将所述训练第一分辨率特征图与所述训练第二分辨率特征图进行连接，得到训练中间特征图；

32、对所述训练中间特征图进行学习，获取所述训练中间特征图对于所述训练第一分辨率特征图的第一训练偏移矩阵，及所述训练中间特征图对于所述训练第二分辨率特征图的第二训练偏移矩阵；

33、利用所述第一训练偏移矩阵对所述训练第一分辨率特征图进行纠正，利用所述第二训练偏移矩阵对所述训练第二分辨率特征图进行纠正。

34、根据本技术的第二方面，提供了一种图像处理装置，包括：

35、上采样单元，用于对初始图像对应的第一分辨率特征图上采样，为第二分辨率特征图，所述第一分辨率特征图与所述第二分辨率特征图具备相同的尺度大小，且上采样前的第一分辨率特征图的分辨率低于所述第二分辨率特征图的分辨率；

36、连接单元，用于将所述第一分辨率特征图和所述第二分辨率特征图进行连接，获得中间特征图；

37、偏移矩阵获取单元，用于获取所述中间特征图对应所述第一分辨率特征图的第一偏移矩阵，及所述中间特征图对应所述第二分辨率特征图的第二偏移矩阵；

38、纠正单元，用于根据所述第一偏移矩阵对所述第一分辨率特征图进行纠正，以及根据所述第二偏移矩阵对所述第二分辨率特征图进行纠正；

39、处理单元，用于根据纠正后所述第一分辨率特征图与纠正后的第二分辨率特征图对所述初始图像进行语义分割处理，得到目标图像。

40、可选地，所述处理单元包括：

41、将纠正后所述第一分辨率特征图与纠正后的第二分辨率特征图进行叠加，得到叠加后的特征图；

42、对叠加后的特征图进行图像语义分割，输出所述目标图像。

43、可选地，所述第一上采样单元还用于：

44、通过逐级上采样对所述初始图像进行特征提取，得到所述第一分辨率特征图与第二分辨率特征图；

45、对所述第一分辨率特征图采用预设内插上采样算法，上采样到与所述第二分辨率特征图相同的尺度大小。

46、可选地，所述纠正单元还用于：

47、根据所述第一偏移矩阵获取所述第一分辨率特征图中每个的像素坐标，相对所述第二分辨率特征图的第一偏移量；

48、调用预设纠正函数，根据所述第一偏移量对所述第一分辨率特征图进行纠正；

49、根据所述第二偏移矩阵获取所述第二分辨率特征图中每个像素坐标，相对所述第二分辨率特征图的第二偏移量；

50、调用所述预设纠正函数根据所述第二偏移量对所述第二分辨率特征图进行纠正。

51、可选地，所述装置还包括：

52、网络搭建单元，用于配置图像语义分割模型的基准网络为双边分割网络中的上下文通路网络；

53、配置所述图像语义分割模型的主干网络为残差神经网络，用于提取特征图；

54、配置所述图像语义分割模型的上采样网络为基于特征对齐的上采样网络，以完成所述图像语义分割模型的网络搭建；

55、训练单元，用于使用样本图像对所述图像语义分割模型进行训练，以利用训练好的所述图像语义分割模型执行所述图像语义的分割。

56、可选地，所述训练单元包括：

57、输入模块，用于将所述样本图像输入所述双边分割网络中上下文通路网络；

58、上采样模块，用于使用上采样方式将所述训练第一分辨率特征图上采样到与训练第二分辨率特征图相同的尺度；

59、纠正模块，用于由基于所述上采样网络将所述训练第一分辨率特征图与所述训练第二分辨率特征图进行学习，并对所述训练第一分辨率特征图及所述训练第二分辨率特征图进行纠正；

60、训练模块，用于基于纠正后所述训练第一分辨率特征图、纠正后的训练第二分辨率特征图及预设损失函数对所述图像语义分割模型进行训练。

61、可选地，所述纠正模块，还用于：

62、将所述训练第一分辨率特征图与所述训练第二分辨率特征图进行连接，得到训练中间特征图；

63、对所述训练中间特征图进行学习，获取所述训练中间特征图对于所述训练第一分辨率特征图的第一训练偏移矩阵，及所述训练中间特征图对于所述训练第二分辨率特征图的第二训练偏移矩阵；

64、利用所述第一训练偏移矩阵对所述训练第一分辨率特征图进行纠正，利用所述第二训练偏移矩阵对所述训练第二分辨率特征图进行纠正。

65、根据本技术的第三方面，提供了一种电子设备，包括：

66、至少一个处理器；以及

67、与所述至少一个处理器通信连接的存储器；其中，

68、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述第一方面所述的方法。

69、根据本技术的第四方面，提供了一种芯片，包括一个或多个接口电路和一个或多个处理器；所述接口电路用于从电子设备的存储器接收信号，并向所述处理器发送所述信号，所述信号包括存储器中存储的计算机指令，当所述处理器执行所述计算机指令时，使得所述电子设备执行第一方面所述的方法。

70、根据本技术的第五方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行前述第一方面所述的方法。

71、根据本技术的第六方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如前述第一方面的方法。

72、本技术提供的图像处理方法、装置、电子设备和存储介质，对初始图像对应的第一分辨率特征图上采样，为第二分辨率特征图，所述第一分辨率特征图与所述第二分辨率特征图具备相同的尺度大小，且上采样前的第一分辨率特征图的分辨率低于所述第二分辨率特征图的分辨率，将所述第一分辨率特征图和所述第二分辨率特征图进行连接，获得中间特征图，获取所述中间特征图对应所述第一分辨率特征图的第一偏移矩阵，及所述中间特征图对应所述第二分辨率特征图的第二偏移矩阵，根据所述第一偏移矩阵对所述第一分辨率特征图进行纠正，以及根据所述第二偏移矩阵对所述第二分辨率特征图进行纠正，根据纠正后所述第一分辨率特征图与纠正后的第二分辨率特征图对所述初始图像进行语义分割处理，得到目标图像，与相关技术相比，本技术实施例将上采样后的第一分辨率特征图和第二分辨率特征图进行连接，得到中间特征图，根据中间特征图获取对应的第一分辨率特征图对应的第一偏移矩阵，对第一辨率特征图进行纠正，能够改善其上采样后在空域的边缘结构与原图像边缘结构的纠正程度；据中间特征图获取第二分辨率特征图对应的第二偏移矩阵，可以消除其本身携带的冗余的纹理信息，突出边缘部分，在基于纠正后的第一分辨率特征图与纠正后的第二分辨率特征图进行图像恢复时，消除了空域偏移。

73、应当理解，本部分所描述的内容并非旨在标识本技术的实施例的关键或重要特征，也不用于限制本技术的范围。本技术的其它特征将通过以下的说明书而变得容易理解。