图像处理方法、装置、电子设备及存储介质与流程

本技术涉及图像处理，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术：

1、近年来，随着移动互联网的快速发展，如今通过手机等拍照，进行文档、证件等扫描，成为了许多人的选择，这种方式非常快捷、便利。而当使用手机等拍摄文档、证件等过程中，由于环境光线不足或者遮挡，导致拍摄的图像中存在杂质（例如阴影、噪声、水印、模糊、低分辨率等），造成拍摄的图像不清晰、背景不干净等，为此需要去除图像中的杂质。

2、目前，对于带有杂质的图像，首先检测图像的杂质区域，然后对杂质区域进行图像修复来去除杂质。但是这种方式通常存在以下缺陷：一方面杂质区域的检测不是很准确，导致杂质区域边缘的杂质很难去除干净，另一方面就是对杂质区域进行图像修复的效果并不好，与非杂质区域存在明显的色差。

技术实现思路

1、为了解决上述这种方式通常存在以下缺陷：一方面杂质区域的检测不是很准确，导致杂质区域边缘的杂质很难去除干净，另一方面就是对杂质区域进行图像修复的效果并不好，与非杂质区域存在明显的色差的技术问题，本技术实施例提供了一种图像处理方法、装置、电子设备及存储介质。具体技术方案如下：

2、在本技术实施例的第一方面，首先提供了一种图像处理方法，所述方法包括：

3、获取携带有杂质的原始图像，并确定所述原始图像对应的原始特征图；

4、根据所述原始特征图，生成所述原始图像对应的多个不同尺度的目标特征图；

5、根据多个不同尺度的所述目标特征图，生成无杂质的目标图像。

6、在一个可选的实施方式中，所述确定所述原始图像对应的原始特征图，包括：

7、利用编码器对所述原始图像进行处理，得到所述原始图像对应的原始特征图；

8、所述根据所述原始特征图，生成所述原始图像对应的多个不同尺度的目标特征图，包括：

9、利用解码器对所述原始特征图进行处理，得到所述原始图像对应的多个不同尺度的目标特征图；

10、所述根据多个不同尺度的所述目标特征图，生成无杂质的目标图像，包括：

11、利用多尺度融合网络对所述多个不同尺度的所述目标特征图进行处理，得到无杂质的目标图像。

12、在一个可选的实施方式中，所述编码器包括m个特征图生成网络，所述m为正整数；

13、所述利用编码器对所述原始图像进行处理，得到所述原始图像对应的原始特征图，包括：

14、迭代执行以下操作，直至得到第m个编码特征图时停止下述操作：

15、将第i个编码图像输入至第i个所述特征图生成网络，对所述第i个编码图像进行全局特征提取，输出第i个编码特征图，其中，所述第i个编码特征图是第i+1个编码图像，所述i依次为1，2，3，……，m；

16、其中，第1个编码图像为所述原始图像，第m个编码特征图是所述原始特征图。

17、在一个可选的实施方式中，所述特征图生成网络包括嵌入网络与全局特征提取网络；

18、所述将第i个编码图像输入至第i个所述特征图生成网络，对所述第i个编码图像进行全局特征提取，输出第i个编码特征图，包括：

19、利用第i个所述特征图生成网络中的所述嵌入网络，对所述第i个编码图像进行以下处理：

20、对所述第i个编码图像进行切割，得到多个编码子块；

21、针对任一所述编码子块，将所述编码子块映射成编码嵌入向量；

22、对多个所述编码嵌入向量进行拼接，得到编码嵌入向量矩阵；

23、利用第i个所述特征图生成网络中的所述全局特征提取网络，对所述编码嵌入向量矩阵进行全局特征提取处理，得到第i个编码特征图。

24、在一个可选的实施方式中，所述利用第i个所述特征图生成网络中的所述全局特征提取网络，对所述编码嵌入向量矩阵进行全局特征提取处理，得到第i个编码特征图，包括：

25、利用第i个所述特征图生成网络中的所述全局特征提取网络，对所述编码嵌入向量矩阵进行以下全局特征提取处理：

26、对所述编码嵌入向量矩阵进行卷积处理，得到第一编码卷积结果；

27、对所述第一编码卷积结果进行归一化处理，得到编码归一化结果；

28、将所述编码归一化结果与所述编码嵌入向量矩阵进行线性加权，得到编码加权结果；

29、对所述编码加权结果进行卷积处理，得到第二编码卷积结果；

30、对所述第二编码卷积结果进行激活处理，得到编码激活结果；

31、将所述编码激活结果与所述编码嵌入向量矩阵进行合并，得到第i个编码特征图。

32、在一个可选的实施方式中，所述解码器包括m-1个特征图生成网络和m个上采样网络；

33、所述利用解码器对所述原始特征图进行处理，得到所述原始图像对应的多个不同尺度的目标特征图，包括：

34、将所述原始特征图输入至第m个所述上采样网络，对所述原始特征图进行上采样处理，得到第m个尺度的目标特征图；

35、迭代执行以下操作，直至得到第1个尺度的目标特征图时停止下述操作：

36、将第j+1个尺度的目标特征图输入至第j个所述特征图生成网络，对所述第j+1个尺度的目标特征图进行全局特征提取处理，输出第j个解码特征图，其中，所述j依次为m-1，……，3，2，1；

37、将所述第j个解码特征图输入至第j个所述上采样网络，对所述第j个解码特征图进行上采样处理，得到第j个尺度的目标特征图。

38、在一个可选的实施方式中，所述特征图生成网络包括嵌入网络与全局特征提取网络；

39、所述将第j+1个尺度的目标特征图输入至第j个所述特征图生成网络，对所述第j+1个尺度的目标特征图进行全局特征提取处理，输出第j个解码特征图，包括：

40、利用第j个所述特征图生成网络中的所述嵌入网络，对所述第j+1个尺度的目标特征图进行以下处理：

41、对所述第j+1个尺度的目标特征图进行切割，得到多个解码子块；

42、针对任一所述解码子块，将所述解码子块映射成解码嵌入向量；

43、对多个所述解码嵌入向量进行拼接，得到解码嵌入向量矩阵；

44、利用第j个所述特征图生成网络中的所述全局特征提取网络，对所述解码嵌入向量矩阵进行全局特征提取处理，得到第j个解码特征图。

45、在一个可选的实施方式中，所述利用第j个所述特征图生成网络中的所述全局特征提取网络，对所述解码嵌入向量矩阵进行全局特征提取处理，得到第j个解码特征图，包括：

46、利用第j个所述特征图生成网络中的所述全局特征提取网络，对所述解码嵌入向量矩阵进行以下全局特征提取处理：

47、对所述解码嵌入向量矩阵进行卷积处理，得到第一解码卷积结果；

48、对所述第一解码卷积结果进行归一化处理，得到解码归一化结果；

49、将所述解码归一化结果与所述解码嵌入向量矩阵进行线性加权，得到解码加权结果；

50、对所述解码加权结果进行卷积处理，得到第二解码卷积结果；

51、对所述第二解码卷积结果进行激活处理，得到解码激活结果；

52、将所述解码激活结果与所述解码嵌入向量矩阵进行合并，得到第j个解码特征图。

53、在一个可选的实施方式中，所述将所述第j个解码特征图输入至第j个所述上采样网络，对所述第j个解码特征图进行上采样处理，得到第j个尺度的目标特征图，包括：

54、确定与解码器中第j个所述特征图生成网络同层级的编码器中的第j个所述特征图生成网络；

55、将编码器中第j个所述特征图生成网络输出的第j个编码特征图与所述第j个解码特征图进行叠加，得到叠加特征图；

56、将所述叠加特征图输入至第j个所述上采样网络，对所述叠加特征图进行上采样处理，得到第j个尺度的目标特征图。

57、在一个可选的实施方式中，所述多尺度融合网络包括m个全卷积网络、融合网络和重建网络；

58、所述利用多尺度融合网络对所述多个不同尺度的所述目标特征图进行处理，得到无杂质的目标图像，包括：

59、针对第k个尺度的所述目标特征图，利用对应的第k个所述全卷积网络，对第k个尺度的所述目标特征图进行全卷积处理，得到第k个卷积特征图，所述k依次为1，2，3，……，m；

60、利用所述融合网络，对m个所述卷积特征图进行融合，得到融合特征图；

61、利用所述重建网络对所述融合特征图进行重建，得到与所述原始图像分辨率大小一致的无杂质的目标图像。

62、在一个可选的实施方式中，所述利用所述融合网络，对m个所述卷积特征图进行融合，得到融合特征图，包括：

63、利用所述融合网络，对m个所述卷积特征图进行叠加，得到融合特征图。

64、在一个可选的实施方式中，所述利用所述重建网络对所述融合特征图进行重建，得到与所述原始图像分辨率大小一致的无杂质的目标图像，包括：

65、将所述融合特征图输入至所述重建网络，对所述融合特征图进行以下重建处理：

66、对所述融合特征图进行卷积处理，得到融合卷积结果；

67、对所述融合卷积结果进行上采样处理，得到上采样处理后的所述融合卷积结果；

68、对上采样处理后的所述融合卷积结果进行卷积处理，得到与所述原始图像分辨率大小一致的无杂质的目标图像。

69、在本技术实施例的第二方面，还提供了一种图像处理装置，所述装置包括：

70、图像获取模块，用于获取携带有杂质的原始图像；

71、特征图确定模块，用于确定所述原始图像对应的原始特征图；

72、特征图生成模块，用于根据所述原始特征图，生成所述原始图像对应的多个不同尺度的目标特征图；

73、图像生成模块，用于根据多个不同尺度的所述目标特征图，生成无杂质的目标图像。

74、在一个可选的实施方式中，所述特征图确定模块具体用于：

75、利用编码器对所述原始图像进行处理，得到所述原始图像对应的原始特征图；

76、所述特征图生成模块具体用于：

77、利用解码器对所述原始特征图进行处理，得到所述原始图像对应的多个不同尺度的目标特征图；

78、所述图像生成模块具体用于：

79、利用多尺度融合网络对所述多个不同尺度的所述目标特征图进行处理，得到无杂质的目标图像。

80、在一个可选的实施方式中，所述编码器包括m个特征图生成网络，所述m为正整数；

81、所述特征图确定模块具体包括：

82、迭代子模块，用于迭代执行以下操作，直至得到第m个编码特征图时停止下述操作：

83、特征图确定子模块，用于将第i个编码图像输入至第i个所述特征图生成网络，对所述第i个编码图像进行全局特征提取，输出第i个编码特征图，其中，所述第i个编码特征图是第i+1个编码图像，所述i依次为1，2，3，……，m；

84、其中，第1个编码图像为所述原始图像，第m个编码特征图是所述原始特征图。

85、在一个可选的实施方式中，所述特征图生成网络包括嵌入网络与全局特征提取网络；

86、所述特征图确定子模块具体包括：

87、编码图像处理单元，用于利用第i个所述特征图生成网络中的所述嵌入网络，对所述第i个编码图像进行以下处理：

88、对所述第i个编码图像进行切割，得到多个编码子块；

89、针对任一所述编码子块，将所述编码子块映射成编码嵌入向量；

90、对多个所述编码嵌入向量进行拼接，得到编码嵌入向量矩阵；

91、编码嵌入向量矩阵处理单元，用于利用第i个所述特征图生成网络中的所述全局特征提取网络，对所述编码嵌入向量矩阵进行全局特征提取处理，得到第i个编码特征图。

92、在一个可选的实施方式中，所述编码嵌入向量矩阵处理单元具体用于：

93、利用第i个所述特征图生成网络中的所述全局特征提取网络，对所述编码嵌入向量矩阵进行以下全局特征提取处理：

94、对所述编码嵌入向量矩阵进行卷积处理，得到第一编码卷积结果；

95、对所述第一编码卷积结果进行归一化处理，得到编码归一化结果；

96、将所述编码归一化结果与所述编码嵌入向量矩阵进行线性加权，得到编码加权结果；

97、对所述编码加权结果进行卷积处理，得到第二编码卷积结果；

98、对所述第二编码卷积结果进行激活处理，得到编码激活结果；

99、将所述编码激活结果与所述编码嵌入向量矩阵进行合并，得到第i个编码特征图。

100、在一个可选的实施方式中，所述解码器包括m-1个特征图生成网络和m个上采样网络；

101、所述特征图生成模块具体包括：

102、第m个尺度的目标特征图生成子模块，用于将所述原始特征图输入至第m个所述上采样网络，对所述原始特征图进行上采样处理，得到第m个尺度的目标特征图；

103、迭代子模块，用于迭代执行以下操作，直至得到第1个尺度的目标特征图时停止下述操作：

104、解码特征图生成子模块，用于将第j+1个尺度的目标特征图输入至第j个所述特征图生成网络，对所述第j+1个尺度的目标特征图进行全局特征提取处理，输出第j个解码特征图，其中，所述j依次为m-1，……，3，2，1；

105、第j个尺度的目标特征图生成子模块，用于将所述第j个解码特征图输入至第j个所述上采样网络，对所述第j个解码特征图进行上采样处理，得到第j个尺度的目标特征图。

106、在一个可选的实施方式中，所述特征图生成网络包括嵌入网络与全局特征提取网络；

107、所述解码特征图生成子模块具体包括：

108、目标特征图处理单元，用于利用第j个所述特征图生成网络中的所述嵌入网络，对所述第j+1个尺度的目标特征图进行以下处理：

109、对所述第j+1个尺度的目标特征图进行切割，得到多个解码子块；

110、针对任一所述解码子块，将所述解码子块映射成解码嵌入向量；

111、对多个所述解码嵌入向量进行拼接，得到解码嵌入向量矩阵；

112、解码嵌入向量矩阵处理单元，用于利用第j个所述特征图生成网络中的所述全局特征提取网络，对所述解码嵌入向量矩阵进行全局特征提取处理，得到第j个解码特征图。

113、在一个可选的实施方式中，所述解码嵌入向量矩阵处理单元具体用于：

114、利用第j个所述特征图生成网络中的所述全局特征提取网络，对所述解码嵌入向量矩阵进行以下全局特征提取处理：

115、对所述解码嵌入向量矩阵进行卷积处理，得到第一解码卷积结果；

116、对所述第一解码卷积结果进行归一化处理，得到解码归一化结果；

117、将所述解码归一化结果与所述解码嵌入向量矩阵进行线性加权，得到解码加权结果；

118、对所述解码加权结果进行卷积处理，得到第二解码卷积结果；

119、对所述第二解码卷积结果进行激活处理，得到解码激活结果；

120、将所述解码激活结果与所述解码嵌入向量矩阵进行合并，得到第j个解码特征图。

121、在一个可选的实施方式中，所述第j个尺度的目标特征图生成子模块具体用于：

122、确定与解码器中第j个所述特征图生成网络同层级的编码器中的第j个所述特征图生成网络；

123、将编码器中第j个所述特征图生成网络输出的第j个编码特征图与所述第j个解码特征图进行叠加，得到叠加特征图；

124、将所述叠加特征图输入至第j个所述上采样网络，对所述叠加特征图进行上采样处理，得到第j个尺度的目标特征图。

125、在一个可选的实施方式中，所述多尺度融合网络包括m个全卷积网络、融合网络和重建网络；

126、所述图像生成模块具体包括：

127、目标特征图处理子模块，用于针对第k个尺度的所述目标特征图，利用对应的第k个所述全卷积网络，对第k个尺度的所述目标特征图进行全卷积处理，得到第k个卷积特征图，所述k依次为1，2，3，……，m；

128、特征图融合模块，用于利用所述融合网络，对m个所述卷积特征图进行融合，得到融合特征图；

129、特征图重建子模块，用于利用所述重建网络对所述融合特征图进行重建，得到与所述原始图像分辨率大小一致的无杂质的目标图像。

130、在一个可选的实施方式中，所述特征图融合模块具体用于：

131、利用所述融合网络，对m个所述卷积特征图进行叠加，得到融合特征图。

132、在一个可选的实施方式中，所述特征图重建子模块具体用于：

133、将所述融合特征图输入至所述重建网络，对所述融合特征图进行以下重建处理：

134、对所述融合特征图进行卷积处理，得到融合卷积结果；

135、对所述融合卷积结果进行上采样处理，得到上采样处理后的所述融合卷积结果；

136、对上采样处理后的所述融合卷积结果进行卷积处理，得到与所述原始图像分辨率大小一致的无杂质的目标图像。

137、在本技术实施例的第三方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

138、存储器，用于存放计算机程序；

139、处理器，用于执行存储器上所存放的程序时，实现上述第一方面中任一所述的图像处理方法。

140、在本技术实施例的第四方面，还提供了一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面中任一所述的图像处理方法。

141、在本技术实施例的第五方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的图像处理方法。

142、本技术实施例提供的技术方案，获取携带有杂质的原始图像，并确定原始图像对应的原始特征图，根据原始特征图，生成原始图像对应的多个不同尺度的目标特征图，根据多个不同尺度的目标特征图，生成无杂质的目标图像。通过确定携带有杂质的原始图像对应的原始特征图，并据此生成原始图像对应的多个不同尺度的目标特征图，多个不同尺度的目标特征图，充分保留了多个不同尺度的特征信息，多个不同尺度的特征信息既包括更细致的纹理特征信息，也包括更丰富的语义信息，融合多个不同尺度的目标特征图，生成无杂质的目标图像，如此通过原始图像对应的多个不同尺度的目标特征图，可以生成无杂质的目标图像，其杂质去除的非常干净，不会存在杂质残留，并且能很好的保持原有图像彩色，还原干净、清晰的图像，杂质区域与非杂质区域不会存在色差。