图像处理方法、装置、设备及存储介质与流程

本发明涉及图像处理，尤其涉及一种图像处理方法、装置、设备及存储介质。

背景技术：

1、随着深度学习的兴起，卷积神经网络(convolutional neural networks，cnn)等技术逐渐在图像超分辨率领域占据主导地位。通过大量高分辨率图像和其低分辨率版本的配对数据，可以训练出具有显著学习能力的神经网络模型。这些模型能够从低分辨率图像中学习到图像的特征，并根据这些特征生成高分辨率细节，从而实现图像的超分辨率重建。基于cnn的单张图像超分辨率方法主要依靠cnn网络来提取图像的特征做补偿，目前由于cnn网络感受野有限，因此无法充分提取图像特征，无法有效地基于图像特征对图像处理，导致处理后的图像细节不够丰富。

2、上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本发明的主要目的在于提供一种图像处理方法、装置、设备及存储介质，旨在解决现有技术无法充分提取图像特征，无法有效地基于图像特征对图像处理，导致处理后的图像细节不够丰富的技术问题。

2、为实现上述目的，本发明提供了一种方法，所述方法包括以下步骤：

3、对原始图像进行局部特征提取，获得局部特征信息；

4、基于所述局部特征信息进行高频特征提取，获得高频特征图像；

5、对所述高频特征图像进行全局特征提取，获得全局特征信息；

6、基于所述全局特征信息对所述原始图像进行残差连接处理，获得目标图像。

7、可选地，所述对原始图像进行局部特征提取，获得局部特征信息，包括：

8、将原始图像输入至预先构建的卷积特征提取模型，获取所述卷积特征提取模型中各通道提取的初始特征信息；

9、确定所述各通道的通道权重；

10、基于所述通道权重对所述各通道提取的初始特征信息进行加权，获得局部特征信息。

11、可选地，所述基于所述局部特征信息进行高频特征提取，获得高频特征图像，包括：

12、获取所述局部特征信息对应的局部特征图像；

13、对所述局部特征图像进行平均池化，获得候选图像；

14、基于所述候选图像对所述局部特征图像进行残差连接，获得高频特征图像。

15、可选地，所述对所述局部特征图像进行平均池化，获得候选图像，包括：

16、基于预设缩放比例对所述局部特征图像进行窗口划分，获得多个池化窗口；

17、基于所述多个池化窗口进行平均池化，获得初始图像；

18、对所述初始图像进行上采样填充，获得候选图像。

19、可选地，所述对所述高频特征图像进行全局特征提取，获得全局特征信息，包括：

20、对所述高频特征图像进行切分，获得多个重叠的特征块；

21、基于所述特征块构建向量矩阵；

22、对所述向量矩阵进行线性变换，获得所述向量矩阵对应的至少一个特征表示矩阵；

23、基于所述特征表示矩阵进行全局特征提取，获得全局特征信息。

24、可选地，所述基于所述特征表示矩阵进行全局特征提取，获得全局特征信息，包括：

25、获取各所述特征表示矩阵的注意力权重；

26、对所述注意力权重进行归一化，获得自注意力输出结果；

27、基于所述自注意力输出结果进行全局特征提取，获得全局特征信息。

28、可选地，所述对所述高频特征图像进行切分，获得多个重叠的特征块，包括：

29、获取切分尺寸和切分步长；

30、基于所述切分尺寸和所述切分步长对所述高频特征图像进行切分，获得多个初始块；

31、对所述多个初始块进行像素填充，获得多个重叠的特征块。

32、此外，为实现上述目的，本发明还提出一种图像处理装置，所述图像处理装置包括：

33、局部特征提取模块，用于对原始图像进行局部特征提取，获得局部特征信息；

34、高频特征提取模块，用于基于所述局部特征信息进行高频特征提取，获得高频特征图像；

35、全局特征提取模块，用于对所述高频特征图像进行全局特征提取，获得全局特征信息；

36、图像解码模块，用于基于所述全局特征信息对所述原始图像进行残差连接处理，获得目标图像。

37、此外，为实现上述目的，本发明还提出一种图像处理设备，所述图像处理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像处理程序，所述图像处理程序配置为实现如上文所述的图像处理方法的步骤。

38、此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有图像处理程序，所述图像处理程序被处理器执行时实现如上文所述的图像处理方法的步骤。

39、本发明通过对原始图像进行局部特征提取，获得局部特征信息，基于所述局部特征信息进行高频特征提取，获得高频特征图像，对所述高频特征图像进行全局特征提取，获得全局特征信息，基于所述全局特征信息对所述原始图像进行残差连接处理，获得目标图像；由于本发明通过对原始图像进行局部特征提取、高频特征提取以及全局特征提取，并基于全局特征提取得到的全局特征信息对原始图像进行残差连接，从而充分提取图像特征，有效地提升了图像处理效率，实现了利用卷积神经网络的感受野以外的图像全局特征来帮助恢复图像细节，确保处理后的图像细节丰富。

技术特征：

1.一种图像处理方法，其特征在于，所述图像处理方法包括：

2.如权利要求1所述的图像处理方法，其特征在于，所述对原始图像进行局部特征提取，获得局部特征信息，包括：

3.如权利要求1所述的图像处理方法，其特征在于，所述基于所述局部特征信息进行高频特征提取，获得高频特征图像，包括：

4.如权利要求3所述的图像处理方法，其特征在于，所述对所述局部特征图像进行平均池化，获得候选图像，包括：

5.如权利要求1至4中任一项所述的图像处理方法，其特征在于，所述对所述高频特征图像进行全局特征提取，获得全局特征信息，包括：

6.如权利要求5所述的图像处理方法，其特征在于，所述基于所述特征表示矩阵进行全局特征提取，获得全局特征信息，包括：

7.如权利要求5所述的图像处理方法，其特征在于，所述对所述高频特征图像进行切分，获得多个重叠的特征块，包括：

8.一种图像处理装置，其特征在于，所述图像处理装置包括：

9.一种图像处理设备，其特征在于，所述图像处理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像处理程序，所述图像处理程序配置为实现如权利要求1至7中任一项所述的图像处理方法。

10.一种存储介质，其特征在于，所述存储介质上存储有图像处理程序，所述图像处理程序被处理器执行时实现如权利要求1至7任一项所述的图像处理方法。

技术总结
本发明公开了一种图像处理方法、装置、设备及存储介质，涉及图像处理领域，所述方法包括：对原始图像进行局部特征提取，获得局部特征信息，基于所述局部特征信息进行高频特征提取，获得高频特征图像，对所述高频特征图像进行全局特征提取，获得全局特征信息，基于所述全局特征信息对所述原始图像进行残差连接处理，获得目标图像；由于本发明通过对原始图像进行局部特征提取、高频特征提取以及全局特征提取，并基于全局特征提取得到的全局特征信息对原始图像进行残差连接，从而充分提取图像特征，有效地提升了图像处理效率，确保处理后的图像细节丰富。

技术研发人员：张帆,陈晓鸿,黄华新,严华亮,魏宝辉,吴志强,罗朝彤
受保护的技术使用者：中移动信息技术有限公司
技术研发日：
技术公布日：2024/4/17