图像处理方法、装置、终端及计算机可读存储介质与流程

本申请涉及终端摄像，尤其涉及一种图像处理方法、装置、终端及计算机可读存储介质。

背景技术：

1、超分辨率(super resolution,sr)是指从给定的低分辨率(low resolution，lr)图像中恢复高分辨率(high resolution，hr)图像的过程。目前的视频超分辨率方案通常通过利用视频序列帧间相似度高的信息进行融合增强。然而，当视频帧画质较差时，即使使用连续帧信息进行融合增强，也很难达到理想的画质提升。

技术实现思路

1、本申请期望提供一种图像处理方法、装置、终端及计算机可读存储介质，能够提高视频超分辨率的图像效果。

2、本申请的技术方案是这样实现的：

3、第一方面，本申请提供一种图像处理方法，所述方法包括：

4、通过对第一分辨率的多个第一图像以及第二图像进行特征交互，确定所述多个第一图像对应的多个聚合增强特征；所述第二图像的分辨率大于所述第一分辨率；

5、对所述多个聚合增强特征进行特征解码，确定第二分辨率的多个第一目标图像；所述第二分辨率大于所述第一分辨率。

6、第二方面，本申请提供一种图像处理装置，所述装置包括：

7、特征增强模块，用于通过对第一分辨率的多个第一图像以及第二图像进行特征交互，确定所述多个第一图像对应的多个聚合增强特征；所述第二图像的分辨率大于所述第一分辨率；

8、特征解码模块，用于对所述多个聚合增强特征进行特征解码，确定第二分辨率的多个第一目标图像；所述第二分辨率大于所述第一分辨率。

9、第三方面，本申请提供一种终端，包括存储器与处理器；其中，

10、所述存储器，用于存储可执行指令；

11、所述处理器，用于在执行所述存储器中存储的可执行指令时，实现本申请实施例提供的图像处理方法。

12、第四方面，本申请提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本申请实施例提供的图像处理方法。

13、第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现本申请实施例提供的图像处理方法。

14、本申请提供一种图像处理方法、装置、终端及计算机可读存储介质，通过对第一分辨率的多个第一图像以及第二图像进行特征交互，确定多个第一图像对应的多个聚合增强特征；第二图像的分辨率大于第一分辨率；对多个聚合增强特征进行特征解码，确定第二分辨率的多个第一目标图像；第二分辨率大于第一分辨率。这样，通过高分辨率的第二图像对低分辨率的多个第一图像进行特征交互，有效增强了第一图像的特征，确定多个第一图像对应的多个聚合增强特征。通过对多个聚合增强特征进行解码得到第二分辨率的多个第二目标图像，从而提高了视频超分的图像效果。

技术特征：

1.一种图像处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述通过对第一分辨率的多个第一图像以及第二图像进行特征交互，确定所述多个第一图像对应的多个聚合增强特征，包括：

3.根据权利要求2所述的方法，其特征在于，所述多个第一特征对应时间顺序的多个时刻；所述交互增强特征与每个所述目标第一特征之外的第一特征分别对应所述多个时刻中的一个时刻；所述基于所述交互增强特征，以及所述多个第一特征中所述目标第一特征之外的第一特征，进行特征前向传播与特征后向传播，确定所述多个聚合增强特征，包括：

4.根据权利要求3所述的方法，其特征在于，所述通过确定所述每个时刻对应的特征与所述每个时刻的下一时刻对应的特征之间的光流信息，确定所述每个时刻的下一时刻对应的前向传播增强特征，包括：

5.根据权利要求3所述的方法，其特征在于，所述通过确定所述每个时刻对应的特征与所述每个时刻的上一时刻对应的特征之间的光流信息，确定所述每个时刻的上一时刻对应的后向传播增强特征，包括：

6.根据权利要求2-5任一项所述的方法，其特征在于，所述利用所述第二特征，对所述多个第一特征中的目标第一特征进行特征交互增强，确定交互增强特征之前，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述多个第一特征对应连续的所述多个第一图像；所述目标第一特征为连续的所述多个第一图像中，中间的第一图像对应的第一特征。

8.根据权利要求2所述的方法，其中所述分别对所述多个第一图像以及所述第二图像进行特征提取，确定所述多个第一图像对应的多个第一特征，以及所述第二图像对应的第二特征，包括：

9.根据权利要求3所述的方法，其特征在于，所述利用所述第二特征，对所述多个第一特征中的目标第一特征进行特征交互增强，确定交互增强特征，包括：

10.根据权利要求1-5中任一项，或者，权利要求7-9中任一项所述的方法，其特征在于，所述对所述多个聚合增强特征进行特征解码，确定第二分辨率的多个第一目标图像，包括：

11.根据权利要求1-5中任一项，或者，权利要求7-9中任一项所述的方法，其特征在于，所述多个第一图像通过终端上的第一图像传感器采集；所述第二图像通过所述终端上的第二图像传感器采集。

12.根据权利要求11所述的方法，其特征在于，所述方法还包括：

13.一种图像处理装置，其特征在于，包括：

14.一种终端，其特征在于，包括：存储器与处理器；其中，

15.一种计算机可读存储介质，其特征在于，存储有可执行指令，当所述可执行指令被处理器执行时，实现权利要求1至12中任一项所述的方法。

16.一种计算机程序产品，包括计算机程序或指令，其特征在于，所述计算机程序或指令被处理器执行时，实现权利要求1至12中任一项所述的方法的步骤。

技术总结
本申请公开了一种图像处理方法、装置、终端及计算机可读存储介质，能够提高视频超分辨率的图像效果。方法包括：通过对第一分辨率的多个第一图像以及第二图像进行特征交互，确定多个第一图像对应的多个聚合增强特征；第二图像的分辨率大于第一分辨率；对多个聚合增强特征进行特征解码，确定第二分辨率的多个第一目标图像；第二分辨率大于第一分辨率。

技术研发人员：徐梦婕
受保护的技术使用者：OPPO广东移动通信有限公司
技术研发日：
技术公布日：2024/4/8