图像处理方法及装置、设备、介质与流程

本公开涉及图像处理，尤其涉及一种图像处理方法及装置、设备、介质。

背景技术：

1、图像超分辨率是一类视觉生成任务（简称为图像超分任务），能够将低分辨率图像重建为高分辨率图像，通常应用于手机、数码相机以及地理信息的图像增强，或是直播视频的压缩与重建。

2、相关技术中，可以通过插值算法实现图像超分任务。其中，插值算法可以为三次样条插值，或者利用拉普拉斯金字塔和稀疏编码等算法。目前，还可以通过深度学习实现图像超分任务。2014年，国际计算机视觉与模式识别会议上出现了超分辨卷积神经网络（super-resolution convolutional network，srcnn）、增强深度超分（enhanced deep super-resolution，edsr）网络以及增强超分生成对抗网络（enhanced super-resolutiongenerative adversarial network，esrgan）等一系列神经网络能将单张图像放大2~4倍；2022年，vrt利用tansfomer的注意力机制，设计出效果更好的深度学习模型，通过在大数据训练中学习到的先验知识，填补图像缺失的像素，获得清晰的纹理和图像细节，但这种深度学习模型需要耗费更大的计算量。

3、目前相关技术中的方法仍存在一定问题。比如，传统的超分技术无法实现更大的缩放倍率和更好的视觉效果。再者，深度学习速度慢、运行效率低，难以兼顾效果和性能。另外，目前基于深度学习重建的图像细节可能与时空信息不符，无法在连续帧中获得很好的结果，这会使得超分重建后的内容不连续，容易出现闪烁、模糊及伪影问题。

技术实现思路

1、有鉴于此，本公开提出了一种图像处理方法及装置、设备、介质，能够在高效且实时处理图像超分任务的同时保证超分结果具有时空连续性，实现画面流畅及帧率稳定。

2、根据本公开的一方面，提供了一种图像处理方法，所述方法应用于超分模型，所述超分模型包括至少一个处理单元，每个处理单元包括稀疏卷积网络和上采样网络，其中，所述稀疏卷积网络用于采用稀疏卷积核进行特征提取，所述上采样网络用于进行上采样，所述方法包括：

3、将第一采集图像输入所述稀疏卷积网络，提取所述第一采集图像的空域特征，以及，基于采集图像序列确定所述第一采集图像的时域特征，其中，所述第一采集图像表示所述采集图像序列中待超分处理的采集图像；

4、基于所述空域特征和所述时域特征确定所述第一采集图像的时空特征；

5、将所述第一采集图像的时空特征输入所述上采样网络，得到所述第一采集图像对应的第一超分图像，其中，所述第一超分图像的分辨率高于所述第一采集图像的分辨率。

6、通过超分模型的稀疏卷积网络提取待超分图像的空域特征，并根据图像采集序列确定待超分图像的时域特征，进而通过空域特征和时域特征确定待超分图像的时空特征，并基于超分模型的上采样网络对时空特征进行上采样得到相应的超分图像，这样基于反映待超分图像在空间和时间两个维度上的特征信息进行超分处理，能够使得最终生成的超分图像保持时空连续性，避免出现闪烁、模糊及伪影问题，保持帧率稳定及画面流畅，同时超分模型具有较高的运行效率，以实现实时的图像处理。

7、在一种可能的实现方式中，所述超分模型中所述处理单元的数量由所述超分处理所需的放大倍率确定；在所述超分模型包括至少两个所述处理单元的情况下，所述方法还包括：以前一个所述处理单元输出的超分图像作为下一个所述处理单元的稀疏卷积网络的输入；根据前一个所述处理单元所用的时域特征和当前所述处理单元的稀疏卷积网络输出的空域特征确定输入该当前所述处理单元的上采样网络的时空特征。

8、通过自行设置处理单元的数量，能够方便修改缩放尺度，即有助于灵活调整图像的放大倍率，并且在处理单元不止一个的情况下，通过利用待超分图像的时域特征反复调整空域特征，在进行高倍率放大的同时能够更好地保持图像清晰度，避免出现模糊、锯齿及伪影问题。

9、在一种可能的实现方式中，不同应用场景下的时域特征不同。

10、通过在不同应用场景下确定不同的时域特征，使得在不同应用场景下输入至后续上采样网络的时空特征也有所不同，这样有利于实现具有针对性的超分任务。

11、在一种可能的实现方式中，在所述超分模型用于视频增强场景的情况下，所述基于采集图像序列确定所述第一采集图像的时域特征，包括：根据所述采集图像序列，确定所述第一采集图像相对于第二采集图像和第三采集图像的光流信息，所述第二采集图像表示所述采集图像序列中位于所述第一采集图像之前的采集图像，所述第三采集图像表示所述采集图像序列中位于所述第一采集图像之后的采集图像；根据所述光流信息确定所述第一采集图像的时域特征。

12、通过待超分图像的光流信息确定其时域特征，并利用该时域特征进行后续特征图的调整优化，有利于生成更贴合视频增强场景的超分图像，使得超分任务具有针对性。

13、在一种可能的实现方式中，在所述超分模型用于游戏渲染场景的情况下，所述基于采集图像序列确定所述第一采集图像的时域特征，包括：根据所述采集图像序列，确定所述第一采集图像相对于第二采集图像和第三采集图像的抖动偏移信息和运动矢量，所述第二采集图像表示所述采集图像序列中位于所述第一采集图像之前的采集图像，所述第三采集图像表示所述采集图像序列中位于所述第一采集图像之后的采集图像；根据所述抖动偏移信息和所述运动矢量确定所述第一采集图像的时域特征。

14、通过待超分图像的抖动偏移信息和运动矢量确定其时域特征，并利用该时域特征进行后续特征图的调整优化，有利于生成更贴合游戏渲染场景的超分图像，使得超分任务具有针对性。

15、在一种可能的实现方式中，所述基于所述空域特征和所述时域特征确定所述第一采集图像的时空特征，包括：利用所述时域特征调整所述空域特征得到所述第一采集图像的时空特征。

16、通过利用时域特征调整优化空域特征，这样能够保证时空特征同时反映待超分图像在空间和时间两个维度上的特征信息，有助于保证后续生成的超分图像保持时空连续性。

17、在一种可能的实现方式中，所述稀疏卷积网络至少包括第一稀疏卷积层、11卷积层以及第二稀疏卷积层。

18、通过在两层稀疏卷积层中设置并使用11卷积层，在具有相似归一化效果的同时能够降低计算量，有助于高效完成超分任务，同时降低运行过程中的能耗。

19、在一种可能的实现方式中，所述上采样网络包括亚像素卷积层。

20、通过亚像素卷积实现上采样，能够在低分辨率空间保留更多的纹理区域，并且能够获得更好的重建效果，同时能够实现高效、快速、无参的像素重排列。

21、在一种可能的实现方式中，所述超分模型的训练过程至少包括：初始化所述稀疏卷积网络的网络参数；基于所述稀疏卷积网络的当前网络层的输入图像序列、当前网络层的权重矩阵以及优化参数确定目标函数的梯度，其中，所述输入图像序列来源于训练样本集，所述训练样本集根据所述超分模型的应用场景设置，所述目标函数表示关于所述输入图像序列和所述优化参数的编码长度函数；沿着所述梯度方向，以所述目标函数最大化为目标，前向更新所述稀疏卷积网络的各个网络层，直至获得满足预设条件的稀疏卷积网络。

22、通过前向更新方式训练得到白盒模型，不仅减少了模型的训练及修改时间，还得到了具有较强解释性的模型，有助于知晓各个网络层权重更新的原因，方便用户手动修改。

23、在一种可能的实现方式中，所述预设条件为所述梯度更新的次数达到第一阈值，或者，所述预设条件为所述目标函数的值等于或大于第二阈值。

24、通过设置不同的预设条件，有利于根据实际需求灵活选择合适的预设条件以得到训练完成的超分模型。

25、根据本公开的另一方面，提供了一种图像处理装置，所述装置应用于超分模型，所述超分模型包括至少一个处理单元，每个处理单元包括稀疏卷积网络和上采样网络，其中，所述稀疏卷积网络用于采用稀疏卷积核进行特征提取，所述上采样网络用于进行上采样，所述装置包括：

26、特征提取模块，所述特征提取模块被配置为将第一采集图像输入所述稀疏卷积网络，提取所述第一采集图像的空域特征，以及，基于采集图像序列确定所述第一采集图像的时域特征，其中，所述第一采集图像表示所述采集图像序列中待超分处理的采集图像；

27、特征确定模块，所述特征确定模块被配置为基于所述空域特征和所述时域特征确定所述第一采集图像的时空特征；

28、上采样模块，所述上采样模块被配置为将所述第一采集图像的时空特征输入所述上采样网络，得到所述第一采集图像对应的第一超分图像，其中，所述第一超分图像的分辨率高于所述第一采集图像的分辨率。

29、在一种可能的实现方式中，所述超分模型中所述处理单元的数量由所述超分处理所需的放大倍率确定；在所述超分模型包括至少两个所述处理单元的情况下，所述装置还包括：处理模块，所述处理模块被配置为以前一个所述处理单元输出的超分图像作为下一个所述处理单元的稀疏卷积网络的输入；确定模块，所述确定模块被配置为根据前一个所述处理单元所用的时域特征和当前所述处理单元的稀疏卷积网络输出的空域特征确定输入该当前所述处理单元的上采样网络的时空特征。

30、在一种可能的实现方式中，不同应用场景下的时域特征不同。

31、在一种可能的实现方式中，在所述超分模型用于视频增强场景的情况下，所述基于采集图像序列确定所述第一采集图像的时域特征，包括：根据所述采集图像序列，确定所述第一采集图像相对于第二采集图像和第三采集图像的光流信息，所述第二采集图像表示所述采集图像序列中位于所述第一采集图像之前的采集图像，所述第三采集图像表示所述采集图像序列中位于所述第一采集图像之后的采集图像；根据所述光流信息确定所述第一采集图像的时域特征。

32、在一种可能的实现方式中，在所述超分模型用于游戏渲染场景的情况下，所述基于采集图像序列确定所述第一采集图像的时域特征，包括：根据所述采集图像序列，确定所述第一采集图像相对于第二采集图像和第三采集图像的抖动偏移信息和运动矢量，所述第二采集图像表示所述采集图像序列中位于所述第一采集图像之前的采集图像，所述第三采集图像表示所述采集图像序列中位于所述第一采集图像之后的采集图像；根据所述抖动偏移信息和所述运动矢量确定所述第一采集图像的时域特征。

33、在一种可能的实现方式中，所述基于所述空域特征和所述时域特征确定所述第一采集图像的时空特征，包括：利用所述时域特征调整所述空域特征得到所述第一采集图像的时空特征。

34、在一种可能的实现方式中，所述稀疏卷积网络至少包括第一稀疏卷积层、11卷积层以及第二稀疏卷积层。

35、在一种可能的实现方式中，所述上采样网络包括亚像素卷积层。

36、在一种可能的实现方式中，所述超分模型的训练过程至少包括：初始化所述稀疏卷积网络的网络参数；基于所述稀疏卷积网络的当前网络层的输入图像序列、当前网络层的权重矩阵以及优化参数确定目标函数的梯度，其中，所述输入图像序列来源于训练样本集，所述训练样本集根据所述超分模型的应用场景设置，所述目标函数表示关于所述输入图像序列和所述优化参数的编码长度函数；沿着所述梯度方向，以所述目标函数最大化为目标，前向更新所述稀疏卷积网络的各个网络层，直至获得满足预设条件的稀疏卷积网络。

37、在一种可能的实现方式中，所述预设条件为所述梯度更新的次数达到第一阈值，或者，所述预设条件为所述目标函数的值等于或大于第二阈值。

38、根据本公开的另一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为在执行所述存储器存储的指令时，实现上述图像处理方法。

39、根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述图像处理方法。

40、根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。