用于超分辨率的方法和装置与流程

以下描述涉及图像超分辨率(sr)，并且在一些实施例中，涉及移动环境中的超分辨率方法和装置。

背景技术：

1、图像sr可以用于从单个低分辨率(lr)图像中获得高分辨率(hr)图像。图像sr可以提高图像质量，并且还可以通过增加图像中的小对象的大小来缩放图像。图像sr的示例包括基于插值的sr(例如，最邻近插值、双线性插值和双三次插值)和基于深度学习的sr。

2、然而，sr技术在计算上可能是昂贵的，并且可能不适合在诸如移动设备上的资源有限的环境中实现。因此，本领域需要可以在资源有限的环境中使用的改进的sr模型。

技术实现思路

1、本
技术实现要素：
提供了在下文中进一步描述的构思的选择。本发明内容不旨在定义所请求保护的主题的关键特征或基本特征，也不旨在用于帮助确定所请求保护的主题的范围。

2、本公开描述了一种超分辨率(sr)处理模型，该超分辨率(sr)处理模型的重量足够轻以能够在移动环境中进行实时处理。本公开的一些实施例提供了一种低复杂度的sr处理方法，该sr处理方法根据使用相机的环境来选择性地使用移动设备中的处理块。然而，技术方面不限于上述方面，并且还可以存在其他技术方面。

3、在一个方面中，一种方法包括：基于输入图像的梯度确定输入图像的方向类型；使用查找表(lut)基于方向类型获得第一中间图像，该查找表(lut)存储与映射到所确定的方向类型的内核集相对应的像素值组合的sr操作结果，其中，第一中间图像是与输入图像相对应的sr图像；将sr插值应用于输入图像以获得基线图像；以及基于第一中间图像和基线图像获得输出图像。

4、获得第一中间图像可以包括：基于梯度从输入图像中提取不平坦区域；以及基于存储在lut中的与输入图像的不平坦区域相对应的值获得与不平坦区域相对应的第一中间图像。

5、lut可以包括分别与映射到预设方向类型的内核集中包括的内核相对应的sr操作结果。sr操作结果可以包括映射到与内核的大小相对应的每个像素值组合的sr图像的像素值。

6、获得输出图像可以包括：基于基线图像和第一中间图像获得中间输出图像；通过将输入图像应用于用于sr的神经网络来获得第二中间图像；以及基于第二中间图像和中间输出图像获得输出图像。

7、获得第二中间图像可以包括：通过将输入图像和用于图像处理的调谐参数应用于神经网络来获得第二中间图像。神经网络可以包括被训练为基于低分辨率图像和与低分辨率图像相对应的调谐参数输出高分辨率的sr图像的神经网络。

8、调谐参数可以包括指示输入图像的噪声水平的值、输入图像的模糊内核、或用于模糊输入图像的高斯内核的标准差中的至少一种。sr方法还可以包括：通过相机预览来实时输出中间输出图像；以及提供输出图像作为输入图像的捕获图像。

9、获得输出图像可以包括：基于与输入图像的不平坦区域相对应的第二中间图像和中间输出图像获得输出图像。输入图像的不平坦区域可以包括输入图像的基于输入图像的梯度提取的至少一部分。

10、获得第一中间图像可以包括：通过将输入图像应用于用于sr的神经网络来获得第二中间图像；以及基于其中存储有与映射到所确定的方向类型的内核集相对应的像素值组合的sr校正结果的lut来获得第一中间图像，该第一中间图像是与第二中间图像相对应的校正后的sr图像。

11、获得输出图像可以包括：基于基线图像和第一中间图像获得中间输出图像；以及通过将中间输出图像应用于用于sr校正的神经网络来获得输出图像。

12、确定输入图像的方向类型可以包括：通过针对输入图像的每个轴应用差分掩模来获得输入图像的每个轴的差分元素；以及基于从输入图像的每个轴的差分元素获得的输入图像的梯度的角度，确定预设方向类型之一作为输入图像的方向类型。

13、获得输出图像可以包括：基于基线图像的像素值和第一中间图像的像素值之和获得输出图像。

14、在另一个一般方面中，一种具有sr图像处理的装置包括至少一个处理器。该处理器可以：基于输入图像的梯度确定输入图像的方向类型；使用查找表(lut)基于方向类型获得第一中间图像，该查找表(lut)存储与映射到所确定的方向类型的内核集相对应的像素值组合的sr操作结果，其中，第一中间图像是与输入图像相对应的sr图像；将sr插值应用于输入图像以获得基线图像；以及基于第一中间图像和基线图像获得输出图像。

15、该装置还可以包括被配置为在其中存储lut的存储器。

16、为了获得第一中间图像，处理器可以：基于梯度从输入图像中提取不平坦区域；以及基于存储在lut中的与输入图像的不平坦区域相对应的值获得与不平坦区域相对应的第一中间图像。

17、为了获得输出图像，处理器可以：基于基线图像和第一中间图像获得中间输出图像；通过将输入图像应用于用于sr的神经网络来获得第二中间图像；以及基于第二中间图像和中间输出图像获得输出图像。

18、为了获得第二中间图像，处理器可以：通过将输入图像和用于图像处理的调谐参数应用于神经网络来获得第二中间图像。神经网络可以包括基于低分辨率图像和与低分辨率图像相对应的调谐参数进行训练以输出高分辨率的sr图像的神经网络。

19、为了获得第一中间图像，处理器可以：通过将输入图像应用于用于sr的神经网络来获得第二中间图像；以及基于其中存储有与映射到所确定的方向类型的内核集相对应的像素值组合的sr校正结果的lut来获得第一中间图像，该第一中间图像是与第二中间图像相对应的校正后的sr图像。

20、为了获得输出图像，处理器可以：基于基线图像和第一中间图像获得中间输出图像；以及通过将中间输出图像应用于用于sr校正的神经网络来获得输出图像。

21、在另一方面中，一种方法包括：获得包括第一部分和第二部分的输入图像；基于输入图像计算第一部分的第一梯度和第二部分的第二梯度；分别基于第一梯度和第二梯度获得第一部分的第一内核形状和第二部分的第二内核形状，其中，第一内核形状和第二内核形状是从lut中获得的，并且其中，第二内核形状与第一内核形状不同；以及通过基于第一内核形状和第二内核形状对输入图像执行sr来生成输出图像。

22、在一些方面中，执行sr还包括：将第一内核形状应用于图像的第一部分，并且将第二内核形状应用于图像的第二部分。

23、在一些方面中，该方法还包括：使用sr插值过程来生成基线图像；基于第一内核形状和第二内核形状生成第一中间图像；以及结合基线图像和第一中间图像以获得输出图像。

24、在一些方面中，该方法还包括：使用sr神经网络生成第二中间图像，其中，输出图像基于第二中间图像。

25、其他特征和方面将通过以下详细描述、附图和权利要求变得显而易见。

技术特征：

1.一种用于超分辨率sr图像处理的方法，包括：

2.根据权利要求1所述的方法，其中，获得所述第一中间图像包括：

3.根据权利要求1所述的方法，其中，所述lut包括多个sr操作结果，所述多个sr操作结果分别与映射到多个预设方向类型的多个内核集中包括的多个内核相对应，

4.根据权利要求1所述的方法，其中，获得所述输出图像包括：

5.根据权利要求4所述的方法，其中，获得所述第二中间图像包括：

6.根据权利要求5所述的方法，其中，所述调谐参数包括以下各项中的至少一项：

7.根据权利要求4所述的方法，还包括：

8.根据权利要求4所述的方法，其中，获得所述输出图像包括：

9.根据权利要求1所述的方法，其中，获得所述第一中间图像包括：

10.根据权利要求1所述的方法，其中，获得所述输出图像包括：

11.根据权利要求1所述的方法，其中，确定所述输入图像的方向类型包括：

12.根据权利要求1所述的方法，其中，获得所述输出图像包括：

13.一种存储指令的非暂时性计算机可读存储介质，当所述指令由处理器执行时，使所述处理器执行根据权利要求1所述的方法。

14.一种用于超分辨率sr图像处理的装置，所述装置包括：

15.根据权利要求14所述的装置，还包括：

16.根据权利要求14所述的装置，其中，所述处理器被配置为通过以下操作获得所述第一中间图像：

17.根据权利要求14所述的装置，其中，所述处理器被配置为通过以下操作获得所述输出图像：

18.根据权利要求17所述的装置，其中，所述处理器被配置为通过以下操作获得所述第二中间图像：

19.根据权利要求14所述的装置，其中，所述处理器被配置为通过以下操作获得所述第一中间图像：

20.根据权利要求14所述的装置，其中，所述处理器被配置为通过以下操作获得所述输出图像：

技术总结
描述了用于超分辨率(SR)的系统和方法。该SR方法包括：基于输入图像的梯度确定输入图像的方向类型；使用查找表(LUT)基于该方向类型获得第一中间图像，该查找表(LUT)存储与映射到所确定的方向类型的内核集相对应的像素值组合的SR操作结果，其中，第一中间图像是与输入图像相对应的SR图像；将SR插值应用于输入图像以获得基线图像；以及基于第一中间图像和基线图像获得输出图像。

技术研发人员：曹荣铉,奇世焕,康恩熙,李炯旭
受保护的技术使用者：三星电子株式会社
技术研发日：
技术公布日：2024/3/17