用于优化图像的方法及系统与流程

本发明通常涉及神经网络，以及更具体地，涉及用于优化图像的方法及系统。

背景技术：

1、深度卷积神经网络(deep convolutional neural networks，cnn)已广泛用于图像处理，例如，图像优化(image refinement)和超分辨率。深度卷积神经网络(cnn)已用于恢复因模糊(blur)、噪声(noise)、低分辨率(low resolution)等因素而被退化的图像。深度卷积神经网络(cnn)能够有效解决单图像超分辨率(single image super-resolution，sisr)问题，其中，高分辨率(high-resolution，hr)图像是从低分辨率(low-resolution，lr)图像重建得到的。

2、一些基于深度卷积神经网络(cnn)的方法基于退化图像受一种固定组合的退化效应的影响，例如模糊和双三次下采样(bicubic down-sampling)。这些方法在处理退化效应因图像而异的退化图像时的能力有限。这些方法也不能处理在图像的一个区域中具有一种组合的退化效应而在同一图像的另一区域中具有另一种组合的退化效应的图像。

3、另一种方法是针对每种组合的退化效应训练单独的网络。例如，如果图像受三种不同组合的退化效应的退化：双三次下采样、双三次下采样和噪声，以及，直接下采样和模糊，则三个网络被训练，以处理这些退化。

4、因此，需要改进现有的方法来优化受可变退化效应影响的图像。

技术实现思路

1、有鉴于此，本发明的目的之一在于提供一种用于优化图像的方法及系统，以增强图像质量。

2、第一方面，本发明提供了一种用于优化图像的方法，包括：接收输入，该输入包括退化图像与该退化图像的退化估计联级后的输出数据；执行特征提取操作，以将预训练的权重应用于该输入，并生成特征图；以及，执行优化网络的操作，其中，该优化网络包括具有多个动态模块的动态模块序列，以及，一个或多个动态模块动态地生成网格内核，以应用于从该动态模块序列中的前一动态模块输出的中间图像的对应网格，其中，每个网格内核是基于该中间图像和该特征图生成的。

3、在一些实施例中，该一个或多个动态模块中的每一个动态模块包括卷积层的第一路径和卷积层的第二路径，该第一路径对该中间图像和该特征图进行操作以生成对应的网格内核，该第二路径对该中间图像和该特征图进行操作以生成残差图像。

4、在一些实施例中，该方法还包括：对该第一路径的输出和该第二路径的输出执行逐像素加法。

5、在一些实施例中，该动态模块序列中的第一个动态模块动态地生成网格内核以应用于该退化图像的对应网格。

6、在一些实施例中，该退化图像是低分辨率图像，以及，该优化网络执行超分辨率操作以输出高分辨率图像。

7、在一些实施例中，执行特征提取操作的步骤进一步包括：执行残差模块的操作，每个残差模块包括卷积层和修正线性单元(rectified linear unit，relu)层。

8、在一些实施例中，执行该优化网络的操作还包括：该动态模块序列中的至少一个动态模块生成通道维度被扩展r×r倍的上采样动态内核，其中，r是上采样率；以及，将该上采样动态内核与输入图像进行卷积，以将该输入图像上采样r×r倍。

9、在一些实施例中，每个动态模块是由差值度量训练的，该差值度量测量地面实况图像和该动态模块的输出之间的差值。

10、在一些实施例中，该退化估计指示该退化图像的不同区域中的退化，每个区域中的退化包括以下各项中的一项或多项：下采样、模糊和噪声。

11、在一些实施例中，每个对应网格包括一个或多个图像像素，该一个或多个图像像素共享并使用相同的网格内核。

12、第二方面，本发明提供了一种用于实现优化图像之系统，该系统包括存储器和处理硬件，该存储器用于存储特征提取网络和优化网络的参数，该处理硬件耦接该存储器，且被配置为：接收输入，该输入包括退化图像与该退化图像的退化估计联级后的输出数据；执行特征提取操作，以将预训练的权重应用于该输入，并生成特征图；以及，执行优化网络的操作，其中，该优化网络包括具有多个动态模块的动态模块序列，以及，一个或多个动态模块动态地生成网格内核，以应用于从该动态模块序列中的前一动态模块输出的中间图像的对应网格，其中，每个网格内核是基于该中间图像和该特征图生成的。

13、在一些实施例中，该一个或多个动态模块中的每一个动态模块包括卷积层的第一路径和卷积层的第二路径，该第一路径对该中间图像和该特征图进行操作以生成对应的网格内核，该第二路径对该中间图像和该特征图进行操作以生成残差图像。

14、在一些实施例中，该处理硬件还用于：对该第一路径的输出和该第二路径的输出执行逐像素加法。

15、在一些实施例中，该动态模块序列中的第一个动态模块动态地生成网格内核以应用于该退化图像的对应网格。

16、在一些实施例中，该退化图像是低分辨率图像，以及，该优化网络执行超分辨率操作以输出高分辨率图像。

17、在一些实施例中，该处理硬件还用于：在该特征提取网络中执行残差模块的操作，每个残差模块包括卷积层和修正线性单元(relu)层。

18、在一些实施例中，该处理硬件还用于：该动态模块序列中的至少一个动态模块生成通道维度被扩展r×r倍的上采样动态内核，其中，r是上采样率；以及，将该上采样动态内核与输入图像进行卷积，以将该输入图像上采样r×r倍。

19、在一些实施例中，每个动态模块是由差值度量训练的，该差值度量测量地面实况图像和该动态模块的输出之间的差值。

20、在一些实施例中，该退化估计指示该退化图像的不同区域中的退化，每个区域中的退化包括以下各项中的一项或多项：下采样、模糊和噪声。

21、在一些实施例中，每个对应网格包括一个或多个图像像素，该一个或多个图像像素共享并使用相同的网格内核。

22、本
技术实现要素：
是通过示例的方式提供的，并非旨在限定本发明。本领域技术人员在阅读附图所示优选实施例的下述详细描述之后，可以毫无疑义地理解本发明的这些目的及其它目的。详细的描述将参考附图在下面的实施例中给出。

技术特征：

1.一种用于优化图像的方法，其特征在于，该方法包括：

2.如权利要求1所述的方法，其特征在于，该一个或多个动态模块中的每一个动态模块包括卷积层的第一路径和卷积层的第二路径，该第一路径对该中间图像和该特征图进行操作以生成对应的网格内核，该第二路径对该中间图像和该特征图进行操作以生成残差图像。

3.如权利要求2所述的方法，其特征在于，该方法还包括：

4.如权利要求1所述的方法，其特征在于，该动态模块序列中的第一个动态模块动态地生成网格内核以应用于该退化图像的对应网格。

5.如权利要求1所述的方法，其特征在于，该退化图像是低分辨率图像，以及，该优化网络执行超分辨率操作以输出高分辨率图像。

6.如权利要求1所述的方法，其特征在于，执行特征提取操作的步骤进一步包括：

7.如权利要求1所述的方法，其特征在于，执行该优化网络的操作还包括：

8.如权利要求1所述的方法，其特征在于，每个动态模块是由差值度量训练的，该差值度量测量地面实况图像和该动态模块的输出之间的差值。

9.如权利要求1所述的方法，其特征在于，该退化估计指示该退化图像的不同区域中的退化，每个区域中的退化包括以下各项中的一项或多项：下采样、模糊和噪声。

10.如权利要求1所述的方法，其特征在于，每个对应网格包括一个或多个图像像素，该一个或多个图像像素共享并使用相同的网格内核。

11.一种用于实现优化图像的系统，该系统包括存储器和处理硬件，该存储器用于存储特征提取网络和优化网络的参数，该处理硬件耦接该存储器，且被配置为：

12.如权利要求11所述的系统，其特征在于，该一个或多个动态模块中的每一个动态模块包括卷积层的第一路径和卷积层的第二路径，该第一路径对该中间图像和该特征图进行操作以生成对应的网格内核，该第二路径对该中间图像和该特征图进行操作以生成残差图像。

13.如权利要求12所述的系统，其特征在于，该处理硬件还用于：

14.如权利要求11所述的系统，其特征在于，该动态模块序列中的第一个动态模块动态地生成网格内核以应用于该退化图像的对应网格。

15.如权利要求11所述的系统，其特征在于，该退化图像是低分辨率图像，以及，该优化网络执行超分辨率操作以输出高分辨率图像。

16.如权利要求11所述的系统，其特征在于，该处理硬件还用于：

17.如权利要求11所述的系统，其特征在于，该处理硬件还用于：

18.如权利要求11所述的系统，其特征在于，每个动态模块是由差值度量训练的，该差值度量测量地面实况图像和该动态模块的输出之间的差值。

19.如权利要求11所述的系统，其特征在于，该退化估计指示该退化图像的不同区域中的退化，每个区域中的退化包括以下各项中的一项或多项：下采样、模糊和噪声。

20.如权利要求11所述的系统，其特征在于，每个对应网格包括一个或多个图像像素，该一个或多个图像像素共享并使用相同的网格内核。

技术总结
本发明提供了一种用于优化图像的方法及系统，该系统存储特征提取网络和优化网络的参数。该系统接收输入，该输入包括退化图像及与该退化图像联级的退化估计；执行特征提取网络的操作以将预训练的权重应用于该输入以生成特征图；以及，执行优化网络的操作，其中，该优化网络包括一系列的动态模块。该动态模块中的一个或多个动态地生成网格内核，以应用于从该系列动态模块中的前一动态模块输出的中间图像的对应网格。每个网格内核都是基于中间图像和特征图生成的。

技术研发人员：许毓轩,曾瑀,曾守曜,郭玹凯,蔡一民
受保护的技术使用者：联发科技股份有限公司
技术研发日：
技术公布日：2024/1/13