图像升频系统及其训练方法、以及图像升频方法与流程

本发明涉及图像处理和显示技术，更具体地，涉及图像升频系统、其训练方法、显示装置以及图像升频方法。

背景技术：

一般地，图像升频是指通过图像处理的方式提高原有图像的分辨率。当前，图像的升频方法可以是基于插值的，例如双三次(bicubic)插值，也可以是基于学习的，例如构建基于神经网络的机器学习模型以用于图像升频。

目前，卷积神经网络已被大量应用于图像处理领域，以实现图像识别、图像分类和图像升频等。卷积神经网络是一种常见的深度学习架构，通常包括卷积层和池化层。卷积层主要用于提取输入数据的特征，而池化层可采用平均池化或最大值池化来降低特征的维度。

由于低分辨率图像相较于高分辨率图像，丢失了高频信息，因此，在将低分辨率图像升频成高分辨率图像的过程中，需要补充这些信息。然而，现有的图像升频技术并不能重建这些高频信息。典型的用于参数优化的成本函数使用均方差或类似的平均误差，容易造成基于低分辨率图像而重建的高分辨率图像不真实。

技术实现要素：

本发明的实施例提供了一种图像升频系统、该图像升频系统的训练方法、包括该图像升频系统的显示装置以及使用该图像升频系统对图像进行升频的方法。

根据本发明的第一个方面，提供了一种图像升频系统。该图像升频系统包括至少两个卷积神经网络模块以及至少一个复合器，其中，卷积神经网络模块与复合器彼此交替地连接。至少两个卷积神经网络模块中的第一卷积神经网络模块被配置为接收输入图像和与输入图像的分辨率相同的补充图像，并基于输入图像和与输入图像的分辨率相同的补充图像，生成第一数量的特征图像，并向与其连接的下一个复合器输出。至少两个卷积神经网络模块中的其它卷积神经网络模块被配置为接收来自前一个复合器的输出图像和与所接收的输出图像的分辨率相同的补充图像，并基于输出图像和与输出图像的分辨率相同的补充图像，生成第二数量的特征图像，并向与其连接的下一个复合器输出，或者作为图像升频系统的输出。复合器被配置为将所接收的特征图像中的每n*n个特征图像合成为一个特征图像，并将所合成的第三数量的特征图像输出到与其连接的下一个卷积神经网络模块，或者作为图像升频系统的输出。在该图像升频系统中，n表示复合器的升频倍率，是大于1的整数，复合器所接收的特征图像的数量是n*n的倍数。

在本发明的实施例中，补充图像是具有固定分布和白噪声的图像

在本发明的实施例中，复合器的升频倍率是相同的。

在本发明的实施例中，复合器的升频倍率是2的倍数。

在本发明的实施例中，复合器是自适应插值滤波器。

根据本发明的第二个方面，提供了一种显示装置，包括上述的图像升频系统。

根据本发明的第三个方面，提供了一种用于训练上述的图像升频系统的方法。在该方法中，构建第一训练集合，其包括原始图像和原始图像的至少一个降频图像，其中降频图像的分辨率低于原始图像的分辨率。接着，构建第二训练集合，其包括原始图像、倍率因子和基于倍率因子的原始图像的第一降质图像，其中第一降质图像的分辨率与原始图像的分辨率相同。然后，利用第二训练集合，以原始图像和第一降质图像作为输入，以倍率因子作为输出，训练卷积神经网络系统。使用所训练的卷积神经网络系统并使用第一训练集合，获取图像升频系统的参数。然后，基于具有所获取的参数的图像升频系统，再次构建新的训练集合，其包括原始图像、倍率因子以及基于倍率因子的原始图像的第二降质图像，其中第二降质图像的分辨率与原始图像的分辨率相同。利用所购建的新的训练集合，以原始图像和第二降质图像作为输入，以倍率因子作为输出，再次训练卷积神经网络系统。然后，使用所训练的卷积神经网络系统并使用第一训练集合，再次获取图像升频系统的参数。重复执行上述的新的训练集合的构建、卷积神经网络系统的训练和图像升频系统的参数的获取。

在本发明的实施例中，进一步检查图像升频系统的参数是否满足预定条件，并且响应于图像升频系统的参数满足预定条件，停止图像升频系统的训练，以及响应于图像升频系统的参数不满足预定条件，继续执行图像升频系统的训练。

在本发明的实施例中，降频图像可通过对原始图像执行下采样来获得。

在本发明的实施例中，第一降质图像可通过以下操作获得：使用倍率因子对原始图像进行下采样，然后，使用该倍率因子对下采样后的图像进行上采样。

在本发明的实施例中，下采样使用双三次下采样法，上采样使用双三次上采样法。

在本发明的实施例中，采用随机梯度下降法训练卷积神经网络系统，以使得卷积神经网络的参数满足

θopt＝argθminx(f-dθ(x,downf(upf(x))))

其中，θopt表示所述卷积神经网络的参数，f表示倍频因子，dθ(x,downf(upf(x)))表示基于原始图像x和第一降质图像或第二降质图像downf(upf(x)))而由卷积神经网络估计的倍率因子。

在本发明的实施例中，采用随机梯度下降法获取图像升频系统的参数，其中该图像升频系统的参数满足

其中，αopt表示所述图像升频系统的参数，dθ(x,hrk)表示基于所述原始图像hrk和通过所述图像升频系统获得的图像x而由所述卷积神经网络估计的倍率因子，“||·||”表示范数运算。

在本发明的实施例中，第二降质图像可通过以下操作获得：使用倍率因子对原始图像进行下采样，然后，通过所训练的图像升频系统，使用倍率因子对下采样后的图像进行升频。

在本发明的实施例中，倍率因子的值在不同的训练集合中是不同的。

在本发明的实施例中，在第一训练集合中，原始图像可被划分成多个具有第一尺寸的图像块。在第二训练集合和新的训练集合中，原始图像可被划分成多个具有第二尺寸的图像块。

根据本发明的第四个方面，提供了一种使用上述的图像升频系统对图像进行升频的方法。在该方法中，卷积神经网络模块基于所接收的输入图像和与输入图像的分辨率相同的补充图像，生成第一数量的特征图像，并输出到复合器。复合器将所接收的特征图像中的每n*n个特征图像合成为一个特征图像，并将所合成的特征图像输出到下一个卷积神经网络模块。下一个卷积神经网络模块基于复合器输出的特征图像和与所接收的特征图像的分辨率相同的补充图像，生成第二数量的特征图像并输出。在该方法中，n表示复合器的升频倍率，是大于1的整数，复合器所接收的特征图像的数量是n*n的倍数。

根据本发明的实施例的图像升频系统通过加入低分辨率图像所缺少的细节信息，能够获得具有真实感的高分辨率图像。另外，根据本发明的实施例的图像升频系统能够实现不同的升频倍率，从而获得具有不同分辨率的输出图像。采用本发明的实施例的图像升频系统的训练方法，与传统的使用基于均方差等的成本函数的训练方法相比，能够优化图像升频系统的参数，从而允许图像升频系统的随机输入辅助产生真实的效果。

附图说明

为了更清楚地说明本发明的实施例的技术方案，下面将对实施例的附图进行简要说明，应当知道，以下描述的附图仅仅涉及本发明的一些实施例，而非对本发明的限制，其中：

图1是根据本发明的实施例的图像升频系统的结构示意图；

图2a至图2c是本发明的实施例所提供的图像升频系统的具体示例的示意图；

图3是如图1所示的图像升频系统中的卷积神经网络模块的示例的结构示意图；

图4是用于说明如图1所示的图像升频系统中的复合器的升频处理的示意图；

图5是根据本发明的实施例的用于训练如图1所示的图像升频系统的方法的示意性流程图；

图6是训练用的卷积神经网络系统的结构示意图；

图7是根据本发明的实施例的使用如图1所示的图像升频系统对图像进行升频的方法的示意性流程图。

具体实施方式

为了使本发明的实施例的目的、技术方案和优点更加清楚，下面将结合附图，对本发明的实施例的技术方案进行清楚、完整的描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域技术人员在无需创造性劳动的前提下所获得的所有其它实施例，也都属于本发明保护的范围。

图1示出了根据本发明的实施例的图像升频系统100的结构示意图。如图1所示，图像升频系统100可包括多个卷积神经网络模块cn1、cn2、…cnn(统一表示为cn)和至少一个复合器m1、m2、…mm(统一表示为m)，其中，m＝n-1。卷积神经网络模块cn1、cn2、…cnn与复合器m1、m2、…mm彼此交替地连接。因此，在每两个相邻的卷积神经网络模块之间连接有一个复合器。进一步地，在多个复合器的情况下，则在每两个相邻的复合器之间连接有一个卷积神经网络模块。

卷积神经网络模块cn1(对应于“第一卷积神经网络模块”)可接收输入图像1x和补充图像z1。补充图像z1具有与输入图像相同的分辨率，可用于重建低分辨率图像中缺少的新特征。卷积神经网络模块cn1基于所接收的输入图像1x和补充图像z1，生成第一数量的特征图像，并输出到与其连接的下一个复合器m1。

其它卷积神经网络模块cn2、…cnn可接收来自与其连接的前一个复合器m1、m2、…mm的输出图像和各自的补充图像z2、…zn。补充图像z2、z3、…zn各自具有与相应的复合器的输出图像相同的分辨率。各个卷积神经网络模块基于所接收的输出图像和补充图像，生成第二数量的特征图像，并输出到与其连接的下一个复合器，或者作为图像升频系统100的输出。

复合器m1、m2、…mm可接收与其连接的前一个卷积神经网络模块cn1、cn2、…cnn-1输出的多个特征图像，并将所接收的特征图像中的每n*n个特征图像合成为一个特征图像，由此可获得第三数量的分辨率放大n倍的特征图像。复合器m1、m2、…mm将所合成的第三数量的特征图像输出到与其连接的下一个卷积神经网络模块cn2、cn3、…cnn，或者作为图像升频系统100的输出。在本实施例中，n表示复合器的升频倍率，是大于1的整数，并且复合器所接收的特征图像的数量是n*n的倍数。

因此，图1所示的图像升频系统100的输入包括输入图像1x和n个补充图像z1、z2、…zn，输出可以是来自复合器输出的特征图像，或者是来自除了卷积神经网络模块cn1以外的其它卷积神经网络模块输出的特征图像。在本实施例的图像升频系统100中，各个卷积神经网络模块可根据所接收的输入图像或者复合器的输出图像以及相应的补充图像来生成特征图像。由于补充图像可用于重建低分辨率图像中缺失的特征，因此，所生成的特征图像包含了比原始图像中更多的细节，有助于在升频后的图像中再现。特征图像通过复合器进行升频处理，即，每经过一个升频倍率为n的复合器，图像分辨率就放大n倍。因此，图像升频系统100可以获得具有不同分辨率的图像。

在本实施例中，补充图像作为每一个卷积神经网络结构的特征输入，可以是具有固定分布和白噪声的图像。固定分布可以是例如均匀分布、高斯分布等。另外，对于低的图像放大倍数，例如2倍，补充图像可以是与例如纹理有关的图像。对于高的图像放大倍数，例如16倍，补充图像可以是与例如对象有关的图像。

在本发明的实施例中，多个复合器可以具有相同的升频倍率。如果图像升频系统包括k个复合器，则通过图像升频系统，图像的分辨率可以提高k*n倍。进一步地，复合器的升频倍率可以是2的倍数。

图2a至图2c示出了本发明的实施例所提供的图像升频系统的具体示例。如图2a所示，该示例的图像升频系统可包括两个卷积神经网络模块cn1、cn2和一个复合器m1。复合器m1被连接在卷积神经网络模块cn1和cn2之间，并且其升频倍率为2x。因此，图像升频系统的输出是分辨率提高2x倍的图像。与复合器m1输出的图像相比，卷积神经网络模块cn2输出的图像由于补充图像z1的加入而具有更高的图像质量。图2b所示的图像升频系统包括三个卷积神经网络模块cn1、cn2、cn3和两个升频倍率为2x的复合器m1和m2。因此，图像升频系统可以输出分辨率放大2x倍和分辨率提高4x倍的图像。图2c所示的图像升频系统包括四个卷积神经网络模块cn1、cn2、cn3、cn4和三个升频倍率为2x的复合器m1、m2和m3。因此，图像升频系统可以输出分辨率提高2x倍、4x倍和8x倍的图像。

图3示出了如图1所示的图像升频系统100中的卷积神经网络模块cn的示例的结构示意图。在本发明的实施例中，卷积神经网络模块cn是使用图像作为输入和输出的卷积神经网络结构，其可包括多个卷积层，每个卷积层可包括多个滤波器。图3所示的示例性卷积神经网络结构包括两层卷积层。该卷积神经网络结构的输入是四个图像，在经过第一层卷积层的各个滤波器后生成三个特征图像，然后在经过第二层卷积层的各个滤波器后，生成两个特征图像并输出。在该卷积神经网络结构中，滤波器可以是例如3×3或5×5内核的滤波器，并具有权重其中，k表示卷积层的编号，i表示输入图像的编号，j表示输出图像的编号。偏置是添加到卷积输出的增量。通常，卷积神经网络结构的参数通过使用样本输入输出图像集合对卷积神经网络结构进行训练而获得。关于卷积神经网络结构的训练，将在后面详述。

虽然在此仅以具有两层卷积层的卷积神经网络结构为例进行了说明，但本领域的技术人员应当知道，也可以使用具有更多层卷积层的卷积神经网络结构。

在本发明的实施例中，升频倍频为n的复合器m可将n*n个特征图像合成为一个特征图像，以使得图像的分辨率放大了n倍。因此，复合器m实质上相当于自适应差值滤波器。图4是用于说明如图1所示的图像升频系统100中的复合器m的升频处理的示意图，在该图中，复合器m的升频倍率是2。如图4所示，复合器m将输入的特征图像以每4个特征图像为一组进行复合，具体地，将4个特征图像中位于相同位置的像素值进行矩阵排列，从而生成一个4倍像素的特征图像。这样，在图像升频的过程中，不会修改(增加或丢失)特征图像中的像素信息。

根据本发明的实施例的图像升频系统可以使用硬件、软件、或硬件和软件的结合来实现。

图像升频系统在运行时，其包含的卷积神经网络模块的参数是固定的，因此，在运行前，需要通过对图像升频系统进行训练来确定卷积神经网络模块的参数。由于本发明的实施例的图像升频系统还包括补充图像作为输入，而现有的训练方法会消除所有的补充图像并进而阻止补充图像对输出产生影响，因此，本发明的实施例提供了一种新的训练方法，在该方法中，训练新的系统(以下称为“鉴别系统”)以作为图像升频系统的目标函数。鉴别系统采用具有相同分辨率的两个图像作为输入，其中，一个输入是原始高质量图像，另一个输入是该原始高质量图像的降质图像，该降质图像是通过先用倍率因子对原始高质量图像进行下采样，然后将下采样后的图像上采样到原始分辨率而获得的。鉴别系统的输出是倍率因子的预测。鉴别系统可使用卷积神经网络系统来实现。

在训练中，可对鉴别系统和图像升频系统交替地进行训练。首先，鉴别系统根据标准升频器(例如，双三次升频器)学习。然后，图像升频系统尽量最小化由鉴别系统估计的倍率因子。然后，鉴别系统根据新改进的图像升频系统学习。然后，图像升频系统再次尽量最小化新改进的鉴别系统的倍率因子。本发明的实施例的训练方法使得鉴别系统和图像升频系统作为“对抗式”网络来彼此基于对方的更好的结果来进行改进。

本发明的实施例的训练方法使用鉴别系统的预测的倍率因子作为成本函数来优化图像升频系统的参数，与现有的训练方法相比，可以允许输入的补充图像帮助产生更真实的效果。另外，估计鉴别系统中的倍率因子还可全面地说明图像升频系统的性能。

下面通过附图来详细说明本发明的实施例的训练图像升频系统的方法。图5示出了根据本发明的实施例的用于训练如图1所示的图像升频系统的方法的示意性流程图。在本发明的实施例中，通过对鉴别系统和图像升频系统交替执行优化以获得鉴别系统的参数和图像升频系统的参数。鉴别系统可采用卷积神经网络系统。

如图5所示，在步骤s510，构建第一训练集合b＝{hr0(k),hr1(k),…,hrn-1(k),hrn(k)}，其中，k＝1,2,…。第一训练集合可包括原始图像hrn(k)和该原始图像hrn(k)的至少一个降频图像hr0(k),hr1(k),…,hrn-1(k)。在本发明的实施例中，降频图像是指分辨率低于原始图像的分辨率的图像。例如，假定原始图像具有分辨率8x，则降频图像的分辨率可以是4x、2x、1x。降频图像可以通过对原始图像执行标准下采样，例如使用双三次下采样来获得。

在本发明的实施例中，原始图像可以是一个或者多个，即k是正整数。进一步地，原始图像可以被划分成多个具有第一尺寸的图像块。

接着，在步骤s520，构建第二训练集合a0＝{hrn(k),fk,y(k)}。第二训练集合可包括原始图像hrn(k)、倍率因子fk、和基于倍率因子fk的原始图像hrn(k)的第一降质图像y(k)。在本发明的实施例中，第一降质图像具有与原始图像相同的分辨率。第一降质图像可通过如下方式获得：先使用倍率因子对原始图像进行下采样，然后，使用相同的倍率因子对下采样后的图像进行上采样。下采样和上采样可使用标准的算法，例如，下采样可使用双三次下采样法，上采样可使用双三次上采样法。在该步骤中，倍率因子可以是浮点数，并且可以是随机生成的。

在第二训练集合中，原始图像可被划分成多个具有第二尺寸的图像块。第二尺寸与第一尺寸不同。

然后，在步骤s530，利用所构建的第二训练集合a0，以原始图像和第一降质图像作为输入，以倍率因子作为输出，训练卷积神经网络系统。图6示出了这种卷积神经网络系统的示意性结构。如图6所示，卷积神经网络系统可包括多个卷积神经网络模块cnk(在图中，示例性地示出3个，k＝1,2,3)、标准最大池化层p和全连接网络fcn。该卷积神经网络系统具有两个输入：原始图像x和该原始图像x的降质图像y。降质图像y可通过首先以倍率因子下采样原始图像，然后以相同的倍率因子对下采样后的图像进行上采样来获得。也就是说，y＝downf(upf(x))。该卷积神经网络系统的输出是倍率因子f的预测，用dθ(x,y)表示，其中θ表示卷积神经网络系统的所有参数，包括卷积神经网络模块cnk的参数和全连接网络fcn的参数。

在本发明的实施例中，可采用随机梯度下降法(stochasticgradientdescent)来训练卷积神经网络系统。首先，初始化卷积神经网络系统中的参数。然后，采用第二训练集合a0中的原始图像和第一降质图像作为卷积神经网络系统的输入，倍率因子作为卷积神经网络系统的输出，调整卷积神经网络系统中的参数，以使得卷积神经网络系统的参数满足下式

θopt＝argθminx(f-dθ(x,downf(upf(x))))(1)

其中，θopt表示卷积神经网络系统的参数，f表示倍频因子，dθ(x,downf(upf(x)))表示由卷积神经网络系统基于原始图像x和第一降质图像downf(upf(x)))而估计的倍率因子。公式(1)表示卷积神经网络系统的参数是使得真实的倍率因子与所估计的倍率因子之间的差最小的参数。

在通过步骤s530获得了卷积神经网络系统的参数后，在步骤s540，使用所训练的卷积神经网络系统和在步骤s510构建的第一训练集合b，获取图像升频系统的参数。在本发明的实施例中，可采用随机梯度下降法来获取图像升频系统的参数。首先，初始化图像升频系统中的参数。然后，使用第一训练集合b中的降频图像，通过图像升频系统来获得升频图像。然后，使用所训练的卷积神经网络系统，以所获得的升频图像和原始图像作为输入，估计相应的倍率因子。调整图像升频系统的参数，以使得图像升频系统的参数满足下式：

其中，αopt表示图像升频系统的参数，dθ(x,hrk)表示由所训练的卷积神经网络系统基于原始图像hrk和通过图像升频系统获得的升频图像x而估计的倍率因子，“||·||”表示范数运算。公式(2)表明图像升频系统的参数是使得图像升频系统的输出相对于输入导致卷积神经网络系统的输出具有最小值的参数。

然后，在步骤s550，基于具有在步骤s540中获取的参数的图像升频系统，构建新的训练集合a1＝{hrn(k),fk’,y’(k)}。该新的训练集合可包括原始图像hrn(k)、倍率因子fk’以及基于倍率因子fk’的原始图像hrn(k)的第二降质图像y’(k)。在本发明的实施例中，第二降质图像也具有与原始图像相同的分辨率。第二降质图像可通过如下方式获得：先使用倍率因子对原始图像进行下采样，然后，通过所训练的图像升频系统以及在步骤s520中使用的标准上采样法，使用相同的倍率因子对下采样后的图像进行上采样。例如，下采样可使用双三次下采样法，上采样可使用双三次上采样法。在该步骤中，倍率因子可以是浮点数，并且可以是随机生成的。

在步骤s560，利用在步骤s550中创建的新的训练集合a1，以其中的原始图像和第二降质图像作为输入，倍率因子作为输出，训练卷积神经网络系统。在该步骤中的训练方法与步骤s530中的训练方法相同。通过步骤s560，可再次获得卷积神经网络的参数。然后，在步骤s570，使用在步骤s560中训练的卷积神经网络并使用第一训练集合b，再次获取图像升频系统的参数。该步骤中的训练方法与步骤s540中的训练方法相同。

然后，检查是否满足预定条件。该预定条件可以是预定次数，或者是图像升频系统的参数需满足的条件。如果不满足，则重复执行上述的步骤s550至s570。如果满足，则训练结束。

在相同的发明构思下，图7示出了使用本发明的实施例的图像升频系统对图像进行升频的方法。如图7所示，在步骤s710，卷积神经网络模块基于所接收的输入图像和与输入图像的分辨率相同的补充图像，生成第一数量的特征图像，并输出到复合器。接着，在步骤s720，复合器将所接收的特征图像中的每n*n个特征图像合成为一个特征图像，并将所合成的特征图像输出到下一个卷积神经网络模块。然后，在步骤s730，下一个卷积神经网络模块基于复合器输出的特征图像和与所接收的该特征图像的分辨率相同的补充图像，生成第二数量的特征图像并输出。根据图像升频系统所包含的复合器的数量，可获得具有不同分辨率的输出图像。

本发明的实施例还提供了一种显示装置，其包括根据本发明的实施例的图像升频系统。该显示装置例如可以是显示器、移动电话、膝上型计算机、平板计算机、电视机、数码相框、可穿戴式设备、导航装置等。

以上对本发明的若干实施例进行了详细描述，但显然，本领域技术人员可以在不脱离本发明的精神和范围的情况下对本发明的实施例进行各种修改和变型。本发明的保护范围由所附的权利要求限定。