基于K均值驱动卷积神经网络的分布式图像超分辨方法与流程

本发明涉及图像超分辨技术，尤其涉及一种基于K均值驱动卷积神经网络的分布式图像超分辨方法。

背景技术：

单张图像超分辨是计算机视觉领域的经典课题，其目的是从单张低分辨率图像中恢复出含有更多细节的高分辨率图像。单张图像超分辨被广泛地用于计算机视觉领域的各种应用中，比如安保监控成像、医疗成像等需要更多图像细节的领域。单张图像超分辨的出现弥补了图像采集设备的硬件分辨率低、远距离拍摄导致的成像目标分辨率低等缺陷，形成高质量图像。

在图像采集设备没有采集到高分辨率图像的情况下，采用单张图像超分辨来提高图像的分辨率是一个“从无到有”的过程，是基于机器学习模型根据以往经验和当前状况来做预测的过程。采用单张图像超分辨考验的是模型对以往经验的学习能力，也就是考验模型对训练数据集的学习能力。除此之外，单张图像分辨率也会考验训练数据集的包容性，即考验训练数据集的丰富程度——训练数据集中包含的样本图像种类越丰富，模型的学习也就更全面。因为标准训练数据集的存在，大多数模型并不需要考虑训练数据集丰富与否的问题。

然而，诸如Bicubic、SC、ANR、SRCNN等现有的单张图像超分辨算法，由于自身算法的学习能力有限，其超分辨效果并没有达到最优。

技术实现要素：

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

鉴于此，本发明提供了一种基于K均值驱动卷积神经网络的分布式图像超分辨方法，以至少解决现有的单张图像超分辨算法由于自身算法的学习能力有限而导致其超分辨效果没有达到最优的问题。

根据本发明的一个方面，提供了一种基于K均值驱动卷积神经网络的分布式图像超分辨方法，分布式图像超分辨方法包括：按位置裁剪待超分辨的低分辨率图像，以得到低分辨率图像对应的多个低分辨率小图像块；提取多个低分辨率小图像块各自的内容结构特征；根据多个低分辨率小图像块各自的内容结构特征、利用训练模型的K个聚类中心对多个低分辨率小图像块进行分类，分别得到多个低分辨率小图像块各自所属的聚类中心，其中，训练模型包括K个聚类中心，以及每个聚类中心对应的卷积神经网络模型，其中K为正整数；对多个低分辨率小图像块进行上采样处理，以得到其中每个低分辨率小图像块对应的高分辨率无细节小图像块；针对多个低分辨率小图像块中的每一个，将该低分辨率小图像块对应的高分辨率无细节小图像块输入到该低分辨率小图像块所属聚类中心对应的卷积神经网络模型中，得到该卷积神经网络模型的输出结果，通过将该输出结果与该低分辨率小图像块对应的高分辨率无细节小图像相加而得到该低分辨率小图像块对应的高分辨率小图像块；将多个低分辨率小图像块各自对应的高分辨率小图像块按其在低分辨率图像中的位置关系进行拼接处理，以得到低分辨率图像对应的高分辨率图像。

进一步地，训练模型通过如下方式预先获得：将标准训练数据集中的所有高分辨率训练图像以重叠的方式裁剪成多个训练高分辨率小图像块，由多个训练高分辨率小图像块构成新训练集；提取新训练集中每个训练高分辨率小图像块的内容结构特征；根据新训练集中每个训练高分辨率小图像块的内容结构特征，利用K均值聚类方式对新训练集中所有训练高分辨率小图像块进行分类，得到K个聚类中心以及新训练集中每个训练高分辨率小图像块的聚类标签；针对K个聚类中心中的每一个，利用卷积神经网络方法对该聚类中心对应的所有训练高分辨率小图像块进行超分辨训练，得到该聚类中心对应的卷积神经网络模型；由K个聚类中心以及其中每个聚类中心对应的卷积神经网络模型构成训练模型。

进一步地，每个聚类中心对应的卷积神经网络模型包括该模型对应的第一卷积层、第二卷积层和第三卷积层；其中，第一卷积层采用128个9*9的卷积核矩阵以及128个偏置值B1，该层的输出结果为Z1＝D*W1+B1，表示输入数据，表示输出结果，该层输出结果经过第一激活函数F1(Z1)＝max(Z1,0)处理后输入到第二卷积层；第二卷积层采用64个5*5的卷积核矩阵以及64个偏置值B2，该层的输出结果为Z2＝F1(Z1)*W2+B2,该层输出结果经过第二激活函数F2(Z2)＝max(Z2,0)处理后输入到第三卷积层；第三卷积层采用1个5*5的卷积核矩阵以及1个偏置值B3，该层输的出结果为Z3＝F2(Z2)*W3+B3,该层输出结果与标签L同时输入到损失层；损失层用于计算第三层输出结果与对应标签之间的均方差将该均方差值作为损失输出。

通过以上描述可知，本发明的基于K均值驱动卷积神经网络的分布式图像超分辨方法，其一方面采取了“分而治之”的思想，将待超分辨的低分辨率图像裁剪成小图像块并提取小图像块的内容结构特征，基于训练模型中的K个聚类中心对小图像块进行分类，以此来对内容结构复杂程度不同的小图像块分别进行处理，能够适用于处理内容结构复杂度较高的图像；而另一方面，该方法还采用了学习能力强的模型——卷积神经网络模型对各类小图像块分别进行处理以获得对应的高分辨率小图像块，进而通过拼接最终获得对应的高分辨率图像，从而能够提高算法本身的学习能力，使得超分辨效果相对现有技术大大改善。

此外，在训练阶段，也即训练模型预先构建的过程中，和超分辨过程类似地也采用了“分而治之”的思想，即将标准训练数据集中的图像以重叠的方式裁剪成小图像块，提取小图像块的内容结构特征并采用K均值聚类的方式对小图像块进行聚类，对内容结构复杂程度不同的小图像块分别进行处理，由此能够适用于处理内容结构复杂度较高的图像；而且也采用了学习能力强的模型——卷积神经网络模型来对K均值聚类所得的各类小图像块分别进行训练得到每类小图像块对应的卷积神经网络模型，提高了算法本身的学习能力，进而能够改善超分辨效果。

此外，采用三层卷积层的卷积神经网络模型，可进一步提高本发明的基于K均值驱动卷积神经网络的分布式图像超分辨方法的处理能力，使得算法本身的学习能力更强，能够处理更加复杂的图像，而且超分辨效果较好。

通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。

附图说明

本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附图中：

图1是示出本发明的基于K均值驱动卷积神经网络的分布式图像超分辨方法的一种示例性处理的流程图；

图2是示出本发明的训练模型的构建过程的一个示例的流程图；

图3A是示出本发明的分布式图像超分辨方法的优选实施例中训练阶段的聚类预处理操作示意图的流程图；

图3B是示出本发明的分布式图像超分辨方法的优选实施例中训练阶段的模型训练操作示意图的流程图；

图3C是示出本发明的分布式图像超分辨方法的优选实施例中超分辨阶段示意图的流程图；

图3D是示出本发明的分布式图像超分辨方法的优选实施例中采用的卷积神经网络模型示意图的流程图。

本领域技术人员应当理解，附图中的元件仅仅是为了简单和清楚起见而示出的，而且不一定是按比例绘制的。例如，附图中某些元件的尺寸可能相对于其他元件放大了，以便有助于提高对本发明实施例的理解。

具体实施方式

在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

本发明的实施例提供了一种基于K均值驱动卷积神经网络的分布式图像超分辨方法，该分布式图像超分辨方法包括：按位置裁剪待超分辨的低分辨率图像，以得到低分辨率图像对应的多个低分辨率小图像块；提取多个低分辨率小图像块各自的内容结构特征；根据多个低分辨率小图像块各自的内容结构特征、利用训练模型的K个聚类中心对多个低分辨率小图像块进行分类，分别得到多个低分辨率小图像块各自所属的聚类中心，其中，训练模型包括K个聚类中心，以及每个聚类中心对应的卷积神经网络模型，其中K为正整数；对多个低分辨率小图像块进行上采样处理，以得到其中每个低分辨率小图像块对应的高分辨率无细节小图像块；针对多个低分辨率小图像块中的每一个，将该低分辨率小图像块对应的高分辨率无细节小图像块输入到该低分辨率小图像块所属聚类中心对应的卷积神经网络模型中，得到该卷积神经网络模型的输出结果，通过将该输出结果与该低分辨率小图像块对应的高分辨率无细节小图像相加而得到该低分辨率小图像块对应的高分辨率小图像块；将多个低分辨率小图像块各自对应的高分辨率小图像块按其在低分辨率图像中的位置关系进行拼接处理，以得到低分辨率图像对应的高分辨率图像。

下面结合图1来描述本发明的基于K均值驱动卷积神经网络的分布式图像超分辨方法的一个示例的处理流程100。

如图1所示，处理流程开始之后执行步骤S110。

在步骤S110中，按位置裁剪待超分辨的低分辨率图像，以得到低分辨率图像对应的多个低分辨率小图像块。然后，执行步骤S120。

在步骤S120中，提取多个低分辨率小图像块各自的内容结构特征。然后，执行步骤S130。

在步骤S130中，根据多个低分辨率小图像块各自的内容结构特征、利用训练模型的K个聚类中心对多个低分辨率小图像块进行分类，分别得到多个低分辨率小图像块各自所属的聚类中心，其中，训练模型包括K个聚类中心，以及每个聚类中心对应的卷积神经网络模型，其中K为正整数。然后，执行步骤S140。

在步骤S140中，对多个低分辨率小图像块进行上采样处理，以得到其中每个低分辨率小图像块对应的高分辨率无细节小图像块。然后，执行步骤S150。

在步骤S150中，针对多个低分辨率小图像块中的每一个，在训练模型中选择该低分辨率小图像块所属聚类中心对应的卷积神经网络模型，将该低分辨率小图像块对应的高分辨率无细节小图像块输入到该低分辨率小图像块所属聚类中心对应的卷积神经网络模型中，得到该卷积神经网络模型的输出结果，通过将该输出结果与该低分辨率小图像块对应的高分辨率无细节小图像相加而得到该低分辨率小图像块对应的高分辨率小图像块。由此，得到了多个低分辨率小图像块各自的高分辨率小图像块。然后，执行步骤S160。

在步骤S160中，将多个低分辨率小图像块各自对应的高分辨率小图像块按其在低分辨率图像中的位置关系进行拼接处理，以得到低分辨率图像对应的高分辨率图像。处理流程100结束。

通过以上描述可知，基于K均值驱动卷积神经网络的分布式图像超分辨方法，其一方面采取了“分而治之”的思想，将待超分辨的低分辨率图像裁剪成小图像块并提取小图像块的内容结构特征，基于训练模型中的K个聚类中心对小图像块进行分类，以此来对内容结构复杂程度不同的小图像块分别进行处理，能够适用于处理内容结构复杂度较高的图像；而另一方面，该方法还采用了学习能力强的模型——卷积神经网络(CNN)对各类小图像块分别进行处理以获得对应的高分辨率小图像块，进而通过拼接最终获得对应的高分辨率图像，从而能够提高算法本身的学习能力，使得超分辨效果相对现有技术大大改善。

根据一种实现方式，可以通过如图2所示的步骤S210～S250来预先获得训练模型。

如图2所示，在步骤S210中，将标准训练数据集中的所有高分辨率训练图像以重叠的方式按照位置裁剪成多个训练高分辨率小图像块，由多个训练高分辨率小图像块构成新训练集。然后，执行步骤S220。

在步骤S220中，提取新训练集中每个训练高分辨率小图像块的内容结构特征。然后，执行步骤S230。

在步骤S230中，根据新训练集中每个训练高分辨率小图像块的内容结构特征，利用K均值聚类方法对新训练集中所有训练高分辨率小图像块进行分类，得到K个聚类中心以及新训练集中每个训练高分辨率小图像块的聚类标签。然后，执行步骤240。

需要说明的是，“K均值聚类方法”是方法或算法的名称，这里的K不是指某个数值；而“K个聚类中心”中的K则指聚类中心的数目，为正整数。

在步骤S240中，针对K个聚类中心中的每一个，利用卷积神经网络方法对该聚类中心对应的所有训练高分辨率小图像块进行超分辨训练，得到该聚类中心对应的卷积神经网络模型。然后，执行步骤S250。

在步骤S250中，由K个聚类中心以及其中每个聚类中心对应的卷积神经网络模型构成训练模型。

在单张图像超分辨机器学习模型的设计过程中：(1)从图像本身的角度出发——内容结构越复杂的图像对算法的学习能力要求越高；(2)从算法的角度出发——算法学习能力越强，超分辨效果越好。而诸如Bicubic、SC、ANR、SRCNN等现有的单张图像超分辨算法，这些算法均不能兼顾以上两点，因此其学习能力均有限，使得超分辨效果也较差。

在该实现方式中，本发明的基于K均值驱动卷积神经网络的分布式图像超分辨方法一方面采取了“分而治之”的思想，也即，将标准训练数据集中的图像以重叠的方式裁剪成小图像块，提取小图像块的内容结构特征并采用K均值聚类的方式对小图像块进行聚类，对内容结构复杂程度不同的小图像块分别进行处理，由此能够适用于处理内容结构复杂度较高的图像；而另一方面，该方法还采用了学习能力强的模型——卷积神经网络(CNN)对K均值聚类所得的各类小图像块分别进行训练得到每类小图像块对应的卷积神经网络模型，提高了算法本身的学习能力，进而能够改善超分辨效果。

此外，根据一种实现方式，每个聚类中心对应的卷积神经网络模型可以包括该模型对应的第一卷积层、第二卷积层和第三卷积层。

其中，第一卷积层采用128个9*9的卷积核矩阵以及128个偏置值B1，该层的输出结果为Z1＝D*W1+B1，表示输入数据，表示输出结果，该层输出结果经过第一激活函数F1(Z1)＝max(Z1,0)处理后输入到第二卷积层。

第二卷积层采用64个5*5的卷积核矩阵以及64个偏置值B2，该层的输出结果为Z2＝F1(Z1)*W2+B2,该层输出结果经过第二激活函数F2(Z2)＝max(Z2,0)处理后输入到第三卷积层。

第三卷积层采用1个5*5的卷积核矩阵以及1个偏置值B3，该层输的出结果为Z3＝F2(Z2)*W3+B3,该层输出结果与标签L同时输入到损失层。

损失层用于计算第三层输出结果与对应标签之间的均方差将该均方差值作为损失输出。

由此，通过该实现方式中三层卷积层的卷积神经网络模型，可进一步提高本发明的基于K均值驱动卷积神经网络的分布式图像超分辨方法的处理能力，使得算法本身的学习能力更强，能够处理更加复杂的图像，而且超分辨效果较好。

优选实施例

下面描述本发明的一个优选实施例，在该实施例中，将训练模型的预先构建的过程作为训练阶段，而将获得待超分辨的低分辨率图像对应的高分辨率图像的过程作为超分辨阶段，下面分别详细描述这两个阶段的处理过程。

1.训练阶段

如图3A所示，聚类预处理的目的是将标准训练数据集按照图像内容结构复杂程度的不同进行分类，其具体操作过程如下：

步骤011：

将标准训练数据集中的所有高分辨率训练图像按照重叠的方式进行裁剪，得到一个由训练高分辨率小图像块构成的新的训练数据集(作为新训练集)。同一高分辨率训练图像中可能同时包含内容结构简单的部分以及内容结构复杂的部分，将其裁剪成训练高分辨率小图像块可以尽可能的使训练数据集中的单张图像的内容结构更加单一。

步骤012：

(1)对步骤011中得到的新训练集中训练高分辨率小图像块进行高斯滤波处理：Ig(x,y)＝I(x,y)*g(x,y)，其中表示训练高分辨率小图像块，表示高斯滤波器，σ是高斯函数的标准差，*表示卷积运算，表示滤波后的图像块。

(2)根据尺度因子s对进行降采样处理得到降采样之后的图像块：Ig↓(x,y)＝Ig(x,y)↓s，↓表示降采样处理，

(3)将降采样处理后的图像块减去其自身均值并整理成向量形式，将该向量作为步骤011中得到的新训练集中训练高分辨率小图像块的内容结构特征

步骤013：

采用K均值聚类算法对步骤012中得到的内容结构特征进行聚类，得到K个聚类中心其中的每一列表示一个聚类中心)和标示每一张高分辨率小图像块所属类别的聚类标签ID(步骤013的输出将用于模型训练操作和超分辨阶段)。其中，C是K个聚类中心构成的矩阵，k表示第k列(即第k个聚类中心，每个聚类中心都是一个向量)，i表示在第k个聚类中心(即第k个向量)中位置i处的值。

如图3B所示，模型训练的目的是用卷积神经网络(CNN)模型对训练数据集中的先验进行学习，其具体操作过程如下：

步骤021：

利用聚类预处理操作得到的聚类标签ID对新训练集中所有的训练高分辨率小图像块进行分类，得到K类训练数据子集。其中，每类训练数据子集之间的图像块内容结构差距较大，而同一类内的图像块内容结构相近。

步骤022：

Iin(x,y)＝((I(x,y)*g(x,y))↓s)↑s，↑表示上采样处理。对1～K类训练数据子集中的训练高分辨率小图像块进行高斯滤波处理(Ig(x,y)＝I(x,y)*g(x,y))以及降采样处理(↓)可以得到每个训练高分辨率小图像块对应的低分辨率小图像块(即此时已得到同一图像块的高分辨率与低分辨率图像块对)，对该低分辨率小图像块进行上采样处理可得到该训练高分辨率小图像块对应的高分辨率无细节小图像块(此时图像块分辨率得到提高但其中的细节没有提高)。其中，Iin(x,y)表示输入图像。

步骤023：

将步骤022中得到的高分辨率无细节小图像块作为如图3B所示的卷积神经网络模型1～K的输入。用步骤021中的训练高分辨率小图像块与步骤022中得到的高分辨率无细节小图像块作差Ir(x,y)＝I(x,y)-Iin(x,y)，将该差值作为卷积神经网络模型K的输入值的标签。此步骤可以得到K个卷积神经网络模型以用于超分辨阶段。

2.超分辨阶段

如图3C所示，超分辨阶段的目的是将基于聚类与卷积神经网络的分布式图像超分辨方法用于单张图像超分辨，其具体操作过程如下：

步骤031：

将输入的待超分辨的低分辨率图像按位置裁剪得到低分辨率小图像块。

步骤032：

将低分辨率小图像块减去其均值并整理成向量形式将该向量作为低分辨率小图像块的内容结构特征，计算该内容结构特征与训练阶段得到的K个聚类中心之间的欧几里德距离，即根据距离最短原则，即向量D(k)中最小的数值对应的位置k为该低分辨率小图像块所属类别k，根据低分辨率小图像块所属类别k选择对应的卷积神经网络模型。

步骤033：

对步骤031中得到的低分辨率小图像块进行上采样处理得到该低分辨率小图像块对应的高分辨率无细节小图像块。

步骤034：

将步骤033得到的高分辨率无细节小图像块分类输入到步骤032选择的卷积神经网络模型中，并将其与模型输出相加得到对应的高分辨率小图像块。

步骤035：

判断对低分辨率图像的剪裁是否结束：如果结束，转至步骤036；否则，转至步骤031。

步骤036：

将所有位置的高分辨率小图像块按位置关系进行拼接处理即可得到最终的高分辨率图像。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。