一种基于深层协作表达的超分辨率图像的重建方法及系统与流程

本发明涉及图像处理技术领域，尤其涉及一种基于深层协作表达的超分辨率图像的重建方法及系统。

背景技术：

人脸图像超分辨率技术(也叫幻觉脸技术)是一种由低分辨率的人脸图像产生高分辨率的人脸图像的图像超分辨率重建方法。人脸图像超分辨率技术可以应用在很多领域，如人脸识别、人脸视频图像传输、人脸图像恢复以及人脸图像表情分析等。例如，在视频监控中，由于摄像头的分辨率有限且与目标距离较远等原因，监测到的人脸图像较小，分辨率低。为了能更好地观察和识别分析，需要对它们进行超分辨率重建。

但是，基于人脸的特殊性，现有的方法的重建精度低，无法满足实际的分辨率重建需求。

技术实现要素：

本发明通过提供一种基于深层协作表达的超分辨率图像的重建方法及系统，解决了现有技术中重建精度低的技术问题，实现了满足实际的分辨率重建需求的技术效果。

本发明提供了一种基于深层协作表达的超分辨率图像的重建方法，包括：重建过程；所述重建过程至少包括：

对初始图像、低分辨率图像训练集中的图像和高分辨率图像训练集中的图像在像素域中划分相互重叠的图像块；

计算由所述低分辨率图像训练集划分得到的图像块训练集对由所述初始图像划分得到的图像块进行线性重建时的最优权值系数；

将所述由所述初始图像划分得到的图像块替换为位置对应的由所述高分辨率图像训练集划分得到的图像块，并用所述最优权值系数加权合成高分辨率图像块；

将所述高分辨率图像块进行融合，获得高分辨率图像；

将所述获得的高分辨率图像作为新的初始图像，进行至少一次所述重建过程，得到最终的高分辨率图像。

进一步地，所述计算由所述低分辨率图像训练集划分得到的图像块训练集对由所述初始图像划分得到的图像块进行线性重建时的最优权值系数，具体包括：

通过公式计算得到所述最优权值系数

其中，y_i是由所述初始图像划分得到的图像块，L_i是由所述低分辨率图像训练集划分得到的图像块训练集，a_i是初始图像划分得到的图像块的重建系数组成的行向量，τ是平衡重建误差和局部约束的正则化参数，是欧式平方距离，i是样本序号。

进一步地，在每进行一次所述重建过程之后，对所述低分辨率图像训练集和所述高分辨率图像训练集进行更新。

进一步地，所述对所述低分辨率图像训练集和所述高分辨率图像训练集进行更新，至少包括：

将所述低分辨率图像训练集中的图像通过插值得到高分辨率图像，并在特征域提取特征，将提取到的特征划分为相互重叠的特征块；

在特征域中，从所述低分辨率图像训练集中的图像中提取与所述高分辨率特征块相对应的低分辨率特征块；

在像素域中，分别找到与所述高分辨率特征块、所述低分辨率特征块对应的图像块，分别作为更新后的高分辨率图像块训练集和低分辨率图像块训练集。

进一步地，所述从所述低分辨率图像训练集中的图像中提取与所述高分辨率特征块相对应的低分辨率特征块，具体包括：

基于KNN算法中的欧式距离从所述低分辨率图像训练集中的图像中提取K个与所述高分辨率特征块相对应的低分辨率特征块；

所述在像素域中，分别找到与所述高分辨率特征块、所述低分辨率特征块对应的图像块，分别作为更新后的高分辨率图像块训练集和低分辨率图像块训练集，具体包括：

根据所述欧式距离在像素域中分别找到与所述高分辨率特征块、所述低分辨率特征块对应的K个图像块，分别作为所述更新后的高分辨率图像块训练集和低分辨率图像块训练集。

本发明提供的基于深层协作表达的超分辨率图像的重建系统，包括：重建模块，所述重建模块至少包括：

图像块划分单元，用于对初始图像、低分辨率图像训练集中的图像和高分辨率图像训练集中的图像在像素域中划分相互重叠的图像块；

计算单元，用于计算由所述低分辨率图像训练集划分得到的图像块训练集对由所述初始图像划分得到的图像块进行线性重建时的最优权值系数；

替换单元，用于将所述由所述初始图像划分得到的图像块替换为位置对应的由所述高分辨率图像训练集划分得到的图像块，并用所述最优权值系数加权合成高分辨率图像块；

融合单元，用于将所述高分辨率图像块进行融合，获得高分辨率图像；

重建执行单元，将所述获得的高分辨率图像作为新的初始图像，至少再执行一次所述重建模块，得到最终的高分辨率图像。

进一步地，所述计算单元，具体用于通过公式计算得到所述最优权值系数

其中，y_i是由所述初始图像划分得到的图像块，L_i是由所述低分辨率图像训练集划分得到的图像块训练集，a_i是初始图像划分得到的图像块的重建系数组成的行向量，τ是平衡重建误差和局部约束的正则化参数，是欧式平方距离，i是样本序号。

进一步地，还至少包括：

更新模块，用于在每执行一次所述重建模块之后，对所述低分辨率图像训练集和所述高分辨率图像训练集进行更新。

进一步地，所述更新模块，至少包括：

特征块划分单元，用于在每执行一次所述重建模块之后，将所述低分辨率图像训练集中的图像通过插值得到高分辨率图像，并在特征域提取特征，将提取到的特征划分为相互重叠的特征块；

特征块提取单元，用于在特征域中，从所述低分辨率图像训练集中的图像中提取与所述高分辨率特征块相对应的低分辨率特征块；

更新执行单元，用于在像素域中，分别找到与所述高分辨率特征块、所述低分辨率特征块对应的图像块，分别作为更新后的高分辨率图像块训练集和低分辨率图像块训练集。

进一步地，所述特征块提取单元，具体用于在特征域中，基于KNN算法中的欧式距离从所述低分辨率图像训练集中的图像中提取K个与所述高分辨率特征块相对应的低分辨率特征块；

所述更新执行单元，具体用于根据所述欧式距离在像素域中分别找到与所述高分辨率特征块、所述低分辨率特征块对应的K个图像块，分别作为所述更新后的高分辨率图像块训练集和低分辨率图像块训练集。

本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：

通过多次重建，即对本发明中的图像块和最优权值系数进行多次更新，从而得到最终的高分辨率图像，解决了现有技术中重建精度低的技术问题，从而实现了满足实际的分辨率重建需求的技术效果。

附图说明

图1为本发明实施例提供的基于深层协作表达的超分辨率图像的重建方法的流程图；

图2为本发明实施例提供的基于深层协作表达的超分辨率图像的重建方法中进行人脸图像划分的示意图；

图3为本发明实施例提供的基于深层协作表达的超分辨率图像的重建方法中对低分辨率图像训练集和高分辨率图像训练集进行更新的流程图；

图4为通过本发明实施例提供的基于深层协作表达的超分辨率图像的重建方法得到的4层平均SSIM值和平均PSNR值的结果图；

图5为本发明实施例提供的基于深层协作表达的超分辨率图像的重建系统的模块图；

图6为本发明实施例提供的基于深层协作表达的超分辨率图像的重建系统中更新模块600的结构模块图。

具体实施方式

本发明实施例通过提供一种基于深层协作表达的超分辨率图像的重建方法及系统，解决了现有技术中重建精度低的技术问题，实现了满足实际的分辨率重建需求的技术效果。

本发明实施例中的技术方案为解决上述技术问题，总体思路如下：

通过多次重建，即对本发明实施例中的图像块和最优权值系数进行多次更新，从而得到最终的高分辨率图像，解决了现有技术中重建精度低的技术问题，从而实现了满足实际的分辨率重建需求的技术效果。

为了更好地理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

参见图1，本发明实施例提供的基于深层协作表达的超分辨率图像的重建方法，包括：重建过程；重建过程至少包括：

步骤S110：对初始图像、低分辨率图像训练集中的图像和高分辨率图像训练集中的图像在像素域中划分相互重叠的图像块；

参见图2，对本步骤进行说明，按照从左到右、从上到下的顺序划分图像块。当划分图像块至图像边缘时，如果剩余尺寸比预先设置的图像块的尺寸小，则以原图像的边缘为基准进行回退划分。如当横向划分到图像右边边缘处时，向左回退并以右边边缘为基准进行分块；当纵向划分到图像底边边缘处时，向上回退并以底边边缘为基准进行分块。

步骤S120：计算由低分辨率图像训练集划分得到的图像块训练集对由初始图像划分得到的图像块进行线性重建时的最优权值系数；

对本步骤进行说明，通过公式计算得到最优权值系数

其中，y_i是由初始图像划分得到的图像块，L_i是由低分辨率图像训练集划分得到的图像块训练集，a_i是初始图像划分得到的图像块的重建系数组成的行向量，τ是平衡重建误差和局部约束的正则化参数，是欧式平方距离，i是样本序号。

在本实施例中，τ取0.00003。

步骤S130：将由初始图像划分得到的图像块替换为位置对应的由高分辨率图像训练集划分得到的图像块，并用最优权值系数加权合成高分辨率图像块；

其中，用最优权值系数加权合成高分辨率图像块，具体包括：

采用公式(2)计算获得高分辨率图像块P_i；

其中，H_i为高辨率图像块训练集。

步骤S140：将高分辨率图像块进行融合，获得高分辨率图像；

步骤S150：将获得的高分辨率图像作为新的初始图像，进行至少一次所述重建过程，即至少进行一次步骤S110-步骤S140的过程，得到最终的高分辨率图像。

在本实施例中，在每进行一次重建过程之后，对低分辨率图像训练集和高分辨率图像训练集进行更新，从而提高了本发明实施例的重建精度。

具体地，参见图3，对低分辨率图像训练集和高分辨率图像训练集进行更新，至少包括：

步骤S310：将低分辨率图像训练集中的图像通过插值得到高分辨率图像，并在特征域提取特征，将提取到的特征划分为相互重叠的特征块；

步骤S320：在特征域中，从低分辨率图像训练集中的图像中提取与高分辨率特征块相对应的低分辨率特征块；

步骤S330：在像素域中，分别找到与高分辨率特征块、低分辨率特征块对应的图像块，分别作为更新后的高分辨率图像块训练集和低分辨率图像块训练集。

其中，步骤S320具体包括：

在特征域中，基于KNN算法中的欧式距离从低分辨率图像训练集中的图像中提取K个与高分辨率特征块相对应的低分辨率特征块；

在这种情况下，步骤S330具体包括：

根据欧式距离在像素域中分别找到与高分辨率特征块、低分辨率特征块对应的K个图像块，分别作为更新后的高分辨率图像块训练集和低分辨率图像块训练集。

测试实施例

实验数据：实验采用FEI人脸数据集作为实验数据，该数据包括正面的整齐的人脸图像。人脸数据集中包括400张图像，分别从200个目标人物得到，100位男性和100位女性。每一位目标人物有两张正面的图像，一张没有表情，一张面带微笑。数据集中的男性图像主要是从19岁到40岁的不同年龄段、发型和装饰品。所有的照片都被裁剪成大小为120×100像素的图像。选取其中的360张作为训练样本集(180个目标人物)，剩下的40张图像用来测试(20个目标人物)。因此，所有的测试图像都不在训练集中。低分辨率人脸图像(初始图像)是根据高分辨率人脸图像下采样4倍得到的，因此，与高分辨率人脸图像对应的低分辨率人脸图像的大小为30×25像素。本发明实施例中划分人脸图像块的尺寸分别为：高分辨率人脸图像被划分为12×12的图像块，交叠为4个像素；低分辨率人脸图像被划分为3×3的图像块，交叠为1个像素。

本发明实施例包括三个部分，即单层协作表达、字典学习和深层协作表达。

具体地，单层协作表达至少包括：

步骤1：对初始的低分辨率人脸图像、高低分辨率人脸图像训练集中的每一张人脸图像采用回退的方式在像素域中划分成M个相互重叠的图像块。其中，由初始的低分辨率人脸图像X划分成的图像块为y_i，由高分辨率人脸图像训练集划分成的图像块的集合为由低分辨率人脸图像训练集划分成的图像块的集合为其中，N为样本的数量。

步骤2：对于图像块y_i，按照公式(1)计算由低分辨率人脸图像训练集中所有低分辨率人脸样本图像该位置上的图像块对它进行线性重建时的最优权值系数

步骤3：把所有低分辨率人脸样本图像的图像块替换为位置对应的高分辨率人脸样本图像的图像块，用步骤2所得最优权重系数根据公式(2)加权合成高分辨率人脸图像块p_i；

步骤4：将步骤3合成所得高分辨率人脸图像块p_i按照在人脸上的位置融合，得到一张高分辨率人脸图像。

字典学习至少包括：

步骤5：将低分辨率人脸图像训练集中的人脸图像插值到高分辨率人脸图像训练集然后通过公式(3)在水平方向和垂直方向上的第一和第二阶梯度滤波器将所得的插值人脸图像进行特征提取。

其中，是滤波后的图像。f₁和f₂分别是在水平和垂直方向的梯度的高通滤波器。f₃和f₄分别是在水平方向和垂直方向的高通滤波器。*表示的是卷积。获得的特征图像集为将获得的特征图像划分为M个相互重叠的特征块则所有特征图像块的集合为将初始的低分辨率人脸图像X插值到高分辨人脸图像大小X_B，并按照公式(3)进行特征提取，获得4个特征然后根据公式(4)将所得到的特征划分为M个相互重叠的特征块。

步骤6：按照公式(5)计算KNN算法中的欧氏距离dist，再按照公式(6)在特征域中的低分辨率图像块字典中提取出K个最近距离的图像块。

步骤7：根据在特征域获得的欧式距离找到在像素域中对应的K个图像块，从而得到新的高分辨率人脸图像块集合和新的低分辨率人脸图像块集合分别作为新的高分辨率人脸图像块训练样本集和新的低分辨率人脸图像块训练样本集。

步骤8：字典学习后，根据公式(7)得到新的最优权值系数和根据公式(8)将所得的最优权值系数加权合成新的高分辨人脸图像块p_k。

深层协作表达至少包括：

步骤9：将单层协作表达扩展成4层协作表达，通过不断更新每层的初始低分辨率的人脸样本图像和高低分辨率人脸样本图像训练字典来更新最优权值系数，并加权合成高分辨率人脸图像块，最后将获得的人脸图像块融合，得到一张高分辨率人脸图像。

而步骤9的具体方法包括：

将单层协作表达扩展成4层协作表达，不断更新低分辨率人脸样本训练集并根据公式(7)更新得到最优权值系数

为了得到每层的学习字典，从第一张低分辨率图像开始，使用剩下的N-1张低分辨率图像作为新字典进行更新并替换掉原来的插值低分辨率图像。通过同样的方法，从高分辨率图像中获得相应的新的高分辨率人脸图像训练集

目标高分辨率人脸图像可以按照上述字典学习方法中的公式(3)、公式(4)、公式(5)和公式(6)将中间字典更新，然后按照上述的单层协同表达方法中的公式(1)在输入的低分辨率图像块新的低分辨率人脸图像块训练集下获得最优权值系数，再按照公式(2)和公式(6)在新的高分辨率人脸图像块训练集下加权融合成高分辨率人脸图像块。

以下提供实验对比说明本发明实施例的有效性。

如图4所示，我们列出了4层模型下的40个人脸图像的PSNR和SSIM的平均值。我们可以看到，随着层数的增加，本发明实施例的增益变得更加的显著。40张测试图像的平均PSNR和SSIM值，在四层模型比单层模型的结果要更加显著。上述结果验证了本发明实施例的有效性。

从以上表格明显看出，与其他算法相比，本发明实施例在平均PSNR和SSIM值上高于其他算法，验证了本发明实施例的有效性。

参见图5，本发明实施例提供的基于深层协作表达的超分辨率图像的重建系统，包括：重建模块100，重建模块100至少包括：

图像块划分单元1100，用于对初始图像、低分辨率图像训练集中的图像和高分辨率图像训练集中的图像在像素域中划分相互重叠的图像块；

计算单元1200，用于计算由低分辨率图像训练集划分得到的图像块训练集对由初始图像划分得到的图像块进行线性重建时的最优权值系数；

在本实施例中，计算单元1200，具体用于通过公式计算得到最优权值系数

其中，y_i是由初始图像划分得到的图像块，L_i是由低分辨率图像训练集划分得到的图像块训练集，a_i是初始图像划分得到的图像块的重建系数组成的行向量，τ是平衡重建误差和局部约束的正则化参数，是欧式平方距离，i是样本序号。

在本实施例中，τ取0.00003。

替换单元1300，用于将由初始图像划分得到的图像块替换为位置对应的由高分辨率图像训练集划分得到的图像块，并用最优权值系数加权合成高分辨率图像块；

其中，用最优权值系数加权合成高分辨率图像块，具体包括：

采用公式(2)计算获得高分辨率图像块P_i；

其中，H_i为高辨率图像块训练集。

融合单元1400，用于将高分辨率图像块进行融合，获得高分辨率图像；

重建执行单元200，将获得的高分辨率图像作为新的初始图像，至少再执行一次重建模块100，得到最终的高分辨率图像。

在本实施例中，还至少包括：

更新模块，用于在每执行一次重建模块100之后，对低分辨率图像训练集和高分辨率图像训练集进行更新，从而提高了本发明实施例的重建精度。

参见图6，更新模块600，至少包括：

特征块划分单元610，用于在每执行一次重建模块100之后，将低分辨率图像训练集中的图像通过插值得到高分辨率图像，并在特征域提取特征，将提取到的特征划分为相互重叠的高分辨率特征块；

特征块提取单元620，用于在特征域中，从低分辨率图像训练集中的图像中提取与高分辨率特征块相对应的低分辨率特征块；

更新执行单元630，用于在像素域中，分别找到与高分辨率特征块、低分辨率特征块对应的图像块，分别作为更新后的高分辨率图像块训练集和低分辨率图像块训练集。

在本实施例中，特征块提取单元620，具体用于在特征域中，基于KNN算法中的欧式距离从低分辨率图像训练集中的图像中提取K个与高分辨率特征块相对应的低分辨率特征块；

在这种情况下，更新执行单元630，具体用于根据欧式距离在像素域中分别找到与高分辨率特征块、低分辨率特征块对应的K个图像块，分别作为更新后的高分辨率图像块训练集和低分辨率图像块训练集。

【技术效果】

1、通过多次重建，即对本发明实施例中的图像块和最优权值系数进行多次更新，从而得到最终的高分辨率图像，解决了现有技术中重建精度低的技术问题，从而实现了满足实际的分辨率重建需求的技术效果。

2、在每进行一次重建过程之后，对低分辨率图像训练集和高分辨率图像训练集进行更新，进一步提高了本发明实施例的重建精度。

本发明实施例将单层协作表达扩展成4层协作表达，使初始的低分辨率图像块的表达系数更加精确，合成更好的高分辨率人脸图像。并通过不断更新每层的初始的低分辨率的人脸样本图像和高低分辨率人脸样本图像训练集来更新最优权值系数，并加权合成高分辨率人脸图像块，使图像块的表示系数更加精确，最后将获取的人脸图像块融合，得到高分辨率人脸图像，从而提高了最终合成的高分辨率人脸图像的质量。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。