一种基于局部和稀疏非局部正则的人脸图像超分辨率方法与流程

本发明涉及图像处理技术领域，具体涉及一种基于局部和稀疏非局部正则的人脸图像超分辨率方法。

背景技术：

随着信息技术的发展，人们对人脸图像的处理要求日益提高，比如，在智能监控系统中，有丰富细节的高质量图像非常重要，它们可以有效提高系统性能，将监控环境中获得的低分辨率图像变成高分辨率图像也就至关重要。这种从低分辨率图像复原高分辨率图像的方法，就是人脸超分辨率技术。

现有的人脸图像超分辨率方法主要分为两类，一类是基于重建的技术，另一类是基于学习的技术。与基于重建的技术相比，只要一组训练样本，基于学习的技术也能获得更稳定、更好的性能。

基于学习的超分辨率方法是根据低质量与高质量训练样本对来预测一个高质量图像。其中，基于学习的方法又可以分为基于全局与基于局部的技术。基于全局的技术可能会丢失低质量输入图像的细节，如边缘和纹理信息。而基于局部的技术从整体图像中提取小图像块，可以保存更多的细节。

目前基于局部的人脸超分辨率方法主要可以分为：最小平方差模型、稀疏编码模型、核范数重构模型。最小平方差模型，即对所有训练样本描述误差分布。在最初的基于局部的技术中有广泛的应用，但其对噪声的鲁棒性很弱，常常会受噪声影响而产生模糊。稀疏编码模型只需要部分样本参与高分辨率图像的合成，对噪声也有较强的鲁棒性。核范数模型是对合成图像的误差矩阵的奇异值求和，这种方法相比较前两种能够更完整地描述误差分布，且具有更强的鲁棒性。

之前的一些方法是假设低分辨率图像块和高分辨率图像块有相同的拓扑，所以将低分辨率测试图像块生成的编码系数直接用于合成高分辨率图像块，但这样就忽略高分辨率图像块拓扑，这可能会使系数失真，影响图像质量。

技术实现要素：

本发明的目的是提供一种能在图像合成过程中补偿丢失的细节信息，提高图像质量的基于局部约束和稀疏非局部双核范数正则的人脸图像超分辨率方法。

为实现上述目的，本发明采用了如下技术方案：所述的一种基于局部和稀疏非局部正则的人脸图像超分辨率方法，包括以下步骤：

步骤一：以图像中每个像素位置为中心，获取测试图像和训练样本图像各个像素位置的图像块；

步骤二：使用局部pca字典学习方法，对于训练样本图像块，使用k均值聚类算法将图像块划分聚类，每个聚类学习一个局部pca字典，同时计算每个聚类的中心位置；对于每个待合成图像块，用与其最相关的聚类的字典编码；

步骤三：对输入的低质量图像块，运用基于局部约束和稀疏非局部双核范数正则算法求解最佳表示系数向量；

步骤四：使用最佳表示系数向量在高分辨率字典上合成高分辨率图像块，保持低质量信号不变，更新非局部编码系数，将更新后的系数和高分辨率图像块放入步骤三中进行下一次迭代；经过多次迭代更新最佳表示系数向量，得到该位置的高分辨率图像块；

步骤五：每个高分辨率图像块按位置合成图像，对于重叠部分取平均，获得最终输出的高分辨率图像。

进一步地，前述的一种基于局部和稀疏非局部正则的人脸图像超分辨率方法，其中：在步骤三中，最佳表示系数向量s的求解方法如下：

基于局部约束和稀疏非局部双核范数正则的人脸图像超分辨率算法，对低分辨率和高分辨率图像块进行耦合编码的双核范数正则函数：

其中，||·||*表示矩阵的核范数，即矩阵所有奇异值的和，表示内积符号，即对应元素相乘；yl和yh分别表示输入的低分辨率图像块和高分辨率图像块；dl,dh分别是低分辨率和高分辨率字典，其中，d(s)＝s1d1+s2d2+l+sndn是从空间到的一个线性映射，n是字典的层数；λ是第一正则化参数，α是第二正则化参数，u是非局部编码系数向量；β是第三正则化参数，c是输入的低分辨率图像块和每个字典原子之间的欧几里得距离向量；

以上模型可以进一步表示为：

s.t.el＝yl-dl(s),eh＝yh-dh(s)

其拉格朗日函数表示为：

其中z1，z2是拉格朗日乘子，μ是第四正则化参数；

采用交替方向乘子法admm对模型进行求解，具体过程为：

步骤(a)：固定el，eh,更新s：

则：

引入以下辅助变量：

al＝vec(dl)，ah＝vec(dh)

则：

为了简化表示，再次引入辅助变量：

则：

其中，c是一个k×k的对角矩阵，且cmm＝cm；f＝u^tu,且u＝b-g1^t；

步骤(b)：固定s，eh,更新el：

采用奇异值阈值化算法求解最优的

其中，是第k+1次迭代后el的值；

对进行奇异值分解，求得：

其中，r是对角阵σ的秩；

步骤(c)：固定s，el,更新eh：

采用奇异值阈值化算法求解最优的

其中，是第k+1次迭代后eh的值；

步骤(d)：更新拉格朗日乘子：

其中，分别是k+1次迭代后z1,z2的值。

进一步地，前述的一种基于局部和稀疏非局部正则的人脸图像超分辨率方法，其中：在步骤四中，使用最佳表示系数向量在高分辨率字典上合成的高分辨率图像块具体表示为：其中，表示更新的高分辨率图像块，ah表示向量化的高分辨率字典，表示更新的表示系数。

进一步地，前述的一种基于局部和稀疏非局部正则的人脸图像超分辨率方法，其中：在步骤四中，非局部编码系数具体表示如下：其中，表示更新的非局部编码系数，ah表示向量化的高分辨率字典，表示更新的高分辨率图像块。

通过上述技术方案的实施，本发明具有的有益效果是：在损失函数中加入高分辨率图像块正则化，从而能在图像合成过程中补偿丢失的细节信息，并且将局部稀疏和非局部自相似两项先验知识融合为一项正则化项，达到更好的约束效果，提高图像质量。

附图说明

图1是本发明所述的一种基于局部和稀疏非局部正则的人脸图像超分辨率方法的流程图。

具体实施方式

下面结合附图和具体实施例对本发明的技术方案做进一步的详细说明：

如图1所示，所述的一种基于局部和稀疏非局部正则的人脸图像超分辨率方法，包括以下步骤：

步骤一：以图像中每个像素位置为中心，获取测试图像和训练样本图像各个像素位置的图像块；

步骤二：使用局部pca字典学习方法，对于训练样本图像块，使用k均值聚类算法将图像块划分聚类，每个聚类学习一个局部pca字典，同时计算每个聚类的中心位置；对于每个待合成图像块，用与其最相关的聚类的字典编码；

步骤三：对输入的低质量图像块，运用基于局部约束和稀疏非局部双核范数正则算法求解最佳表示系数向量；

其中，最佳表示系数向量s的求解方法如下：

基于局部约束和稀疏非局部双核范数正则的人脸图像超分辨率算法，对低分辨率和高分辨率图像块进行耦合编码的双核范数正则函数：

其中，||·||*表示矩阵的核范数，即矩阵所有奇异值的和，表示内积符号，即对应元素相乘；yl和yh分别表示输入的低分辨率图像块和高分辨率图像块；dl,dh分别是低分辨率和高分辨率字典，其中，d(s)＝s1d1+s2d2+l+sndn是从空间到的一个线性映射，n是字典的层数；λ是第一正则化参数，α是第二正则化参数，u是非局部编码系数向量；β是第三正则化参数，c是输入的低分辨率图像块和每个字典原子之间的欧几里得距离向量；

以上模型可以进一步表示为：

s.t.el＝yl-dl(s),eh＝yh-dh(s)

其拉格朗日函数表示为：

其中z1，z2是拉格朗日乘子，μ是第四正则化参数；

采用交替方向乘子法admm对模型进行求解，具体过程为：

步骤(a)：固定el，eh,更新s：

则：

引入以下辅助变量：

al＝vec(dl)，ah＝vec(dh)

则：

为了简化表示，再次引入辅助变量：

则：

其中，c是一个k×k的对角矩阵，且cmm＝cm；f＝u^tu,且u＝b-g1^t；

步骤(b)：固定s，eh,更新el：

采用奇异值阈值化算法求解最优的

其中，是第k+1次迭代后el的值；

对进行奇异值分解，求得：

其中，r是对角阵σ的秩；

步骤(c)：固定s，el,更新eh：

采用奇异值阈值化算法求解最优的

其中，是第k+1次迭代后eh的值；

步骤(d)：更新拉格朗日乘子：

其中，分别是k+1次迭代后z1,z2的值。

步骤四：使用最佳表示系数向量在高分辨率字典上合成高分辨率图像块保持低质量信号不变，更新非局部编码系数将更新后的系数和高分辨率图像块放入步骤三中进行下一次迭代；经过多次迭代更新最佳表示系数向量得到该位置的高分辨率图像块；

其中，使用最佳表示系数向量在高分辨率字典上合成的高分辨率图像块具体表示为：其中，表示更新的高分辨率图像块，ah表示向量化的高分辨率字典，表示更新的表示系数；

其中，非局部编码系数具体表示如下：其中，表示更新的非局部编码系数，ah表示向量化的高分辨率字典，表示更新的高分辨率图像块；

步骤五：每个高分辨率图像块按位置合成图像，对于重叠部分取平均，获得最终输出的高分辨率图像。

本发明具有的优点是：在损失函数中加入高分辨率图像块正则化，从而能在图像合成过程中补偿丢失的细节信息，并且将局部稀疏和非局部自相似两项先验知识融合为一项正则化项，达到更好的约束效果，提高图像质量。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。