一种基于双核范数正则的多姿态人脸图像质量增强方法与流程

本发明涉及一种人脸图像质量增强方法，特别涉及一种基于局部约束双核范数正则的多姿态人脸图像质量增强方法，属于图像处理技术领域。

背景技术：

随着信息技术的进步与发展，人们对视觉信息的处理要求越来越高，尤其人脸图像。它广泛应用于各个领域，如：人脸识别、人脸视频图像传输、遥感图像、放大数码相机的人脸照片、军事等。但在其应用过程中，大部分人脸图像质量较差，因此相关学者提出人脸图像超质量增强方法。人脸图像质量增强主要是对那些模糊、有噪、频谱混叠的低分辨率人脸图像进行信号处理，进而得到清晰的高分辨率人脸图像。其中图像的质量主要取决于在单位面积像素的数目，即图像的分辨率，因此通过这个方法，我们可以合成在图像退化过程中丢失的高频人脸特征细节，从而提高图像的质量。基于样本学习的人脸图像质量增强算法是利用训练样本学习重构权重系数，从而得到图像的先验信息，进一步合成超分辨图像。

目前基于样本学习的人脸图像质量增强方法可以分为两类：基于全局的方法和基于局部的方法。

基于全局的方法可以保留整个人脸图像的结构，但是忽视了除主成份以外的人脸特征细节。因此，研究者提出了基于局部的方法。基于局部图像块的人脸图像质量增强算法是将整个人脸进行分块，以人脸的局部特征为输入进行合成，这样有利于合成更多的高频特征细节信息，从而提高整个人脸图像分辨率。依据重构误差分布描述的模型的不同，基于局部的图像超分辨率方法可分为：l2范数、l1或l0范数、核范数。

之前的这些误差模型是在理想的假设环境下进行的，因此取得了比较满意的实验结果。但在实际应用中，我们可能得到的低分辨率图像是多姿态的。这时在合成高分辨率人脸图像的过程中，输入人脸图像矩阵与利用训练样本合成的人脸图像矩阵并不对应，从而导致重构误差增大。

技术实现要素：

本发明所要解决的技术问题是提供一种基于局部约束双核范数正则的多姿态人脸图像质量增强方法，针对现有的人脸图像合成算法的不足，解决了之前方法所忽视的多姿态问题，满足实际应用对人脸图像合成的要求。

本发明为解决上述技术问题采用以下技术方案：

本发明提供一种基于局部约束双核范数正则的多姿态人脸图像质量增强方法，包括以下具体步骤：

步骤1，以图像中每个像素位置为中心，获取低质量测试图像和低质量训练样本图像各个像素位置的图像块；

步骤2，对低质量测试图像中的每个图像块，运用局部约束双核范数正则回归方法获得其在低质量训练样本图像中对应位置上的图像块集合的线性表示；

步骤3，在保持表示系数不变的情况下，用高质量训练样本图像块替换低质量训练样本图像块，从而获得低质量测试图像块对应的高质量测试图像块；

步骤4，对步骤3中高质量测试图像块进行串联和整合，从而获得高质量的测试图像。

作为本发明的进一步优化方案，步骤2中对低质量测试图像中的每个图像块，运用局部约束双核范数正则回归方法获得其在低质量训练样本图像中对应位置上的图像块集合的线性表示，具体为：

y＝x1a1+x2a2+…+xnan+e

其中，y是低质量测试图像块；ai是第i个低质量像素训练样本图像中对应位置的图像块，i＝{1,2,…,n}，n是训练样本图像个数；xi是表示系数向量x中的第i个元素值；e是表示残差项；

表示系数向量x根据以下模型求解得到：

其中，||·||*表示矩阵的核范数，即矩阵的所有奇异值的和；m表示行矫正矩阵；y表示低质量测试图像块矩阵；a(x)＝x1a1+x2a2+…+xnan表示从空间到的一个线性映射；α表示第一正则化参数；h＝[vec(a1),...,vec(an)]，vec(·)表示矩阵的向量化操作；β表示第二正则化参数，d＝(d1,d2,…,dn)表示低质量测试图像块与低质量训练样本图像块之间的欧几里德距离矩阵。

作为本发明的进一步优化方案，根据模型求解表示系数向量x的方法如下：

2.1)更新模型具体为：

其拉格朗日函数表示为：

其中，y1、y2均为拉格朗日乘子，μ为第三正则化参数；

2.2)采用交替方向乘子法admm对步骤2.1)中的模型进行求解，得到表示系数向量x。

作为本发明的进一步优化方案，采用交替方向乘子法admm对上述步骤2.1)中的模型进行求解，具体为：

<a>固定x、e、s，更新m，具体为：

其中，m^k+1为第k+1步更新后m的值，e^k、x^k、y1^k别为第k步更新后e、x、y1的值；

使uσv^t为的奇异值分解，其中，u和v为标准正交基，σ为奇异值组成的对角矩阵，则m^k+1的最优解为：

m^k+1＝vu^t；

<b>固定m、e、s，更新x，具体为：

其中，x^k+1为第k+1步更新后x的值，s^k、y2^k分别为第k步更新后s、y2的值；

x^k+1的最优解为：

x^k+1＝(g+diag(g1))\g2

其中，

<c>固定x、m、e，更新s，具体为：

通过奇异值阈值化求解最优的s^k+1：

其中，s^k+1为第k+1步更新后s的值；

<d>固定x、m、s，更新e，具体为：

通过奇异值阈值化求解最优的e^k+1，：

其中，e^k+1为第k+1步更新后e的值；

<e>更新拉格朗日乘子：

y1^k+1＝y1^k+μ(m^k+1y-a(x^k+1)-e^k+1)

其中，y1^k+1、y2^k+1分别为第k+1步更新后的y1、y2的值；

<f>若达到最大迭代次数或以下终止条件，则输出x^k+1作为x；否则，返回到步骤<a>：

||hdiag(x)-s||∞≤εand||my-a(x)-e||∞≤ε。

其中，||·||∞为矩阵的∞范数，ε为预设的容错值。

作为本发明的进一步优化方案，步骤2中对低质量测试图像中的每个图像块，运用局部约束双核范数正则回归方法获得其在低质量训练样本图像中对应位置上的图像块集合的线性表示，具体为：

y＝x1a1+x2a2+…+xnan+e

其中，y是低质量测试图像块；ai是第i个低质量像素训练样本图像中对应位置的图像块，i＝{1,2,…,n}，n是训练样本图像个数；xi是表示系数向量x中的第i个元素值；e是表示残差项；

表示系数向量x根据以下模型求解得到：

其中，||·||*表示矩阵的核范数，即矩阵的所有奇异值的和；r表示列旋转矩阵；y表示低质量测试图像块矩阵；a(x)＝x1a1+x2a2+…+xnan表示从空间到的一个线性映射；α表示第一正则化参数；h＝[vec(a1),…,vec(an)]，vec(·)表示矩阵的向量化操作；β表示第二正则化参数，d＝(d1,d2,...,dn)表示低质量测试图像块与低质量训练样本图像块之间的欧几里德距离矩阵。

作为本发明的进一步优化方案，根据模型求解表示系数向量x的方法如下：

2.1)更新模型具体为：

其拉格朗日函数：

其中，y1、y2均为拉格朗日乘子，μ为第三正则化参数；

2.2)采用交替方向乘子法admm对步骤2.1)中的模型进行求解，得到表示系数向量x。

作为本发明的进一步优化方案，采用交替方向乘子法admm对上述步骤2.1)中的模型进行求解，具体为：

<a>固定x、e、s，更新r，具体为：

其中，r^k+1为第k+1步更新后r的值，e^k、x^k、y1^k分别为第k步更新后e、x、y1的值；

使uσv^t为的奇异值分解，其中，u和v为标准正交基，σ为奇异值组成的对角矩阵，则r^k+1的最优解为：

r^k+1＝vu^t

<b>固定r、e、s，更新x，具体为：

其中，x^k+1为第k+1步更新后x的值，s^k、y2^k分别为第k步更新后s、y2的值；

x^k+1的最优解为：

x^k+1＝(g+diag(g1))\g2

其中，

<c>固定x、m、e，更新s，具体为：

通过奇异值阈值化求解最优的s^k+1：

其中，s^k+1为第k+1步更新后s的值；；

<d>固定x、r、s，更新e，具体为：

通过奇异值阈值化求解最优e^k+1的：

其中，e^k+1为第k+1步更新后e的值；

<e>更新拉格朗日乘子，具体为：

y1^k+1＝y1^k+μ(yr^k+1-a(x^k+1)-e^k+1)

其中，y1^k+1、y2^k+1分别为第k+1步更新后的y1、y2的值；

<f>若达到最大迭代次数或以下终止条件，则输出x^k+1作为x；否则，返回到步骤<a>：

||hdiag(x)-s||∞≤εand||yr-a(x)-e||∞≤ε

其中，||·∞为矩阵的∞范数，ε为预设的容错值。

作为本发明的进一步优化方案，步骤2中对低质量测试图像中的每个图像块，运用局部约束双核范数正则回归方法获得其在低质量训练样本图像中对应位置上的图像块集合的线性表示，具体为：

y＝x1a1+x2a2+…+xnan+e

其中，y是低质量测试图像块；ai是第i个低质量像素训练样本图像中对应位置的图像块，i＝{1,2,…,n}，n是训练样本图像个数；xi是表示系数向量x中的第i个元素值；e是表示残差项；

表示系数向量x根据以下模型求解得到：

其中，||·||*表示矩阵的核范数，即矩阵的所有奇异值的和；m表示行矫正矩阵；y表示低质量测试图像块矩阵；r表示列旋转矩阵；a(x)＝x1a1+x2a2+…+xnan表示从空间到的一个线性映射；α表示第一正则化参数；h＝[vec(a1),...,vec(an)]，vec(·)表示矩阵的向量化操作；β表示第二正则化参数，d＝(d1,d2,...,dn)表示低质量测试图像块与低质量训练样本图像块之间的欧几里德距离矩阵。

作为本发明的进一步优化方案，根据模型求解表示系数向量x的方法如下：

2.1)更新模型具体为：

s.t.e＝myr-a(x),s＝hdiag(x),m^tm＝i,r^tr＝i

其拉格朗日函数表示为：

其中，y1、y2均为拉格朗日乘子，μ为第三正则化参数；

2.2)采用交替方向乘子法admm对2.1)中的模型进行求解，得到表示系数向量x。

作为本发明的进一步优化方案，采用交替方向乘子法admm对上述步骤2.1)中的模型进行求解，具体为：

<a>固定x、e、s、r，更新m，具体为：

其中，m^k+1为第k+1步更新后m的值，r^k、e^k、x^k、y1^k分别为第k步更新后r、e、x、y1的值；

使u1σ1v1^t为的奇异值分解，其中，u1和v1为标准正交基，σ1为奇异值组成的对角矩阵，则m^k+1的最优解为：

m^k+1＝v1u1^t；

<b>固定x、e、s、m，更新r，具体为：

其中，r^k+1为r第k+1步更新后的值；

使u2σ2v2^t为的奇异值分解，其中，u2和v2为标准正交基，σ2为奇异值组成的对角矩阵，则r^k+1的最优解为：

r^k+1＝v2u2^t；

<c>固定m、r、e、s，更新x，具体为：

其中，x^k+1为第k+1步更新后x的值，y2^k为第k步更新后y2的值；

x^k+1的最优解为：

x^k+1＝(g+diag(g1))\g2

其中，

<d>固定x、m、r、e，更新s，具体为：

通过奇异值阈值化求解最优的s^k+1：

其中，s^k+1为第k+1步更新后s的值；；

<e>固定x、m、r、s，更新e，具体为：

通过奇异值阈值化求解最优解e^k+1：

其中，e^k+1为第k+1步更新后e的值；

<f>更新拉格朗日乘子，具体为：

y^k+1＝y^k+μ(m^k+1yr^k+1-a(x^k+1)-e^k+1)

其中，y1^k+1、y2^k+1分别为第k+1步更新后的y1、y2的值；

<g>若达到最大迭代次数或以下终止条件，输出x^k+1作为x；否则，返回到步骤<a>：

||hdiag(x)-s||∞≤εand||myr-a(x)-e||∞≤ε

其中，||·||∞为矩阵的∞范数，ε为预设的容错值。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明提出的方法更能适应实际环境中的人脸图像合成，这是因为现有的方法的提出都是基于理想的假设条件下的。但在实际环境中，如监控视频获得人脸图像往往是多姿态的，如果按照之前的方法实验结果可能较差，而我们所提出地方法相对能够合成更多细节的高分辨率人脸图像。

附图说明

图1是本发明的流程图。

具体实施方式

下面结合附图和具体实施例对本发明的技术方案做进一步的详细说明：

本发明提供一种基于局部约束双核范数正则的多姿态人脸图像质量增强方法，具体流程如图1所示。

(一)以图像中每个像素位置为中心，获取低质量测试图像和低质量训练样本图像各个像素位置的图像块。

(二)对低质量测试图像中的每个图像块，运用局部约束双核范数正则回归方法获得其在低质量训练样本图像中对应位置上的图像块集合的线性表示。

对于待合成的低质量测试图像块y，首先进行模为1的归一化操作，然后用低质量训练样本图像中对应位置上的图像块对其进行线性表示：

y＝x1a1+x2a2+…+xnan+e

其中，ai是第i个低质量像素训练样本图像中对应位置的图像块，i＝{1,2,…,n}，n是训练样本图像个数；xi是表示系数向量x中的第i个元素值；e是表示残差项。

为了简易起见，定义从空间到的一个线性映射a(x)＝x1a1+x2a2+…+xnan。

其中，表示系数向量x的求解方法有以下三种：

(1)基于行矫正的核范数正则化稀疏编码的多姿态人脸图像超分辨率算法，对低质量输入人脸图像块(即低质量测试图像块)按行重新排序的核范数正则化系数译码函数：

其中，||·||*表示矩阵的核范数(即矩阵的所有奇异值的和)；m为行矫正矩阵；y表示低质量测试图像块矩阵，α为第一正则化参数，h＝[vec(a1),...,vec(an)]，vec(·)表示矩阵的向量化操作，β为第二正则化参数，d＝(d1,d2,…,dn)表示低质量测试图像块与低质量训练样本图像块之间的欧几里德距离矩阵。

以上模型可以进一步表示为：

其拉格朗日函数表示为：

其中，y1、y2均为拉格朗日乘子，μ为第三正则化参数。

采用交替方向乘子法admm对该模型进行求解，具体过程如下：

<a>固定x、e、s，更新m：

其中，e^k、x^k、y1^k别为第k步更新后e、x、y1的值，m^k+1为第k+1步更新后m的值。

使uσv^t为的奇异值分解，其中，u和v为标准正交基，σ为奇异值组成的对角矩阵，则m^k+1的最优解为：

m^k+1＝vu^t；

<b>固定m、e、s的值，更新x：

其中，x^k+1为第k+1步更新后x的值，m^k+1为第k+1步更新后m的值，e^k、s^k、y1^k、y2^k分别为第k步更新后e、s、y1、y2的值；

x^k+1的最优解为：

x^k+1＝(g+diag(g1))\g2

其中，

<c>固定x、m、e，更新s：

可以通过奇异值阈值化求解最优的s^k+1，其中，s^k+1为第k+1步更新后s的值,x^k+1为第k+1步更新后x的值，y2^k为第k步更新后y2的值；

<d>固定x、m、s，更新e：

可以通过奇异值阈值化求解最优解e^k+1，其中，e^k+1为第k+1步更新后e的值，m^k+1、x^k+1分别为第k+1步更新后m、x的值，y1^k为第k步更新后y1的值；

<e>更新拉格朗日乘子：

y1^k+1＝y1^k+μ(m^k+1y-a(x^k+1)-e^k+1)

其中，y1^k+1、y2^k+1分别为第k+1步更新后的y1、y2的值；

<f>若达到最大迭代次数或以下终止条件，输出x^k+1作为x；否则，返回到步骤<a>：

||hdiag(x)-s||∞≤εand||my-a(x)-e||∞≤ε

其中，||·||∞为矩阵的∞范数，ε为预设的容错值。

(2)、基于列矫正的核范数正则化稀疏编码的多姿态人脸图像超分辨率算法，对低质量输入人脸图像块(即低质量测试图像块)按列重新排序的核范数正则化系数译码函数：

其中，r为一个列旋转矩阵，它主要是对低质量输入图像块按列进行重新排序。

以上模型可以进一步表示为：

其拉格朗日函数：

其中，y1、y2均为拉格朗日乘子，μ为第三正则化参数。

采用交替方向乘子法admm对该模型进行求解，具体过程如下：

<a>固定x、e、s，更新r：

其中，e^k、x^k、y1^k分别为第k步更新后e、x、y1的值，r^k+1为第k+1步更新后r的值；

使uσv^t为的奇异值分解，其中，u和v为标准正交基，σ为奇异值组成的对角矩阵，则r^k+1的最优解为：

r^k+1＝vu^t；

<b>固定r、e、s，更新x：

其中，x^k+1为第k+1步更新后x的值，r^k+1为第k+1步更新后r的值，e^k、s^k、y1^k、y2^k分别为第k步更新后e、s、y1、y2的值；

x的最优解为：

x^k+1＝(g+diag(g1))\g2

其中，

<c>固定x、m、e，更新s：

可以通过奇异值阈值化求解最优的s^k+1，其中，s^k+1为第k+1步更新后s的值,x^k+1为第k+1步更新后x的值，y2^k为第k步更新后y2的值；

<d>固定x、r、s，更新e：

可以通过奇异值阈值化求解最优解e^k+1，其中，e^k+1为第k+1步更新后e的值，r^k+1、x^k+1分别为第k+1步更新后r、x的值，y1^k为第k步更新后y1的值；

<e>更新拉格朗日乘子：

y1^k+1＝y1^k+μ(yr^k+1-a(x^k+1)-e^k+1)

其中，y1^k+1、y2^k+1分别为第k+1步更新后的y1、y2的值；

<f>若达到最大迭代次数或以下终止条件，输出x^k+1作为x；否则，返回到步骤<a>：

||hdiag(x)-s||∞≤εand||yr-a(x)-e||∞≤ε

其中，||·||∞为矩阵的∞范数，ε为预设的容错值。

(3)、基于行和列同时矫正的核范数正则化稀疏译码的多姿态人脸图像超分辨率算法，对低质量测试图像块按行和列同时进行重新排序的核范数正则化稀疏译码函数为：

其中，m、r均为旋转矩阵，m表示行矫正矩阵，r表示列旋转矩阵，它们主要是对低质量输入图像块先按行进行重新排序，再按列进行重新排序。

以上模型可以进一步表示为

s.t.e＝myr-a(x),s＝hdiag(x),m^tm＝i,r^tr＝i

其拉格朗日函数：

其中，y1、y2均为拉格朗日乘子，μ为第三正则化参数。

采用交替方向乘子法admm对该模型进行求解，具体过程如下：

<a>固定x、e、s、r，更新m：

其中，r^k、e^k、x^k、y1^k分别为第k步更新后r、e、x、y1的值，m^k+1为第k+1步更新后m的值；

使u1σ1v1^t为的奇异值分解，其中，u1和v1为标准正交基，σ1为奇异值组成的对角矩阵，则m^k+1的最优解为：

m^k+1＝v1u1^t

<b>固定x、e、s、m，更新r：

其中，e^k、x^k、y1^k分别为第k步更新后e、x、y1的值，m^k+1、r^k+1分别为m、r第k+1步更新后的值。

使u2σ2v2^t为的奇异值分解，其中，u2和v2为标准正交基，σ2为奇异值组成的对角矩阵，则r^k+1的最优解为：

r^k+1＝v2u2^t

<c>固定m、r、e、s，更新x：

x的最优解为：

x^k+1＝(g+diag(g1))\g2

其中，

<d>固定x、m、r、e，更新s：

可以通过奇异值阈值化求解最优的s^k+1，其中，s^k+1为第k+1步更新后s的值,x^k+1为第k+1步更新后x的值，y2^k为第k步更新后y2的值；

<e>固定x、m、r、s，更新e：

可以通过奇异值阈值化求解最优解e^k+1，其中，e^k+1为第k+1步更新后e的值，m^k+1、r^k+1、x^k+1分别为第k+1步更新后m、r、x的值，y1^k为第k步更新后y1的值；

<f>更新拉格朗日乘子：

y^k+1＝y^k+μ(m^k+1yr^k+1-a(x^k+1)-e^k+1)

其中，y1^k+1、y2^k+1分别为第k+1步更新后的y1、y2的值；

<g>若达到最大迭代次数或以下终止条件，输出x^k+1作为x；否则，返回到步骤<a>：

||hdiag(x)-s||∞≤εand||myr-a(x)-e||∞≤ε

其中，||·||∞为矩阵的∞范数，ε为预设的容错值。

(三)、利用求得的最优表示系数向量x和相应的高质量训练样本合成高质量人脸图像块y，y＝ah(x)＝x1a1h+x2a2h+…+xnanh，a1h,a2h,…,anh为高质量训练样本图像块。

(四)、按位置集中所合成的高质量人脸图像块，对于重合部分取平均值，得到最终合成的高质量人脸图像。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。