基于对应关系预测的低分辨率人脸图像识别方法
【专利摘要】本发明公开了一种无对应关系条件下基于对应关系预测的低分辨率人脸识别算法（CRPFR)：首先是一一对应关系的确定，对高低分辨率图像进行训练，同一幅图像在高分辨率空间中与其他类图像的结构与在低分辨率空间中的结构是相似的，通过比对高低分率图像的特征向量来辨别它们是否具有对应关系；其次，将高低分辨率图像投影到一致的特征空间，在特征空间中采用最近邻分类器进行分类，保持类内聚拢、类间分散的整体结构，根据已经求得的一一对应关系和类别信息控制特征空间的结构，目标是求得能够满足特征空间结构的一对高低投影矩阵。与传统的低分辨率人脸识别算法相比，本发明在无对应关系的条件下取得了更优的效果。
【专利说明】
基于对应关系预测的低分辨率人脸图像识别方法
技术领域
[0001] 本发明涉及模式识别中的人脸识别领域，尤其涉及一种基于对应关系预测的低分 辨率人脸图像识别方法。
【背景技术】
[0002] 人脸识别是模式识别和计算机视觉邻域的重要组成部分，作为一个最重要的生物 特征识别技术，在过去几年，人脸识别(FR)受到了研究界广泛的关注并取得了快速发展。但 传统的人脸识别技术是针对高分辨率(HR)人脸图像的，在现实生活中难以应用，尤其是在 摄像监控、身份认证等急需高效人脸识别的领域。在实际环境中，由于光线、拍摄角度以及 拍摄设备等因素的影响，获得的人脸图像分辨率较低。典型的场景是街道上用于监控的广 角摄像头，一幅人脸图像的像素可能只有几十甚至十几，图像所含有的判别信息相对高分 辨率图像要少得多，由此产生了低分辨率(LR)人脸图像的识别问题。
[0003] 传统的人脸识别方法主要是解决降维问题，其中主成分分析PCA和线性判别分析 LDA是最流行的降维方法。PCA通过线性投影将高维数据变换为低维特征，以最大程度保留 数据的方差能量;LDA作为一种监督学习算法，目标是找到一个最优投影轴，使得投影后不 同类别的数据点分散而相同类别的数据点聚集。在PCA的基础上提出的二维主成分分析 2DPCA基于数据矩阵而非数据向量，从而更简单有效。随后提出的非线性人脸识别方法主要 有基于核函数的方法，如核主成分分析KPCA和核线性鉴别分析KLDA，和基于流形学习的方 法，如拉普拉斯脸Laplacianf aces方法。然而，以上传统算法在低分辨率图像识别问题上并 不能表现出很好的识别效果，其主要原因在于图像的质量对识别效果起着至关重要的作 用，低分辨率图像的像素低，有用的判别信息较少，在训练过程中容易出现误差，导致识别 效果降低。
[0004] 现有低分辨率人脸图像识别算法主要有两种："两步走"方法和同时将高低分辨率 图像投影的方法。
[0005] "两步走"方法，即首先用超分辨率方法将低分辨率图像重建为高分辨率图像，然 后在原高分辨率空间中对该重建图像进行识别分类。利用高低分辨率图像的一一对应关 系，将低分辨率图像重建成高分辨率图像，然后用重建高分辨率图像与原始高分辨率图像 进行识别。具体做法是找到一个最优投影矩阵，使低分辨率图像经过投影后与对应的高分 辨率图像的重建误差尽可能小，并且在重建空间使用最近邻分类器，使同类重建图像聚拢， 不同类分散。
[0006] 同时将高低分辨率图像进行投影的思想是找到一对投影矩阵，将高低分辨率图像 同时进行投影，利用它们之间的一一对应关系和类别信息，使高低分辨率图像投影到特征 空间时类内聚拢，类间分散，也就是说对低分辨率人脸图像直接进行识别。
[0007] 不管是用超分辨率方法将低分辨率重建为高分辨率，还是将高、低分辨率图像同 时投影到特征空间，都要求高低分辨率图像事先已经配对，即已经知道高低分辨率图像的 一一对应关系。然而在现实情况下，这种一一对应关系需要人工标明，完成这项工作既耗费 人力又耗费时间。由于上述算法都是基于这个前提条件，假若该条件不成立，那么这些算法 将无法工作。
【发明内容】
[0008] 本发明所要解决的技术问题是针对【背景技术】中所涉及到的缺陷，提供一种基于对 应关系预测的低分辨率人脸图像识别方法，以解决高低分辨率图像一一对应的问题。
[0009] 本发明为解决上述技术问题采用以下技术方案：
[0010] 基于对应关系预测的低分辨率人脸图像识别方法，包含以下步骤：
[0011] 步骤1)，确定训练样本中高分辨率训练样本和低分辨率训练样本的对应关系；
[0012] 步骤2)，根据具有对应关系的高分辨率训练样本和低分辨率训练样本建立统一的 特征空间，分别求出高、低分辨率图像空间到特征空间的投影矩阵Ph和a;
[0013]步骤3)，将用来进行比对的高分辨率训练图像通过投影矩阵PH投影到特征空间；
[0014] 步骤4)，当需要识别低分辨率图像时，将其通过投影矩阵孔投影到特征空间，根据 其在特征空间落入的类别区域，输出该低分辨率图像的类别。
[0015] 作为本发明基于对应关系预测的低分辨率人脸图像识别方法进一步的优化方案， 所述步骤1)的详细步骤如下：
[0016]
为η幅高分辨率人脸训练样本和低分 辨率人脸训练样本，其中，e 表示第i (KiSn)幅高分辨率人脸训练样本对应的dH维 训练样本向量，Arfi表示第j(l<j<n)幅低分辨率人脸训练样本对应的4维训练样本向 量，且有dH>dL，I (Xi) e {1，2，. . .，C}为训练样本Xi所属的类别标签；
[0017] 步骤1.1)，根据以下公式分别计算高、低分辨率训练样本的结构矩阵AflGRnxe和， e Rnxc：
[0018]
[0019]
[0020] 其中，I I · I |2代表向量2-范数；
[0021] 步骤1.2)，根据以下公式对结构矩阵Ah和A1进行归一化处理，得到新的结构矩阵Bh e RnXC7fPBL e Rnxc ：
[0022]
[0023]
[0024] 步骤1.3)，根据以下公式计算高分辨率训练样本与低分辨率训练样本之间的相似 度矩阵Me Rnxn:
[0025]
[0026] 其中，BL(i，：）表示矩阵妒的第i行，BH(j，：）表示矩阵B h的第j行，t代表高斯函数的 宽度参数。
[0027] 作为本发明基于对应关系预测的低分辨率人脸图像识别方法进一步的优化方案， 所述步骤2)的详细步骤如下：
[0028] 步骤2.1)，利用高分辨率训练样本，根据以下公式计算相似性矩阵WeRnxn:
[0029]
[0030] 其中，)表示训练样本rf的同类局部近邻样本集，nw表示Λ「,, (xf)中的训练样 本个数，A(xf)表示训练样本#的异类局部近邻样本集，nb表示MOf)中的训练样本个 数，m为表征训练样本集类内和类间关系的参数；
[0031] 步骤2.2)，根据相似性矩阵W构造对角矩阵Dw、高分辨率训练样本对应的对角矩阵 和低分辨率训练样本对应的对角矩阵:
[0032]
[0033]
[0034]
[0035]
[0036] 其中，1^表示矩阵M的转置；
[0037]步骤2.4)，解式以下广义特征方程：
[0038] ZUZtP = AZVZtP
[0039] 步骤2.5)，将广义特征方程的前d个最大特征值对应的特征向量排成矩阵P= (P1， P2, ...，Pd)，并用矩阵P的前dL行构成低分辨率图像空间到特征空间的投影矩阵PL、用矩阵P 的后d H行构成高分辨率图像空间到特征空间的投影矩阵Ph。
[0040] 作为本发明基于对应关系预测的低分辨率人脸图像识别方法进一步的优化方案， 所述步骤3)的详细步骤如下：
[0041] 对于用来进行比对的高分辨率训练图像xf e X'，根据根据以下公式利用投影矩 阵Ph计算其在特征空间对应的特征向I
[0042]
[0043] 作为本发明基于对应关系预测的低分辨率人脸图像识别方法进一步的优化方案， 所述步骤4)的详细步骤如下：
[0044] 步骤4.1)，对于待识别的低分辨率图像$，根据以下公式计算的特征向量f e i?":: C = (P1)1^.
[0045] 步骤4.2)，在特征空间中计算f到i,"(1 < ./< ")距离，获取其中的最小距离对应的 高分辨率训练图像，并将该高分辨率训练图像所属的类别作为该待识别的低分辨率图像的 类别输出。
[0046] 本发明采用以上技术方案与现有技术相比，具有以下技术效果：
[0047] 1.在没有高低分辨率图像对应关系的条件下，通过比对高低分辨率图像空间中的 图像样本分布结构得到它们的对应关系，减少了人力，节省时间。
[0048] 2.采用将高低分辨率图像同时投影的方法，建立一致的特征空间。
[0049] 3.在投影时利用两个约束条件限制特征空间类内聚拢、类间分散的结果。
[0050] 与传统的CLPM、CDMMA等方法相比，本发明最大的亮点在于不依赖于高低分辨率图 像的对应关系条件，通过比对图像的分布结构学习得到这个对应关系。在特征提取算法上， 将高低分辨率图像同时投影到特征空间，有效的减少了人力，获得了更高更稳定的识别效 果。
【附图说明】
[0051] 图1是本发明训练及测试的工作流程图。
【具体实施方式】
[0052] 下面结合附图对本发明的技术方案做进一步的详细说明：
[0053] 本发明公开了一种无对应关系条件下的低分辨率人脸识别算法(NCRC):首先是 高、低分辨率图像一一对应关系的确定。基于高、低分辨率图像进行训练，一幅图像在高分 辨率空间中与其他图像的分布关系与在低分辨率空间中的分布关系是相似的，此种分布关 系由相似度向量进行刻画。通过比对高、低分率图像的相似度向量来辨别它们是否具有对 应关系。其次，根据已经求得的一一对应关系和类别信息计算一对高、低分辨率投影矩阵， 据此将高、低分辨率图像投影到一个统一的特征空间来实现类内聚拢和类间分散，然后在 该特征空间中通过最近邻分类器进行人脸图像识别。
[0054] 本发明所述的无对应关系条件下的低分辨率人脸识别算法，包括以下步骤：
[0055] ( - )确定一一对应关系：
[0056] 令=丨和丨}为1!幅高分辨率人脸训练图像和低分 辨率人脸训练图像，其中，xfei?4表示第i(l$i彡η)幅高分辨率人脸训练图像对应的d H维 训练样本向量，表示第j(l<j<n)幅低分辨率人脸训练图像对应的4维训练样本向 量，且有dH>dL。令I(Xi) e {1，2, . . .，C}表示样本Xi所属的类别标签。
[0057]为了得到高低分辨率图像的一一对应关系，我们假设低分辨率图像空间中的样本 分布与高分辨率图像空间的样本分布具有一致性。对于高分辨率图像和低分辨率图像 <是否具有一一对应关系，根据假设条件，需要比较这两幅图像在各自空间内的分布。 [0058] (1).求特征矩阵：
[0059] 为了便于比较，这里用一个C维的结构向量来表示一幅图像在空间中的分布，该向 量的第k个元素为该幅图像与第k类中所有样本的距离平方和。具体地，高分辨率图像#对 应的结构向量A H(i，k)和低分辨率图像<对应的结构向量妙(j，k)定义为
[0060]
[0061]
[0062] 其中，l(x)代表样本X的标签。
[0063]对于高、低分辨率训练图像样本，根据(1)式可计算得到nXC的特征矩阵Ah和AhM 高、低分辨率空间中的图像样本分布进行刻画。然而，矩阵Vh和I中元素的数值尺度通常是 不一致的，所以需要对这两个矩阵的元素进行归一化处理，得到新的结构矩阵B flGRnxe和
e RnXC -
[0064]
[0065]
[0066] 所得到新的结构矩阵处于同一数量级，具有可比性。
[0067] (2).求相似矩阵：
[0068] 为了得到高、低分辨率图像的对应关系，需要计算高分辨率图像的结构向量与低 分辨率图像的结构向量之间的相似度，由此得到高、低分辨率图像的相似度矩阵M:
[0069]
[0070] 其中，表示矩阵妒的第i行，BH(j，：）表示矩阵Bh的第j行，t代表高斯函数的 宽度参数。在所得到的相似度M中，如果两幅图像不同类，那么他们不可能具有一一对应关 系，因此对应的相似度值M(i，j)为0;如果两幅图像属于同一类，则M(i，j)表示它们相似的 程度。M( i，j)的值越大，表明这两幅图像存在--对应关系的可能性越大。
[0071] (二)建立一致的特征空间
[0072] 为有利于分类，我们分别将高、低分辨率图像通过投影矩阵Ph和Pl投影到同一个特 征空间。在该特征空间中，同类样本应该尽可能聚拢，而异类样本应该尽可能分散。根据相 似度矩阵M的定义可知，如果两幅图像具有一一对应关系，则它们投影到特征空间后应尽可 能聚拢，因此，我们定义如下函数：
[0073]
(4)
[0074] M( i，j)数值越大，表示这公和xf越有可能具有一一对应关系。那么，它们在特征空 间的距离应该越小。因此，最优的投影矩阵应该使得函数Js(Ph，Pl)取得最小值。
[0075] 同时，为了利用训练样本的类别信息，我们定义如下函数：
[0076]
[0077]
[0078]
[0079]其中，m为参数，nw为局部邻域Nw包含的样本个数，nb为局部邻域Nb包含的样本个 数，。从(6)式可知，矩阵W刻画了图像之间的三种关系：
[0080] ①高分辨率图像属于同一类且互为近邻，则对应的低分辨率图像投影到特 征空间的距离应该很小，此时我们取W( i，
[0081] ②高分辨率图像xf和 < 属于不同的类，但xf和if互为近邻，那么其对应的低分 辨率图像经投影到特征空间后，距离应该很大，此时我们取W(i
[0082] ③高分辨率图像<和不具有近邻关系，则W( i，j)取为0，表明在JC(PH，Pl)中这 样的样本对于投影矩阵不产生影响。
[0083](三)算法模型及求解
[0084] 上述两种约束都可以求得投影矩阵Ph和Pl，假如把这两种约束结合在一起，对投影 矩阵有了更强的约束。分别将高低分辨率图像投影到特空间，利用它们的对应关系及类别 信息限制投影矩阵，使得在特征空间达到理想的距离，从而求出投影矩阵Ph和Pl，目标函数 如下：
[0085] (7)
[0086]同一类的高低分辨率图像投影到特征空间后聚拢，且相似度越高，距离越近，不同 类的高低分辨率图像投影到特征空间后分散，为了达到这个目标，我们的算法模型为：
[0087] max J(Ph1Pl) (8)
[0088] 经化简，公式(8)可化简为： ，
寸
[0091 ]根据拉格朗日数乘法，可构造拉格朗日函数为：
[0092] L = tr (PtZUZtP)-Atr (PtZVZtP) (10)
[0093] 对L关于P求导并令为0得：
[0094] ZUZtP = AZVZtP (11)
[0095] 对式（11)进行特征分解，求前d个最大特征值所对应的特征向量，组成投影矩阵P， 分解得到Pl和Ph。
[0096](四）高分辨率训练图像特征提取
[0097] 将高分辨率训练图像
丨通过公式（12)投影矩阵Ph投影到特征空 间，获得高分辨率训练图像的d维特征
[0098] Q = P^Xh (12)
[0099] (五)识别
[0100] 令i为待识别的低分辨率图像，为了预测i所属的类别，先将;BI过投影矩阵Pl投影 到特征空间，得到其对应的d维特征：
[0101] C=^x (13)
[0102] 然后在特征空间中分别计算f与Ω中样本的距离，令距f最近的高分辨率样本特 征为0，则判定，属于与相同的类别，即/⑶=/?)。
[0103] 将本发明所述的无对应关系条件下的低分辨率人脸识别算法在扩展Yale-B数据 库和CMU PIE数据库上进行实验，并将实验结果与相关的低分辨率人脸识别算法进行对比 分析。
[0104] 扩展Yale-B数据库包含38个人的2432幅正面图像，每个人有64幅左右在不同光照 下的接近正面的图像。每个原始图像的面部被裁剪为192X 168的图像。如表1所示，在我们 的实验中，将高分辨率图像的像素取为32 X 28,低分辨率图像取像素为10 X 10,每人随机取 一半的图像做为训练集，剩下一半做测试集，进行20次随机实验，得到平均识别率如表1: [0105]表1扩展Yale-B数据库上各种算法的识别率
[0107] CMU PIE数据库包括68个人的41368幅图像，每个人的图像有13种不同的姿势、43 种不同的光照情况和4种不同的表情。在我们的实验中，高分辨率图像的像素取为32X32， 低分辨率图像取像素为15X15,每人随机取一半的图像做为训练集，剩下一半做测试集，进 行20次随机实验，得到平均识别率如表2:
[0108]表2扩展CMU PIE数据库上各种算法的识别率
[0110] 由表1、表2可见，在不同的人脸数据库上，相比于其他三种算法，我们的算法没有 提供给一一对应的已知条件，但识别效果并没有受多大的影响。可以看出，与早期的"两步 走"方法⑶AMM相比，目前发展的将高低分辨率图像同时进行投影的方法(包括CLPM^DMMA 等)在识别效果上要高出35 %左右，且算法的稳定性也大大提高了。本发明提出的NCRC不仅 在识别率上优于其他方法，而且稳定性更高。
[0111] 实验结果表明，本申请所述的无对应关系的低分辨率人脸识别算法优于其他低分 辨率算法，且最大的亮点是基于无对应关系，是更适合低分辨率图像识别的算法。
[0112] 本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技 术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还 应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中 的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。 [0113]以上所述的【具体实施方式】，对本发明的目的、技术方案和有益效果进行了进一步 详细说明，所应理解的是，以上所述仅为本发明的【具体实施方式】而已，并不用于限制本发 明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明 的保护范围之内。
【主权项】
1. 基于对应关系预测的低分辨率人脸图像识别方法，其特征在于，包含以下步骤： 步骤1 )，确定训练样本中高分辨率训练样本和低分辨率训练样本的对应关系； 步骤2)，根据具有对应关系的高分辨率训练样本和低分辨率训练样本建立统一的特征 空间，分别求出高、低分辨率图像空间到特征空间的投影矩阵Ph和a; 步骤3)，将用来进行比对的高分辨率训练图像通过投影矩阵PH投影到特征空间； 步骤4)，当需要识别低分辨率图像时，将其通过投影矩阵孔投影到特征空间，根据其在 特征空间落入的类别区域，输出该低分辨率图像的类别。2. 根据权利要求1所述的基于对应关系预测的低分辨率人脸图像识别方法，其特征在 于，所述步骤1)的详细步骤如下： 令_1<=丨4乂,...,.>^}和尤1 =丨;《\￡,.4,...,<}为11幅高分辨率人脸训练样本和低分辨率 人脸训练样本，其中，xf 表示第i(l<i<n)幅高分辨率人脸训练样本对应的d H维训练 样本向量，4 e 表示第j (K j<n)幅低分辨率人脸训练样本对应的dii隹训练样本向量， 且有dH>dL，l(Xi) e {1，2,. ·.，C}为训练样本Xi所属的类别标签； 步骤1.1)，根据以下公式分别计算高、低分辨率训练样本的结构矩阵AHeRnXe和A leRn XC.其中，11 · 112代表向量2-范数； 步骤1.2)，根据以下公式对结构矩阵AH和A1进行归一化处理，得到新的结构矩阵BHeR n xc^PBLeRnXC：步骤1.3)，根据以下公式计算高分辨率训练样本与低分辨率训练样本之间的相似度矩 阵MeRnXn:其中，表示矩阵的第i行，BH(j，：）表示矩阵BH的第j行，t代表高斯函数的宽度 参数。3. 根据权利要求2所述的基于对应关系预测的低分辨率人脸图像识别方法，其特征在 于，所述步骤2)的详细步骤如下： 步骤2.1)，利用高分辨率训练样本，根据以下公式计算相似性矩阵WeRnXn:其中，)表示训练样本xf的同类局部近邻样本集，nw表示)中的训练样本个 数，％(<)表示训练样本<的异类局部近邻样本集，nb表示乂?)中的训练样本个数，m为 表征训练样本集类内和类间关系的参数； 步骤2.2)，根据相似性矩阵W构造对角矩阵Dw、高分辨率训练样本对应的对角矩阵1^和 低分辨率训练样本对应的对角矩阵Df :其中，17表示矩阵Μ的转置； 步骤2.4 )，解式以下广义特征方程： ZUZTp = AZVZTp 步骤2.5 )，将广义特征方程的前d个最大特征值对应的特征向量排成矩阵P =( p i， p2,...，Pd)，并用矩阵P的前dL行构成低分辨率图像空间到特征空间的投影矩阵P L、用矩阵P 的后dH行构成高分辨率图像空间到特征空间的投影矩阵Ph。4. 根据权利要求3所述的基于对应关系预测的低分辨率人脸图像识别方法，其特征在 于，所述步骤3)的详细步骤如下： 对于用来进行比对的高分辨率训练图像，根据根据以下公式利用投影矩阵PH 计算其在特征空间对应的特征向量^ : = (PH fxf, V 1 < z < η 〇5. 根据权利要求4所述的基于对应关系预测的低分辨率人脸图像识别方法，其特征在 于，所述步骤4)的详细步骤如下： 步骤4.1)，对于待识别的低分辨率图像夂根据以下公式计算$的特征向量fei?% C = (P,yx· 步骤4.2)，在特征空间中计算f到if 距离，获取其中的最小距离对应的高分 辨率训练图像，并将该高分辨率训练图像所属的类别作为该待识别的低分辨率图像的类别 输出。
【文档编号】G06K9/00GK106056067SQ201610364643
【公开日】2016年10月26日
【申请日】2016年5月27日
【发明人】吴松松, 王娟娟, 石卉, 荆晓远, 岳东
【申请人】南京邮电大学