一种基于低秩矩阵与特征脸的人脸识别方法
【专利摘要】一种基于低秩矩阵与特征脸的人脸识别方法，该方法涉及数字图像处理、模式识别、计算机视觉、生理学等技术领域，用于解决多种场景下基于静态图像或视频图像的人脸识别问题。基于低秩矩阵思想,将低秩矩阵应用于人脸图片的预处理中,通过对训练图片的低秩处理来削弱光照、表情等变化的影响,从而提高算法的鲁棒性和识别的准确率。该技术方案的要点包括以下步骤：首先采集人脸样本图片并建立样本库。其次是训练阶段：通过计算样本均值、特征值、特征向量等操作构建特征向量空间；投影特征向量得到特征脸。最后是测试阶段：对测试样本其进行PCA投影得到特征向量；计算该特征向量与特征脸的距离；取其中距离最小的作为识别结果；输出识别结果。
【专利说明】
一种基于低秩矩阵与特征脸的人脸识别方法
技术领域
[0001] 本发明是一种基于低秩矩阵与特征脸的人脸识别方法，该方法涉及数字图像处 理、模式识别、计算机视觉、生理学等技术领域。
【背景技术】
[0002] 人脸识别作为现代生物特征识别技术在生活中的一项重要应用，能够利用人脸图 片的视觉特征进行身份识别，具有广阔的应用前景。与传统的身份识别方法相比，人脸信息 很难被他人模仿或者伪造且随身携带，其较强的安全性、保密性、易操作性使人脸识别广泛 应用于实际生活中。基于低秩矩阵思想，将低秩矩阵应用于人脸图片的预处理中，通过对训 练图片的低秩处理来削弱光照、表情等变化的影响，从而提高算法的鲁棒性和识别的准确 率。此外，人脸识别方法的研究涉及到机器学习、模式识别、数据挖掘等学科领域，作为交叉 学科在生活中的一个实际应用，具有重要的理论研究意义。
[0003] 早期，研究人员把重点放在了直观的面部几何特征上面。例如，Bledsoe等 (ff.ff.Bledsoe.Man-machine facial recognition.Technical Report PRI:22，Panoramic Research Inc.Palo Alto，CA，1966(22) :245-249)计算人脸面部各个特征点的空间间距以 及比率，并以这些值作为描述人脸的特征，在此基础上进行特征分类，最终判别人脸所属的 身份信息 。Kanade等[(Kanade T . Computer recognition of human face[M] ：Basel& Stuttgart Birkhauser Verlag，1977:20-56)通过计算面部器官如眼角、鼻孔、下巴等相互 之间的空间距离以及对应的倾斜方向等几何位置关系进行人脸识别工作，用20个人的800 多幅图片进行实验，实验结果并不是很理想。Samaria等（Samaria F，Young S.HMM based architecture for face identification[J]. Image and Computer Vision，1994,12(8): 537-543)在人脸图片上通过矩形框的有序滑动来获取人脸面部特征即像素点的灰度值，这 些灰度值被排列成向量形式，通过建立人脸的隐式马尔科夫模型进行人脸识别工作。由于 人脸几何特征因个人差异较大，识别效果不佳。
[0004] 最近，Candes等人（Candes E.J，Li X.D，Ma Y，Wright J.Robust Principal Component Analysis[J] .J.ACM.58)将低秩矩阵(Robust PCA)算法成功应用到图像背景切 割。Liu等（Liu GC，Lin Z.C.,Yan S.C.,Sun J.，Yu Y.Robust recovery of subspace structures by low-rank representation!!J] · IEEE Trans.PAMLpp. 171_184,2013)拓展 了RobustPCA算法，提出了LRR算法并成功使用在子空间分割中，获得了良好的效果。
[0005] 基于低秩矩阵的方法是近些年比较流行的人脸识别方法之一。该方法将测试样本 线性表示成特征向量的权值系数，根据该系数判断测试样本类别信息能够获得较高的识别 率，并且具有较强的鲁棒性。低秩矩阵理论表明，任意一幅图片可以用过完备向量空间进行 低秩重构。理想状态下，异类样本重构表示系数为零，而同类样本为非零值，可由此判断样 本类别。为了提高算法的性能，增强向量空间的表达能力，提高人脸识别的准确度，低秩矩 阵已成为人脸识别领域关注的重点。
【发明内容】
[0006] 本发明在低秩矩阵理论的基础上，提出了一种基于低秩矩阵与特征脸的人脸识别 方法。基于低秩矩阵原理，提取原始图片的低秩图片，通过低秩矩阵消弱光照、表情变化甚 至阻挡块以及随机噪声等的不利影响，使所提取的特征更加真实，从而提高算法的鲁棒性 和识别的准确率。
[0007] 为实现上述目的，本发明采用的技术方案为一种基于低秩矩阵与特征脸的人脸识 别方法，该方法的实现过程如下，
[0008] S1图片预处理
[0009] 图片预处理是人脸识别流程中重要的一个环节，其主要目的是削弱甚至消除人脸 图片中对识别无关的信息，滤除噪声干扰，增强有用信息的比重，便于后期提取更加有效的 特征用于分类。本方法采用的图片预处理的方法主要包括：
[0010] (1)直方图均衡化:将已知图片经过某种变换，使其灰度概率密度呈均勾分布，以 此削弱光照不均匀变化的影响，从而增强图像整体对比度。直方图均衡化分三步：
[0011] a)统计原图像的直方图；
[0012] b)由原始图片的灰度直方图根据积分累计函数做变换生成新灰度直方图；
[0013] Sk = T(rk) = EPr(r)
[0014] 其中，Sk表示变换后的图像灰度;r表示原始图像灰度;k表示灰度级编号;T(rk)表 示变换函数;P r(r)表示图像灰度级的概率密度函数。
[0015] c)用新灰度直方图代替原直方图，此时可使图片中各个像素值出现的概率相近。
[0016] (2)灰度拉伸:灰度拉伸是最基本的灰度变换方法之一，通过采用分段线性函数对 原始图像灰度值的任一范围进行转换，使其变化到指定的区间，从而可以增大图像在某一 区间的对比度。灰度拉伸分两步完成：
[0017] a)在原始图像上计算直方图，根据原始图像的直方图分布情况来确定灰度拉伸的 拐点。
[0018] b)使用确定的分段线性函数将原像素灰度值映射成指定数值，以此代替原像素 值。
[0019] 通过该方法可以对人脸图片的像素值的指定范围进行映射，从而增强灰度值局部 对比度。
[0020] (3)图像归一化:人脸图像归一化包含两个方面：
[0021] a)将人脸图片进行缩放或者旋转使其成为大小一致、人脸特征点位置大致相同的 一批图片，这一步骤称为人脸图片的几何归一化。这是由于人脸图片在采集的过程中，物理 位置的差异造成的人脸拍摄距离不同或者人脸的拍摄角度差异。
[0022] b)消除在人脸图片采集过程中由于光照变化带来的图片像素值差异较大的影响。 对这一类差异我们可进行图像的灰度值归一化操作，以此削弱因光照或者拍摄角度不同引 起的灰度值的差异。通过对图像进行归一化操作在很大程度上改善人脸识别系统的性能， 提高识别算法识别率，因此具有很重要的意义。
[0023] S2构建特征向量空间
[0024] (1)从训练样本库中选择Μ幅人脸图片作为训练样本集，读取样本图片构建样本矩 阵{ Γ?|? = 1，···，Μ}。
[0025] (2)计算样本均值Ψ
[0027] (3)计算样本差值
[0028] Φ?= Γ ?-Ψ,? = 1,···,Μ
[0029] (4)计算散布矩阵C
[0031] 其中，Α={Φι，···，Φμ}
[0032] (5)计算特征值和特征向量
[0033]考虑矩阵L = ATAMXM，令该矩阵的特征向量矩阵为ν，μ为对应的特征值矩阵，则有 ATAVi=yiVi，其中Vi为L的第i个特征向量，yi为对应的特征值。
[0034] 从而由 AAT (A Vi) = yi (AVi)导出 C (AVi) = yi (AVi)，令Ui=AVi，所以有CUi=yiUi，那么 Ui就是c的一个特征向量。
[0035] 把C的特征向量矩阵记为U，则U=AV。
[0036] 根据该理论，先计算出特征值矩阵μ，然后对μ进行降序排列，选取最大的p个特征 值(μ:，…，μΡ)，并计算其对应的特征向量(山，…，U P)。
[0037] (6)投影矩阵得到特征脸
[0038] 将特征向量(山，…，UP)投影到矩阵中，得到特征脸F。这样，每一幅人脸图片都可以 投影到特征脸空间中去。因此，每一幅人脸图像对应于子空间中的一点，同样子空间当中的 任意一点也对应于一幅图像。
[0039] S3人脸识别与标记
[0040] (1)构建了特征脸空间F，任何一幅图像都可以表示为特征脸的一个线性组合：
[0042] 其中j为人脸图像的类别索引，Ω」为每个人的人脸图像「，投影到特征脸空间得到 的Μ维投影向量：
[0043] Ω j = UT?j = UT( Γ?-Ψ)
[0044] (2)对于一待识别人脸图像Γ，将其投影到特征脸空间得到投影向量Ω，并求出Ω 到每一类的距离的最小值eJ:
[0045] ε」=η?η( || Ω - Ω j||)
[0046] 其中，Ω=υτ0--Ψ)
[0047] (3)为了能区分人脸图像和非人脸图像，现将待识别的图像Γ和它的重构图像 之间距离ε m计算如下：
[0048] εΜ=|| Γ-Γ?||
[0049] 其中，Γ? = υΩ+Ψ
[0050] (4)定义距离人脸空间的最大允许值为D，可以通过任意两类人脸之间的最大距离 来确定：
[0052]这样输入图像Γ就可以按照以下规则进行分类：
[0053]若em>D，则输入的图像为非人脸图像；
[0054]若ε j〈D，OD，则输入的图像为未知的人脸图像；
[0055] 若￡^)，￡"0，则输入的图像为第」类人脸图像。
[0056] (5)识别出人脸图片类别之后，根据索引从对应的类标记文件中读取标记文本进 行输出说明。
[0057]和当前比较流行的人脸识别算法比较，本发明的主要特点在于：
[0058] 1)低秩转换被用来减轻训练样本中不利因素带来的影响，从而使提取的特征更加 具有区分性，以便后期的分类更加准确。
[0059] 2)在低秩图片上计算特征向量，增强了特征的表达能力，从而能够很好的表征人 脸图片。
[0060] 3)从每类表征人脸的特征值中选取较大的特征值，并计算对应的特征向量，用特 征向量投影矩阵构建特征脸，从而减少了每类人脸的原子数目。特征脸能够很好的表达人 脸数据空间，属于该空间的人脸图片能够用这些特征脸向量线性地表示。特征脸能够在保 证表达效果的同时，很大程度上降低算法的时间复杂度，提高实用性。
[0061] 4)相比其他经典的人脸识别方法方便，该方法对块阻挡、光照变化等稍大的稀疏 误差有很好的鲁棒性。
【附图说明】
[0062]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施 例，并与说明书一起用于解释本发明的原理。
[0063] 图1是根据一示例性实施例示出的一种人脸识别方法的流程示意图；
[0064] 图2是根据一示例性实施例示出的一组原始的训练样本图片集；
[0065]图3是根据一示例性实施例示出的一组经过预处理之后的样本图片集；
[0066] 图4是根据一示例性实施例示出的一组根据特征向量投影矩阵得到的特征脸图 片；
[0067] 图5是根据一示例性实施例示出的一组人脸识别结果示意图；
【具体实施方式】
[0068] 这里将详细地对示例性实施例进行说明，其示例表示在附图中。
[0069] 下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似 的要素。
[0070] 以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方 式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的方法的例 子。
[0071] 在本发明中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发 明。
[0072] 在本发明和所附权利要求书中所使用的单数形式的"一种"、"所述"和"该"也旨在 包括多数形式，除非上下文清楚地表示其他含义。
[0073] 在本发明中使用的术语"和"、"或"是指包含一个或多个相关联的列出项目的任何 或所有可能的组合。
[0074] 在本发明可能采用术语"第一"、"第二"、"第三"等来描述各种信息，但这些信息不 仅限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范 围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。 取决于语境，如在此所使用的词语"如果"可以被解释成为"在......时"或"当......时"或 "响应于......"。
[0075] 以下结合附图，对本发明的具体实施例作进一步详细说明：
[0076] -种基于低秩矩阵与特征脸的人脸识别方法，该方法的实现过程如下，
[0077] S1图片预处理
[0078]图片预处理是人脸识别流程中重要的一个环节，其主要目的是削弱甚至消除人脸 图片中对识别无关的信息，滤除噪声干扰，增强有用信息的比重，便于后期提取更加有效的 特征用于分类。本发明采用的图片预处理的方法主要包括：
[0079] (1)直方图均衡化:该方法将已知图片经过某种变换，使其灰度概率密度呈均勾分 布，以此削弱光照不均匀变化的影响，从而增强图像整体对比度。直方图均衡化分三步：
[0080] a)统计原图像的直方图；
[0081] b)由原始图片的灰度直方图根据积分累计函数做变换生成新灰度直方图；
[0082] Sk = T(rk) = EPr(r)
[0083] c)用新灰度直方图代替原直方图，此时可使图片中各个像素值出现的概率相近。
[0084] (2)灰度拉伸:灰度拉伸是最基本的灰度变换方法之一，通过采用分段线性函数对 原始图像灰度值的任一范围进行转换，使其变化到指定的区间，从而可以增大图像在某一 区间的对比度。灰度拉伸分两步完成：
[0085] a)在原始图像上计算直方图，根据原始图像的直方图分布情况来确定灰度拉伸的 拐点。
[0086] b)使用确定的分段线性函数将原像素灰度值映射成指定数值，以此代替原像素 值。
[0087] 通过该方法可以对人脸图片的像素值的指定范围进行映射，从而增强灰度值局部 对比度。
[0088] (3)图像归一化:人脸图像归一化包含两个方面：
[0089] a)将人脸图片进行缩放或者旋转等使其成为大小一致、人脸特征点位置大致相同 的一批图片，这一步骤称为人脸图片的几何归一化。这是由于人脸图片在采集的过程中，一 些物理位置的差异造成的如人脸拍摄距离不同或者人脸的拍摄角度差异等。
[0090] b)消除在人脸图片采集过程中由于光照变化等带来的图片像素值差异较大的影 响。对这一类差异我们可进行图像的灰度值归一化操作，以此削弱因光照或者拍摄角度不 同引起的灰度值的差异。通过对图像进行归一化可以在很大程度上改善人脸识别系统的性 能，提高识别算法识别率，因此具有很重要的意义。
[0091] S2构建特征向量空间
[0092] (1)从训练样本库中选择Μ幅人脸图片作为训练样本集，读取样本图片构建样本矩 阵{ Γ?|? = 1，···，Μ}。
[0093] (2)计算样本均值
[0099] 其中，Α={Φι，···，Φμ}
[0100] (5)计算特征值和特征向量
[0101] 考虑矩阵L = ATAmxm，令该矩阵的特征向量矩阵为ν，μ为对应的特征值矩阵，则有 ATAVi=yiVi，其中Vi为L的第i个特征向量，yi为对应的特征值。
[0102] 从而由 AAT(AVi)=yi(AVi)可导出 C(AVi)=yi(AVi)，令 Ui=AVi，所以有 CUi=yiUi，那 么Ui就是C的一个特征向量。
[0103] 把C的特征向量矩阵记为U，则U=AV。
[0104] 根据该理论，先计算出特征值矩阵μ，然后对μ进行降序排列，选取最大的p个特征 值(μ:，…，μΡ)，并计算其对应的特征向量(山，…，U P)。
[0105] (6)投影矩阵得到特征脸
[0106] 将特征向量(山，…，UP)投影到矩阵中，得到特征脸F。这样，每一幅人脸图片都可以 投影到特征脸空间中去。因此，每一幅人脸图像对应于子空间中的一点，同样子空间当中的 任意一点也对应于一幅图像。
[0107] S3人脸识别与标记
[0108] (1)构建了特征脸空间F，任何一幅图像都可以表示为特征脸的一个线性组合：
[0110] 其中j为人脸图像的类别索引，Ω」为每个人的人脸图像「，投影到特征脸空间得到 的Μ维投影向量：
[0111] Ω j = UT?j = UT( Γ?-Ψ)
[0112] (2)对于一待识别人脸图像Γ，将其投影到特征脸空间得到投影向量Ω，并求出Ω 到每一类的距离的最小值eJ:
[0113] ε」=η?η( || Ω - Ω j||)
[0114] 其中，Ω=υτ0--Ψ)
[0115] (3)为了能区分人脸图像和非人脸图像，现将待识别的图像Γ和它的重构图像 之间距离ε m计算如下：
[0116] εΜ=|| Γ-Γ?||
[0117] 其中，Γ? = υΩ+Ψ
[0118] (4)定义距离人脸空间的最大允许值为D，可以通过任意两类人脸之间的最大距离 来确定：
[0120]这样输入图像Γ就可以按照以下规则进行分类：
[0121 ]若，则输入的图像为非人脸图像；
[0122] 若ε j〈D，OD，则输入的图像为未知的人脸图像；
[0123] 若4〈0，^〈0，则输入的图像为第」类人脸图像。
[0124] (5)识别出人脸图片类别之后，根据索引从对应的类标记文件中读取标记文本进 行输出说明。
【主权项】
1. 一种基于低秩矩阵与特征脸的人脸识别方法，其特征在于:该方法的实现过程如下， S1图片预处理 图片预处理是人脸识别流程中重要的一个环节，其主要目的是削弱甚至消除人脸图片 中对识别无关的信息，滤除噪声干扰，增强有用信息的比重，便于后期提取更加有效的特征 用于分类;本方法采用的图片预处理的方法主要包括： (1) 直方图均衡化:将已知图片经过某种变换，使其灰度概率密度呈均勾分布，W此削 弱光照不均匀变化的影响，从而增强图像整体对比度;直方图均衡化分Ξ步： a) 统计原图像的直方图； b) 由原始图片的灰度直方图根据积分累计函数做变换生成新灰度直方图； Sk = T(rk)= EPr(r) 其中，Sk表示变换后的图像灰度;r表示原始图像灰度;k表示灰度级编号;T(rk)表示变 换函数;Pr (r)表示图像灰度级的概率密度函数； C)用新灰度直方图代替原直方图，此时可使图片中各个像素值出现的概率相近； (2) 灰度拉伸:灰度拉伸是最基本的灰度变换方法之一，通过采用分段线性函数对原始 图像灰度值的任一范围进行转换，使其变化到指定的区间，从而可W增大图像在某一区间 的对比度;灰度拉伸分两步完成： a) 在原始图像上计算直方图，根据原始图像的直方图分布情况来确定灰度拉伸的拐 点' ； b) 使用确定的分段线性函数将原像素灰度值映射成指定数值，W此代替原像素值； 通过该方法可W对人脸图片的像素值的指定范围进行映射，从而增强灰度值局部对比 度； (3) 图像归一化:人脸图像归一化包含两个方面： a) 将人脸图片进行缩放或者旋转使其成为大小一致、人脸特征点位置大致相同的一批 图片，运一步骤称为人脸图片的几何归一化;运是由于人脸图片在采集的过程中，物理位置 的差异造成的人脸拍摄距离不同或者人脸的拍摄角度差异； b) 消除在人脸图片采集过程中由于光照变化带来的图片像素值差异较大的影响;对运 一类差异我们可进行图像的灰度值归一化操作，W此削弱因光照或者拍摄角度不同引起的 灰度值的差异;通过对图像进行归一化操作在很大程度上改善人脸识别系统的性能，提高 识别算法识别率，因此具有很重要的意义； S2构建特征向量空间 (1) 从训练样本库中选择Μ幅人脸图片作为训练样本集，读取样本图片构建样本矩阵 (2) 计算样本均值Ψ(3) 计算样本差值Φι 巫i= Γ 广W，i = l，...，M (4) 计算散布矩阵C其中，A= {巫1,,巫μ} (5) 计算特征值和特征向量 考虑矩阵L = ATAmxm，令该矩阵的特征向量矩阵为ν，μ为对应的特征值矩阵，则有ATAVi = WiVi，其中Vi为L的第i个特征向量，μ功对应的特征值； 从而由ΑΑΤ(Αν〇=??(Αν〇导出"Αν〇=??(Αν〇,令Ui=AVi，所W有(:化二化化，那么Ui就 是C的一个特征向量； 把C的特征向量矩阵记为U，则U=AV; 根据该理论，先计算出特征值矩阵μ，然后对μ进行降序排列，选取最大的P个特征值 (μι，···，μρ)，并计算其对应的特征向量化1，···，Up); (6) 投影矩阵得到特征脸 将特征向量(Ui，一，Up)投影到矩阵中，得到特征脸F;运样，每一幅人脸图片都可W投影 到特征脸空间中去；因此，每一幅人脸图像对应于子空间中的一点，同样子空间当中的任意 一点也对应于一幅图像； S3人脸识别与标记 (1) 构建了特征脸空间F，任何一幅图像都可W表示为特征脸的一个线性组合：其中j为人脸图像的类别索引，Ω J为每个人的人脸图像Γ 1投影到特征脸空间得到的Μ 维投影向量： Qj = ljT巫j = ljT( Ti-Ψ) (2) 对于一待识别人脸图像Γ，将其投影到特征脸空间得到投影向量Ω，并求出Ω到每 一类的距离的最小值Ej: Ej=min( I I Ω - Ω j I I) 其中，Ω=υΤ0--Ψ) (3) 为了能区分人脸图像和非人脸图像，现将待识别的图像Γ和它的重构图像Tf之间 距离Em计算如下： 厂一厂f 其中，Γ? = υΩ+Ψ (4) 定义距离人脸空间的最大允许值为D，可W通过任意两类人脸之间的最大距离来确 定：运样输入图像Γ就可W按照W下规则进行分类： 若em>D，则输入的图像为非人脸图像； 若6^<0,6。〉0，则输入的图像为未知的人脸图像； 若ej<D，em<D，则输入的图像为第j类人脸图像； (5)识别出人脸图片类别之后，根据索引从对应的类标记文件中读取标记文本进行输 出说明。
【文档编号】G06K9/00GK106096517SQ201610383586
【公开日】2016年11月9日
【申请日】2016年6月1日 公开号201610383586.3, CN 106096517 A, CN 106096517A, CN 201610383586, CN-A-106096517, CN106096517 A, CN106096517A, CN201610383586, CN201610383586.3
【发明人】袁家政, 赵新超
【申请人】北京联合大学