人脸识别方法、装置及终端设备的制作方法
【专利摘要】本发明实施例公开了一种人脸识别方法、装置及终端设备，所述人脸识别方法首先获取待识别的人脸图像中的各个关键器官的局部模块图像，然后对所述局部模块图像进行光照归一化处理，以及采样和编码后，得到第一特征向量；再根据预先对样本图像训练得到的投影方向，对第一特征向量进行特征空间降维转换，得到维数比第一特征向量小的第二特征向量，最后，对待识别的人脸图像的第二特征向量及人脸模板图像对应的特征向量进行距离度量，得到人脸识别结果。由于第二特征向量具有类内离散度最小且类间离散度最大的特点，即同一个人的特征向量的离散度最小，不同人的特征向量的离散度最大，因此，提高了人脸识别的识别率。
【专利说明】人脸识别方法、装置及终端设备
【技术领域】
[0001]本公开涉及人脸识别【技术领域】，特别是涉及一种人脸识别方法、装置及终端设备。【背景技术】
[0002]随着人脸识别技术和智能终端技术的发展，人脸识别技术被广泛应用到智能终端设备上，实现身份验证、屏幕解锁等多种功能。智能终端设备通过摄像装置实时采集人脸图像，并与预先存储的模板图像进行匹配，若匹配成功，则验证通过。
[0003]人脸识别技术通过采集人脸关键部位的特征(例如，眼睛、鼻子、嘴等器官点)，并提取关键部位的局部模块，然后提取对应的关键部位特征，最后度量采集到的图像的特征与模板图像的特征之间的距离，从而识别两个图像是否是同一个人，在提取对应的关键部位特征时，采用了无间断学习的方法，丢失了同一个人的类内信息，因此，此种人脸识别方式的识别率较低，尤其是采集到的人脸图像具有一定的姿态(例如，侧脸)时，进一步降低了识别率。
【发明内容】
[0004]本公开实施例中提供了一种人脸识别方法、装置及终端设备，以解决人脸识别的识别率低的问题。
[0005]为了解决上述技术问题，本公开实施例公开了如下技术方案:
[0006]第一方面，本公开提供一种人脸识别方法，包括:对获得的待识别人脸图像进行器官点定位；根据器官点定位的结果，区分各个器官，获取各个器官的第一局部模块图像；对各个器官的第一局部模块图像进行光照归一化处理，得到第二局部模块图像；对所述第二局部模块图像进行采样及编码，得到第一特征向量；根据预先对样本图像训练得到的投影方向，对所述第一特征向量进行特征空间降维转换得到第二特征向量，其中，所述投影方向满足投影后的特征具有最小的类内离散度及最大的类间离散度；且第二特征向量的维数小于所述第一特征向量的维数；对待识别人脸图像的第二特征向量及预先得到的人脸模板图像对应第二特征向量进行距离度量，根据度量结果得到人脸识别结果。
[0007]结合第一方面，在第一方面的第一种可能的实现方式中，对所述各个器官的局部模块进行光照归一化处理，得到第二局部模块图像，采用如下方式:利用差分高斯算法对第一局部模块图像进行预处理，得到高斯图像；对所述高斯图像进行图像直方图均衡处理，得到灰度值均匀的第二局部模块图像。
[0008]结合第一方面，在第一方面的第二种可能的实现方式中，对所述第二局部模块图像进行采样及编码，得到第一特征向量，采用如下方式:对所述第二局部模块图像的像素点进行均匀采样，得到采样点的灰度值构成的特征矩阵；对所述特征矩阵中的每行元素与预先训练得到的K-means层级树中的各个节点进行匹配，对匹配成功的节点进行编码，得到第一特征向量。
[0009]结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，预先训练得到K-means层级树的过程，采用如下方式:采集多个人脸图像作为样本图像；对每个所述样本图像中的像素点进行均匀采样，得到采样点的灰度值构成的特征矩阵；将所述特征矩阵中的每一行元素作为一个训练向量，进行K-means聚类算法训练，得到K-means层级树中各个节点对应的向量。
[0010]结合第一方面、第一方面的第一种可能的实现方式、第一方面的第二种可能的实现方式或第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，预先对样本图像进行训练得到投影方向，采用如下方式:获取样本图像对应的类间离散度矩阵和类内离散度矩阵；按照FiSher线性鉴别分析算法，根据所述类间离散度矩阵和所述类内离散度矩阵，得到投影方向，所述投影方向使投影后得到的特征向量具有最大的类间离散度和最小的类内离散度。
[0011]第二方面，本公开提供一种人脸识别装置，包括:器官定位单元，用于对获得的待识别人脸图像进行器官点定位；局部模块图像获取单元，用于根据器官点定位的结果，区分各个器官，获取各个器官的第一局部模块图像；光照归一化处理单元，用于对各个器官的第一局部模块图像进行光照归一化处理，得到第二局部模块图像；第一编码单元，用于对所述第二局部模块图像进行采样及编码，得到第一特征向量；空间转换单元，用于根据预先对样本图像训练得到的投影方向，对所述第一特征向量进行特征空间降维转换得到第二特征向量，其中，所述投影方向满足投影后的特征具有最小的类内离散度及最大的类间离散度；且第二特征向量的维数小于所述第一特征向量的维数；距离度量单元，用于对待识别人脸图像的第二特征向量及预先得到的人脸模板图像对应第二特征向量进行距离度量，根据度量结果得到人脸识别结果。
[0012]结合第二方面，在第二方面的第一种可能的实现方式中，所述光照归一化处理单元包括:高斯预处理子单元，用于利用差分高斯算法对第一局部模块图像进行预处理，得到高斯图像；直方图均衡处理子单元，用于对所述高斯图像进行图像直方图均衡处理，得到灰度值均匀的第二局部模块图像。
[0013]结合第二方面，在第二方面的第二种可能的实现方式中，所述第一编码单元包括:第一特征采样子单元，用于对所述第二局部模块图像的像素点进行均匀采样，得到采样点的灰度值构成的特征矩阵；编码子单元，用于对所述特征矩阵中的每行元素与预先训练得到的K-means层级树中的各个节点进行匹配，对匹配成功的节点进行编码，得到第一特征向量。
[0014]结合第二方面的第二种可能的实现方式，在第二方面的第三种可能的实现方式中，还包括:样本采集单元，用于采集多个人脸图像作为样本图像；第二特征采样单元，用于对每个所述样本图像中的像素点进行均匀采样，得到采样点的灰度值构成的特征矩阵；聚类算法训练单元，用于将所述特征矩阵中的每一行元素作为一个训练向量，进行K-means聚类算法训练，得到K-means层级树中各个节点对应的向量。
[0015]结合第二方面、第二方面的第一种可能的实现方式、第二方面的第二种可能的实现方式或第二方面的第三种可能的实现方式，在第二方面的第四种可能的实现方式中，还包括:第一获取单元，用于获取样本图像对应的类间离散度矩阵和类内离散度矩阵；投影方向获取单元，用于按照Fisher线性鉴别分析算法，根据所述类间离散度矩阵和所述类内离散度矩阵，得到投影方向，所述投影方向使得投影后得到的特征向量具有最大的类间离散度和最小的类内离散度。
[0016]第三方面，本公开提供一种终端设备，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上指令所包含用于进行以下操作的指令:对获得的待识别人脸图像进行器官点定位；根据器官点定位的结果，区分各个器官，获取各个器官的第一局部模块图像；对各个器官的第一局部模块图像进行光照归一化处理，得到第二局部模块图像；对所述第二局部模块图像进行采样及编码，得到第一特征向量；根据预先对样本图像训练得到的投影方向，对所述第一特征向量进行特征空间降维转换得到第二特征向量，其中，所述投影方向满足投影后的特征具有最小的类内离散度及最大的类间离散度；且第二特征向量的维数小于所述第一特征向量的维数；对待识别人脸图像的第二特征向量及预先得到的人脸模板图像对应第二特征向量进行距离度量，根据度量结果判断待识别人脸图像与人脸模板图像之间的相似度，得到人脸识别结果。
[0017]本公开的有益效果包括:所述人脸识别方法首先对待识别人脸图像进行器官点定位，然后，提取各个器官对应的第一局部模块图像；对第一局部模块图像光照归一化处理得到第二局部模块图像；对第二局部模块图像进行采样、编码，得到第一特征向量，并以类内离散度最小化及类间离散度最大化为优化目标，根据预先对样本图像进行空间转换训练得到的投影方向，将第一特征向量进行特征空间降维转换得到第二特征向量，最后，对采集到的待识别人脸图像的第二特征向量及人脸模板图像对应的第二特征向量进行距离度量，判断两个图像的相似度，最终得到人脸识别结果。由于第二特征向量具有类内离散度最小且类间离散度最大的特点，即同一个人的特征向量的离散度最小，不同人之间的特征向量的离散度最大，因此，提高了人脸识别的识别率。而且，本公开的人脸识别方法是基于人脸器官的局部模块，相对于基于整个人脸的特征，能够降低姿态变化带来的配准问题，因此，能够适应人脸的各种姿态所带来的差异，使得本公开的人脸识别方法对姿态具有更好的鲁棒性。
【专利附图】
【附图说明】
[0018]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0019]图1为本公开实施例提供的一种人脸识别方法的流程示意图；
[0020]图2为本公开实施例人脸部位器官点定位标定示意图；
[0021]图3为本公开实施例一种图像光照处理的效果示意图；
[0022]图4为本公开实施例对局部模块图像进行采样的采样点获取示意图；
[0023]图5为本公开实施例一种K-means层级树的实例示意图；
[0024]图6为本公开实施例提供的一种训练K-means层级树的流程示意图；
[0025]图7为本公开实施例提供的一种空间转换的训练方法流程示意图；
[0026]图8为基于训练得到的投影方向进行特征空间转换后的样本点分布示意图；
[0027]图9为本公开实施例提供的一种人脸识别装置的结构示意图；
[0028]图10为本公开实施例提供的光照归一化处理单元的结构示意图；[0029]图11为本公开实施例提供的第一编码单元的结构示意图；
[0030]图12为本公开实施例提供的实现空间转换训练过程的结构示意图；
[0031]图13为本公开实施例终端设备的结构示意图。
【具体实施方式】
[0032]为了使本【技术领域】的人员更好地理解本公开中的技术方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
[0033]请参见图1，示出了本公开实施例提供的一种人脸识别方法的流程示意图，所述方法应用于终端设备，例如，智能手机、平板电脑或掌上电脑PDA等。所述方法可以包括以下步骤:
[0034]S110，对获得的待识别人脸图像进行器官定位。
[0035]在进行人脸识别之前，首先利用终端设备采集包含人脸的图像得到待识别人脸图像，然后，利用人脸检测方法检测图像中的人脸图像，例如，利用Adaboost方法检测图像中的人脸部分，通过Adaboost方法能够检测任何一张包含人脸的图片中的各个人脸部分图像，并用提示框框出人脸部分。
[0036]然后,采用人脸轮廓特征点的定位方法(例如，Active Shape Model, ASM)对所述待识别人脸图像中器官轮廓进行定位，从而确定出待识别人脸图像中的各个器官，例如，眉毛、左眼、右眼、鼻子、嘴、脸型等特征器官。
[0037]如图2所示，对人脸面部图像的关键特征点进行标定，图2对人脸面部的眼睛、眉毛、嘴及脸部轮廓标定了 68个关键点。然后，根据标定的关键点对多个含有人脸面部区域的样本图片的面部关键区域进行ASM训练得到ASM模型；利用训练得到的ASM模型对待识别人脸图像进行ASM搜索，从中搜索目标形状，使搜索到的最终形状中的特征点和相对应的真正特征点最为接近，从而确定所述待识别人脸图像中的器官定位点信息，以便后续提取包含关键器官的局部模块图像。
[0038]S120，根据器官点定位的结果，区分各个器官，获取各个器官的第一局部模块图像。利用步骤SllO定位出的待识别人脸图像中各个器官的位置点，从待识别人脸图像中提取各个器官的局部模块，例如，左眼的局部模块图像、右眼的局部模块图像、鼻子的局部模块图像、嘴的局部模块图像。
[0039]S130，对各个器官的第一局部模块图像进行光照归一化处理，得到第二局部模块图像。
[0040]在本公开的一个实施例中，光照归一化处理的过程可以采用如下方式:
[0041]首先，利用差分高斯算法对某一器官的第一局部模块图像进行光照预处理，滤除图像的低频信号(光照反射量)，保留图像的高频信息(如角点、边缘等信息)，即保留局部模块的细节信息，得到高斯图像；
[0042]然后，对高斯图像进行图像直方图均衡化(Histogram Equalization,HE)处理,得到灰度值均匀的第二局部模块图像。其中，图像直方图均衡化处理是把第一局部模块图像的灰度直方图从在某个灰度区间比较集中的形式，变成在全部灰度范围内的均匀分布的形式，从而增加图像的局部对比度，即图像的局部更清晰。
[0043]如图3所示，为对人脸图像整图进行光照归一化处理的处理效果示意图，图3中的处于第一排的7个图像是同一个人的样本图像，对第一排的样本图像进行高斯处理，滤除低频信号(光照反射量)，保留图像的高频信息(如角点、边缘等信息)得到的高斯预处理后图像，即该样本图像正下方的图像。图像I是原始图像，进行高斯处理后得到图像2，由图3可知，处理后的图像是与光照信息无关的图像。然后，再对高斯处理后得到的图像进行直方图均衡处理，提高图像中高频信息的清晰度。
[0044]S140，对所述第二局部模块图像进行采样及编码，得到第一特征向量。
[0045]在本公开的一个实施例中，对图像的采样过程可以采用如下方式:
[0046]对完成光照归一化处理得到的第二局部模块图像进行采样，首先，以图像中的每个像素点为中心，半径为R的圆周上的像素点进行均匀采样，半径R的取值可以小于第二局部模块图像边长的任意值，且可以取多个R值进行采样。 [0047]如图4所示，图片I为某个器官的第二局部模块图像，假设以图像中的像素点O为中心，在半径为Rl的圆周上均匀采集4个采样点；以及，在像素点O为中心，半径为R2的圆周上均匀采集4个采样点。
[0048]以第二局部模块图像中的每个采样点对应的灰度值为一个矩阵中的元素，得到一张低维的特征矩阵。该矩阵的每一行元素为以一个像素点为中心的所有采样点的灰度值，该矩阵的行数描述了该局部图像的所有像素点的数目。假设该局部图像大小为15*15，每个像素点周围采样200个采样点，则得到一个225*200的特征矩阵。
[0049]对图4所示的实例进行说明，其中，假设，图片I的大小为15*15，则图片I包含225个像素点，每个像素点周围采样8个采样点，则得到一个225*8的特征矩阵，假设式I所示的矩阵为225*8的特征矩阵，矩阵中的列数w取值为8，行数h取值为225。其中，矩阵中的
毛4表示图片I中的第一像素点的第一个采样点的灰度值。
【权利要求】
1.一种人脸识别方法，其特征在于，包括: 对获得的待识别人脸图像进行器官点定位； 根据器官点定位的结果，区分各个器官，获取各个器官的第一局部模块图像； 对各个器官的第一局部模块图像进行光照归一化处理，得到第二局部模块图像； 对所述第二局部模块图像进行采样及编码，得到第一特征向量； 根据预先对样本图像训练得到的投影方向，对所述第一特征向量进行特征空间降维转换得到第二特征向量，其中，所述投影方向满足投影后的特征向量具有最小的类内离散度及最大的类间离散度；且第二特征向量的维数小于所述第一特征向量的维数； 对待识别人脸图像的第二特征向量及预先得到的人脸模板图像对应第二特征向量进行距离度量，根据度量结果得到人脸识别结果。
2.根据权利要求1所述的方法，其特征在于，对所述各个器官的局部模块进行光照归一化处理，得到第二局部模块图像，采用如下方式: 利用差分高斯算法对第一局部模块图像进行预处理，得到高斯图像； 对所述高斯图像进行图像直方图均衡处理，得到灰度值均匀的第二局部模块图像。
3.根据权利要求1所述的方法，其特征在于，对所述第二局部模块图像进行采样及编码，得到第一特征向量，采用如下方式: 对所述第二局部模块图像的像素点进行均匀采样，得到采样点的灰度值构成的特征矩阵； 对所述特征矩阵中的每行元素与预先训练得到的K-means层级树中的各个节点进行匹配，对匹配成功的节点进行编码，得到第一特征向量。
4.根据权利要求3所述的方法，其特征在于，预先训练得到K-means层级树的过程，采用如下方式: 采集多个人脸图像作为样本图像； 对每个所述样本图像中的像素点进行均匀采样，得到采样点的灰度值构成的特征矩阵； 将所述特征矩阵中的每一行元素作为一个训练向量，进行K-means聚类算法训练，得到K-means层级树中各个节点对应的向量。
5.根据权利要求1-4任一项所述的方法，其特征在于，预先对样本图像进行训练得到投影方向，采用如下方式: 获取样本图像对应的类间离散度矩阵和类内离散度矩阵； 按照Fisher线性鉴别分析算法，根据所述类间离散度矩阵和所述类内离散度矩阵，得到投影方向，所述投影方向使投影后得到的特征向量具有最大的类间离散度和最小的类内离散度。
6.一种人脸识别装置，其特征在于，包括: 器官定位单元，用于对获得的待识别人脸图像进行器官点定位； 局部模块图像获取单元，用于根据器官点定位的结果，区分各个器官，获取各个器官的第一局部模块图像； 光照归一化处理单元，用于对各个器官的第一局部模块图像进行光照归一化处理，得到第二局部模块图像；第一编码单元，用于对所述第二局部模块图像进行采样及编码，得到第一特征向量；空间转换单元，用于根据预先对样本图像训练得到的投影方向，对所述第一特征向量进行特征空间降维转换得到第二特征向量，其中，所述投影方向满足投影后的特征具有最小的类内离散度及最大的类间离散度；且第二特征向量的维数小于所述第一特征向量的维数； 距离度量单元，用于对待识别人脸图像的第二特征向量及预先得到的人脸模板图像对应第二特征向量进行距离度量，根据度量结果得到人脸识别结果。
7.根据权利要求6所述的装置，其特征在于，所述光照归一化处理单元包括: 高斯预处理子单元，用于利用差分高斯算法对第一局部模块图像进行预处理，得到高斯图像； 直方图均衡处理子单元，用于对所述高斯图像进行图像直方图均衡处理，得到灰度值均匀的第二局部模块图像。
8.根据权利要求6所述的装置，其特征在于，所述第一编码单元包括: 第一特征采样子单元，用于对所述第二局部模块图像的像素点进行均匀采样，得到采样点的灰度值构成的特征矩阵； 编码子单元，用于对所述特征矩阵中的每行元素与预先训练得到的K-means层级树中的各个节点进行匹配，对匹配成功的节点进行编码，得到第一特征向量。
9.根据权利要求8所述的装置，其特征在于，还包括: 样本采集单元，用于采集多个人脸图像作为样本图像； 第二特征采样单元，用于对每个所述样本图像中的像素点进行均匀采样，得到采样点的灰度值构成的特征矩阵； 聚类算法训练单元，用于将所述特征矩阵中的每一行元素作为一个训练向量，进行K-means聚类算法训练,得到Kneans层级树中各个节点对应的向量。
10.根据权利要求6-9任一项所述的装置，其特征在于，还包括: 第一获取单元，用于获取样本图像对应的类间离散度矩阵和类内离散度矩阵； 投影方向获取单元，用于按照Fisher线性鉴别分析算法，根据所述类间离散度矩阵和所述类内离散度矩阵，得到投影方向，所述投影方向使得投影后得到的特征向量具有最大的类间离散度和最小的类内离散度。
11.一种终端设备，其特征在于，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上指令所包含用于进行以下操作的指令: 对获得的待识别人脸图像进行器官点定位； 根据器官点定位的结果，区分各个器官，获取各个器官的第一局部模块图像； 对各个器官的第一局部模块图像进行光照归一化处理，得到第二局部模块图像； 对所述第二局部模块图像进行采样及编码，得到第一特征向量； 根据预先对样本图像训练得到的投影方向，对所述第一特征向量进行特征空间降维转换得到第二特征向量，其中，所述投影方向满足投影后的特征具有最小的类内离散度及最大的类间离散度；且第二特征向量的维数小于所述第一特征向量的维数； 对待识别人脸图像的第二特征向量及预先得到的人脸模板图像对应第二特征向量进行距离度量，根据度量结果判断待识别人脸图像与人脸模板图像之间的相似度，得到人脸识别结果。
【文档编号】G06K9/64GK103745235SQ201310700411
【公开日】2014年4月23日 申请日期:2013年12月18日 优先权日:2013年12月18日
【发明者】张涛, 陈志军, 王琳 申请人:小米科技有限责任公司