人脸部位识别的方法和装置的制造方法
【专利摘要】本发明提供的一种人脸部位识别的方法和装置，所述方法包括：获得深度图像；提取所述深度图像中的图像像素特征；将所述图像像素特征输入人脸深度学习模型中进行识别分类；判断所述图像像素特征的分类与所述人脸深度学习模型中已有的人脸部位标签是否匹配；若所述图像像素特征的分类与所述人脸深度学习模型中的已有标签匹配，则输出与该像素特征对应的标签。本发明采用提取深度图像像素特征的方法保证了特征提取的精确性，并采用深度学习模型识别图像像素特征，可以一次性对多个人脸部位进行识别分类。
【专利说明】
人脸部位识别的方法和装置
技术领域
[0001 ]本发明涉及人脸识别技术领域，具体而言，涉及一种人脸部位识别的方法和装置。
【背景技术】
[0002] 人脸部位识别是人脸识别分析技术的一个重要组成部分，它可广泛应用于人脸检 测和定位、人脸识别、姿态识别、3D人脸重构、脸部动画、人脸肖像生成、头部追踪和残疾人 实现免持鼠标的人机交互等领域。处理人脸图像，进行人脸部位识别成为本领域研究的热 点。
[0003] 传统的人脸部位识别方案主要针对二维可见光图像，二维可见光图像容易受到图 像分辨率、光照、拍摄角度等因素的影响，导致识别效果不佳，识别精准度低。并且，传统人 脸部位识别方法仅仅针对一个部位人脸部位进行识别，在进行表情识别、脸部重建、脸部姿 态识别时不能一次性有效获得多个人脸部位，无法有效满足于实时分析的需求。如何建立 一套不易受拍摄环境影响且能一次性对多个人脸部位同时进行识别方法成为本领域技术 人员亟待解决的问题。
【发明内容】
[0004] 为了克服现有技术中的上述不足，本发明所要解决的技术问题是提供一种人脸部 位识别的方法和装置，其能够通过人脸深度学习模型识别深度图像的图像像素特征，准确 地同时完成多个人脸部位的识别。
[0005] 就方法而言，本发明提供一种人脸部位识别的方法，所述方法包括：
[0006] 获得深度图像；
[0007] 提取所述深度图像中的图像像素特征；
[0008] 将所述图像像素特征输入人脸深度学习模型中进行识别分类；
[0009] 判断所述图像像素特征的分类与所述人脸深度学习模型中已有的人脸部位标签 是否匹配；
[0010] 若所述图像像素特征的分类与所述人脸深度学习模型中的已有标签匹配，则输出 与该图像像素特征对应的标签。
[0011] 进一步地，在所述人脸部位识别的方法中，所述图像像素特征为像素点邻域内其 他像素点深度值之差的集合，所述提取所述深度图像中的图像像素特征的步骤包括：
[0012] 由选定像素点的深度值及一空间不变系数得到该选定像素点在真实空间的空间 分辨率；
[0013] 由该选定像素点的所述空间分辨率、预设真实空间偏移量及预设多个偏移角中任 意的两个不同的偏移角得到多个偏移向量对，其中每个所述偏移向量对包含两个偏移向 量；
[0014] 由所述两个偏移向量得到该选定像素点的两个偏移点，由一深度差值函数获得两 个偏移点之间的深度值之差；
[0015] 将多个所述深度值之差的集合作为该选定像素点的特征向量，以此表征该选定像 素点的图像像素特征。
[0016] 进一步地，在所述人脸部位识别的方法中，在所述由一深度差值函数获得两个偏 移点之间的深度值之差的步骤中，
[0017] 当所述两个偏移点相对于所述选定像素点的深度值之差均小于等于一预设深度 阈值时，所述深度差值函数等于所述两个偏移点之间的深度值的差，
[0018] 当所述两个偏移点中的至少一个相对于所述选定像素点的深度值之差大于所述 深度阈值时，所述深度差值函数等于一设定值，所述设定值大于所述深度图像上所有像素 点的深度值。
[0019] 进一步地，在所述人脸部位识别的方法中，所述人脸深度学习模型包括深度置信 网络模型，所述深度置信网络模型将所述图像像素特征作为其底层的输入，在网络最顶层 进行回归分类，并匹配相应的标签，其中，所述标签包括各人脸部位标签。
[0020] 进一步地，在所述人脸部位识别的方法中，所述人脸部位识别的方法还包括预先 对所述人脸深度学习模型进行深度学习训练，所述深度学习训练的步骤包括，
[0021] 获得深度图像库中的训练图像；
[0022] 提取所述训练图像的图像像素特征；
[0023] 利用所述训练图像的图像像素特征训练所述人脸深度学习模型，并对训练完成的 分类赋予相应标签；
[0024] 所述人脸深度学习模型根据所述标签对其参数进行调整。
[0025] 进一步地，在所述人脸部位识别的方法中，所述人脸部位识别的方法还包括：
[0026] 将识别完成后的带标签的图像像素特征及图像像素特征的正确识别率输入到所 述人脸深度学习模型；所述人脸深度学习模型以此进行深度学习训练，并对其参数进行调 整。
[0027] 就装置而言，本发明提供一种人脸部位识别的装置，所述人脸部位识别的装置包 括：
[0028]第一获取模块，用于获得深度图像；
[0029]第一特征提取模块，用于提取所述深度图像中的图像像素特征；
[0030]人脸深度学习模块，用于将所述图像像素特征输入人脸深度学习模型中进行识别 分类；
[0031] 判断模块，用于判断所述图像像素特征的分类与所述人脸深度学习模型中已有的 人脸部位标签是否匹配；
[0032] 输出模块，用于当所述图像像素特征的分类与所述人脸深度学习模型中的已有标 签匹配时，输出与该像素特征对应的标签。
[0033] 进一步地，在所述人脸部位识别的方法中，所述人脸深度学习模型用于将所述图 像像素特征作为其底部输入层的输入，在网络最顶层进行回归分类，并匹配相应的标签，其 中，所述标签包括人脸各部位标签及非人脸部位标签。
[0034] 进一步地，在所述人脸部位识别的方法中，所述装置还包括：
[0035]第二获取模块，用于获得深度图像库中的训练图像；
[0036]第二特征提取模块，用于提取所述训练图像的图像像素特征；
[0037] 训练模块，用于利用所述训练图像的图像像素特征训练所述人脸深度学习模型， 并对训练完成的分类赋予相应标签；
[0038] 参数调整模块，用于根据所述标签对人脸深度学习模型的参数进行调整。
[0039] 进一步地，在所述人脸部位识别的方法中，，所述参数调整模块还用于根据识别完 成后带标签的图像像素特征及图像像素特征的正确识别率对所述人脸深度学习模型的参 数进行调整。
[0040] 相对于现有技术而言，本发明具有以下有益效果：
[0041] 本发明提供的人脸部位识别的方法和装置，通过采用人脸深度学习模型对提取的 深度图像像素特征进行检测识别，一方面以像素深度差值作为图像像素特征，不易受到光 线、色彩等环境因素影响，且特征提取过程简单，有较好的唯一性和空间不变性。另一方面， 采用人脸深度学习模型同时完成检测与识别，可同时对多个人脸部位进行识别，提高了检 测识别效率，拥有更好的实时性。且深度学习算法有较强的分类和学习能力，以及较强的自 适应性，能有效准确的检测识别到人脸及相应部位。
【附图说明】
[0042] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附 图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对 范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这 些附图获得其他相关的附图。
[0043] 图1为本发明实施例提供的人脸部位识别的方法的流程示意图；
[0044] 图2为本发明实施例提供的深度图像获得方法的示意图；
[0045] 图3为本发明实施例提供的提取图像像素特征流程的示意图；
[0046] 图4为本发明实施例提供的像素空间分辨率获得方法的示意图；
[0047] 图5为本发明实施例提供的训练人脸深度学习模型流程的示意图；
[0048] 图6为本发明实施例提供的深度置信网络模型的示意图；
[0049]图7为本发明实施例提供的人脸部位识别的装置的一种结构框图；
[0050]图8为本发明实施例提供的人脸部位识别的装置的另一种结构框图。
[0051]上述附图中，各附图标记对应的名称为：
【具体实施方式】
[0053]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是 本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施 例的组件可以以各种不同的配置来布置和设计。
[0054]因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护 的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通 技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范 围。
[0055]需要说明的是，在本文中，诸如"第一"和"第二"等之类的关系术语仅仅用来将一 个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之 间存在任何这种实际的关系或者顺序。而且，术语"包括"、"包含"或者其任何其他变体意在 涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些 要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设 备所固有的要素。在没有更多限制的情况下，由语句"包括一个……"限定的要素，并不排除 在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0056] 应注意到:相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一 个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0057] 第一实施例
[0058]请参照图1，图1为本实施例提供人脸部位识别的方法的具体流程图，所述方法包 括：
[0059]步骤S110,获得深度图像。
[0060] 在本实施例中，所述深度图像通过深度传感器获得，其中，所述深度图像包括通过 所述深度传感器获得的每个像素点的深度值。
[0061] 请参照图2,假设在本实施例中所述深度传感器视场角为(α，β)，获得的深度图像 的分辨率为(m， n)。在所述深度图像上以像素点为单位建立坐标，记录像素点p=(x，y)的深 度值为D(x，y)。
[0062] 步骤S120，提取所述深度图像中的图像像素特征。
[0063] 提取所述图像像素特征可以包括:深度梯度方向直方图特征、局部简化三元模式 特征、深度值统计分布特征及邻域内其他像素点间深度差值之差特征等，在本实施例中，优 选为采用像素点邻域内其他像素点间深度差值之差的集合作为该像素点的图像像素特征。 [0064] 请参照图3,所述提取所述图像像素特征的步骤可以包括子步骤S121、S122、S123 及S124。
[0065] 子步骤S121，由选定像素点的深度值及一空间不变系数得到该选定像素点在真实 空间的空间分辨率。
[0066] 具体地，请参照图4,在本实施例中，选取所述深度图像上像素点p=(l，l)，其对应 视场角为(α:，^)，得到其深度值为D(1，1)，由此可得像素点 ？1在真实空间的横向空间分辨 率1x1为：
[0067] lxi = 2D( 1,1 )tan(〇i) =2D( 1,1 )tan(a/2m)
[0068] 同理其纵向空间分辨率10为：
[0069] lyi = 2D( 1,1 )tan(P/2n)
[0070] 由此可得任意像素点Pl=(Xl，yi)的空间分辨率为：
[0071 ] lxi = 2D(Xi，yi)tan(a/2m) =D(Xi，yi)|x
[0072] lyi = 2D(xi,yi)tan(P/2n) =D(xi,yi)Cy
[0073]其中，Cx=2tan(a/2m)，Cy = 2tan(P/2n)为空间不变系数。
[0074]子步骤S122,由该选定像素点的所述空间分辨率、预设真实空间偏移量及预设多 个偏移角中任意的两个不同的偏移角得到多个偏移向量对，其中每个所述偏移向量对包含 两个偏移向量。
[0075]具体地，预设一真实空间偏移量为ε，并在所述深度图像上预设多个离散化的偏移 角(方向）为9 = {01，02，~0"}，由任意两个偏移方向的偏移向量构成，即对于//，^/对，可构 成偏移量对δ = (ιι，ν)，其中，
[0077] 由此得到S = C；2个所述偏移量对
[0078] 在本实施例中，所述偏移角的取值可以：
[0079] 子步骤S123,由所述偏移向量对中的两个偏移向量得到该选定像素点的两个偏移 点，由一深度差值函数获得两个偏移点之间的深度值之差。
[0080] 具体地，在深度图像上取任意点Ρ，通过深度差值函数计算该点经其中一个所述偏 移量对S = (U，V)后所得的两个偏移点之间的深度差值为：
[0081] f (ρ,δ) = D(p+u)-D(p+v)
[0082] 在本实施例中，为保证所述图像像素特征描述为同一人脸部位上的特征，当所述 两个偏移点相对于所述选定像素点的深度值之差均小于等于一预设深度阈值时，所述深度 差值函数等于所述两个偏移点之间的深度值的差；当所述两个偏移点中的至少一个相对于 所述选定像素点的深度值之差大于所述深度阈值时，所述深度差值函数等于一个大于所述 深度图像上所有像素点的深度值的κ值。以使得同一目标上点的特征向量值较为接近;即给 定一个深度阈值n，两个偏移点之间的深度差值的计算公式如下：
[0084] 子步骤S124,将多个所述深度值之差的集合作为该选定像素点的特征向量，以此 表征该选定像素点的图像像素特征。所述特征向量可以表示如下：
[0085] Fp=(f(p,5i) ,f (ρ,δ2) ,---f(p,5s))
[0086] 如此，所述提取所述深度图像中的图像像素特征的步骤，不仅利用了深度值，还利 用了空间不变系数进行计算，因此该特征具有较好的局部深度以及不同分辨率情况下的特 征不变性，可为后续检测识别模型提供有力的判别依据。
[0087]步骤S130,将所述图像像素特征输入人脸深度学习模型中进行识别分类。
[0088] 所述人脸深度学习模型可以为随机森林学习模型、回归自组织神经网络模型、深 度置信网络(DBN，Deep Belief Network)模型等，在本实施例中，优选为采用DBN模型。所述 DBN模型具有多个隐层神经网络，能更好的处理复杂函数，在处理复杂分类问题时表现出更 优的泛化性。
[0089] 值得说明的是，在本实施例中，所述人脸部位识别的方法还包括预先对所述人脸 深度学习模型进行深度学习训练。请参照图5,所述深度学习训练的步骤包括：
[0090] 步骤S210，预先建立有深度图像库，获得所述深度图像库中的训练图像。
[0091] 步骤S220,提取所述训练图像的图像像素特征。
[0092] 在本实施例中，所述图像像素特征为像素点领域内其他像素点的深度差值的集 合。所述图像像素特征的提取步骤和S120中提取过程相同，在此不再赘述。
[0093] 步骤S230,利用所述训练图像的图像像素特征训练所述人脸深度学习模型，并对 训练完成的分类赋予相应标签;所述人脸深度学习模型根据所述标签对其参数进行调整。 [0094] 具体地，请参照图6,所述DBN模型可以包括多层受限玻尔兹曼机(RBM，Restricted Boltzman Machines)网络和反向传播（BP，Backpropagation Algorithm)网络组成。
[0095]将所述图像像素特征输入底层RBM，对该层RBM进行无监督训练，确保特征向量映 射到不同特征空间时，都尽可能多地保留特征信息。
[0096]每一高层RBM以低一层的RBM输出数据作为输入，并对该层RBM进行无监督训练。每 一层RBM网络确保自身层内的权值对该层特征向量映射达到最优。
[0097]在所述DBN最后一层设置BP网络，以最上层的RBM输出的特征向量作为其输入。预 设分类标签，所述标签可以包括人脸各部分的标签(如鼻子、左眼、右眼、左耳、右耳、嘴、左 脸颊、右脸颊、下颂、额头等部位标签），以及一个非人脸部位标签。以所述标签有监督地训 练实体关系分类器，根据有监督训练是否分类正确信息，所述BP网络将错误信息自顶向下 传播至每一层RBM，微调整个DBN模型中对应的特征向量的权重，以使DBN收敛到全局最优。 在本实施例中，所述分类器可以采用Softmax回归分类器。
[0098]步骤S140,判断所述像素特征的分类与所述人脸深度学习模型中的已有标签是否 匹配。若匹配则进入步骤S150,若不匹配则回到步骤S110。
[0099] 步骤S150，输出与该像素特征对应的标签。
[0100] 在本实施例中，所述人脸部位检测识别的方法还包括:将识别完成后的带标签的 图像像素特征及图像像素特征的正确识别率输入到所述人脸深度学习模型。所述人脸深度 学习模型以此进行深度学习训练，并对其自身参数进行调整。
[0101] 如此在进行人脸部位识别的同时，不断补充新的训练样本对所述人脸深度学习模 型进行在线训练，使得随着识别的进行，所述人脸深度学习模型的识别准确度也不断提高。
[0102] 第二实施例
[0103] 请参照图7,本实施例提供的人脸部位识别装置10包括：
[0104] 第一获取模块110，用于获得深度图像；
[0105] 第一特征提取模块120,用于提取所述深度图像中的图像像素特征；
[0106] 人脸深度学习模块130,用于将输入的所述图像像素特征进行识别分类；
[0107] 判断模块140,用于判断所述图像像素特征的分类与所述人脸深度学习模型中已 有的人脸部位标签是否匹配；
[0108] 输出模块150,用于当所述图像像素特征的分类与所述人脸深度学习模型中的已 有标签匹配时，输出与该像素特征对应的标签。
[0109] 在本实施例中，所述人脸深度学习模型用于将所述图像像素特征作为其底部输入 层的输入，在网络最顶层进行回归分类，并匹配相应的标签，其中，所述标签包括人脸各部 位标签及非人脸部位标签。在本实施例中，所述人脸深度学习模型可以采用深度置信网络 模型。
[0110] 请参照图8,进一步地，在本实施例中，所述人脸部位识别装置10还可以包括：
[0111] 第二获取模块210,用于获得深度图像库中的训练图像；
[0112] 第二特征提取模块220,用于提取所述训练图像的图像像素特征；
[0113]训练模块230,用于利用所述训练图像的图像像素特征训练所述人脸深度学习模 型，并对训练完成的分类赋予相应标签；
[0114]参数调整模块240,用于根据所述标签对人脸深度学习模型的参数进行调整。
[0115] 应当理解的是，在本实施例中，所述第一特征提取模块120和所述第二特征提取模 块220可以为同一模块。
[0116] 请参照图8,进一步地，在本实施例中，所述参数调整模块240还用于根据识别完成 后带标签的图像像素特征及图像像素特征的正确识别率对所述人脸深度学习模型的参数 进行调整。
[0117] 综上所述，本发明提供的人脸部位识别的方法和装置，通过采用人脸深度学习模 型对提取的深度图像像素特征进行检测识别，一方面以像素深度差值作为图像像素特征， 不易受到光线、色彩等环境因素影响，且特征提取过程简单，有较好的唯一性和空间不变 性。另一方面，采用人脸深度学习模型同时完成检测与识别，可同时对多个人脸部位进行识 另IJ，提高了检测识别效率，拥有更好的实时性。且深度学习算法有较强的分类和学习能力， 以及较强的自适应性，能有效准确的检测识别到人脸及相应部位。
[0118] 以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技 术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修 改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1. 一种人脸部位识别的方法，其特征在于，所述方法包括： 获得深度图像； 提取所述深度图像中的图像像素特征； 将所述图像像素特征输入人脸深度学习模型中进行识别分类； 判断所述图像像素特征的分类与所述人脸深度学习模型中已有的人脸部位标签是否 匹配； 若所述图像像素特征的分类与所述人脸深度学习模型中的已有标签匹配，则输出与该 图像像素特征对应的标签。2. 根据权利要求1所述的方法，其特征在于，所述图像像素特征为像素点邻域内其他像 素点深度值之差的集合，所述提取所述深度图像中的图像像素特征的步骤包括： 由选定像素点的深度值及一空间不变系数得到该选定像素点在真实空间的空间分辨 率； 由该选定像素点的所述空间分辨率、预设真实空间偏移量及预设多个偏移角中任意的 两个不同的偏移角得到多个偏移向量对，其中每个所述偏移向量对包含两个偏移向量； 由所述两个偏移向量得到该选定像素点的两个偏移点，由一深度差值函数获得两个偏 移点之间的深度值之差； 将多个所述深度值之差的集合作为该选定像素点的特征向量，以此表征该选定像素点 的图像像素特征。3. 根据权利要求2所述的方法，其特征在于，在所述由一深度差值函数获得两个偏移点 之间的深度值之差的步骤中， 当所述两个偏移点相对于所述选定像素点的深度值之差均小于等于一预设深度阈值 时，所述深度差值函数等于所述两个偏移点之间的深度值的差， 当所述两个偏移点中的至少一个相对于所述选定像素点的深度值之差大于所述深度 阈值时，所述深度差值函数等于一设定值，所述设定值大于所述深度图像上所有像素点的 深度值。4. 根据权利要求1所述的方法，其特征在于:所述人脸深度学习模型包括深度置信网络 模型，所述深度置信网络模型将所述图像像素特征作为其底层的输入，在网络最顶层进行 回归分类，并匹配相应的标签，其中，所述标签包括各人脸部位标签。5. 根据权利要求4所述的方法，其特征在于:所述人脸部位识别的方法还包括预先对所 述人脸深度学习模型进行深度学习训练，所述深度学习训练的步骤包括， 获得深度图像库中的训练图像； 提取所述训练图像的图像像素特征； 利用所述训练图像的图像像素特征训练所述人脸深度学习模型，并对训练完成的分类 赋予相应标签； 所述人脸深度学习模型根据所述标签对其参数进行调整。6. 根据权利要求1所述的方法，其特征在于，所述人脸部位识别的方法还包括： 将识别完成后的带标签的图像像素特征及图像像素特征的正确识别率输入到所述人 脸深度学习模型;所述人脸深度学习模型以此进行深度学习训练，并对其参数进行调整。7. -种人脸部位识别的装置，其特征在于，所述人脸部位识别的装置包括： 第一获取模块，用于获得深度图像； 第一特征提取模块，用于提取所述深度图像中的图像像素特征； 人脸深度学习模块，用于将所述图像像素特征输入人脸深度学习模型中进行识别分 类； 判断模块，用于判断所述图像像素特征的分类与所述人脸深度学习模型中已有的人脸 部位标签是否匹配； 输出模块，用于当所述图像像素特征的分类与所述人脸深度学习模型中的已有标签匹 配时，输出与该像素特征对应的标签。8. 根据权利要求7所述的装置，其特征在于，所述人脸深度学习模型用于将所述图像像 素特征作为其底部输入层的输入，在网络最顶层进行回归分类，并匹配相应的标签，其中， 所述标签包括人脸各部位标签及非人脸部位标签。9. 根据权利要求8所述的装置，其特征在于，所述装置还包括： 第二获取模块，用于获得深度图像库中的训练图像； 第二特征提取模块，用于提取所述训练图像的图像像素特征； 训练模块，用于利用所述训练图像的图像像素特征训练所述人脸深度学习模型，并对 训练完成的分类赋予相应标签； 参数调整模块，用于根据所述标签对人脸深度学习模型的参数进行调整。10. 根据权利要求9所述的装置，其特征在于:所述参数调整模块还用于根据识别完成 后带标签的图像像素特征及图像像素特征的正确识别率对所述人脸深度学习模型的参数 进行调整。
【文档编号】G06K9/62GK106096551SQ201610414560
【公开日】2016年11月9日
【申请日】2016年6月14日 公开号201610414560.0, CN 106096551 A, CN 106096551A, CN 201610414560, CN-A-106096551, CN106096551 A, CN106096551A, CN201610414560, CN201610414560.0
【发明人】谭志国, 杨阿峰, 李洪
【申请人】湖南拓视觉信息技术有限公司