三维人脸图像特征提取方法和系统的制作方法
【技术领域】
[0001] 本发明涉及人脸图像处理技术，特别是涉及一种H维人脸图像特征提取方法和系 统。
【背景技术】
[0002] 人脸识别和情感分析是生物特征识别系统中的两个重要分支，在远程通信、医疗 救援和智能监控中具有广泛的应用。传统技术中，H维人脸图像特征提取通常仅仅是单独 满足于人脸识别或者情感分析。例如，对于H维人脸识别，传统技术中有将一张人脸分为一 组区域，通过单独选配不同的区域，进行结果的融合来提高识别性能，也有使用人脸对称来 克服大姿态变换，提出了一种自动界标探测器来估计姿态和检测遮挡区域。但该些方法更 多的是关注人脸识别上而不是人脸表情描述上。对于人脸表情的描述，传统技术有使用人 脸动作编码系统来作为一个人脸表情表示用于人脸表情分析中，但该方法关也的是人脸表 情的描述，不能辨别不同的个体。
[0003] 然而，越来越多的实践要求不再单独满足于人脸识别或情感分析，而是需要同时 区分个体和表情，即要同时满足于人脸识别和情感分析。
【发明内容】
[0004] 基于此，有必要针对上述技术问题，提供一种能同时满足人脸识别和情感分析的 H维人脸图像特征提取方法和系统。
[0005] -种H维人脸图像特征提取方法，所述方法包括：
[0006] 人脸区域分割，得到一组人脸区域；
[0007] 将每个人脸区域投射到对应的区域边界球；
[0008] 根据所述区域边界球获取对应的人脸区域的表示，记为所述人脸区域的区域边界 球描述子；
[0009] 对每个人脸区域计算所述人脸区域的区域边界球描述子的权重；
[0010] 根据所述人脸区域的表示和对应的所述权重获取H维人脸图像的特征。
[0011] 一种H维人脸图像特征提取系统，所述系统包括：
[0012] 区域分割模块，用于进行人脸区域分割，得到一组人脸区域；
[0013] 投射模块，用于将每个人脸区域投射到对应的区域边界球；
[0014] 人脸区域表示模块，用于根据所述区域边界球获取对应的人脸区域的表示，记为 所述人脸区域的区域边界球描述子；
[0015] 权重计算模块，用于对每个人脸区域计算所述人脸区域的区域边界球描述子的权 重；
[0016] 特征提取模块，用于根据所述人脸区域的表示和对应的所述权重获取H维人脸图 像的特征。
[0017] 上述H维人脸图像特征提取方法和系统，通过将每个人脸区域投射到对应的区域 边界球，根据区域边界球获取对应的人脸区域的表示，记为人脸区域的区域边界球描述子， 该区域边界球描述子能有效反映不同人脸区域的表面区域形状特征，并结合每个人脸区域 的区域边界球描述子的权重进行特征提取，使得人脸区域的区域边界球描述子能够基于人 脸的辨别力和表情的描述力进行加权，从而使得提取的H维人脸图像的特征能够同时满足 于人脸识别和情感分析。
【附图说明】
[0018] 图1为一个实施例中H维人脸图像特征提取方法的流程示意图；
[0019] 图2为一个实施例中人脸区域分割示意图；
[0020] 图3为一个实施例中对原始H维人脸点云数据进行预处理的示意图；
[0021] 图4为一个实施例中人脸表面的区域边界球表示的示意图；
[0022] 图5为一个实施例中H维人脸图像特征提取系统的结构框图；
[0023] 图6为一个实施例中区域分割模块的结构框图；
[0024] 图7为另一个实施例中H维人脸图像特征提取系统的结构框图；
[00巧]图8为一个实施例中预处理模块的结构框图；
[0026] 图9为一个实施例中归一化处理模块的结构框图；
[0027] 图10为一个实施例中图像对齐模块的结构框图；
[0028] 图11为一个实施例中权重计算模块的结构框图；
[0029] 图12为再一个实施例中H维人脸图像特征提取系统的结构框图；
[0030] 图13为一个实施例中用于H维人脸识别和表情分析的框架图；
[0031] 图14为在不同测试集中的在FRGC3D人脸数据上的R0C曲线的示意图；
[0032] 图15为比较十个特征的描述能力的示意图；
[0033] 图16为比较不同特征下的识别率的示意图；
[0034] 图17为比较特征6和特征10在不同表情中的识别率的示意图。
【具体实施方式】
[0035] 为了使本发明的目的、技术方案及优点更加清楚明白，W下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用W解释本发明，并 不用于限定本发明。
[0036] 如图1所示，在一个实施例中，提供了一种H维人脸图像特征提取方法，该方法包 括：
[0037] 步骤102,人脸区域分割，得到一组人脸区域。
[0038] 本实施例中，可获取经过了预处理后的H维人脸图像，经过了预处理后的H维人 脸图像与参考人脸模型对齐。然后，可利用从参考人脸模型中提取的形状带，来对输入的H 维人脸图像进行区域分割。
[0039] 步骤104,将每个人脸区域投射到对应的区域边界球。
[0040] 本实施例中，对于H维人脸图像中的每个人脸区域，使用区域边界球描述子作为 人脸区域上的点云数据的相对位置的投影，成像为区域边界球，区域边界球的球也则为对 应的人脸区域的质也点。也就是，在步骤104中，对每个人脸区域做投影，不同的人脸区域 会成像为不同的区域边界球，并且，成像得到的区域边界球的球也为对应的人脸区域的质 也点，确定了区域边界球后，则可W使用该区域边界球上的点的值来表示人脸区域。区域边 界球描述子（regionalboundingsphericaldescriptor,简称RBSR)也就是区域边界球上 的点的值所构成的、用来表示对应人脸区域的描述因子，意思是采用区域边界球该种表示 方式来描述人脸区域。本发明实施例中，采用区域边界球描述子来表示人脸区域。
[0041] 步骤106,根据区域边界球获取对应的人脸区域的表示，记为人脸区域的区域边界 球描述子。
[0042] 人脸区域可使用人脸区域上的点的值所组成的向量进行表示，也就是人脸区域的 区域边界球描述子为人脸区域上的点的值所组成的向量，对人脸区域上的点进行定义即可 得到人脸区域的区域边界球描述子。本实施例中，可定义人脸区域上的点的值为人脸区域 对应的区域边界球上的点的值，而区域边界球上的点的值为人脸区域上的点与人脸区域的 质也点之间的距离和对应的区域边界球的半径的比值。
[0043] 步骤108,对每个人脸区域计算人脸区域的区域边界球描述子的权重。
[0044] 由于每个人脸区域的表面特征都不一样，因此需要根据不同的人脸区域对区域边 界球描述子进行加权。交互信息可W有效的反映人脸的辨别力和表情描述力，人脸的辨别 力可用于区分不同的人脸，即人脸识别，人脸的表情描述力则可用于区分人脸的不同表情， 即情感分析。本实施例中，可获取人脸区域的区域边界球描述子与人脸区域之间的交互信 息，W及不同人脸区域的区域边界球描述子之间的交互信息，由于该些信息能反映人脸的 辨别力和表情描述，因此，结合该些交互信息，并获取预先提供给每个人脸区域的标注信 息，能够计算得到人脸区域的区域边界球描述子的权重。
[0045] 步骤110,根据人脸区域的表示和对应的区域边界球描述子的权重获取H维人脸 图像的特征。
[0046] H维人脸图像的特征是由所有人脸区域的表示组成的，由于人脸区域可使用区域 边界球描述子来表示，且不同的人脸区域的区域边界球描述子具有不同的权重，因此，本实 施例中，提取的H维人脸图像的特征可W是所有人脸区域的区域边界球描述子进行加权后 的总和。
[0047] 本实施例中，通过将每个人脸区域投射到对应的区域边界球，根据区域边界球获 取对应的人脸区域的表示，记为人脸区域的区域边界球描述子，该区域边界球描述子能有 效反映不同人脸区域的表面区域形状特征，并结合每个人脸区域的区域边界球描述子的权 重进行特征提取，使得人脸区域的区域边界球描述子能够基于人脸的辨别力和表情的描述 力进行加权，从而能够同时满足于人脸识别和情感分析。
[0048] 在一个实施例中，进行H维人脸区域分割后得到的一组人脸区域包括鼻子、左眼、 右眼、左脸颊、右脸颊、前额和嘴己走个区域。下面详细描述如何分割出该走个区域。
[0049] 结合图2所示，获取到的H维人脸图像可优选为经过了预处理后的H维人脸图 像，预处理可W将原始的H维人脸图像去除掉一些非人脸区域，并将H维人脸图像上的主 要器官位置对齐后，将H维人脸图像与参考人脸模型进行对齐。经过了预处理的人脸图像 不仅能够提高人脸区域分割的精确度，也能节省计算成本。
[0050] 具体的，人脸区域分割的过程包括：获取与参考人脸模型对齐后的H维人脸图像； 获取从参考人脸模型中提取的不同人脸区域的形状带，从H维人脸图像中分割出鼻子区 域、左眼区域、右眼区域、嘴己区域；w及根据分割出的鼻子区域、左眼区域、眼睛区域和嘴 己区域分割出H维人脸图像中的前额区域、左脸颊区域和右脸颊区域。
[0051] 进一步的，人脸区域分割的过程包括：
[0052] (1)获取与参考人脸模型对齐后的H维人脸图像。
[0053] (2)检测出H维人脸图像上的鼻尖点，获取从参考人脸模型中提取的鼻子区域的 形状带，根据鼻尖点和提取的鼻子区域的形状带分割出H维人脸图像中的鼻子区域。
[0054] 本发明实施例中的参考人脸模型，可选取一幅正面无表情变化的H维人脸图像。 本实施例中，可首先检测H维人脸图像上的人脸中也侧影线即面部对称轴，然后在该面部 对称轴上搜索鼻尖点。由于面部主要器官区域如眼窝、外眼角和鼻尖的几何形状索引特征 显示出一定的聚焦性，便于与周围区域分开，可W结合人脸表面形状的先验信息和形状索 引值进行面部关键点定位。为了提取面部对称轴，可采用基于表面曲率的形状索引值作为 对称描述符，它对旋转和平移具有不变性。对于H维人脸表面上的每个点，给定最大曲率值 ki和最小曲率值k,，可W计算表面点Pi的形状索引值为：
[00巧]
(1)
[0056] 左/右外侧鼻基点可使用形状索引值检测到，鼻子边界处马鞍状几何区域具有形 状索引值近似0. 375的特性，因此可W根据表面点的形状索引值提取出类似马鞍状的鼻子 边界线。搜索到鼻尖点后，即可根据从参考人脸模型中提取的鼻子区域的形状带来确定H 维人脸图像上的鼻子的边界轮廓，从而分割出H维人脸图像中的鼻子区域。形状带是模型 目标对象（即参考人脸模型）在轮廓内的特定带宽数据。采用形状索引值提取鼻子边界线， 易于提取较低的鼻子边界轮廓，沿着鼻子边界线最左和最右的鼻子边界点分别作为最左和 最右像素。
[0057] (3)分别检测出H维人脸图像上的左眼和右眼的内眼角位置，获取从参考人脸模 型中提取的眼睛区域的形状带，根据内眼角位置和提取出的眼睛区域的形状带分割出H维 人脸图像中的左眼区域和右眼区域。
[0058] 由于左/右内眼角位置的点位于鼻子W上区域，且具有似圆锥的形状结构，其特 点是该位置的高斯曲率值近似为零。可使用一个3*3的搜索窗口在人脸区域上进行搜索， 比如，在鼻尖W上区域进行搜索。当搜索到鼻尖W上区域且高斯曲率值近似为零的区域，贝U 为内眼角位置。获取到两个内眼角位置后，则可结合从参考人脸模型中提取的眼睛区域的 形状带来确定左眼区域和右眼区域。
[0059] (4)获取从