基于三维点云的三维人脸识别装置和方法
【专利摘要】本发明公开一种基于三维点云的三维人脸识别装置和方法，装置包括：对于三维点云特征区域进行定位的特征区域检测单元；将三维点云进行归一化映射到深度图像空间的映射单元；利用不同尺度和方向的Gabor滤波器对三维人脸数据进行不同尺度和方向的响应进行计算的数据计算单元；训练获得的三维人脸数据的视觉词典的储存单元；对于每个像素获得的Gabor响应向量，与视觉词典进行直方图映射的映射计算单元；对于三维人脸数据进行粗分类的分类计算单元；对于三维人脸数据进行识别的识别计算单元。采用本发明的技术方案，对于三维数据的细节纹理描述能力较强，同时对输入三维点云人脸数据的质量适应性更好，因而具有更好的应用前景。
【专利说明】基于三维点云的三维人脸识别装置和方法
【技术领域】
[0001]本发明涉及三维人脸识别【技术领域】，尤其涉及一种基于三维点云的三维人脸识别装置和方法。
【背景技术】
[0002]三维人脸识别相对于二维人脸识别，有着其对光照鲁棒、受姿态以及表情等因素影响较小等优点，因此在三维数据采集技术飞速发展以及三维数据的质量和精度大大提升之后，很多学者都将他们的研宄投入到该领域中。
[0003]CN201010256907提出了三维弯曲不变量的相关特征用来进行人脸特性描述。该方法通过编码三维人脸表面相邻节点的弯曲不变量的局部特征，提取弯曲不变量相关特征；对所述弯曲不变量的相关特征进行签名并采用谱回归进行降维，获得主成分，并运用K最近邻分类方法对三维人脸进行识别。但是由于提取变量相关特征时需要复杂的计算量，因此在效率上限制了该方法的进一步应用；
[0004]CN200910197378提出了一种全自动三维人脸检测和姿势纠正的方法。该方法通过对人脸三维曲面进行多尺度的矩分析，提出了脸部区域特征来粗糙地检测人脸曲面，及提出鼻尖区域特征来准确地定位鼻尖的位置，然后进一步精确地分割出完整的人脸曲面，根据人脸曲面的距离信息提出鼻根区域特征来检测鼻根的位置后，建立了一个人脸坐标系，并据此自动地进行人脸姿势的纠正应用。该专利目的在于对三维人脸数据的姿态进行估计，属于三维人脸识别系统的数据预处理阶段。
[0005]三维人脸识别是三维人脸领域中许多应用的基础性工作。该领域的初始工作大部分是利用三维数据的信息:如曲率，深度等等对人脸进行描述，但是由于三维数据的采集中有很多数据的噪点，因此曲率等特征由于其本身对于噪音的敏感特性，使得其作为三维人脸的特征描述向量在识别结果上精度不高；后面在将三维数据映射到深度图数据后，很多二维人脸的表象特征开始应用到该领域，如主成分分析(PCA)以及Gabor滤波器特征；但是这些特征也有各自的缺点:(I)对于PCA特征，由于其隶属于全局的表象特征，因此对于三维数据的细节纹理描述能力不足(2)对于Gabor滤波器特征，由于三维数据的噪音问题，导致其对于三维人脸数据的描述能力依赖于获取的三维人脸数据的质量。
【发明内容】
[0006]为了解决上述技术问题，本发明公开一种基于三维点云的三维人脸识别装置和方法，本发明采用如下技术方案来解决上述技术问题:
[0007]一种基于三维点云的三维人脸识别装置，其特征在于，包括:
[0008]对于三维点云特征区域进行定位的特征区域检测单元；
[0009]将三维点云进行归一化映射到深度图像空间的映射单元；
[0010]利用不同尺度和方向的Gabor滤波器对三维人脸数据进行不同尺度和方向的响应进行计算的数据计算单元；
[0011]训练获得的三维人脸数据的视觉词典的储存单元；
[0012]对于每个像素获得的Gabor响应向量，与视觉词典进行直方图映射的映射计算单元;
[0013]对于三维人脸数据进行粗分类的分类计算单元；
[0014]对于三维人脸数据进行人脸识别的计算单元。
[0015]优选的，在上述的一种基于三维点云的三维人脸识别装置中，所述特征区域检测单元包括特征提取单元和对特征区域进行判断的特征区域分类器单元。
[0016]优选的，在上述的一种基于三维点云的三维人脸识别装置中，所述特征区域分类器单元为为向量机或者Adaboost。
[0017]优选的，在上述的一种基于三维点云的三维人脸识别装置中，所述特征区域为鼻尖区域。
[0018]本发明还公开一种基于三维点云的三维人脸识别方法，包括如下步骤:
[0019]步骤I数据预处理，首先在三维点云数据中根据数据特性定位出特征区域，作为配准的基准数据，然后对输入三维点云数据与基础人脸数据进行配准；然后利用数据的三维坐标值，将三维点云数据映射为深度图像；在此数据基础上进行表情鲁棒区域的提取；
[0020]步骤2特征提取，进行Gabor特征提取，将得到的Gabor响应向量构成原始图像的Gabor响应向量集合；对于得到的向量组，将每个向量都与三维人脸视觉词典中的每个视觉词汇建立对应关系，从而得到视觉词典直方图；
[0021]步骤3粗分类，基于视觉词典特征向量，得到输入的三维人脸输入所对应的具体粗分类；
[0022]步骤4识别，获取粗分类信息后，将输入数据的视觉词典特征向量与数据库中存储对应粗分类注册数据的特征向量利用最近邻分类器进行对比，实现三维人脸识别。
[0023]优选的，在上述的一种基于三维点云的三维人脸识别方法中，所述特征区域为鼻尖区域，检测鼻尖区域的步骤如下:
[0024]步骤1:确定阈值，确定域平均负有效能量密度的阈值，定义为thr ；
[0025]步骤2:利用深度信息选取待处理数据，利用数据的深度信息，提取在一定深度范围内的人脸数据作为待处理数据；
[0026]步骤3:法向量的计算，计算由深度信息选取出的人脸数据的方向量信息；
[0027]步骤4:区域平均负有效能量密度的计算，按照区域平均负有效能量密度的定义，求出待处理数据中个连通域的平均负有效能量密度，选择其中密度值最大的连通域；
[0028]步骤5:判定是否找到鼻尖区域，当前区域阈值大于预定义的thr时，该区域即为鼻尖区域，否则回到步骤I重新开始循环。
[0029]优选的，在上述的一种基于三维点云的三维人脸识别方法中，输入三维点云数据与基础人脸数据利用ICP算法进行配准。
[0030]优选的，在上述的一种基于三维点云的三维人脸识别方法中，在特征提取步骤中，测试人脸图像输入后，经过Gabor滤波，将任一滤波向量都与其所在位置相对应的视觉分词典中的所有基元词汇比较，通过距离匹配的方式，将其映射到与之距离最为接近的基元上，提取出原始图像的视觉词典直方图特征。
[0031]优选的，在上述的一种基于三维点云的三维人脸识别方法中，粗分类包括训练和识别两部分:在训练时，首先对数据集进行聚类，将所有数据分散到K个子节点中存储，将训练后得到的各个子类的中心作为粗分类参数存储；在粗分类识别时，将输入的数据与各子类参数进行匹配，选出最前的η个子节点数据进行匹配。
[0032]优选的，在上述的一种基于三维点云的三维人脸识别方法中，数据匹配在粗分类选取的子节点中进行，每个子节点返回距离输入数据最近的m个注册数据，在主节点中对此n*m个注册数据，利用最近邻分类器实现人脸识别。
[0033]与现有技术相比，本发明具有如下技术效果:
[0034]采用本发明的方案，作为一个完整的三维人脸识别解决方案，涵盖了数据预处理、数据配准、特征提取以及数据分类的过程，同现有的基于三维点云的三维人脸识别方案相比，本发明的技术方案对于三维数据的细节纹理描述能力较强，同时对输入三维点云人脸数据的质量适应性更好，因而具有更好的应用前景。
【专利附图】
【附图说明】
[0035]图1为本发明系统框图
[0036]图2为本发明流程框图
[0037]图3为本发明三维人脸鼻尖区域示意图
[0038]图4为本发明三维人脸鼻尖区域定位示意图
[0039]图5为本发明不同姿态三维人脸配准示意图
[0040]图6为本发明三维点云数据映射为深度图像的示意图
[0041]图7为本发明三维人脸数据的Gabor滤波响应示意图
[0042]图8为本发明三维人脸视觉词典的K均值聚类获取过程示意图
[0043]图9为本发明三维人脸视觉词典向量特征的建立过程示意图
【具体实施方式】
[0044]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0045]如图1、2所示，本发明公开一种基于三维点云的三维人脸识别装置，具体包括:
[0046]对于三维点云特征区域进行定位的特征区域检测单元；
[0047]将三维点云进行归一化映射到深度图像空间的映射单元；
[0048]利用不同尺度和方向的Gabor滤波器对三维人脸数据进行不同尺度和方向的响应进行计算的数据计算单元；
[0049]训练获得的三维人脸数据的视觉词典的储存单元；
[0050]对于每个像素获得的Gabor响应向量，与视觉词典进行直方图映射的映射计算单元;
[0051]对于三维人脸数据进行粗分类的分类计算单元；
[0052]对于三维人脸数据进行识别的识别计算单元。
[0053]其中，上述的特征区域检测单元包括特征提取单元和对特征区域进行判断的特征区域分类器单元；体征提取单元针对三维点云的各项特性，如数据深度，数据密度以及更进一步计算数据的三维曲率等内在信息，提取点云数据的各种特征；而上述的特征区域分类器单元在上述基础上行数据点的分类计算，判断其是否属于特征区域；分类器可以是各种强分类器，比如支持向量机，Adaboost等。
[0054]由于鼻尖区域具有空点密度大，曲率明显等特性，因此上述特征区域一般为鼻尖区域。
[0055]上述的映射单元按照空间信息的(X，y)作为映射的参考空间位置，空间信息的z值作为映射对应数据值，构建从三维点云到深度图像的映射，将原始三维点云数据按照深度信息映射为深度图像；
[0056]同时由于三维数据采集过程中存在数据噪点(如数据空洞或者数据跳跃点)，可以利用滤波器(如均值滤波)进行数据噪音过滤。
[0057]如图1、2所示，本发明同时公开一种基于三维点云的三维人脸识别方法，包括如下步骤:
[0058]步骤I数据预处理，首先在三维点云数据中根据数据特性定位出特征区域，作为配准的基准数据，然后对输入三维点云数据与基础人脸数据进行配准；然后利用数据的三维坐标值，将三维点云数据映射为深度图像；在此数据基础上进行表情鲁棒区域的提取；
[0059]步骤2特征提取，进行Gabor特征提取，将得到的Gabor响应向量构成原始图像的Gabor响应向量集合；对于得到的向量组，将每个向量都与三维人脸视觉词典中的每个视觉词汇建立对应关系，从而得到视觉词典直方图；
[0060]步骤3粗分类，基于视觉词典特征向量，得到输入的三维人脸输入所对应的具体粗分类；
[0061]步骤4识别，获取粗分类信息后，将输入数据的视觉词典特征向量与数据库中存储对应粗分类注册数据的特征向量利用最近邻分类器进行对比，实现三维人脸识别。
[0062]如图3、4所示，三维鼻尖区域具有最高的z值(深度值)，明显的曲率值以及较大的数据密度值，因此适合作为数据配准的参考区域。在本发明中，特征区域为鼻尖区域，检测鼻尖区域的步骤如下:
[0063]步骤1:确定阈值，确定域平均负有效能量密度的阈值，定义为thr ；
[0064]步骤2:利用深度信息选取待处理数据，利用数据的深度信息，提取在一定深度范围内的人脸数据作为待处理数据；
[0065]步骤3:法向量的计算，计算由深度信息选取出的人脸数据的方向量信息；
[0066]步骤4:区域平均负有效能量密度的计算，按照区域平均负有效能量密度的定义，求出待处理数据中个连通域的平均负有效能量密度，选择其中密度值最大的连通域；
[0067]步骤5:判定是否找到鼻尖区域，当前区域阈值大于预定义的thr时，该区域即为鼻尖区域，否则回到步骤I重新开始循环。
[0068]如图5所示，对于不同姿态的三维数据，得到配准的参考区域即鼻尖区域后，按照ICP算法进行数据的配准；配准前后的对比如图所示。
[0069]图6为数据由三维点云映射到深度图像的示意图。将不同姿态的三维数据与参考区域进行配准后，首先按照深度信息进行深度图像的获取，然后利用滤波器对于映射后的深度图像中的噪音点(数据突起点或者空洞点)进行补偿去噪，最后对表情鲁棒区域进行选择，得到最终的三维人脸深度图像。
[0070]图7是三维人脸数据的Gabor滤波响应示意图。对于每一个尺度每一个方向，三维深度图像都会得到其对应的频域响应。例如四个方向和五个尺度的Gabor核函数，则可以得到20个频域响应图像。每一个深度图像的像素点，则得到一个对应的20维频域响应向量。
[0071]图8是三维人脸视觉词典的K均值聚类获取过程。该视觉词典是在三维人脸数据训练集中通过对大量数据的Gabor滤波响应向量集合进行K均值聚类获取的。在实验数据中，每幅深度人脸图像的大小是80*120。任意选取100幅中性表情人脸图像作为训练集。如果将这些图像的Gabor滤波响应向量数据直接存入一个三维张量中，其规模将会是5*4*80*120*100，包括了 960000个20维向量。对于K均值聚类算法来说这是非常巨大的数据量。为了解决这个问题，需要将人脸数据首先分割成一系列局部纹理图像，并对每个局部纹理分配一个三维张量以存储其Gabor滤波响应数据。这样通过将原始数据分解，每个局部纹理三维张量的大小为5*4*20*20*100，是原数据规模的1/24，大大提高了算法的效率。
[0072]图9说明了三维深度图像的视觉词典直方图特征向量提取流程。当测试人脸图像输入后，经过Gabor滤波后，将任一滤波向量都与其所在位置相对应的视觉分词典中的所有基元词汇比较，通过距离匹配的方式，把它映射到与之距离最为接近的基元上。通过这种方式，就可以提取出原始深度图像的视觉词典直方图特征。其大致流程总结如下:
[0073]将三维人脸深度图像分割成一些局部纹理区域；
[0074]对于每个Gabor滤波响应向量，按照位置的不同将其映射到其对应的视觉分词典的词汇中，并依此为基础建立视觉词典直方图向量作为三维人脸的特诊表达；
[0075]将最近邻分类器用来作为最后的人脸识别，其中LI距离被选作为距离度量。
[0076]粗分类包括训练和识别两部分:在训练时，首先对数据集进行聚类，将所有数据分散到K个子节点中存储，此处聚类方法可以采用多种方式，如K均值，将训练后得到的各个子类的中心作为粗分类参数存储；在粗分类识别时，将输入的数据与各子类参数(聚类中心)进行匹配，选出最前的η个子节点数据进行匹配，以降低匹配的数据空间，达到缩小搜索范围和加快搜索速度的目的。
[0077]本发明的方案中，聚类方法采用K均值聚类，其具体步骤如下:
[0078](I)对于数据对象集，任意选取K个对象作为初始的类中心；
[0079](2)根据类中对象的平均值，将每个对象重新赋给最相似的类；
[0080](3)更新类的平均值，即计算每个类中对象的平均值；
[0081](4)重复步骤(2) (3)直到不再发生变化。
[0082]数据匹配在粗分类选取的子节点中进行，每个子节点返回距离输入数据最近的m个注册数据，在主节点中对此n*m个注册数据，利用最近邻分类器实现人脸识别。
[0083]获取粗分类信息后，将输入数据的视觉词典特征向量与数据库中存储对应粗分类注册数据的特征向量利用最近邻分类器进行对比，从而实现三维人脸识别的目的。
[0084]采用本发明的方案，作为一个完整的三维人脸识别解决方案，涵盖了数据预处理、数据配准、特征提取以及数据分类的过程，同现有的基于三维点云的三维人脸识别方案相比，本发明的技术方案对于三维数据的细节纹理描述能力较强，同时对输入三维点云人脸数据的质量适应性更好，因而具有更好的应用前景。
[0085]对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
[0086]此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
【权利要求】
1.一种基于三维点云的三维人脸识别装置，其特征在于，包括: 对于三维点云特征区域进行定位的特征区域检测单元； 将三维点云进行归一化映射到深度图像空间的映射单元； 利用不同尺度和方向的Gabor滤波器对三维人脸数据进行不同尺度和方向的响应进行计算的数据计算单元； 训练获得的三维人脸数据的视觉词典的储存单元； 对于每个像素获得的Gabor响应向量，与视觉词典进行直方图映射的映射计算单元； 对于三维人脸数据进行粗分类的分类计算单元； 对于三维人脸数据进行人脸识别的计算单元。
2.根据权利要求1所述一种基于三维点云的三维人脸识别装置，其特征在于:所述特征区域检测单元包括特征提取单元和对特征区域进行判断的特征区域分类器单元。
3.根据权利要求2所述的一种基于三维点云的三维人脸识别装置，其特征在于:所述特征区域分类器单元为为向量机或者Adaboost。
4.根据权利要求1所述的一种基于三维点云的三维人脸识别装置，其特征在于:所述特征区域为鼻尖区域。
5.一种基于三维点云的三维人脸识别方法，其特征在于，包括如下步骤: 步骤I数据预处理，首先在三维点云数据中根据数据特性定位出特征区域，作为配准的基准数据，然后对输入三维点云数据与基础人脸数据进行配准；然后利用数据的三维坐标值，将三维点云数据映射为深度图像；在此数据基础上进行表情鲁棒区域的提取； 步骤2特征提取，进行Gabor特征提取，将得到的Gabor响应向量构成原始图像的Gabor响应向量集合；对于得到的向量组，将每个向量都与三维人脸视觉词典中的每个视觉词汇建立对应关系，从而得到视觉词典直方图； 步骤3粗分类，基于视觉词典特征向量，得到输入的三维人脸输入所对应的具体粗分类； 步骤4识别，获取粗分类信息后，将输入数据的视觉词典特征向量与数据库中存储对应粗分类注册数据的特征向量利用最近邻分类器进行对比，实现三维人脸识别。
6.根据权利要求5所述的一种基于三维点云的人脸识别方法，其特征在于，所述特征区域为鼻尖区域，检测鼻尖区域的步骤如下: 步骤1:确定阈值，确定域平均负有效能量密度的阈值，定义为thr ； 步骤2:利用深度信息选取待处理数据，利用数据的深度信息，提取在一定深度范围内的人脸数据作为待处理数据； 步骤3:法向量的计算，计算由深度信息选取出的人脸数据的方向量信息； 步骤4:区域平均负有效能量密度的计算，按照区域平均负有效能量密度的定义，求出待处理数据中个连通域的平均负有效能量密度，选择其中密度值最大的连通域； 步骤5:判定是否找到鼻尖区域，当前区域阈值大于预定义的thr时，该区域即为鼻尖区域，否则回到步骤I重新开始循环。
7.根据权利要求5所述的一种基于三维点云的三维人脸识别方法，其特征在于，输入三维点云数据与基础人脸数据利用ICP算法进行配准。
8.根据权利要求5所述的一种基于三维点云的三维人脸识别方法，其特征在于，在特征提取步骤中，测试人脸图像输入后，经过Gabor滤波，将任一滤波向量都与其所在位置相对应的视觉分词典中的所有基元词汇比较，通过距离匹配的方式，将其映射到与之距离最为接近的基元上，提取出原始图像的视觉词典直方图特征。
9.根据权利要求5所述的一种基于三维点云的三维人脸识别方法，其特征在于，粗分类包括训练和识别两部分:在训练时，首先对数据集进行聚类，将所有数据分散到K个子节点中存储，将训练后得到的各个子类的中心作为粗分类参数存储；在粗分类识别时，将输入的数据与各子类参数进行匹配，选出最前的η个子节点数据进行匹配。
10.根据权利要求9所述的一种基于三维点云的三维人脸识别方法，其特征在于，数据匹配在粗分类选取的子节点中进行，每个子节点返回距离输入数据最近的m个注册数据，在主节点中对此n*m个注册数据，利用最近邻分类器实现人脸识别。
【文档编号】G06K9/46GK104504410SQ201510006212
【公开日】2015年4月8日 申请日期:2015年1月7日 优先权日:2015年1月7日
【发明者】夏春秋 申请人:深圳市唯特视科技有限公司