三维人脸点云鼻尖检测方法及应用其的数据处理装置的制造方法
【技术领域】
[0001]本发明涉及三维点云数据处理领域，具体涉及一种三维人脸点云鼻尖检测方法及 应用其的数据处理装置。
【背景技术】
[0002] 随着结构光、立体视觉以及激光扫描等三维成像技术的日益成熟，实时的三维数 据采集成为了现实。越来越多的人脸识别研究人员将目光投向了三维人脸识别技术领域。 三维人脸识别技术有望从根本上解决二维人脸识别所面临的"光照、姿态和表情"难题。
[0003] 三维人脸检测是三维人脸识别技术的基础。通过传感器或者立体视觉采集到的点 云往往包含大量的非人脸点云数据。这些区域对于三维人脸识别而言属于无用信息，会影 响后期人脸识别效果。因此从三维场景点云数据中检测出人脸是三维人脸识别的关键环
[0004] 目前大部分的三维人脸识别技术都没有过多考虑如何自动地进行人脸检测，更多 的是假定人脸数据已经获得的前提下进行三维人脸识别，或者严重依赖于手工切割的方式 提取人脸区域。其他三维人脸检测技术或者仅依赖鼻尖轮廓处的几何特征，或者结合二维 纹理信息来定位鼻尖位置，定位精度比较低。现有技术中，仅依赖鼻尖轮廓处几何特征的鼻 尖检测技术没有充分利用人脸其他结构如眼睛、嘴巴等与鼻尖的空间关系。而结合二维纹 理信息技术在仅能获得三维点云数据的情况下会失效。
【发明内容】
[0005] 有鉴于此，本发明提供一种三维人脸点云鼻尖检测方法及应用其的数据处理装 置，以提高鼻尖检测的可靠性和精确性，解决三维人脸识别过程中的人脸定位问题。
[0006] 第一方面，提供一种三维人脸点云鼻尖检测方法，包括：
[0007] 训练步骤，所述训练步骤包括：
[0008] 根据标识有鼻尖位置的训练样本点云获取训练样本三维局部结构的描述集合，每 个训练样本三维局部结构的描述包括对应三维局部结构的特征向量、类别标记、局部参考 框架以及相对于鼻尖位置的三维空间偏移量，其中所述类别标记用于表示训练样本点云为 正样本或负样本，正样本为包含人脸数据的训练样本点云，负样本为不包含人脸数据的训 练样本点云，所述局部参考框架为用于描述对应三维局部结构的局部参考坐标系；以及
[0009] 以最小化类别不确定性和偏移量不确定性为目标，基于全部训练样本点云的三维 局部结构的描述集合训练随机森林分类模型，所述随机森林分类模型包括多个决策树分类 器，所述决策树分类器的叶子节点存储正训练三维局部结构的局部参考框架、相对于鼻尖 位置的三维空间偏移量以及在该叶子节点上正样本数量的占比，所述决策树分类器的枝节 点存储对应的二元测试函数分类条件，所述二元测试函数分类条件包括分类使用的特征通 道和分类阈值；
[0010] 以及，
[0011 ]检测步骤，所述检测步骤包括：
[0012] 根据待检测样本点云获取待检测三维局部结构的描述集合，每个待检测三维局部 结构的描述包括对应待检测三维局部结构的特征向量和局部参考框架；
[0013] 利用所述随机森林分类模型对待检测点云的每个待检测三维局部结构进行分类， 基于匹配的叶子节点处存储的每一个正样本的空间偏移量和局部参考框架以及待检测三 维局部结构的局部参考框架估计对应的候选鼻尖位置，并基于匹配的叶子节点处的正样本 占比对所述候选鼻尖位置赋予权重以获取霍夫空间；
[0014] 在所述霍夫空间检测极值获取鼻尖位置。
[0015] 优选地，
[0016] 根据标识有鼻尖位置的训练样本点云获取训练样本三维局部结构的描述集合包 括：
[0017] 对标识有鼻尖位置的训练样本点云进行过分割以获取训练样本点云的超体素；
[0018] 基于超体素构建训练样本超体素邻域图；
[0019] 基于所述训练样本超体素邻域图获取训练样本三维局部结构的集合，并进而获取 每个训练样本三维局部结构的特征向量、局部参考框架、类别标记以及相对于鼻尖位置的 三维空间偏移量作为该训练样本三维局部结构的描述。
[0020] 优选地，基于VCCS分割方法来对训练样本点云进行过分割以获取所述训练样本点 云的超体素。
[0021] 优选地，根据待检测样本点云获取待检测三维局部结构的描述集合包括：
[0022] 对待检测样本点云进行过分割以获取待检测样本点云的超体素；
[0023] 基于超体素构建待检测样本超体素邻域图；
[0024] 基于所述待检测样本超体素邻域图获取待检测三维局部结构的集合，并进而获取 每个待检测三维局部结构的特征向量和局部参考框架作为待检测三维局部结构的描述。
[0025] 优选地，基于VCCS分割方法来对待检测样本点云进行过分割以获取所述待检测样 本点云的超体素。
[0026]优选地，基于所述训练样本超体素邻域图获取训练样本三维局部结构的集合包 括：
[0027] 在训练样本邻域图中，获取每个超体素为中心的一阶邻域中的所有超体素作为所 述训练样本三维局部结构；
[0028] 以及，基于所述待检测样本超体素邻域图获取待检测样本三维局部结构的集合包 括：
[0029]在待检测样本超体素邻域图中，获取每个超体素为中心的一阶邻域中的所有超体 素作为待检测样本三维局部结构。
[0030] 优选地，以最小化类别不确定性和偏移量不确定性为目标，基于全部训练样本点 云的训练样本三维局部结构的描述集合训练随机森林分类模型包括：
[0031] 在决策树分类器的不同层，交替地以最小化类别不确定性和偏移量不确定性为目 标，基于如下二元测试函数求取对应的分类条件，直至随机森林中决策树分类器的深度达 到了最大值或到达当前节点的样本数量小于预定阈值：
[0033] 其中，v表示三维局部结构，ae{l，2，...C}表示选取的特征通道，C表示三维局部 结构的特征向量的总维数，τ表示选取的特征通道对应的分类阈值；
[0035]其中，|Α|是三维局部结构Α中超体素的个数，p(l|A)是Α中类别为1的超体素所占 的比例；
[0037]其中，cU是该叶子节点处第i个三维局部结构相对于鼻尖位置的三维空间偏移量， dA是集合A中所有三维局部结构的平均空间偏移量。
[0038]优选地，所述估计候选鼻尖位置包括：
[0039]在待检测样本点云和训练样本点云相互匹配的三维局部结构均为非对称时，基于 局部参考框架来估计待检测三维局部结构与匹配的正样本三维局部结构之间的旋转变换 矩阵，并基于所述旋转变换矩阵和所述匹配叶子节点上的每一个正样本的三维空间偏移量 估计一个对应的候选鼻尖预测位置。
[0040] 第二方面，提供一种数据处理装置，包括处理器，所述处理器适于执行如上所述的 方法。
[0041] 本发明通过利用超体素对三维点云数据进行高效分割，利用超体素邻域来增强人 脸局部结构之间的匹配能力，结合局部参考框架来估计测试人脸姿态与训练样本人脸姿态 的相对几何变换，进而校正三维人脸鼻尖位置的广义霍夫投票过程，提高了系统的人脸鼻 尖位置估计精度和可靠性。
【附图说明】
[0042] 通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和 优点将更为清楚，在附图中：
[0043]图1是本发明实施例的三维人脸点云鼻尖检测方法的流程图；
[0044] 图2是本发明实施例中获取训练三维局部结构的描述集合的步骤的流程图；
[0045] 图3是本发明实施例中构建超体素邻域图的局部不意图；
[0046]图4是本发明实施例中在训练步骤中训练样本点云、基于VCCS方法过分割获得的 超体素以及提取获得训练三维局部结构的示意图；
[0047]