一种自动分割三维人脸模型区域的方法
【专利摘要】本发明公开一种自动分割三维人脸模型区域的方法。输入数据为带纹理的个性化真实感三维人脸模型，一般采用激光扫描仪获取。首先，对三维人脸模型进行正向方位校正，使人脸摆放正面向前；然后对方位校正的三维人脸模型，用预设定的空间参数生成人脸二维图像，对人脸图像进行二维人脸特征点检测；根据图像检测出的二维人脸特征点和预设定的空间参数，逆向计算三维人脸特征点；接下来，利用对应特征将标准的人脸解剖分割模板与三维人脸进行配准对齐，利用对齐的人脸解剖分割模板对三维人脸进行自动分区。本发明实现过程简单、自动化程度高，发明对三维人脸识别、人脸模型娱乐、美容化妆设计以及整形术前预测有重要意义。
【专利说明】
一种自动分割三维人脸模型区域的方法
技术领域
[0001]本发明涉及三维网格分割领域，具体地，涉及一种自动分割三维人脸模型区域的方法。可以应用到三维人脸识别、人脸模型娱乐、美容化妆设计以及美容整形术前预测等领域。
【背景技术】
[0002]近年来，计算机面部美容整形手术模拟系统逐步推广应用。其输入数据一般为激光扫描仪获取的带纹理的个性化真实感三维人脸模型。模拟软件可以帮助医生进行手术前的规划，选择最优手术方案和手术步骤，训练手术中的判断与决策能力，同时方便医患沟通交流。这些手术模拟系统的第一步往往是确定需要美容整形的人脸局部区域，通常需要手工编辑确定，增加了操作的难度。需要一种更加自动的方法分割三维人脸模型区域。
[0003]三维人脸分割与三维人脸识别是密切相关的研究领域，常用于人脸识别的预处理。如鼻子区域匹配的基础往往与人脸姿势矫正有关，鼻子的定位经常作为三维人脸识别的重要步骤。大多数现有的三维人脸正向检测方法，主要是针对正面或侧面姿势。然而，在实际应用中输入三维人脸模型的鼻尖位置不一定是正向的，可能是任意朝向的姿势，虽然使用姿态不变的微分曲面特征分析可以解决这个问题，但是计算量较大。另一方面，二维人脸图像的识别研究相对比较成熟，但是直接的三维人脸模型的识别研究较难，并且计算量比二维人脸图像识别大很多。
【发明内容】
[0004]本发明通所要解决的问题是，针对上述现有技术的不足，提供一种自动分割三维人脸模型区域方法。输入数据为激光扫描仪获取的带纹理的个性化真实感三维人脸模型(由于激光扫描仪一般获取头发模型有问题，人脸模型只包含前面部)。
[0005]本发明所采用的技术方案为:一种自动分割三维人脸模型区域方法，包括以下步骤:
[0006]I)对三维人脸模型进行正向方位校正，使人脸摆放正面向前；
[0007]2)对方位校正的三维人脸模型，用预设定的空间参数生成人脸二维图像，对人脸图像进行二维人脸特征点检测；
[0008]3)根据图像检测出的二维人脸特征点和预设定的空间参数，逆向计算三维人脸特征点；
[0009]4)利用对应特征将标准的人脸解剖分割模板与三维人脸进行配准对齐；
[0010]5)利用对齐的人脸解剖分割模板对三维人脸进行自动分区。
[0011]所述步骤I)，首先采用多分辨率网格和主成分析法确定三维人脸模型的前向、水平和垂直方向，再根据人脸鼻子和嘴巴区域的特征分析确定人脸模型的鼻尖点和正面向上方向。
[0012]由于输入三维人脸模型的初始方向是任意的，因此首先需要将人脸模型校正为正向朝向。对于这个问题，以往的研究通常采用一些姿态不变的表面特征来检测一些关键点，例如，眼睛角和鼻子等，这种方法需要大量计算。基于以下观察:对于缺少背面数据的三维扫描人脸模型，基本形状为半椭球，并且正面是凸出的一面，这个特征可以用来计算三维人脸模型正面的基本方向。但是，直接使用原始三维人脸模型进行计算，结果可能不稳定。本发明具体计算方法如下:首先，采用多分辨率网格技术，分别用45毫米平均边长、和90毫米平均边长生成两个层次的简化人脸网格模型；对45毫米边长人脸模型，采用经典的网格主成分分析法(PCI)分析3个主方向，即确定三维人脸的前后、水平和垂直方向；对90毫米边长人脸模型，计算模型中部中心点和边界点平均中心点，边界点平均中心点指向中部中心点的方向进一步确定人脸模型由后向前的方向。
[0013]对于前后方向已校正的人脸模型，可以方便的确定鼻子尖点。鼻子尖是脸上突出的一部分，可以观察到前后方向的人脸深度信息图中最突出点即为人脸模型的鼻尖点。从而可以进一步根据人脸鼻子和嘴巴区域的特征分析确定人脸模型正面向上方向。具体来说，用经过鼻尖点的局部水平面与人脸模型相交得到I条轮廓曲线;再向上下两侧分别以5毫米为间隔平移水平面4次，得到两组各4条轮廓线。采用典型的曲线特征分析方法，与经鼻尖点的中间轮廓线相似度较高的一组轮廓线认为分布在鼻部区域，相似度较低的一组轮廓线分布在嘴部区域，即可确定人脸正面向上方向。从而将三维人脸模型放置在一个标准的正面和垂直位置。
[0014]所述步骤2)，对方位校正的三维人脸模型，用预设定的空间参数生成人脸二维图像，对人脸图像进行二维人脸特征点检测。
[0015]首先，对三维人脸模型的三维渲染输入预设定的空间参数，包括视图窗口大小、相机位置和方向等，生成背景为纯色的二维人脸图像。二维图像上的人脸特征识别，例如眼睛、眉毛、鼻子、嘴角点等面部标志，是计算机视觉和图形学研究的一个经典问题。近年来，基于图像特征的显式线性回归人脸识别技术具有先进性和准确性，通过从图像上直接研究矢量回归函数来推断整个面部形状(一套面部标志点)，从而减少实验时的对齐误差，并且回归计算高效。本发明利用现有的显式回归方法检测二维人脸图像得到一组68个面部特征点。正前方向生成的人脸图像，可以准确检测脸中侧的人脸特征点。为了提高侧面标志点的检测精度，分别向左侧旋转30°和向右侧旋转30°生成其它2幅人脸图像，可以更准确的检测人脸两侧面的特征点。
[0016]所述步骤3)，根据图像检测出的二维人脸特征点和预设定的空间参数，逆向计算三维人脸特征点。
[0017]从二维人脸特征点计算三维人脸特征点位置的过程，类似于计算机图形中的拾取操作，即实现二维屏幕到三维图形空间的变换，也就是三维图形显示的逆过程。由于保留了生成人脸图像时预设定的空间参数(视图窗口大小、相机位置和方向等)。具体来说，对于要处理的二维人脸特征点，计算其在生成的人脸图像时的屏幕坐标，并将其转换为客户区坐标，实现视区反变换;然后，通过投影矩阵和观察矩阵把该坐标转换为通过视点和屏幕坐标点的一条射入场景的射线，该射线与三维人脸模型进行求交计算，即可得到对应的三维人脸特征点的位置。当计算三维人脸标志点时，没有必要计算所有的二维人脸标志点，只需要计算一些与标准的人脸解剖分割模板相对应的解剖标志点。脸中侧的人脸特征点根据前方向生成的人脸图像进行计算，人脸两侧面的特征点根据左右侧旋转30°生成的人脸图像进行计算。
[0018]所述步骤4)，利用对应特征将标准的人脸解剖分割模板与三维人脸进行配准对齐。
[0019]标准的人脸解剖分割模板是根据人脸解剖知识和美容整形手术需求，由专业建模软件制作，由一组关键点和曲线进行构建，将三维人脸分成18个区域，包括额头区、左右眉毛区，左右颞部区，左右眼部区，左右脸颊区域，左右鼻唇沟区，左右下颂区，鼻部区，鼻下区、上唇区、下唇区和下巴区。标准模板中的部分关键点与步骤3)中计算的三维人脸特征点具有对应关系，用于引导和三维人脸模型配准对齐。先进行基于对应标志点的刚性变换进行配准对齐，然后再进行局部自适应调整进一步改善配准结果。
[0020]所述步骤5)利用对齐的人脸解剖分割模板对三维人脸进行自动分区。
[0021]对配准对齐的人脸解剖分割模板中的网格边向个性化三维人脸进行投影，将这些投影的分割模板网格边作为人脸区域分割的边界轮廓线，即可自动进行三维人脸的区域分割操作。一共可以将将输入的三维人脸模型分割成18个区域，其中每一个区域涉及一种类型的美容整形外科手术的模拟操作。在真正的美容整形外科手术模拟中，不需要提取每一个子区域，而仅仅需要提取模拟手术中感兴趣的子区域。
[0022]与现有技术相比，本发明所具的有益效果为:本发明无需用户交互，所有操作都能够实现自动化;本发明提出自动三维人脸区域分割，减少了以往计算机面部手术模拟系统中确定兴趣区域分割需要多次手动点击，操作复杂的问题;发明对三维人脸识别、人脸模型娱乐、美容化妆设计以及整形术前预测有重要意义。
【附图说明】
[0023]为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中:
[0024]图1为本发明提供自动三维人脸区域分割方法流程图；
[0025]图2为本发明提供具有真实感纹理的三维人脸表面模型图；
[0026]图3为本发明提供人脸多分辨率网格图；(a)原始模型；(b)45毫米边长粗划分网格模型；(c)90毫米边长粗划分网格模型；
[0027]图4为本发明提供鼻子和嘴部区域的水平轮廓线图；
[0028]图5为本发明提供二维人脸图像特征点图；(a)标准正面；(b)左侧旋转30度；(C)右侧旋转30度；
[0029]图6为本发明提供三维人脸模型检测的特征点图；
[0030]图7为本发明提供标准的人脸解剖分割模板与三维人脸模型配准对齐的效果图；[0031 ]图8为本发明提供三维人脸分割成18个区域效果图；
[0032]图9为本发明提供多个三维人脸模型的区域分割效果图。
【具体实施方式】
[0033]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0034]图1为本发明方法步骤:I)对三维人脸模型进行正向方位校正，使人脸摆放正面向前;2)对方位校正的三维人脸模型，用预设定的空间参数生成人脸二维图像，对人脸图像进行二维人脸特征点检测；3)根据图像检测出的二维人脸特征点和预设定的空间参数，逆向计算三维人脸特征点;4)利用对应特征将标准的人脸解剖分割模板与三维人脸进行配准对齐;5)利用对齐的人脸解剖分割模板对三维人脸进行自动分区。
[0035]1.对三维人脸模型进行正向方位校正，使人脸摆放正面向前
[0036]首先采用多分辨率网格和主成分析法确定三维人脸模型的前向、水平和垂直方向，再根据人脸鼻子和嘴巴区域的特征分析确定人脸模型的鼻尖点和正面向上方向。
[0037]由于输入三维人脸模型的初始方向是任意，因此首先需要将人脸模型校正为正向朝向。对于这个问题，以往的研究通常采用一些姿态不变的表面特征来检测一些关键点，例如，眼睛角和鼻子等，这种方法需要大量计算。基于以下观察:对于缺少背面数据的三维扫描人脸模型，如图2所示，基本形状为半椭球，并且正面是凸出的一面，这个特征可以用来计算三维人脸模型正面的基本方向。但是，直接使用原始三维人脸模型进行计算，结果可能不稳定。本发明具体计算方法如下:首先，采用多分辨率网格技术，分别用45毫米平均边长、和90毫米平均边长生成两个层次的简化人脸网格模型，如图3(b-c)所示，；对45毫米边长人脸模型，采用经典的网格主成分分析法(PCI)分析3个主方向，即确定三维人脸的前后、水平和垂直方向；对90毫米边长人脸模型，计算模型中部中心点和边界点平均中心点，边界点平均中心点指向中部中心点的方向进一步确定人脸模型由后向前的方向。
[0038]对于前后方向已校正的人脸模型，可以方便的确定鼻子尖点。鼻子尖是脸上突出的一部分，可以观察到前后方向的人脸深度信息图中最突出点即为人脸模型的鼻尖点。从而可以进一步根据人脸鼻子和嘴巴区域的特征分析确定人脸模型正面向上方向。具体来说，用经过鼻尖点的局部水平面与人脸模型相交得到I条轮廓曲线，如图4箭头所示;再向上下两侧分别以5毫米为间隔平移水平面4次，得到两组各4条轮廓线。采用典型的曲线特征分析方法，与经鼻尖点的中间轮廓线相似度较高的一组轮廓线认为分布在鼻部区域，相似度较低的一组轮廓线分布在嘴部区域，即可确定人脸正面向上方向。从而将三维人脸模型放置在一个标准的正面和垂直位置。
[0039]请参阅图3所示为本发明提供人脸多分辨率网格图；(a)原始模型；(b)45毫米边长粗划分网格模型；(c)90毫米边长粗划分网格模型。
[0040]请参阅图4所示为本发明提供鼻子和嘴部区域的水平轮廓线图。
[0041]2.对方位校正的三维人脸模型，用预设定的空间参数生成人脸二维图像，对人脸图像进行二维人脸特征点检测
[0042]首先，对三维人脸模型的三维渲染输入预设定的空间参数，包括视图窗口大小、相机位置和方向等，生成背景为纯色的二维人脸图像。二维图像上的人脸特征识别，例如眼睛、眉毛、鼻子、嘴角点等面部标志，是计算机视觉和图形学研究的一个经典问题。近年来，基于图像特征的显式线性回归人脸识别技术具有先进性和准确性，通过从图像上直接研究矢量回归函数来推断整个面部形状(一套面部标志点)，从而减少实验时的对齐误差，并且回归计算高效。本发明利用现有的显式回归方法检测二维人脸图像得到一组68个面部特征点，如图5所示。正前方向生成的人脸图像，可以准确检测脸中侧的人脸特征点。为了提高侧面标志点的检测精度，分别向左侧旋转30°和向右侧旋转30°生成其它2幅人脸图像，可以更准确的检测人脸两侧面的特征点。在本发明实现中一张二维人脸图像检测一组特征点，大约需要0.01秒的时间。
[0043]请参阅图5为本发明提供二维人脸图像特征点；(a)标准正面；(b)左侧旋转30度；(c)右侧旋转30度；
[0044]3.根据图像检测出的二维人脸特征点和预设定的空间参数，逆向计算三维人脸特征点
[0045]从二维人脸特征点计算三维人脸特征点位置的过程，类似于计算机图形中的拾取操作，即实现二维屏幕到三维图形空间的变换，也就是三维图形显示的逆过程。由于保留了生成人脸图像时预设定的空间参数(视图窗口大小、相机位置和方向等)。具体来说，对于要处理的二维人脸特征点，计算其在生成的人脸图像时的屏幕坐标，并将其转换为客户区坐标，实现视区反变换;然后，通过投影矩阵和观察矩阵把该坐标转换为通过视点和屏幕坐标点的一条射入场景的射线，该射线与三维人脸模型进行求交计算，即可得到对应的三维人脸特征点的位置。当计算三维人脸标志点时，没有必要计算所有的二维人脸标志点，只需要计算一些与标准的人脸解剖分割模板相对应的解剖标志点，如图6所示，仅对27个三维标志点进行计算。脸中侧的人脸特征点根据前方向生成的人脸图像进行计算，人脸两侧面的特征点根据左右侧旋转30°生成的人脸图像进行计算。
[0046]请参阅图6所示为本发明提供三维人脸模型检测的特征点图。
[0047]4.利用对应特征将标准的人脸解剖分割模板与三维人脸进行配准对齐
[0048]标准的人脸解剖分割模板是根据人脸解剖知识和美容整形手术需求，由专业建模软件制作，由一组关键点和曲线进行构建，将三维人脸分成18个区域，包括额头区、左右眉毛区，左右颞部区，左右眼部区，左右脸颊区域，左右鼻唇沟区，左右下颂区，鼻部区，鼻下区、上唇区、下唇区和下巴区。标准模板中的部分关键点与步骤3)中计算的三维人脸特征点具有对应关系，用于引导和三维人脸模型配准对齐。先进行基于对应标志点的刚性变换进行配准对齐，如图7所示，然后再进行局部自适应调整进一步改善配准结果。
[0049]请参阅图7所示为本发明提供三维人脸模型与标志人脸解剖模板配准对齐的效果图。
[0050]5.利用对齐的人脸解剖分割模板对三维人脸进行自动分区
[0051]对配准对齐的人脸解剖分割模板中的网格边向个性化三维人脸进行投影，将这些投影的分割模板网格边作为人脸区域分割的边界轮廓线，即可自动进行三维人脸的区域分割操作。一共可以将将输入的三维人脸模型分割成18个区域，其中每一个区域涉及一种类型的美容整形外科手术的模拟操作。在真正的美容整形外科手术模拟中，不需要提取每一个子区域，而仅仅需要提取模拟手术中感兴趣的子区域。图8展示了将输入的三维人脸模型分割成18个区域，图9展示了三维人脸模型更多的分割结果。
[0052]请参阅图8所示为本发明提供三维人脸分割成18个区域效果图。
[0053]请参阅图9所示为本发明提供其他三维人脸模型的三维解剖分割区域效果图。
【主权项】
1.一种自动分割三维人脸模型区域的方法，其特征在于，包括以下步骤: 1)对三维人脸模型进行正向方位校正，使人脸摆放正面向前； 2)对正向方位校正的三维人脸模型，用预设定的空间参数生成人脸二维图像，对人脸图像进行二维人脸特征点检测； 3)根据图像检测出的二维人脸特征点和预设定的空间参数，逆向计算三维人脸特征占.V ， 4)利用对应特征将标准的人脸解剖分割模板与三维人脸进行配准对齐； 5)利用对齐的人脸解剖分割模板对三维人脸进行自动分区。2.根据权利要求1所述的自动分割三维人脸模型区域方法，其特征在于，所述步骤I)中，首先采用多分辨率网格和主成分析法确定三维人脸模型的前向、水平和垂直方向，再根据人脸鼻子和嘴巴区域的特征分析确定人脸模型的鼻尖点和正面向上方向。3.根据权利要求2所述自动分割三维人脸模型区域方法，其特征在于，对于确定了前向、水平和垂直方向的三维人脸模型，利用前后方向的深度信息确定人脸模型的鼻尖点，然后用经过鼻尖点的局部水平面与人脸模型相交得到I条轮廓曲线;再向上下两侧分别以5毫米为间隔平移水平面4次，得到两组各4条轮廓线，*采用曲线特征分析，与经鼻尖点的中间轮廓线相似度较高的一组轮廓线认为分布在鼻部区域，相似度较低的一组轮廓线分布在嘴部区域，确定人脸正面向上方向。4.根据权利要求1所述的自动分割三维人脸模型区域方法，其特征在于，所述步骤4)中，标准的人脸解剖分割模板是根据人脸解剖知识和美容整形手术需求，由专业建模软件制作，由一组关键点和曲线进行构建，将三维人脸分成18个区域，包括额头区、左右眉毛区，左右颞部区，左右眼部区，左右脸颊区域，左右鼻唇沟区，左右下颂区，鼻部区，鼻下区、上唇区、下唇区和下巴区，标准模板中的部分关键点与步骤3)中计算的三维人脸特征点具有对应关系，用于引导三维人脸模型配准对齐。
【文档编号】G06T7/00GK105913416SQ201610210450
【公开日】2016年8月31日
【申请日】2016年4月6日
【发明人】廖胜辉, 罗雄, 夏佳志, 梁毅雄, 邹北骥, 王磊, 陈再良
【申请人】中南大学