一种脸部实时三维重建方法与流程

本发明属于图像处理和三维重建技术领域，具体涉及一种脸部实时三维重建方法。

背景技术：

实时三维重建技术是计算机视觉领域和计算机图像处理领域的一个重要研究方向，人脸三维模型更是一个研究热点。随着三维技术的发展，三维模型广泛应用于工业自动化、数字医疗、自动驾驶辅助系统和机器人应用等场景中。获取三维信息主要依靠结构光散斑编码技术和双目立体视觉技术，其中，结构光散斑编码技术是红外投射器向物体表面投射特定的编码图案，经由漫反射形成散斑点，由图像传感器采集编码信息并解码，以恢复物体的深度信息；双目立体视觉技术是通过从不同角度拍摄多幅图像，然后通过特征匹配算法寻找特征点，结合摄像机内外参数并加以极线约束，以此来获取物体的空间三维坐标。结构光散斑编码技术速度快、精度高、鲁棒性高、不受物体表面形状和自然光照条件的影响，相对双目立体视觉技术具有更广的应用范围。

相对于一般物体的三维重建方法，脸部三维重建要求点云精度高、噪声小、实时输出三维模型。已有的三维重建方法计算量大、运算时间长、精度不足。点云三角网格化的算法有delaunay三角网格重构法、贪婪三角投影算法、泊松重建、mc重建等方法，但是这些方法运算量大，在点云较大时无法实时生成三维模型。

技术实现要素：

针对现有技术中存在的运算量大、精度不足的问题，本发明提供一种脸部实时三维重建方法，通过在点云预处理时构建良好的点云拓扑结构，能够有效提高三维重建的精度和实时性，获得准确的脸部三维模型。

一种脸部实时三维重建方法，包括如下步骤：

s100：通过深度感知设备获取点云数据；

s200：对点云数据进行预处理形成前景点云，所述预处理包括点云背景滤除、精简和去噪；

s300：从前景点云中提取脸部点云，并将脸部点云与躯干点云进行分割；

s400：采用icp算法对本帧脸部点云与上一帧预处理过的脸部点云进行配准，将不同坐标系下的脸部点云旋转、平移到同一坐标系，通过快速网格化和拉普拉斯平滑，重建当前帧点云的三维模型；

s500：重复执行步骤s100-步骤s400，实时生成脸部三维模型。

可选的，在步骤s200中，所述点云背景滤除指通过选取深度值即点云z坐标的范围以去除点云中的冗余背景信息。

可选的，在步骤s200中，所述点云精简采用包围盒法、均匀网格法、三角网格法和曲率采样法中任意一种。

可选的，所述包围盒法包括：

1)将点云所在区域按照实际物理区间等距离划分为若干立方体；

2)每个立方体中保留一个数据点，将所述数据点作为该立方体中所有点云的中心。

可选的，在步骤s200中，所述点云去噪指将立方体中具有相似性质的点划归到同一个集合中。

可选的，所述点云z坐标的范围为200mm-600mm。

可选的，所述立方体体积设为1mm×1mm×1mm或2mm×2mm×2mm。

可选的，所述采用icp算法对本帧脸部点云与上一帧预处理过的脸部点云进行配准具体包括：：

1)通过张正友标定法标定深度相机的内参；

2)拍摄上一帧深度图和本帧深度图，提取特征点集p＝{p1，p2，…pn}和q＝{q1，q2，…qn}，pi和qi为两帧深度图对应的特征点；

3)根据匹配的特征点求解本征矩阵e，通过分解得到旋转矩阵r和平移矩阵t；

4)将旋转矩阵r和平移矩阵t作为icp算法的初始变换矩阵。

可选的，所述重建当前帧点云的三维模型是指在得到所述初始变换矩阵后，采用有序点云连线的方式进行重建，具体包括：

1)设置初始点p(i，j)＝p(1，1)，i＝j＝1；

2)以初始点p(i，j)为中心点，依次生成三角面片；

3)i＝i+2，j＝j+2，返回2)，直到i小于初始变换矩阵的行数且j小于初始变换矩阵的列数。

与现有技术相比，本发明的有益效果为：

1、与传统三维重建方法相比，本发明利用深度相机可以实现实时、高精度人脸三维重建处理流程，解决了传统的因算法精度低或者计算量过于庞大而无法实时生成三维模型的问题；

2、本发明能够不借助rgb信息快速识别脸部位置，速度较快，生成一帧脸部三维模型的时间在0.07秒以内。

附图说明

图1为本发明实施例提供的一种脸部实时三维重建方法流程图；

图2为本发明实施例的检测定位脸部示意图；

图3为本发明实施例的点云快速网格化示意图。

具体实施方式

为了进一步理解本发明，下面结合附图和实施例对本发明的技术方案进行详细描述。

在一个实施例中，如图1所示，一种脸部实时三维重建方法，包括：

步骤s100：通过深度感知设备获取点云数据帧；

步骤s200：对点云数据进行预处理形成前景点云，所述预处理包括点云背景滤除、精简和去噪；

步骤s300：从前景点云中提取脸部点云，并将脸部点云与躯干点云进行分割；

步骤s400：采用icp算法对本帧脸部点云与上一帧预处理过的脸部点云进行配准，将不同坐标系下的脸部点云旋转、平移到同一坐标系，通过快速网格化和拉普拉斯平滑，重建当前帧点云的三维模型；

步骤s500：重复执行步骤s100-步骤s400，实时生成脸部三维模型。

本发明利用深度相机能够实时、高精度的实现人脸三维重建，克服了传统方法中因算法精度低或计算量庞大不能实时生成人脸三维模型的问题；本发明通过对点云数据进行预处理构建良好的点云拓扑结构，再通过icp算法对点云数据进行配准，而不需借助rgb信息，能够快速识别脸部位置并构建脸部三维模型。

在一个实施例中，在步骤s100的具体实施例中，通过深度感知设备获取空间中的点云数据，所述点云数据是指在一个三维坐标系统中的一组向量的集合，这些向量通常以(x，y，z)三维坐标的形式表示，而且一般主要用来代表一个物体的外表面形状。此外，除(x，y，z)代表的几何位置信息之外，点云数据还可以表示一个点的rgb颜色，灰度值，深度和分割结果。

在一个实施例中，在步骤s200的具体实施例中，需要对获取的点云数据进行预处理，本实施例中的预处理包含点云背景滤除、点云精简和点云去噪。其一，从深度感知设备直接获取的点云数据流中包含有大量的冗余背景信息，因此，需要进行点云背景滤除，即通过选取深度值也就是点云z坐标的范围以去除点云中的冗余背景信息，本实施例中，点云z坐标的范围优选为200mm-600mm；其二，当点云数据较为稠密时，可采用包围盒法、均匀网格法、三角网格法和曲率采样法进行数据精简，本实施例优选采用包围盒法，即将点云所在区域按照实际物理区间等距离划分为若干个立方体，每个立方体体积设为1mm×1mm×1mm或2mm×2mm×2mm，且每个立方体只保留一个数据点，所保留的数据点即作为该立方体中所有点云的中心。同时，点云中存在大量噪声，采用区域生长算法将立方体中具有相似性质的点划归到同一个集合中，可以有效去除点云中漂浮的成块噪声和离群点噪声。

在一个实施例中，在步骤s300的具体实施例中，对脸部进行提取，生成脸部点云，具体如图2所示。点云经过背景滤除、精简去噪后形成前景点云，进一步地，从前景点云中去除脖颈、身体等点云而仅保留脸部点云；更进一步地，将脸部点云与躯干点云进行分割。在前景点云中，在y方向即竖直方向上求其拉普拉斯算子，公式如下：

其中，z(n)表示竖直方向上第n个点的深度值。在人脸与下巴交界的地方点云的深度值快速变化，即拉普拉斯算子的值较大，从而很好的将人脸与人体躯干分割开。

在一个实施例中，在步骤s400的具体实施例中，采用传统的icp算法对本帧脸部点云与上一帧预处理过的脸部点云进行配准，将不同坐标系下的脸部点云旋转、平移到同一坐标系，具体包括：

1)通过张正友标定法标定深度相机的内参；

2)拍摄上一帧深度图和本帧深度图，提取特征点集p＝{p1，p2，…pn}和q＝{q1，q2，…qn}，pi和qi为两帧深度图对应的特征点；

3)根据匹配的特征点求解本征矩阵e，通过分解得到旋转矩阵r和平移矩阵t；

4)将旋转矩阵r和平移矩阵t作为icp算法的初始变换矩阵。

得到初始变换矩阵后，如图3所示，采用有序点云连线的方式进行脸部三维模型的重建，具体包括。

1)有序点云，设初始点p(i，j)＝p(1，1)，i＝j＝1；

2)以p(i，j)为中心点，依次生成三角面片：{p(i，j)，p(i-1，j-1)，p(i-1，j)}，{p(i，j)，p(i-1，j)，p(i-1，j+1)}，{p(i，j)，p(i-1，j+1)，p(i，j+1)}，{p(i，j)，p(i，j+1)，p(i+1，j+1)}，{p(i，j)，p(i+1，j+1)，p(i+1，j)}，{p(i，j)，p(i+1，j)，p(i+1，j-1)}，{p(i，j)，p(i+1，j-1)，p(i，j-1)}，{p(i，j)，p(i，j-1)，p(i-1，j-1)}；

3)i＝i+2，j＝j+2，返回步骤2)，直到i小于初始变换矩阵的行数且j小于初始变换矩阵的列数。

脸部三维模型重建完成后，对该脸部三维模型进行拉普拉斯平滑，具体实施方式为：在网格中，设一个点p所连接的所有点的集合为sp，取sp中所有点的中心点作为点p更新后的点，依照此方式对点云中的所有点进行迭代，能够生成当前帧点云的三维模型。

在一个实施例中，在步骤s500的具体实施例中，重复执行步骤s100-步骤s400，能够最终实时生成脸部三维模型。

本发明利用深度相机可以实现实时的、高精度的人脸三维重建处理流程，解决了传统的算法精度低或者计算量过于庞大而无法实时生成三维模型的问题。另外，本发明能够不借助rgb信息快速识别脸部位置，生成一帧脸部三维模型的时间在0.07秒以内，同时具备良好效果。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，也应视为本发明的保护范围。