采用便携式相机获得三维脸部模型的方法和装置的制造方法
【技术领域】
[0001]本发明涉及一种用于使用相机创建三维(3D)脸部模型的方法和装置，尤其涉及一种用于从一系列由相机捕获的连续图像中产生高质量的、逼真的3D脸部模型的方法和
>j-U ρ?α装直。
【背景技术】
[0002]采用相机创建3D脸部模型的方法包括采用多个同步相机的方法和采用单独一个相机的方法。在采用多个同步相机的情况下，多个高分辨率的相机布置在固定的位置，而且在这种情况下，相机可以包括深度相机以及彩色相机。在这种方式中，采用相机一次获得多个校准图像以创建3D脸部模型。
[0003]采用这种方法，由于可以在一瞬间获得脸部图像，并且使用的是已经同步的相机信息，所以可以在短时间内创建3D脸部模型。然而，通常来说，需要高价的设备，并且需要大的空间来将相机布置在固定的位置，这导致高的安装成本，并且对普通用户来说存在成本和空间的限制。
[0004]为了采用单独一个相机创建3D脸部模型，脸部需要多次成像以获得一个或者多个图像。首先，搜索多个脸部的特征点(接近眼睛、鼻子和嘴巴的点)，并且分析特征点的相互关系以获得3D空间中的坐标。将已经创建的与3D模型对应的点变形以获得用户的3D脸部模型。然而，创建的特征点的数量仅仅是几十个点，这在三维方向上精确地将人们的各种脸部形状恢复成能够虚拟整形手术(virtual plastic surgey)的水平方面还存在限制。
【发明内容】
[0005]考虑到上述内容，因此，本发明提供一种从利用相机捕获的一系列连续图像中产生高质量的、逼实的3D脸部模型的方法和装置。
[0006]从下面的描述本领域的技术人员将明显地理解，本发明的技术问题并不局限于上述的内容和其它这里没有提及的技术问题。
[0007]根据本发明的一个方案，提供了一种采用便携式相机获得三维(3D)脸部模型的装置，其包括:脸部图像捕获单元，配置成捕获多个用户脸部图像；脸部图像处理单元，配置成从捕获的多个用户脸部图像提取一系列的脸部图像；3D脸部网格产生单元，配置成分析多个脸部图像的关系以产生3D用户脸部网格；标准脸部模型匹配单元，配置成使3D脸部标准模型与网格创建单元创建的3D脸部网格匹配以创建最终的高质量的用户脸部模型；脸部皮肤纹理合成单元，配置成从捕获的多个图像创建脸部皮肤纹理；以及逼真的脸部绘制(rendering)单元，配置成通过使用用户的高质量的3D脸部模型以及皮肤纹理实施逼真的绘制。
[0008]在实施例中，其中脸部图像捕获单元配置成通过使用便携式相机依赖于图像捕获指导用户界面(UI)捕获用户脸部的图像，并且随后存储视频和图像。
[0009]在实施例中，其中脸部图像处理单元配置成以预定的间隔从传输的一组连续图像中选择图像以优化处理过程，并且探测脸部的轮廓线(counter line)部分，其余的部分被排出在后期处理目标之外。
[0010]在实施例中，其中3D脸部网格创建单元配置成从一系列优化的图像中提取关键点，分析这些点之间的关系以创建3D点云，并且在3D空间中连接点以创建3D脸部网格。
[0011]在实施例中，其中标准脸部模型匹配单元配置成将所述3D脸部网格与之前建模的高质量的标准模型匹配以创建最终的高质量脸部可变形的3D脸部模型，所述标准模型定义了关于脸部可变形的控制点。
[0012]在实施例中，其中脸部皮肤纹理合成单元配置成将3D脸部模型转换至UV空间，并且合成用户图像以创建用于脸部皮肤绘制的纹理图(map)。
[0013]在实施例中，其中逼真的脸部绘制单元配置成将脸部皮肤纹理绘制成3D脸部模型，并且通过使用模拟皮肤效果的技术实施逼真的脸部绘制。
[0014]根据本发明的一个方案，提供了一种获取三维(3D)脸部模型的方法，该方法通过采用便携式相机获得3D脸部模型的装置来获取所述三维(3D)脸部模型，该方法包括:通过使用便携式相机依赖于图像捕获指导用户界面(UI)捕获用户脸部图像；以特定的帧间隔从捕获的多个图像中获得多个图像以探测脸部轮廓线；从所述多个预处理的图像中识别关键点并且分析这些点之间的空间关系以创建3D点云；连接3D点云的点以创建3D脸部网格；使预先存储的3D脸部标准模型与之前过程中创建的3D脸部网格匹配，以模拟出光滑的高质量的3D脸部模型；以及合成用户脸部图像以创建用于与所述3D脸部模型一起绘图的纹理图。
[0015]在实施例中，其中，在捕获中，采用所述用户脸部保持静止的方式，通过将所述相机从所述脸部的左侧移动至所述脸部的右侧，或者通过将所述相机从所述脸部的右侧移动至所述脸部的左侧，获取所述用户脸部的多个图像，或者采用相机固定的方式，通过从左侧至右侧旋转所述脸部，或者通过从右侧至左侧旋转所述脸部，获取用户脸部的多个图像。
[0016]在实施例中，其中，在获取中，以预定的间从脸部图像捕获过程传递的视频或者系列连续的图像中隔选择最少的图像，通过用于从相应的图像中提取脸部轮廓线的算法提取脸部轮廓线，并且随后实施屏蔽处理以将剩余的区域排除在处理目标之外。
[0017]在实施例中，其中，在识别中，从图像处理过程传递的脸部图像中提取关键点，从相邻的图像中搜索相应的关键点并且连接所述相应的关键点，通过实施利用因式分解(factorizat1n)的空间频率调制(Sfm)算法分析所述图像的所述关键点的结构,从而根据捕获的图像获取相机的属性，例如焦距、角度等，并且基于这些信息，通过对关键点实施三角测量(triangulat1n)创建与所述关键点有关的3D空间中的坐标值。
[0018]在实施例中，其中，在连接中，通过利用光流技术创建额外的点云，并且随后通过对所述创建的稠密点云应用三角测量将3D网络创建成稠密的点云。
[0019]在实施例中，其中，在匹配中，通过使用预存储的高质量3D标准模型的标记在之前过程中创建的3D脸部网络上设置标记，基于相应的标记，利用迭代最近点(ICP)算法使两个模型对准，并且随后，所述3D脸部标准模型的所述标记首先被改变成相应位置的所述3D脸部网格的标记，随后所述3D脸部标准模型的其余的顶点(vertice)通过非线性变形与所述3D脸部网格的顶点匹配。
[0020]在实施例中，其中，在合成中，创建的3D脸部模型被绘制到UV空间，搜索相应于UV坐标的用户图像的像素值以创建用户脸部皮肤颜色纹理图，并且随后，为了逼真地描绘，通过使用法向向量、光源位置等，针对所创建的颜色图和所创建的3D脸部模型，创建诸如法向图(normal map)或者镜面图(specular map)等的附加文本图。
【附图说明】
[0021]专利或者申请文件包括至少一个在彩色下可执行的图片。在请求和缴纳必要费用之后，包含彩色图片的该专利文本或者专利申请公开文本将由政府部门提供。
[0022]本发明的上述以及其它的目的和特征将从以下结合附图的实施例的描述变得清楚，附图中:
[0023]图1是示出了根据本发明实施例的用于采用便携式相机获得3D脸部模型的装置的视图；
[0024]图2是示出了根据本发明实施例的采用便携式相机获得3D脸部模型的过程的流程图；
[0025]图3是示出了根据本发明实施例的从由便携式