047]图4是示出了根据本发明实施例的3D脸部标准模型以及通过匹配该3D脸部标准模型而创建的最终的3D脸部模型的视图。
[0048]参考图4，根据本发明实施例的401表示之前创建的3D脸部标准模型。该之前创建的3D脸部标准模型具有标记，该标记用于与在3D脸部网格创建过程中创建的3D脸部网格400匹配，并且该之前创建的3D脸部标准模型还被结构化成将脸部分成多个区域，并且控制所分的区域以便于容易地变形。因此，通过图2的步骤S107和S108匹配的最终3D脸部模型可具有与3D脸部标准模型相同的网格结构，并且因此，其可容易地变形。
[0049]根据如上述的用于采用便携式相机获得3D脸部模型的方法和装置，个人可容易地通过使用诸如智能手机等的便携式相机或者DSLR相机，以低的成本容易地对用户的3D脸部建模，而无需使用特定目的的扫描设备或者单独的高价相机，并且不需要必须到相应的设备安装的位置。
[0050]而且，根据本发明的实施例，可获得高质量的、逼真的3D模型，而不是仅利用成像脸部的有限数量的特征点来创建用于网络空间中游戏或者头像的角色的低质量3D脸部。
[0051]此外，根据本发明的实施例，由于以低成本捕获高质量的3D用户脸部，所述可以更容易地提供逼真的虚拟整形手术服务。而且，由于可以利用用户的3D脸部模型提供多种与脸部相关的虚拟模拟服务，诸如虚拟穿戴如眼镜和耳环等的配件服务、虚拟的发型服务或者3D皮肤化妆服务，所以相关的行业可得到极大发展。
[0052]虽然结合实施例对本发明进行了展示和说明，本发明并不仅限于此。本领域技术人员应当理解，在不脱离本发明的以下权利要求限定的范围的情况下，本发明可作出多种变化和修正。
【主权项】
1.一种采用便携式相机获得三维(3D)脸部模型的装置，包括: 脸部图像捕获单元，配置成捕获多个用户脸部图像； 脸部图像处理单元，配置成从所述捕获的多个用户脸部图像中提取一系列脸部图像；3D脸部网格创建单元，配置成分析所述多个脸部图像的关系以创建3D用户脸部网格；标准脸部模型匹配单元，配置成将3D脸部标准模型与由所述网格创建单元创建的所述3D脸部网格匹配，以产生最终的高质量用户脸部模型； 脸部皮肤纹理合成单元，配置成从所述捕获的多个图像中创建脸部皮肤纹理；以及逼真的脸部绘制单元，配置成通过使用所述用户的高质量3D脸部模型和所述皮肤纹理实施逼真的绘制。2.根据权利要求1所述的装置，其中所述脸部图像捕获单元配置成通过采用便携式相机依赖于图像捕获指导用户界面捕获所述用户脸部的图像，并且随后存储视频和图像。3.根据权利要求1所述的装置，其中所述脸部图像处理单元配置成以预定的间隔从传输的一组连续图像中选择图像，以优化处理性能，并且探测脸部的轮廓线部分，其剩余部分被排除在后期处理目标之外。4.根据权利要求1所述的装置，其中所述3D脸部网格产生单元配置成从一系列优化的图像中提取关键点，分析这些点之间的关系以创建3D点云，并且在3D空间中连接点以创建3D脸部网格。5.根据权利要求1所述的装置，其中所述标准脸部模型匹配单元配置成将所述3D脸部网格与之前建模的高质量标准模型匹配以创建最终的高质量脸部可变形的3D脸部模型，所述标准模型定义了关于脸部可变形的控制点。6.根据权利要求1所述的装置，其中所述脸部皮肤纹理合成单元配置成将所述3D脸部模型转换至UV空间，并且合成用户图像以创建用于脸部皮肤绘制的纹理图。7.根据权利要求1所述的装置，其中所述逼真的脸部绘制单元配置成将脸部皮肤纹理绘制成所述3D脸部模型，并且通过使用模拟皮肤效果的技术实施逼真的脸部绘制。8.一种用于获取三维脸部模型的方法，该方法通过采用便携式相机获得3D脸部模型的装置来获取所述三维脸部模型，该方法包括: 通过采用所述便携式相机，依赖于图像捕获指导用户界面捕获用户脸部的多个图像； 以特定的帧间隔从所述捕获的多个图像中获取图像以探测脸部的轮廓线； 从所述多个预处理的图像中识别关键点，并且分析这些点之间的空间关系以产生3D点云； 连接3D点云的点以创建3D脸部网格； 将预存储的3D脸部标准模型与之前过程中创建的所述3D脸部网格匹配以建模出光滑的高质量3D脸部模型；以及 合成用户脸部图像以创建用于与所述3D脸部模型一起绘图的纹理图。9.根据权利要求8所述的方法，其中，在捕获中，采用所述用户脸部保持静止的方式，通过将所述相机从所述脸部的左侧移动至所述脸部的右侧，或者通过将所述相机从所述脸部的右侧移动至所述脸部的左侧，获取所述用户脸部的多个图像，或者采用相机固定的方式，通过从左侧至右侧旋转所述脸部，或者通过从右侧至左侧旋转所述脸部，获取所述用户脸部的多个图像。10.根据权利要求8所述的方法，其中，在获取中，以预定的间隔从脸部图像捕获过程传递的视频或者一组连续图像中选择最少的图像，通过用于从相应的图像中提取脸部轮廓线的算法提取脸部轮廓线，并且随后实施屏蔽处理以将剩余的区域排除在处理目标之外。11.根据权利要求8所述的方法，其中，在识别中，从图像处理过程传递的所述脸部图像提取关键点，从相邻的图像中搜索相应的关键点并且连接所述相应的关键点，通过实施利用因式分解的空间频率调制算法分析所述图像的所述关键点的结构，从而根据捕获的图像获取相机的属性，例如焦距、角度等，并且基于这些信息，通过对所述关键点实施三角测量创建与所述关键点有关的3D空间中的坐标值。12.根据权利要求8所述的方法，其中，在连接中，通过利用光流技术创建额外的点云，并且随后通过对创建的稠密点云应用三角测量将3D网络创建成稠密的点云。13.根据权利要求8所述的方法，其中，在匹配中，通过使用预存储的高质量3D标准模型的标记在之前过程中创建的3D脸部网络上设置标记，基于相应的标记，利用迭代最近点(ICP)算法使两个模型对准，并且随后所述3D脸部标准模型的所述标记首先被改变成相应位置的所述3D脸部网格的标记，随后所述3D脸部标准模型的其余的顶点通过非线性变形与所述3D脸部网格的顶点匹配。14.根据权利要求8所述的方法，其中，在合成中，创建的3D脸部模型被映射到UV空间，搜索相应于UV坐标的所述用户图像的像素值以创建用户脸部皮肤颜色纹理图，并且随后，为了逼真地描绘，通过使用法向向量、光源位置等，针对所创建的颜色图和所创建的3D脸部模型，创建诸如法向图或者镜面图等的附加文本图。
【专利摘要】本发明公开一种采用便携式相机获得三维脸部模型的方法和装置，该装置包括：脸部图像捕获单元；脸部图像处理单元；3D脸部网格产生单元，配置成分析脸部图像的关系以创建3D用户脸部网格；标准脸部模型匹配单元，配置成使3D脸部标准模型与网格产生单元生成的3D脸部网格匹配以创建最终的高质量用户脸部模型；脸部皮肤纹理合成单元，配置成从捕获的图像创建脸部皮肤纹理；以及逼真的脸部绘制单元，配置成通过使用用户的高质量3D脸部模型以及皮肤纹理，实施逼真的绘制。根据本发明的装置可以以低成本获得高质量的、逼真的3D模型。
【IPC分类】G06T17/30
【公开号】CN104952111
【申请号】CN201410589974
【发明人】金钟旻, 李尚纪, 金万洙, 安敏虎
【申请人】特里库比奇有限公司
【公开日】2015年9月30日
【申请日】2014年10月28日
【公告号】US20150279044