一种自动多视角人脸自拍图像的三维人脸重建方法及系统的制作方法
【技术领域】
[0001] 本发明涉及计算机视觉领域，特别涉及一种自动多视角人脸自拍图像的三维人脸 重建方法及系统。
【背景技术】
[0002] 人脸重建是三维重建的重要研究方向之一，在影视、游戏、三维人脸识别等领域有 着广泛的应用前景，受到计算机图形学、计算机视觉、机器视觉、计算机辅助设计等领域研 究者的重视。从数据采集的角度出发，三维人脸重建主要分为主动测距设备和被动成像设 备。主动测距设备如激光扫描仪，能够扫描得到静态物体精确的三维信息，然而其价格昂 贵、扫描时间长、扫描范围有限，很难用于实时性要求较高的应用；相对的，深度摄像机能够 实时采集动态物体，然而其对应生成的深度图分辨率低、精度低、噪声大。被动成像设备使 用最普遍的是摄像机，由于设备简单价格低廉，且目前已存在大量二维人脸图像，因此从多 视角二维人脸图像中恢复三维人脸结构的方法得到广泛关注。由于人脸图像纹理稀疏，因 此需要解决特征点匹配过程中存在的二义性问题。
[0003] 文献【Y.Lin,G.Medioni,andJ.Choi.Accurate3dfacereconstructionfrom weaklycalibratedwidebaselineimageswithprofilecontours.InComputer VisionandPatternRecognition(CVPR), 2010IEEEConferenceon,pages1490 - 1497. IEEE，2010.】提出一种弱标定条件下，基于宽基线的多视角人脸重建方法。该方法输入五个 不同姿态（〇度正脸、正负45度、正负90度侧脸）下的人脸图像，。通过寻找任意三个相邻 视角下稳定的匹配点估计摄像机相对位置关系，再结合多视角颜色一致性、平滑性以及侧 面人脸轮廓信息分别在圆柱坐标系下水平、垂直方向建立基于体素的目标函数并求解。但 是，实际应用中，自动获取的侧面轮廓往往无法满足重建精度的要求；另一方面，从实验结 果看到，该方法重建的人脸模型在某些视角下存在较大形变。由于人脸图像纹理特征稀疏， 该类基于特征点匹配的方法在找不到对应点时便会失效。
[0004] 文献【H.HanandA.K.Jain. 3dfacetexturemodelingfromuncalibrated frontalandprofileimages.InBiometrics:Theory,ApplicationsandSystems (BTAS)，2〇12IEEEFifthInternationalConferenceon,pages223 _23〇.IEEE, 2〇l2.】 提出了一种基于两幅图像（如〇度正脸和90度侧脸）的三维人脸重建方法。该算法主要 基于三维形变模型（3DMM)，并结合人脸标记点：首先利用正面人脸标记点估算形变和纹理 参数；再进一步利用侧面标记点进行模型修正。该算法同样依赖于手动标记的侧面人脸标 记点；同时，重建出来的人脸模型在某些视角（如45度）下存在一定程度的形变。另外，该 类基于3DMM的人脸重建方法需要结合一个对齐好的三维人脸数据库，重建结果由人脸数 据库线性叠加得到，因此该类方法依赖于对齐好的先验数据库，且缺乏描述三维人脸细节 的能力。
[0005] 现有的基于多视角图像的人脸重建方法的不足主要为：1)由于人脸图像纹理特 征稀疏的特殊性，基于传统特征点匹配的方法在实际应用中不适用，很难用传统的基于特 征点匹配的方法来获得稠密的三维数据；2)需要繁琐的人工交互；3)依赖于外部三维人脸 数据库，且重建结果的精确度依赖于数据库的丰富程度。
【发明内容】
[0006] 本发明的目的在于克服现有技术中所存在的上述不足，提供一种自动多视角人脸 自拍图像的三维人脸重建方法及系统，其可重建出稠密、精细的三维人脸模型，同时该重建 方法不依赖于外部数据库，可实现全自动人脸重建，不要求用户进行人工交互。
[0007] 为了实现上述发明目的，本发明采用的技术方案是：一种自动多视角人脸自拍图 像的三维人脸重建方法，包括如下步骤：
[0008] 步骤一、对同一个人的多个视角的人脸图像自动定位标记点；
[0009] 步骤二、根据定位出的标记点与参考人脸模型上的标记点建立目标函数求解摄像 机参数Pi;其中所述目标函数为
【主权项】
1. 一种自动多视角人脸自拍图像的三维人脸重建方法，其特征在于，包括如下步骤： 步骤一、对同一个人的多个视角的人脸图像进行自动标记点定位； 步骤二、根据定位出的标记点与参考人脸模型上的标记点建立目标函数求解摄像机参 数P;其中所述目标函数为_
xi为第i个人脸图像Ii上定位的标 记点mi= {xl,x2,…，xn},Xi为参考人脸模型上的标记点Mi= {XI，X2,…，Xn},mi与Mi --对应，参数Pi表示三维点到图像Ii的投影变换矩阵，n为标记点个数； 步骤三，建立重建目标函数E=Edata+EMlOT+Es_th，对目标函数优化，使用多标签图像分 割算法求解该目标函数得到三维人脸模型。
2. 根据权利要求1所述的自动多视角人脸自拍图像的三维人脸重建方法，其特征在 于，重建目标函数定义为E=Edata+EralOT+Es_h; 其中，数据项为
i是二维图像空间上的每个像素，\表示待估计模型 上像素i对应的深度，Di表示参考模型上像素i对应的深度；多视角颜色一致项为
>其中，（kpk2)表示不同视角对，Pk即视角k对应的投 i 影矩阵，表示像素i对应的三维空间中的三维点； 深度平滑项为
其中，N⑴是像素i所在的邻域集，Xi、Xj分 " 9 别表示像素i，j对应的深度。
3. 根据权利要求1或2所述的自动多视角人脸自拍图像的三维人脸重建方法，其特征 在于，所述步骤一中采用基于回归的方法或基于局部优化的方法对每个视角的人脸图像自 动定位标记点，所述标记点包括内外眼角、鼻尖、嘴角、轮廓等。
4. 根据权利要求3所述的自动多视角人脸自拍图像的三维人脸重建方法，其特征在 于，优化目标函数E应满足以下条件：a)输出的三维人脸模型与参考人脸模型近似；b)输 出的三维人脸模型与多视角的人脸图像之间满足颜色一致性；c)输出的三维人脸模型局 部邻域内满足深度变化平滑性。
5. 根据权利要求3所述的自动多视角人脸自拍图像的三维人脸重建方法，其特征在 于，所述参考人脸模型上的标记点提前进行标记。
6. -种自动多视角人脸自拍图像的三维人脸重建系统，其特征在于，包括： 标记点定位模块，用于对同一个人的多个视角的人脸图像自动定位标记点； 摄像机参数估计模块，用于根据定位出的标记点与参考人脸模型上的标记点建立目 标函数求解摄像机参数P;其中所述目标函数为
xi为第i个人 脸图像Ii上定位的标记点mi= {xl,x2,…，xn},Xi为参考人脸模型上的标记点Mi= {XI，X2,…，Xn}，mi与Mi--对应，参数Pi表示三维点到对应图像的投影变换矩阵，n为 标记点个数；； 优化求解模块，用于对重建目标函数E=Edata+EralOT+Es_th优化，使用多标签图像分割 算法求解该目标函数得到三维人脸模型。
7. 根据权利要求5所述的自动多视角人脸自拍图像的三维人脸重建系统，其特征在 于，重建目标函数为E=Edata+EralOT+Es_h; 其中，数据项为
i是二维图像空间上的每个像素，\表示待估计模型 上像素i对应的深度，Di表示参考模型上像素i对应的深度； 多视角颜色一致项为
其中，（kpk2)表示不同视角对，Pk即视角k对应的投 影矩阵，Z严表示像素i对应的三维空间中的三维点； 深度平滑项为
其中，N(i)是像素i所在的邻域集，Xi、Xj分 别表示像素i，j对应的深度。
8. 根据权利要求6或7所述的自动多视角人脸自拍图像的三维人脸重建系统，其特征 在于，所述标记点定位模块采用基于回归的方法或基于局部优化的方法对每个视角的人脸 图像自动定位标记点，所述标记点包括内外眼角、鼻尖、嘴角、轮廓等。
9. 根据权利要求8所述的自动多视角人脸自拍图像的三维人脸重建系统，其特征在 于，所述优化求解模块优化目标函数E应满足以下条件：a)输出的三维人脸模型与参考人 脸模型近似；b)输出的三维人脸模型与多视角的人脸图像之间满足颜色一致性；c)输出的 三维人脸模型局部邻域内满足深度变化平滑性。
10. 根据权利要求8所述的自动多视角人脸自拍图像的三维人脸重建系统，其特征在 于，所述参考人脸模型上的标记点提前进行标记。
【专利摘要】本发明公开了一种自动多视角人脸自拍图像的三维人脸重建方法，包括：对同一个人的多个视角的人脸图像自动定位标记点；根据定位出的标记点与参考人脸模型上对应的标记点建立目标函数求解摄像机参数；设计重建目标函数，将三维人脸重建问题转换为马尔科夫随机场下的多标签图像分割问题，并使用多标签图像分割算法求解。发明方法可重建出稠密精细的三维人脸模型，同时该方法不依赖于外部数据库，可实现全自动人脸重建，不要求用户进行人工交互。
【IPC分类】G06T7-00
【公开号】CN104574432
【申请号】CN201510080860
【发明人】李靓
【申请人】四川川大智胜软件股份有限公司
【公开日】2015年4月29日
【申请日】2015年2月15日