三维人脸模型生成系统及方法
【专利摘要】一种三维人脸模型生成系统，包括三维数据获取单元以及与所述三维数据获取单元相连的三维模型生成单元。该三维数据获取单元包括一个第一数码图像获取装置、一个第二数码图像获取装置以及一个红外结构光投影装置。该第一数码图像获取装置以及该第二数码图像获取装置用于获取两个不同角度人脸的数码图像。该红外结构光投影装置用于向人脸投射红外结构光并获得包含人脸深度数据的图像。该三维模型生成单元用于依据该数码图像以及该包含人脸深度数据的图像进行人脸三维模型的重建，以获得人脸的三维模型。本发明还涉及一种采用该三维人脸模型进行三维人脸模型生成的方法。该三维人脸模型生成系统及方法具有较佳的用户体验且精度高。
【专利说明】三维人脸模型生成系统及方法
【技术领域】
[0001]本发明涉及图像处理和三维数据采集领域，具体地涉及一种三维人脸模型生成系统及方法。
【背景技术】
[0002]近年来，随着硬件技术的发展和计算机处理能力的提高，人们对三维数据获取的需求在不断增长，其中运用低成本的设备方便快速地获取高精度人脸三维模型数据成为一个热门的研究和应用方向。
[0003]现有的人脸三维模型数据采集方法主要利用主动距离传感器，通过向环境发射电磁波等能量并对其反射信号进行分析来获得场景的距离信息。激光扫描仪是其中主流的设备，但是这类设备笨重并且价格非常昂贵(百万元人民币级别)，因此限制了其广泛应用。此外，结构光方法也能够获得三维模型重建结果。但是由于其需要额外的投影设备，因此整个设备不紧凑。而且，在扫描过程中这类设备会发射出高亮度的可见光，当人眼直视时会感觉不适，因此一般在采用这类设备时要求用户闭眼，从而降低了用户的体验感。进入21世纪后逐渐出现了一种通过测量光线飞行时间(Time of Flight，T0F)来获取场景三维结构的摄像机，但是这类设备的缺陷是获取的数据空间分辨率很低，一般一帧3D图像仅有2万像素左右，完全无法满足闻精度人脸二维模型获取的需求。
【发明内容】
[0004]有鉴于此，有必要提供一种低成本、高精度以及具有良好用户体验的三维人脸模型生成系统及方法。
[0005]一种三维人脸模型生成系统，包括一个三维数据获取单元以及一个与所述三维数据获取单元相连的三维模型生成单元。所述三维数据获取单元包括一个第一数码图像获取装置、一个第二数码图像获取装置以及一个红外结构光投影装置。所述第一数码图像获取装置以及所述第二数码图像获取装置用于获取两个不同角度人脸的数码图像。所述红外结构光投影装置用于向人脸投射红外结构光并获得包含人脸的深度数据的图像。所述三维模型生成单元用于依据所述数码图像以及所述包含人脸深度数据的图像进行人脸三维模型的重建，以获得人脸的三维模型。
[0006]优选地，第一数码图像获取装置、所述第二数码图像获取装置以及所述红外结构光投影装置沿一水平直线方向设置，所述红外结构光投影装置设置于第一数码图像获取装置以及所述第二数码图像获取装置之间。
[0007]优选地，第一数码图像获取装置以及所述第二数码图像获取装置为数码相机，且所述第一数码图像获取装置以及所述第二数码图像获取装置具有相同的焦距。
[0008]优选地，三维模型生成单兀包括一个系统标定模块、一个立体图对校正模块、一个几何及超分辨率变换模块、一个纹理分割模块、一个种子像素提取模块、一个视差图生成模块以及一个模型建立模块；[0009]其中，所述系统标定模块用于建立确定系统坐标，以确定所述第一数码图像获取装置、所述第二数码图像获取装置以及所述红外结构光投影装置于所述系统坐标的位置；
[0010]其中，所述立体图对校正模块用于对所述第一数码图像获取装置以及所述第二数码图像获取装置所获取的图像进行校正，以消除垂直视差；
[0011]其中，所述几何及超分辨率变换模块用于对所述红外结构光投影装置所获得的包含人脸深度数据的图像进行几何以及超分辨率变换；
[0012]其中，所述纹理分割模块用于对所述第一数码图像获取装置所获取的图像进行纹理分割，得到纹理分割后的二值掩模图像；
[0013]其中，所述种子像素提取模块用于提取种子像素；
[0014]其中，所述视差图生成模块用于依据所述几何及超分辨率变换模块所得到的视差图、所述纹理分割模块得到的二值掩模图像以及所述种子像素提取模块所提取的所述种子像素点获得分辨率与所述第一数码图像获取装置相同的、基于种子像素扩张的视差图；
[0015]其中，所述模型建立模块用于依据所述视差图生成模块获得的视差图建立人脸的
三维模型。
[0016]优选地，系统标定模块用于得到所述第一数码图像获取装置、所述第二数码图像获取装置以及所述红外结构光投影装置的内部参数矩阵。
[0017]优选地，系统标定模块选取所述第一数码图像获取装置的相机坐标系作为参考坐标系，由所述第一数码图像获取装置、所述第二数码图像获取装置以及所述红外结构光投影装置的相对位置关系确定所述第二数码图像获取装置以及所述红外结构光投影装置相对于所述参考坐标系的位置。
[0018]本发明的另一个目的是提供一种三维人脸模型生成方法，包括如下步骤:
[0019]提供一个三维数据采集获取单元，所述三维数据获取单元包括一个第一数码图像获取装置、一个第二数码图像获取装置以及一个红外结构光投影装置；
[0020]建立系统坐标，以确定所述第一数码图像获取装置、所述第二数码图像获取装置以及所述红外结构光投影装置于所述系统坐标的位置；
[0021]获取两个不同角度的人脸的数码图像以及一个包含人脸深度数据的红外结构光图像；
[0022]依据所述人脸的数码图像以及所述包含人脸深度数据的红外结构光图像进行人脸三维模型的重建，以获得人脸的三维模型。
[0023]优选地，所述进行人脸三维模型重建的步骤包括:
[0024]对所述两个不同角度的人脸的数码图像进行立体图对校正，以消除垂直视差；
[0025]对所述红外结构光图像进行几何及超分辨率变换；
[0026]对所述数码图像进行纹理分割，得到纹理分割后的二值掩模图像；
[0027]进行种子像素提取；
[0028]依据所述几何及超分辨率变换、所述二值掩模图像以及所述种子像素点获得视差图；
[0029]依据所述视差图建立人脸的三维模型。
[0030]优选地，以旋转矩阵Rs和平移矢量Ts表示所述第二数码图像获取装置相对于所述系统坐标的位置，以旋转矩阵Ra和平移矢量Ta表示所述红外结构光投影装置相对于所述系统坐标的位置。
[0031]优选地，以红外结构光图像的每一个像素点i计算其对应的三维空间坐标Pi =[xi yi zi]T，然后利用以下公式计算该像素点i在所述第一数码图像获取装置的投影坐标:
[0032]pi = Proj (Rr.(Ra.Pi+Ta) +Tr),
[0033]令:P，i= [X，i y，i z’ i]T = Rr.(Ra.Pi+Ta) +Tr
[0034]pi处的视差值采用如下公式计算:
[0035]d (pi) = b.f/z，i
[0036]其中b和f分别为所述第一数码图像获取装置以及所述第二数码图像获取装置之间的基线距离和所述第一数码图像获取装置以及所述第二数码图像获取装置的焦距，依据各像素的视差值得到与第一数码图像获取装置所获得的彩色图像分辨率相同的稀疏视差图。
[0037]优选地，基于所述稀疏视差图，用线性插值的方法得到致密的视差图。
[0038]优选地，将由所述第一数码图像获取装置获取的彩色图像转化为灰度图象，然后对每一像素点i处计算其灰度值的方差Vari，采用公式:
【权利要求】
1.一种三维人脸模型生成系统，包括一个三维数据获取单元以及一个与所述三维数据获取单元相连的三维模型生成单元，其特征在于:所述三维数据获取单元包括一个第一数码图像获取装置、一个第二数码图像获取装置以及一个红外结构光投影装置，所述第一数码图像获取装置以及所述第二数码图像获取装置用于获取两个不同角度人脸的数码图像，所述红外结构光投影装置用于向人脸投射红外结构光并获得包含人脸的深度数据的图像，所述三维模型生成单元用于依据所述数码图像以及所述包含人脸深度数据的图像进行人脸三维模型的重建，以获得人脸的三维模型。
2.如权利要求1所述的三维人脸模型生成系统，其特征在于:所述第一数码图像获取装置、所述第二数码图像获取装置以及所述红外结构光投影装置沿一水平直线方向设置，所述红外结构光投影装置设置于第一数码图像获取装置以及所述第二数码图像获取装置之间。
3.如权利要求1所述的三维人脸模型生成系统，其特征在于:所述第一数码图像获取装置以及所述第二数码图像获取装置为数码相机，且所述第一数码图像获取装置以及所述第二数码图像获取装置具有相同的焦距。
4.如权利要求1所述的三维人脸模型生成系统，其特征在于:所述三维模型生成单元包括一个系统标定模块、一个立体图对校正模块、一个几何及超分辨率变换模块、一个纹理分割模块、一个种子像素提取模块、一个视差图生成模块以及一个模型建立模块； 所述系统标定模块用于建立确定系统坐标，以确定所述第一数码图像获取装置、所述第二数码图像获取装置以及所述红外结构光投影装置于所述系统坐标的位置； 所述立体图对校正模块用于对所述第一数码图像获取装置以及所述第二数码图像获取装置所获取的图像进行校正，以消除垂直视差； 所述几何及超分辨率变换模块用于对所述红外结构光投影装置所获得的图像进行几何以及超分辨率变换； 所述纹理分割模块用于对所述第一数码图像获取装置所获取的图像进行纹理分割，得到纹理分割后的二值掩模图像； 所述种子像素提取模块用于提取种子像素； 所述视差图生成模块用于依据所述几何及超分辨率变换模块所得到的视差图、所述纹理分割模块得到的二值掩模图像以及所述种子像素提取模块所提取的所述种子像素点获得分辨率与所述第一数码图像获取装置相同的、基于种子像素扩张的视差图； 所述模型建立模块用于依据所述视差图生成模块获得的视差图建立人脸的三维模型。
5.如权利要求4所述的三维人脸模型生成系统，其特征在于:所述系统标定模块用于得到所述第一数码图像获取装置、所述第二数码图像获取装置以及所述红外结构光投影装置的内部参数矩阵。
6.如权利要求4所述的三维人脸模型生成系统，其特征在于:所述系统标定模块选取所述第一数码图像获取装置的相机坐标系作为参考坐标系，由所述第一数码图像获取装置、所述第二数码图 像获取装置以及所述红外结构光投影装置的相对位置关系确定所述第二数码图像获取装置以及所述红外结构光投影装置相对于所述参考坐标系的位置。
7.—种三维人脸模型生成方法，包括如下步骤: 提供一个三维数据采集获取单元，所述三维数据获取单元包括一个第一数码图像获取装置、一个第二数码图像获取装置以及一个红外结构光投影装置； 建立系统坐标，以确定所述第一数码图像获取装置、所述第二数码图像获取装置以及所述红外结构光投影装置于所述系统坐标的位置； 获取两个不同角度的人脸的数码图像以及一个包含人脸深度数据的红外结构光图像； 依据所述人脸的数码图像以及所述包含人脸深度数据的红外结构光图像进行人脸三维模型的重建，以获得人脸的三维模型。
8.如权利要求7所述的三维人脸模型生成方法，其特征在于:所述进行人脸三维模型重建的步骤包括: 对所述两个不同角度的人脸的数码图像进行立体图对校正，以消除垂直视差； 对所述红外结构光图像进行几何及超分辨率变换； 对所述数码图像进行纹 理分割，得到纹理分割后的二值掩模图像； 进行种子像素提取； 依据所述几何及超分辨率变换、所述二值掩模图像以及所述种子像素点获得视差图； 依据所述视差图建立人脸的三维模型。
9.如权利要求8所述的三维人脸模型生成方法，其特征在于:以旋转矩阵Rs和平移矢量Ts表示所述第二数码图像获取装置相对于所述系统坐标的位置，以旋转矩阵Ra和平移矢量Ta表示所述红外结构光投影装置相对于所述系统坐标的位置。
10.如权利要求9所述的三维人脸模型生成方法，其特征在于:以红外结构光图像的每一个像素点i计算其对应的三维空间坐标Pi = [xi yi zi]T，然后利用以下公式计算该像素点i在所述第一数码图像获取装置的投影坐标:
pi处的视差值采用如下公式计算:
d(pi) = b.f/z， i 其中b和f分别为所述第一数码图像获取装置以及所述第二数码图像获取装置之间的基线距离和所述第一数码图像获取装置以及所述第二数码图像获取装置的焦距，依据各像素的视差值得到与第一数码图像获取装置所获得的彩色图像分辨率相同的稀疏视差图。
11.如权利要求10所述的三维人脸模型生成方法，其特征在于:基于所述稀疏视差图，用线性插值的方法得到致密的视差图。
12.如权利要求11所述的三维人脸模型生成方法，其特征在于:将由所述第一数码图像获取装置获取的彩色图像转化为灰度图象，然后对每一像素点i处计算其灰度值的方差Vari,采用公式:
13.如权利要求12所述的三维人脸模型生成方法，其特征在于:所述mask值中为I的像素点为是纹理丰富的区域，其余为弱纹理区域。
14.如权利要求13所述的三维人脸模型生成方法，其特征在于:提取所述红外结构光图像的所有像素点作为种子像素点。
15.如权利要求14所述的三维人脸模型生成方法，其特征在于:依据所述的视差图、所述二值掩模图像以及所述种子像素点获得分辨率与所述第一数码图像获取装置相同的、基于种子像素扩张的视差图。
16.如权利要求15所述的三维人脸模型生成方法，其特征在于:依据所述基于种子像素扩张的视差图得到三维点云，计算方法如下式:
【文档编号】G06T17/00GK103971408SQ201410214265
【公开日】2014年8月6日 申请日期:2014年5月21日 优先权日:2014年5月21日
【发明者】沈晔湖 申请人:中国科学院苏州纳米技术与纳米仿生研究所