专利名称：从人脸图像快速构建高精度个性化人脸模型的方法
技术领域：
本发明专利涉及计算机视觉和计算机图形学交叉领域，特别是涉及一种从人脸图像快速构建高精度个性化人脸模型的方法。
背景技术：
计算机视觉和计算机图形学技术的进步促进了互动式数字媒体产业的诞生和发展。虚拟角色作为参与者在虚拟世界中的代表，将现实世界中的人物代入到虚拟世界中，在影视制作、游戏娱乐、视频通信等领域具有广泛应用。人脸是人类表达感情、气质和情绪最为重要的部分之一，具有个性化、多样化、形象化等特征。随着人们对虚拟角色娱乐性和真实感要求的不断提高，构建与参与者本人相似的真实感虚拟角色成为学术界和工业界的研究开发重点。至今已经有多种人脸建模方法提出。第一类是交互式人脸建模方法。建模人员利用通用三维建模软件，例如Autodesk公司的3DS MAX或MAYA，完全手动构建人脸模型的每个细节元素，其优点是对人脸建模细节的控制更加精确，缺点是建模操作复杂、建模工作量大，并且构建与真实人脸相似的人脸模型需要较高的建模技巧。第二类是三维人脸扫描方法。建模人员利用三维激光扫描仪对人脸进行数据采集，获得人脸点云，然后进行去噪、 光顺、网格化等处理，生成三维人脸模型，其优点是建模精度高，缺点是操作复杂、建模速度慢，并且需要特殊的硬件设备，建模成本较高。第三类是从人脸图像或人脸视频中重建出三维人脸模型。这类方法使用人脸图像或视频中的几何、纹理等信息驱动人脸模型逐步生成， 其优点是建模速度快、操作简便、建模成本低，缺点是建模精度有一定损失。近年来，许多研究者都对第三类人脸建模方法进行了深入研究。一些研究者设计出了 “Light Stage 5”装置，用于构建高度真实感的人脸模型及人脸表情。该人脸建模装置包含156个LED结构光源和一个每秒可拍摄4800帧图像的高速数码相机，用于在各种光照条件下拍摄一组人脸照片并进行建模。该装置已成功应用于电影《阿凡达》的特效制作和“The Digital Emily”项目中，虽然其重建的人脸模型非常真实，但是人脸建模时间较长、建模成本也较高，参见 0. Alexander, Μ. Rogers, W. Lambeth, Μ. Chiang, P. Debevec, Creating a Photoreal Digital Actor :The Digital Emily Project, SIGGRAPH 2009 Course Notes :The Digital Emily Project, 12 :1-12 :150 为减少人脸建模复杂性，一些研究者使用7个数码相机一次性拍摄一组人脸图像，然后利用立体视觉原理重建出人 IiIlM, T. Beeler, B. Bickel, P. Beardsley, Μ. Gross, High Quality Single-Shot Capture of Facial Geometry, ACM Transactions on Graphics, 29 (4) :40 :1-40 :9,但该方法制作成本仍然较高。还有一些研究者提出使用一张人脸照片构建人脸模型，虽然建模操作简单实用，但是重建的人脸模型往往精度较低，参见Y. Ye, M. Zhang, H. Li，R. Jiang, X. Tang,Ζ. Pan,EasyFace -.a Realistic Face Modeling and Facial Animation Authoring System, Proceeding of VRCAI 2009,113-117。上述人脸建模方法，或是建模成本高，或是建模周期长，或是建模精度低，无法在保证较低建模成本的同时，又提供较高的建模精度和较快的建模速度。由于数码相机目前已经成为非常普及的电子消费品，为满足人们对虚拟角色娱乐性和真实感的要求，因此研发低成本、高精度、个性化的快速人脸建模技术十分必要。
发明内容
本发明克服了现有技术中的缺点，提供了一种从人脸图像快速构建高精度个性化人脸模型的方法，结合计算机视觉和计算机图形学前沿技术，可从5张人脸图像中快速重建出个性化人脸三维几何模型和高精度人脸二维纹理贴图，既降低了建模成本又保证了建模精度，使得用户利用普通数码相机即可快速制作出自身的虚拟人脸模型，可应用于视频游戏、数字娱乐、视频通信等领域。本发明的技术方案包括以下五个步骤1)从5个角度获取5张真实人脸图像分别从人脸的正面、左侧面45度、左侧面90度、右侧面45度、右侧面90度拍摄5 张人脸图像，人脸图像的分辨率应达到宽IOM个像素和高IOM个像素以上；2)标记41个特征点的位置和特征点的对应关系分别在5张人脸图像和中性人脸模型上按轮廓特征点、位置特征点、形状特征点三个层次和顺序标记41个特征点位置和特征点对应关系2. 1)标记14个轮廓特征点，包括1个头顶轮廓点、1个发际轮廓点、2个眉骨轮廓点、2个颧骨轮廓点、2个脸颊轮廓点、1个鼻梁轮廓点、1个鼻尖轮廓点、1个鼻根轮廓点、1 个嘴巴轮廓点、2个下巴轮廓点；2. 2)标记9个位置特征点，包括2个眉毛位置点、2个眼睛位置点、2个颧骨位置点、1个鼻子位置点、1个嘴巴位置点、1个下巴位置点；2.3)标记18个形状特征点，包括4个眉毛形状点、8个眼睛形状点、2个鼻翼形状点、4个嘴角形状点；3)对齐人脸图像和中性人脸模型把中性人脸模型和5个虚拟摄像机放置在世界坐标系中，将5张人脸图像作为纹理贴图分别映射到5个虚拟摄像机的焦平面上，调整虚拟摄像机的位置、朝向和焦平面距离，使得中性人脸模型在虚拟摄像机焦平面上的投影与5张人脸图像都对齐；4)特征点驱动中性人脸模型层次化几何变形生成个性化人脸三维几何模型分别以轮廓特征点、位置特征点、形状特征点作为约束点，采用网格模型微分坐标和拉普拉斯算子对中性人脸模型进行层次化几何变形，生成所有特征点都对齐的个性化人脸三维几何模型；5)根据5张人脸图像逐像素合成高精度人脸二维纹理贴图在人脸三维几何模型的二维纹理图像空间上采用扫描线算法对每个三角形进行扫描，计算扫描得到的每个纹元对应到人脸三维几何模型上的顶点坐标和该顶点处的法向，将该顶点投影到5个虚拟摄像机的焦平面上，获取5个投影点对应的像素颜色值，对5 个像素颜色值进行插值，得到该纹元的颜色值，将该颜色值填充到二维纹理贴图上对应的纹理坐标处，得到高精度的人脸二维纹理贴图。本发明与背景技术相比，具有的有益的效果是
本发明采用计算机视觉和计算机图形学相结合的原理，使用特征点驱动的层次化几何变形和多图像源的逐像素人脸纹理贴图合成技术，能根据5张人脸图像快速重建出个性化人脸三维几何模型和高精度人脸二维纹理贴图，有效地克服了现有方法亦或建模成本高，亦或建模精度低的缺点，使得利用普通数码相机即可快速制作出高精度个性化的三维人脸模型，可满足视频通信、电子游戏等领域中快速构建个性化人脸模型的需求。
图1是本发明方法的技术方案流程图。图2是人脸特征点层次化结构图。图3是特征点驱动的层次化几何变形流程图。图4是多图像源的逐像素人脸纹理贴图合成原理图。
具体实施例方式在实施本发明一种从人脸图像快速构建高精度个性化人脸模型的方法时，具体步骤如下第一步，从5个角度获取5张真实人脸图像。分别从人脸的正面、左侧面45度、左侧面90度、右侧面45度、右侧面90度拍摄真实人脸的5张图像。拍摄时可以手持数码相机，最好采用三脚架固定数码相机，以提高人脸数据采集精度。每个拍摄角度允许不超过10度的误差，最好将拍摄角度误差控制在5度以内，并使得5张人脸图像上的像素能够以最佳效果完整覆盖人脸的所有细节。拍摄人脸图像时，保持数码相机焦距不变，光照条件要求人脸上应无明显阴影和高光，并且人脸上光照分布较为均勻。拍摄的5张人脸图像应具有相同分辨率，且分辨率不低于IOM个像素宽、 1024个像素高。第二步，在人脸图像和中性人脸模型上标记特征点。分别在5张人脸图像以及中性人脸模型上按以下层次和顺序标记出41个特征点的位置和特征点对应关系(1)标记14个轮廓特征点，包括1个头顶轮廓、1个发际轮廓点、2个眉骨轮廓点、 2个颧骨轮廓点、2个脸颊轮廓点、1个鼻梁轮廓点、1个鼻尖轮廓点、1个鼻根轮廓点、1个嘴巴轮廓点、2个下巴轮廓点；(2)标记9个位置特征点，包括2个眉毛位置点、2个眼睛位置点、2个颧骨位置点、 1个鼻子位置点、1个嘴巴位置点、1个下巴位置点；(3)标记18个形状特征点，包括4个眉毛形状点、8个眼睛形状点、2个鼻翼形状点、4个嘴角形状点。41个特征点的位置和对应关系参见图2。在人脸图像上，特征点位置用图像像素的二维坐标表示，特征点对应关系用特征点序号表示。在中性人脸模型上，特征点位置用模型顶点的三维坐标表示，特征点对应关系同样用特征点序号表示。第三步，将5张人脸图像和中性人脸模型对齐。首先将中性人脸模型顶点的坐标归一化到(_1，-1，-1)至(1，1，1)范围内，并将中性人脸模型放置于世界坐标系中，中性人脸模型中心与坐标系原点重合，人脸向上方向为Y轴，人脸正面向前方向为Z轴，人脸左侧面90度为X轴。将5个虚拟摄像机CF、CL、CFL、CR、 CFR放置在世界坐标系中，虚拟摄像机观察方向均朝向中性人脸模型，CF放置于正Z轴上， CL放置于负X轴上，CR放置于正X轴上，CFL放置于正Z轴和负X轴角平分线上，CRL放置于正Z轴和正X轴角平分线上，虚拟摄像机与中性人脸模型之间的相对位置与拍摄人脸图像时一致。将5个虚拟摄像机的焦平面设置为半透明状态，并将5张人脸图像作为纹理贴图分别映射到对应的焦平面上，调整焦平面的距离和虚拟摄像机的朝向使得中性人脸模型在焦平面上的投影与人脸图像大致对齐。由于个性化人脸与中性人脸模型之间的差异，人脸轮廓特征点、位置特征点和形状特征点一般不能完全对齐，这将通过第四步进行调整。第四步，特征点驱动中性人脸模型进行层次化几何变形得到个性化人脸三维几何模型。令M= (V, E，F)为中性人脸模型的三维几何网格，其中V为顶点集合，E为边集合，F为三角形集合。令|V| =n，V中的顶点表示为Vi = (x，y，z)，i = {1，2，. . .，η}，χ、 1、ζ为世界坐标系下坐标，E中的边表示为e = (i，j)，F中的三角形表示为f = (i，j，k)， 其中i、j、k为顶点索引。进行以下层次化几何变形操作，操作流程参见图3。(1)计算顶点的微分坐标向量δ，计算公式如下
权利要求
1.一种从人脸图像快速构建高精度个性化人脸模型的方法，其特征在于1)从5个角度获取5张真实人脸图像分别从人脸的正面、左侧面45度、左侧面90度、右侧面45度、右侧面90度拍摄5张人脸图像，人脸图像的分辨率应达到宽IOM个像素和高IOM个像素以上；2)标记41个特征点的位置和特征点的对应关系分别在5张人脸图像和中性人脸模型上按轮廓特征点、位置特征点、形状特征点三个层次和顺序标记41个特征点位置和特征点对应关系·2.1)标记14个轮廓特征点，包括1个头顶轮廓点、1个发际轮廓点、2个眉骨轮廓点、2 个颧骨轮廓点、2个脸颊轮廓点、1个鼻梁轮廓点、1个鼻尖轮廓点、1个鼻根轮廓点、1个嘴巴轮廓点、2个下巴轮廓点；·2. 2)标记9个位置特征点，包括2个眉毛位置点、2个眼睛位置点、2个颧骨位置点、1 个鼻子位置点、1个嘴巴位置点、1个下巴位置点；·2. 3)标记18个形状特征点，包括4个眉毛形状点、8个眼睛形状点、2个鼻翼形状点、4 个嘴角形状点；3)对齐人脸图像和中性人脸模型把中性人脸模型和5个虚拟摄像机放置在世界坐标系中，将5张人脸图像作为纹理贴图分别映射到5个虚拟摄像机的焦平面上，调整虚拟摄像机的位置、朝向和焦平面距离，使得中性人脸模型在虚拟摄像机焦平面上的投影与5张人脸图像都对齐；4)特征点驱动中性人脸模型层次化几何变形生成个性化人脸三维几何模型分别以轮廓特征点、位置特征点、形状特征点作为约束点，采用网格模型微分坐标和拉普拉斯算子对中性人脸模型进行层次化几何变形，生成所有特征点都对齐的个性化人脸三维几何模型；5)根据5张人脸图像逐像素合成高精度人脸二维纹理贴图在人脸三维几何模型的二维纹理图像空间上采用扫描线算法对每个三角形进行扫描， 计算扫描得到的每个纹元对应到人脸三维几何模型上的顶点坐标和该顶点处的法向，将该顶点投影到5个虚拟摄像机的焦平面上，获取5个投影点对应的像素颜色值，对5个像素颜色值进行插值，得到该纹元的颜色值，将该颜色值填充到二维纹理贴图上对应的纹理坐标处，得到高精度的人脸二维纹理贴图。
全文摘要
本发明公开了一种从人脸图像快速构建高精度个性化人脸模型的方法，属于计算机视觉和计算机图形学交叉领域，用于解决从真实人脸图像中快速重建个性化人脸三维几何模型和高精度人脸二维纹理贴图这一问题。该方法包括以下步骤首先从多个角度拍摄5张人脸图像；其次在人脸图像和中性人脸模型上标记41个特征点的位置和对应关系；接着将中性人脸模型在虚拟摄像机焦平面上的投影与人脸图像对齐；然后对中性人脸模型进行层次化几何变形得到个性化人脸几何模型；最后根据5张人脸图像合成高精度人脸纹理贴图。本发明提供的人脸建模方法具有数据采集方便、建模速度快、建模精度高等优点，在视频通信、电子游戏、人机交互等领域具有较高的实用价值。
文档编号G06T17/00GK102222363SQ20111020237
公开日2011年10月19日 申请日期2011年7月19日 优先权日2011年7月19日
发明者不公告发明人 申请人:杭州实时数码科技有限公司