一种三维卡通人脸纹理生成方法及设备的制作方法
【专利摘要】本发明提供一种三维卡通人脸纹理生成方法及设备，所述方法包括：获得三维卡通人脸模型的标准纹理贴图模板，定义该标准纹理贴图模板内的纹理Mask区域；基于纹理Mask区域的三角网格拓扑结构对二维人脸图片内的特征点进行三角剖分，得到与所述纹理Mask区域内的三角网格相对应的部分二维人脸图片内的三角网格。所述方法还包括将所述部分二维人脸图片进行变形，并且将变形后的部分二维人脸图片叠加到所述标准纹理贴图模板。本发明仅利用单张正面人脸照片就能生成整体效果较好的三维卡通人脸纹理贴图，并且可以在一定程度上增强三维卡通人脸模型与照片的相似度。
【专利说明】一种三维卡通人脸纹理生成方法及设备
【技术领域】
[0001]本发明涉及计算机图形学【技术领域】，特别地，涉及一种三维卡通人脸纹理生成方法及设备。
【背景技术】
[0002]纹理贴图(Texture Mapping),或称纹理映射,是计算机图形学和计算可视化领域中的一项重要技术。目前，纹理贴图广泛应用于工业产品的形态设计、3D模拟、3D游戏、虚拟现实场景等的开发中。纹理贴图技术是将(通常是位图形式的)图像映射、叠加到计算机三维物体上的一种技术。通过纹理贴图，可以构造形态各异的物体表面的纹理特征、模仿各种材质，并且实现景物和环境的完全仿真。由于纹理贴图可以在不改变三维模型的几何信息的情况下达到真实感的视觉效果，并且不需要太多的计算开销就能够实现，因此它是用于表现真实感三维物体的一种常用技术手段。
[0003]三维卡通人脸是指对真实人脸进行夸张变形而得到的一种艺术形式。对于计算机三维卡通人脸模型而言，要展示其较好的卡通视觉效果，需要在以下两个方面具有较好的表现力:其一是人脸模型的三维网格拓扑结构，三维卡通人脸正是通过夸张变形的三维网格拓扑结构来表现其艺术加工效果的；其二是纹理贴图，通过纹理贴图可以增添与真实人脸更多的相似性。其中，人脸网格拓扑结构只能表现人脸的几何形状特征，而人脸表面的颜色特征，比如肤色、黑痣等，则需要通过纹理来表现，所以纹理在三维卡通人脸建模中起着非常重要的作用。最终的三维卡通人脸模型与原始照片相似与否，极大程度地取决于该三维模型的纹理，因此，为三维卡通人脸模型生成合适的纹理极为重要。
[0004]由于纹理获取的途径不同，目前的纹理生成方法可分为以下几类:
[0005]1)多张照片图像拼接。例如，可使用一张正面的照片和一张侧面的照片来拼接组成一张纹理，也可以用多张不同角度的照片拼接组成纹理，这类方法要求做到不同照片上同一特征点的标定要准确。多张照片拼接生成的纹理在正面通常都会有很好的效果，但其缺点是不同照片上的相同特征点难以准确对应，在偏离正面角度较大的情况下效果不是很理想，而且需要事先准备多张不同角度的照片。
[0006]2)视频图像拼接。可以通过跟踪视频中人脸的特征位置和姿态来获取不同角度的人脸纹理，然后把各种角度的纹理融合起来合成一张完整的纹理。该方法适用于在只有视频的条件下生成纹理，其产生的效果与多张照片图像拼接类似。
[0007]3)单张照片合成。可通过将正面照片垂直映射到相应的三维人脸模型上得到纹理图，并且对遮挡的纹理部分进行插值计算。该纹理贴图的正面效果较好，但是侧面纹理存在
着一定的误差。
[0008]总的来说，与使用多张不同角度的照片相比，仅使用单张照片生成三维人脸纹理节省了成本，并且在一定程度上提高了纹理生成的效率。然而，使用单张照片的问题在于，由于侧面信息的缺失，导致侧面部分纹理生成的效果不够好，从而影响整体效果。而且现有的方法生成的纹理多针对真实感的三维人脸模型，对于三维卡通人脸模型来说，如何使用单张照片来生成卡通纹理并使添加了该纹理的三维卡通人脸具有较好的整体效果是极具挑战性的问题。
【发明内容】
[0009]为解决上述问题，根据本发明的一个实施例，提供了一种三维卡通人脸纹理生成方法，包括:
[0010]步骤1)、获得三维卡通人脸的标准纹理贴图模板中纹理Mask区域的三角网格拓扑结构；
[0011]步骤2)、基于所述纹理Mask区域内的三角网格，得到与其相对应的部分二维人脸图片内的二角网格；
[0012]步骤3)、将所述部分二维人脸图片进行变形，使其内的三角网格与所述纹理Mask区域内的三角网格一致；以及
[0013]步骤4)、将变形后的部分二维人脸图片叠加到所述标准纹理贴图模板。
[0014]在一个实施例中，所述方法还包括:
[0015]步骤5)、对叠加后的标准纹理贴图模板进行平滑处理。
[0016]在进一步的实施例中，步骤5)包括:
[0017]对叠加后的标准纹理贴图模板做边缘检测，在边缘处保留其梯度信息；在所述梯度信息的指导下使用泊松图像编辑对所述叠加后的标准纹理贴图模板进行处理；以及得到目标纹理贴图。
[0018]在一个实施例中，步骤2 )包括:
[0019]基于所述纹理Mask区域的三角网格拓扑结构对二维人脸图片内的特征点进行三角剖分，得到与所述纹理Mask区域内的三角网格相对应的部分二维人脸图片内的三角网格。
[0020]在一个实施例中，步骤2 )还包括:
[0021]在得到所述部分二维人脸图片内的三角网格之后，调整所述标准纹理贴图模板的颜色，使其与所述部分二维人脸图片的颜色接近。
[0022]在一个实施例中，步骤3 )包括:
[0023]将所述部分二维人脸图片内的三角网格中的三角形进行变形，使得该三角形与其在所述纹理Mask区域内的对应三角形一致。
[0024]在进一步的实施例中，通过仿射变换将所述部分二维人脸图片内的三角网格中的三角形进行变形。
[0025]在一个实施例中，步骤1)之前还包括:
[0026]获得三维卡通人脸模型的标准纹理贴图模板；以及定义该标准纹理贴图模板内的纹理Mask区域。
[0027]根据本发明的一个实施例，还提供一种三维卡通人脸纹理生成设备，包括:
[0028]拓扑获取装置，用于获得三维卡通人脸的标准纹理贴图模板中纹理Mask区域的三角网格拓扑结构；
[0029]抠图装置，用于基于所述纹理Mask区域内的三角网格，得到与其相对应的部分二维人脸图片内的三角网格；[0030]变形装置，用于将所述部分二维人脸图片进行变形，使其内的三角网格与所述纹理Mask区域内的三角网格一致；以及
[0031]叠加装置，用于将变形后的部分二维人脸图片叠加到所述标准纹理贴图模板。
[0032]在一个实施例中，所述设备还包括:
[0033]平滑装置，用于对叠加后的标准纹理贴图模板进行平滑处理。
[0034]采用本发明提供的三维卡通人脸纹理生成方法及设备，仅利用单张正面人脸照片就能生成整体效果较好的三维卡通人脸纹理贴图，与现有的采用多张不同角度照片生成纹理贴图的方法相比，具有操作简单、高效等优点。同时，所生成的纹理贴图的侧面效果也要好于现有的基于单张照片生成纹理贴图的方法。此外，将使用本发明生成的纹理贴图添加到三维卡通人脸模型后，可以在一定程度上增强模型与照片的相似度，使得所生成的三维卡通人脸模型更加生动形象。
【专利附图】
【附图说明】
[0035]图1是根据本发明一个实施例的三维卡通人脸纹理生成方法的流程图；
[0036]图2A-2C是根据本发明一个实施例分别描述三维卡通人脸模型对应的标准纹理贴图模板、该标准纹理贴图模板中的纹理Mask区域，和该纹理Mask区域的网格拓扑结构的示意图；
[0037]图3是图2A所示的标准纹理贴图模板UV坐标的截图；
[0038]图4A-4C是根据本发明一个实施例分别描述输入人脸图片的网格拓扑结构、抠出的部分图片，和将抠出的部分图片经过变形叠加到标准纹理贴图模板的示意图；
[0039]图5是泊松图像编辑的示意图；
[0040]图6是根据本发明一个实施例对人脸图片进行泊松图像编辑的结果图；以及
[0041]图7是使用本发明提供的三维卡通人脸纹理生成方法对三维卡通人脸模型添加纹理后的结果图。
【具体实施方式】
[0042]下面结合附图和【具体实施方式】对本发明加以说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0043]根据本发明的一个实施例，提供一种三维卡通人脸纹理生成方法，图1示出了该方法的各个步骤。概括来说，该方法首先根据三维卡通人脸模型得到相对应的标准纹理贴图模板，并且定义该模板中将用于执行叠加操作的纹理Mask区域；接着，将输入的单张人脸照片(或称人脸图片或人脸图像)中的一部分人脸图片进行变形后叠加到标准纹理贴图模板；最后，使用图像的无缝拼接技术对标准纹理贴图模板进行平滑处理，得到一幅适用于上述三维卡通人脸模型的纹理贴图。
[0044]继续参考图1，对三维卡通人脸纹理生成方法展开详细描述。
[0045]步骤一、获得标准纹理贴图模板及纹理Mask区域
[0046]对于给定的三维卡通人脸模型，要生成其纹理贴图，需首先定义与该三维模型对应的二维标准纹理贴图模板。该二维标准纹理贴图模板在经过一系列处理后，所得到的目标纹理贴图可用于贴合到所述给定的三维卡通人脸模型。不同的三维卡通人脸模型可具有不同的标准纹理贴图模板，图2A示出了根据一个三维卡通人脸得到的标准纹理贴图模板示例，从图2A可见，该标准纹理贴图模板显示出五官轮廓等人脸特征。[0047]在定义三维卡通人脸模型对应的标准纹理贴图模板的同时，还可获得该模板的UV坐标。在一个实施例中，可以首先利用本领域公知的技术对输入的三维卡通人脸模型定义一个初步的标准纹理贴图模板；接着，使用诸如Maya软件工具中的UV Texture Editor功能根据三维卡通人脸模型进一步调整该初步的标准纹理贴图模板，UV Texture Editor功能可以将UV坐标与三维卡通人脸的五官和脸部轮廓等特征部位对齐，得到最终的标准纹理贴图模板及其UV坐标。图3示出了图2A所示的标准纹理贴图模板的UV坐标，该UV坐标可标识二维标准纹理贴图模板的三角网格中每个三角形的顶点位置，利用该UV坐标可以将标准纹理贴图模板正确地贴合到对应的三维人脸模型上。
[0048]在得到三维卡通人脸模型对应的标准纹理贴图模板之后，可在该模板内定义纹理Mask区域，即需要用单张人脸图片中的部分图片进行叠加的区域。图2B示出了对于图2A所示的标准纹理贴图模板所定义的一个纹理Mask区域，其中白色部分为该纹理Mask区域。本文中，纹理Mask是就脸部轮廓内的一个区域进行描述的。
[0049]在定义了纹理Mask区域后，可以得到标准纹理贴图模板在该纹理Mask区域内的网格拓扑结构，即三角网格，如图2C所示。该网格拓扑结构中的每个三角形是与构成三维卡通人脸模型的三角面片一一对应的，当由三维卡通人脸模型得到对应的二维标准纹理贴图模板时，也能够得到每个三角面片在该二维标准纹理贴图模板上的对应的三角形，其中每个三角形的顶点具有一个UV坐标。
[0050]步骤二、将单张人脸图片中的部分图片进行变形后叠加到标准纹理贴图模板
[0051]在本步骤中，需要对输入的单张正面人脸图片进行特征点检测、图片抠图、图片变形，从而得到与标准纹理贴图模板的纹理Mask区域相对应的部分人脸图像，接着将该部分人脸图像叠加至标准纹理贴图模板。本步骤中通过对二维人脸图片中人脸的轮廓和五官进行识别和一定的变形，使得抠出的部分人脸图片能够正确对应三维卡通人脸模型上的各个五官部件，包括以下几个子步骤:
[0052]1、对于人脸图片，得到其与标准纹理贴图模板相对应的网格拓扑结构。
[0053]在一个实施例中，对于一张新输入的人脸图片，可采用发明人在标题为“数据驱动的卡通人脸夸张表现方法研究”的论文(中国科学院计算技术研究所博士学位论文，2009)中提供的方法来获得该人脸图片中的118个特征点的位置。其中，这些特征点包括脸部轮廓点和包含五官特征的轮廓点。在识别这些特征点后，可基于脸部轮廓点并且根据标准纹理贴图模板中纹理Mask区域的网格拓扑结构(其中先前定义的纹理Mask区域位于脸部轮廓内)，对该人脸图片的特征点进行三角剖分，获得与如图2C所示的网格拓扑结构相对应的人脸图片的网格拓扑结构(三角网格)。这里，网格拓扑结构相对应指的是人脸图片中经过三角剖分得的三角形能够与纹理Mask区域中的三角形一一对应，如图4A所示。
[0054]三角剖分的结果是得到许多不同三角形的顶点坐标和像素区域，因此可建立这些三角形与纹理Mask区域的三角网格中的三角形及其顶点之间的--映射关系。
[0055]2、根据所得到的人脸图片的三角网格，将其覆盖的区域从该人脸图片中抠出来，得到如图4B所示的部分人脸图片。
[0056]经过抠图，可得到用于叠加到标准纹理贴图模板的部分人脸图片。在一个实施例中，在进行抠图之后，还需要根据抠出的部分人脸图片对标准纹理贴图模板做一个整体的颜色变换调整，使得该标准模板与人脸图片的脸部纹理颜色接近。
[0057]3、将抠出的部分人脸图片进行变形，使其三角网格所覆盖的区域与标准纹理贴图模板的纹理Mask区域中的三角网格所覆盖的区域一致。
[0058]在一个实施例中，对人脸图片进行变形是通过对每个像素的坐标进行移动来实现的。在将人脸图片进行三角剖分之后，需要对所得到的每个三角形进行变形，使得该三角形与其在纹理Mask区域内对应的三角形一致。在一个实施例中，这一变形可通过仿射变换来实现。仿射变换是五种常见变换:平移、旋转、缩放、反射和错切的组合，下文说明了如何对三角形进行仿射变换。
[0059]假设二维平面内有两个不同的三角形，分别为源三角形Ts和目标三角形Td，且假设从源三角形到目标三角形之间的仿射变换如下:
【权利要求】
1.一种三维卡通人脸纹理生成方法，包括:步骤1)、获得三维卡通人脸的标准纹理贴图模板中纹理Mask区域的三角网格拓扑结构；步骤2)、基于所述纹理Mask区域内的三角网格，得到与其相对应的部分二维人脸图片内的三角网格；步骤3)、将所述部分二维人脸图片进行变形，使其内的三角网格与所述纹理Mask区域内的三角网格一致；以及步骤4)、将变形后的部分二维人脸图片叠加到所述标准纹理贴图模板。
2.根据权利要求1所述的方法，还包括:步骤5 )、对叠加后的标准纹理贴图模板进行平滑处理。
3.根据权利要求2所述的方法，其中，步骤5)包括:对叠加后的标准纹理贴图模板做边缘检测，在边缘处保留其梯度信息；在所述梯度信息的指导下使用泊松图像编辑对所述叠加后的标准纹理贴图模板进行处理；以及得到目标纹理贴图。
4.根据权利要求1-3中任何一个所述的方法，其中，步骤2)包括:基于所述纹理Mask区域的三角网格拓扑结构对二维人脸图片内的特征点进行三角剖分，得到与所述纹理Mask区域内的三角网格相对应的部分二维人脸图片内的三角网格。
5.根据权利要求1-3中任何一个所述的方法，其中，步骤2)还包括:在得到所述部分二维人脸图片内的三角网格之后，调整所述标准纹理贴图模板的颜色，使其与所述部分二维人脸图片的颜色接近。
6.根据权利要求1-3中任何一个所述的方法，其中，步骤3)包括:将所述部分二维人脸图片内的三角网格中的三角形进行变形，使得该三角形与其在所述纹理Mask区域内的对应三角形一致。
7.根据权利要求6所述的方法，在步骤3)中，通过仿射变换将所述部分二维人脸图片内的三角网格中的三角形进行变形。
8.根据权利要求1-3中任何一个所述的方法，其中，步骤1)之前还包括:获得三维卡通人脸模型的标准纹理贴图模板；以及定义该标准纹理贴图模板内的纹理Mask区域。
9.一种三维卡通人脸纹理生成设备，包括:拓扑获取装置，用于获得三维卡通人脸的标准纹理贴图模板中纹理Mask区域的三角网格拓扑结构；抠图装置，用于基于所述纹理Mask区域内的三角网格，得到与其相对应的部分二维人脸图片内的二角网格；变形装置，用于将所述部分二维人脸图片进行变形，使其内的三角网格与所述纹理Mask区域内的三角网格一致；以及叠加装置，用于将变形后的部分二维人脸图片叠加到所述标准纹理贴图模板。
10.根据权利要求9所述的设备，其中，所述设备还包括:平滑装置，用于对叠加后的标准纹理贴图模板进行平滑处理。
【文档编号】G06T15/04GK103646416SQ201310698910
【公开日】2014年3月19日 申请日期:2013年12月18日 优先权日:2013年12月18日
【发明者】刘军发, 陈益强, 何文静 申请人:中国科学院计算技术研究所