一种人脸卡通动漫形象化方法及系统的制作方法
【专利摘要】本发明提供一种人脸卡通动漫形象化方法及系统，所述方法包括：通过摄像头获取人脸照片；对所述人脸照片进行网格化和特征点提取；对所述网格化后的人脸照片和特征点进行建模，在动漫数据库中检索相匹配的卡通头像；根据所述特征点对所述卡通头像进行变形；对所述变形后的卡通头像进行纹理映射和渲染，得到卡通人脸头像；输出所述卡通人脸头像。与现有技术相比，本发明实现人脸动漫的形象化，解决人脸卡通化的效果生硬，线条僵化，刻板无神韵的问题。并且，通过手机端与服务端的数据交换，解决了终端的移动性、实用性和易用性。
【专利说明】一种人脸卡通动漫形象化方法及系统
【技术领域】
[0001] 本发明涉及移动通信【技术领域】，尤其涉及一种人脸卡通动漫形象化方法及系统。
【背景技术】
[0002] 随着移动通信技术的发展，终端领域出现了各式各样的应用。其中，对于人脸卡通 化的应用就广受欢迎。目前人脸卡通化技术的方案主要集中人脸素描化头像方面。通常是 在基于模式识别的人脸特征提取后，计算出一幅灰度图像，而后采用在对数域基于全变分 模型的方法平滑滤除皮肤纹理并保留人脸器官特征，获得人脸素描肖像画初样，然后对人 脸素描肖像画初样进行图像增强处理，获得最后的人脸素描肖像画。
[0003] 鉴于目前图像处理领域对模式识别技术的广泛应用，以及当前动漫画领域的蓬勃 发展，已经具备技术基础以及大量的素材基础，能够基于人脸的特征进行进一步的动漫化 处理，以便增加娱乐性和互动性。
[0004] 在实现本发明的过程中，发明人发现现有的人脸卡通化方案存在如下缺点：
[0005] 现有技术的人脸卡通化方案中，生成的带有艺术风格、具有娱乐效果的卡通人脸 动画，效果生硬，线条僵化，刻板无神韵，在实用性上和美观程度上离满足市场需求还有一 段差距。现有技术生成的卡通人脸动画，在实用性上与照片和录像采集相比差距较大。通 过图像处理的方法，找到定义在人脸上的一组特征点，连接这些特征点能形成比较僵硬的 线条画，能抓住人物的面部特征，而刻画出的人物无神韵，无法做到形神兼备。在美观程度 上与手工绘制的卡通风格的肖像画还有一定的差距。业界还没有一种高效可靠的技术可以 将人脸卡通动漫形象化，以满足用户多样性的应用需求。
【发明内容】
[0006] 本发明的目的在于克服现有技术的缺点和不足，提供一种道路实时导航方法及系 统。
[0007] -种人脸卡通动漫形象化方法，所述方法包括：
[0008] 通过摄像头获取人脸照片；
[0009] 对所述人脸照片进行网格化和特征点提取；
[0010] 对所述网格化后的人脸照片和特征点进行建模，在动漫数据库中检索相匹配的卡 通头像；
[0011] 根据所述特征点对所述卡通头像进行变形；
[0012] 对所述变形后的卡通头像进行纹理映射和渲染，得到卡通人脸头像；
[0013] 输出所述卡通人脸头像。
[0014] 所述通过摄像头获取人脸照片，包括：
[0015] 通过设置于手机上的摄像头拍摄清晰人脸照片；
[0016] 将所述照片发送给服务器。
[0017] 所述对所述人脸照片进行网格化和特征点提取，包括：
[0018] 对标准人脸进行建模，构建符合基本人脸形状和器官几何特征的标准三角网格；
[0019] 从所述标准三角网格中选取面部特征点；所述特征点包括：人脸额部以下区域的 特征点65个；以及额头上发髻边缘特征点5个。
[0020] 所述对所述网格化后的人脸照片和特征点进行建模，在动漫数据库中检索相匹配 的卡通头像，包括：
[0021] 预先建立包含动漫头像素材网格的动漫数据库；
[0022] 将所述网格化后的人脸照片的特征点数据与动漫数据库中的数据进行比对，提取 特征点组合相似度超过75%的动漫头像作为匹配的卡通头像。
[0023] 所述根据所述特征点对所述卡通头像进行变形，包括：
[0024] 将人脸图像的眼、鼻、嘴、眉以及脸轮廓的特征点分别建立径向基函数映射函数；
[0025] 所述卡通头像的变形由所述径向基函数映射函数分别完成。
[0026] 所述对所述变形后的卡通头像进行纹理映射和渲染，包括：
[0027] 将所述卡通头像作为纹理映射到所述人脸的网格中，生成卡通人脸头像；
[0028] 根据所述人脸照片中的颜色值计算所述卡通人脸头像的颜色值，具体包括：
[0029] 设定（Yi，Cbi，Cri)、（Yt，Cbt，Crt)和（Yr，Cbr，Crr)分别表示所述人脸照片上 的点、卡通头像对应像素和卡通人脸头像像素的YCbCr颜色的各分量；根据如下公式计算：
[0030] Cbr = Cbt ；
[0031] Crr = Crt ；
[0032] Yr = (1-m) *Yt+m*Yi ；
[0033] 其中，所述m为权系数，m的值根据经验设定。
[0034] 所述方法还包括：
[0035] 当所述动漫数据库中无法检索到相匹配的卡通头像时，对所述人脸照片面部区域 进行纹理映射、渲染和动漫化着色，随机选用动漫素材中的动漫化的耳朵、头发、头饰、耳 环、背景等进行图片装饰，得到卡通人脸头像。
[0036] 一种人脸卡通动漫形象化系统，所述系统包括终端和服务器，其中，
[0037] 所述终端，用于通过摄像头获取人脸照片并发送给所述服务器；接收所述服务器 生成的卡通人脸头像，并呈现；
[0038] 所述服务器，用于对所述人脸照片进行网格化和特征点提取；针对所述网格化后 的人脸照片和特征点进行建模，在动漫数据库中检索相匹配的卡通头像；根据所述特征点 对所述卡通头像进行变形；对所述变形后的卡通头像进行纹理映射和渲染，得到卡通人脸 头像并发送给所述终端。
[0039] 所述服务器进一步包括特征点提取单元、检索单元、变形单元和渲染单元，其中：
[0040] 所述特征点提取单元，用于对所述人脸照片进行网格化和特征点提取；
[0041] 所述检索单元，用于对所述网格化后的人脸照片和特征点进行建模，在动漫数据 库中检索相匹配的卡通头像；
[0042] 所述变形单元，用于根据所述特征点对所述卡通头像进行变形；
[0043] 所述渲染单元，用于对所述变形后的卡通头像进行纹理映射和渲染，得到卡通人 脸头像。
[0044] 所述服务器进一步包括动漫数据库单元，用于预先建立包含动漫头像素材网格的 动漫数据库，存储动漫头像素材。
[0045] 本发明通过摄像头拍照，获取清晰的人脸照片，通过图像识别获取面部轮廓以及 面部五官特征，将面部特征参数化。而后通过服务器端的绘制引擎，根据面部轮廓特征，在 动漫头像库中搜寻匹配合适的动漫形象的卡通头像，而后再根据原始五官特征进行相应比 例映射，自动生成给定人脸的对应动漫形象的动漫卡通人脸头像，以期达到最高相似度。与 现有技术相比，本发明实现人脸动漫的形象化，解决人脸卡通化的效果生硬，线条僵化，刻 板无神韵的问题。并且，通过手机端与服务端的数据交换，解决了终端的移动性、实用性和 易用性。
【专利附图】
【附图说明】
[0046] 图1为本发明实施例1提供的人脸卡通动漫形象化方法原理流程图；
[0047] 图2为本发明实施例2提供的人脸卡通动漫形象化系统结构示意图；
[0048] 图3为本发明实施例3提供的人脸卡通动漫形象化系统中服务器结构示意图。
【具体实施方式】
[0049] 下面结合附图对本发明的【具体实施方式】进行详细描述。但本发明的实施方式不限 于此。
[0050] 本发明实施例的原理在于通过摄像头拍照，获取清晰的人脸照片，通过图像识别 获取面部轮廓以及面部五官特征，将面部特征参数化。而后通过服务器端的绘制引擎，根据 面部轮廓特征，在动漫头像库中搜寻匹配合适的动漫形象的卡通头像，而后再根据原始五 官特征进行相应比例映射，自动生成给定人脸的对应动漫形象的动漫卡通人脸头像，以期 达到最高相似度。
[0051] 本发明实施例涉及手机应用客户端以及服务端，手机客户端为人脸信息获取与生 成结果展示平台，服务端为人脸动漫形象化的绘制引擎，用来绘制生成卡通动漫头像。但本 发明的应用范围并不局限于手机客户端，凡是可以拍照并能够将照片传递给服务器端的终 端设备都落入本发明的技术方案内，包括但不限于平板电脑、MP3播放器等电子设备。
[0052] 如图1所示，为本发明实施例1提供的人脸卡通动漫形象化方法原理流程图，具体 如下：
[0053] 步骤10,通过摄像头获取人脸照片。
[0054] 这里，通常是通过手机应用获取人脸标准图像，通常是利用手机端的摄像头来进 行拍照获取人脸照片。对于人脸标准图像有一定的要求，就是必须要清晰可辨识，以方便后 续对于人脸照片的处理。通常手机端拍摄的人脸照片呗发送到服务器端进行处理。
[0055] 步骤20,对人脸照片进行网格化和特征点提取。
[0056] 本步骤中，首先对标准人脸进行建模，构建符合基本人脸形状和器官等几何特征 的标准三角网格。例如，目前标准面部网格包含123个交点以及188个三角形，构成网格体 系。
[0057] 从以上标准面部网格中，选取面部特征点。面部特征点的准确选取是控制脸部几 何外形、实现人脸图像变形的基础。通常的MPEG4采用面向对象的编码方式，使用两个参数 集合来定义人面部：FDP(脸部定义参数）和FAP(脸部动画参数）。前者定义了 11个组， 在这些组内有序地定义了 84个特征点，它们能体现人脸的基本几何信息。我们以此作为参 考，定义自己的特征点，定义了如下70个基本面部特征点。本实施例采用ASM (Active Shape Model，主动形状模型）人脸检测算法加上人工提取相结合的方法，对人脸和卡通图像的特 征点进行提取。人脸额部以下区域的特征点相对固定（共65个）由ASM算法提取，额头上 发髻边缘由于头发的影响，ASM算法失效，此处特征点通过手工标定（共5个）。
[0058] 本步骤将针对人脸原始图片，进行网格化以及特征点抽样，并将人脸抽样数据传 递给下一步骤。
[0059] 步骤30,对网格化后的人脸照片和特征点进行建模，在动漫数据库中检索相匹配 的卡通头像。
[0060] 本实施例在标准面部网格的基础上，对于人脸图片使用构建RBF(Radial Basis Function，径向基函数）神经网络将标准网格变形，与人脸匹配校准生成个性化网格。
[0061] 在此之前，使用相同方法事先建立包含大量的动漫头像素材网格数据的动漫数据 库，将原始人脸的特征点数据与动漫头像素材网格数据动漫数据库中的数据进行比对，并 提取特征点组合相似度超过75%的动漫头像作为备选图片，也就是匹配的卡通头像。
[0062] 步骤40,根据特征点对卡通头像进行变形。
[0063] 根据原始人脸的五官实际特征点，对选出的动漫头像五官进行变形处理。图像变 形是在影视动画中常用的一种有效技术，其中RBF神经网络为基础的变形算法结构简单、 训练简洁，能模拟（逼近）任何有关值的非线性数学模型，被广泛用于模式识别、图像处理 等领域。由于人脸变形是高度非线性的过程，且以图像形式表现，像素点众多，RBF的特性 使其最适合用于控制二维人脸网格变形。
[0064] 以往的基于RBF的方法都是在整幅图像中定义特征点构建径向基函数，对整幅图 像构建一个网络。当图像需要的变形幅度大且变形范围广时，全局的RBF网络效果并不好。 本文针对人脸图像的特点，提出分区域的多RBF方法：将人脸图像的眼、鼻、嘴、眉以及脸轮 廓分别建立一个RBF映射函数，整幅图像的变形由多个RBF网络完成。
[0065] 经过此步骤处理后，对应原始人脸的动漫头像，在轮廓和五官方面进行了一定的 变形处理，使其更加相似原始头像。
[0066] 原始人脸个性化头像以及经过加工后的动漫头像，将以网格数据形式传递给下一 步骤。
[0067] 步骤50,对变形后的卡通头像进行纹理映射和渲染，得到卡通人脸头像。
[0068] 对生成后的图片进行对应原人脸图像的纹理映射和渲染，并将原有颜色值由RGB 空间转化到YCbCr空间。
[0069] 具体做法基于得到了具有特定人脸几何特性的个性化人脸网格和与卡通脸相匹 配的卡通脸网格，这两个脸部网格具有相同的拓扑结构，二者的三角形面片一一对应。接下 来即可通过纹理映射，该工作是通过在每对三角形面片中进行仿射变换实现的。
[0070] 在颜色空间YCbCr中，Y通道主要包含颜色的亮度信息，而CbCr主要包括颜色和色 调。定义（Yi，Cbi，Cri)、（Yt，Cbt，Crt)和（Yr，Cbr，Crr)分别表示原人脸图像上的点、原 卡通图像对应像素和最后个性化卡通图像像素的YCbCr颜色的各分量，按如下公式计算：
[0071] Cbr = Cbt ；
[0072] Crr = Crt ；
[0073] Yr = (l_m) *Yt+m*Yi ;
[0074] 这里，m为权系数，m越大，映射后的卡通纹理的光照、阴影效果越接近原始真实人 脸。本文中，m取值为0.1?0.3,效果较好。
[0075] 原始人脸图像的光照对于表现人脸深度信息有重要意义。假设原始人脸图像的深 度值与其亮度值成正比，提取其亮度值，在纹理映射时部分传递给卡通图像，与卡通图像的 色调信息相融合，从而在一定程度上保持了原始人脸的深度信息。
[0076] 步骤60,输出卡通人脸头像。
[0077] 通常服务器完成的卡通人脸头像输出给手机端，呈现给用户。
[0078] 进一步的，针对无动漫形象匹配的人脸图片，系统将使用动漫头像装饰元素对原 图片进行修饰。
[0079] 所采用的方法是，针对第一步骤的特征点抽取，直接针对原有图片面部区域进行 第三步骤所述的图片渲染方法进行动漫化着色，并随机选用动漫素材库中的动漫画的耳 朵、头发、头饰、耳环、背景等进行图片装饰，并直接呈献给用户。
[0080] 同时，允许用户通过人机界面，对此步骤生成的图片进行其他个性化内容的调整， 例如耳朵更换，面部颜色更换，头饰更换，背景更换等。
[0081] 至此，完成了人脸卡通动漫形象化的过程。
[0082] 本实施例的重点在于基于ASM特征点提取技术而建立的动漫形象特征点数据库， 容纳数百个动漫形象头像，以及1000套以上动漫衍生面部部件图形。该特征点数据库可以 用于本技术方案的人脸头像特征识别匹配方法，实现人脸卡通头像化的技术。对人脸面部 信息进行特征点选取，并与目标特性库进行识别比对的技术。基于网格分析技术的动漫头 像变形技术，能够根据人脸实际特征点数据，对动漫形象头像原有面部元素进行符合比例 的变形，以便和原有人脸头像达到最大相似度。
[0083] 本实施例的方案中，实际上包括以下四部分内容：
[0084] 1.人脸的真实图像的获取和特征点提取。
[0085] a)通过手机应用获取人脸标准图像，并传递到服务器端；
[0086] b)服务器端能够对人脸图像进行网格化和特征点提取。
[0087] 2.面部特征分析与动漫形象库比对，面部图像再生。
[0088] 针对网格化后的人脸图像以及抽取的特征点进行建模，并在已有动漫形象库中检 索相似度高的对应动漫形象头像。并根据五官特征数据，对动漫图像五官进行相应的变形。 [0089] 3.图像生成和渲染。
[0090] 对生成后的图片进行对应原人脸图像的纹理映射和渲染。
[0091] 4.例外流程处理，以及用户个性化修正。
[0092] 针对无动漫形象匹配的人脸图片，系统将使用动漫头像装饰元素对原图片进行修 饰，并允许用户进行其他个性化内容修饰合成。
[0093] 如图2所示，本发明实施例2还提供一种人脸卡通动漫形象化系统，该系统包括多 个终端和服务器，具体如下：
[0094] 终端，用于通过摄像头获取人脸照片并发送给服务器；接收服务器生成的卡通人 脸头像，并呈现；
[0095] 服务器，用于对人脸照片进行网格化和特征点提取；针对网格化后的人脸照片和 特征点进行建模，在动漫数据库中检索相匹配的卡通头像；根据特征点对卡通头像进行变 形；对变形后的卡通头像进行纹理映射和渲染，得到卡通人脸头像并发送给终端。
[0096] 进一步的，如图3所示，为上述实施例2中服务器的结构示意图，具体包括特征点 提取单元201、检索单元202、变形单元203和渲染单元204,具体如下：
[0097] 特征点提取单元201，用于对人脸照片进行网格化和特征点提取；
[0098] 检索单元202,用于对网格化后的人脸照片和特征点进行建模，在动漫数据库中检 索相匹配的卡通头像；
[0099] 变形单元203,用于根据特征点对卡通头像进行变形；
[0100] 渲染单元204,用于对变形后的卡通头像进行纹理映射和渲染，得到卡通人脸头 像。
[0101] 进一步的，上述服务器进一步包括动漫数据库单元205，用于预先建立包含动漫头 像素材网格的动漫数据库，存储动漫头像素材。
[0102] 本实施例的方案可以由手机客户端和服务器端组成。客户端装置为具备有拍照 功能的智能手机，可支持WIFI或无线数据连接，安装本实施例的应用程序后，可发送与接 收与服务器端的数据信息，客户端的主要功能是人脸信息采集与反馈。服务端装置为PC SERVER集群，将实现人脸卡通动漫形象化的绘制与生成，服务端获取客户端提交的相关人 脸肖像素材，经过人脸面部识别，人脸轮廓以及特征参数化，动漫风格化变形（包括人脸轮 廓的动漫人物形象化变形、人脸器官动漫形象化），最终生成人脸卡通动漫形象化的结果， 反馈至客户端。
[0103] 综上，本发明通过摄像头拍照，获取清晰的人脸照片，通过图像识别获取面部轮廓 以及面部五官特征，将面部特征参数化。而后通过服务器端的绘制引擎，根据面部轮廓特 征，在动漫头像库中搜寻匹配合适的动漫形象的卡通头像，而后再根据原始五官特征进行 相应比例映射，自动生成给定人脸的对应动漫形象的动漫卡通人脸头像，以期达到最高相 似度。与现有技术相比，本发明实现人脸动漫的形象化，解决人脸卡通化的效果生硬，线条 僵化，刻板无神韵的问题。并且，通过手机端与服务端的数据交换，解决了终端的移动性、实 用性和易用性。
[0104] 上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的 限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化， 均应为等效的置换方式，都包含在本发明的保护范围之内。
【权利要求】
1. 一种人脸卡通动漫形象化方法，其特征在于，所述方法包括： 通过摄像头获取人脸照片； 对所述人脸照片进行网格化和特征点提取； 对所述网格化后的人脸照片和特征点进行建模，在动漫数据库中检索相匹配的卡通头 像； 根据所述特征点对所述卡通头像进行变形； 对所述变形后的卡通头像进行纹理映射和渲染，得到卡通人脸头像； 输出所述卡通人脸头像。
2. 如权利要求1所述的方法，其特征在于，所述通过摄像头获取人脸照片，包括： 通过设置于手机上的摄像头拍摄清晰人脸照片； 将所述照片发送给服务器。
3. 如权利要求1所述的方法，其特征在于，所述对所述人脸照片进行网格化和特征点 提取，包括： 对标准人脸进行建模，构建符合基本人脸形状和器官几何特征的标准三角网格； 从所述标准三角网格中选取面部特征点；所述特征点包括：人脸额部以下区域的特征 点65个；以及额头上发髻边缘特征点5个。
4. 如权利要求1所述的方法，其特征在于，所述对所述网格化后的人脸照片和特征点 进行建模，在动漫数据库中检索相匹配的卡通头像，包括： 预先建立包含动漫头像素材网格的动漫数据库； 将所述网格化后的人脸照片的特征点数据与动漫数据库中的数据进行比对，提取特征 点组合相似度超过75%的动漫头像作为匹配的卡通头像。
5. 如权利要求1所述的方法，其特征在于，所述根据所述特征点对所述卡通头像进行 变形，包括： 将人脸图像的眼、鼻、嘴、眉以及脸轮廓的特征点分别建立径向基函数映射函数； 所述卡通头像的变形由所述径向基函数映射函数分别完成。
6. 如权利要求1所述的方法，其特征在于，所述对所述变形后的卡通头像进行纹理映 射和渲染，包括： 将所述卡通头像作为纹理映射到所述人脸的网格中，生成卡通人脸头像； 根据所述人脸照片中的颜色值计算所述卡通人脸头像的颜色值，具体包括： 设定（Yi，Cbi，Cri)、（Yt，Cbt，Crt)和（Yr，Cbr，Crr)分别表示所述人脸照片上的点、 卡通头像对应像素和卡通人脸头像像素的YCbCr颜色的各分量；根据如下公式计算： Cbr = Cbt ； Crr = Crt ； Yr = (1-m) ^Yt； 其中，所述m为权系数，m的值根据经验设定。
7. 如权利要求1?6任一所述的方法，其特征在于，所述方法还包括： 当所述动漫数据库中无法检索到相匹配的卡通头像时，对所述人脸照片面部区域进行 纹理映射、渲染和动漫化着色，随机选用动漫素材中的动漫化的耳朵、头发、头饰、耳环、背 景等进行图片装饰，得到卡通人脸头像。
8. -种人脸卡通动漫形象化系统，其特征在于，所述系统包括终端和服务器，其中， 所述终端，用于通过摄像头获取人脸照片并发送给所述服务器；接收所述服务器生成 的卡通人脸头像，并呈现； 所述服务器，用于对所述人脸照片进行网格化和特征点提取；针对所述网格化后的人 脸照片和特征点进行建模，在动漫数据库中检索相匹配的卡通头像；根据所述特征点对所 述卡通头像进行变形；对所述变形后的卡通头像进行纹理映射和渲染，得到卡通人脸头像 并发送给所述终端。
9. 如权利要求8所述的系统，其特征在于，所述服务器进一步包括特征点提取单元、检 索单元、变形单元和渲染单元，其中： 所述特征点提取单元，用于对所述人脸照片进行网格化和特征点提取； 所述检索单元，用于对所述网格化后的人脸照片和特征点进行建模，在动漫数据库中 检索相匹配的卡通头像； 所述变形单元，用于根据所述特征点对所述卡通头像进行变形； 所述渲染单元，用于对所述变形后的卡通头像进行纹理映射和渲染，得到卡通人脸头 像。
10. 如权利要求8或9所述的系统，其特征在于，所述服务器进一步包括动漫数据库单 元，用于预先建立包含动漫头像素材网格的动漫数据库，存储动漫头像素材。
【文档编号】G06T13/00GK104063890SQ201310094810
【公开日】2014年9月24日 申请日期:2013年3月22日 优先权日:2013年3月22日
【发明者】裴峥, 洪琨 申请人:中国移动通信集团福建有限公司