专利名称：支持姿态偏转的人脸数字图像漫画夸张方法、装置及系统的制作方法
技术领域：
本发明涉及计算机图形图像处理领域，具体地涉及一种支持姿态偏转的人脸数字 图像漫画夸张方法、装置及系统。
背景技术：
人脸卡通画使用简单的轮廓线条以及单纯的色彩突出人物形象的特征，通过艺 术的手法夸张或者写实地表现人物的个性和反映画家的创作思想。非真实感绘制(NPR， Non-Photorealistic Rendering)的卡通头像可以去除不重要的细节，而突出重要特征，从 而能更好地传递信息，在网络通讯和网络游戏等多个领域中有很强的应用前景。在艺术夸张表现上，通过基于人脸的特征统计与特征发现，即对人脸部器官特征 (例如额头宽度、嘴唇厚度等)进行测量以获得人脸特征点，人脸特征点主要是指能够反映 个人面部特征的点，例如眼角、嘴角、鼻尖、鼻翼角点等，并与平均人脸参考模型进行比较， 其差异作为人物特征，并对该差异进行放大，得到夸张的艺术效果。目前，鲜有研究工作针对单张非正视人脸图像做漫画夸张。而事实上，通常的人脸 图像并不完全是正视人脸图像，生活中还存在有大量的非正视人脸图像；某些人的正面图 像体现不出太多的特点，而在半侧面或是全侧面图像中却能凸显其的特质，因此，对单张非 正视人脸图像的漫画夸张的研究是非常有必要的。现有技术的技术方案包括离线部分和在线部分。在离线部分，首先建立一个三维 平均人脸参考模型。图1为现有技术的三维平均人脸模型的特征点位置的分布示意图。如 图1所示，通过手工标定三维人脸数据库中样本的特征点，获取特征点坐标，旋转、平移、缩 放到统一的坐标系下对三维坐标求均值而建立，通过上述步骤，离线准备工作完毕。在线部分，进行卡通头像制作，具体包括如下步骤S101、利用三维平均人脸参考模型估计输入图像中人脸的位置和姿态参数；S102、 把估计出的位置和姿态参数应用到三维人脸参考模型，使其朝向和位置基本与该输入图像 匹配，再把此时三维人脸参考模型的各个特征点的深度信息作为输入图像的二维相应特征 点的近似深度，以形成符合该输入图像的三维特征点模型；S103、将该图像的三维特征点模 型旋转到正面视图，利用基于二维人脸形状的夸张规则得到正面视图的夸张特征点；S104、 把正面视图的夸张后的三维特征点模型旋转回原来的姿态并投影，即得夸张后的人脸二维 特征点；S105、利用数字图像扭曲warping技术，把经过配准的人脸二维特征点包围的输入 人脸的纹理，映射到夸张后的人脸特征点包围的范围内，即得人脸的夸张效果；S106、采用 NPR技术得到最终带有卡通风格的漫画夸张效果。发明人在实现本发明的过程中发现，现有技术至少存在以下不足现有技术的人 脸图像漫画夸张方法只能局限于正视图像或者固定姿态的图像；现有技术把特征点的深度 信息恢复出来后，将有偏转的人脸三维特征点旋转到正面视图然后应用夸张规则，但是应 用的夸张规则是二维的，没有利用好深度信息；而且现有技术使用的是基于直观语义的二 维夸张规则，这种夸张规则产生的夸张效果有限，缺乏生动性。
发明内容
本发明实施例提供了一种支持姿态偏转的人脸数字图像漫画夸张方法、装置及系 统，通过在基于非负矩阵分解NMF的人脸三维形状特征空间中，根据三维夸张规则对旋转 至输入人脸像的三维形状进行三维夸张，以获得具有漫画风格的生动幽默的人脸图像。一方面，本发明实施例提供了一种支持姿态偏转的人脸数字图像漫画夸张方法， 所述方法包括根据预先建立的三维平均脸形状模型恢复输入人脸图像的二维特征点的近 似深度信息；根据所述近似深度信息生成所述输入人脸图像的三维形状；在预先建立的基 于非负矩阵分解NMF的人脸三维形状特征空间中，根据三维夸张规则对旋转至正面视图的 所述三维形状进行三维夸张，以生成三维夸张后的三维形状；将所述三维夸张后的三维形 状变换回所述输入人脸图像的初始姿态并投影，以生成三维夸张后的二维特征点；根据所 述三维夸张后的二维特征点生成具有漫画夸张效果的人脸图像。另一方面，本发明实施例提供了一种支持姿态偏转的人脸数字图像漫画夸张装 置，所述装置包括深度信息恢复单元，用于根据预先建立的三维平均脸形状模型恢复输入 人脸图像的二维特征点的近似深度信息；三维形状生成单元，用于根据所述近似深度信息 生成所述输入人脸图像的三维形状；三维形状夸张单元，用于在预先建立的基于非负矩阵 分解NMF的人脸三维形状特征空间中，根据三维夸张规则对旋转至正面视图的所述三维形 状进行三维夸张，以生成三维夸张后的三维形状；二维特征点生成单元，用于将所述三维夸 张后的三维形状变换回所述输入人脸图像的初始姿态并投影，以生成三维夸张后的二维特 征点；漫画夸张图像生成单元，用于根据所述三维夸张后的二维特征点生成具有漫画夸张 效果的人脸图像。又一方面，本发明实施例提供了一种支持姿态偏转的人脸数字图像漫画夸张系 统，包括图像夸张装置，用于根据图像数据库提供的一预设数量的人脸图像三维模型，恢复 输入的人脸图像二维特征点的近似深度信息；根据所述近似深度信息生成所述输入人脸图 像的三维形状；在预先建立的基于非负矩阵分解的人脸三维形状特征空间中，根据三维夸 张规则对旋转至正面视图的所述三维形状进行三维夸张，以生成三维夸张后的三维形状； 将所述三维夸张后的三维形状变换回所述输入人脸图像的初始姿态并投影，以生成三维夸 张后的二维特征点；根据所述三维夸张后的二维特征点生成具有漫画夸张效果的人脸图 像；以及图像数据库，用于向所述图像夸张装置提供一预设数量的人脸图像三维模型。本发明实施例的一种支持姿态偏转的人脸数字图像漫画夸张方法、装置及系统， 可以对摇摆偏转+/-40°、俯仰偏转+/-20°的人脸图像做出漫画夸张效果。本发明实施例 完全基于人脸立体结构的三维夸张规则，解决了现有技术的漫画夸张方法只能对近似正面 人脸图像或者固定姿态人脸图像做夸张的问题，同时对现有技术的基于直观语义规则的二 维夸张方法实现了改进，能够有效地产生更加生动幽默和富于变化的漫画夸张结果。
图1为现有技术的三维平均人脸模型的特征点位置的分布示意图；图2为本发明实施例1的人脸数字图像漫画夸张方法的整体流程图；图加为本发明实施例1的图2中S210的详细流程图3为本发明实施例的深度恢复误差分析示意图；图如为基于NMF夸张的方向性效应的鸟瞰视图；图4b为基于NMF夸张的方向性效应的右侧视图；图5为本发明实施例1生成的人脸夸张图像的效果实例图；图6为本发明实施例1与现有技术的夸张效果对比实例图；图7为本发明实施例2的人脸数字图像漫画夸张装置的功能框图；图7a为本发明实施例2的空间建立单元706的详细功能框图；图8为本发明实施例3的系统功能框图；图9为本发明实施例4的人脸数字图像漫画夸张方法的处理流程图。
具体实施例方式为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是 本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员 在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明实施例能有效地生成姿态可变的人脸图像的漫画夸张风格的卡通 化效果。本发明实施例在利用三维平均脸模型恢复输入人脸特征点深度信息后，在 NMF (Non-negative Matrix Factorization，非负矩阵分解)建立的人脸形状特征空间下， 将该三维形状与三维平均脸形状比较并归一化特征差异，对其中较显著的特征应用夸张规 则。从而扩大了现有的漫画夸张方法的应用范围，能够更有效地产生幽默效果更加明显的 结果，满足日常应用的需求。实施例1 本发明实施例提供了一种支持姿态偏转的人脸数字图像漫画夸张方法。该方法的 应用范围针对摇摆偏转+/-40°、俯仰偏转+/-20°范围内的人脸图像。图2为本发明实施 例1的人脸数字图像漫画夸张方法的流程图。如图2所示，该方法包括S202、根据预先建立的三维平均脸形状模型恢复输入人脸图像的二维特征点的近 似深度信息；上述过程具体包括首先，执行姿态参数求精步骤；由于输入的姿态参数的精度并不一定非常高，需要通过进一步求精得到更精确的 结果。本发明实施例1是利用三维平均脸形状模型逼近输入人脸图像的二维特征点的所有 姿态参数，包括缩放系数S，三个坐标轴的旋转参数α，β，Y，水平偏移参数tx和垂直偏移 参数ty等，以输入的姿态参数作为初值，用计算机最优化方法得到精确的姿态参数结果。待优化的目标函数如下
权利要求
1.一种支持姿态偏转的人脸数字图像漫画夸张方法，其特征在于，所述方法包括 步骤A、根据预先建立的三维平均脸形状模型，恢复输入的人脸图像二维特征点的近似深度信息；步骤B、根据所述近似深度信息生成所述输入人脸图像的三维形状； 步骤C、在预先建立的基于非负矩阵分解的人脸三维形状特征空间中，根据三维夸张规 则对旋转至正面视图的所述三维形状进行三维夸张，以生成三维夸张后的三维形状；步骤D、将所述三维夸张后的三维形状变换回所述输入人脸图像的初始姿态并投影，以 生成三维夸张后的二维特征点；步骤E、根据所述三维夸张后的二维特征点生成具有漫画夸张效果的人脸图像。
2.根据权利要求1所述的方法，其特征在于，所述步骤C之前还包括 建立基于非负矩阵分解的人脸三维形状特征空间。
3.根据权利要求2所述的方法，其特征在于，所述建立基于非负矩阵分解的人脸三维 形状特征空间包括获取一预设数量的人脸三维模型；标定每一所述人脸三维模型的一预设数量的三维特征点，以获得每一所述人脸三维模 型的特征点点云；将每一所述人脸三维模型的特征点点云的坐标值排列成列向量，并对所述列向量进行 尺度归一化处理，获得处理后的列向量；将所述预设数量的人脸三维模型分别对应的列向量依次排列，组成矩阵S，并根据非负 矩阵分解方法对所述矩阵S进行分解，以获得分解后的矩阵F，所述矩阵F用于表示人脸三 维形状特征空间。
4.根据权利要求3所述的方法，其特征在于，所述矩阵S的行数表示为3N，所述矩阵S 的列数表示为M，所述矩阵F的列数表示C，其关系满足(3N+M) XC < 3NXM，其中N、M及C 为正整数。
5.根据权利要求4所述的方法，其特征在于，所述根据非负矩阵分解方法对所述矩阵S 进行分解后还获得矩阵E，所述建立基于非负矩阵分解的人脸三维形状特征空间还包括根据矩阵E计算矩阵E中每行元素的均值Hii和标准差σ i，其中i = 1，. . .，C。
6.根据权利要求5所述的方法，其特征在于，所述步骤C包括 将所述输入人脸图像的三维形状旋转至正面视图；将正面视图的所述三维形状的特征点点云的坐标值排成列向量，并对所 述列向量进行尺度归一化处理，获得处理后的列向量V，其满足以下关系式
7.根据权利要求6所述的方法，其特征在于，所述在预先建立的基于非负矩阵分解的 人脸三维形状特征空间中，根据三维夸张规则对旋转至正面视图的所述三维形状进行三维 夸张，以获得三维夸张后的三维形状还包括通过调整夸张系数k的取值和κ的取值来改变夸张程度，其中k和κ的取值范围包 括下列区间ke [a，b]，K e [c，d]，其中a的最大值为2，b的最小值为4，c的最大值为 3，d的最小值为6。
8.根据权利要求1所述的方法，其特征在于，所述根据夸张后的二维特征点获得具有 漫画夸张效果的人脸图像包括将二维特征点包围区域内的图像纹理通过数字图像扭曲变换到对应的夸张移动后的 二维特征点包围的区域内；根据非真实感绘制方法，以获得漫画夸张后的人脸图像。
9.一种支持姿态偏转的人脸数字图像漫画夸张装置，其特征在于，所述装置包括深度信息恢复单元，用于根据预先建立的三维平均脸形状模型，恢复输入的人脸图像 二维特征点的近似深度信息；三维形状生成单元，用于根据所述近似深度信息生成所述输入人脸图像的三维形状；三维形状夸张单元，用于在预先建立的基于非负矩阵分解的人脸三维形状特征空间 中，根据三维夸张规则对旋转至正面视图的所述三维形状进行三维夸张，以生成三维夸张 后的三维形状；二维特征点生成单元，用于将所述三维夸张后的三维形状变换回所述输入人脸图像的 初始姿态并投影，以生成三维夸张后的二维特征点；漫画夸张图像生成单元，用于根据所述三维夸张后的二维特征点生成具有漫画夸张效 果的人脸图像。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括空间建立单元，用于建立基于非负矩阵分解的人脸三维形状特征空间。
11.一种支持姿态偏转的人脸数字图像漫画夸张系统，其特征在于，所述系统包括图像夸张装置，用于根据图像数据库提供的一预设数量的人脸图像三维模型，恢复输 入的人脸图像二维特征点的近似深度信息；根据所述近似深度信息生成所述输入人脸图像 的三维形状；在预先建立的基于非负矩阵分解的人脸三维形状特征空间中，根据三维夸张 规则对旋转至正面视图的所述三维形状进行三维夸张，以生成三维夸张后的三维形状；将 所述三维夸张后的三维形状变换回所述输入人脸图像的初始姿态并投影，以生成三维夸张 后的二维特征点；根据所述三维夸张后的二维特征点生成具有漫画夸张效果的人脸图像；图像数据库，用于向所述图像夸张装置提供一预设数量的人脸图像三维模型。
12.根据权利要求11所述的系统，其特征在于，所述图像夸张装置，还用于建立基于非 负矩阵分解的人脸三维形状特征空间。
全文摘要
本发明实施例提供了一种支持姿态偏转的人脸数字图像漫画夸张方法、装置及系统，该方法包括根据预先建立的三维平均脸形状模型恢复输入人脸图像的二维特征点的近似深度信息；根据该近似深度信息生成所述输入人脸图像的三维形状；在预先建立的基于非负矩阵分解的人脸三维形状特征空间中，根据三维夸张规则对旋转至正面视图的所述三维形状进行三维夸张，以获得三维夸张后的三维形状；将该三维夸张后的三维形状变换回所述输入人脸图像的初始姿态并投影，以生成三维夸张后的二维特征点；根据该三维夸张后的二维特征点生成具有漫画夸张效果的人脸图像。本发明能对摇摆偏转+/-40°、俯仰偏转+/-20°的人脸图像做出更生动幽默和富于变化的漫画夸张效果。
文档编号G06T11/00GK102103756SQ20091025941
公开日2011年6月22日 申请日期2009年12月18日 优先权日2009年12月18日
发明者杨锦春, 马湘旺, 黄华 申请人:华为技术有限公司, 西安交通大学