专利名称：一种交互式三维卡通人脸生成方法及装置的制作方法
技术领域：
本发明涉及计算机图形学领域，主要涉及计算机视觉、机器学习方法，特 别是涉及一种交互式三维卡通人脸生成方法及装置。
背景技术：
近年来，动漫、数字娱乐产业已经成为美国、日本、韩国、英国等动漫强
国国民生产总值中重要的组成部分。在我国，2007年动漫产业总体规模已达 200亿元，并还有1000亿元的潜在市场空间。面对动漫产业巨大的市场商机 和文化影响力，国家也相继制定出台了一系列扶持产业发展的政策。同时，随 着虚拟现实技术的发展，3D卡通的应用前景也越来越广阔，在虚拟社区、在 线游戏、卡通电影等领域产生了越来越多新颖有趣的应用。例如，在Second life游戏中，如果人们不想显示自己的真实样貌，则可使用3D卡通头像来表 示自己与游戏中的其他玩家交流。但是目前几乎所有的3D卡通模型均由美工 在专业3D软件，如MAYA， 3DMAX下手工制作，整个建模过程耗时耗力，周期 较长，成本较高并且需要专业美术技能。因此，简单有效的三维卡通人脸生成 方法具有重要的实际应用价值。
目前，我国在3D卡通生成方面已产生了一些重要的研究成果。总体可以
将其分为两大类，自动方法及交互式方法。在自动式三维卡通生成方法中，首 先获得三维人脸的平均特征，然后通过对比输入人脸与平均人脸的差异，从而 发现个性化的特征，并对该特征进行夸张变形，可以获得一定的夸张艺术效果。 此种方法的特点是整个过程完全自动，并能简单的获取到人脸的整体特征，但 却无法抓住人脸的准确特征，且其对人脸的卡通化也仅限于特征的线性縮放， 忽略了从艺术家己有的作品中观察和学习知识，不能提供复杂的卡通类型。
在交互式的方法中，首先用户观察人的脸部特征，然后使用一些Maya支 持的立方体或圆柱体来描述这些特征，通过主观评估逐次用更适合的MAYA形 体替换面部部分，最后经过融合和细分得到最终的卡通模型。此方法虽然能生成令人满意的结果，但是需要一定的艺术相关知识及多次频繁的交互。
发明内容
本发明的目的在于提供一种交互式三维卡通人脸生成方法及装置。其能够 克服传统方法仅能生成单一的卡通风格的缺点，使得最后生成的三维卡通人脸 既风格多样，又生动形象，提供了一种基于知识迁移的交互式三维卡通生成方 法。
为实现本发明的目的而提供的一种交互式三维卡通人脸生成方法，包括下 列步骤
步骤ioo.对三维卡通库中的每一个人脸模型进行部件拆分，并对拆分得
到部件进行处理得到三维卡通部件子空间，然后对输入的三维真实人脸模型，
根据用户交互在三维卡通部件子空间采样，得到具有局部面部特征卡通形变的
三维卡通原型；
步骤200.对二维卡通库中的每一个人脸进行数据提取和处理，将从所述 二维卡通库中学习到的卡通知识迁移到所述三维卡通原型中，生成三维卡通人 脸。
所述步骤IOO，包括下列步骤
步骤iio.将已有三维卡通库中的每一个人脸模型进行部件拆分，得到眼
睛，鼻子，嘴巴，下巴四个五官子库，再对每个五官子库分析主成分，并分别 为每一个五官建立主成分分析子空间；
步骤120.判断用户是否进行交互，若是，则执行步骤130;否则，执行步
骤200;
步骤130.基于用户的交互，将所述每一个人脸模型的相应五官投影到其
相应的主成分分析子空间中，经过上升维数到样本空间，得到具有局部面部特 征卡通形变的三维卡通原型。
所述用户的交互，是指基于人脸五官的主成分分析子空间，根据用户鼠标 的拖拽，产生相应形变。
所述步骤130，包括下列步骤
步骤131.为每个所述五官定义控制点；
步骤132.用户拖拽鼠标，与拖拽点距离较近的所述控制点根据鼠标位移移动；
步骤133.将移动后的控制点投影到相应五官的主成分分析子空间中，再 经过主成分分析反向计算，从低维子空间恢复到样本空间，进行平滑处理，以 得到相应的卡通形变。
所述主成分分析反向计算，是在上述主成分分析降维思想的基础上，将用 户拖拽后的人脸五官投影到主成分上，经过上升维数得到具有用户期望风格的 三维卡通原型。
所述步骤200，包括下列步骤
步骤210.提取二维人脸卡通图片数据的轮廓点，将所述三维卡通原型的 前投影与所有所述二维人脸卡通图片进行轮廓对齐；
步骤220，在对齐后的二维卡通库中，为所述三维卡通原型的前投影寻找 近邻并进行权重组合，运用克里金插值，将二维卡通知识迁移到所述三维卡通 原型上，得到最终三维卡通人脸。
所述步骤210，包括下列步骤
步骤211.提取二维人脸卡通图片数据的轮廓点；
步骤212.对所有所述二维人脸卡通图片进行轮廓归一化。
所述步骤212，包括下列步骤
步骤2121.将所述三维卡通原型的前投影作为对齐目标； 步骤2122.将所有的所述二维人脸卡通图片的轮廓一一进行放大或縮小， 直到与所述前投影最为接近。
所述步骤220，包括下列步骤
步骤221.在对齐后的二维卡通库中，为所述三维卡通原型的前投影寻找K 个最近邻并进行权重组合，得到目标二维卡通，以此作为从二维卡通中学习到 的二维卡通知识；
步骤222.运用克里金插值，将所述二维卡通知识迁移到所述三维卡通原 型上，得到最终三维卡通人脸。 所述步骤221，包括下列步骤
步骤2211.在归一化后的二维卡通库中，为所述三维卡通原型的前投影寻 找近邻；
步骤2212.对寻找到的所述近邻进行权重组合，得到目标二维卡通，以此作为从二维卡通中学习到的二维卡通知识。 所述步骤2211，进一步包括下列步骤
步骤2211a.计算所述三维卡通原型的前投影与二维卡通库中各个人脸之 间的权重距离；
步骤2211b.将所述权重距离从小到大排序，则权重距离最小的前K个为 所述三维卡通原型的前投影的近邻。 所述步骤222，包括下列步骤
步骤2221.将所述三维卡通原型的前投影的特征点与从所述二维卡通图 片提取的特征点一一对应，将其(三维卡通原型的前投影)近邻的权重组合作 为目标二维卡通特征点；
步骤2222.将所述目标二维卡通特征点的坐标与三维卡通原型对应特征 点的偏移量作为观察值，运用克里金插值方法对三维卡通原型中每个需要被插 值的特征点，通过观察点的权重线性组合预测偏移量，得到插值后坐标。
为实现本发明的目的还提供一种交互式三维卡通人脸生成装置，所述装
置，包括用户交互模块和卡通知识迁移模块，其中
所述用户交互模块，用于对三维卡通库中的每一个人脸模型进行部件拆 分，并对拆分得到部件进行处理得到三维卡通部件子空间，然后对输入的三维 真实人脸模型，根据用户交互在三维卡通部件子空间采样，得到具有局部面部
特征卡通形变的三维卡通原型；
所述卡通知识迁移模块，用于对二维卡通库中的每一个人脸进行数据提取 和处理，将从所述二维卡通库中学习到的卡通知识迁移到所述三维卡通原型 中，生成三维卡通人脸。
所述用户交互模块，包括
子空间构建模块，用于将已有三维卡通库中的每个人脸模型进行部件拆 分，得到五官子库，再对每个五官子库分析主成分，并分别为每一个五官建立 主成分分析子空间；
判断模块，用于判断是否进行用户的交互操作；
三维卡通原型生成模块，用于根据用户的交互，将所述每个人脸模型的相 应五官投影到其相应的主成分分析子空间中，经过上升维数到样本空间，得到 具有局部面部特征卡通形变的三维卡通原型。
9所述卡通知识迁移模块，包括
二维人脸卡通图片处理模块，用于提取二维人脸卡通图片数据的轮廓点， 将所述三维卡通原型的前投影与所有所述二维人脸卡通图片进行轮廓对齐；
三维卡通人脸生成模块，用于在对齐后的二维卡通库中，为所述三维卡通 原型的前投影寻找近邻并进行权重组合，运用克里金插值，将二维卡通知识迁 移到所述三维卡通原型上，得到最终三维卡通人脸。
所述二维人脸卡通图片处理模块，包括
特征提取模块，用于提取二维人脸卡通图片数据的轮廓点； 轮廓归一模块，用于对所有所述二维人脸卡通图片进行轮廓归一化。 所述三维卡通人脸生成模块，包括
卡通知识获取模块，用于在对齐后的二维卡通库中，为所述三维卡通原型 的前投影寻找近邻并进行权重组合，得到目标二维卡通，以此作为从二维卡通 中学习到的二维卡通知识；
卡通知识运用模块，用于将所述二维卡通知识迁移到所述三维卡通原型 上，得到最终三维卡通人脸。
所述卡通知识获取模块，还包括
运算模块，用于在归一化后的二维卡通库中，为所述三维卡通原型的前投 影寻找近邻，并进行权重组合。 本发明的有益效果在于
1. 本发明的一种交互式三维卡通人脸生成方法及装置，引入用户的交互以 获取用户意图，减少了所需的艺术背景知识；
2. 本发明的一种交互式三维卡通人脸生成方法及装置，通过运用机器学习 获取存在二维卡通图片中的潜在卡通风格知识，以此保证生成结果具有艺术
图1是本发明一种交互式三维卡通人脸生成方法的流程图2是本发明一种交互式三维卡通人脸生成方法的一实施例的流程图;
图3是本发明中三维卡通库中手工制作的三维卡通人脸图4是本发明中拆分的卡通五官部件10图5 (a)、图5 (b)和图5 (c)是本发明中一个PCA子空间对二维数据 进行降维、获得主成分的示意图6 (a)是本发明库中三维真实模型的平均模型图6 (b)、图6 (c)、图6 (d)和图6 (e)分别显示了眼睛，鼻子，嘴 巴，下巴四个面部特征经过鼠标的拖拽单独产生形变时的样例图7是本发明中根据用户的交互产生三维卡通原型的流程图8是本发明中一些实施例的结果图9是本发明中卡通知识迁移阶段的方法流程图IO是本发明中对二维卡通人脸图片的处理流程图11是本发明中卡通人脸对齐的示意图12是本发明中根据卡通知识迁移得到最终三维卡通头像的流程图； 图13是本发明一种交互式三维人脸生成装置的结构示意图。
具体实施例方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本发明的一种交互式三维卡通人脸生成方法及装置进行进一步详细说 明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定 本发明。
本发明的一种交互式三维卡通人脸生成方法及装置，是根据与用户的交互 得到具有局部面部特征卡通变形的三维卡通原形；再为三维卡通原型的前投影 寻找最近邻并进行权重组合，得到目标二维卡通；最后将目标二维卡通迁移到 三维模型上，得到最终三维卡通人脸。其通过机器学习获取存在于二维卡通中 的潜在卡通知识，使生成的结果生动形象且具有一定的艺术性；通过引入简单 的鼠标操作以反映用户意图，使生成的结果满足客户需求。
下面结合上述目标详细介绍本发明一种交互式三维卡通人脸生成方法。所 述方法主要包括用户交互和卡通知识迁移两个阶段。图1是本发明一种交互式 三维卡通人脸生成方法的流程图，图2是本发明一种交互式三维卡通人脸生成 方法的一实施例的流程图，如图l、图2所示，所述方法包括下列步骤-
步骤100.对三维卡通库中的每一个人脸模型进行部件拆分，并对拆分得 到部件进行处理，得到三维卡通部件子空间，然后对输入的三维真实人脸模型，
11根据用户交互在此子空间采样，得到具有局部面部特征卡通形变的三维卡通原
型；
图3是本发明中三维卡通库中手工制作的三维卡通人脸图，图4是本发明 中拆分的卡通五官部件图。
在交互阶段，用户可通过鼠标拖拽，按其喜好改变输入模型的局部面部特 征。首先需要请美工按照同一拓扑结构手工制作一定数量、各种风格的三维卡 通模型，如图3所示，然后将其拆分为眼睛，鼻子，嘴巴，下巴四个五官子库， 如图4所示，再对每个五官子库分析主成分，建立子空间。此子空间为生成不 同卡通风格的部件提供基础。当用户通过鼠标拖拽某一部件后，将此拖拽后部 件投影到其对应的子空间中，升维后便可得到卡通形变。此阶段充分发挥了用 户的主观能动性，使其可按照自己的意图不同程度的拖拽鼠标，进而得到各种 不同风格的卡通部件。
所述步骤100，包括下列步骤
步骤110.将已有三维卡通库中的每个人脸模型进行部件拆分，得到眼睛， 鼻子，嘴巴，下巴四个五官子库，再对每个五官子库分析主成分，并分别为每 一个五官建立主成分分析(Principal Component Analysis, PCA)子空间；
由于三维卡通库中每个人脸模型均由美工在一个标准模型的基础上制作 完成，所以其具有统一拓扑及大小。当进行部件拆分后，对每个部件(即五官) 的顶点坐标组成的多维向量数据进行PCA，获得每个五官的PCA子空间和主成 分向量。
所述PCA，是复杂数据降维所广泛采用的方法，为现有技术。在建立人脸 五官部件子空间后，既可以在数据处理时起到降维的作用，减少计算复杂度， 更可以通过构成PCA子空间的主成分来获取卡通模式，为生成多种风格的卡通 部件提供基础。
图5 (a)、图5 (b)和图5 (c)是本发明中一个PCA子空间对二维数据 进行降维、获得主成分的示意图。作为一种可实施方式，如图5 (a)、图5 (b)和图5 (c)所示，其中图5 (a)是原始的二维散点数据，图5 (b)是 经过PCA后，获得了主成分向量(参照图5 (b)中的直线L)，也即建立了以 该直线为坐标的一维子空间，图5(c)是对任意的原始二维数据，比如点S， 都可以经过投影，得到在一维直线上的坐标，从而用一维坐标即可表示其空间位置。两条垂直于坐标轴的直线是经过PCA反向计算后，从一维数据恢复其二 维数据的示意图。在此思想的基础上，在建立人脸各五官部件子空间后，可将 用户拖拽后的真实人脸部件投影到主成分上，后上升维数得到具有用户期望风 格的三维卡通人脸。 '
步骤120.判断用户是否进行交互，若是，则执行步骤130;否则，执行步
骤200;
所述用户的交互，是指基于人脸五官的PCA子空间，根据用户鼠标的拖拽， 产生相应形变。
步骤130.基于用户的交互，将所述每个人脸模型的相应五官投影到其相 应的PCA子空间中，经过上升维数到样本空间，得到具有局部面部特征卡通形 变的三维卡通原型；
本步骤中，用户可以依据观察或者喜好选择将哪些面部特征进行夸张，眼 睛，鼻子，嘴巴，下巴或者是多个特征。用户仅需用鼠标点击模型的相应五官 并拖拽，则此面部特征便会随着拖拽的不同方向及位移而产生不同的变形。图 6 (a)是本发明库中三维真实模型的平均模型图，图6 (b)、图6 (c)、图 6 (d)和图6 (e)分别显示了眼睛，鼻子，嘴巴，下巴四个面部特征经过鼠 标的拖拽单独产生形变时的样例图。
本发明中引入用户的交互以获取用户意图，减少了所需的艺术背景知识；
图7是本发明中根据用户的交互产生三维卡通原型的流程图，如图7所示， 所述步骤130，包括下列步骤
步骤131.为每个所述五官定义控制点；
步骤132.用户拖拽鼠标，与拖拽点距离较近的所述控制点根据鼠标位移 移动；
步骤133.将移动后的控制点投影到相应五官的PCA子空间中，再经过PCA 反向计算，从低维子空间恢复到样本空间，进行平滑处理，以得到相应的卡通 形变。
所述PCA反向计算，是在上述PCA降维思想的基础上，将用户拖拽后的人 脸五官投影到主成分上，经过上升维数得到具有用户期望风格的三维卡通原 型。
步骤200.对二维卡通库中的每一个人脸进行数据提取和处理，将从所述二维卡通库中学习到的卡通知识迁移到所述三维卡通原型中，生成三维卡通人
脸；
在卡通知识迁移阶段，首先得到交互阶段生成的三维卡通原型的前投影， 即得到所述三维卡通原型中的84个特征点坐标作为该所述三维卡通原型的前 投影(在不同实施例中，所取特征点的数目可以不同，只要取得的特征点可以 较好的描述人脸五官便可)，然后在二维卡通库的数据集中为前投影寻找近邻。 最后，将这些近邻的权重组合作为学习得到的卡通信息，通过克里金插值迁移 到三维卡通原型，得到最终既能反映用户意图又具有一定艺术性的三维卡通人 脸。
本发明通过运用机器学习获取存在在二维卡通图片中的潜在卡通风格知 识，以此保证生成结果具有艺术性。
图8是本发明中一些实施例的结果图，第一行分别是用户输入的三维真实 人头，第二行为用户交互后产生的三维卡通原型，最后一行为进行卡通知识迁 移后产生的三维卡通人头。
图9是本发明中卡通知识迁移阶段的方法流程图，如图9所示，所述步骤 200，包括下列步骤
步骤210.提取二维人脸卡通图片数据的轮廓点，将所述三维卡通原型的 前投影与所有所述二维人脸卡通图片进行轮廓对齐；
图IO是本发明中对二维卡通人脸图片的处理流程图，如图IO所示，所述 步骤210，包括下列步骤
步骤211.提取二维人脸卡通图片数据的轮廓点；
此处进行轮廓点的提取，即特征提取。由于对于人脸卡通漫画图片，其已 经不符合正常人脸的统计分布，则无法由传统的人脸检测算法自动完成，只能 由手工完成特征点的提取。图11 (a)是本发明中提取人脸特征点的实施例示 意图。
步骤212.对所有所述二维人脸卡通图片进行轮廓归一化； ' 归一化的目的是将所有的人脸对齐到统一的尺度。因为人脸图像采集的来 源不同，则可能导致不同的尺度，大小不一。
步骤2121.将所述三维卡通原型的前投影作为对齐目标；
所述前投影，是指三维模型上与二维卡通特征点一一对应的84个特征点点坐标。
步骤2122.将所有的所述二维人脸卡通图片的轮廓一一进行放大或縮小， 直到与所述前投影最为接近。
图ll是本发明中卡通人脸对齐的示意图，如图11所示，其中图ll (a) 是提取的原始二维人脸卡通图片的轮廓，图ll (b)对齐前的二维人脸卡通轮 廓，图11 (c)是三维卡通原型的前投影，图11 (d)是对齐以后的卡通人脸 轮廓。
步骤220，在对齐后的二维卡通库中，为所述三维卡通原型的前投影寻找 近邻并进行权重组合，运用克里金插值，将二维卡通知识迁移到所述三维卡通 原型上，得到最终三维卡通人脸。
图12是本发明中根据卡通知识迁移得到最终三维卡通头像的流程图，如 图12所示，所述步骤220，包括下列步骤
步骤221.在对齐后的二维卡通库中，为所述三维卡通原型的前投影寻找K 个最近邻并进行权重组合，得到目标二维卡通，以此作为从二维卡通中学习到 的二维卡通知识；
步骤2211.在归一化后的二维卡通库中，为所述三维卡通原型的前投影寻 找近邻；
一般来说，近邻的选择取决于欧式距离的远近。为了增强前投影中由于用 户交互而改变的部分的影响力，并以其引导近邻的选取，本发明定义了一种权 重距离，权重距离并非欧式距离。
步骤2211a.计算所述三维卡通原型的前投影与二维卡通库中各个人脸之 间的权重距离；
所述权重距离为眼睛，鼻子，嘴巴，下巴各部件欧式距离的权重之和。即
若x,y分别为二维人脸向量，则其权重距离为A^"二1^2]ki11 ，其中c
从1到4代表4个部件，《为每个部件的顶点集，x,和y,分别代表二维人脸Z 和y中的特征点。其中，各个部件的权重系数^则由部件的坐标向量计算得到， 如若原始人脸坐标向量为Z ，用户交互后变为X'，则权重系数为
15W,u +1，即权重系数与用户交互时部件的变化量成正比。当用户未
2Jk. II
叫
改变此部件时，此权重系数为一，当用户越大程度的改变部件，此权重系数也 相应越大，则在最终权重距离中占的比重也越大。则这样寻找到的近邻，可提 供艺术家在人脸具有此种用户交互而夸大的特征时创作的卡通信息。
步骤2211b.将所述权重距离从小到大排序，则权重距离最小的前K个为 所述三维卡通原型的前投影的近邻；
步骤2212.对寻找到的所述近邻进行权重组合，得到目标二维卡通，以此
作为从二维卡通中学习到的二维卡通知识；
所述目标二维卡通，即为求得的k个近邻与各自的系数乘积之和。即若近 邻为s,，其系数为。,.，则目标二维卡通为/ = |>,,。
所述求权重组合最重要的部分为其系数T而求系数的方法则有很多种，例 如取距离的倒数作为系数等。较佳地，作为一种可实施方式，本发明中采用局 部线性嵌入(Local Linear Embedding, LLE)中求系数的方法为每个近邻求 系数。局部线性嵌入是流形学习中的代表性方法，它假设每个样本均可尤其最 近邻表征，并且通过最小化重构误差计算系数。基于此系数，对近邻求得的权 重组合既与原始人脸有一定相似性，又蕴含艺术家创作的卡通风格。将其作为 从二维卡通中学习到的卡通知识。其中LLE中求系数a,.的方法为现有技术，在 此不再一一赘述。
步骤222.运用克里金插值，将所述二维卡通知识迁移到所述三维卡通原 型上，得到最终三维卡通人脸。
所述克里金插值是一组广泛运用于地理统计学的插值技术，它可通过观察 点的值为研究对象提供最佳线性无偏估计。由于此方法可最小化估计空间分布 的预测误差，则可在观察点上具有最小的预测误差。雄处利用此特性通过从二 维卡通中学习得到的二维卡通知识进一步整体完善三维卡通。
步骤2221.将所述三维卡通原型的前投影的特征点与从所述二维卡通图 片提取的特征点一一对应，将其(三维卡通原型的前投影)近邻的权重组合作 为目标二维卡通特征点；步骤2222.将所述目标二维卡通特征点的坐标与三维卡通原型对应特征 点的偏移量作为观察值，运用克里金插值方法对三维卡通原型中每个需要被插 值的特征点，通过观察点的权重线性组合预测偏移量，得到插值后坐标。
本步骤中，通过在三维卡通原型上进行克里金插值的初始化时，强制性将 三维卡通原型的观察点在坐标上与目标二维卡通置为相等，并以此对三维卡通 原型上其他顶点进行后续插值工作，达到将从艺术家创作的二维卡通学习到的 人脸卡通知识迁移到三维卡通中的目的，生成的三维卡通人脸拥有更多的艺术 风格，更能吸引用户。
相应于本发明的一种交互式三维卡通人脸生成方法，还提供一种交互式三 维卡通人脸生成装置。
图13是本发明一种交互式三维人脸生成装置的结构示意图，如图13所示， 所述装置包括用户交互模块1和卡通知识迁移模块2，其中
所述用户交互模块1，用于对三维卡通库中的每一个人脸模型进行部件拆 分，并对拆分得到部件进行处理，得到三维卡通部件子空间，然后对输入的三 维真实人脸模型，根据用户交互在此子空间采样，得到具有局部面部特征卡通 形变的三维卡通原型；
所述卡通知识迁移模块2，用于对二维卡通库中的每一个人脸进行数据提 取和处理，将从所述二维卡通库中学习到的卡通知识迁移到所述三维卡通原型 中，生成三维卡通人脸。
所述用户交互模块l，包括
子空间构建模块11，用于将已有三维卡通库中的每个人脸模型进行部件 拆分，得到五官子库，再对每个五官子库分析主成分，并分别为每一个五官建 立主成分分析子空间；
判断模块12，用于判断是否进行用户的交互操作；
三维卡通原型生成模块13，用于根据用户的交互，将所述每个人脸模型 的相应五官投影到其相应的PCA子空间中，经过上升维数到样本空间，得到具 有局部面部特征卡通形变的三维卡通原型。
所述卡通知识迁移模块2，包括
二维人脸卡通图片处理模块21，用于提取二维人脸卡通图片数据的轮廓
17点，将所述三维卡通原型的前投影与所有所述二维人脸卡通图片进行轮廓对
齐；
三维卡通人脸生成模块22，用于在对齐后的二维卡通库中，为所述三维 卡通原型的前投影寻找近邻并进行权重组合，运用克里金插值，将二维卡通知 识迁移到所述三维卡通原型上，得到最终三维卡通人脸。
所述二维人脸卡通图片处理模块21，包括
特征提取模块211，用于提取二维人脸卡通图片数据的轮廓点； 轮廓归一模块212，用于对所有所述二维人脸卡通图片进行轮廓归一化； 所述三维卡通人脸生成模块22，包括
卡通知识获取模块221，用于在对齐后的二维卡通库中，为所述三维卡通
原型的前投影寻找近邻并进行权重组合，得到目标二维卡通，以此作为从二维
卡通中学习到的二维卡通知识；
卡通知识运用模块222，用于将所述二维卡通知识迁移到所述三维卡通原 型上，得到最终三维卡通人脸。
所述卡通知识获取模块221，还包括
运算模块2211，用于在归一化后的二维卡通库中，为所述三维卡通原型 的前投影寻找近邻，并进行权重组合。
本发明的有益效果在于
1. 本发明的一种交互式三维卡通人脸生成方法及装置，引入用户的交互以
获取用户意图，减少了所需的艺术背景知识；
2. 本发明的一种交互式三维卡通人脸生成方法及装置，通过运用机器学习 获取存在二维卡通图片中的潜在卡通风格知识，以此保证生成结果具有艺术 性。
通过结合附图对本发明具体实施例的描述，本发明的其它方面及特征对本 领域的技术人员而言是显而易见的。
以上对本发明的具体实施例进行了描述和说明，这些实施例应被认为其只 是示例性的，并不用于对本发明进行限制，本发明应根据所附的权利要求进行 解释。
权利要求
1.一种交互式三维卡通人脸生成方法，其特征在于，所述方法，包括下列步骤步骤100.对三维卡通库中的每一个人脸模型进行部件拆分，并对拆分得到部件进行处理得到三维卡通部件子空间，然后对输入的三维真实模型，根据用户交互在三维卡通部件子空间采样，得到具有局部面部特征卡通形变的三维卡通原型；步骤200.对二维卡通库中的每一个人脸进行数据提取和处理，将从所述二维卡通库中学习到的卡通知识迁移到所述三维卡通原型中，生成三维卡通人脸。
2. 根据权利要求1所述的交互式三维卡通人脸生成方法，其特征在于，所 述步骤IOO，包括下列步骤步骤IIO.将已有三维卡通库中的每一个人脸模型进行部件拆分，得到眼 睛，鼻子，嘴巴，下巴四个五官子库，再对每个五官子库分析主成分，并分别 为每一个五官建立主成分分析子空间；步骤120.判断用户是否进行交互，若是，则执行步骤130;否则，执行步骤200;步骤130.基于用户的交互，将所述每一个人脸模型的相应五官投影到其相应的主成分分析子空间中，经过上升维数到样本空间，得到具有局部面部特 征卡通形变的三维卡通原型。
3. 根据权利要求2所述的交互式三维卡通人脸生成方法，其特征在于，所 述用户的交互，是指基于人脸五官的主成分分析子空间，根据用户鼠标的拖拽， 产生相应形变。
4. 根据权利要求2所述的交互式三维卡通人脸生成方法，其特征在于，所 述步骤130，包括下列步骤-步骤131.为每个所述五官定义控制点；步骤132.用户拖拽鼠标，与拖拽点距离较近的所述控制点根据鼠标位移 移动；步骤133.将移动后的控制点投影到相应五官的主成分分析子空间中，再经过主成分分析反向计算，从低维子空间恢复到样本空间，进行平滑处理，以 得到相应的卡通形变。
5. 根据权利要求4所述的交互式三维卡通人脸生成方法，其特征在于，所 述主成分分析反向计算，是在上述主成分分析降维思想的基础上，将用户拖拽 后的人脸五官投影到主成分上，经过上升维数得到具有用户期望风格的三维卡 通原型。
6. 根据权利要求1所述的交互式三维卡通人脸生成方法，其特征在于，所 述步骤200，包括下列步骤步骤210.提取二维人脸卡通图片数据的轮廓点，将所述三维卡通原型的 前投影与所有所述二维人脸卡通图片进行轮廓对齐；步骤220，在对齐后的二维卡通库中，为所述三维卡通原型的前投影寻找 近邻并进行权重组合，运用克里金插值，将二维卡通知识迁移到所述三维卡通 原型上，得到最终三维卡通人脸。
7. 根据权利要求6所述的交互式三维卡通人脸生成方法，其特征在于，所 述歩骤210，包括下列步骤步骤211.提取二维人脸卡通图片数据的轮廓点；步骤212.对所有所述二维人脸卡通图片进行轮廓归一化。
8. 根据权利要求7所述的交互式三维卡通人脸生成方法，其特征在于，所 述步骤212，包括下列步骤步骤2121.将所述三维卡通原型的前投影作为对齐目标； 步骤2122.将所有的所述二维人脸卡通图片的轮廓一一进行放大或縮小， 直到与所述前投影最为接近。
9. 根据权利要求6所述的交互式三维卡通人脸生成方法，其特征在于，所 述步骤220，包括下列步骤步骤221.在对齐后的二维卡通库中，为所述三维卡通原型的前投影寻找K 个最近邻并进行权重组合，得到目标二维卡通，以此作为从二维卡通中学习到 的二维卡通知识； '步骤222.运用克里金插值，将所述二维卡通知识迁移到所述三维卡通原 型上，得到最终三维卡通人脸。
10. 根据权利要求9所述的交互式三维卡通人脸生成方法，其特征在于，所述步骤221，包括下列步骤步骤2211.在归一化后的二维卡通库中，为所述三维卡通原型的前投影寻 找近邻；步骤2212.对寻找到的所述近邻进行权重组合，得到目标二维卡通，以此 作为从二维卡通中学习到的二维卡通知识。
11. 根据权利要求10所述的交互式三维卡通人脸生成方法，其特征在于， 所述步骤2211，进一步包括下列步骤步骤2211a.计算所述三维卡通原型的前投影与二维卡通库中各个人脸之 间的权重距离；步骤2211b.将所述权重距离从小到大排序，则权重距离最小的前K个为 所述三维卡通原型的前投影的近邻。
12. 根据权利要求9所述的交互式三维卡通人脸生成方法，其特征在于， 所述步骤222，包括下列步骤步骤2221.将所述三维卡通原型的前投影的特征点与从所述二维卡通图 片提取的特征点一一对应，将三维卡通原型的前投影近邻的权重组合作为目标 二维卡通特征点；步骤2222.将所述目标二维卡通特征点的坐标与三维卡通原型对应特征 点的偏移量作为观察值，运用克里金插值方法对三维卡通原型中每个需要被插 值的特征点，通过观察点的权重线性组合预测偏移量，得到插值后坐标。
13. —种交互式三维卡通人脸生成装置，其特征在于，所述装置，包括-用户交互模块和卡通知识迁移模块，其中所述用户交互模块，用于对三维卡通库中的每一个人脸模型进行部件拆 分，并对拆分得到部件进行处理得到三维卡通部件子空间，然后对输入的三维 真实人脸模型，根据用户交互在三维卡通部件子空间采样，得到具有局部面部 特征卡通形变的三维卡通原型；所述卡通知识迁移模块，用于对二维卡通库中的每一个人脸进行数据提取 和处理，将从所述二维卡通库中学习到的卡通知识迁移到所述三维卡通原型 中，生成三维卡通人脸。
14. 根据权利要求13所述的交互式三维卡通人脸生成装置，其特征在于， 所述用户交互模块，包括子空间构建模块，用于将已有三维卡通库中的每个人脸模型进行部件拆 分，得到五官子库，再对每个五官子库分析主成分，并分别为每一个五官建立主成分分析子空间；判断模块，用于判断是否进行用户的交互操作；三维卡通原型生成模块，用于根据用户的交互，将所述每个人脸模型的相 应五官投影到其相应的主成分分析子空间中，经过上升维数到样本空间，得到 具有局部面部特征卡通形变的三维卡通原型。
15. 根据权利要求13所述的交互式三维卡通人脸生成装置，其特征在于， 所述卡通知识迁移模块，包括二维人脸卡通图片处理模块，用于提取二维人脸卡通图片数据的轮廓点， 将所述三维卡通原型的前投影与所有所述二维人脸卡通图片进行轮廓对齐；三维卡通人脸生成模块，用于在对齐后的二维卡通库中，为所述三维卡通 原型的前投影寻找近邻并进行权重组合，运用克里金插值，将二维卡通知识迁 移到所述三维卡通原型上，得到最终三维卡通人脸。
16. 根据权利要求15所述的交互式三维卡通人脸生成装置，其特征在于， 所述二维人脸卡通图片处理模块，包括特征提取模块，用于提取二维人脸卡通图片数据的轮廓点； 轮廓归一模块，用于对所有所述二维人脸卡通图片进行轮廓归一化。
17. 根据权利要求15所述的交互式三维卡通人脸生成装置，其特征在于， 所述三维卡通人脸生成模块，包括卡通知识获取模块，用于在对齐后的二维卡通库中，为所述三维卡通原型 的前投影寻找近邻并进行权重组合，得到目标二维卡通，以此作为从二维卡通 中学习到的二维卡通知识；卡通知识运用模块，用于将所述二维卡通知识迁移到所述三维卡通原型 上，得到最终三维卡通人脸。
18. 根据权利要求17所述的交互式三维卡通人脸生成装置，其特征在于， 所述卡通知识获取模块，还包括运算模块，用于在归一化后的二维卡通库中，为所述三维卡通原型的前投 影寻找近邻，并进行权重组合。
全文摘要
本发明公开了一种交互式三维卡通人脸生成方法及装置。该方法包括下列步骤对三维卡通库中的每一个人脸模型进行部件拆分，并对拆分得到部件进行处理得到三维卡通部件子空间，然后对输入的三维真实模型，根据用户交互在三维卡通部件子空间采样，得到具有局部面部特征卡通形变的三维卡通原型；对二维卡通库中的每一个人脸进行数据提取和处理，将从所述二维卡通库中学习到的卡通知识迁移到所述三维卡通原型中，生成三维卡通人脸。其能够克服传统方法仅能生成单一的卡通风格的缺点，使得最后生成的三维卡通人脸既风格多样，又生动形象，提供了一种基于知识迁移的交互式三维卡通生成方法。
文档编号G06T15/00GK101493953SQ20091007904
公开日2009年7月29日 申请日期2009年3月4日 优先权日2009年3月4日
发明者刘军发, 谢金晶, 陈益强 申请人:中国科学院计算技术研究所