专利名称：三维虚拟人头像生成方法、人头像运动跟踪方法和装置的制作方法
技术领域：
本发明涉及图像处理领域，特别涉及一种三维虚拟人头像生成方法、人头像运动跟踪方法和装置。
背景技术：
人脸是人类交流的重要渠道，是人类情感表达的最直接的载体，是个体特性展现的重要部分。随着计算机技术的迅速发展，人们试图在计算机上展现真实人脸模型，自从上世纪70年代Parke建立第一个脸部模型开始，人脸建模技术得到广泛关注与研究。真实感人脸建模即是把人的脸部特征在计算机中真实地再现出来。从人的视觉要求出发，总是希望计算机生成的人脸能够尽可能的逼真，但是由于受模型和计算机能力的限制，建模结果与人们的要求还是有很大差距。现有技术中的一种方法时首先根据输入图像手工标定一组特征点；然后根据人脸库中的平均人脸模型，自动估计输入图像中头部姿势参数；姿势恢复以后，它根据一个相似度度量函数为给定人脸图像在三维人脸库中确定一个邻域，邻域的大小通过交叉验证算法来自适应的确定；通过邻域插值算法合成个性化三维人脸模型模型；最后通过提取的特征点求解纹理映射。该方法可以得到高精度的三维人脸动画，在不同的实验条件下应用到各种单幅图像合成三维模型，保证人脸动画的真实感，同时避免了对人脸缝隙区域进行手工划分的繁琐，提高了人脸动画的制作效率，生成三维人脸模型计算过程相对迭代算法更加稳定和高效，同时生成三维人脸模型具有纹理信息，能够实时生成具有真实感的高精度三维人脸动画。在对现有技术进行分析后，发明人发现现有技术至少具有如下缺点:现有技术中提供的方法，每幅测试的图像都需要手工标示特征点，人工处理量太大，不能应用于要求简洁、快速的建模场合。
发明内容
本发明实施例提供了一种三维虚拟人头像生成方法、人头像运动跟踪方法和装置。所述技术方案如下:一种三维虚拟人头像生成方法，包括:采集人脸图片，获取所述人脸图片上的特征点，所述特征点用于表示左右眉毛、左右眼睛、鼻子、人脸的边缘轮廓和人脸额头部分；根据获取的特征点和预设标准人脸模型获取个性化三维人脸模型；对所述个性化三维人脸模型进行纹理贴图，生成三维虚拟人头像。一种人头像运动跟踪方法，包括:获取人头像的视频；检测所述视频的每一帧图像，获取所述每一帧图像中的人脸区域；从所述每一帧图像中的人脸区域中查找强角点；
根据所述每一帧图像中的人脸区域的强角点，获取所述视频中的人头像姿势的旋转偏移矩阵；根据所述旋转偏移矩阵旋转三维虚拟人头像，使得所述三维虚拟人头像的旋转能够跟踪所述视频中的人头像，所述三维虚拟人头像根据所述人头像生成。一种三维虚拟人头像生成装置，包括:特征点获取模块，用于采集人脸图片，获取所述人脸图片上的特征点，所述特征点用于表示左右眉毛、左右眼睛、鼻子、人脸的边缘轮廓和人脸额头部分；个性化三维人脸模型获取模块，用于根据获取的特征点和预设标准人脸模型获取个性化三维人脸模型；三维虚拟人头像获取模块，用于对所述个性化三维人脸模型进行纹理贴图，生成三维虚拟人头像。一种人头像运动跟踪装置，包括:视频获取模块，用于获取人头像的视频；人脸区域获取模块，用于检测所述视频的每一帧图像，获取所述每一帧图像中的人脸区域；强角点查找模块，用于从所述每一帧图像中的人脸区域中查找强角点；矩阵获取模块，用于根据所述每一帧图像中的人脸区域的强角点，获取所述视频中的人头像姿势的旋转偏移矩阵；跟踪模块，用于根据所述旋转偏移矩阵旋转三维虚拟人头像，使得所述三维虚拟人头像的旋转能够跟踪所述视频中的人头像，所述三维虚拟人头像根据所述人头像生成。本发明实施例提供的技术方案的有益效果是:通过获取单幅人脸图片上用于表征人脸特征信息的特征点，并将其应用到三维人脸模型中，生成一个包括额头部分的具有更强真实感的个性化三维人脸模型，无需手工标示特征点，大大减少了人工处理量，且适用于要求简洁、快速的建模场合，且由于特征点中包括了人脸额头部分的特征点，能够使得生成的三维虚拟人头像的真实感大大增强，准确率高。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是特征点局部搜索示意图；图2是本发明实施例提供的一种三维虚拟人头像生成方法的流程图；图3是本发明实施例提供的一种三维虚拟人头像生成方法的流程图；图4是本发明实施例提供的一种人头像运动跟踪方法的流程图；图5是本发明实施例提供的一种三维虚拟人头像生成装置的结构示意图；图6是本发明实施例提供的一种三维虚拟人头像生成装置的结构示意图；图7是本发明实施例提供的一种人头像运动跟踪装置的结构示意图8是本发明实施例提供的一种人头像运动跟踪装置的结构示意图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。在介绍本发明提供的三维虚拟人头像生成方法之前，首先对本发明的基础知识进行简要的介绍:ASM (Active Shape Model，主动形状模型)是一种基于模型的特征匹配算法，它既可以灵活地改变模型的形状以适应目标形状的不确定的特性，又将形状的变化控制在允许的范围内，从而保证模型在改变时不会受到各种因素的影响而出现不合理的形状。ASM算法在实现时主要包括以下三个步骤:(I)图像采样获得形状向量和特征点信息。在建立模型时，需要手工标定训练图像。选择N幅人脸图像(包括多个人的不同表情的姿态)，每一幅图像标定n个特征点作为训练数据。标定点为:Xi = (xn, yn, xi2, yi2, , xin, yin, )T, i = 1, 2, , N (公式 I)其中，(XiJ, YiJ,)表示第i幅图像的第j个特征点的坐标；n代表每幅图像标记的特征点的数目；N代表训练图像的数目；每幅图像的Xi表示一个形状向量。并获取每一个特征点周围的特征信息，这些特征信息是进行匹配的主要依据。(2)建立模型特征点标定是在各自不同的样本图像上进行操作。由于各个样本图像拍摄条件、分辨率的差异，得到的形状向量具有不同的比例尺寸，因此要对样本图像的形状向量进行归一化，通过旋转、平移、缩放等仿射变换使得他们在同一坐标系中表示具有一致性。各个样本向量之间存在一定的相关性，且样本数量比较大会造成计算量过大，必须进行简化处理。采用的PCA (Principal Component Analysis,主成分分析)的思想对样本空间进行正交变换，并确定主成分，经PCA计算可得到主要变化参数。从训练样本中集中获得轮廓的模型统计信息包括: 平均形状向量
权利要求
1.一种三维虚拟人头像生成方法，其特征在于，包括: 采集人脸图片，获取所述人脸图片上的特征点，所述特征点用于表示左右眉毛、左右眼睛、鼻子、人脸的边缘轮廓和人脸额头部分； 根据获取的特征点和预设标准人脸模型获取个性化三维人脸模型； 对所述个性化三维人脸模型进行纹理贴图，生成三维虚拟人头像。
2.根据权利要求1所述的方法，其特征在于，采集人脸图片，获取所述人脸图片上的特征点，所述特征点用于表示左右眉毛、左右眼睛、鼻子、人脸的边缘轮廓和人脸额头部分，具体包括: 采集人脸图片，根据预设算法从所述人脸图片上获取68个特征点，所述68个特征点包括12个用于表示左右眉毛的特征点、10个用于表示左右眼睛的特征点、12个用于表示鼻子的特征点和33个用于表示人脸的边缘轮廓的特征点，根据所述68个特征点获取用于表示人脸额头部分的9个特征点，得到用于表示人脸的77个特征点。
3.根据权利要求2所述的方法，其特征在于，根据所述68个特征点获取用于表示人脸额头部分的9个特征点,具体包括: 根据所述68个特征点中用于表示人脸的边缘轮廓的特征点中的指定17个特征点和椭圆公式，确定所述人脸的椭圆方程式，根据所述椭圆方程式，获取用于表示人脸额头部分的9个特征点。
4.根据权利要求1所述的方法，其特征在于，根据获取的特征点和预设标准人脸模型获取个性化三维人脸模型，具体包括: 根据所述获取的特征点的坐标`，调整预设标准人脸模型上的第一网格顶点的坐标，使得调整后的网格顶点与特征点的位置对应，将调整后的预设标准人脸模型作为个性化三维人脸模型。
5.根据权利要求1所述的方法，其特征在于，根据获取的特征点和预设标准人脸模型获取个性化三维人脸模型，具体包括: 根据所述获取的特征点的坐标，调整预设标准人脸模型上的网格顶点的坐标，使得调整后的网格顶点与特征点的位置对应，将调整后的网格顶点作为第一网格顶点，根据所述第一网格顶点对所述预设标准人脸模型上的第二网格顶点进行调整，所述第二网格顶点为所述预设标准人脸模型上所述第一网格顶点以外的网格顶点，将调整后的预设标准人脸模型作为个性化三维人脸模型。
6.根据权利要求5所述的方法，其特征在于，根据所述第一网格顶点对所述预设标准人脸模型上的第二网格顶点进行调整，具体包括: 根据所述第一网格顶点的坐标以及下述公式，获取第三网格顶点的坐标，将所述第二网格顶点的坐标调整为对应的第三网格顶点的坐标，
7.根据权利要求1所述的方法，其特征在于，对所述个性化三维人脸模型进行纹理贴图，生成三维虚拟人头像，具体包括: 根据所述特征点中用于表示人脸的边缘轮廓的特征点，从所述人脸图片中提取出人脸部分； 根据所述特征点中用于表示鼻尖的特征点和所述人脸部分中用于表示比较的特征点的位置，获取所述个性化三维人脸模型中各个网格顶点的纹理坐标； 将所述人脸部分根据所述纹理坐标进行贴图，生成三维虚拟人头像。
8.一种人头像运动跟踪方法，其特征在于，包括: 获取人头像的视频； 检测所述视频的每一帧图像，获取所述每一帧图像中的人脸区域； 从所述每一帧图像中的人脸区域中查找强角点； 根据所述每一帧图像中的人脸区域的强角点，获取所述视频中的人头像姿势的旋转偏移矩阵； 根据所述旋转偏移矩阵旋转三维虚拟人头像，使得所述三维虚拟人头像的旋转能够跟踪所述视频中的人头像，所述三维虚拟人头像根据所述人头像生成。
9.根据权利要求8所述的方法，其特征在于，检测所述视频的每一帧图像，获取所述每一帧图像中的人脸区域，具体包括: 利用基于Haar特征的人脸检测算法，检测所述视频的每一帧图像，获取所述每一帧图像中的人脸区域。
10.根据权利要求8所述的方法，其特征在于，从所述每一帧图像中的人脸区域中查找强角点，具体包括: 利用强角点检测算法在所述视频第一帧的人脸区域中检测强角点的位置，并利用光流算法在所述视频第一帧以外的每一帧图像中跟踪所述强角点，得到所述强角点在所述视频第一帧以外的每一帧图像上的位置； 或，利用光流算法在所述视频第一帧的人脸区域中检测强角点的位置，并利用强角点检测算法在所述视频第一帧以外的每一帧图像中跟踪所述强角点，得到所述强角点在所述视频第一帧以外的每一帧图像上的位置。
11.根据权利要求8所述的方法，其特征在于，根据所述每一帧图像中的人脸区域的强角点，获取所述视频中的人头像姿势的旋转偏移矩阵，具体包括: 利用POSIT算法根据所述每一帧图像中的人脸区域的强角点的位置计算出视频中人头像姿势的旋转偏移矩阵。
12.—种三维虚拟人头像生成装置，其特征在于，包括: 特征点获取模块，用于采集人脸图片，获取所述人脸图片上的特征点，所述特征点用于表示左右眉毛、左右眼睛、鼻子、人脸的边缘轮廓和人脸额头部分； 个性化三维人脸模型获取模块，用于根据获取的特征点和预设标准人脸模型获取个性化三维人脸模型； 三维虚拟人头像获取模块，用于对所述个性化三维人脸模型进行纹理贴图，生成三维虚拟人头像。
13.根据权利要求12所述的装置，其特征在于，所述特征点获取模块具体包括: 采集单元，用于采集人脸图片；` 特征点获取单元，用于根据预设算法从所述人脸图片上获取68个特征点，所述68个特征点包括12个用于表示左右眉毛的特征点、10个用于表示左右眼睛的特征点、12个用于表示鼻子的特征点和33个用于表示人脸的边缘轮廓的特征点，根据所述68个特征点获取用于表示人脸额头部分的9个特征点，得到用于表示人脸的77个特征点。
14.根据权利要求13所述的装置，其特征在于，所述特征点获取单元包括: 椭圆确定子单元，用于根据所述68个特征点中用于表示人脸的边缘轮廓的特征点中的指定17个特征点和椭圆公式，确定所述人脸的椭圆方程式； 特征点获取子单元，用于根据所述椭圆方程式，获取用于表示人脸额头部分的9个特征点。
15.根据权利要求12所述的装置，其特征在于，所述个性化三维人脸模型获取模块具体用于根据所述获取的特征点的坐标，调整预设标准人脸模型上的第一网格顶点的坐标，使得调整后的网格顶点与特征点的位置对应，将调整后的预设标准人脸模型作为个性化三维人脸模型。
16.根据权利要求12所述的装置，其特征在于，所述个性化三维人脸模型获取模块具体用于根据所述获取的特征点的坐标，调整预设标准人脸模型上的网格顶点的坐标，使得调整后的网格顶点与特征点的位置对应，将调整后的网格顶点作为第一网格顶点，根据所述第一网格顶点对所述预设标准人脸模型上的第二网格顶点进行调整，所述第二网格顶点为所述预设标准人脸模型上所述第一网格顶点以外的网格顶点，将调整后的预设标准人脸模型作为个性化三维人脸模型。
17.根据权利要求16所述的装置，其特征在于，所述个性化三维人脸模型获取模块包括: 调整单元，用于根据所述第一网格顶点的坐标以及下述公式，获取第三网格顶点的坐标，将所述第二网格顶点的坐标调整为对应的第三网格顶点的坐标，
18.根据权利要求12所述的装置，其特征在于，所述三维虚拟人头像获取模块包括: 人脸提取单元，用于根据所述特征点中用于表示人脸的边缘轮廓的特征点，从所述人脸图片中提取出人脸部分； 纹理坐标获取单元，用于根据所述特征点中用于表示鼻尖的特征点和所述人脸部分中用于表示比较的特征点的位置，获取所述个性化三维人脸模型中各个网格顶点的纹理坐标； 贴图单元，用于将所述人脸部分根据所述纹理坐标进行贴图，生成三维虚拟人头像。
19.一种人头像运动跟踪装置，其特征在于，包括: 视频获取模块，用于获取人头像的视频； 人脸区域获取模块，用于检测所述视频的每一帧图像，获取所述每一帧图像中的人脸区域； 强角点查找模块，用于从所述每一帧图像中的人脸区域中查找强角点； 矩阵获取模块，用于根据所述每一帧图像中的人脸区域的强角点，获取所述视频中的人头像姿势的旋转偏移矩阵； 跟踪模块，用于根据所述旋转偏移矩阵旋转三维虚拟人头像，使得所述三维虚拟人头像的旋转能够跟踪所述视频中的人头像，所述三维虚拟人头像根据所述人头像生成。
20.根据权利要求19所述的装置，其特征在于，所述人脸区域获取模块具体用于利用基于Haar特征的人脸检测算法，检测所述视频的每一帧图像，获取所述每一帧图像中的人脸区域。
21.根据权利要求19所述的装置，其特征在于，所述强角点查找模块至少包括以下任一单元: 第一查找单元，用于利用强角点检测算法在所述视频第一帧的人脸区域中检测强角点的位置，并利用光流算法在所述视频第一帧以外的每一帧图像中跟踪所述强角点，得到所述强角点在所述视频第一帧以外的每一帧图像上的位置； 第二查找单元，用于利用光流算法在所述视频第一帧的人脸区域中检测强角点的位置，并利用强角点检测算法在所述视频第一帧以外的每一帧图像中跟踪所述强角点，得到所述强角点在所述视频第一帧以外的每一帧图像上的位置。
22.根据权利要求19所述的装置，其特征在于，所述矩阵获取模块具体用于利用POSIT算法根据所述每一帧图像中的人脸区域的强角点的位置计算出视频中人头像姿势的旋转偏移矩阵 。
全文摘要
本发明公开了一种三维虚拟人头像生成方法、人头像运动跟踪方法和装置，属于图像处理领域。该三维虚拟人头像生成方法包括采集人脸图片，获取所述人脸图片上的特征点，所述特征点用于表示左右眉毛、左右眼睛、鼻子、人脸的边缘轮廓和人脸额头部分；根据获取的特征点和预设标准人脸模型获取个性化三维人脸模型；对所述个性化三维人脸模型进行纹理贴图，生成三维虚拟人头像。通过获取单幅人脸图片上用于表征人脸特征信息的特征点，并将其应用到三维人脸模型中，生成一个包括额头部分的具有更强真实感的个性化三维人脸模型，无需手工标示特征点，大大减少了人工处理量，且适用于要求简洁、快速的建模场合，且由于特征点中包括了人脸额头部分的特征点，能够使得生成的三维虚拟人头像的真实感大大增强，准确率高。
文档编号G06T13/40GK103116902SQ201110362949
公开日2013年5月22日 申请日期2011年11月16日 优先权日2011年11月16日
发明者潘志庚, 张明敏, 叶益斌, 李焕森, 周小建, 李德旭 申请人:华为软件技术有限公司