专利名称：一种非线性三维人脸的建模方法
技术领域：
本发明属于图像处理的技术领域，具体地涉及一种非线性三维人脸的建模方法。
背景技术：
三维人脸重建是根据输入二维人脸图像重建其三维人脸数据的工作。由于三维人脸模型在计算机游戏、人机交互等领域有着广阔的应用前景，因此三维人脸重建已经成为是计算机图形学、计算机视觉最活跃的研究热点。自从Parke于1972年首次使用计算机方法表示人脸，人脸建模就得到了广泛的关注。经过30多年的发展，三维人脸建模方法有了长足的进步。Vetter等人1999年提出了基于形变模型的人脸建模方法，该方法第一次实验了人脸建模的完全自动化，并且可以由一幅人脸图像重建特定人的三维人脸模型。由于该模型是建立在像素级对应的三维原型人脸数据上，且模型中考虑了人脸姿态、光照等因素， 因此该模型可以生成高度真实感的三维人脸。形变模型的基础是线性组合的思想，即一类对象可以用该类对象基向量的线性组合来表示。基于形变模型的建模方法是通过调节模型的组合参数实现形变模型与输入图像之间的匹配。而人脸是嵌套在高维空间当中的非线性流形。基于线性理论的重建算法必定会忽略人脸结构的细节，难以达到较好的重建效果。
发明内容
本发明的技术解决问题是克服现有技术的不足，提供一种重建效果更好的非线性三维人脸的建模方法。本发明的技术解决方案是这种非线性三维人脸的建模方法，包括以下步骤(I) 从已有的人脸数据库中分别选取三维样本和二维样本，作为训练样本集，并对这些样本实施规格化操作；在训练阶段，将二维训练样本集与三维训练样本集按照身份信息进行配对， 使得这两组样本集中的样本按照身份信息相互对应；(2)以这两组对应样本集为基础训练各自的投影矩阵，使得不同维度的样本投影后具有最大的相关性；(3)在重建阶段，对于输入的二维人脸图像，首先对其进行规格化处理，然后在二维训练样本集的子空间进行投影， 根据相关性距离选取与其相关度高的三维样本，基于这些选定的三维样本构建三维人脸形变模型，并将其与输入图像进行匹配来实现三维人脸样本重建。由于本方法基于典型相关性分析和形变模型，所以重建效果更好。
具体实施例方式这种非线性三维人脸的建模方法，包括以下步骤(I)从已有的人脸数据库中分别选取三维样本和二维样本，作为训练样本集；在训练阶段，将二维训练样本集与三维训练样本集按照身份信息进行配对，使得这两组样本集中的样本按照身份信息相互对应；(2) 以这两组对应样本集为基础训练各自的投影矩阵，使得不同维度的样本投影后具有最大的相关性；(3)在重建阶段，首先将二维训练样本集的二维样本进行规格化处理(将其按照双眼间的距离进行尺度对齐，按照鼻尖点的位置进行位移对齐，并规格化为192*192大小的样本)；对于输入的二维人脸图像，首先将其进行规格化处理，然后在规格化的二维训练样本集的子空间进行投影，根据相关性距离选取与其相关度高的三维样本，基于这些选定的三维样本构建三维人脸形变模型，并将其与输入图像进行匹配来实现三维人脸样本重建。优选地，步骤⑴包括以下分步骤(I. I)从已有的人脸数据库中选取三维样本集和二维样本集；(I. 2)三维样本集和二维样本集按照身份信息对应；(I. 3)对三维样本和二维样本进行规格化。更进一步地，所述步骤(I. 3)包括对三维样本规格化使用交互的方式获取三维样本瞳孔之间的位置，计算所有三维样本的瞳孔间的距离，以这些距离的平均值为标准对所有三维样本进行尺度变化，以眉心点为标准对所有三维样本进行平移对齐；对二维样本规格化使用交互的方式获取二维样本瞳孔之间的位置，计算所有二维样本的瞳孔间的距离，以这些距离的平均值为标准对所有二维样本进行尺度变化，以眉心点为标准对所有二维样本进行平移对齐。优选地，步骤⑵包括以下分步骤(2. I)计算二维样本与三维样本的均值向量；(2. 2)将所有样本减去各自对应的均值向量；(2.3)以相关性公式为目标函数，对其求最大值优化，在目标函数最大化时求出二维样本和三维样本对应的特征向量，其中相关性公式为
权利要求
1.一种非线性三维人脸的建模方法，其特征在于，包括以下步骤(1)从已有的人脸数据库中分别选取三维样本和二维样本，作为训练样本集，并对这些样本实施规格化操作；在训练阶段，将二维训练样本集与三维训练样本集按照身份信息进行配对，使得这两组样本集中的样本按照身份信息相互对应；(2)以这两组对应样本集为基础训练各自的投影矩阵，使得不同维度的样本投影后具有最大的相关性；(3)在重建阶段，对于输入的二维人脸图像，首先对其进行规格化处理，然后在二维训练样本集的子空间进行投影，根据相关性距离选取与其相关度高的三维样本，基于这些选定的三维样本构建三维人脸形变模型，并将其与输入图像进行匹配来实现三维人脸样本重建。
2.根据权利要求I所述的方法，其特征在于，步骤(I)包括以下分步骤(I. D从已有的人脸数据库中选取三维样本集和二维样本集；(I. 2)三维样本集和二维样本集按照身份信息对应；(I. 3)对三维样本和二维样本进行规格化操作。
3.根据权利要求2所述的方法，其特征在于，所述步骤(1.3)包括对三维样本规格化使用交互的方式获取三维样本瞳孔之间的位置，计算所有三维样本的瞳孔间的距离， 以这些距离的平均值为标准对所有三维样本进行尺度对齐，以眉心点为标准对所有三维样本进行平移对齐；对二维样本规格化使用交互的方式获取二维样本瞳孔之间的位置，计算所有二维样本的瞳孔间的距离，以这些距离的平均值为标准对所有二维样本进行尺度对齐，以眉心点为标准对所有二维样本进行平移对齐。
4.根据权利要求3所述的方法，其特征在于，步骤(2)包括以下分步骤(2. I)计算二维样本与三维样本的均值向量；(2. 2)将所有样本减去各自对应的均值向量；(2.3)以相关性公式为目标函数，对其求最大值优化，在目标函数最大化时求出二维样本和三维样本对应的特征向量，其中相关性公式为e\wtxxytw~\P =丨r r r Γ Γ τ ，其中X代表二维样本集，Y代表三维样本集，X的投 [WtxXYtWx ] E [W1yXY1Wy ]影基向量是Wx，Y的投影基向量是Wy ；(2. 4)在优化目标的约束下使得投影后的向量具有最大的相关性。
5.根据权利要求4所述的方法，其特征在于，步骤(3)包括以下分步骤(3. I)输入二维人脸图像；(3. 2)规格化该人脸图像；(3. 3)在二维样本的子空间进行投影；(3. 4)计算步骤(3. 3)的投影与三维样本投影向量的相关性；(3. 5)根据所有距离的方差确定所选三维样本的范围；(3. 6)基于所选三维样本构建形变模型；(3. 7)将构建的形变模型与输入图像进行匹配；(3. 8)使用粒子群算法进行模型优化，实现三维人脸样本重建。
全文摘要
一种重建效果更好的非线性三维人脸的建模方法，包括非线性三维人脸的建模方法，包括(1)从已有人脸数据库中分别选取三维样本和二维样本，作为训练样本集，并对这些样本实施规格化操作；在训练阶段，将二维、三维训练样本集按照身份信息进行配对，使得这两组样本集中的样本按照身份信息相互对应；(2)以这两组对应样本集为基础训练各自的投影矩阵，使得不同维度的样本投影后具有最大的相关性；(3)在重建阶段，对于输入的二维人脸图像，对其进行规格化处理，在二维训练样本集的子空间进行投影，根据相关性距离选取与其相关度高的三维样本，基于这些选定的三维样本构建三维人脸形变模型，并将其与输入图像进行匹配来实现三维人脸样本重建。
文档编号G06K9/66GK102592309SQ20111044022
公开日2012年7月18日 申请日期2011年12月26日 优先权日2011年12月26日
发明者孙艳丰, 家华杰, 尹宝才, 盖赟 申请人:北京工业大学