真实感3d人脸重建的方法

专利名称：真实感3d人脸重建的方法
技术领域：
本发明属于计算机视觉领域，更具体地讲，涉及真实感三维人脸重建。

背景技术：
由于TOF(飞行时间)系统装置中的封闭、几何限制或不利的面反射特性，光学捕获装置经常产生噪声和不完整的3D(三维)人脸数据集合。此外，通过具有不同角度的不同装置捕获2D(二维)彩色图像和深度图像，因此2D彩色图像和深度图像不对齐。
现有论文、专利讲述如何真实感三维人脸重建都是只基于图像或者视频，例如，申请号US6532011、US74151152、US7355607和US7289648的专利申请涉及的真实感三维人脸重建只基于图像，而申请号US7103211、US6664956、US7146028、US7139439和US7212656的专利申请涉及的真实感三维人脸重建只基于视频，这样的重建速度慢，重建的形状效果也不好。其主要问题就是形状不够真实，经常只用通用的模型来代替个性的形状，然后将个性的二维纹理信息贴到这种通用的三维的人脸形状。因此，需要一种能够重建真实感更强的三维人脸图像的方法。


发明内容
为了能更好地重建出真实感的三维形状，本发明利用深度信息首先进行真实感的形状重建，然后再将二维的纹理信息与三维形状进行对齐，将对齐后的二维纹理和形状进行贴图和匹配。
在本发明中，我们提出了一种新的方法通过使用统计人脸模型以获得丢失数据的区域的几何模型，通过分别拟合2D统计模型和3D统计模型来建立2D图像和3D人脸形状之间的人脸特征点的对应关系，来从这种不完整且不对齐的人脸图像获得完整且一致的3D彩色人脸图像。2D图像和3D图像的人脸特征点被分别三角剖分，并且2D彩色图像和3D形状图像之间的对应三角面片被设置。通过使用该对应三角面片来将2D彩色图像映射到3D形状。通过精细3D形状和映射的人脸纹理来表示3D彩色人脸。
根据本发明的一方面，提供一种3D图像重建的方法，包括步骤使用输入深度图像进行3D形状重建；将输入2D图像的纹理信息与所述重建的3D形状进行对齐，并将2D图像的纹理映射到3D形状上，以产生重建的3D图像。
根据本发明的另一方面，提供一种真实感3D人脸重建的方法，包括步骤(a)使用输入的人脸深度图像进行3D人脸形状重建；(b)对输入的2D人脸图像进行2D人脸拟合；(c)将拟合的2D人脸图像的纹理信息与所述重建的3D人脸形状进行对齐，并将2D人脸图像的纹理映射到3D人脸形状上，以产生重建的3D图像。



图1是描述根据本发明示例性实施例的真实感3D人脸重建方法的流程图； 图2是根据本发明示例性实施例的3D人脸形状重建的详细流程图； 图3A是显示通过利用输入的小分辨率的人脸强度图像构建2D人脸模型的详细过程的流程图，图3B是显示对输入的人脸强度图像进行拟合的详细流程图； 图4是显示构建的基于大尺度特征的AAM模型的示图； 图5是显示构建的基于小尺度特征的AAM模型的示图； 图6是显示对输入的2D人脸图像进行2D人脸拟合的详细过程的流程图； 图7是显示将拟合后的2D人脸图像的纹理信息与所述重建的3D人脸形状进行对齐的详细流程图； 图8A是根据现有技术(从一个2D彩色图像)重建的3D人脸图像的示例，图8B是根据本发明重建的真实感3D人脸图像示例； 图9是示出α和β与角和边缘的关系的示图； 图10是通过将与轴的角加倍来作出角和边缘的示图； 图11A-11C是示出构建基于特征的模型的效果图，其中，图11A是原始人脸图像，图11B是包括边缘图像和角图像的人脸特征图像，图11C是通过AAM训练后的模型； 图12是显示将二维纹理三角面片与三位人脸形状上的三角面片映射的示图。

具体实施例方式 为了有助于对本发明的示例性实施例的描述和理解，现描述本发明中所使用的术语、技术和算法 3D形状模型的建立 形状向量的定义基于参考人脸，参考人脸可以是任意3D人脸模型。本发明的参考人脸，是具有来自于TOF系统的顶点的点云(即，深度图像)。此点云的顶点k∈{1，...，n}可位于Cartesian坐标中的(xk，yk，zk)。随后，可通过下面的等式(1)来定义形状向量 S＝(x1，y1，z1，x2，...，xn，yn，zn)T(1) 对该深度图像的采样人脸i＝1...m的形状向量Si的集合执行主成份分析(PCA)。从每个形状向量中减去平均值

即

并且定义数据矩阵A＝(a1，a2，…am)。PCA的基本步骤是计算协方差矩阵C＝AAT的特征向量s1，s2，…sm，可通过(单)数值分解来实现协方差矩阵C＝AAT。通过下面的等式(2)表示3D人脸形状模型 此外，PCA提供人脸空间内的可能性密度估计
其中，σi是C的特征值。
3D形状拟合 模型的顶点的三维位置可通过系数αi和等式(2)给出。刚体变换将每个顶点k的坐标Xk＝(xk，yk，zk)T映射到位置，如下面的等式(4)所示 (wx，k，wy，k，wz，k)T＝RγRθRφXk+tw(4) 拟合算法优化形状系数、姿态角度和3D转化。为了初始化3D人脸的粗略位置，首先使用具有平均形状的迭代最近点(ICP)来优化姿态角度和3D转化。随后，使用随机牛顿算法进行3D形状拟合，即优化形状系数。下面具体描述通过使用ICP算法来优化3D人脸形状模型的姿态角度和3D转化的过程。
通过ICP算法优化姿态角度和3D转化 模型的顶点的三维位置可通过系数αi和等式(2)给出。刚体变换将每个顶点k的坐标Xk＝(xk，yk，zk)T映射到位置，如下面的等式(4)所示 (wx，k，wy，k，wz，k)T＝RγRθRφXk+tw(4) 拟合算法优化形状系数、姿态角度和3D转化。为了初始化3D人脸的粗略位置，首先使用具有平均形状的迭代最近点(ICP)来优化姿态角度和3D转化。随后，使用随机牛顿算法进行3D形状拟合，即优化形状系数。下面具体描述通过使用ICP算法来优化3D人脸形状模型的姿态角度和3D转化的过程。
ICP算法可陈述如下给出具有来自数据形状和模型形状X的Np个点的点集合P，模型形状X具有支持几何元素点、线或三角形的Nx。
通过设置P0＝P，

并且k＝0来初始化迭代。相对于初始数据集合P0来定义注册向量，从而最终注册表示完成变换。应用下述步骤1、2、3和4直到在容限T内收敛。在括号中给出每一操作的计算成本。
1.计算最近点Yk＝c(Pk，X) 2.计算注册 3.应用注册 4.当均方差的改变落在预设阈值T＞0(T规定注册的期望精确度)时终止迭代dk-dk+1＜T。
如果期望无维度阈值，则可用

来代替T，其中，模型形状的协方差的微量的平方根指示模型形状的粗略大小。
使用随机牛顿算法来进行3D人脸形状模型的形状拟合 给出输入深度图像，分析人脸的主要目的在于最小化此深度图像与合成的重建图像之间的所有像素的平方差的和，如下面的等式(5)所示 其中，(qx，j，qy，j，qz，j)t是输入的深度图像中的点，

是合成图像中的点。
为了优化成本函数(5)，已经开发了类似于随机梯度下降的牛顿算法的随机版本，即随机牛顿算法。在每一迭代中，该算法仅在1000个随机面点计算ES。对这些随机点分析地计算ES的第一派生。
牛顿算法基于梯度

和Hessian矩阵

对参数αl优化成本函数ES。该优化如以下等式(6)所示 为了简单，这里将αi认为是模型参数的一般集合。
2D人脸模型的建立 AAM(主动外观模型)单独地对形状和外观建模。AAM的形状模型通过网格定义，具体地讲，是通过网格的顶点位置定义。算术上将AAM的形状S定义为构成网格的v顶点的坐标 s＝(x1，y1，x2，y2，...，xv，yv)T(7) AAM允许线性形状变化。这意味着形状s可被表示为基础形状s0加n个形状向量si的线性组合 在此表达式中，系数pi是形状参数。
AAM的外观模型定义在基础网格s0内。s0也表示基础网格s0内的像素的集合X＝(x，y)T。AAM的外观模型是像素X∈s0定义的图像A(X)。AAM允许线性外观变化。这意味着外观A(X)可表示为基础外观A0(X)加m个外观图像Ai(X)的线性组合 在此表达式中，系数λi是外观参数。
根据本发明的基于特征的模型 基于原始强度的模型往往对条件(例如，成像参数或生物差异)的改变敏感。基于边缘的表示往往不及原始强度测量对成像条件敏感。也就是说，现有技术中使用的图像匹配的特征不是很稳定。因此，本发明提出一种采用更为稳定可靠的特征来进行图像的匹配，例如图像的梯度特征，即边缘与角特征。
梯度特征在每一点计算图像梯度g＝(gxgy)T，随后得到2个用于2D输入图像的纹理图像。这通过非线性归一化步骤给出 边缘和角结构通过梯度AAM和强度AAM图像有时很差地匹配角。而角是公知的可靠特征。Harris and Stephens描述了如何建立角检测器。本地图像差enery E在碎片原点是0，并且纹理更强，上升越快。其中 为了仅对小的位移进行定位和描述，增加了高斯窗口w(u，v)，并且对位移原点执行分析扩大 (2) 其中，通过下式来近似第一梯度 从而，对于小的位移，E可被写为 E(x，y)＝Ax2+2Cxy+By2，其中， 那么E可被简写为E(x，y)＝(x，y)M(x，y)T 其中，2×2对称矩阵M是 其中，w指定图像窗口，其可以是矩形窗口或者平滑圆形窗口。我们使用高斯窗口 w(u，v)＝exp-(u2+v2)/2σ2 当其从原点移动时，M的特征值α，β特征化方差函数的和的改变率。如图中所示，α，β的低值意味着平坦图像区域。α的高值和β的低值意味着图像区域在一个方向上平坦，但是在另一方向上改变，即边缘。α和β的高值意味着在任何方向上不平坦的区域，即角。图9是示出α和β与角和边缘的关系的示图。
角和边缘的测量为了将α和β强加到独立形式，取得向量(αβ)T并且将与α轴的角度加倍，如图10所示。图10是通过将与轴的角加倍来作出角和边缘的示图。
能够计算角r和边缘e。
在等式中使用trM和detM是有吸引力的，由于这避免了M的明显的特征值分解，因此 trM＝α+β＝A+B 因此，det M＝αβ＝AB-C2 r＝(α2+β2)sinθ ＝2detM ＝2AB-2C2 考虑下面用于角响应的等式 R＝k(trM)2-det M R在边缘区域中的正的，在边缘redions中是负的，在平坦区域中是小的。通过落在一些选择的阈值下的tr来指定平坦区域。
非线性变换通过利用边缘和角度特征，随后将预处理器应用到S形函数来进行非线性变换。
纹理预处理器需要是非线性的来使得与基于PCA的模型具有重大差别。如果将预处理器的选择限制在其幅度反映本地特征检测器的响应的强度，则其将可用于将此幅度m变换为可靠性测量。我们使用S形函数进行此非线性变换。
此函数具有限制非常大响应，防止它们控制图像的效果。图11A-11C是示出构建基于特征的模型的效果图，其中，图11A是原始人脸图像，图11B是包括边缘图像和角图像的人脸特征图像，图11C是通过AAM训练后的模型。
通过快速AAM进行2D人脸拟合 为了定义拟合处理，必须形式上定义将被优化的标准。自然地，需要最小化I(x)和A(x)之间的误差。存在可被计算的此误差中的两个坐标帧，图像I的坐标帧和AAM的坐标帧。关于得到有效拟合算法的更好选择是用于使用AAM的坐标帧，即基础网格s0。如果x是s0中的像素，那么输入图像I中的相应像素是N(W(x；p)；q)。在像素x，AAM具有外观A(x)。在像素N(W(x；p)；q)，输入图像具有强度I(N(W(x；p)；q))。其中，参数q是刚体变化参数，例如平移、旋转，参数p是形状参数(非刚性参数)，表示人脸形状的变化情况，例如嘴唇大小以及张闭情况、眼睛大小以及张闭情况。需要最小化这两个数量之间的差的平方的和 其中，A0(x)是基础外观，I(x)是输入图像，Ai(x)是一组已知的外观可变图像，N(W(x；p)；q)表示允许偏离的参数化集合，p＝(p1，…，pn)T是未知的形状参数的向量，并且λi，i＝1，…，m是一组未知的形状外观参数。通过归一化逆向合成算法来实现该基于特征的AAM拟合过程。
归一化逆向合成算法包括预先计算过程和迭代过程。通过预先计算过程计算形状Hessian矩阵。
预先计算过程包括步骤 (3)估计基础外观A0(x)的梯度图
(4)估计在(x，0)的雅可比

和
(5)使用等式(13)计算最速下降图SDic(x) (6)使用等式(14)计算Hessian矩阵H并求其逆迭代过程包括步骤 (1)计算I(N(W(x；p)；q)) (2)使用等式(12)计算差图像E(x) (2a)估计λ并使用等式(11)计算Enorm(x) (7)对于i＝1，…，m，计算
(8)通过将结果向量与逆Hessian矩阵相乘来计算(Δq，Δp) (9)更新(NоW)(x；q，p)←(NоW)(x；q，p)о(NоW)(x；Δq，Δp)-1，直到||Δp||≤ε，||Δq||≤ε。
其中，等式(11)是 等式(12)是 E(x)＝I(N(W(x；p)；q))一A0(x)

其中，i＝1，…，m(12) 等式(13)是 (13) 等式(14)是 三角剖分 通过使用Delaunay三角剖分算法来进行该三角剖分过程。在任何三角形的外切圆上或内部不存在其他点。假设已经具有几个三角形，那么能够逐个地添加剩余顶点。为了添加一个顶点，首先去除包围该顶点的任何三角形，并将它们的边缘存储在边缘缓冲器中，随后形成边缘缓冲器中的边缘与顶点之间的新的三角形。
可以做出一个大的包括所有顶点的“超三角形”以开始以上处理。当然，这意味着将形成多余三角形，但是它们后来可被容易地去除。
映射对应三角形面片 假设具有三个顶点x，y，z的2D三角形T以及具有三个顶点x′y′，z′的对应的3D三角形T′，可使用重心坐标将三角形T中的任意点u映射到三角形T′中的对应点u′，如图12所示。图12是显示将二维纹理三角面片与三维人脸形状上的三角面片映射的示图。通过下面的仿射变换函数等式(15)和(19)以及等式(16)-(18)来实现该映射。
对于三角形T中的任意点u，存在α、β和γ的唯一值。值α、β和γ是用于计算三角面片中的每个像素点与该三角形顶点的相对位置关系系数。
u＝αx+βy+γz(15) 其中，α+β+γ＝1，并且α，β和γ所有都是非负数。可通过下面的等式(16)-(18)计算参数α、β和γ α＝l β一γ(18) 只要得到重心坐标，三角形中的对应点可通过下面的等式(19)被计算 u′＝αx′+βy′+γz′(19) 这样，便能够将拟合后的2D图像的纹理信息与所述重建的3D人脸形状进行对齐以产生重建的3D图像。另外，也可通过在3D三角形中计算用于每点的重心坐标，并根据该计算的重心坐标确定2D三角形中的对应点的方法来实现3D三角形与2D三角形的映射。
下面结合本发明的附图对本发明的示例性实施例进行详细描述。
图1是描述根据本发明示例性实施例的真实感3D人脸重建方法的流程图。在步骤S1，使用输入的人脸深度图像进行3D人脸形状重建；在步骤S2，对输入的2D人脸图像进行2D人脸拟合；在步骤S3，将拟合的2D人脸图像的纹理信息与所述重建的3D人脸形状进行对齐以产生重建的3D图像。
下面将参照图2对图1中的步骤S1的过程进行更加详细的描述。图2是根据本发明示例性实施例的3D人脸形状重建的详细流程图。
深度摄像头能够拍摄相同成像条件下的两张图片，一张是人脸深度图像，一张是人脸强度(intensity)图像，两张都是小分辨率的。根据本发明的示例性实施例利用这两张小分辨率的输入的人脸深度图像和人脸强度图像进行3D人脸形状重建。
在步骤S11，利用输入的人脸深度图像建立3D形状模型。
在步骤S12，通过利用输入的小分辨率的人脸强度图像构建2D人脸模型图3A是显示通过利用输入的小分辨率的人脸强度图像构建2D人脸模型的详细过程的流程图。在步骤S51，对输入的人脸强度图像进行人工标点；随后在步骤S52，对标点后的图像建立形状模型；在步骤S53，对标点后的图像建立外观模型；在步骤S54，计算平均外观的梯度图；在步骤S55，计算最速下降图；在步骤S56，计算Hessian矩阵并求其逆。计算Hessian矩阵过程，参见前述的预先计算过程。在计算的Hessian矩阵中包括刚体变化参数q和形状参数p。
图4构建的基于小尺度特征的AAM模型的示图。基于大尺度特征的AAM模型是通过使用大分辨率的样本图像进行训练得到的统计模型。其具体过程是对输入人脸的样本图像进行特征提取，得到基于特征的样本图像，然后用这样的样本图像进行PCA统计学习，从而得到基于大尺度特征的AAM统计模型。类似地，基于小尺度特征的AAM模型是通过使用小分辨率的样本图像进行训练得到的统计模型。其具体过程是对人脸样本(例如，图2中所示小分辨率人脸强度图像)进行特征提取，然后对提取的特征进行低通高斯滤波，从而得到小分辨率的样本图像。然后用这样的样本图像进行PCA统计学习。
在步骤S13，采用在步骤S12构建的2D人脸模型来对输入的人脸强度图像进行拟合。其具体过程如图3B所示。图3B是显示对输入的人脸强度图像进行拟合的详细流程图。
在步骤S57，根据人脸检测器初始化q，并且设置p＝0。
在步骤S58，计算I(N(W(x；p)；q))。
在步骤S59，计算差图像E(x)＝I(N(W(x；p)；q))-A0(x)。
在步骤S60，计算(Δq，Δp)。
在步骤S61，更新(q，p)。
在步骤S62，判断是否收敛，如果收敛则结果处理，否则返回步骤S58。从而完成了对输入的人脸强度图像的拟合。
随后在步骤S 14，在拟合的2D人脸图像中找到相应的人脸关键点的位置(facial point location)。
在步骤S15，使用找到的人脸关键点的位置坐标作为3D形状拟合的初始化位置，并将在步骤S11建立的3D形状模型初始化到相应的位置。
然后在步骤S16，通过使用ICP算法和随机牛顿算法进行3D形状拟合。具体的说，用ICP算法将3D形状模型先进行刚体拟合，也就是先将3D形状模型移动和旋转到相应的位置，即优化姿态角度和3D转化。然后，再用随机牛顿算法进行形状参数的拟合，也就是拟合嘴唇，眼睛等参数，及其张闭参数，即，即优化形状系数。这样便重建了3D人脸形状。
下面将参照图6对图1中的步骤S2的过程进行更加详细的描述。图6是显示对输入的2D人脸图像进行2D人脸拟合的详细过程的流程图。这里，输入的2D人脸图像是大分辨率(大分辨率)的人脸图像。
在步骤S21，利用输入的大分辨率2D人脸图像构建2D人脸模型，其过程与上述利用小分辨率人脸图像构建2D人脸模型的过程相同，如图3A所示。
在步骤S22，采用在步骤S21构建的2D人脸模型来对输入的大分辨率人脸图像进行拟合。其具体拟合过程如图3B所示。
下面将参照图7对图1中的步骤S3的过程进行更加详细的描述。图7是显示将拟合后的2D人脸图像的纹理信息与所述重建的3D人脸形状进行对齐的详细流程图。
在步骤S31，定位步骤S2拟合的2D人脸图像中的人脸特征点。
在步骤S32，定位步骤S1重建的3D人脸形状中的人脸特征点。
在步骤S33，将2D人脸图像中定位的人脸特征点进行三角剖分。
在步骤S34，将3D人脸形状中定位的人脸特征点进行三角剖分。
在步骤S35，建立三角剖分的2D人脸图像中定位的人脸特征点构成的三角面片与三角剖分的3D人脸形状中定位的人脸特征点构成的三角面片之间的对应关系。
在步骤S36，参照步骤S35建立的对应关系，将2D人脸图像中定位的人脸特征点构成的三角面片中的纹理映射到3D人脸形状中定位的人脸特征点构成的对应三角面片，从而将2D人脸图像中的所有像素映射到3D人脸形状上，这样实现了将拟合的大分辨率2D图像的纹理信息与所述重建的3D人脸形状的对齐并将2D人脸图像的纹理映射到3D人脸形状上，从而产生重建的3D图像。也可以通过将3D人脸形状中定位的人脸特征点构成的三角面片中的纹理映射到2D人脸图像中定位的人脸特征点构成的对应三角面片来实现步骤S36的映射。
图8A是根据现有技术(从一个2D彩色图像)重建的3D人脸图像的示例，图8B是根据本发明重建的真实感3D人脸图像示例。从这两图可以看出，根据本发明重建的真实感3D人脸图像比现有技术重建的3D人脸图像的真实感更强。
根据本发明的3D人脸重建方法是示例性的，本发明也可应用于各种3D图像的重建中。
尽管已经参照本发明的示例性实施例具体显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。
权利要求
1.一种3D图像重建的方法，包括步骤
使用输入深度图像进行3D形状重建；
将输入2D图像的纹理信息与所述重建的3D形状进行对齐，并将2D图像的纹理映射到3D形状上，以产生重建的3D图像。
2.一种真实感3D人脸重建的方法，包括步骤
(a)使用输入的人脸深度图像进行3D人脸形状重建；
(b)对输入的2D人脸图像进行2D人脸拟合；
(c)将拟合的2D人脸图像的纹理信息与所述重建的3D人脸形状进行对齐，并将2D人脸图像的纹理映射到3D人脸形状上，以产生重建的3D图像。
3.如权利要求2所述的方法，其中，步骤(a)还包括
利用输入的人脸深度图像建立3D形状模型；
利用与所述输入的人脸深度图像在同样成像条件下拍摄的2D人脸图像构建2D人脸模型，并对所述拍摄的2D人脸图像进行拟合；
在拟合的2D人脸图像中找到相应的人脸关键点的位置；
使用找到的人脸关键点的位置坐标作为建立的3D形状模型拟合的初始化位置，并对建立的3D形状模型进行3D形状拟合。
4.如权利要求3所述的方法，其中，在对建立的3D形状模型进行3D形状拟合的步骤中，先使用ICP算法对3D形状模型进行刚体拟合，随后使用随机牛顿算法对3D形状模型进行形状参数拟合。
5.如权利要求3所述的方法，其中，在利用与所述输入的人脸深度图像在同样成像条件下拍摄的2D人脸图像构建2D人脸模型的步骤中，使用该2D人脸图像的梯度信息、边缘信息和角信息来构建2D人脸模型。
6.如权利要求2所述的方法，其中，步骤(a)中的输入的人脸深度图像是小分辨率的，步骤(b)中的输入的2D人脸图像是大分辨的。
7.如权利要求6所述的方法，其中，步骤(b)还包括
利用输入的大分辨率2D人脸图像构建2D人脸模型；
采用构建的2D人脸模型来对输入的大分辨率人脸图像进行拟合。
8.如权利要求7所述的方法，其中，在利用输入的大分辨率2D人脸图像构建2D人脸模型的步骤中，使用该大分辨率2D人脸图像的边缘与角特征来构建2D人脸模型。
9.如权利要求7所述的方法，其中，在采用构建的2D人脸模型来对输入的大分辨率人脸图像进行拟合的步骤中，先拟合刚体变化参数来粗略定位人脸位置，在粗略定位人脸位置之后将刚体变化参数和形状参数一起拟合。
10.如权利要求2所述的方法，其中，步骤(c)还包括
定位步骤(a)拟合的2D人脸图像中的人脸特征点；
定位步骤(b)重建的3D人脸形状中的人脸特征点；
将2D人脸图像中定位的人脸特征点进行三角剖分；
将3D人脸形状中定位的人脸特征点进行三角剖分；
建立由三角剖分的2D人脸图像中定位的人脸特征点构成的三角面片与由三角剖分的3D人脸形状中定位的人脸特征点构成的三角面片之间的对应关系；
参照建立的对应关系，将由三角剖分的2D人脸图像中定位的人脸特征点构成的三角面片中的纹理映射到由三角剖分的3D人脸形状中定位的人脸特征点构成的对应三角面片。
11.如权利要求10所述的方法，将由三角剖分的2D人脸图像中定位的人脸特征点构成的三角面片中的纹理映射到由三角剖分的3D人脸形状中定位的人脸特征点构成的对应三角面片的步骤包括
计算由三角剖分的2D人脸图像中定位的人脸特征点构成的三角面片中的每一个像素与该三角面片的三个顶点的位置关系系数；
根据计算位置关系系数，计算由三角剖分的3D人脸形状中定位的人脸特征点构成的对应三角面片中的对应点的位置坐标。
12.如权利要求10所述的方法，将由2D人脸图像中定位的人脸特征点构成的三角面片中的纹理映射到由3D人脸形状中定位的人脸特征点构成的对应三角面片的步骤包括
计算由三角剖分的3D人脸图像中定位的人脸特征点构成的三角面片中的每一个像素与该三角面片的三个顶点的位置关系系数；
根据计算的位置关系系数，计算由三角剖分的2D人脸形状中定位的人脸特征点构成的对应三角面片中的对应点的位置坐标。
全文摘要
提供一种3D图像重建的方法，包括步骤使用输入深度图像进行3D形状重建；将输入2D图像的纹理信息与所述重建的3D形状进行对齐，并将2D图像的纹理映射到3D形状上，以产生重建的真实感3D图像。
文档编号G06T17/20GK101814192SQ200910004189
公开日2010年8月25日 申请日期2009年2月20日 优先权日2009年2月20日
发明者黄向生, 任海兵, 金智渊 申请人:三星电子株式会社, 北京三星通信技术研究有限公司