基于对偶域变换的3D网格模型形状对应方法及系统与流程

本发明涉及三维网格模型和交叉参数化技术领域，特别涉及基于对偶域变换的3D网格模型形状对应方法及系统。

背景技术：

在不同的形状之间建立交叉参数化是许多应用的前提和基础。这些应用包括：将模板模型匹配到多个3D数据集，形状混合，形状统计分析(如主成分分析：Principal Component Analysis，即PCA)，传递纹理和表面属性(如BRDFs,Normal maps)，表面分类和识别，视频跟踪，以及表情驱动的人脸动画(performance driven facial animation：PDFA)等等。

而作为这些应用的基础和第一步，交叉参数化技术将具有不同拓扑连接的3D模型转化为兼容网格(compatible meshes，即具有相同拓扑的网格)，同时又保持住表面的细节特征。由于流形表面的非欧属性(即缺乏一个规则的欧几里得参数化域)，在网格表面之间建立交叉参数化本质上是一项困难的任务。已有的方法存在如下问题：鲁棒性低、运算速度慢，难以获得高质量的可保持原始模型形状特征的兼容网格。这些问题很大程度上降低了交叉参数化方法的适用性。

通常而言，存在的一致对应方法可被归为两类：是直接构建一致对应还是间接地构建一致对应。大多数已有的交叉参数化方法属于间接方法。在这些方法中，首先需要构造一个临时的公共参数化域。这个临时的参数化域实际上由一系列2D凸平面子域(用于盘状表面：disk-like surface)或球域(用于亏格为零的表面)组成。然后，对每个模型分别建立和公共参数化域之间的子映射。最后，模型之间的映射通过子映射的合成来获得。在获得交叉参数化(cross-parameterization)之后，网格之间的一致对应可直接通过插值顶点的重心坐标来获得。不同方法的差别在于所选择的参数化域类型，比如平面(plane),球面(sphere),柱面(cylinder),三角分区(trianglepatch)等。然而，尽管类型上的多样性，所有这些临时域的参数化过程都最终是在2D凸平面子域进行的，主要是因为该子域在数学上具备良好的形状保持(shape-preservation)或保角(conformal)属性。然而，对于这些间接方案，如何高效并鲁棒地构造良好的(well-shaped)兼容分块(patch layouts)是一项困难的任务，尤其在拓扑复杂或者狭长的区域。此外，在合成映射的过程中，子映射的误差可能会被放大，这样可能导致最终的交叉映射(inter-surfacemapping)在某些地方会有大的误差。

间接方案的另一个缺点是：虽然映射在每一个分块中是连续的，但分块边界的过渡部分可能是不连续的。因此，为了获得好的最终结果，一些后处理步骤是非常必要的，比如采用的平滑处理。除了构建中间域，还可以直接构造交叉参数化，即，直接把目标网格作为公共域。这样避免了显式的交叉参数化。或通过构造局部仿射变换的平滑能量，Allen等人使用模板匹配技术来直接为一系列人体模型构造一致对应。Sumner等人提出一种相类似的迭代最近点算法来构造网格之间的对应。然而，这些直接方法没有显式地考虑形状保持属性，因此当输入模型有显著不同的几何特征时可能会引入大的的逼近误差。此外，这些方法采用欧氏最近距离作为迭代匹配尺度，当输入网格具有复杂形状时易陷入局部最优。

技术实现要素：

为了克服以上缺点，本申请中的方法接在3D-3D空间构造形状保持对应，而无需将3D表面分割并展平到2D平面中去(即通常的3D-2D-2D-3D过程)，这样有效避免了误差放大、分区边界的不连续，以及各种需要小心处理的情况。此外，本发明的方法采用渐进逼近尺度而不是欧氏最近距离来作为匹配尺度，以避免陷入到局部最优。

基于上述，本发明提供了基于对偶域变换的3D网格模型形状对应方法，包括如下步骤：

初始化，在源网格M_S和目标网格M_T之间建立初始的一致对应；得到所述初始的一致对应的结果与源网格M_S具有等同的拓扑，并和目标网格M_T具有相似的几何；

匹配过程包括基于能量最小化框架进行对偶均值拉普拉斯匹配，所述能量最小化框架至少包括三项：对偶均值拉普拉斯能量项E_l，渐进匹配项E_g以及全局约束项E_c；

通过所述均值拉普拉斯能量项E_l，所述渐进匹配项E_g以及所述全局约束项E_c建立形状对应。

更进一步，所述均值拉普拉斯能量项E_l＝||LV^init||²，其中，L是M_S的对偶拉普拉斯系数矩阵，即δ是Dirac函数，

令M＝(T,G)为三角网格，其中T＝(V,E,F)为一个图，V代表顶点集合，E代表边集合，F代表面片集合；G代表与V中每个顶点相关的几何信息；顶点v_i的拉普拉斯微分坐标定义为v_i和1-邻平均的差值其中，N(i)＝{j|(i,j)∈E}代表边邻居，d_i＝|N(i)|，是顶点的出度，即从该点发散出来的边的数目；对偶拉普拉斯坐标是顶点υ_i和邻接顶点的平均差向量，如果设置每一个顶点的向量为0，则构建了一个平滑能量，并对网格中所有顶点的对偶拉普拉斯表征采用上述矩阵形式表示。

更进一步，渐进匹配项其中，G是M_S中顶点的索引集合，是vi的渐进逼近尺度，g_i是沿着v_i的法线n_i和目标网格的相交位置；

其中，

其中，是υ_i沿着法线方向n_i与目标网格相交位置的法向距离；α＝0.01为松弛因子，用来避免趋近于0时的∞；F(v_i)是(v_i)的1-邻面片集合，N(v_i)为集合中面片的个数；F(M_S)是M_S的面片集合，N(M_S)为面片个数；M_S的平均面积用来归一化v_i的1-邻面积area(F(v_i))。

更进一步，所述全局约束项其中C是全局约束点的索引集合，c_i是标识点在目标网格的对应位置，最终的目标函数E为三个误差函数的加权和：

min E(V^init)＝ω_lE_l+ω_gE_g+ω_cE_c

其中ω_l，ω_g，ω_c为权值。

更进一步，方法还包括：并入源网格的几何属性：局部曲面形状的尺寸、角度、方向以及均值坐标。

更进一步，所述渐进逼近尺度与d_iⁿ成反比，同时与area(F(v_i))成正比。

更进一步，在顶点的三个坐标(X/Y/Z)方向上可以分别进行求解：

首先，忽略渐进逼近项E_g，通过设置权值ω_l＝1；ω_c＝0:3；ω_g＝0，获得了一个初始的映射结果；

然后，逐步增加ω_g，并同时更新的顶点坐标。

基于上述本发明还提供了基于对偶域变换的3D网格模型形状对应系统，包括：

初始化单元，用以在源网格M_S和目标网格M_T之间建立初始的一致对应；得到所述初始的一致对应的结果与源网格M_S具有等同的拓扑，并和目标网格M_T具有相似的几何；

匹配单元，用以基于能量最小化框架进行对偶均值拉普拉斯匹配，所述能量最小化框架至少包括三项：对偶均值拉普拉斯能量项E_l，渐进匹配项E_g以及全局约束项E_c；

以及，通过所述均值拉普拉斯能量项E_l，所述渐进匹配项E_g以及所述全局约束项E_c建立形状对应。

更进一步，在3D-3D空间完成构造。

更进一步，所述初始化单元中的一致对应结果具体为：在M_C中的任意一点p_c在源网格M_S中找到一个语义上的一一对应点p_s。

本发明的有益效果：

本发明所提出的新框架就如何在任意网格之间建立高质量的一致对应给出了一种优雅的解决方案。不同于绝大多数已有的方法，其需要对输入网格进行分割并构建临时的参数化域，方法直接利用源网格的拓扑性质来同时逼近目标网格的几何性质，这样有效地避免了处理各种复杂的情况，如交叉(intersections),阻塞(blocking),轮转次序(cyclicorders),沿着分区边界的不连续(discontinuity alongpartition boundaries)，等等。本申请的方法统一在一个一致的数学框架中，其中，相似类型的线性操作符被应用到方法的各个阶段，基于对偶网格操作符，提出一种新的均值拉普拉斯匹配方案，其直接在3D-3D空间计算形状保持对应(而无需将3D表面分割并展平到2D平面中去)，有效克服由邻近点搜索所导致的局部最优，并在使用比以前方法更少标识点的情况下仍能获得比较好的结果。

更进一步，本发明提出了一个新的框架来在任意拓扑网格之间建立鲁棒的一致对应，通过均值拉普拉斯匹配方法直接在3D-3D空间保持形状属性而无需分割网格。通过检测关键顶点，精确地逼近目标模型的轮廓和重要特征。顶点重分配和投射方法不仅按照局部保形的方式优化了全局匹配结果，且确保了完全的曲面匹配。

附图说明

图1是本发明一实施例中的基于对偶域变换的3D网格模型形状对应方法流程示意图；

图2是发明一实施例中的基于对偶域变换的3D网格模型形状对应系统结构示意图；

图3-1(a)-图3-1(c)是一致对应示意图；

图3-2拉普拉斯微分坐标以及角度；

图3-3(a)-图3-3(c)是特征变化的对比一实施例；

图3-4(a)-图3-4(b)是本发明的一实施方案与现有技术中的比较示意图；

图3-5(a)-图3-5(c)是本发明另另一实时方案与现有技术中的比较示意图；

图4是实验结果示意图；

图5是不同对象的实验结果示意图；

图6(a)-图6(b)是对偶域的每个顶点对应于原始网格的一个面片示意图。

具体实施方式

现在将参考一些示例实施例描述本公开的原理。可以理解，这些实施例仅出于说明并且帮助本领域的技术人员理解和实施例本公开的目的而描述，而非建议对本公开的范围的任何限制。在此描述的本公开的内容可以以下文描述的方式之外的各种方式实施。

如本文中所述，术语“包括”及其各种变体可以被理解为开放式术语，其意味着“包括但不限于”。术语“基于”可以被理解为“至少部分地基于”。术语“一个实施例”可以被理解为“至少一个实施例”。术语“另一实施例”可以被理解为“至少一个其它实施例”。

可以理解，本申请中的术语/定义如下：

流形曲面:一个n维的流形是一个连通的Hausdorff空间M，即，对于M中的任何一点p，都存有一个邻域其同胚于欧几里得空间的开子集。具体地，称一个三角网格是流形曲面，如果：

●每条边只邻接两个面片(边界除外)。

●若与点p相邻接的顶点集{v_i}的序号标识为v₀,.....,v_n-1，则三角形v_i，p，v_(i+1)modn都应存在。

一致对应:兼容网格M_C和源网格M_S具有相同的拓扑，同时和目标网格M_T有相似的几何。具体地，M_C中的任意一点p_c都能在源网格M_S中找到一个语义(几何和拓扑)上的一一对应点p_s。这样的网格M_C就称作源网格M_S与目标网格M_T的一致对应。

建立一致对应框架，本申请中提出了一种新的均值拉普拉斯匹配方案，其旨在直接在3D空间计算形状保持对应，有效克服由邻近点搜索所导致的局部最优，并在使用较少标识点的情况下仍能获得比较好的结果。本申请中的方法以最小二次形式统一在一个迭代线性框架中，其数值解可以通过快速求解稀疏线性系统来得到。

如图3-1(a)和图3-1(c)所示，在输入网格图3-1(a)和图3-1(b)之间建立一致对应。生成的兼容网格图3-1(c)和源网格图3-1(a)有相同的拓扑结构(如相同数目的顶点，相同数目的三角形)同时又和目标网格图3-1(b)具有相似的几何结构。具体地，图3-1(c)中的任意一点都能在源网格图3-1(a)中找到一个语义(几何和拓扑)上的一一对应点。这样网格图3-1(c)就称作源网格与目标网格的一致对应。

对偶均值拉普拉斯匹配方案

下面我们开始描述本申请中的对偶均值拉普拉斯匹配技术，用来在源网格M_S(如，一个模板曲面)和目标网格M_T(如，一个扫描得到的样本曲面)之间建立初始的一致对应。初始的一致对应结果将和源网格M_S具有等同的拓扑(即相同数目的顶点和面片)，并和目标网格具有相似的几何。匹配方案基于能量最小化框架。不同于已有的框架，本申请的方案旨在获得形状保持(保角)对应，并避免了少数目标识点所可能导致的局部最优问题。能量最小化框架包括三项：对偶均值拉普拉斯能量项E_l，渐进匹配项E_g，和全局约束项E_c。下面，我们分别介绍这三项的表达形式：

第一项是对偶均值拉普拉斯能量项E_l。拉普拉斯线性操作符对网格提供了一种有效的微分表征。令M＝(T,G)为三角网格。其中T＝(V,E,F)为一个图，V代表顶点集合，E代表边集合，F代表面片集合。G代表与V中每个顶点相关的几何信息。顶点v_i的拉普拉斯微分坐标定义为v_i和1-邻平均的差值：

其中N(i)＝{j|(i,j)∈E}代表边邻居，d_i＝|N(i)|，是顶点的出度，即从该点发散出来的边的数目。

然后，由于三角形网络是不规则采样的，原始数据含有很多狭长的边和角，将严重影响到系统的数值稳定性。因此，为了构建一个鲁棒的系统，本申请提出对偶域的拉普拉斯操作符。如图6(a)-图6(b)所示，对偶域的每个顶点对应于原始网格的一个面片。假设原始网格有F个面片、N个顶点，那么其在对偶域的顶点位置可以通过左乘一个F×N矩阵来得到，其中该举证的每一行仅有一个数值为1(对应于原始网格的面片编号)，其他位置的数值都为0。与不规则的原始网格相比，对偶域网格的重要优势是规则的(每个对偶顶点的读书都为3)、且每个顶点的相邻结构简单且稳定(因为总是共面)。

对偶拉普拉斯坐标是顶点υ_i和邻接顶点的平均差向量。如果设置每一个顶点的向量为0，则我们构建了一个平滑能量。即，平滑地分布每个顶点，使之尽可能近地靠近它的1-邻居重心。网格中所有顶点的对偶拉普拉斯表征用矩阵形式可以描述为：

E_l＝||LV^init||²

其中L是M_S的对偶拉普拉斯系数矩阵，即δ是Dirac函数。

如图3-2所示是拉普拉斯微分坐标角度α_ij和β_ij用于定义均值权值。将lion模型的参数化信息映射到cat模型。与拉普拉斯表征图3-3(b)相比较，均值拉普拉斯表征能够获得一个形状保持的对应图3-3(c)。然而,如图3-3(b)所示,这种均匀的表征形式并不能捕捉到源网格M_S的几何属性。下面本申请将试着并入源网格的几何属性，如考虑局部曲面形状的尺寸、角度和方向。这里考虑均值坐标，因为其具有形状保持和低角度扭曲的优良性质。

其中ω_ij是均值系数，α_ij和β_ij为图3-2中所示的夹角。从图3-3(c)可以看出，我们的均值拉普拉斯表征形式成功地反映了源网格的局部形状信息，如狮子腿部和腹部上的线状条纹被不失真地映射到猫模型上。

第二项为渐进匹配项E_g，按照一致对应的定义，我们希望网格M_C和目标网格M_T有相同的几何，即MC应该和目标表面MT尽可能地逼近。然而，在只有少数初始标识点的情况下，已有的迭代最近点算法可能会导致陷入局部最优和较大的误差。为了克服这个缺点，方法采用渐进逼近尺度而不是欧氏最近距离来作为匹配尺度。

图3-4(a)是在只有少数标识点的情况下，迭代最近点算法可能会陷入局部最优，图3-4(b)是指匹配方案有效克服了这一缺点。

现在，我们引入渐进逼近尺度的定义。顶点υ_i的渐进逼近尺度定义为：

其中是υ_i沿着法线方向n_i与目标网格相交位置的法向距离(如果则应沿着法线的反方向)；α＝0.01为松弛因子，用来避免趋近于0时的∞；F(v_i)是(v_i)的1-邻面片集合，N(v_i)为集合中面片的个数；F(M_S)是M_S的面片集合，N(M_S)为面片个数；M_S的平均面积用来归一化v_i的1-邻面积area(F(v_i))。

可以看出渐进逼近尺度与成反比，同时与area(F(v_i))成正比。该形式有清晰的物理意义：为了将一个“弹性”网格挤压到目标网格，首先，指定一些标识点作为初始的全局约束。然后，为了避免大的扭曲，我们需要对整个表面始终保持施加一定的张力(均值拉普拉斯二次能量)。为了获得一个自然的映射，我们首先展开靠近全局约束的区域(即比较小的区域)，然后渐进地扩展到远离的区域。此外，类似于由粗到精的策略，我们也首先展开那些大的区域(即面积值area(F(v_i))较大的区域)，再处理小的区域。在我们的试验中，这些策略能取得较好的结果。

这样，渐进逼近项Eg写为：

其中G是M_S中顶点(除了全局约束点)的索引集合，是vi的渐进逼近尺度，g_i是沿着v_i的法线n_i和目标网格的相交位置。

第三项考虑全局约束顶点。如果源网格和目标网格初始就很靠近，那么只使用E_l和E_g这两项就足够了。然而，在通常的情况下，两个输入模型一般并不很靠近或者对齐得很好，这样优化过程可能会陷入局部最优。为了避免不希望的局部最优，即需要在两个输入网格上标记出一些标识点。这些标识点用来担当全局约束，即先验知识。这样我们利用这些标识点来初始化整个对应过程，而且一旦形状在得到较充分的匹配之后，就可以不再需要这些标识点。

全局约束项E_c被定义为：

其中C是全局约束点的索引集合，c_i是标识点在目标网格的对应位置。最终的目标函数E为三个误差函数的加权和：

min E(V^init)＝ω_lE_l+ω_gE_g+ω_cE_c

其中ω_l，ω_g，ω_c为权值。以上二次优化函数可以通过有效地求解稀疏线性系统得以最小化。而且该系统在顶点的三个坐标(X/Y/Z)方向上可以分别进行求解，这样线性系统的求解规模减为1/3。上述求解过程分为两个阶段。首先，我们忽略渐进逼近项E_g，通过设置权值ω_l＝1；ω_c＝0:3；ω_g＝0。这样获得了一个初始的映射结果。然后，逐步增加ω_g，并同时更新的顶点坐标。在我们的实验中，ω_g从0.001逐步增大到0.01可以取得满意的结果。虽然标识点对于全局优化是非常有用的，但用户标识点的置放位置有时并不可靠。因此，从0.3到0渐进地减少全局约束的权值。每次优化子过程被求解后，从上一次位置得以更新并更加靠近M_T。注意优化系统实际上是将源网格M_S形变到目标网格M_T来生成兼容网格这样隐式地保证了和M_S有等同的拓扑链接。采用网格化方法确保按照局部保形(角度保持)的方式获得完全的曲面匹配。图3-5(a)-图3-5(c)具体是bumpy sphere模型(b)含有cube模型(a)所不具备的大量复杂特征(c)。图4在输入网格之间建立一致对应之后，一些原本困难的任务(如形状混合或者形状统计分析)就变得非常简单。在这个例子中我们显示了三个3D模型之间的形状混合。模型下面的数字代表了每个模型的混合比例。

图1是本发明一实施例中的基于对偶域变换的3D网格模型形状对应方法流程示意图；步骤S100基于对偶域变换的3D网格模型形状对应方法，包括如下步骤：步骤S100初始化，在源网格M_S和目标网格M_T之间建立初始的一致对应；得到所述初始的一致对应的结果与源网格M_S具有等同的拓扑，并和目标网格M_T具有相似的几何；步骤S101匹配过程包括基于能量最小化框架进行对偶均值拉普拉斯匹配，所述能量最小化框架至少包括三项：对偶均值拉普拉斯能量项E_l，渐进匹配项E_g以及全局约束项E_c；步骤S102通过所述均值拉普拉斯能量项E_l，所述渐进匹配项E_g以及所述全局约束项E_c建立形状对应。

图2是发明一实施例中的基于对偶域变换的3D网格模型形状对应系统结构示意图；基于对偶域变换的3D网格模型形状对应系统，包括：初始化单元1，用以在源网格M_S和目标网格M_T之间建立初始的一致对应；得到所述初始的一致对应的结果与源网格M_S具有等同的拓扑，并和目标网格M_T具有相似的几何；匹配单元2，用以基于能量最小化框架进行对偶均值拉普拉斯匹配，所述能量最小化框架至少包括三项：对偶均值拉普拉斯能量项E_l，渐进匹配项E_g以及全局约束项E_c；以及，通过所述均值拉普拉斯能量项E_l，所述渐进匹配项E_g以及所述全局约束项E_c建立形状对应。

实验结果如下：

在不同的模型上对本发明的算法进行了测试，包括人脸模型，动物模型以及复杂的几何物体。从图3-3(a)-图3-3(c)可以看出，均值拉普拉斯匹配方案成功地在输入模型之间建立了形状保持对应，比如狮子模型腿部和腹部上的条纹形状很好地映射到目标模型上。此外，我们的方法采用渐进逼近尺度而不是欧氏最近距离来作为匹配尺度，以避免当标识点较少时迭代最近点匹配技术可能会陷入的局部最优(图3-4(a)、图3-4(b))。值得注意的是，要在图3-5(a)-图3-5(c)的两个网格模型之间建立一致对应是一件非常困难的任务，因为bumpy sphere模型具有大量cube模型所不具备的复杂特征。本申请的方法在只提供8个标识点(位于cube模型的8个角点)的情况下，成功地使MC精确地在这些关键点上逼近了M_T。这样保证了MC的轮廓不会塌缩。在图3-8中，演示了两个模型(一张女性的人脸模型和一张男性的人脸模型)之间的形状渐变(morphing)过程。得益于已经建立的高质量一致对应，可以看出渐变过程显得非常自然并取得视觉上逼真的效果。在另一个例子中建立三个模型(lion，cat和camel)之间形状混合进一步验证了本申请方法同时应用到多个模型上的能力。因为本申请方法有效避免了陷入局部最优，因此比以前的方法需要更少的标识点。以图3-3(a)-图3-3(c)中的lion模型和cat模型为例，与77个标识点和中的68个标识点相对照，本申请的方法仅需要18个标识点就可获得一个好的对应结果。本申请的方法直接在3D-3D空间构建形状保持对应，而无需把3D模型分割和展平到2D平面，即直接利用整个源网格的3D拓扑信息。这样就可以有效避免间接方法所遇到的内在困难，比如如何防止交叉(intersections)和阻塞(blocking),保持轮转次序(cyclic orders),以及平滑不连续的边界(discontinuous boundaries)，等等。因此，方法无需对许多极限况进行专门地处理，比如复杂边界和高亏格。在图3-1(a)-图3-1(c)中，男性人脸模型的嘴部比女性人脸模型多一条边界，而我们的方法无需特别处理该区域即可获得满意的结果。图5也演示了均值拉普拉斯能量框架处理高亏格的能力。具体为在Trim-star/Torus模型的例子中，显示了均值拉普拉斯能量框架处理高亏格的能力。框架在数值上是有效的，因为该优化问题的解可通过快速求解一个稀疏线性系统来获得。使用一个稀疏LU求解器，在Pentium IV 3.0GHz的计算机上，5.5K顶点的模型需要0.6秒进行LU分解，0.03秒的时间进行回代。本发明中关键点算法也非常快速。以bumpy sphere模型(11444个面片)为例，检测过程只需0.25秒。

虽然本公开以具体结构特征和/或方法动作来描述，但是可以理解在所附权利要求书中限定的本公开并不必然限于上述具体特征或动作。而是，上述具体特征和动作仅公开为实施权利要求的示例形式。