专利名称：基于全局结构的三维网格模型修复方法
技术领域：
本发明属于计算机图形学领域，涉及一种三维网格模型的修复方法，尤其能够修 复具有明显全局结构信息的三维网格模型。
背景技术：
在目前存在许多三维网格模型修复方法，一类常见的网格模型修复方法是在缺失 几何信息的空洞区域内填补适当的网格作为补丁，并保证填补的补丁满足空洞的边界条 件。另一类方法是基于体的修复方法，它能取得和直接填补空洞方法类似的修复效果。这 种修复方法将填补空洞的过程视为表面重建的过程。还有一类方法是基于模板的修复方 法。缺损面积较大或拓扑结构缺失的模型一般难以使用前述方法修复，针对这类模型，基于 模板的修复方法先由用户指定或自动从模型库中检索出一个与待修复模型拓扑结构一致 且几何形状相似的完整模型作为模板，然后根据模板来修复缺损的模型。当空洞周围的网格具有较丰富的几何细节时，以上方法都不能充分利用已知区域 的几何信息，这样，用它们修复的空洞都会由于过于平滑而难以取得满意的视觉效果。这是 因为以上方法都无法保证能够准确的将已知区域的结构信息复制到空洞区域内。针对这 一问题，有人提出了一种通过用户交互的方式将重要的结构信息从已知区域传播到未知区 域，并完成图像修复的方法首先由用户添加一些从已知区域过渡到未知区域的曲线，用来 提示重要的全局结构信息应该如何被修复；然后在这些曲线的指导下用基于像素的方法先 修复未知区域内的结构信息；最后用纹理复制的方法修复空洞内的剩余区域。
发明内容
本发明要解决的技术问题提出了一种基于全局结构的f网格模型修复方法，使 用该方法可以修复空洞区域缺失的全局结构信息。本发明采用的技术方案基于全局结构的三维网格模型修复方法，分为4个阶段第1阶段，检测三维网格模型的空洞；第2阶段，将所述三维网格模型通过使用改进的双边滤波算法分解为基模型和高 频信息；第3阶段，基于第2阶段分解后得到的基模型，使用平滑的三维模型修复方法修复 基模型；第4阶段，基于第2阶段分解后得到的高频信息，修复空洞中的几何结构细节，该 阶段分为6个步骤(1)由用户通过图形界面交互操作的方式添加结构曲线；(2)基于(1)中的结构曲线检测兴趣区域；(3)由用户通过图形界面交互操作方式指定控制区域，并将该控制区域参数化到
二维平面；(4)基于第2阶段分解后得到的高频信息在(3)中经参数化得到的二维平面中生成几何细节图像；(5)修复由⑷得到的几何细节图像；(6)将由(5)修复后的几何细节图像映射回所述三维网格模型实现最终三维模型修复。所述第2阶段改进的双边滤波算法为将双边滤波器与Laplace算子相结合，定义 了一个新的二阶Laplace双边滤波算子，并利用所述新的二阶Laplace双边滤波算子迭代 的对网格进行光顺。首先估算出基模型B中各顶点的法向，然后对所述三维网格模型M做 光顺处理得到基模型B，这一过程中所述三维网格模型M中的顶点只会沿估算出来的基模 型B中对应顶点的法向方向运动，最后计算出所述三维网格模型M中每个顶点相对于基模 型B中对应顶点的位移，并将其作为该顶点的几何细节信息，即高频信息△，这样，就达到 将所述三维网格模型M分解为基模型B和高频信息△的目标。所述第4阶段的步骤(2)，基于(1)中的结构曲线检测兴趣区域的方法为先找 出一个包含了最多结构特征的初始顶点集V0并计算其统计特征\，然后将初始顶点集 的n环邻域内的顶点以环为单位逐次加入初始集，并计算出新构成的顶点集合Vi的统计 特征&。如果\与&。的统计特征的差异^ /(&,&。)超过了预定义的阈值，那么，可以认 为新加入的顶点不在属于结构兴趣区域检测，否则，将这些顶点加入兴趣区域检测。使 用每一顶点在法向方向的偏移量S作为该顶点及其邻域的几何特征描述。定义顶点集
IX
合V的统计特征sv为&=吣同时定义两个顶点集统计特征和之间的差异为
n。\ Svi
dif一般的，统计特征的差异阀值取0. 15。
o所述第4阶段的步骤(4)，基于第2阶段分解后得到的高频信息在(3)中参数化得 到的二维平面中生成几何细节图像的方法为首先，采用参数化的方法将三维网格的顶点 映射到一个二维域上，然后根据网格顶点的几何细节信息重采样生成一幅灰度图像，所生 成灰度图像中每个像素的灰度值是由此像素所属三角形三个顶点的几何细节信息插值得 到的，这幅图像就是几何细节图像。几何细节图像相当于网格模型的高频几何细节信息在 二维域的一种等价表示。所述第4阶段的步骤(5)，修复由(4)得到的几何细节图像的方法为在兴趣区域 内，沿着结构曲线将已知区域内的梯度信息复制到空洞区域内，然后修复非兴趣区域，最终 恢复出空洞区域内所有像素的梯度值。最后根据边界处的像素信息和空洞内的梯度信息， 得到最终修复后的几何细节图像，使得修复后的几何细节图像的梯度信息与空洞内的梯度 信息最接近。本发明与现有技术相比的优点在于(1)本发明中的改进的双边滤波算法，可以保证模型上的每个顶点只沿法向方向 移动到基模型的对应顶点上。这样，就可以将顶点在法向方向的偏移量作为表示顶点几何 细节的高频信息。(2)本发明将表示几何结构细节的高频信息生成为几何细节图像，采用修复该几何细节图像再投影回原三维网格模型的方法，减少了修复网格模型的复杂度，提高了计算效率。(3)本发明可以修复具有全局几何结构细节信息的三维网格模型空洞，并使修复 后的模型显示明显的几何结构细节，在几何结构细节效果方面优于现有的其他三维网格修 复方法。
图1为本发明基于全局结构的三维网格模型修复方法流程图。
具体实施例方式如图1所示，本发明的具体步骤如下(虚线框内步骤为已有技术)1.将三维网格模型通过使用改进的双边滤波算法分解为基模型和高频信息。将双边滤波器与Laplace算子相结合，定义了一个新的二阶Laplace双边滤波算 子，并利用该算子迭代的对网格进行光顺。首先估算出基模型B中各顶点的法向，然后对三 维网格模型M做光顺处理得到基模型B，这一过程中三维网格模型M中的顶点只会沿估算出 来的基模型B中对应顶点的法向方向运动，最后计算出三维网格模型M中每个顶点相对于 基模型B中对应顶点的位移，并将其作为该顶点的几何细节信息，即高频信息△。这样，就 达到将原模型M分解为基模型B和高频信息A的目标。本发明利用顶点邻域内各定点的预测值的加权平均值来估算该顶点新 的空间位置。灼，本方法将空间距离定义为| |q_p| |，将信号强度差异定 义为|| nq(p)-p||。考虑到网格对曲面采样的非均一化，本方法将顶点q的 Voronoi区域面积作为面积权值Aq，另外，考虑到各顶点间法向的差异，将两个顶点 的法向间的内积做为法向差异权值。由此，顶点p的扩散后的估值彡为
其中，空间临近眺为含参
数0。的Gauss滤波器
信号强度相似因子1为含参数0s&GaUSS 滤波器
为顶点p的邻域点，定义N(p)为点集{qi}，并满足
且
为获得更好的曲面滤波效果，本文定义顶点P 的一阶拉普拉斯双边滤波算子为。相应的二阶拉普拉斯双边滤波算子为
利用该算子对p进行滤波扩散，
，来表达滤波的效果。本方法对三维网格模型M迭代n次(一般的n = 5)上述操 作，不断改变顶点的空间位置，最终达到理想的结果。为了更好的获取基模型法向的预测值，本发明利用非鲁棒的简单高斯滤波对原模型顶点的法向进行扩散。利用公式、=“^对网格模型的顶点法向量
进行迭代扩散，将最后一次迭代结果作为基模型顶点的法向的预测值。2.检测兴趣区域。检测兴趣区域的方法为先找出一个包含了最多结构特征的初始顶点集％并计算 其统计特征5V。，然后将初始顶点集的n环邻域内的顶点以环为单位逐次加入初始集，并计
算出新构成的顶点集合\的统计特征&。如果&与的统计特征的差异#/(&，&。)超过 了预定义的阈值，那么，可以认为新加入的顶点不在属于结构兴趣区域检测，否则，将这些 顶点加入兴趣区域检测。使用每一顶点在法向方向的偏移量S作为该顶点及其邻域的几
何特征描述。定义顶点集合V的统计特征sv为
和 之间的差异为=
同时定义两个顶点集统计特征
-般的，统计特征的差异阀值取0. 15。检测兴趣区域算法的主要步骤如下算法兴趣区域检测算法Input 全局结构曲线cOutput :c经过的兴趣区域1找出c经过的已知区域的所有三角面片；2将属于这些三角面片的顶点加入集合V。；3计算V。的统计特征&。；4Ret — V0 ；5while true do6找出Ret的一环邻域N(Ret)；7Cur — Ret+N(Ret)；8计算Cur的统计特征Scur ；
阈值 then10退出循环；llelse12Ret — Ret+N(Ret)；13end14end15return Ret ；3.生成几何细节图像。生成几何细节图像的方法为首先，采用参数化的方法将三维网格的顶点映射到
一个二维域上，然后根据网格顶点的几何细节信息重采样生成一幅灰度图像，所生成灰度
图像中每个像素的灰度值是由此像素所属三角形三个顶点的几何细节信息插值得到的，这
幅图像就是几何细节图像。几何细节图像相当于网格模型的高频几何细节信息在二维域的一种等价表示。在生成几何细节图像时，参数化方法是及其重要的。将三维网格影射到二维参数 域的过程中，所采用的参数化方法应该保证扭曲变形最小化。本文采取均值坐标参数化方 法，该方法避免了能量系数出现负值的情况，可生成准共形影射，有效的减小扭曲变形。为 了进一步减小参数化过程造成的参数域的面积扭曲，本文方法允许用户在网格模型上选取 一块包含空洞及兴趣区域的准矩形区域，然后将选取的区域的边界以逆时针方向弦长参数 化到二维的矩形区域内，对内部顶点计算权值，由此得到一个大型稀疏的最小二乘线性系 统，本方法用Cholesky分解对该系统进行求解。完成参数化后，将网格顶点的参数值做为二维坐标值，将顶点高频细节信息做为 灰度值，并对该二维参数域进行重采样，便可生成几何细节图像。这里需要考虑的是是几何 细节图像的分辨率问题。如果分辨率过低，那么三维模型的高曲率特征可能会由于低采样 而丢失；如果分辩率过高，会给后续的计算带来高昂的计算代价。在二维参数域中，设矩形 区域的长和宽分别为length和width，那么先求出参数域中的网格顶点间所有边的平均边 长size，并用st印=a X size作为采样步长，则几何细节图像的分辨率为mXn，其中m = length/step, n = width/step0这里的a为用户指定的常数，通常，a =0.3时，生成的 GDI即可达到采样质量的要求，又可满足计算速度的要求。在生成GDI的过程中，用户输入 的结构曲线C和对应的兴趣区域集合R也同时被映射到几何细节图像GDI的像素上，构成 了几何细节图像上的结构曲线和兴趣区域，这些信息在修复几何细节图像时会被用到。4.修复几何细节图像。修复几何细节图像的方法为在兴趣区域内，沿着结构曲线将已知区域内的梯度 信息复制到空洞区域内，然后修复非兴趣区域，最终恢复出空洞区域内所有像素的梯度值。 最后根据边界处的像素信息和空洞内的梯度信息，得到最终修复后的几何细节图像，使得 修复后的几何细节图像的梯度信息与空洞内的梯度信息最接近。整个算法的流程如下(1)初始化几何细节图像中所有像素的各个属性以及预计算。其中像素p的置信度信息初始化为计算每个像素的梯度信息和所有像素的距离长信息。其中计算梯度信息的方法是 前向差分法即
像素的距离场定义为 其中，L1表示1阶的Minkowski距离，易知，通过广度优先搜索算法可以计算出像 素P的距离场信息。(2)优先级的判定和更新。本发明采用基于样例像素块的方法，首先根据已知区域的兴趣区域修复未知区域 的兴趣区域中的像素块，然后修复空洞内剩余区域的像素块。在修复过程中，像素块修复的 顺序非常重要，会直接影响最终的修复效果。本方法采用贪心算法，优先级高的目标像素块
最先被修复，目标像素块a的优先级定义为
其中
当被修复时，％内所有未知像素的梯度信息被源
像素块中对应像素的梯度值更新，未知像素的置信度信息confidence (p)也被更新 函加咖
其中| |为％中像素的个数。同时，被修
复后，空洞的边界也会发生变化，因此需要根据新的边界产生新的目标像素块和更新相关 的已有目标像素块，这些像素块的优先级也需要被更新。(3)相似像素块的判定。依据像素块的优先级，可以从目标像素块集合T中选出优先级最高的像素块Wt， 为最先被修复的像素块。为此需要从源像素块集合S中，寻找像素块，使得与
最相似。利用两个像素块之间灰度值和梯度值的差异来度量它们的相似程度。定义像素块 卑3和 之间的距离为 其中 依据像素块间的距离d(Ws，Wt)，可以找到与最相似的像素块，使得 (4)修改梯度场。本发明根据与最相似的像素块的梯度信息来修复中未知像素的梯度 值。对于不属于任何兴趣区域(R0I)或只属于一个R0I区域的目标像素块Wt，只需在 中找出那些与未知像素相对应的源像素，并将它们的梯度值直接复制过来即可。在处 理相交的兴趣区域时，考虑到这些区域的几何特征只与在此相交的结构曲线经过的已知区域相关，本文不采用BP或其变种算法求解全局最优解，而是通过融合的方法构造出这些区 域中未知像素合适的梯度值。若属于多个兴趣区域(R0I)，即位于多个R0I相交的区域时，定义每个R0I区 域的宽度为该R0I区域内像素的最大1阶Minkowski距离。设义属于均^，…，“力，对 应的R0I宽度为{<，…，<}，根据像素块间相似性的判定，从用中选出的与义最相思的像素 块集为汗丨，…，冗},像素Pt g A的最相思的像素集为{乂，…，凡“},相应的距离场中的距离
为… ^本发明利用下式来修复^中未知像素的梯度值: (5)根据梯度信息恢复图像。根据修改的梯度信息来恢复图像信息，就是设法找到图像1°，使其梯度和修改的 梯度G°最接近，即最小化
引入Laplacian算子A和散度算子div，求解Poisson
方程= div(G0)o由于几何细节图像I上的边界5^的灰度值是已知的，将其作为 Dirichlet边界条件，并对上述Poisson方程求解即可恢复出图像1°。
权利要求
基于全局结构的三维网格模型修复方法，其特征在于所述的修复方法分为4个阶段，具体如下第1阶段，检测三维网格模型的空洞；第2阶段，将所述三维网格模型通过使用改进的双边滤波算法分解为基模型和高频信息；第3阶段，基于第2阶段分解后得到的基模型，使用平滑的三维模型修复方法修复所述基模型；第4阶段，基于第2阶段分解后得到的高频信息，修复空洞中的几何结构细节，该阶段分为6个步骤(1)由用户通过图形界面交互操作的方式添加结构曲线；(2)基于(1)中的结构曲线检测兴趣区域；(3)由用户通过图形界面交互操作方式指定控制区域，并将所述控制区域参数化到二维平面；(4)基于第2阶段分解后得到的高频信息在(3)中经参数化得到的二维平面中生成几何细节图像；(5)修复由(4)得到的几何细节图像；(6)将由(5)修复后的几何细节图像映射回所述三维网格模型实现最终三维模型修复。
2.根据权利要求1所述基于全局结构的三维网格模型修复方法，其特征在于所述第 2阶段改进的双边滤波算法为将双边滤波器与Laplace算子相结合，定义了一个新的二阶 Laplace双边滤波算子，并利用所述新的二阶Laplace双边滤波算子迭代的对网格进行光 顺；首先估算出基模型B中各顶点的法向，然后对所述三维网格模型M做光顺处理得到基模 型B，这一过程中所述三维网格模型M中的顶点只会沿估算出来的基模型B中对应顶点的法 向方向运动，最后计算出所述三维网格模型M中每个顶点相对于基模型B中对应顶点的位 移，并将其作为该顶点的几何细节信息，即高频信息△，这样，就达到将所述三维网格模型 M分解为基模型B和高频信息A的目标。
3.根据权利要求1所述基于全局结构的三维网格模型修复方法，其特征在于所述第 4阶段的步骤(2)，基于(1)中的结构曲线检测兴趣区域的方法为先找出一个包含了最多 结构特征的初始顶点集\并计算其统计特征，然后将初始顶点集的n环邻域内的顶点以 环为单位逐次加入初始集，并计算出新构成的顶点集合\的统计特征5如果与&。的统 计特征的差异#/0^.，^))超过了预定义的阈值，那么，可以认为新加入的顶点不在属于结 构兴趣区域检测，否则，将这些顶点加入兴趣区域检测；使用每一顶点在法向方向的偏移量 6作为该顶点及其邻域的几何特征描述。定义顶点集合V的统计特征Sv为&同 时定义两个顶点集统计特征e和^之间的差异为:diff SV) = ~\~^
4.根据权利要求1所述基于全局结构的三维网格模型修复方法，其特征在于所述第4阶段的步骤(4)，基于第2阶段分解后得到的高频信息在(3)中参数化得到的二维平面中 生成几何细节图像的方法为首先，采用参数化的方法将三维网格的顶点映射到一个二维 域上，然后根据网格顶点的几何细节信息重采样生成一幅灰度图像，所生成灰度图像中每 个像素的灰度值是由此像素所属三角形三个顶点的几何细节信息插值得到的，这幅图像就 是几何细节图像；几何细节图像相当于网格模型的高频几何细节信息在二维域的一种等价 表不。
5.根据权利要求1所述基于全局结构的三维网格模型修复方法，其特征在于所述第 4阶段的步骤(5)，修复由⑷得到的几何细节图像的方法为在兴趣区域内，沿着结构曲线 将已知区域内的梯度信息复制到空洞区域内，然后修复非兴趣区域，最终恢复出空洞区域 内所有像素的梯度值；最后根据边界处的像素信息和空洞内的梯度信息，得到最终修复后 的几何细节图像，使得修复后的几何细节图像的梯度信息与空洞内的梯度信息最接近。
全文摘要
基于全局结构的三维网格模型修复方法，分为4个阶段第1阶段，检测三维网格模型的空洞；第2阶段，将所述三维网格模型通过使用改进的双边滤波算法分解为基模型和高频信息；第3阶段，基于第2阶段分解后得到的基模型，使用平滑的三维模型修复方法修复基模型；第4阶段，基于第2阶段分解后得到的高频信息，修复空洞中的几何结构细节；该阶段分为7个步骤(1)由用户通过图形界面交互操作的方式添加结构曲线；(2)基于(1)中的结构曲线检测兴趣区域；(3)由用户通过图形界面交互操作方式指定控制区域，并将该区域参数化到二维平面；(4)基于第2阶段分解后得到的高频信息在(3)中参数化得到的二维平面中生成几何细节图像；(5)修复由(4)得到的几何细节图像；(6)将由(5)修复后的几何细节图像映射回所述三维网格模型实现最终三维模型修复。本发明可以修复具有明显全局结构细节信息的三维网格模型，修复后的三维网格模型拥有更加丰富的几何结构细节。
文档编号G06T17/40GK101877148SQ20091023765
公开日2010年11月3日 申请日期2009年11月13日 优先权日2009年11月13日
发明者刘征彦, 张德慧, 杨棽, 齐越 申请人:北京航空航天大学