专利名称：一种面向移动有损网络的基于预测重构的模型传输方法
技术领域：
本发明涉及移动图形领域，特别地，涉及一种面向移动有损网络的基于预 测重构的模型传输方法。
背景技术：
近年来，随着无线网络的迅速普及和多媒体数据在移动设备上的广泛应用， 基于无线网络环境的三维图形数据传输正逐渐成为研究热点。与有线网络传输 不同，由于无线信号衰退、噪声或终端节点的移动性所引起的链路的不稳定性 和信号中断导致数据在无线网络传输时产生较大的丢失率和误码率。因此，针 对三维图形数据特征，如何克服无线网络中由于丢包和误码所造成的影响成为 无线网络三维模型传输所需要解决的关键问题。为此，近年来国内外科研机构 陆续展开相关研究，并已取得了一定进展。
为实现三维模型数据在各种有损网络(包括不稳定的因特网和无线网络) 的鲁棒传输，基于差错复原的传输技术近几年来作为一种新的研究方向得到关 注，其主要目的是解决网络有限带宽、高丢包率与海量模型实时传输和客户端 模型视觉最优化的要求之间的矛盾。此处，我们以模型传输流水线的任务划分， 分别从网络传输层、发送端和接收端三个不同方面来阐述和分析现有的三维模 型流传输和相关差错复原技术，如图1所示。
1、 传输层差错复原模型传输方法为解决模型的无差错传输，在网络传输层， 相关研究以改善无线网络中传输协议的性能为基本出发点，提出了若干解 决方法。根据协议改迸的机制将这些方案分为三类端到端解决方案、代 理解决方案和分立解决方案。然而，上述大部分相关技术并没有从三维模 型的特性角度来改进协议本身。此外，结合三维渐进模型的特点设计有损
网络模型传输机制成为一种可行方法，如混合TCP/UDP传输方法，3TP则 在综合考虑通道丢包率和模型可忍受变形的基础上，有效地利用TCP和 UDP协议选择传输所需数据。但由于使用典型的TCP和UDP协议，上述方 法并不完全适用于无线网络。
2、 基于发送端的差错复原模型传输方法基于发送端的差错恢复方法主要目 的是在发送数据之前采用特定编码技术对模型数据进行保护，以最小化丢
4失报文所引起的不利影响。相关编码方法将模型分为若干相互独立部分， 以确保部分数据流的丢失不会对其它数据造成影响。冗余机制是保证丢失
数据可以有效恢复的方法，如冗余存储连接信息方法、前向纠错编码(FEC， Forward Error Correct ion )、非均衡前向纠错编码机制(UEP， Unequal Error Protection)及BOP (Block of Packet)分组技术等等。
3、 基于接收端的差错复原模型传输方法基于接收端的错误恢复方法利用客 户端已正确接收到的数据信息采用特定算法重构或恢复丢失信息，典型的 如插值运算，但插值运算的计算复杂度与模型大小成正比，当模型较大时 此方法并不适用。通常，基于客户端的恢复方法结合发送端的模型编码技 术实现，如恢复某个丢失段所造成的影响，针对点模型根据发送端的冗余 编码信息恢复丢失的数据。除此之外，当报文丢失时，上述各种FEC编码 方法在客户端利用冗余数据实现了丢失数据的重构取得较好效果。 显然，上述基于接收端的相关方法并不能很好地解决丢失模型的重构恢复
问题，尤其是在带宽受限高丢包率的移动网络。同时，至今为止还没有提出针
对彩色纹理化模型的重构方法。
发明内容
本发明的目的是针对现有技术的不足，提供一种面向移动有损网络的基于预 测重构的模型传输方法。
本发明的目的是通过以下技术方案来实现的 一种面向移动有损网络的基于 预测重构的模型传输方法，步骤如下
1) 采用分组算法将模型封装成不同类型报文，其步骤为(1)使用一种快 速有效的非冗余依赖图构建方法，其记录所有网格顶点分裂操作之间的依赖关
系，并删除其中的冗余依赖。(2)在此基础上，使用一种有效的全局分步等划分
分组算法，通过初始划分和全局细化将依赖图划分为若干子图并打包为分组发送 出去。
2) 采用一种改进的混合传输方法以快速鲁棒地发送报文。渐进彩色纹理模 型打包分组为WTCP (Wireless Transport Control Protocol)或UDP (User Datagram Protocol)报文。服务端首先发送存储基网格和连接信息数据的WTCP 报文。当WTCP报文传输完毕，我们关闭此连接并传输UDP报文。
3) 采用基于预测的模型重构方法对丢失的模型数据进行恢复。当客户端发 现某个UDP报文丢失，我们将采用四种不同预测方法分别对顶点分裂操作的几何、 颜色、法向和纹理坐标信息进行预测重构。所说的快速有效的非冗余依赖图构建方法的步骤为1)找到当前边折叠 操作的所有相邻顶点列表；2)从相邻顶点列表中获得顶点，并根据顶点相邻 关系找到当前边折叠操作的所有可能子孙边集合；3)从候选子孙边集合中找 到当前边的真正子孙边并标记。
全局分步等划分分组算法的执行步骤为1)初始划分使用改进的宽度优 先子树遍历算法将整图初始划分为多个子图，同时确保产生的分组满足分组有 序性条件。使用 一种改进的宽度优先子树遍历算法来遍历依赖图中的所有节点， 并打包分组。2)全局细化针对以上产生的多个子图，通过特定的交换操作来 调整各分区所包含的顶点，以进一步减少分区之间的分割尺寸，找到最佳划分。
混合传输方法为渐进彩色纹理模型打包分组为WTCP或UDP报文。不同于 其它方法，此处的WTCP报文不仅包括了基网格数据同时也包括了顶点分裂操作
的连接信息。
基于预测的模型重构方法主要包括几何、颜色、法向和纹理坐标四种预测 方法。从基本原理上来说，此四种预测方法都假定丢失顶点的值可从其相邻顶 点中估算获得。虽然本文提出的四种预测方法具有不同的预测策略，但从整体 预测来看，它们都需完成快速预测和渐进细化两个阶段。下面分别阐述各个预 测方法。
a) 几何预测通常运用在几何压縮中。本发明中采用平均相同权值预测 (Average Same Weight Prediction, ASWP)方法估算丢失顶点的几何值，其
能够节省整体的绘制时间快速获得预测值。
b) 本发明采用高斯长度权值预测方法(Guass Length Weight Prediction ，GLWP)估算丢失顶点的颜色值。
c) 为改进法向预测精度，我们采用混合法向预测方法(Hybrid Normal Prediction, HNP)估计丢失顶点的法向值。本文所使用模型假定每个顶点只有 一个法向值。混合法向预测方法包括角度平均权值(Mean weighted by angle, MWA)禾卩改进的边长倒数平均权值(Mean weighted by edge length reciprocals ， MWELR)两种预测方法。
d) 本发明提出了一种适用渐进网格的纹理坐标混合预测方法包括长度权 值预测方法LWP和相同子网格平行四边形预测方法(Same Chart Parallelogram Prediction, SCPP)。此方法的优点在于其不但能够解决纹理坐标不连续性问题， 而且可以获得较好的预测效果。
当丢失顶点的纹理坐标与其相邻的所有顶点的纹理坐标处于同一子网格 时，我们采用LWP方法计算丢失顶点的值，但是，当丢失顶点与其相邻顶点来 自于不同子网格时，LWP方法会导致错误的预测结果。因此为解决此问题，我们 采用SCPP方法恢复丢失顶点的纹理坐标。预测方法如图3所示。本发明的有益效果是本发明提出一种基于客户端的预测重构彩色纹理化 模型传输机制，其分别对丢失的顶点的几何信息、颜色信息、法向信息和纹理 坐标信息进行估算预测实现模型重构。 一方面利用本发明的改进混合传输方法 提高了模型传输速度，另一方面釆用本发明提出的基于预测重构方法恢复丢失 的模型数据取得较高模型重构精度。本发明提出的方法能广泛应用于移动三维 游戏和移动三维电子商务等产业中，有利于快速提高产业经济效益。
图1是三维模型传输差错复原技术原理框图2是本发明的丢失顶点的几何、颜色和法向值的预测方法示意图3是本发明的纹理坐标的三种不同预测方法示意图4是本发明的传输系统框架示意图5是网络仿真测试拓扑平台示意图6是测试模型示意图7是不同丢失率下各种传输机制性能比较示意图8是当网络丢失率5%时不同传输模式下模型的部分放大效果示意图。
具体实施例方式
本发明适用于移动有损网络有效传输机制，如图4所示。此处采用一种混
合传输模式，即采用可靠的传输协议传输模型中重要部分，而使用非可靠快速 协议传输其余部分。然而，由于我们此处面向的是移动有损网络，因此典型的
TCP协议并不适合无线网络，为保证模型重要部分能够快速稳定传输，此处我们 采用WTCP协议代替TCP协议。下面，我们分别从渐进模型预构建、模型分组、 混合传输、分组解压和预测重构五个方面详细阐述。
1、 渐进彩色纹理化模型构建。此阶段，模型被划分为基网格和一系列顶点 分裂操作。在实现中，采用无记忆简化方法简化网格。为增加混合传输的效率, 简化时减少了基网格的顶点数目而增加了顶点分裂操作的数目。
2、 渐进模型全局等划分分组。在预构建渐进模型后，利用全局等划分分组 算法将渐进彩色纹理模型打包分组为WTCP或UDP报文。不同于其它方法，此处 的WTCP报文不仅包括了基网格数据同时也包括了顶点分裂操作的连接信息。在 实现中，每个顶点分裂操作的连接信息只需5个字节，而顶点分裂操作其它信息包括几何、法向、颜色和纹理坐标信息的总和则为35字节。可以看出，连接 信息在整个模型数据中占据了较小的比例。为阐述方便，定义包含基网格的WTCP
报文为b-rrcp，而包含连接信息的报文称为c-wtcp。 udp报文包括了顶点分裂
操作的几何、法向、颜色和纹理坐标数据。
由于位于C-WTCP报文中的连接信息与UDP报文中包含的相关属性数据共处 同一个顶点分裂，且顶点分裂操作的连接信息与其它属性数据的大小比例为1: 7，因此每个C-WTCP报文可包含7个顶点分裂操作的连接信息。此外，为保持 C-WTCP与UDP数据的同步，在C-WTCP报文和UDP报文中加入同步信息。在实现 中，将报文中的首顶点分裂操作的序号设定为同步标识。同理，C-WTCP报文包 含了多个同步标记，分别对应多个udp报文。
渐进模型全局等划分分组包括以下步骤 (1)使用非冗余依赖图构建方法，其记录所有网格顶点分裂操作之间的依 赖关系，并删除其中的冗余依赖。
非冗余依赖图构建方法步骤为
a. 找到当前边折叠操作的所有相邻顶点列表；
b. 从相邻顶点列表中获得顶点，并根据顶点相邻关系找到当前边折叠操作 的所有可能子孙边集合；
c. 从候选子孙边集合中找到当前边的真正子孙边并标记。
(2)在此非冗余图基础上，使用全局分步等划分分组算法，通过初始划分 和全局细化将依赖图划分为若干子图并打包为分组发送出去。
a. 初始划分使用改进的宽度优先子树遍历算法将整图初始划分为多个子 图，同时确保产生的分组满足分组有序性条件。使用一种改进的宽度优先子树 遍历算法来遍历依赖图中的所有节点，并打包分组。
b. 全局细化针对以上产生的多个子图，通过特定的交换操作来调整各分
区所包含的顶点，以进一步减少分区之间的分割尺寸，找到最佳划分。细化算 法是一个迭代过程，其终止条件是依赖图的分割尺寸不再减少。由于本方法中
的第1次迭代已经完成了绝大部分的交换操作，因此最多迭代2到3次便可终
止，从而提高了运行效率。.单次迭代过程主要包括两个步骤首先，搜索给定 子分区S，并找到它的所有子分区C&7必/^《(/W);其次，在子分区i)和 C/z舰W』中的每个分区^之间执行交换操作，以减少分区之间的边割尺寸。此 步骤首先得到子分区S的所有可交换节点，然后通过计算节点交换代价来决定是 否执行交换。此方法关键在于可交换候选子节点的寻找和交换代价的计算。 '(3)混合传输服务端首先发送存储基网格和连接信息数据的WTCP报文。
8关闭此连接并传输UDP报文。在UDP传输过程中，必须 合理设置发送速率， 一方面防止由于发送速率过大导致网络较大丢失率，另一 方面防止由于发送速率过小导致其传输时间超过WTCP报文的总传输时间。
(4) 分组解压当客户端接受到所有的B-WTCP (Base WTCP)报文后，基 网格会被快速绘制。当C-WTCP (Connectivity WTCP)报文到达时，暂时将其存 储在显存。当所有的WTCP报文发送完毕，服务端将使用UDP协议传输剩余所有 模型数据。
UDP报文在非可靠移动网络中传输时会产生数据丢包。此处，利用报文中设 定的同步标记来判定报文是否丢失。当某个UDP报文到达时，客户端取出同步 标记UDP-SYN并与存储在对应已接收到的C-WTCP报文中的同步标记C-WTCP-SYN 相比较。如果它们相同，客户端解压此UDP报文并得到顶点分裂操作的几何、 颜色、法向和纹理坐标信息，并将这些信息与存储在缓存中的连接信息组成一 个完整的顶点分裂操作；否则，认为此UDP报文丢失或者未按序到达。此时， 采用第五步的预测重构方法将这些丢失的或延时到达的UDP报文恢复。
(5) 预测重构。当客户端发现某个UDP报文丢失，釆用四种预测方法分 别对顶点分裂操作的几何、颜色、法向和纹理坐标信息进行预测重构。然而， 此时需首先获得丢失顶点分裂操作的连接信息，因为所有的预测方法都是在此 基础上构建的。可以根据UDP报文和已经存储在缓存中的C-WTCP报文之间的同 步信息获得与丢失UDP报文所对应的连接信息。
预测重构方法为从基本原理上来说，此四种预测方法都假定丢失顶点的 值可从其相邻顶点中估算获得。对于几何预测，假定某条边相连的两个顶点在 三维空间中也接近。因此，可通过与此顶点相关的拓扑信息预测得出丢失顶点 的几何值。同理，假定几何空间上相邻接的顶点，其颜色和法向值也接近。借 助已获得几何估计值、拓扑信息和与丢失顶点相邻的顶点颜色和法向值，可分 别估算此丢失顶点的可能颜色和法向值。类似于几何预测，假定某个边相连的 两个顶点在纹理空间也具有相邻的纹理坐标，可通过相关的拓扑和几何信息得 到丢失顶点的纹理坐标值。虽然本文提出的四种预测方法具有不同的预测策略， 但从整体预测来看，它们都需完成快速预测和渐进细化两个阶段。不同于已提 出的其它相关方法，当客户端检测到模型的某些部分未正确到达时，此处预测 方法在快速预测阶段能够及时快速地恢复丢失部分而不必等待所有模型数据传 送完毕。然而，快速预测阶段得到的只是初始预测值，相对而言其并不精确。 客户端会不断地获得渐进模型的细节部分，因此与丢失顶点相邻接的顶点也会 逐步达到。在逐步细化阶段，将利用这些新到达的顶点信息对初始预测值进行
9动态调整，从而获得更为精确的值。
(a)几何预测通常运用在几何压縮中。本发明中采用平均相同权值预测 (Average Same Weight Prediction, ASWP)方法估算丢失顶点的几何值，其
能够节省整体的绘制时间快速获得预测值。
在ASWP中，我们首先根据已知的连接信息找到所有与丢失顶点相邻的顶点 化,^...^}。之后，我们采用公式(1)获得丢失顶点的几何值。
=上 「
其中，^^^。。是丢失顶点，力'是与丢失顶点相邻的顶点。预测方法如图2 所示。
其中，图(a)源网格。图(b) ^是预测重构顶点。针对丢失顶点的几 何、颜色和法向值分别预测计算如下。^/2，"3，《,"5，《分别表示从顶点 V,，Vs，Vk，V3，V2，V^到V附的长度。Gl，Gs，Gk,G;，G2,G』，G戸和c^c^c^c^c^c^c^分别是顶 点、，Vs,、,V;，v2,V^和Vpf。的几何和颜色值。采用^S7FP获得的初始预测几何值为
(Gl+gs+gr+g2+g3)/5 。采用GLWP 获得的预测颜色值为
(qXe《'>2+CsXew2+CRXe-(d''Z+C2xe-(d')2+C3xe("2)/5 。同样，预测的法向值表示为 ",w,。j 。图(c)当某个新的相邻顶点^到达时，K^的几何、颜色和
法向值将会被更新。更新后的几何、法向和颜色值分别计算为
6
(Gl+Gs+Gr+G,G3+G福)/6 , iVorwa"ze(S a,iV,。ce") 禾(CL xe-("+Cs xe<d2"CR xe他)2+C2 xe"*ds)2+C3 xe她"+C础xe^5)2)/6 o
(b)本发明采用高斯长度权值预测方法(Guass Length Weight Prediction ,GLWP)估算丢失顶点的颜色值，如公式(2)所示。
~一,。
=^~i(d) (2) S『，
/ =
其中，K至K是与丢失顶点直接相邻接顶点，权重K至『 表示每个相
邻顶点对丢失顶点的颜色贡献权值。
为获得更精确的估计值，我们采用公式3计算每个相邻顶点与丢失顶点的 权值。可以看出，下式是一个高斯分布，其含义为距离丢失顶点越近的点对丢 失顶点的颜色贡献也就越大。此处d表示丢失顶点与相邻顶点之间的距离，k是常值，在我们的实现中 取l。由于我们已在几何预测中获得丢失顶点的几何位置，因此我们只需要简单
的计算便可得到此长度值。预测方法如图2所示。
(c)为改进法向预测精度，我们采用混合法向预测方法(Hybrid Normal Prediction, HNP)估计丢失顶点的法向值。本文所使用模型假定每个顶点只有 一个法向值。混合法向预测方法包括角度平均权值(Mean weighted by angle, MWA)禾口改进的边长倒数平均权值(Mean weighted by edge length reciprocals ， MWELR)两种预测方法，如公式4与公式5所示。
W層=A^画fc《",.iV,J
,=1 (4)
"i是网格中第池个面的边五,和《+,之间形成的角度，而V—w是第池个面的 面法向矢量。
W歸w = M 函fee(t
,=1|￡,1 (5)
S表示连接顶点池和丢失顶点所形成的边，|￡,|则表示边￡,的长度。与 公式4不同的是，此处W,不是面的法向而是顶点池的顶点法向。预测方法如图 2所示。
(d)本发明提出了一种适用渐进网格的纹理坐标混合预测方法包括长度 权值预测方法LWP和相同子网格平行四边形预测方法(Same Chart Parallelogram Prediction, SCPP)。此方法的优点在于其不但能够解决纹理坐 标不连续性问题，而且可以获得较好的预测效果。
当丢失顶点的纹理坐标与其相邻的所有顶点的纹理坐标处于同一个chart 时，我们采用LWP方法计算丢失顶点的值，但是，当丢失顶点与其相邻顶点来 自于不同子网格时，LWP方法会导致错误的预测结果。因此为解决此问题，我们 采用SCPP方法恢复丢失顶点的纹理坐标。预测方法如图3所示。
其中，(a)、 (b)中只包含一个子网格，而(c) (f)包含了两个子网格 分别为chart—a和chart_b。此外，定义7^是相应顶点1^的纹理坐标。(a)当 所有的2;的6M^^是1时，采用LWP预测7^值为(7; + 7; + 7; + 7;+:Q/5. (b)如果 新顶点到达，？^值为(7;+7;+:r"wD/6。 (c)如果某个；的为1,采 用平行四边形法则预测7^值为7;-r。 + 71。 (d)由于新到达顶点为0，；值仍为 r「r。+z;。 (e)当所有的5M7『值为0时，我们先暂时假定z^的值为s。 (f) 当新的顶点r。必到达且其5MT/^为i时，预测值为 ;必-r2+r5。
然而，在选择执行LWP或SCPP之前，必须首先判断丢失顶点所在的Chart是否与其相邻接的顶点所在的Chart —致。最近预测方法假定丢失顶点的Chart 是与其最近的相邻顶点的纹理坐标所在chart相同。然而，如果实际上它们并 不相同时，此方法将会得到一个完全错误的预测结果。在本发明中，设计了一 个有效的判断丢失顶点所属chart方法。
在本发明的方法中，每个顶点设置一个连续顶点标记(continuous vertex flag, CVF)。如果丢失顶点的所有相邻顶点的纹理坐标与丢失顶点同处于一个 Chart中，称此顶点为连续顶点(Continuous Vertex)。否则，我们称之为不连 续顶点(discontinuous vertex)。当此顶点为连续顶点时，其CVF为1，反之 为0。在我们的实现中，我们对高精度全模进行遍历，并设置每个顶点的CVF 标记。
如果模型为高精度全模，通过检査相邻顶点的所有CVF值，我们可判断出 与丢失顶点相邻的所有顶点是否处于同一个Chart中。具体判断和预测方法如 下所述
1) 若所有相邻顶点的(:VF值为1，我们可以推断出此丢失顶点必定与相邻 顶点处于同一 Chart中。此时，采用LWP方法获得丢失顶点的预测值，如图3.a 所示。
2) 当一个或多于一个顶点的CVF值为1时，我们可推断出此丢失顶点究竟 处于那个Chart中。例如，图3.c中除顶点Vs的CVF值为l外，所有其它顶点 的CVF值都为0。此时，我们可以采用SCPP预测丢失顶点的纹理坐标值。
3) 然而，当所有相邻顶点的CVF值为O时，我们无法决定丢失顶点目前究 竟处于那个Chart中。此时，我们临时假定丢失顶点的纹理坐标值等于与其最 接近的顶点的纹理坐标。
然而，对于渐进模型来说，随着模型由粗糙渐变为细致，顶点的CVF值并 不是固定不变的。因此，对每个顶点而言预先设置的CVF值并不能正确表达其 含义。为解决此问题，我们为每个顶点设置了另外一个连续顶点标志，称为简 化模型连续顶点标志(simplified model continuous vertex flag ， SMCVF)， 其值是在每个顶点的相关边折叠操作执行之前设置的。
为提高渐进模型预测精度，我们采用如下策略得到丢失顶点的预测纹理坐 标值
1) 当某个顶点丢失，客户端采用上述预测方法利用相邻顶点的SMCVF标志 判断此丢失顶点纹理坐标处于那个Chart并获得预测纹理坐标。
2) 在逐步细化阶段，我们可采用LWP或SCPP预测方法纠正或修改丢失顶 点的临时预测值。在此步，当有与丢失顶点的相邻的新顶点到达时，我们可采 用LWP方法提高预测精度，如图3. b所示。如果新到达的顶点的SMCVF为1而 其它相邻顶点都为0时，我们可推断出丢失顶点必与新到达顶点处于同一个 Chart。其原因是我们在预计算此新到达顶点的SMCVF时，与此顶点相邻的丢失顶点是计算在内的。此时，我们可采用SCPP更新此丢失顶点的纹理坐标预测值，
如图3.f所示。
3)在模型传输完毕后，我们可利用顶点的CVF值修正丢失顶点的预测纹理 坐标值。执行此操作后，我们能够正确判断丢失顶点究竟处于哪个Chart中并 获得较为准确的预测纹理坐标值。
这里给出一些有损移动网络中，丢失率从0%变化到6%，不同传输机制下 模型的总传输时间和可用面片个数的对比。此四种不同的混合传输策略，包括 100% WTCP传输即由WTCP传输所有的顶点分裂操作数据，35% WTCP传输即35% 的顶点分裂操作是由WTCP传输而剩余65%是由UDP传输，100%UDP传输即由UDP 传输所有的顶点分裂操作数据和本文提出的预测重构传输即顶点分裂中的连接 信息使用WTCP而其它信息使用UDP传输。此处采用NS-2网络仿真器来模拟， 网络仿真布局如图5所示。
本试验中，我们主要测试模型是彩色纹理化模型狮子，如图6所示。模型 全模时的面片个数为32,096个，基模包含了 421个面片，整个模型的大小为 20.45M。实验证明，即使在相同网络噪音比和网络丢失率情况下，实验的结果 也不尽相同。因此，在不同丢失率下，试验运行多次并取平均结果值。
图7显示了当仿真丢失率从0%变化到6%，不同混合传输机制下模型的总 传输时间和可用面片个数。与其它几种机制相比，我们的方法传输整个模型所 花费的时间与IOO柳DP模式接近并能够获得与100%WTCP方法相同的可绘制面片 数目。其中，(a)总传输时间，图(b)为可用面片个数。
此外，从客户端接收到的模型视觉角度来比较各种不同混合传输方法。从 图8可以看出，客户端所接收到的模型能够获得比其它两种混合传输方法更好 的视觉效果。其中，(a)为100% WTCP时模型效果图，(b)为35。/。WTCP时模型 效果图，(c)为100% UDP时模型效果图，(d)为本发明的方法时模型效果图。
最后，分别比较不同传输机制所获得的模型PSNR，模型平均距离^，均方 根~ 和Hausdorff距离//。
使用信号噪音峰值比(peak signal-to-noise ratio, PSNR)来衡量模型 视觉精度。显然， 一个单独的图片的PSNR值并不能衡量一个完整的三维模型的 视觉精度。因此，从模型多个不同视角获得一系列PSNR值并形成一个统一的误 差衡量值，如公式6所示，即给定两套似xw的彩色图片(M和N是图像的宽度 和高度。每个像素为24位，R， G， B各8位)，c"。和^(w， "i..丄，(q是集 合c的某一幅图像，而&是集合"的某个相对应参考图像)， 一个颜色分量的PS服 值为
2552
尸SM^10Zg 函- (6)
13而最终PSNR值为:
PS細=+尸S碼+) / 3 ( 7 )
在本试验中，参照模型S0是由100y。WTCP传输所获得的，参照图片集是参 考模型不同角度的快照。为确保验证图片集的均匀取样分布，取样视点必须合 理设置。其比较结果如表1的第一列。表1的剩余几列则为几种传输方法的 。u和"值。由于^和u值并不是对称的，如通常情况下；0、(s,，s。)， e , (s。,S>^ 。;)。因此，在实验时我们将分别列出、(s。,w， ^,(s。,s,)， 、(s,s。)和
e^(S,，S。)的值。
从表1可以看出，采用我们的方法产生的模型的PSNR值是三种方法中最 大的。而且，我们方法产生的模型具有最小的^,^和/H直。因此，与参考模型 相比，我们的传输方法所产生的模型的质量损失最少。
表l:参考模型S0和测试模型S1的PSNR， ；和H比较
尸纖
遷rc 户23.36 dB0駕 5980.043 4040細3 920.00199 40.7200 56
20.25 dB0.009 930.044 7590細3 290.00457 80.7200 56
方兹24.13 dB0細 9920.061 64080.0000 06O細ll 60.5277 09
本发明面向彩色纹理化渐进模型，从服务端错误恢复、网络传输协议和客 户端错误恢复角度出发实现模型快速稳健传输和丢失报文恢复，首先利用全局
等划分分组方法将模型封装成不同类型报文；然后采用混合传输方法以快速鲁 棒地发送报文；最后采用基于预测的模型重构方法对丢失的模型数据进行恢复。 相关预测方法实现了对模型丢失部分的顶点几何、颜色、法向和纹理坐标信息 的有效重构。本发明的方法能够客服移动网络中的高丢包率和误码率现象，使 移动客户端在获得较好的三维模型视觉效果的同时缩减模型整体传输时间，具 有很好的实用价值。
1权利要求
1.一种面向移动有损网络的基于预测重构的模型传输方法，其特征在于包括以下步骤(1)采用分组算法将模型封装成不同类型报文；其步骤为首先使用非冗余依赖图构建方法记录所有网格顶点分裂操作之间的依赖关系，并删除其中的冗余依赖；然后使用全局分步等划分分组方法，通过初始划分和全局细化将依赖图划分为若干子图并打包为分组发送出去。(2)采用混合传输方法以快速鲁棒地发送报文；渐进彩色纹理模型打包分组为WTCP或UDP报文，服务端首先发送存储基网格和连接信息数据的WTCP报文。当WTCP报文传输完毕，关闭此连接并传输UDP报文。(3)采用基于预测的模型重构方法对丢失的模型数据进行恢复；当客户端发现某个UDP报文丢失，采用四种不同预测方法分别对顶点分裂操作的几何、颜色、法向和纹理坐标信息进行预测重构。
2. 根据权利要求1所述的面向移动有损网络的基于预测重构的模型传输方 法，其特征在于，所述非冗余依赖图构建方法步骤为(A) 找到当前边折叠操作的所有相邻顶点列表。(B) 从相邻顶点列表中获得顶点，并根据顶点相邻关系找到当前边折叠 操作的所有可能子孙边集合。(C) 从候选子孙边集合中找到当前边的真正子孙边并标记。
3. 根据权利要求1所述的面向移动有损网络的基于预测重构的模型传输方 法，其特征在于，所述全局分步等划分分组方法的步骤为(a) 初始划分使用改进的宽度优先子树遍历算法将整图初始划分为多个子图，同时确保产生的分组满足分组有序性条件。使用一种改进的宽度优先子 树遍历算法来遍历依赖图中的所有节点，并打包分组。(b) 全局细化针对以上产生的多个子图，通过交换操作来调整各分区所包含的顶点，以进一步减少分区之间的分割尺寸，找到最佳划分。细化算法是一个迭代过程，其终止条件是依赖图的分割尺寸不再减少；单次迭代过程主要 包括两个步骤首先，搜索给定子分区f，并找到它的所有子分区 —f (/ >0 ;其次，在子分区S和CM^W_f中的每个分区5之间执行交换 操作，以减少分区之间的边割尺寸。此步骤首先得到子分区S的所有可交换节点， 然后通过计算节点交换代价来决定是否执行交换。
4. 根据权利要求1所述的面向移动有损网络的基于预测重构的模型传输方 法，其特征在于，所述改进的混合传输方法为渐进彩色纹理模型打包分组为 WTCP或UDP报文；WTCP报文包括基网格数据和顶点分裂操作的连接信息；包含基网格的WTCP报文为B-WTCP，而包含连接信息的报文称为C-WTCP。 UDP报文则 包括了顶点分裂操作的几何、法向、颜色和纹理坐标数据。
5. 根据权利要求1所述的一种面向移动有损网络的基于预测重构的模型传 输方法，其特征在于，所述基于预测的模型重构方法主要包括几何、颜色、法 向和纹理坐标四种预测方法。
6. 根据权利要求5所述的模型预测重构方法，其特征在于，所述几何预测 方法采用平均相同权值预测方法估算丢失顶点的几何值，它能够节省整体的绘 制时间快速获得预测值。
7. 根据权利要求5所述的模型预测重构方法，其特征在于，所述颜色预测 方法釆用高斯长度权值预测方法估算丢失顶点的颜色值。
8. 根据权利要求5所述的模型预测重构方法，其特征在于，所述混合法向 预测方法估计丢失顶点的法向值。混合法向预测方法包括角度平均权值和改进 的边长倒数平均权值两种预测方法。
9. 根据权利要求5所述的模型预测重构方法，其特征在于，所述纹理坐标 预测方法包括长度权值预测方法和相同子网格平行四边形预测方法。
全文摘要
本发明公开了一种面向移动有损网络的基于预测重构的模型传输方法。此传输方法面向彩色纹理化渐进模型，从服务端错误恢复、网络传输协议和客户端错误恢复角度出发实现模型快速稳健传输和丢失报文恢复，首先利用全局等划分分组方法将模型封装成不同类型报文；然后采用混合传输方法以快速鲁棒地发送报文；最后采用基于预测的模型重构方法对丢失的模型数据进行恢复。相关预测方法实现了对模型丢失部分的顶点几何、颜色、法向和纹理坐标信息的有效重构。本发明的方法能够克服移动网络中的高丢包率和误码率现象，使移动客户端在获得较好的三维模型视觉效果的同时缩减模型整体传输时间，具有很好的实用价值。
文档编号H04L29/06GK101516105SQ200910096790
公开日2009年8月26日 申请日期2009年3月19日 优先权日2009年3月19日
发明者杨柏林, 江照意, 勋 王 申请人:浙江工商大学