专利名称：三维网格编码、解码方法及编码、解码装置的制作方法
技术领域：
本发明涉及一种三维网格编码、解码方法及编码、解码装置，尤其涉及 一种基于几何图像预测法向量紋理图像的编码、解码方法及编码、解码装置， 属于三维网格压缩编码领域。
背景技术：
三维网格数据的规模和复杂程度在急剧增长，应用也越来越广泛，但是 网络带宽的限制严重阻碍了它的传播，仅仅通过增加硬件设备已不能解决这 一问题，对三维网格数据的压缩编码技术的研究正是为了解决这一问题。
三维网才各数据的静态压缩方法解决了 CPU (Central Processing Unit; 简称为CPU)和显卡之间的传输瓶颈，但是这种方法是在所有的网格数据全 部传输完之后才显示整个三维网格，用户通常需要等待很长的时间才能看到 整个画面。渐进式的传输模式通过先传输一个低精度的三维网格使用户很快 的看到一个大致的轮廓，然后随着传输的进行显示精度更高的三维网格，解 决了静态压缩方法存在的问题。
几4可图4象(Geometry Images)是一种三维网格渐进压缩方法，由原始三维 网格生成的几何图像是一副与原始三维网格模型对应的真彩色的二维图像。 几何图像比较光滑平坦，相邻像素的相关性很强，并且可以采用传统的图像 压缩算法进行编码和传输。在解码端重构三维网格模型时，几何图像中每4 个栅格点围成的四方格沿着对角线分裂成两个三角形，根据栅格点的坐标 值和新生成的拓朴连接关系重构出三维网格模型。
随着计算机图形学在模拟真实环境方面的广泛应用和快速发展，人们对 其模拟的视觉真实性要求越来越高。紋理贴图可以通过紋理来表达表面丰富的几何细节和光照细节，甚至可以通过映射后紋理的变形来表达物体的几何形状，法向量紋理图像是它的一个技术扩展，是一种光照技术，记载了对象表面材质的各个像素对光线的反射向量，由于紋理中存储的是法向量而不是颜色，所以表面的紋理和阴影细节可以随着光源位置的改变而发生变化，使模拟的虚拟环境更真实，使人产生身临其境的感觉，提高操作者的沉浸感。因此成为三维网格模型中增加真实性的 一个重要工具。
图la为现有几何图像三维网格渐进压缩算法的整体结构示意图。几何图像三维网格渐进压缩算法在编码端(服务器端)由原始的三维网格经过剖分、参数化生成几何图像，经过编码器压缩编码后输出比特流，经网络传输到达解码端(客户端)，解码端依据解码重构得到的重构几何图像，重构得到三维网格。在渲染三维网格时，根据重构得到的三维网格，通过传统的计算法向量的方法，计算每个顶点的法向量后，进行渲染。由于这种方法得到的三维网格的法向量不够准确，不能反映出原始网格所表现的渲染效果，并且计算量大，耗时较长。
图lb为现有传输法向量紋理图像的三维网格渐进压缩算法的整体结构示意图。现有技术中也有将与几何图4象对应的法向量紋理图4象表示为真彩色图像的方式，并采用图像压缩方法编码，如图lb所示。这种法向量紋理图像是在编码端通过釆用生成几何图像的类似方法，并依据原始三维网格参数化后的网格计算得到，比较准确，但是与几何图像相比，法向量紋理图像的相邻像素相关性很弱，且含有丰富的细节信息，不易于压缩编码，编码后码流较大，不易于传输，并且在解码端解码后图像的质量不高。
发明内容
本发明实施例的目的是提供一种三维网格编码、解码方法及编码、解码装置，在保证相同码流大小的情况下，提高了三维网格所表现的渲染效果。本发明一实施例提供了一种三维网格编码方法，包括以下步骤生成原始几何图像、第一法向量紋理图像；
对所述原始几何图像进行编码压缩生成所述原始几何图像的码流，并输
出；
根据所述原始几何图像的码流生成第 一预测法向量紋理图像；根据所述第一法向量紋理图像和所述第一预测法向量紋理图像，计算第
一法向量紋理图像的预测残差；
对所述第一法向量紋理图像的预测残差进行编码压缩生成所述预测残差
的码流，并输出所述预测残差的码流。
本发明又一实施例提供了 一种三维网格解码方法，包括以下步骤对接收到的图像码流进行解码，根据解码后的数据生成第二法向量紋理
图像的预测残差和第二重构几何图像；
由所述第二重构几何图像生成第二预测法向量紋理图像；根据所述第二法向量紋理图像的预测残差和所述第二预测法向量紋理图
像，生成第二法向量紋理图像；
根据所述第二法向量紋理图像和所述第二重构几何图像，重构出三维网格。
本发明另一实施例提供了一种三维网格编码装置，包括生成^t块，用于生成原始几何图像、第一法向量紋理图像；第一编码模块，用于对所述生成模块生成的所述原始几何图像进行编码
压缩生成并输出所述原始几何图像的码流；
第一预测模块，用于根据所述第一编码模块输出的所述原始几何图像的
码流生成第 一预测法向量紋理图
第 一计算模块，用于根据所述生成模块生成的所述第 一法向量紋理图像
和所述第一预测模块生成的所述第一预测法向量紋理图像，计算第一法向量紋理图^^的预测残差；
第二编码模块，用于对所述第一计算模块计算出的所述第一法向量紋理图像的预测残差进行编码压缩生成所述预测残差的码流，并输出所述预测残差的码流。
本发明再一实施例还提供了一种三维网格解码装置，包括
解码模块，用于对接收到的图像码流进行解码，根据解码后的数据生成第二法向量紋理图像的预测残差和第二重构几何图像；
第二预测模块，用于由所述解码模块生成的所述第二重构几何图像生成第二预测法向量紋理图像；
第二计算模块，用于根据所述解码模块生成的所述第二法向量紋理图像的预测残差和所述第二预测;溪块生成的所述第二预测法向量紋理图像，生成第二法向量紋理图像；
重构模块，用于根据所述第二计算模块输出的所述第二法向量紋理图像和所述解码模块输出的所述第二重构几何图像，重构出三维网格。
本发明实施例提供的三维网格编码、解码方法及编码、解码装置通过几何图像预测法向量紋理图像，并传输几何图像和法向量紋理图像的预测残差，提高了三维网格对应的法向量紋理图像的准确度，加强了原始网格所表现的渲染效果，同时传输、接收的法向量紋理图像的预测残差，其编解码码流小，可以采用与几何图像相同的压缩方法进行处理，降低了编码图像的比特率。
图la为现有几何图像三维网格渐进压缩算法的整体结构示意图；图lb为现有传输法向量紋理图像的三维网格渐进压缩算法的整体结构示意图2为本发明三维网格编码方法一实施例的流程图；图3为本发明一实施例中三角面片在二维参数域和三维网格域的对应关系图4为本发明一实施例中对相似几何拉伸区域内部点的梅花下采样意图5为本发明三维网格解码方法一实施例的流程图6为本发明三维网格编码装置一实施例的结构示意图7为本发明三维网格解码装置一实施例的结构示意图8a为本发明实施例中比对实验所用编码框架示意图8b为本发明实施刊中比对实验所用解码框架示意图9本发明实施例中与传统直接压缩法向量图像方法的重构质量比较图。
具体实施例方式
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。图2为本发明三维网格编码方法一实施例的流程图，如图2所示，本实施例提供了一种三维网格编码方法，具体包括以下步骤步骤201，生成原始几何图像、第一法向量紋理图像。其中根据原始三维网格模型生成原始几何图像和第一法向量紋理图像的具体过程为首先将原始三维网格模型进行剖分，以减少参数化过程中带来的扭曲；然后是参数化，在保持形状扭曲最小的前提下，通常采用几何拉伸度量的方法进行参数化；之后，对参数化的三维网格进行离散重采样，得到规则化的二维网格图像，与二维网格上的每个栅格点所对应的三维网格的几何坐标值(x, y， z)对应于二维网格上的每个栅格点的颜色值(r， g， b),于是就得到 一副与原始三维网格模型对应的真彩色的二维原始几何图像，并且可以采用传统的图像压缩算法进行编码和传输；同理，当与二维网格上的每个栅格点所对应的三维网格的法向量值(nl， n2, n3)对应于二维网格上的每个栅格点的颜色值(r, g， b),就得到与该三维网格模型对应的第一法向量紋理图像。
步骤202，对原始几何图像进行编码压缩生成原始几何图像的码流，并输出。在编码端，通过编码器对由原始三维网格生成的原始几何图像进行压缩编码，生成原始几何图像的码流，其中一路输出给编码端的解码器， 一路输出给信道。
步骤203，根据原始几何图像的码流生成第一预测法向量紋理图像。具体的包括
首先，对原始几何图像的码流进行解码，生成第一重构几何图像；由编码端的图像解码器对图像编码器生成的原始几何图像的码流进行解码，重构生成第一重构几何图像。
其次，根据第 一重构几何图像的几何拉伸度对三维网格模型进行区域划分，将所述三维网格模型划分为多个相似几何拉伸区域；在生成的二维原始几何图像中，由均匀采样点所组成的三角面片是均匀的，有相同的形状和面积，但是在重构后的三维网格模型中，各个三角面片将具有不同的形状和面积，即从二维到三维的映射产生了不同程度的几何拉伸，几何拉伸的度量主要是为了准确的反映从二维参数域D映射到三维网格域S的几何拉伸形变，通过度量几何拉伸度的方法判断三维网格模型的变化，并根据变化的大小将三维网格模型划分为若干个区域，从而形成多个不同的相似几何拉伸区域。
之后，根据所述相似几何拉伸区域，计算所述三维网格模型的所有顶点的法向量；由于法向量的计算比较复杂，应当尽量减少计算次数，而网格变化程度较小的部分对应的顶点的法向量的变化程度也不明显。因此，对相似几何拉伸区域内的顶点进行下采样，并且仅对被下采样的顶点计算其法向量。而对于属于该相似几何拉伸区域而不属于下采样范围内的顶点，由该顶点附近的下釆样点的法向量以插值方式生成该顶点的法向量。对于属于相似几何拉伸区域的边界顶点，是几何拉伸的突变点，也需要计算它们的法向量值，则所有顶点的法向量均可以被计算得出。
接着，将所述顶点的法向量量化到图像灰度范围内，生成第一初始预测法向量紋理图像；当获得所有顶点的法向量之后，将法向量由单位向量量化到图像灰度范围内，即将法向量的三个分量分别从
量化到
,且三个分量分别对应于真彩色图像的RGB值，于是，对应生成第一初始预测法向量紋理图像。
最后，将上述第一初始预测法向量紋理图像通过低通滤波器，进行平滑滤波后，得到第一预测法向量紋理图像；经过上述计算得到的第一初始预测法向量紋理图像在不同几何拉伸程度区域的交接处并不光滑，因此，再通过一个低通滤波器对上述第一初始预测法向量紋理图像进行滤波，得到平滑后的第一预测法向量紋理图像，在本实施例中并未限制低通滤波器的类型。
步骤204,根据第一法向量紋理图像和第一预测法向量紋理图像，计算第 一法向量紋理图像的预测残差。
法向量紋理图像是真彩色图像，其RGB三个分量是采用8位表示的，即每个分量有256个色阶，对应值为
。如果将两幅法向量紋理图像的像素值直接做差，差值将会出现负数，差值的范围为[-255，255]，则这样的差值不能用来表示图像的RGB分量值。因此，本实施例提供一种计算第一法向量紋理图像的预测残差的方法在计算时，对第一法向量紋理图像与第一预测法向量紋理图像的像素值直接对应相减做差之后，通过将每个差值加上256，即差值范围变化到[1,511],之后将每个值除以2并向下取整，将差值映射到
范围内。这样第一法向量紋理图像的预测残差的RGB三个分量都处在图像可表示的范围之内。
步骤205，对第一法向量紋理图像的预测残差进行编码压缩生成预测残差的码流，并输出预测残差的码流。
由于第一法向量紋理图像的预测残差需要经过以上步骤计算得出，故与原始几何图像相比，其压缩编码处理过程要晚一点，所以可以采用串行方式先输出原始几何图像的码流，再输出第一法向量紋理图像的预测残差的码流，当然也可以以并行方式输出，用户可以根据实际需要选择不同的传输方式，在本实施例中采用串^f亍传输方式，但并不限于此。
本实施例提供的三维网格编码方法通过原始几何图像预测第一预测法向量紋理图像，提高了对应与三维网格的法向量紋理图像的准确度，加强了原始网格所表现的渲染效果，同时由于传输的不是法向量紋理图像而是法向量紋理图像的预测残差，预测残差与法向量紋理图像相比，其相关性有所提高，细节信息较少，因而其编码码流小，可以采用与几何图像相同的压缩方法进行处理，降低了编码码 流。
本实施例在上述技术方案的基础上，提供了具体计算几何拉伸度的方法。
图3为本发明一实施例中三角面片在二维参数域和三维网格域的对应关系图。计算几何拉伸度的具体过程如下
对于二维参数域D上的一个三角形A,假设它的三个顶点的坐标是
a，a,a,其中几=(\,0，相对应的三维网格域s上的三角形的坐标为仏矢仍，
则它们之间的仿射映射关系可以表示为
<formula>formula see original document page 13</formula> (1)具体为
<formula>formula see original document page 13</formula> (2)
其中公式(2)中的〈aA。表示三角形Wc的面积。由于这个映射是仿射的，所以对于所有的(W)e A来说，公式(2 )的偏微分是公式(3 )、公式(4 )所示的常数
<formula>formula see original document page 13</formula>(3)
<formula>formula see original document page 13</formula>( 4 )在公式(3) 、 (4)中，
<formula>formula see original document page 13</formula> (5)则/的雅克比矩阵是
<formula>formula see original document page 13</formula>(6)雅克比矩阵j,的最大单值r和最小单值^分别表示单位长度从二维参数
域D映射到三维网格域S的最大长度和最小长度，即最大几何拉伸度和最小几何拉伸度。可以通过下面的公式(7)和公式(8)计算得出
r = J备((",+ c,)+無-c, )2 + 46/ ) (7)
,=+ C/) — — c/ )2 + 4 V ) (8)
根据r和y ，可以得到两个关于几何拉伸的度量标准:
丄2 = (9)k=r (10)其中的￡2度量了几何拉伸的总体的能力，而^则表示了在最差的情况下的度量标准。
根据上述计算得到的几何拉伸度对三维网格模型进行区域划分具体为度量第一重构几何图像中每个三角面片的几何拉伸度，计算每个顶点周围所有三角面片的几何拉伸度的方差，将所述方差与一预先设定的阈值进行比较，如果所述方差大于阈值，将所述顶点划为相似几何拉伸区域的边界点，反之，将所述顶点划为相似几何拉伸区域的内部点，到此实现了根据几何拉伸度对三维网格模型进行区域划分，三维网格模型被划分为多个不同的相似几何拉伸区域。
在上述技术方案的基础上，本实施例还提供了计算所有法向量的具体实现方法。图4为本发明一实施例中对相似几何拉伸区域内部点的梅花下采样示意图。本实施例中，被下采样的顶点以及边界顶点的法向量根据第一重构几何图像中的栅格点的坐标值以及由4个栅格点围成的四方格对角连线所形成的新的拓朴关系，计算得出，其中被下采样的顶点具体如图4所示。对于非采样点以插值方式生成，具体为利用其上下左右相邻的四个顶点的已知
法向量进行加权平均，由以下公式(11 )计算得出
<formula>formula see original document page 15</formula>
其中，"(/，刀表示当前非釆样点的法向量，/, y表示当前非采样点在二维几何图像上的坐标点。
根据上述方法，计算出所有顶点的法向量值。
本实施例提供的三维网格编码方法通过几何拉伸度将三维网格模型划分为若干区域，使用基于几何拉伸的度量可以准确的度量从二维参数域到三维网格域进行映射时的几何拉伸程度，而对相似几何拉伸区域内的顶点以下采样的方式选择计算顶点的法向量，减少了计算法向量的次数，降低了法向量计算过程中的计算量和复杂度，有利于提高整个编码方法的效率。
图5为本发明三维网格解码方法一实施例的流程图，如图5所示，本实施例提供了 一种三维网格解码方法，具体包括以下步骤
步骤501,对接收到的图像码流进行解码，根据解码后的数据生成第二法向量紋理图像的预测残差和第二重构几何图像。在解码端，图像解码器从信道中提取编码端传输的图像码流，本实施例中图像码流包括几何图像的码流和预测残差的码流，然后对几何图像的码流和预测残差的码流进行解码重构，得到第二法向量紋理图像的预测残差和第二重构几何图像。
步骤502，由第二重构几何图像生成第二预测法向量紋理图像。
步骤503,根据第二法向量紋理图像的预测残差和第二预测法向量紋理图像生成第二法向量纹理图像。
步骤504，根据第二法向量紋理图像和第二重构几何图像重构出三维网格。由编码方法可知，第二重构几何图像上每个栅格点的颜色值(r， g， b)对应于三维网格的几何坐标值(x, y, z),第二法向量紋理图像上每个栅格点的颜色值(r， g, b)对应于三维网格上的栅格点的法向量值(nl, n2，n3)，据此重构出三维网格。
本实施例中利用第二重构几何图像生成第二预测法向量紋理图像的过程
与上述编码方法实施例中的方法相同，故在此不再累述；由第二预测法向量紋理图像和第二法向量紋理图像的预测残差计算第二法向量紋理图像的过程是上述编码方法实施例中的计算第一法向量紋理图像的预测残差的逆过程，具体方法原理相同，故在此不详细论述，且对于所属领域的技术人员完全可以根据编码过程推知解码过程的具体实现。
本实施例提供的三维网格解码方法根据第二重构几何图像和第二法向量紋理图像的预测残差，经第二预测法向量紋理图像得到第二法向量紋理图像，提高了对应与三维网格的法向量紋理图像的准确度，加强了原始网格所表现的渲染效果。
发明人在实现本发明的过程中，针对本发明提出的三维网格编码、解码方法与现有技术中的方法进行了实验比对，具体的如下所示
图8a为本发明实施例中比对实^r所用编码框架示意图，图8b为本发明实施例中比对实验所用解码框架示意图。发明人在实验中釆用的编码、解码方法的结构框架，如图8a、 8b所示，与传统的直接压缩法向量图像方法进行了对比实验。原始几何图像和第一法向量紋理图像利用已有的生成几何图像方法得到，实验中图像编码器、解码器均由标准为JPEG2000的软件实现。编码原始几何图像都采用0. 5bpp的码率，并利用其第一重构几何图像进行编码端的预测过程，利用第二重构几何图像进行解码端的预测过程，其具体的预测过程与上述实施例相同，不再累述。图9本发明实施例中与传统直接压缩法向量图像方法的重构质量比较图，其中横坐标为图像的像素深度，表示图像的每个像素值所需要的位数(bits per pixel;筒称为BPP)，纵坐标为峰值信噪比(Peak Signal to Noise Ratio ;简称为PSNR),是一种评价图像的客观标准，PSNR越高表示图像的重构质量越好。从图9中可以看出，在低码率的情况下，与传统方法重构出的图像相比较，本发明方法的增益比较明显，最高可达2db，而随着码率的增加，本发明方法的增益 速率降低并趋于传统方法。这是由于码率的增加对于传统方法而言，可以分 配给细节信息更多的比特，以致整体图像的重构质量逐渐提高。
基于以上论述，本发明提出的三维网格编码、解码方法通过几何图像预 测法向量紋理图像，并仅传输几何图像和法向量紋理图像的预测残差，该方 法简化了对法向量紋理图像的压缩，编码法向量紋理图像的预测残差需要的 码流较小，并且使得解码后的法向量紋理图像的质量有所提高，改善了重构 的三维网格模型的渲染效果，使用户得到更好的视觉体验。
图6为本发明三维网格编码装置一实施例的结构示意图，如图6所示，本 实施例提供了一种三维网格编码装置，具体包括
生成模块61,用于生成原始几何图像、第一法向量紋理图像；
第一编码模块62，用于对生成模块61生成的原始几何图像进行编码压 缩生成并输出原始几何图像的码流；
第一预测模块63，用于根据第一编码模块62输出的原始几何图像的码 流生成第 一预测法向量紋理图像；
第一计算模块64,用于根据生成模块61生成的第一法向量紋理图像和 第一预测模块63生成的第一预测法向量紋理图像，计算第一法向量紋理图像 的预测残差；
第二编码模块65，用于对第一计算模块64计算出的第一法向量紋理图 像的预测残差进行编码压缩生成预测残差的码流，并输出所述预测残差的码流。
具体地，第一预测模块还包括解码单元，用于对原始几何图像的码流进 行解码，生成第一重构几何图像；第一划分单元，用于根据所述第一重构几 何图像的几何拉伸度对三维网格模型进行区域划分，将所述三维网格模型划 分为多个相似几何拉伸区域；第一计算单元，用于根据所述相似几何拉伸区 域，计算所述三维网格模型的所有顶点的法向量；第一量化单元，用于将所述顶点的法向量量化到图像灰度范围内，生成第一初始预测法向量紋理图像； 以及第一低通滤波单元，用于对第一量化单元的输出结果，即第一初始预测 法向量紋理图像进行滤波，得到平滑的第一预测法向量紋理图像，并输出给 第一计算模块64，具体可以由低通滤波器来实现，但并不限制低通滤波器的 类型。由于第一初始预测法向量紋理图像在不同几何拉伸程度区域的交接处 并不光滑，通过该第一滤波单元对第一初始预测法向量紋理图像进行滤波， 使得根据第 一法向量紋理图像和平滑后的第 一预测法向量紋理图像得到第一 法向量紋理图像的预测残差更加准确，进一步提高对应与三维网格的法向量 紋理图像的准确度，加强原始网格所表现的渲染效果。
本实施例中的第一编码模块62与第二编码模块65可以是同一个模块， 也可以是分离的模块，特别当两者为分离的模块时，原始几何图像的码流由 第一编码模块62输出，预测残差的码流由第二编码模块65输出。其中，编 码模块具体的可以是JPEG或者JPEG2000编码器，也可以是其他图像编码器， 尤其当第一编码模块62与第二编码模块65为独立模块时，两个模块采用相 同标准的编码器是一种较佳的实施方式，并不限于此，但编码器需要与编码 端的解码单元及解码端的解码单元相适应。
需要指出的是，本实施例提供的三维网格编码装置是与上述编码方法相 对应的装置，其可以采用上述编码方法的具体实现过程来实现对应的装置的 技术方案，此处不再赘述。
本实施例提供的三维网格编码装置，通过设置第一预测模块、第一计算 模块实现了在编码端输出原始几何图像的码流的同时传输第一法向量紋理图 像的预测残差的码流，保证解码端得到高准确度的法向量紋理图像，加强了 原始网格所表现的渲染效果，同时由于传输的不是法向量紋理图像而是法向 量紋理图像的预测残差，预测残差与法向量紋理图像相比，其相关性有所提 高，细节信息较少，因而其编码码流较小，可以采用与几何图像相同的压缩 方法进行处理，降低了原始编码法向量紋理图像的比特率，平衡了原始编码法向量紋理图像和几何图像的关系。
图7为本发明三维网格解码装置一实施例的结构示意图，如图7所示，本 实施例提供了一种三维网格解码装置，具体可以包括
解码模块71,用于对接收到的图像码流进行解码，根据解码后的数据生 成第二法向量紋理图像的预测残差和第二重构几何图像；
第二预测模块72,用于由解码模块71生成的第二重构几何图像生成第 二预测法向量紋理图像；
第二计算模块73,用于根据由解码模块71生成的第二法向量紋理图像 的预测残差和第二预测^t块72预测出的第二预测法向量紋理图像，生成第二 法向量紋理图像；
重构模块74，用于根据第二计算模块73生成的第二法向量紋理图像和 解码模块71输出的第二重构几何图像，重构出三维网格。
具体地，第二预测模块还包括第二划分单元，用于根据所属第二重构 几何图像的几何拉伸度对三维网格模型进行区域划分，将所述三维网格模型 划分为多个相似几何拉伸区域；第二计算单元，用于根据所述相似几何拉伸 区域，计算所述三维网祐^莫型的所有顶点的法向量；第二量化单元，用于将 所述顶点的法向量量化到图像灰度范围内，生成第二初始预测法向量紋理图 像；以及第二低通滤波单元，用于对第二量化单元的输出结果，即第二初始 预测法向量紋理图像进行滤波，得到平滑的第二预测法向量紋理图像并输出 给第二计算模块73。
上述技术方案中，解码模块71可以是JPEG或者JPEG2000解码器，也可 以是其他图像解码器，但需要与编码端的第一编码模块、第二编码模块以及 解码单元相适应。
需要指出的是，本实施例提供的三维网格解码装置是与上述解码方法相 技术方案，此处不再赘述。本实施例提供的三维网格解码装置，通过设置第二预测模块、第二计算 模块实现了在解码端根据第二重构几何图像预测出第二预测法向量紋理图 像，保证解码端得到高准确度的法向量紋理图像，提高了原始网格所表现的 渲染效果。
最后应说明的是以上实施例仅用以说明本发明的技术方案而非对其进 行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技 术人员应当理解其依然可以对本发明的技术方案进行修改或者等同替换， 而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的 并青神和范围。
权利要求
1、一种三维网格编码方法，其特征在于，包括以下步骤生成原始几何图像、第一法向量纹理图像；对所述原始几何图像进行编码压缩生成所述原始几何图像的码流，并输出；根据所述原始几何图像的码流生成第一预测法向量纹理图像；根据所述第一法向量纹理图像和所述第一预测法向量纹理图像，计算第一法向量纹理图像的预测残差；对所述第一法向量纹理图像的预测残差进行编码压缩生成所述预测残差的码流，并输出所述预测残差的码流。
2、 根据权利要求1所述的三维网格编码方法，其特征在于，所述根据所 述原始几何图像的码流生成第 一预测法向量紋理图像具体为对所述原始几何图像的码流进行解码，生成第一重构几何图像； 根据所述第 一 重构几何图像的几何拉伸度对三维网格模型进行区域划 分，将所述三维网格模型划分为多个相似几何拉伸区域；根据所述相似几何拉伸区域，计算所述三维网格模型的所有顶点的法向量；将所述顶点的法向量量化到图像灰度范围内，生成第一初始预测法向量 紋理图像；将所述第 一初始预测法向量紋理图像通过低通滤波器，进行平滑滤波后， 得到所述第 一预测法向量紋理图像。
3、 根据权利要求2所述的三维网格编码方法，其特征在于，所述根据所 述第 一重构几何图像的几何拉伸度对三维网格模型进行区域划分，将所述三 维网格模型划分为多个相似几何拉伸区域，具体为计算所述三维网格模型的每个顶点周围所有三角面片的几何拉伸度的方 差；将所述方差与一阈值进行比较，如果所述方差大于所述阈值，将所述顶点划为所述相似几何拉伸区域的边界点，否则，将所述顶点划为所述相似几 何拉伸区域的内部点，从而形成所述多个相似几何^立伸区域。
4、 根据权利要求2所述的三维网格编码方法，其特征在于，所述根据所述相似几何拉伸区域，计算所述三维网格模型的所有顶点的法向量，具体为 当所述顶点属于所述相似几何拉伸区域时，首先通过下采样方法对所述 相似几何拉伸区域的内部点进行采样，当所述顶点为采样点时，根据所述第 一重构几何图像中的栅格点的坐标值以及由4个栅格点围成的四方格对角连 线所形成的新的拓朴关系，计算所述顶点的法向量；当所述顶点为非采样点 时，由所述顶点附近的采样点的法向量以插值的方法生成所述顶点的法向量； 当所述顶点为所述相似几何拉伸区域的边界点时，才艮据所述第 一重构几 何图像中的栅格点的坐标值以及由4个栅格点围成的四方格对角连线所形成 的新的拓朴关系，计算所述顶点的法向量。
5、 一种三维网格解码方法，其特征在于，包括以下步骤 对接收到的图像码流进行解码，根据解码后的数据生成第二法向量紋理图像的预测残差和第二重构几何图像；由所述第二重构几何图像生成第二预测法命量紋理图像； 根据所述第二法向量紋理图像的预测残差和所述第二预测法向量紋理图像，生成第二法向量紋理图像；根据所述第二法向量紋理图像和所述第二重构几何图像，重构出三维网格。
6、 根据权利要求5所述的三维网格解码方法，其特征在于，所述由所述 第二重构几何图像生成第二预测法向量紋理图像具体为根据所述第二重构几何图像的几何拉伸度对三维网格模型进行区域划 分，将所述三维网才各模型划分为多个相似几何拉伸区域；根据所述相似几何拉伸区域，计算所述三维网格模型的所有顶点的法向量；将所述顶点的法向量量化到图像灰度范围内，生成第二初始预测法向量紋理图像；将所述第二初始预测法向量紋理图像通过低通滤波器，进行平滑滤波后， 得到所述第二预测法向量紋理图像。
7、 根据权利要求6所述的三维网格解码方法，其特征在于，所述根据所 述第二重构几何图像的几何拉伸度对三维网格模型进行区域划分，将所述三维网格^:莫型划分为多个相似几何拉伸区域，具体为计算所述三维网格模型的每个顶点周围所有三角面片的几何拉伸度的方 差；将所述方差与一阈值进行比较，如果所述方差大于所述阈值，将所述顶 点划为所述相似几何拉伸区域的边界点，反之，将所述顶点划为所述相似几 何拉伸区域的内部点，从而形成所述多个相似几何拉伸区域。
8、 根据权利要求6所述的三维网格解码方法，其特征在于，所述根据所 述相似几何4立伸区域，计算所述三维网格模型的所有顶点的法向量，具体为当所述顶点属于所述相似几何拉伸区域时，首先通过下采样方法对所述 相似几何拉伸区域的内部点进行采样，当所述顶点为采样点时，根据所述第 二重构几何图像中的栅格点的坐标值以及由4个栅格点围成的四方格对角连 线所形成的新的拓朴关系，计算所述顶点的法向量；当所述顶点为非采样点 时，由所述顶点附近的釆样点的法向量以插值的方法生成所述顶点的法向量；当所述顶点为所述相似几何拉伸区域的边界点时，根据所述第二重构几 何图像中的栅格点的坐标值以及由4个栅格点围成的四方格对角连线所形成 的新的拓朴关系，计算所述顶点的法向量。
9、 一种三维网格编码装置，其特征在于，包括 生成模块，用于生成原始几何图像、第一法向量紋理图像； 第一编码模块，用于对所述生成模块生成的所述原始几何图像进行编码压缩生成并输出所述原始几何图像的码流；第一预测模块，用于根据所述第一编码模块输出的所述原始几何图像的码流生成第 一预测法向量紋理图^f象；第一计算模块，用于根据所述生成模块生成的所述第一法向量紋理图像 和所述第一预测模块生成的所述第一预测法向量紋理图像，计算第一法向量 紋理图像的预测残差；第二编码模块，用于对所述第 一计算模块计算出的所述第 一法向量紋理 图#_的预测残差进行编码压缩生成所述预测残差的码流，并输出所述预测残 差的码流。
10、 一种三维网格解码装置，其特征在于，包括解码模块，用于对接收到的图像码流进行解码，根据解码后的数据生成 第二法向量紋理图像的预测残差和第二重构几何图像；第二预测模块，用于由所述解码模块生成的所述第二重构几何图像生成 第二预测法向量紋理图像；第二计算模块，用于根据所述解码模块生成的所述第二法向量紋理图像的预测残差和所述第二预测模块生成的所述第二预测法向量紋理图像，生成 第二法向量紋理图^f象；重构模块，用于根据所述第二计算模块输出的所述第二法向量紋理图像 和所述解码模块输出的所述第二重构几何图像，重构出三维网格。
全文摘要
本发明涉及一种三维网格编码、解码方法及编码、解码装置。编码方法包括以下步骤生成原始几何图像、第一法向量纹理图像；根据所述原始几何图像的码流生成第一预测法向量纹理图像；计算第一法向量纹理图像的预测残差；生成所述预测残差的码流，并输出所述原始几何图像的码流和所述预测残差的码流。编码装置包括生成模块，第一编码模块，第一预测模块，第一计算模块，第二编码模块。其中解码方法和装置分别对应于编码方法和装置。本发明提供的编码、解码方法及编码、解码装置通过几何图像和法向量纹理图像的预测残差重构三维网格，在保证相同码流大小的情况下，提高了三维网格所表现的渲染效果。
文档编号H04N7/26GK101626509SQ20091009115
公开日2010年1月13日 申请日期2009年8月10日 优先权日2009年8月10日
发明者尹宝才, 臻 张, 雯 文, 施云惠 申请人:北京工业大学