为具有重复结构的三维模型编码和解码位流的系统及方法
【专利摘要】通常，3D网格通过三种类型的数据来表示：连接数据、几何数据和性质数据。可以像位流那样表示、发送和/或存储编码3D网格模型。虽然位流嵌入了所有变换数据，但这是有效的，并且可以解决有时位流大小、解码效率或抗错性最重要的几种应用。因此，公开了如何将一个实例的变换数据，即，它的位置、取向和比例因子放入位流中的两种选择。在第一模式中，在位流中一起打包一个实例的位置、取向和可能比例因子。在第二模式中，在位流中按照数据类型一起打包所有实例的变换数据模型，例如，位置、取向或可能比例因子。
【专利说明】为具有重复结构的三维模型编码和解码位流的系统及方法
【技术领域】[0001]本发明涉及基于重复结构寻找的3D (三维)模型压缩算法的位流语法和语义、编码它们的方法和装置以及解码它们的方法和装置。
【背景技术】
[0002]在实际应用中，许多3D模型由大量相连部件组成。并且，如图1所示，这些多连3D模型通常包含在各种变换下的许多重复结构。这种类型的3D模型的有效压缩方法应该能够提取存在于重复结构之中的冗余。
[0003]在2010 年 6 月 9 日提交、发明名称为 “Efficient Compression Scheme forLarge3D Engineering Models (大型3D工程模型的有效压缩方案)”、和转让给ThomsonLicensing (汤姆森特许公司)的W02010149492中提出了利用在输入模型中寻找重复结构的多连3D模型的有效压缩算法，在此通过引用并入其教导。它寻找在各种位置中、在各种取向上以及以各种比例因子重复的结构。然后，将3D模型组织成“模式-实例”表示。模式是相应重复结构的代表性几何形状。属于重复结构的相连部件被叫做相应模式的实例，并通过它们与模式有关的变换，即，位置、取向和可能比例因子来表示。实例的取向通过在笛卡尔坐标系中用(x0，y0，z0)和(xl，yl，zl)表示，或在球形坐标系中用(a，(6, Y)表示的两根正交轴表示。
【发明内容】
[0004]这里公开的是涉及基于重复结构寻找的压缩算法的压缩位流语法和语义，基于重复结构寻找的压缩算法已经被证明比MPEG-3DGC (运动图像专家组-三维图形压缩标准)提供的静态3D模型压缩算法更有效。我们基于重复结构寻找的压缩算法的所公开压缩位流语法和语义可应用于，例如，MPEG (运动图像专家组标准)。
[0005]本发明是有关压缩位流语法和语义的。
[0006]本发明还提供了为具有重复结构的3D模型编码和解码位流的系统及方法。
[0007]利用该方法的装置公开在下面。
[0008]本发明还提供了含有可执行指令，以便使计算机可以执行包含为具有重复结构的3D模型编码和解码位流的相应步骤的方法的计算机可读介质。
【专利附图】
【附图说明】
[0009]图1示出了具有大量相连部件和重复结构的示范性3D模型；
[0010]图2示出了按照本发明处理3DMC压缩位流的结构的方法；
[0011]图3示出了按照本原理的3D模型的示范性编码器；以及
[0012]图4示出了按照本原理的3D模型的示范性解码器。
【具体实施方式】[0013]三维(3D)网格被广泛用在像视频游戏、工程设计、电子商务、虚拟现实、以及建筑和科学可视化那样表示3D对象的各种应用中。通常，它们的原始表示需要巨量数据。但是，为了存储或传输，大多数应用偏爱简洁的3D网格表示。通常，3D网格通过三种类型的数据来表示:连接数据、几何数据和性质数据。连接数据描述顶点之间的相邻关系，几何数据指定顶点地点，以及性质数据指定像法线向量、材质反射率和纹理坐标那样的属性。大多数3D压缩算法分开压缩连接数据和几何数据。几何数据的编码次序由底下连接编码决定。几何数据通常通过三个主要步骤来压缩:量化、预测和统计编码。3D网格性质数据通常以类似方式压缩。
[0014]本发明涉及大型3D工程模型的有效压缩方法。这样的模型往往由几个分区，即所谓的“相连部件”组成。重复几何特征模式的表示中的冗余可以通过将等效(例如，在位置、尺寸标准化之后)的所有相连部件当作一种几何模式的实例来减小。可以聚集等效部件。一个群集可以只指3D模型的一些或所有部件。然后，可以通过相应几何模式(或聚类)的像字母数字标识符那样的标识符和可以从几何模式中重构部件的变换信息表示每个相连部件。这种变换信息可以示范性地包含比例因子、平均(或中心)值、取向轴(或/和分别地，旋转信息)、或移动信息的一种或多种。原则上，还有其他也是可能的。
[0015]可以像位流那样表示、发送和/或存储编码模型。
[0016]虽然我们希望位流嵌入所有变换数据，但我们也希望是有效的，并解决有时位流大小、解码效率或抗错性最重要的几种应用。
[0017]因此，公开了如何将一个实例的变换数据，即，它的位置、取向和比例因子放入位流中的两种选择。它们两者具有它们自己的优势。两者的自适应组合尤其有利。
[0018]选择(A)被叫做分组实例变换模式:当使用这种模式时，在位流中一起打包一个实例的位置、取向和可能比例因子。
[0019]选择(A)的优势是:
[0020]?它是抗错的。可以防止解码器丢失一些实例的变换。
[0021]?在线解码。这意味着可以在读取压缩位流期间逐个解码实例。无需等待到整个压缩位流读取的完成。
[0022]?较高编解码速度。
[0023]?编解码器无需(或只需很小)缓冲区。
[0024]选择(B)被叫做单独实例变换模式:在位流中一起打包所有实例的位置、取向和可能比例因子。换句话说，在位流中分开打包一个实例的位置、取向和可能比例因子。
[0025]选择(B)的优势是:
[0026]?相对于选择(A)压缩3D模型规模较小。
[0027]使用选择(B)的解码器还具有如下特征:
[0028]?解码器是非抗错的。
[0029]?离线解码。这意味着解码器只能在读取了整个压缩位流之后才开始解码。
[0030]?较低编解码速度。
[0031]?缓冲区是必需的。
[0032]我们的位流定义包括上面的两种选择(A)和(B)两者。然后，用户或自动控制器可以选取较好地适合它们的一种或多种应用的那一种。[0033]我们基于重复结构寻找的压缩算法A3DMC的压缩位流的一般结构如图2所示。
[0034]该位流从首标缓冲区(A3DMC_stream_header)开始，该首标缓冲区(A3DMC_stream_header)包含解码压缩流的所有必要信息:在原始模型中是否存在重复结构、用于压缩模式和其它部分(如果有必要)的3D模型压缩方法、在这种位流中使用“分组实例变换模式”还是“单独实例变换模式”、是否存在原始模型未包括在任何重复结构中的一些部分(独特部分)等。
[0035]如果在原始模型中不存在重复结构(repeat_struc_bit!=l),则位流的左部(例如，开头)是使用在A3DMC_stream_header中所指的3D模型压缩方法的压缩输入3D模型。否则，位流中的下一个部分是所有模式的压缩结果。取决于在这种位流中选取了哪种实例变换打包模式，在位流中下一个部分是compr_insta_grouped_data或compr_insta_separate_data。如果在原始3D模型中存在独特部分,则附加compr_uni_part_data。否贝U，该位流结束。
[0036]A3DMC的压缩位流语法和语义将详细说明如下。
[0037]位流语法和语义
[0038]语法功能、类别和描述符的规定
[0039]f(n):使用写入(从左到右)的n个位的固定模式位串。n取决于每个符号的代码长度。
[0040]ec(v):熵编码(例如，算术编码)的语法元素，其包括可能配置符号。
[0041]A3DMC_ stream 类
【权利要求】
1.一种编码或解码代表3D模型的位流的方法，包含如下步骤: 存取与3D模型相联系的多个实例信息，每个实例与相应模式和变换数据相联系；以及 以第一和第二模式之一编码或解码在位流中传输的多个模式信息，其中在第一模式下，逐个实例地以各自实例在位流中分组与每个各自实例相联系的变换信息，在第二模式下，逐种变换信息类型地在位流中分组变换信息。
2.如权利要求1所述的方法，进一步包括使用指示符位来确定在第一模式下还是在第二模式下分组实例信息的步骤。
3.如权利要求2所述的方法，其中变换数据的类型包括位置、取向和比例因子数据的一种或多种。
4.如权利要求3所述的方法，进一步包含编码或解码与接在实例信息后面的3D模型的独特部分有关的数据的步骤。
5.如权利要求3所述的方法，其中使用第一和第二模式的自适应组合编码或解码位流，其中使用第一模式编码或解码实例信息的所选几个，以及使用第二模式编码或解码实例信息的所选其它几个。
6.一种编码代表3D模型的位流的编码器，包含: 在包括模式、和与各自模式和变换数据相联系的实例的3D模型中寻找重复结构的模块；以及 以第一和第二模式之一编 码位流中的实例信息的模块，其中在第一模式下，逐个实例地以各自实例在位流中分组与每个各自实例相联系的变换信息，在第二模式下，逐种变换信息类型地在位流中分组变换信息。
7.如权利要求6所述的方法，其中用于编码的模块包括确定在第一模式下还是在第二模式下分组实例信息的指示符位。
8.如权利要求7所述的方法，其中变换数据的类型包括位置、取向和比例因子数据的一种或多种。
9.如权利要求8所述的方法，其中用于编码的模块进一步包括与接在实例信息后面的3D模型的独特部分有关的数据。
10.如权利要求8所述的方法，其中用于编码的模块使用第一和第二模式的自适应组合编码位流，其中使用第一模式编码或解码实例信息的所选几个，以及使用第二模式编码或解码实例信息的所选其它几个。
11.一种解码代表3D模型的位流的解码器，包含: 访问包括与相应模式和变换数据相联系的实例信息的位流的模块；以及 以第一和第二模式之一解码位流中的实例信息的模块，其中在第一模式下，逐个实例地以各自实例在位流中分组与每个各自实例相联系的变换信息，在第二模式下，逐种变换信息类型地在位流中分组变换信息。
12.如权利要求11所述的方法，其中用于解码的模块根据指示符位确定在第一模式下还是在第二模式下分组实例信息。
13.如权利要求12所述的方法，其中变换数据的类型包括位置、取向和比例因子数据。
14.如权利要求13所述的方法，其中用于解码的模块进一步解码与接在实例信息后面的3D模型的独特部分有关的数据。
15.如权利要求13所述的方法，其中用于解码的模块使用第一和第二模式的自适应组合解码位流，其中使用第一模式编码或解码实例信息的所选几个，以及使用第二模式编码或解码实例信息的所选其它几个。
16.一种存储在有形介质中的代表3D模型的位流，包含: 与相应模式和变换数据相联系的实例信息； 该实例信息以第一和第二模式之一包括在该位流中，其中在第一模式下，逐个实例地以各自实例在位流中分组与每个各自实例相联系的变换信息，在第二模式下，逐种变换信息类型地在位流中分组变换信息。
17.如权利要求16所述的方法，其中该位流包括指示在第一模式下还是在第二模式下分组实例信息的指示符位。
18.如权利要求17所述的方法，其中变换数据的类型包括位置、取向和比例因子数据。
19.如权利要求18所述的方法，其中该位流进一步包括与接在实例信息后面的3D模型的独特部分有关的数据。
20.如权利要求18所述的方法，其中该位流包括第一和第二模式的自适应组合，其中使用第一模式编码或解码实例信息的所选几个，以及使用第二模式编码或解码实例信息的所选其它几个。`
【文档编号】G06T17/20GK103688548SQ201280033913
【公开日】2014年3月26日 申请日期:2012年7月6日 优先权日:2011年7月8日
【发明者】蔡康颖, 江文斐, 田疆 申请人:汤姆逊许可公司