基于三维模型压缩而生成重复性结构发现的比特流的方法和设备的制作方法
【专利摘要】用于生成表示3D模型的比特流的方法和设备，以及用于处理该表示3D模型的比特流的方法和设备。通过使用“模式-实例”表示来建模3D模型，其中，模式是重复性结构的代表性几何结构，而属于重复性结构的连接组件被称为对应模式的实例。在发现重复性结构以及它们的变换和属性之后，本实施例以第一格式或第二格式来准备生成比特流。在第一格式中，模式ID及其关联的变换和属性信息在比特流中被分组在一起，而在第二格式中中，模式ID、变换属性和属性信息根据信息类型而被分组在一起。
【专利说明】基于三维模型压缩而生成重复性结构发现的比特流的方法和设备
【技术领域】
[0001]本发明涉及基于3D模型压缩算法的重复性结构发现的比特流语法和语义，用于生成表示3D模型的比特流的方法和设备，以及用于处理该表示3D模型的比特流的方法和设备。
【背景技术】
[0002]在实际应用中，很多3D模型由大量连接的组件构成。并且这些多向连接的3D模型通常包含以各种变换的重复性结构，如图所示。用于此类3D模型的高效压缩方法应当能够提取存在于重复性结构中的冗余。
[0003]本发明的拥有人还共同拥有K.Cai，Y.Jin和Z.Chen的名为“EfficientCompression Scheme for Large3D Engineering Mode Is，，的 PCT 申请(W02010149492)，该申请教导如下3D模型的压缩方法:其由很多小型到中型的连接组件构成并且具有在各种位置、尺寸和朝向上重复的几何结构特征，其教导通过引用具体地合并于此。此方法发现了在各种位置、朝向和缩放因子上重复的结构。然后，3D模型整理为“模式-实例”的表示。模式是对应重复性结构的代表性几何结构。属于重复性结构的连接组件称为对应模式的实例并由它们的变换表达，即，关于该模式的位置、朝向和可能的缩放因子。实例的朝向用笛卡尔坐标系中的(x0, y0, z0)和(xl, yl, zl)表示的2个正交轴或球坐标系中的(alpha,beta, gamma)来表不。
[0004]本发明的所有人还共同拥有K.Cai, ff.Jing和J.Tian的名为“Bitstream Syntaxand Semantics of Repetitive Structure Discovery Based3D Model CompressionAlgorithm”的PCT申请(PCT/CN2011/076991)，该申请教导用于压缩实例变换数据的两种方法。
【发明内容】
[0005]然而，存在提供可以处理诸如法线、颜色和纹理坐标之类的3D模型属性并可以压缩其变换包括反射变换的实例的方法和设备的需要。
[0006]因此，本原理提供可以用来压缩诸如法线、颜色和纹理坐标之类的3D模型属性并压缩其变换包括反射变换的实例并生成包括此信息的比特流的方法和设备。
[0007]本原理提供用于生成表示3D模型的比特流的方法，包括:访问与关联于一些结构的模式的实例有关的信息，该信息包括与每一个相应模式关联的模式识别符和变换信息；并生成表示实例的比特流，包括以下面描述的第一格式和第二格式之一布置(dispose)在比特流中的模式识别符和模式变换数据。本原理还提供用于执行这些步骤的设备。比特流还可以包括与多个模式关联的信息以及以第一格式和第二格式之一的与该多个模式关联的相应信息。
[0008]本原理还提供用于处理表示3D模型的比特流的方法，包括:确定该比特流是否包括与关联于结构的模式的实例有关的信息，该信息包括以如下描述的第一格式或第二格式的模式识别符和与该模式关联的变换信息；响应于确定步骤访问关联于模式的模式识别符和变换信息；并且解码该模式识别符和该变换信息以生成3D模型数据。本原理还提供用于进行上述步骤的设备。比特流还可以包括与多个模式关联的信息以及以第一格式和第二格式之一的与该多个模式关联的相应信息。
[0009]本原理还提供在其上存储了用于根据上述方法生成或处理比特流的指令的计算机可读存储介质。
[0010]本原理还提供在其上存储了根据上述方法生成的比特流的计算机可读存储介质。【专利附图】
【附图说明】
[0011]图1示出了具有大量连接组件和重复性结构的示例性3D模型；
[0012]图2示出了包括用于根据基于重复性结构发现的压缩算法，A3DMC，来确定比特流的结构的步骤的示例性处理；
[0013]图3示出了与本原理有关的示例性编码器；而
[0014]图4示出了与本原理有关的示例性解码器。
【具体实施方式】 [0015]在重复性结构发现期间仅检查几何结构。一个实例可以或与对应模式共享属性数据或具有其自身的属性数据。如果实例不与模式共享属性，则该实例的属性将被分别压缩。
[0016]实例信息可以被划分为四个部分，反射部分、旋转部分、平移(translation)部分以及可能的缩放部分。该四个部分被分别压缩。
[0017]全部模式被压缩在一起以便于实现更多的比特率节约。在解码期间，模式需要在恢复实例之前彼此分离。
[0018]图3和4示出了适合于实现本原理的各个方面的示例性编码器和解码器。编码器和解码器的细节在 申请人:的共有PCT申请W02010149492和PCT/CN2011/076991中提供，而那里的描述在此通过引用而显式地合并到本申请中。如本领域技术人员将明白的，CODEC可以用硬件、软件或固件以及这些方式的组合来实现，以便对在其中要求这样的3D渲染的各种环境提供灵活性。除其它之外，专用集成电路(ASIC)、可编程阵列逻辑电路、分立半导体电路以及可编程数字信号处理电路、计算机可读介质(易失性或非易失性)可以全部被用来实现本发明。这些均为本发明的可能实现方式的非限制示例，并且本领域技术人员将明白其他实施例也可以是可行的。
[0019]两个实例压缩方式
[0020]尽管我们希望比特流嵌入全部实例数据，但是我们还希望其高效并且解决其中有时比特流尺寸或解码效率或错误恢复最重要的若干应用。
[0021]因而，我们提出如何在比特流中放置(put)模式的一个实例的数据(即，其模式ID、其反射变换部分(F)、其平移变换部分(T)、其旋转变换部分(R)及其缩放变换部分(S))的两个选项，例如，该ID为模式压缩数据流中的模式的实际位置，I对应第一模式，2对应第二模式，…。它们均具有它们的优缺点。
[0022]选项(A)基本实例数据方式(ID、F、T、R、S、ID、F、T、R、S…):使用此方式，一个实例的模式ID、反射变换部分、平移变换部分、旋转变换部分和缩放变换部分在比特流中一起打包(pack)。
[0023]优点:
[0024]?抗误码。解码器可以在丢失一些实例的变换的情况下恢复。
[0025]?在线解码。这意味着实例可以在压缩比特流的实际读取期间逐一解码。不存在等待完成读取整个压缩比特流的需要。
[0026]?更高的编解码速度。
[0027]?编解码不需要缓冲。
[0028]缺点:
[0029]?相对更大的压缩3D模型尺寸。
[0030]选项⑶分组实例数据方式(ID、ID、F、F、T、T、R、R、S、S):使用此方式，信息被基于信息类型分组到一起，即，一个实例的模式ID、反射变换部分、平移变换部分、旋转变换部分和缩放变换部分在比特流中一起打包。
[0031]优点:
[0032]?相对较小的压缩3D模型尺寸。
[0033]缺点:
[0034]?解码器不再抗误码。
[0035]?离线解码。这意味着解码器仅可以在读取整个压缩比特流之后开始解码。
[0036]?较低的编解码速度。
[0037]?缓冲是必要的。
[0038]当前的比特流定义将包括以上两个选项两者。然后，用户可以选择更适于其应用的一个。特定实现可以选择仅实现两个实例数据方式中的一个。对于这种情况，比特流定义将相应地改变。细节请参考“比特流语法和语义”章节。
[0039]因为实例可以具有更大的解码误差，该误差定义为原始组件和从模式以及实例变换中恢复的组件之间的距离，因此比特流的一些数据字段定义为表示压缩实例解码误差以确保解码的3D模型质量。是否压缩实例的解码误差例如基于质量要求。
[0040]实例变换的压缩
[0041]如下所述，实例变换可以划分为四个部分，反射部分(Refle)、旋转部分(Rotat)、平移部分(Transl)、和可能的缩放部分。
[0042]
【权利要求】
1.基本如上所述的方法。
2.基本如上所述的设备。
3.基本如上所述的计算机可读存储。
4.一种用于生成表示3D模型的比特流的方法，包括: 访问与关联于结构的模式的实例有关的信息，所述信息包括与所述模式关联的模式识别符和变换信息；并 生成表示所述实例的比特流，包括以第一格式和第二格式之一布置在比特流中的模式识别符和模式变换数据。
5.如权利要求4所述的方法，其中，所述变换信息包括反射部分、平移部分、旋转部分和缩放部分的至少一个。
6.如权利要求5所述的方法， 包括多个模式和模式信息，其中，所述第一格式包括将模式识别符的每一个及其关联的变换信息分组在一起，而所述第二格式包括根据信息类型将模式识别符分组在一起并将变换信息分组在一起。
7.如权利要求6所述的方法，进一步包括访问与每一个模式关联的属性信息的步骤。
8.如权利要求7所述的方法，其中，所述属性信息包括法线、颜色和纹理坐标的至少一个。
9.如权利要求8所述的方法，其中，所述第一格式包括将模式识别符的每一个及其相应变换信息和属性信息分组在一起，而所述第二格式包括根据信息类型将模式识别符分组在一起并将变换信息和属性信息分组在一起。
10.一种用于生成表示3D模型的比特流的设备，包括: 用于访问与关联于结构的模式的实例有关的信息的部件，所述信息包括与所述模式关联的模式识别符和变换信息；以及 用于生成表示所述实例的比特流的部件，该比特流包括以第一格式和第二格式之一布置在比特流中的模式识别符和模式变换数据。
11.如权利要求10所述的设备，其中，所述变换信息包括反射部分、平移部分、旋转部分和缩放部分的至少一个。
12.如权利要求11所述的设备，其中，所述模式包括多个模式，而所述第一格式包括将模式识别符的每一个及其关联的变换信息分组在一起，而所述第二格式包括根据信息类型将模式识别符分组在一起并将变换信息分组在一起。
13.如权利要求12所述的设备，其中，所述用于访问的部件访问与每一个模式关联的属性信息。
14.如权利要求13所述的设备，其中，所述属性信息包括法线、颜色和纹理坐标的至少一个。
15.如权利要求14所述的设备，其中，所述第一格式包括将模式识别符的每一个及其相应变换信息和属性信息分组在一起，而所述第二格式包括根据信息类型将模式识别符分组在一起并将变换信息和属性信息分组在一起。
16.一种用于处理表示3D模型的比特流的方法，包括: 确定所述比特流是否包括与关联于结构的模式有关的信息，所述信息包括以第一格式或第二格式的模式识别符和与所述模式关联的变换信息；响应于确定步骤访问与所述模式关联的模式识别符和变换信息；并且 解码所述模式识别符和相应的变换信息以生成3D模型数据。
17.如权利要求16所述的方法，其中，所述变换信息包括反射部分、平移部分、旋转部分和缩放部分的至少一个。
18.如权利要求17所述的方法，其中，所述比特流包括多个模式的信息，并且其中，所述第一格式包括分组在一起的模式识别符的每一个及其关联的变换信息，而所述第二格式包括根据信息类型而分组在一起的模式识别符和分组在一起的变换信息。
19.如权利要求18所述的方法，进一步包括访问与每一个模式关联的属性信息的步骤。
20.如权利要求19所述的方法，其中，所述属性信息包括法线、颜色和纹理坐标的至少一个。
21.如权利要求20所述的方法，其中，所述第一格式包括分组在一起的模式识别符的每一个及其相应变换信息和属性信息，而所述第二格式包括根据信息类型而分组在一起的模式识别符和分组在一起的变换信息和属性信息。
22.一种用于处理表示3D模型的比特流的设备，包括: 用于确定所述比特流是否包括与关联于结构的模式有关的信息的部件，所述信息包括以第一格式或第二格式的模式识别符和与所述模式关联的变换信息； 用于响应于确定步骤访问与所述模式关联的模式识别符和变换信息的部件；以及 用于解码所述模式识别符和相应的变换信息以生成3D模型数据的部件。
23.如权利要求22所述的设备，其中，所述变换信息包括反射部分、平移部分、旋转部分和缩放部分的至少一个。
24.如权利要求23所述的设备，其中，所述比特流包括涉及多个模式的信息，并且其中，所述第一格式包括分组在一起的模式识别符的每一个及其关联的变换信息，而所述第二格式包括根据信息类型而分组在一起的模式识别符和分组在一起的变换信息。
25.如权利要求24所述的设备，其中，所述用于访问的部件访问与每一个模式关联的属性信息。
26.如权利要求25所述的设备，其中，所述属性信息包括法线、颜色和纹理坐标的至少一个。
27.如权利要求26所述的方法,其中，所述第一格式包括分组在一起的模式识别符的每一个及其相应变换信息和属性信息，而所述第二格式包括根据信息类型而分组在一起的模式识别符和分组在一起的变换信息和属性信息。
28.—种具有在其上存储了用于根据权利要求4、5、6、7、8、9、16、17、18、19、20或21来生成或处理比特流的指令的计算机可读存储介质。
29.一种具有在其上存储了根据权利要求4、5、6、7、8或9而生成的比特流的计算机可读存储介质。
【文档编号】H04N19/184GK103975593SQ201180074949
【公开日】2014年8月6日 申请日期:2011年11月25日 优先权日:2011年11月25日
【发明者】蔡康颖, 江文斐, 田疆 申请人:汤姆逊许可公司