用于压缩三维模型的纹理信息的方法及装置制造方法
【专利摘要】可以使用“图案-实例”表示对3D模型进行建模。为了描述顶点和三角形，实例的性质(例如，纹理、色彩和法线)被调整成与图案中的次序相对应。根据实例的纹理与对应图案的纹理之间的相似性，对实例的纹理进行编码。当实例纹理与图案纹理相同或者几乎相同时，不对实例纹理进行编码，并且将使用图案纹理重建实例纹理。当实例纹理与图案纹理相似时，根据图案纹理对实例纹理进行预测性的编码，即，对实例纹理与图案纹理之间的差分进行编码，并且将实例纹理确定为图案纹理与该差分的结合。
【专利说明】用于压缩三维模型的纹理信息的方法及装置
[0001] 本专利申请要求于2012年1月21日提交的中国PCT专利申请第PCT/ CN2012/070703号以及于2012年4月19日提交的中国PCT专利申请第PCT/CN2012/074356 的优先权，并通过引用将其全部内容并入本文。
【技术领域】
[0002] 本发明涉及一种用于产生代表3D模型的比特流的方法和装置以及一种对该者进 行解码的方法和装置。
【背景技术】
[0003] 在实际的应用中，很多3D模型由大量的连通成分组成。如图1所示，这些多成分 3D模型通常在不同的变换中包含很多重复结构。
[0004] 已知利用输入模型中的重复结构的多成分3D模型的压缩算法。发现不同的位置、 方向以及缩放因子的3D模型的重复结构。然后，将3D模型组织成"图案-实例"表示。图 案用于表示对应的重复结构的有代表性的几何形状。将属于一个重复结构的成分记为对应 的图案的实例，并且可以通过图案ID和变换信息（例如，关于图案的反射、平移、旋转以及 可行缩放）来表示。例如，可以将实例变换信息组织成反射部分、平移部分、旋转部分以及 可行缩放部分。可能存在不重复的3D模型的一些成分，将其称为唯一成分。
[0005] 标题为〈〈Efficient compression scheme for large3D engineering models)) (PCT/EP10/058048,律师案卷号 PA090039)的 K. Cai、Y. Jin 和 Z. Chen 共同拥有的 PCT 申请 (通过引用将其教导具体地并入本文）公开了一种用于具有在不同的位置、缩放和方向上 重复的几何特征的3D模型的压缩方法。
[0006] 标题为《Bitstream syntax and semantics of repetitive structure discovery based3D model compression algorithm》（PCT/CN2011/076991，律师案卷号 PA110044)的K. Cai、W. Jiang和J. Tian的另一共同拥有的PCT申请（通过引用将其教导 具体地并入本文）公开了两种用于压缩实例变换信息的模式。
[0007] 标题为〈〈Method and apparatus for generating a bitstream of repetitive structure discovery based3D model compression》（PCT/CN2〇ll/〇82942,律师案卷号 PA110067)的Κ· Cai、W. Jiang和J. Tian的另一共同拥有的PCT申请（通过引用将其教导 具体地并入本文）公开了两种实例压缩模式，即基本实例数据模式和分组实例数据模式。
[0008] 标题为〈〈System and method for error controllable repetitive structure discovery based compression》（PCT/CN2012/070877,律师案卷号 PA120001)的 K.Cai、 W. Jiang和T. Luo的另一共同拥有的PCT申请（通过引用将其教导具体地并入本文）公开 了一种用于识别3D模型中的重复结构以减少实例成分中的冗余从而提高压缩效率的方法 及装置。
【发明内容】
[0009] 本原理提供一种用于对表示3D模型的比特流进行解码的方法，该方法包含以下 步骤：根据所述比特流来确定图案的实例是否使用所述图案的性质，其中，所述图案与所述 3D模型的结构相关联，所述实例被表示为所述图案的变换；以及，响应于所述图案的性质 来确定所述实例的性质，其中，所述实例的性质对应于如下所述的纹理、纹理坐标、色彩以 及法线之一。本原理还提供了一种用于实施这些步骤的装置。
[0010] 本原理还提供了一种用于产生表示3D模型的比特流的方法，该方法包含以下步 骤：存取图案的实例，其中，所述图案与所述3D模型的结构相关联，并且所述实例被表示为 所述图案的变换；以及，在所述比特流中指示是否使用所述图案的性质对所述实例的性质 进行了编码，其中，所述实例的性质对应于如下所述的纹理、纹理坐标、色彩以及法线之一。 本原理还提供了一种用于实施这些步骤的装置。
[0011] 本原理还提供了一种用于产生表示3D模型的比特流的方法，该方法包含以下步 骤：确定与结构相关联的图案中的第一面中的顶点的次序；存取多个性质集，其中，所述多 个性质集中的每个性质集都与所述图案的实例中的第二面中的对应的顶点相关联；以及， 响应于如下所述的所确定的次序来对所述多个性质集排序。本原理还提供了一种用于实施 这些步骤的装置。
[0012] 本原理还提供了一种计算机可读存储介质，其上存储用于根据上述方法产生或者 解码比特流的指令。
[0013] 本原理还提供了一种计算机可读存储介质，其上存储根据上述方法产生的比特 流。
【专利附图】
【附图说明】
[0014] 图1示出具有大量成分和重复结构的示例性的3D模型；
[0015] 图2A是图不图案和实例的图形不例，图2B是图不该图案和实例的纹理图像的图 形示例；
[0016] 图3A是图示不带有实例三角形与图案三角形之间的一对一对应的实例顶点与图 案顶点之间的一对一对应的图形示例，图3B是图示实例相对于图案被翻转的图形示例；
[0017] 图4是图示根据本原理的实施例对3D模型进行编码的示例的流程图；
[0018] 图5A是图示根据本原理的实施例的图案和实例的另一图形示例，图5B是根据本 原理的实施例的调整前的实例的纹理坐标的列表，图5C是根据本原理的实施例的调整后 的实例的纹理坐标的列表。
[0019] 图6A和6B是图示3D模型的纹理图像的两个部分的图形示例；
[0020] 图7是图示根据本原理的实施例确定实例的纹理补片与对应的图案的纹理补片 之间相似性的示例的流程图；
[0021] 图8是图示根据本原理的实施例确定纹理编码模式的示例的流程图；
[0022] 图9是图示根据本原理的实施例对纹理图像进行解码的示例的流程图；
[0023] 图10A是图示根据本原理的实施例的纹理图像的图形示例，图10B和10C是图示 根据本原理的实施例的处理后的纹理图像的图形示例；
[0024] 图11是图示可以与本原理的一种或多种实现方式一起使用的编码器的示例的框 图；
[0025] 图12是图示可以与本原理的一种或多种实现方式一起使用的解码器的示例的框 图；
[0026] 图13是图示可以与本原理的一种或多种实现方式一起使用的数据处理系统的示 例的框图；
[0027] 图14是图示可以与本原理的一种或多种实现方式一起使用的数据处理系统的另 一示例的框图。
【具体实施方式】
[0028] 如图1所示，在3D模型中可能存在很多重复结构。为了高效地对3D模型进行编 码，可以将重复结构组织成图案和实例，其中，例如使用对应图案的图案ID和包含关于平 移、旋转和缩放的信息的变换矩阵将实例表示为对应图案的变换。
[0029] 在通过图案ID和变换矩阵表示实例时，在压缩实例的同时压缩图案ID和变换矩 阵。因此，可以通过图案ID和解码后的变换矩阵来重建实例，S卩，可以将实例重建为通过图 案ID索引的解码后的图案（根据解码后的变换矩阵）的变换。
[0030] 为了表示带纹理的3D模型，可以与几何形状一起传送一个或多个纹理图像。3D模 型的每个面都对应于（多个）纹理图像的某个区域。对每个顶点在（多个）纹理图像中的 对应的坐标进行编码，从而表示该映射关系。
[0031] 因为对纹理进行编码通常比对3D模型的几何形状和连通性进行编码使用更多的 比特，所以优选高效地压缩纹理信息。本原理提供了一种利用重复纹理之间的冗余来高效 地压缩3D模型的纹理信息的方法和装置。
[0032] 图2A例示了示例性的图案201和示例性的实例202。用索引指示每个顶点或面。 例如，该图案中的面240由索引T6指示，其三个顶点由索引V13、V12和V14指示。该实例 中的对应的面245由索引T20指示，其三个顶点由索引V12、V8和V3指示。当该图案和该 实例对齐时，它们基本上是彼此重叠的，此时，我们表示该图案中的面或顶点对应于该实例 中面或顶点，反之亦然。注意：对于图案和实例，用于对应的面或顶点的索引是不同的。图 2B分别例示了图案201和实例202的示例性的纹理图像203和204。
[0033] 可以通过包括所有顶点坐标的顶点表（V0、V1、V2、......）和包括该顶点表中的所 有三角形的顶点索引的三角形表（T0、T1、T2、……）来表示3D模型。而且，每个顶点和三 角形都可以具有一种或多种性质，诸如法线、色彩和纹理坐标。可以将那些顶点性质和三角 形性质附加到对应的表中的顶点和三角形上或者按照该顶点/三角形表中的相同的顶点/ 三角形次序存储在另外的顶点/三角形性质表中。
[0034] 表1例示了包含顶点、纹理坐标、法线和面的定义的示例性的3D网格文件。
[0035] 表 1
[0036]
【权利要求】
1. 一种对表示3D模型的比特流进行解码的方法，该方法包含以下步骤： 根据所述比特流确定（910)图案的实例是否使用所述图案的性质，所述图案与所述3D 模型的结构相关联，并且所述实例被表示为所述图案的变换；以及 响应于所述图案的性质，确定（935,960)所述实例的性质，其中，所述实例的性质对应 于纹理、纹理坐标、色彩以及法线之一。
2. 根据权利要求1所述的方法，还包含以下步骤： 根据所述比特流确定（955)所述实例的性质与所述图案的性质之间的差分，其中，确 定所述实例的性质的步骤还响应于所确定的所述实例的性质与所述图案的性质之间的差 分。
3. -种产生表示3D模型的比特流的方法，该方法包含以下步骤： 存取图案的实例，所述图案与所述3D模型的结构相关联，并且所述实例被表示为所述 图案的变换；以及 在所述比特流中指示（830、835、840)是否使用所述图案的性质对所述实例的性质进 行编码，其中，所述实例的性质对应于纹理、纹理坐标、色彩以及法线之一。
4. 根据权利要求3所述的方法，还包含以下步骤： 确定（785)所述实例的性质与所述图案的性质之间的差分；以及 在所述比特流中指示所述实例的性质与所述图案的性质之间的差分。
5. 根据权利要求3所述的方法，所述实例的性质对应于纹理，还包含以下步骤： 确定（730)所述实例的纹理补片与对应的所述图案的纹理补片之间的相关性；以及 确定是否使用对应的所述图案的纹理补片对所述实例的纹理补片进行编码。
6. 根据权利要求5所述的方法，其中，如果所述实例的纹理补片被确定为与所述对应 的所述图案的纹理补片相同或者几乎相同，则从纹理图像中除去所述实例的纹理补片。
7. 根据权利要求5所述的方法，其中，如果所述实例的纹理补片被确定为与所述对应 的所述图案的纹理补片相同或几乎相同，则使所述实例的纹理补片的内容无效。
8. 根据权利要求5所述的方法，其中，所述实例的纹理补片是对应于所述3D模型上的 一组相邻三角形的纹理图像中的区域。
9. 一种产生表示3D模型的比特流的方法，该方法包含以下步骤： 确定与结构相关联的图案中的第一面中的顶点的次序； 存取多个性质集，其中，所述多个性质集中的每个性质集都与所述图案的实例中的第 二面中的对应的顶点相关联；以及 响应于所确定的次序，对所述多个性质集排序（430)。
10. 根据权利要求9所述的方法，还包含： 确定（430)与所述图案中的第一面相对应的所述实例中的第二面。
11. 根据权利要求9所述的方法，其中，第一多个性质集中的每个性质集都包括纹理坐 标、纹理图像、色彩以及法线之中的至少一项。
12. -种包括用于根据权利要求1至11中任一项产生或解码比特流的部件的装置。
13. -种计算机可读存储介质，其上存储用于根据权利要求1至11中任一项产生或解 码比特流的指令。
14. 一种计算机可读存储介质，其上存储根据权利要求3至11中任一项产生的比特流。
【文档编号】G06T17/00GK104094317SQ201280067669
【公开日】2014年10月8日 申请日期:2012年12月29日 优先权日:2012年1月21日
【发明者】江文斐, 田疆, 蔡康颖, 罗涛 申请人:汤姆逊许可公司