基于反射对称的三维模型压缩方法以及装置制造方法

基于反射对称的三维模型压缩方法以及装置制造方法
【专利摘要】提供了用于呈现3D图像的编码器和解码器以及编码和解码的方法。通过分析3D图像的成分，以匹配3D图像中的图案的反射以及恢复用于3D图像的进一步呈现的成分来分解3D图像。编码器和解码器利用反射对称的原理有效地匹配图像中的对称点，使得可以用旋转和平移矩阵来描述对称点的特征，从而减少对3D图像中所有的点进行编码和解码的需求并提高计算效率。
【专利说明】基于反射对称的三维模型压缩方法以及装置
【技术领域】
[0001]本发明涉及三维(3D)模型，更具体地，涉及传送使用反射技术(reflectivetechnique)构造旋转和平移矩阵以便呈现3D图像的3D程序中的3D模型。
【背景技术】
[0002]如建筑设计、化工厂以及机械CAD设计等大型3D工程模型正越来越多地被利用在各种虚拟世界应用中，诸如《第二人生》和谷歌地球。在多数的工程模型中，存在大量小型到中型尺寸的连通成分，每个连通成分平均具有多达数百个多边形。另外，这些类型的模型具有多个诸如在图1中所示的会议那样在各个位置、缩放和方向上重复的几何特性。对这些模型典型地必须以3D的形式进行编码、压缩和解码以便创建关于它们想要表示的图像的准确且高效的呈现。这些图像的模型将创建高度互连且经常包含非常复杂的几何图案的图像的3D网格。如本文所用，术语3D模型是指模型本身以及它们想要表示的图像。因此，在本申请的任何部分，可互换地使用术语3D模型和3D图像。
[0003]自20世纪90年代以来提出了很多高效地压缩3D网格的算法。参见例如《Technologies for3D Mesh Compression:A survey》(J.L.Peng、C.S.Kim 以及 C.C.JayKuo, ELSEVIER Journal of Visual Communication and Image Representation,16(6),688-733，2005年)。大多数已有的3D网格压缩算法(诸如Peng等人所示的)对于具有小三角形密集网格的平滑表面效果最好。然而，大型的3D模型(特别是那些在工程制图及设计中使用的模型)通常具有大量连通成分，带有少量大三角形并且经常带有任意的连通性。建筑和机械CAD模型典型地具有多个不平滑的表面，使Peng等人的方法不太适合于3D压缩及呈现。
[0004]另外，大多数早期的3D网格压缩技术分开处理每个连通成分。实际上，可以通过去掉在关于重复的几何特征图案的表示中的冗余来极大地提高编码器性能。已提出了在大型的3D工程模型中自动发现这种重复的几何特性的方法。参见《Compression ofLarge3D Engineering Models using Automatic Discovery of Repeating GeometricFeatures〉〉(D.Shikhare、S.Bhakar 以及S.P.Mudur，6th International Fall Workshop onVision, Modelling and Visuallization (MV2001)，2001 年 11 月 21 日至 23 日，德国斯图加特)。然而，Shikhare等人未提供关于3D工程模型的完整压缩方案。例如,Shikhare等人未提供关于压缩必要的信息以从对应的几何图案恢复连通成分的解决方案。关于3D工程模型通常包含的大尺寸的连通成分的考虑将导致如下不可避免的结论:对于分解以及最终的呈现，这种类型的信息将消耗大量的存储以及大量的计算处理时间。另外，Shikhare等人仅教导了对成分方向进行归一化，因此不适于发现关于不同缩放的重复的特征。
[0005]本发明的所有者共同拥有题目为《Efficient Compression Scheme for Large3DEngineering Models)) (K.Cai> Q.Chen 以及 J.Teng)的 PCT 申请(W02010149492)，该申请教导了一种用于包含多个小型到中型尺寸的连通成分并具有在不同的位置、缩放和方向上重复的几何特征的3D网格的压缩方法，通过引用将该申请的教导具体地并入本文。然而，本发明需要使用相当严格的匹配标准，具有较强的相关性要求，因此该解决方案忽略了许多具有相似的几何特征的成分。
[0006]因此，已有技术忽略图案与作为图案的反射对称的成分之间的相关性。如本文所用，反射对称是指可以与图案的反射很好地相匹配的图案的成分。为了克服现存技术中的这些问题，将匹配标准扩展到反射对称将是有用的，由此可以高效地表示可以通过反射对称变换得到的成分。这在本领域中是迄今为止没有达成的。

【发明内容】

[0007]用根据本发明提供的方法以及装置解决在本领域中的这些及其他问题。本发明提供了编码器和解码器以及编码和解码的方法，其通过匹配在3D图像中的图案的反射以及恢复用于现3D图像的进一步的呈现的成分来分析3D图像的成分。
【专利附图】

【附图说明】
[0008]图1是具有多个重复的特征的示例性的3D模型(“会议室”)；
[0009]图2示出了将要在本发明的编码解码器中使用的优选的编码器；
[0010]图3示出了在本发明的编码解码器中使用的优选的解码器；
[0011]图4A及4B分别是根据本发明对3D图像进行编码和解码的优选的方法的流程图；
[0012]图5A、5B及5C分别图示了图案、图案的旋转和图案的反射。
【具体实施方式】
[0013]在优选的实施例中，分别在图2及图3中示出实现本发明的编码器和解码器(“编码解码器”)。这些编码解码器实现了一种重复结构(旋转和反射)算法，该算法有效地表示包含使用简化的平移、三个欧拉角以及反射标志的反射的变换矩阵。这使得能够简化图案或者一系列的图案以便提供关于图像的有效的3D编码和解码，关于这一点将在下面更详细地说明。
[0014]一般地，3D编码/解码需要处理带有旋转、反射、平移和缩放的量化的重复结构，将其记为“重复结构(旋转&反射&平移&缩放)”。以往，本领域通过应用不能处理反射特性的重复结构(旋转&平移&缩放)分析来处理3D编码/解码。本发明通过应用所关注的重复结构(旋转和反射)处理该问题，利用允许将编码/解码处理减少到重复结构(平移和旋转)分析的对称特性。正如将被本领域的技术人员理解的那样，本发明的编码解码器可以实现为硬件、软件或者固件或者这些形式的结合，以便为各种需要这种3D呈现的环境提供灵活性。专用集成电路(ASIC)、可编程阵列逻辑电路、离散半导体电路以及可编程的数字信号处理电路、计算机可读介质(其中包括暂时性的或者非暂时性的)均可被利用来实现本发明。这些全部都是本发明的可能实现的非限定性的示例，并且本领域的技术人员会理解的是，其他实施例可以是可行的。
[0015]图2示出根据本发明的一个实施例的用于对3D网格模型进行编码的编码器。通过典型地提供对连通成分的识别的三角形横向框(triangle transversal block) 100区分连通成分。归一化框101对每个连通成分进行归一化。在一个实施例中，归一化基于在共同拥有的欧洲专利申请E09305527(公布为EP2261859)中说明的技术，该申请公开了一种对包含一个或多个成分的3D网格模型进行编码的方法。EP2261859的归一化技术(其教导通过引用被具体地并入到本文中)包含以下步骤:对成分确定3D空间中的正交基，其中，对成分的每个顶点分配根据顶点的坐标数据以及属于同一三角形的其他顶点的坐标数据确定的加权；对所述成分的对象坐标系统信息进行编码；相对于世界坐标系统的成分的方向进行归一化；对顶点位置进行量化；以及，对经量化的顶点位置进行编码。本领域的技术人员会理解的是，可以使用其他的归一化技术。本文所述的对编码解码器的先验使用提供了对每个连通成分的方向以及缩放的归一化。
[0016]在图2中，框102匹配经归一化的成分以便发现重复的几何图案，其中，可以使用Shikhare等人的匹配方法。在输入的模型中的每个连通成分通过对应的几何图案的标识符(ID) 130以及用于从几何图案120对其进行重构的变换信息来表示。变换信息122包括聚类的几何图案代表、三个方向轴126以及对应的连通成分的缩放因子128。不传送均值124(亦即，代表几何图案的中心)，但是在解码器重新计算均值。边缘分割编码器(Edgebreakerencoder) 103接收用于进行编码的几何图案120。边缘分割编码/解码这种著名的技术提供了一种对成三角形的表面进行压缩和解压缩的高效的方案。在《ComputationalGeometry:Theory and Applications》(Rossignac&Szymczak, 1999 年 5 月 2 日)中说明了边缘分割算法，通过引用将其教导具体的并入本文。基于KD树的编码器10提供每个连通成分的均值(亦即，中心)，同时在框105具体地进行聚类以产生用于由熵编码器106使用变换信息和均值信息进行最终编码的方向轴信息132和缩放因子信息138。
[0017]同样地，在图3中，解码器从编码器接收经编码的比特流，并首先进行熵解码200，其中，得到数据的不同部分。数据的一个部分被输入到边缘分割解码器201以便得到几何图案232。数据的另外的部分(包括几何图案聚类的表示)被输入到基于KD树的解码器202，该解码器提供每个连通成分的均值234 (亦即中心)。熵解码器200还输出方向轴信息244以及缩放因子信息246。基于KD树的解码器202计算均值234，该均值与其他成分信息(图案ID236、方向轴238以及缩放因子240) —起被传递给复原框242。复原框242使用用于复原经归一化的连通成分的第一框203、用于复原连通成分(包括非重复连通成分)的第二框204以及用于组装连通成分的第三框205来恢复重复成分。在一个实施例中，解码器在恢复每个重复图案的实例之前计算每个重复图案的均值。在更多的框(未在图3中示出)中，从连通成分组装完整的模型。
[0018]根据本发明，可以在编码器的框102中和解码器的框204中实现本发明的重复结构(旋转和反射)技术。如本文所述，这使本发明的编码解码器能够利用本发明的反射对称特性来高效地对图像进行3D网格编码/解码以便进一步呈现。框102和204提供通过匹配3D图像中的图案的反射以及通过在本文中做进一步说明的反射对称技术来恢复图像的连通成分来分析3D图像的成分的功能。
[0019]本发明的编码解码器被设计成基于反射对称的新构思来高效地压缩3D模型。在发明人发现的反射对称技术中，编码解码器检查图像的成分是否匹配图像中的图案的反射。这样，去掉了编码冗余并以更小的计算复杂度达成更大的压缩。本发明的编码解码器不需要成分完全匹配图像中的图案或图像中的图案的反射。
[0020]根据本发明的反射对称以三种宽泛的非限定性的方式达成3D熵编码/解码处理。第一，编码解码器尝试将3D模型的成分与图案的反射以及图案本身相匹配。第二，从图案到所匹配的成分的变换被分解成平移、旋转以及对称/重复标志，其中，用欧拉角表示旋转。第三，提前检查每个图案的对称性以确定是否有必要实现反射对称检测。如果图案本身是对称的，则节省了反射对称检测的复杂度成本以及对称/重复标志的位成本。
[0021]现在参考图4A，正如将更详细地论述的那样，根据本发明的对3D图像进行编码的方法开始于步骤206。在步骤208开始对成分进行与任何图案的匹配，并且在步骤210首先确定是否有任何成分匹配图像中的任何图案。若是，则在步骤212产生旋转矩阵并且将反射标志设置为“0”，并且在步骤214确定图案匹配成分，从而方法可以在步骤216停止。
[0022]如果在步骤210确定成分不匹配任何图案，则在步骤218产生成分的反射，并且在220再次进行根据本发明的匹配。然后在步骤222，确定是否有任何图案匹配成分的反射。如果否，则在步骤226没有匹配是可能的，方法在步骤216停止。如果是，则在步骤224产生旋转矩阵，并且将反射标志设置为“I”。在步骤214确定为匹配，方法在步骤216停止。应当理解的是，该处理可以对多个成分进行，这对于对复杂的3D图像进行编码是有必要的。
[0023]到此，带有3D图像参数的比特流已被编码并被发送给图4B的解码器。在步骤230接收了带有图案数据的比特流，并且在步骤232对数据进行熵解码以产生在步骤234的被存储在存储器中的数据的图案集。熵解码步骤232还分解在步骤236的包括旋转数据、平移数据、缩放数据、图案ID以及被设置为I或O的反射标志的变换信息。
[0024]然后在步骤238确定反射标志是否被设置为I。如果否，则该标志为0，并且在步骤242使用成分重构图案。然后在步骤244确定是否在图案中存在其他的成分要被匹配和重构，如果否，则该方法在步骤248停止。如果是，则在步骤246利用下一个成分，并且处理从步骤236重复。
[0025]如果在步骤238反射标志是1，则在步骤240使用成分重构图案的反射，并且方法继续到步骤244。在步骤244确定是否存在与前面一样的其他成分，如果否，则该方法在步骤248停止。否则，在步骤246利用下一个成分，并且方法从步骤236重复。到此，根据本发明通过反射对称对3D图像进行了完全的重构，这在以往的技术中是没有达成的。
[0026]为了实现如关于图4A及图4B的流程图的方法所阐述的本发明的反射对称发现，现在参考图5C，将重复结构定义为可以通过图案的旋转和平移得到的成分。当检测出这样的成分时，例如在上面参考的W02010149492中以及先前由图2的编码器和图3的解码器完成的那样，用平移矢量、旋转矩阵以及图案ID而不是实际的几何信息来表示它们。不幸的是，这需要重复结构严格匹配图案，这意味着不能表示如图5B所示的反射图案的成分。然而，由于图5B中的成分与图5A中的图案几乎完全相同，所以对图5B的几何图形进行重新编码在计算上是重复的，并且因此伴随着高昂代价。
[0027]为了减少这种不必要的计算复杂度和代价，发明人发现可以通过图案的反射而不是单独的旋转和/或平移来得到这些成分。这通过用nX3的矩阵表示图案的顶点或候选成分来达成，其中，每个列表示顶点，η是顶点的数量。为了简化，不考虑成分的平移矢量，亦即，将所有的下述成分都平移到原点，尽管本领域的技术人员会理解的是，除此之外可以使用参考帧原点并且在这种情况下点的平移将是有必要的。无论是哪种可能均在本发明的范围内。[0028]假设图案是
【权利要求】
1.一种对3D图像进行解码的方法，包含以下步骤: 对接收的包含图像的3D成分的比特流的成分进行解码以得到所述3D图像的图案集； 将所述成分分解成图案的平移、旋转和反射信息； 检查参数以确定所述图案是否可以被匹配到所述成分；以及 使用所述成分和所述图案集通过所述图案的经解码的旋转矩阵重构所述图像。
2.如权利要求1所述的方法，还包含当所述参数被设置成使得所述图案不匹配所述成分时使用所述图案的反射来重构3D模型的步骤，其中，所述分解步骤还包含在所述图像图案中产生多个反射点以描述所匹配的成分的特征的步骤。
3.如权利要求2所述的方法，还包含当所述图案匹配所述成分时，或者当所述反射匹配所述成分时得到旋转矩阵的步骤。
4.如权利要求3所述的方法，其中，所述解码步骤包含对所述成分进行熵解码的步骤。
5.如权利要求4所述的方法，还包含增加用于进一步图案匹配的成分直至所有的成分均被匹配为止的步骤。
6.如权利要求5所述的方法，其中，所述反射信息包含反射标志。
7.如权利要求6所述的方法，还包含检查所述反射标志以确定所述图案是否匹配所述成分或者所述图案的反射是否匹配所述成分的步骤。
8.一种用于对3D图像进行解码的解码器，包含用于通过匹配在所述3D图像中的图案的反射以及恢复用于所述3D图像的进一步呈现的成分来分析所述3D图像的成分的电路。
9.如权利要求8所述的解码器，其中，所述电路还包含用于将所匹配的分成分解成平移、变换、缩放以及反射成分的电路系统。
10.如权利要求9所述的解码器，其中，电路还包含用于确定所述图案是否匹配所述成分，或者所述图案的反射是否匹配所述成分的电路系统。
11.如权利要求10所述的解码器，其中，所述分解电路系统还包含用于分解旋转矩阵以得到变换、旋转、缩放以及对称成分的电路系统。
12.如权利要求11所述的解码器，其中，所述对称成分包含反射标志。
13.—种对3D图像进行编码的方法，包含以下步骤: 对所述3D图像进行编码以得到表示所述3D图像的成分的至少一个图案； 对于所述3D图像的每个成分，将所述成分与所述图案相比较以确定所述成分是否匹配所述图案； 当所述成分匹配所述图案时，对涉及所述成分的参数进行编码以得到经编码表示的成分；以及 将反射标志设置为指示所述图案匹配所述成分的值。
14.如权利要求13所述的方法，其中对参数进行编码的步骤包含产生变换矩阵以得到涉及所述图案的平移、旋转和缩放因子的步骤。
15.如权利要求14所述的方法，其中，如果所述图案匹配所述成分，则将所述反射标志设置为O。
16.如权利要求15所述的方法，还包含如果所述图案的反射匹配所述成分则将所述反射标志设置为I的步骤。
17.如权利要求16所述的方法，其中，所述编码步骤包含对所述3D图像进行熵编码。
18.一种用于对3D图像进行编码的编码器，包含: 用于得到表示所述3D图像的成分的至少一个图案的熵编码器； 用于将所述成分与所述图案相比较以确定所述成分是否匹配所述图案的电路系统；以及 用于对涉及所述成分的参数进行编码以得到经编码表示的成分并且将反射标志设置为指示所述图案匹配所述成分的值的电路系统。
19.如权利要求18所述的编码器，其中，用于对参数进行编码的电路系统还包含用于产生变换矩阵以得到涉及所述图案的平移、旋转和缩放因子的电路系统。
20.如权利要求19所述的编码器，还包含用于如果所述图案匹配所述成分则将所述反射标志设置为0，而如果所述图案的反射匹配所述成分则将所述反射标志设置为I的电路系统 。
【文档编号】G06T9/00GK103946893SQ201180075055
【公开日】2014年7月23日 申请日期:2011年11月25日 优先权日:2011年11月25日
【发明者】江文斐, 蔡康颖, 罗涛 申请人:汤姆逊许可公司