专利名称：一种几何图像的处理方法及其装置的制作方法
技术领域：
本发明涉及图像处理技术领域，尤其涉及一种几何图像的处理方法及其装置。
背景技术：
几何物体表面都是由一块曲面、或多块曲面相交而成，研究曲面交集的几何性质对于认识、识别和重构物体极为重要。柔性物体在数字几何媒体中占有很大的比重，如服装和生物医学等数据，如果还是采用主流的连续表示和渐进表示，就没有充分考虑到其自身结构的特殊性，而如果采用参数化模板结合变形技术的表示方法将为后续的编码、传输和检索等带来巨大的便利。数字几何媒体的变形表示，基本思想是将几何媒体分解为模板和参数化的特征 (包括非几何特征，如人的年龄、织物的材质等)，建立各种参数和模板之间的映射，通过修改这些参数变形标准的模板表示具体的几何模型。这种表示已经在三维服装辅助设计、织物缩水预测、人脸合成、医学图像非刚性配准等诸多应用领域起到了重要的作用。大量连续的、离散的、细分渐进的几何数据计算为实时绘制带来了一定的困难，可以用基于图形处理器(Graphic Processing Unit, GPU)的绘制技术来提高绘制效率，几何图像是数字几何媒体编码和传输的基础。几何图像(Geometry Images，GI)作为一种完全规格化的曲面表示形式，相比其它的曲面表示形式如点集、网格等，表现出诸多的应用优势，如方便求解微分方程、可实现硬件绘制以及便于压缩、合成等。生成几何图像的核心技术是如何为任意模型找到一个比较好的切割方法，以及如何构造它们在矩形区域上的低变形的参数化。几何图形压缩和简化方面已有些成果，静态简化算法包括几何元素删除法、顶点聚类法、表面重新划分法、小波分解等；动态简化算法包括细节层次表示法、基于视点的简化方法、渐进网格(Progressive Meshes, PM)法等。现有的基于模型的编码与传输技术包括对象模型知识库的构建、可参数化表示的对象空间及其基底的提取、基于参数化模板和误差控制的对象优化表示模型，研究基于终端条件的动态模型技术。针对具有模板属性的柔性数字几何媒体对象如人脸，具备了可在网格及像素层次上进行对齐和规范化的属性，分析其属性特点；通过规范化、重采样以及对齐处理构建对象数库，并在此基础上，形成对象的优化表示模型；通过统计的方法抽取对象的参数化空间基底。为实现基于网络条件的多分辨率编码与传输，可在基底提取过程中实现基于误差等级的多分辨率模型基设计。对象优化表示模型作为对象码本进行传输；对象的参数化表示与对象的多级优化表示模型结合，可实现对象的动态模型基压缩功能。基于模型的数字几何对象编码流程见图1。自然界中的这些物体在计算机术语中表示为对象，这些都有自己特性的对象，如何才能规范化，怎样才能找出一个模型，按照这个模型对所有对象进行规范化，这是一个很困难的问题，因此基于模型的编码与传输技术不能有效地解决当前的问题；不能有效地针对特定的复杂柔性物体建立具有结构特征(如特征点、特征线、特征面等)的多层次的参数化模型，从而去解决通过少量的参数和必要的特征表示复杂形体的问题；对离散的数字几何数据，尤其是复杂几何结构，如何构造其连续表示没有解决。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种几何图像的处理方法及其装置，可以解决构造离散的数字几何数据尤其是复杂几何结构的连续表示，可通过少量的参数和必要的特征表示复杂形体。为了解决上述问题，本发明提出了一种几何图像的处理方法，所述方法包括对自然界物体进行离散参数化，生成几何图像序列；对所述几何图像序列进行编码和传输； 对所述几何图像序列中的图像进行处理并生成码流。优选地，所述对自然界的物体进行离散参数化，生成几何图像序列的步骤包括获取自然界物体对应的图像；通过图像处理器GPU对所述图像进行网格状处理并获得所述图像相应的网格；对所述网格进行处理并获得处理后的包括几何图像的几何图像序列。优选地，所述对所述网格进行处理并获得处理后的包括几何图像的几何图像序列的步骤包括对所述网格进行简化获得简化后的多分辨率网格；计算所述多分辨率网格对应的几何图像并获得几何图像序列。优选地，所述计算所述多分辨率网格对应的几何图像并获得几何图像序列的步骤包括构造三维网格的低变形的参数化；将高亏格的网格转换为同胚于圆盘的网格或者同胚于球面的网格；对所述同胚于圆盘的网格进行平面参数化并获得三维网格的初始平面参数化网格，或者，对所述同胚于球面的网格进行球面参数化以进行矩形区域上的参数化，并获得三维网格的初始平面参数化网格；对所述三维网格的初始平面参数化网格进行平面网格的离散化插值，以计算规格化几何图像数据；网格的后参数化在原离散参数化网格的基础上进行网格再构造。优选地，所述对所述几何图像序列中的图像进行处理并生成码流的步骤包括对所述几何图像序列中的图像进行码率控制、方向小波变换和帧间预测以生成码流。优选地，所述方向小波变换的步骤包括采用四叉树分割将所述几何图像序列中的图像分成大小不同的块；采用相同方向的方式对同块的像素进行小波变换。相应地，本发明实施例还提供一种几何图像的处理装置，所述处理装置包括图像生成模块，用于对自然界物体进行离散参数化，生成几何图像序列；编码模块，用于对所述图像生成模块所生成的几何图像序列进行编码和传输；处理模块，用于对所述几何图像序列中的图像进行处理并生成码流。优选地，所述图像生成模块包括
获取单元，用于获取自然界物体对应的图像；图像处理器，用于对所述获取模块所获取的图像进行网格状处理并获得所述图像相应的网格；处理单元，用于对所述图像处理器所获得网格进行处理并获得处理后的包括几何图像的几何图像序列。优选地，所述处理单元包括简化子单元，用于对所述网格进行简化获得简化后的多分辨率网格；计算子单元，用于计算所述简化子单元所获得的多分辨率网格对应的几何图像并获得几何图像序列。优选地，所述处理模块还用于对所述几何图像序列中的图像进行码率控制、方向小波变换和帧间预测以生成码流。 实施本发明实施例的方法及装置，可以解决构造离散的数字几何数据尤其是复杂几何结构的连续表示；并解决了显示和隐式样条表示复杂数据的拟合问题；同时针对特定的参数化模型，建立具有结构特征的多层次的参数化模型，可通过少量的参数和必要的特征表示复杂形体；针对三维几何模型几何图像的生成，实现了高亏格几何模型的切割和缝合及构造快速的低变形平面参数化。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1是现有技术中基于模型的数字几何对象编码流程的示意图；图2是本发明实施例的几何图像处理方法的流程示意图；图3是本发明实施例的基于几何图像的编码和传输的整体框架的示意图；图4是本发明实施例的计算基础网格对应的几何图像的流程示意图；图5是本发明实施例的使用后参数化策略对后续较高分辨率网格生成几何图像的流程示意图；图6是本发明实施例的基于方向小波变换的基础网格压缩的过程示意图；图7是本发明实施例的几何图像处理装置的结构组成示意图。
具体实施例方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。图2是本发明实施例的几何图像处理方法的流程示意图，如图2所示，该方法包括S201，对自然界物体进行离散参数化，生成几何图像序列；
S202，对几何图像序列进行编码和传输；S203，对几何图像序列中的图像进行处理并生成码流。在本发明实施例中，关于数字几何图像的编码和传输，首先需要获取其几何图像， 也就是需要对模型的基础网格做参数化，以生成几何图像，然后再对几何图像进行编码和传输。在该方法的处理过程中主要有两个大的方面需要注意。其一，在图像的压缩方面， 三维几何模型表面通常是弯曲相当的复杂、有一定的亏格，并且定义在模型表面的各种属性(包括顶点位置坐标、法向量和颜色等)都是非规则采样，这使得经典的正交分析工具无法被直接用来处理3D几何信号，这里就使用到三维几何模型的几何图像的生成方法，其中包括高亏格模型的切割和缝合，几何模型的平面参数化、球面参数化等算法。其二，在几何图像的编码方面，多分辨率网格对应的几何图像可按照分辨率递增顺序合成为几何图像序列。图3示出了本发明实施例的基于几何图像的编码和传输的整体框架的示意图，如图3所示，在图像的处理过程中，需要对自然界的物体进行离散参数化，生成几何图像序列，再对几何图像序列进行编码和传输，最后对图像进行码率控制、方向小波变换和帧间预测，从而生成码流。实施本发明实施例的方法，可以解决构造离散的数字几何数据尤其是复杂几何结构的连续表示；并解决了显示和隐式样条表示复杂数据的拟合问题；同时针对特定的参数化模型，建立具有结构特征(如特征点、特征线、特征面等)的多层次的参数化模型，可通过少量的参数和必要的特征表示复杂形体；针对三维几何模型几何图像的生成，实现了高亏格几何模型的切割和缝合及构造快速的低变形平面参数化。进一步地，S201包括获取自然界物体对应的图像；通过GPU对图像进行网格状处理并获得图像相应的网格；对网格进行处理并获得处理后的包括几何图像的几何图像序列。其中，对网格进行处理并获得处理后的包括几何图像的几何图像序列的步骤包括对网格进行简化获得简化后的多分辨率网格；计算多分辨率网格对应的几何图像并获得几何图像序列。具体实施中，由模型的原始空间网格开始，经由网格简化方法可构成模型的多分辨率网格，其中的最简化网格被称为基础网格。计算基础网格对应的几何图像的关键环节有两个，一是基于蝶形细分及重采样策略的三维网格比对及调整，一是调整后网格的后参数化。其中，计算多分辨率网格对应的几何图像并获得几何图像序列的过程包括以下步骤构造三维网格的低变形的参数化；将高亏格的网格转换为同胚于圆盘的网格或者同胚于球面的网格；对同胚于圆盘的网格进行平面参数化并获得三维网格的初始平面参数化网格，或者，对同胚于球面的网格进行球面参数化以进行矩形区域上的参数化，并获得三维网格的初始平面参数化网格；
对三维网格的初始平面参数化网格进行平面网格的离散化插值，以计算规格化几何图像数据；网格的后参数化在原离散参数化网格的基础上进行网格再构造。图4是本发明实施例的计算基础网格对应的几何图像的流程示意图，下面结合图 4对该过程进行说明。该过程可包括以下步骤步骤1，构造三维网格的低变形的参数化；步骤2，借助对网格模型的几何特征进行分析，或者利用泊松方程以及调和标量场来得网格模型的临界点进行切割，将高亏格的网格转换为同胚于圆盘的网格或者同胚于球面的网格；步骤3，对于同胚于圆盘的网格，采用拟调和映射或者最小化拉伸度量的方法快速生成低变形的平面参数化；步骤4，对于同胚于球面的网格，利用几何对称性质对其进行分割，将球面参数化问题转化为平面问题，再采用拟调和映射或者最小化拉伸度量的方法快速生成低变形的球面参数化，进而得到矩形区域上的参数化；步骤5，得到三维网格的初始平面参数化网格后，再以此为基础进行平面网格的离散化插值，以计算规格化几何图像数据；步骤6，网格的后参数化在原离散参数化网格的基础上进行网格再构造。后参数化的结果再作为当前平面网格进行新一轮的重构与比对，直至重构网格满足精度要求或者重构——比对循环满足指定的折中条件。考虑到基础网格的极简性质，线性插值的默认插值条件点分布足够密集从而使插值网格局部的形状可近似为线性的这一条件的满足程度极低。因此，有必要对插值后的网格点进行基于蝶形细分及重采样策略的三维网格比对及调整，以保证重构精度。生成基础网格对应的几何图像之后，可使用后参数化策略对后续较高分辨率网格进行离散参数化，生成其对应的几何图像。其流程如图5所示。在生成基础网格对应的几何图像的基础上，可使用后参数化策略对后续较高分辨率网格进行离散参数化，生成其对应的几何图像。使用该策略可在提高几何图像生成效率的同时，保证重构网格在显示上的视觉稳定性。各几何图像经过必要的几何拉伸后，可构造出满足视频序列基本性质的几何序列，便于进行后续的压缩处理。具体实施例中，S203包括对几何图像序列中的图像进行码率控制、方向小波变换和帧间预测以生成码流。上述方向小波变换的步骤包括采用四叉树分割将几何图像序列中的图像分成大小不同的块；采用相同方向的方式对同块的像素进行小波变换。处理成几何图像后，在对几何图像序列进行编码的过程中主要采用了基于方向小波变换编码。基于方向小波变换编码，采用四叉树分割将几何图像分成大小不同的块，同块的像素采用相同方向进行小波变换，并结合基础网格生成的几何图像的特点及人的视觉系统的选择特性，对相适应的小波基及提升技术、方向插值和率失真优化等技术进行分析。拟在分析小波基的正交性、支撑区间、正则性等性质的基础上，结合实验自适应选取与几何图像特性相适应的小波基，并采用提升小波变换实现同址和快速运算，提高效率。图像插值是方向小波变换的关键，拟采用方向插值提高预测的精度。图像分割越精细，方向选择的自由度越大，则方向预测越精准，但需要更多的比特描述四叉树及方向信息。为平衡四叉树代价和方向分割精度，利用四叉树剪枝算法进行率失真优化，同时要保证对感兴趣区域采用高精度插值技术，得到更精细的分割和更多的方向选择，以满足人的视觉系统的选择性。为了使码流与JPEG2000兼容，采用EBCOT技术组织量化后的系数，完成后续编码。 并采用ROI技术，使ROI被优先解码，得到更高重建质量。基于方向小波变换的基础网格压缩的过程如图6所示。另外，本发明实施例所涉及的码率控制过程可以采用基于率失真优化的码率控制算法。其详细的算法过程为将率失真优化与码率控制结合起来，针对几何序列的实际应用，从分析经典的P (零系数的百分比)域的率模型出发，充分挖掘几何序列时空相关性， 结合几何序列实验数据分析结果，建立更为精的P域的率模型。在此基础上，采用分片逼近的方法建立失真与P的关系模型，即基于P域的率失真模型。为了满足人的视觉选择性，将几何图像分为感性区域和背景区域多个对象，通过引入失真权值方式对每个对象建立基于对象的P域率失真模型，并将码率控制问题与基于对象的P域率失真模型优化问题结合起来，应用拉格朗日乘子法获得最优比特分配方案。编码过程中根据图像的复杂度和缓冲区状态为每帧几何图像分配目标比特数，然后采用率失真模型，在对象级上进行最优比特分配和量化参数调整以产生所需要的编码码流。图7是本发明实施例的几何图像处理装置的结构组成示意图，如图7所示，该处理装置包括图像生成模块70，用于对自然界物体进行离散参数化，生成几何图像序列；编码模块71，用于对图像生成模块70所生成的几何图像序列进行编码和传输；处理模块72，用于对几何图像序列中的图像进行处理并生成码流。进一步地，图像生成模块70包括获取单元，用于获取自然界物体对应的图像；图像处理器，用于对获取模块所获取的图像进行网格状处理并获得图像相应的网格；处理单元，用于对图像处理器所获得网格进行处理并获得处理后的包括几何图像的几何图像序列。上述处理单元包括简化子单元，用于对网格进行简化获得简化后的多分辨率网格；计算子单元，用于计算简化子单元所获得的多分辨率网格对应的几何图像并获得几何图像序列。具体实施中，计算子单元用于构造三维网格的低变形的参数化；将高亏格的网格转换为同胚于圆盘的网格或者同胚于球面的网格；对同胚于圆盘的网格进行平面参数化并获得三维网格的初始平面参数化网格，或者，对同胚于球面的网格进行球面参数化以进行矩形区域上的参数化，并获得三维网格的初始平面参数化网格；对三维网格的初始平面参数化网格进行平面网格的离散化插值，以计算规格化几何图像数据；网格的后参数化在原离散参数化网格的基础上进行网格再构造。处理模块还用于对几何图像序列中的图像进行码率控制、方向小波变换和帧间预测以生成码流。具体实施中，处理模块具体还用于采用四叉树分割将几何图像序列中的图像分成大小不同的块；采用相同方向的方式对同块的像素进行小波变换。本发明实施例的几何图像的处理装置的各模块及单元的功能的实现过程及原理可参见本发明几何图像的处理方法的实施例中的相应过程描述，这里不再赘述。实施本发明实施例的装置，可以解决构造离散的数字几何数据尤其是复杂几何结构的连续表示；并解决了显示和隐式样条表示复杂数据的拟合问题；同时针对特定的参数化模型，建立具有结构特征(如特征点、特征线、特征面等)的多层次的参数化模型，可通过少量的参数和必要的特征表示复杂形体；针对三维几何模型几何图像的生成，实现了高亏格几何模型的切割和缝合及构造快速的低变形平面参数化。本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。另外，以上对本发明实施例所提供的用于兼容逻辑设备访问的代理设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式
及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
权利要求
1.一种几何图像的处理方法，其特征在于，所述方法包括 对自然界物体进行离散参数化，生成几何图像序列；对所述几何图像序列进行编码和传输； 对所述几何图像序列中的图像进行处理并生成码流。
2.如权利要求1所述的几何图像的处理方法，其特征在于，所述对自然界的物体进行离散参数化，生成几何图像序列的步骤包括获取自然界物体对应的图像；通过图像处理器GPU对所述图像进行网格状处理并获得所述图像相应的网格； 对所述网格进行处理并获得处理后的包括几何图像的几何图像序列。
3.如权利要求2所述的几何图像的处理方法，其特征在于，所述对所述网格进行处理并获得处理后的包括几何图像的几何图像序列的步骤包括对所述网格进行简化获得简化后的多分辨率网格； 计算所述多分辨率网格对应的几何图像并获得几何图像序列。
4.如权利要求3所述的几何图像的处理方法，其特征在于，所述计算所述多分辨率网格对应的几何图像并获得几何图像序列的步骤包括构造三维网格的低变形的参数化；将高亏格的网格转换为同胚于圆盘的网格或者同胚于球面的网格； 对所述同胚于圆盘的网格进行平面参数化并获得三维网格的初始平面参数化网格，或者，对所述同胚于球面的网格进行球面参数化以进行矩形区域上的参数化，并获得三维网格的初始平面参数化网格；对所述三维网格的初始平面参数化网格进行平面网格的离散化插值，以计算规格化几何图像数据；网格的后参数化在原离散参数化网格的基础上进行网格再构造。
5.如权利要求1所述的几何图像的处理方法，其特征在于，所述对所述几何图像序列中的图像进行处理并生成码流的步骤包括对所述几何图像序列中的图像进行码率控制、 方向小波变换和帧间预测以生成码流。
6.如权利要求5所述的几何图像的处理方法，其特征在于，所述方向小波变换的步骤包括采用四叉树分割将所述几何图像序列中的图像分成大小不同的块； 采用相同方向的方式对同块的像素进行小波变换。
7.一种几何图像的处理装置，其特征在于，所述处理装置包括图像生成模块，用于对自然界物体进行离散参数化，生成几何图像序列； 编码模块，用于对所述图像生成模块所生成的几何图像序列进行编码和传输； 处理模块，用于对所述几何图像序列中的图像进行处理并生成码流。
8.如权利要求7所述的几何图像的处理装置，其特征在于，所述图像生成模块包括 获取单元，用于获取自然界物体对应的图像；图像处理器，用于对所述获取模块所获取的图像进行网格状处理并获得所述图像相应的网格；处理单元，用于对所述图像处理器所获得网格进行处理并获得处理后的包括几何图像的几何图像序列。
9.如权利要求8所述的几何图像的处理装置，其特征在于，所述处理单元包括 简化子单元，用于对所述网格进行简化获得简化后的多分辨率网格；计算子单元，用于计算所述简化子单元所获得的多分辨率网格对应的几何图像并获得几何图像序列。
10.如权利要求7所述的几何图像的处理装置，其特征在于，所述处理模块还用于对所述几何图像序列中的图像进行码率控制、方向小波变换和帧间预测以生成码流。
全文摘要
本发明实施例公开了一种几何图像的处理方法及其装置，其中，该方法包括对自然界物体进行离散参数化，生成几何图像序列；对所述几何图像序列对所述几何图像序列进行编码和传输；对所述几何图像序列中的图像进行处理并生成码流。实施本发明实施例的方法及装置，可以解决构造离散的数字几何数据尤其是复杂几何结构的连续表示；并解决了显示和隐式样条表示复杂数据的拟合问题；同时针对特定的参数化模型，建立具有结构特征的多层次的参数化模型，可通过少量的参数和必要的特征表示复杂形体；针对三维几何模型几何图像的生成，实现了高亏格几何模型的切割和缝合及构造快速的低变形平面参数化。
文档编号H04N7/24GK102510486SQ20111028528
公开日2012年6月20日 申请日期2011年9月23日 优先权日2011年9月23日
发明者孟思明, 王若梅, 詹勇 申请人:中山大学