专利名称：基于基元重组的纹理设计与合成方法
技术领域：
本发明涉及一种纹理设计与合成方法，尤其是涉及一种基于基元重组的纹理设计与合成方法。
背景技术：
在计算机视觉和计算机图形学中，纹理是增强物体表面细节的重要手段。在绘制大规模且复杂场景时，通常需要丰富的纹理来增强场景的真实感。然而，由于采样区域的局限性，所获取的纹理样图通常为小块纹理，难以满足绘制的需求。为此，必须进行大量纹理的生成。目前，最常用的纹理生成技术包括过程纹理合成和基于样本的纹理合成。过程纹理合成是一种非常重要的纹理生成技术，通过对纹理的生成过程进行模拟从而产生新的纹理。过程纹理合成效果很好，可以获得非常逼真的纹理，但不足之处在于对每一类新的纹理，需要调整参数和反复测试，非常不便，有的甚至无法得到有效的参数。这些缺点降低了过程纹理合成技术的实用性，使得它只适用于非常有限类别的纹理。基于样本的纹理合成是另一种非常重要的纹理生成技术，它根据用户给定的样本纹理，自动生成一个视觉上与之相似的新纹理。基于样图的纹理合成技术避免了过程纹理合成参数调整的繁琐。这类方法又包括基于像素点的纹理合成和基于块的纹理合成。基于像素点的纹理合成对于随机纹理能产生较好的合成效果，而对于那些结构性较强的规则/近似规则纹理，合成效果较不理想。此外，由于穷尽的匹配点搜索方式，合成效率非常低。基于块的样图纹理合成利用纹理邻域的相关性能够达到较好的合成效果，而且加快了纹理合成速度，扩大了纹理的应用范围。然而，现有基于样本的纹理合成是一个无用户干预的全自动合成过程，还不足以通过控制纹理特征的分布、位置和形状等信息，使得合成过程达到实时的要求且产生多样的输出结果。因此，还需要一些方法来改进现有的纹理合成技术。基元(Texel)是构成纹理图像的基本纹理元素，每个基元是相互独立的且具有有限空间范围的个体单元。基元不同于纹理图像中的单个像素点，或者纹理子块，主要的特点是基元具有完整的结构特征。通过对基元进行操作与控制，一方面可以提高纹理合成的效率；另一方面可以产生多种多样的新纹理且保持合成纹理中结构特征的一致性。现有的基于样本的合成技术对基元的抽取和控制方法甚少涉及，即使涉及，也是基于样本的参照信息，如基元在样本中的分布和类别等。由于需要假定所给样本纹理中存在可利用的参照信息，这使得合成的输出结果通常是单一的。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于基元重组的纹理设计与合成方法。本发明的目的可以通过以下技术方案来实现一种基于基元重组的纹理设计与合成方法，其特征在于，包括以下步骤1)基元抽取；
2)基元分类；3)基元分布生成；4)基元放置与变形；5)后处理。所述的步骤1)基元抽取具体为11)针对给定的样本纹理图像，首先采用传统的伽柏小波变换对样本纹理图像中的纹理特征进行分析；12)然后采用基于纹理特征连续性的水平集方法对样本纹理图像进行分割，从而获得单个的纹理基元。所述的步骤2、基元分类具体为21)对于已抽取的基元，首先获取每一个基元的边界轮廓点；22)其次，采用基于形状上下文的描述子描述每一基元轮廓点的分布情况，通过量化获得这些轮廓点的特征向量；23)最后，利用这些量化信息，通过比较基元之间的轮廓差异，对所有已抽取基元进行分类；所述的步骤幻基元分布生成具体为用户利用简笔画的方式自定义纹理的生成模式，以该模式为基元的初始分布，按照生成模式中提供的生成规则逐一扩展基元的分布，从而在待合成纹理中计算基元的位置以及分配相应的基元类别属性。所述的基元放置与变形具体为41)在待合成纹理中，根据每一个位置及其相应的类别信息在已抽取基元中为这些位置点选择具有相同类别的最佳匹配基元；42)如果待合成纹理是空白画布时，则采用直接覆盖的方法将所选最佳匹配基元放置在每一个位置上；此时，采用基于图分割的拼接方法处理基元之间的重叠区域；若待合成纹理是具有背景模式的画布时，则采用基于均值坐标的图像融合方法放置所有最佳匹配基元。所述的步骤5)后处理具体为针对在基元放置过程中产生的过分重叠和较大的空洞，采用TPS变形技术改变基元的形状；如果在待合成纹理中仍然存在空洞，则采用基于样例的图像修补方法填补这些空洞。所述的基元抽取将样本纹理中得所有具有封闭边界的基元抽取出来，因而在纹理设计与合成过程中仅需要使用这些抽取的基元，样本纹理将不再使用。所述的简笔画分为两类，第一类简笔画描述基元的规则分布，第二类简笔描述基元的随机分布第一类简笔画中除了需要定义左右生成模式和上下生成模式之外，当该类简笔画中有多类基元时，需要用户指定简笔画中基元的类别，以及给定不同类别基元之间的排列顺序；第二类简笔画中点的总个数由用户根据给定画布的大小给定，点的数目决定了基元分布的稠密程度。
使用第二类简笔画产生基元分布，在对基元位置进行调整过程中需要参照样本的基元分布，且新生成的基元分布中的基元邻域与参照样本纹理的基元分布中的基元邻域之间通过邻域比较方法进行具体相似性判定度量。用TPS变形技术改变基元的形状，从而避免产生过分重叠和较大的空洞，使得新纹理中基元之间的结构是连续的。与现有技术相比，本发明具有以下优点本发明从给定的样本纹理图像中进行一次基元抽取，之后在纹理设计和合成过程中将不再需要样本纹理的参与；纹理的生成不再依赖于样本纹理提供的参照信息，而是按照一定的生成模式重组已抽取基元及变形基元的方式获得新纹理。这样该发明就很好地解决了纹理合成过程中需要参照样本纹理的问题，通过用户可控的处理方式，从而对现有基于样本纹理的合成方法进行了改进。
图1为本发明详细原理框架图；图2为实施例中给定的样本纹理图像；图3为对样本纹理图像中基元抽取的结果；图4为根据第一类简笔画(生成模式)产生的基元分布结果；图5为根据第二类简笔画(生成模式)产生的基元分布结果；图6为根据给定的简笔画产生的多样的纹理设计与合成结果。
具体实施例方式下面结合附图和具体实施例对本发明进行详细说明。实施例按照基于基元重组的纹理设计与合成方案原理框架图1，可以确定纹理设计与合成的详细步骤如下第一步基元抽取初始化，将给定的样本纹理图像转化为灰色图像，然后采用高斯滤波方法对灰度图像进行平滑，去除图像中的噪声。逐行扫描样本纹理图像，对以每一个像素点为中心的子块进行纹理特征分析首先，采用传统的伽柏小波变换(Gabor Wavelet Transform)在多尺度和多方向上进行纹理特征统计，获得变换系数；其次，计算每个尺度及方向上变换系数的均值和标准差。最后，获得每个像素子块对应的纹理特征。在待分割的基元区域内，分别计算初始轮廓上各像素点对应的纹理特征向量和初始轮廓所覆盖区域内的所有像素点对应的纹理特征向量，采用基于纹理模式连续性的水平集图像分割方法，通过判断初始轮廓和传播区域的纹理特征之间的差异，对初始轮廓进行扩张传播。最后，初始轮廓在基元的边界处停止传播，从而分割出该基元。按照以上所述过程，可以抽取出样本纹理中的所有基元。部分已分割的基元如图3所示。第二步基元分类在基元分类过程中，根据基元之间的轮廓差异划分所有已抽取的基元。首先，采用基于形状上下文的描述子(shape context)量化基元的形状特征(该种形状描述子对平移、缩放及旋转变化保持不变性，甚至在几何变形、遮挡等情况下也是稳定的)。选定基元边界上的某一轮廓点，形状上下文描述子能够描述该基元的其余轮廓点相对于当前所选轮廓点的分布。其次，使用该基元的所有轮廓点的特征值组成的特征向量描述该基元的形状。 对于每个基元，按照上述方法获得基元的轮廓特征向量。最后，通过两两比较基元之间其轮廓特征向量的差异，可将差异值小于自定义类别阈值的基元划分为同一类。第三步基元分布生成本发明中提供两种类别的简笔画，一类描述基元的规则分布，另一类描述基元的随机分布。这些简笔画定义了基元的生成模式。第一类简笔画(如图4所示)可以分解为两个组成部分左右模式(LR model)和上下模式(UD model)。以第一类简笔画作为基元的初始分布，我们按照这两种定义的生成模式进行基元分布的扩张，即向初始基元分布中逐一添加新的基元，从而获得新添加基元的位置。根据待添加基元的大小以及与临近已添加基元的相对位置计算待添加基元的位置。如果按照左右模式添加新的基元，通过计算该基元的尺度参数(yl' ,yr' ,xl'， xr')和区域参数(Nly, Nix, Nry, Nrx)，该基元的位置(Py, Px)计算如下
Py = Nry-yr'+l\其中，ov为基元之间的空隙，通常定义ov的取值为一个像素宽度。按照同样的计算方式，如果按照上下模式添加新的基元，则该基元的位置计算如下\不失一般性，所有待添加的基元都可以按照上述两种方式计算位置坐标值。可以看出，第一类简笔画的多样性在于罗列基元从而改变基元的布局，即通过旋转改变基元的方向，通过缩放改变基元的大小以及变换不同类别基元的先后顺序。此外，如果提供的简笔画中有多类基元，则根据简笔画中基元类别的排列顺序确定新添加基元的类别。第二类简笔画(如图5中第一幅图像所示)则由点的随机分布组成。主要是由于基于与基元之间不相邻接的空间分布关系。此外，该类简笔画的扩张在于按照样本纹理的基元分布调整初始状态下的基元分布。首先，采用洛依德方法(Lloyd's method)计算离散点集的Voronoi图。由此，产生基元的初始分布(离散点集中的点的总数目由用户给定)。 由于产生的基元分布是比较规则的点的分布，因此，需要进一步调整分布中基元的位置，使得最终获得的基元分布具有样本纹理中基元分布的随机特性。根据样本纹理中基元的分布计算初始分布中各基元的偏移向量，通过平移初始分布中的各基元，从而获得最终的基元的分布(调整后的结果如图5中第二、三幅图像所示)。可以看出，第二类基元分布的多样性很大程度地依赖于初始离散点集中点的总个数，通过增加或者减少点的个数调整分布的稠密程度。上述两类简笔画最大的区别在于给定的初始分布和分布扩张方式。第一类简笔画通常不依赖于样本纹理的基元分布，而且一旦在简笔画中定义了左右生成模式和上下生成模式，则该简笔画可以用于多次纹理设计和合成任务。然而，第二类简笔画的扩张阶段依赖
7于样本纹理的基元分布，不同的样本纹理产生不同的基元分布，且扩张过程和基元的放置是相互独立的。第四步基元放置与变形接下来需要将抽取的基元放置到已生成的基元分布中，即需要在每一个基元的位置上放置合适的基元，从而产生新的纹理。在此，用户提供指定大小的画布，包括空白的画布和具有背景图案的画布两种。根据基元分布的生成方式进行基元的选择如果由第一类简笔画的方法产生基元的分布，则根据基元位置上的类别属性从已抽取的基元中选择具有相同类别的基元；如果由第二类简笔画的方法产生基元的分布，则可以从已抽取的基元中进行随机选择作为匹配的基元。在确定匹配基元之后，根据基元在初始分布中的位置确定其在画布中的位置。将基元放置画布中时，如果是空白画布，则直接将基元拷贝至画布中。此时，需要采用图分割的方法(graph-cuts method)处理基元之间的重叠区域；如果是具有背景的画布，则采用基于均值坐标的图像融合方法放置基元到相应位置上。此时，在基元与背景之间能够产生无缝的自然融合效果。在纹理设计与合成过程中，由于通过基元的重组产生新的纹理，基元的放置不再符合样本纹理中基元之间的相邻关系。因此，在新纹理中可能产生过分重叠，或者较大的空洞。如果基元的形状是规则的，如长方形、正方形等，则可以采用线性变换操作改变基元的大小和方向，从该减轻重叠和空洞的产生。然而，当基元的形状是不规则的多边形时，则采用TPS变形技术改变基元的形状。首先确定目标形状，使用轮廓点映射方法将当前基元的轮廓点与目标形状的轮廓点建立一一对应；然后，采用采用TPS变形方法根据轮廓点的对应关系，变形当前基元，使得变形的基元具有给定的目标轮廓。此时，保证已放置基元之间的结构一致性。第五步后处理为了进一步消除新纹理中可能残留的空洞，我们采用基元样例的图像修补算法使用样本纹理的信息填补这些空洞。通常情况下，需要在样本纹理中进行穷尽的搜索选择填补空洞的信息，计算量大且非常耗时。然而，新纹理中空洞处的信息通常可以看成是基元与基元之间丢失的边界信息。因此，首先采用颜色量化的方法(color quantization)将样本纹理分解成多个纹理子块；然后，使用与基元边界具有相似颜色的纹理子块作为空洞信息搜索的样本图像，替换原有的样本纹理，则极大地提高了空洞修补的时间效率。根据用户提供的简笔画，产生的新的纹理结果如图6所示。
权利要求
1.一种基于基元重组的纹理设计与合成方法，其特征在于，包括以下步骤1)基元抽取；2)基元分类；3)基元分布生成；4)基元放置与变形；5)后处理。
2.根据权利要求1所述的一种基于基元重组的纹理设计与合成方法，其特征在于，所述的步骤1)基元抽取具体为11)针对给定的样本纹理图像，首先采用传统的伽柏小波变换对样本纹理图像中的纹理特征进行分析；12)然后采用基于纹理特征连续性的水平集方法对样本纹理图像进行分割，从而获得单个的纹理基元。
3.根据权利要求2所述的一种基于基元重组的纹理设计与合成方法，其特征在于，所述的步骤2、基元分类具体为21)对于已抽取的基元，首先获取每一个基元的边界轮廓点；22)其次，采用基于形状上下文的描述子描述每一基元轮廓点的分布情况，通过量化获得这些轮廓点的特征向量；23)最后，利用这些量化信息，通过比较基元之间的轮廓差异，对所有已抽取基元进行分类；
4.根据权利要求3所述的一种基于基元重组的纹理设计与合成方法，其特征在于，所述的步骤幻基元分布生成具体为用户利用简笔画的方式自定义纹理的生成模式，以该模式为基元的初始分布，按照生成模式中提供的生成规则逐一扩展基元的分布，从而在待合成纹理中计算基元的位置以及分配相应的基元类别属性。
5.根据权利要求4所述的一种基于基元重组的纹理设计与合成方法，其特征在于，所述的基元放置与变形具体为41)在待合成纹理中，根据每一个位置及其相应的类别信息在已抽取基元中为这些位置点选择具有相同类别的最佳匹配基元；42)如果待合成纹理是空白画布时，则采用直接覆盖的方法将所选最佳匹配基元放置在每一个位置上；此时，采用基于图分割的拼接方法处理基元之间的重叠区域；若待合成纹理是具有背景模式的画布时，则采用基于均值坐标的图像融合方法放置所有最佳匹配基兀。
6.根据权利要求5所述的一种基于基元重组的纹理设计与合成方法，其特征在于，所述的步骤幻后处理具体为针对在基元放置过程中产生的过分重叠和较大的空洞，采用TPS变形技术改变基元的形状；如果在待合成纹理中仍然存在空洞，则采用基于样例的图像修补方法填补这些空洞。
7.根据权利要求2所述的一种基于基元重组的纹理设计与合成方法，其特征在于，所述的基元抽取将样本纹理中得所有具有封闭边界的基元抽取出来，因而在纹理设计与合成过程中仅需要使用这些已抽取的基元，样本纹理将不再使用。
8.根据权利要求4所述的一种基于基元重组的纹理设计与合成方法，其特征在于，所述的简笔画分为两类，第一类简笔画描述基元的规则分布，第二类简笔描述基元的随机分布第一类简笔画中除了需要定义左右生成模式和上下生成模式之外，当该类简笔画中有多类基元时，需要用户指定简笔画中基元的类别，以及给定不同类别基元之间的排列顺序；第二类简笔画中点的总个数由用户根据给定画布的大小给定，点的数目决定了基元分布的稠密程度。
9.根据权利要求8所述的一种基于基元重组的纹理设计与合成方法，其特征在于，使用第二类简笔画产生基元分布，在对基元位置进行调整过程中需要参照样本的基元分布， 且新生成的基元分布中的基元邻域与参照样本纹理的基元分布中的基元邻域之间通过邻域比较方法进行具体相似性判定度量。
10.根据权利要求6所述的一种基于基元重组的纹理设计与合成方法，其特征在于，过分重叠和较大的空洞用TPS变形技术改变基元的形状，使得新纹理中基元之间的结构是连续的。
全文摘要
本发明涉及一种基于基元重组的纹理设计与合成方法，包括以下步骤1)基元抽取；2)基元分类；3)基元分布生成；4)基元放置与变形；5)后处理。与现有技术相比，本发明很好地解决了纹理合成过程中需要参照样本纹理的问题，通过用户可控的处理方式，从而对现有基于样本纹理的合成方法进行了改进。
文档编号G06T11/20GK102426708SQ20111035053
公开日2012年4月25日 申请日期2011年11月8日 优先权日2011年11月8日
发明者桂彦, 马利庄 申请人:上海交通大学