专利名称：重建图像的自相似纹理区域的方法和设备的制作方法
技术领域：
本发明在重建自相似纹理图像区域的领域内做出。
背景技术：
图像中的自相似纹理区域引起编码中，特别是但不仅仅在高分辨率编码中的高比特率，而同时只引起观众有限的兴趣。观众的兴趣只集中在这些情况下的区域:该区域在结构或亮度上显示出不连续。原则上，纹理的自相似性允许通过只对该纹理区域的样本部分进行编码来降低比特率并且通过复制该样本部分的像素来重建该纹理区域的其它未编码部分的像素。重建也被称为合成。例如，L1-YiWei 和 Marc Levoy《Fast texture synthesis usingtree-structured vector quantization〉〉(2000 年，Proc.0f the27th annual conferenceon Computer graphics and interactive techniques(SIGGRAPH，00), ACM 出版社 /Addison-Wesley出版纽约公司，美国，纽约，第479-488页)提出了一种基于像素的重建方案，其中，纹理区域的一部分基于逐个像素选择的过程进行重建。对用于重建给定的未编码像素的样本像素的选择可以基于给定的未编码像素的邻域与候选样本像素中样本像素的邻域的最大相似性。
发明内容
样本像素的选择取决于用于选择的邻域的尺寸。不同的邻域尺寸可能会导致用于对相同的未编码像素进行重建的不同的样本像素。大于纹理的特征尺寸的邻域原则上适合很好地再现该纹理，但为了实际以良好的视觉质量再现该纹理，需要较大的样本部分。小于纹理的特征尺寸的邻域导致较差的再现。因此，理想的是提供自适应地选择接近纹理的特征尺寸的邻域尺寸的用于重建图像的自相似纹理区域的方法和设备。因此，发明者提出了如权利要求1所述的方法和如权利要求3所述的设备。所述方法包括:通过复制来自所述自相似纹理区域的样本部分的样本像素来确定所述自相似纹理区域的一部分的像素，使用邻域匹配来选择所述样本像素，其中，基于对根据所述样本部分不同尺寸的块的DCT变换的系数计算得到的描述符的分析，选择用于匹配的邻域的尺寸。在一个实施例中，所述方法进一步包括接收在其中对自相似纹理区域的样本部分进行编码的比特流和对所述样本部分进行解码的步骤。在所述方法的进一步实施例中，通过下列步骤自适应地选择用于匹配的邻域的尺寸:确定在不同尺寸的块中的每一个上应用DCT变换的系数；对所述不同尺寸的块中的每一个，确定相关联的描述符序列，其中，通过使用沿平行路径求和的系数的总和来确定每个描述符；选择作为不单调下降的序列中与最小的块尺寸相关联的序列的描述符序列；以及使用与确定的序列相关联的不同尺寸的块的尺寸来确定邻域的尺寸。
所述设备包括处理设备。处理设备适用于通过从所述自相似纹理区域的样本部分复制样本像素确定所述自相似纹理区域的其它部分的像素，使用邻域匹配来选择所述样本像素，其中，所述处理设备适用于使用对根据所述样本部分不同尺寸的块的DCT变换的系数计算得到的描述符序列的分析，选择用于匹配的若干邻域的尺寸。在一个实施例中，所述设备还包括接收器和解码器。接收器适于接收在其中对自相似纹理区域的样本部分进行编码的比特流并且解码器适于对所述样本部分进行解码。在用于确定合适的样本部分的尺寸和/或用于确定未编码部分的尺寸或两者兼有的编码设备上，也可以应用本发明的思想。如果在编码器侧应用，所选择的邻域尺寸可以进一步被发送到解码器。
本发明的示例性实施例在附图中示出并在下面的说明中更详细地描述。解释该示例性实施例仅用于阐明本发明，但不限制在权利要求中定义的本发明的公开、范围或精神。附图中:图1示出覆盖有示例性平行路径的8X8的块的示例性DCT变换；图2示出由Wei和Lehoy提出的基本的现有技术的基于像素的重建方案；图3示出不同尺寸的块的示例性描述符曲线；图4示出更多的不同尺寸的块的示例性描述符曲线；图5示出示例性基于纹理重建的编码-解码框架，以及图6示出其它示例性平行路径。
具体实施例方式
定义为静态区域的纹理，可以从图案在不同的位置重新复制(砖墙)的规则的或近似规则的纹理到随机噪声纹理(沙地，草地……)变化。本发明提出了一种新的可以应用在自动自适应算法和图像/视频压缩方案的计算机图形领域的特征步骤。本发明是基于对描述符的研究，该描述符是从图1中示出的8X8的块的2D离散余弦变换(DCT)系数计算得到的。计算自相似纹理图像区域的块的DCT系数后，根据被以DC系数为中心的平行路径穿过的AC系数(例如示例性地示于图1的以DC系数为中心的圆形线)计算描述符向量分量。该描述符向量分量对应于被这些平行路径穿过的系数的总和。这个和可以通过对对等距离的平行路径进行计算得到。并且，这个和可以包括求和系数的加权因子，这些加权因子依赖于穿过相应系数的路径部分的长度。然后，必须对至少两个尺寸进行测试以通过研究描述符向量的变化来选择较佳的一个。DCT系数从下面计算得到:. 2 r-1'.1 (2τ +1 } κ、 ^ i 2.Y +1) /λ 'lC, (f,i): —αμL/(.υ.y) mi ~~ cos ~
!\ ζΛ.j 、J其中I (χ, y)对应位置(χ, y)处的亮度值，N是支持块(support block)的大小，a k按下面计算:
权利要求
1.一种用于重建图像的自相似纹理区域的方法，所述方法包括以下步骤: 通过复制来自所述自相似纹理区域的样本部分的样本像素来确定所述自相似纹理区域的一部分的像素，使用邻域匹配来选择所述样本像素，其中，基于对根据所述样本部分不同尺寸的块的DCT变换的系数计算得到的描述符的分析，选择用于匹配的邻域的尺寸。
2.如权利要求1所述的方法，其中，所述方法进一步包括以下步骤: 接收在其中对所述样本部分进行编码的比特流，以及 对所述样本部分进行解码。
3.如权利要求1或2所述的方法，其中，通过如下步骤自适应地选择用于匹配的邻域的尺寸: 通过在不同尺寸的块中的每一个上应用DCT变换以确定系数， 对所述不同尺寸的块中的每一个，确定相关联的描述符序列，其中，通过使用沿平行路径求和的系数的总和来确定每个描述符， 选择作为不单调下降的序列中与最小的块尺寸相关联的序列的描述符序列以及 使用与所选的序列相关联的不同尺寸的块的尺寸来确定邻域的尺寸。
4.一种用于重建图像的自相似纹理区域的设备，所述设备包括: 处理设备，适用于通过从所述 自相似纹理区域的样本部分复制样本像素确定所述自相似纹理区域的一部分的像素，使用邻域匹配来选择所述样本像素，其中，所述处理设备适用于使用对根据所述样本部分不同尺寸的块的DCT变换的系数计算得到的描述符序列的分析，选择用于匹配的若干邻域的尺寸。
5.如权利要求4所述的设备，所述设备进一步包括: 接收器，用于接收在其中对所述样本部分进行编码的比特流，以及 解码器，用于对所述样本部分进行解码。
全文摘要
本发明提出一种用于重建图像的自相似纹理区域的方法。所述方法包括通过复制来自所述自相似纹理区域的样本部分的样本像素来确定所述自相似纹理区域的一部分的像素，使用邻域匹配来选择所述样本像素，其中，基于对根据所述样本部分不同尺寸的块的DCT变换的系数计算得到的描述符的分析，选择用于匹配的邻域的尺寸。所述对根据所述样本部分不同尺寸的块的DCT变换的系数计算得到的描述符的分析允许确定接近所述纹理的特征尺寸的邻域尺寸。
文档编号G06T11/00GK103229213SQ201180057271
公开日2013年7月31日 申请日期2011年11月10日 优先权日2010年11月29日
发明者F.雷卡普, J.维隆, S.勒福特, O.德芙格斯, M.巴贝尔 申请人:汤姆逊许可公司