基于图像细化的视频编码和解码的制作方法
【专利摘要】一种特定实施方式从逆量化和逆变换形成初始的重建图像块，并且利用来自相邻的重建块的像素来进一步细化所重建的图像块。该图像块可以利用双边滤波器来细化，该双边滤波器的空间参数和范围参数被适配于量化参数。在重建图像块时，该特定实施方式可以在编码和解码两者中使用。当在编码中使用时，该特定实施方式可以与系数截断结合使用，在系数截断中将一些非零的变换系数设定为0。在系数截断之后剩余的非零的变换系数的数目可以被适配于量化参数，图像块的方差，图像块的非零的变换系数的数目，以及折线扫描顺序中最后的非零变换系数的索引。
【专利说明】基于图像细化的视频编码和解码
【技术领域】
[0001]本发明涉及视频编码和解码，并且更具体地涉及利用图像细化来进行视频编码和解码。
【背景技术】
[0002]为了实现高压缩效率，图像和视频编码方案通常采用预测和变换来调节视频中的空间和时间冗余。通常，将帧内或帧间预测用于开发帧内或帧间相关性，然后原始图像与预测图像之间的、通常称作预测误差或预测残差的差被变换、量化和熵编码。为了重建视频，将所压缩的数据通过与预测、变换、量化和熵编码对应的逆处理来解码。
【发明内容】
[0003]根据一个概要方面，在编码和解码期间，首先利用逆量化和逆变换来重建图像块。然后利用相邻重建块的像素来细化该重建图像块。
[0004]根据另一概要方面，在编码和解码期间，首先利用逆量化和逆变换来重建图像块。然后通过双边滤波器利用相邻的重建块的像素来细化该重建图像块。双边滤波器的空间参数和范围参数被适配于量化参数。
[0005]根据另一概要方面，变换系数被截断，从而剩余的非零变换系数的数目被适配于量化参数、图像块的方差、非零系数的数目和/或扫描顺序中最后的非零系数的索引。此外，在重建期间，首 先利用逆量化和逆变换来重建图像块，然后利用相邻的重建块的像素来细化该重建图像块。
[0006]一个或多个实现方式的细节在附图和下面的描述中阐明。即使按一个特定模式进行了描述，仍应清楚的是，可以按照不同的方式来配置或具体化这些实现方式。例如，一个实现方式可以作为方法来执行，或者具体化为装置，诸如，例如，配置为执行一组操作的装置，或者存储有用于执行一组操作的指令的装置，或者具体化在信号中。其它方面或特征将在结合附图和权利要求进行考虑的情况下从下面的详细描述中变得显然。
【专利附图】
【附图说明】
[0007]图1A是图示示例，其示出了根据当前原理的一个实施例可以如何利用相邻块来细化图像块，并且图1B是图示示例，其示出了根据当前原理的该实施例可以如何利用滑动窗口来应用滤波器。
[0008]图2是流程图，其根据当前原理的一个实施例示出了利用系数阈值处理(thresholding)和图像细化进行视频编码的一个示例。
[0009]图3是流程图，其根据当前原理的一个实施例示出了利用图像细化进行视频解码的一个示例。
[0010]图4是框图，其根据当前原理的一个实施例示出了视频编码器的一个示例。
[0011]图5是框图，其根据当前原理的一个实施例示出了视频解码器的一个示例。[0012]图6是框图，其示出了可以与一个或多个实现方式一起使用的图像处理系统的一个示例。
[0013]图7是框图，其示出了可以与一个或多个实现方式一起使用的图像处理系统的另
一示例。
【具体实施方式】
[0014]在假设在解码过程期间没有或只有很少固有图像性质可以被进一步开发的情况下，压缩数据通常被视作随机数据。即，图像是利用明确或隐含地编码在压缩数据中的信息
来重建的。
[0015]然而，关于视频的某些先验知识可以在解码器处被用于增强所解码的视频质量。例如，可以应用去块滤波器以移除强的块效应(blockiness)，因为大多图像被已知为具有平滑的内容。
[0016]在另一示例中，基于视频信号可以稀疏地呈现的先验知识，标题为“Video codingusing compressive sensing” 的共同所有的 PCT 申请 N0.PCT/US11/000064 提出了在视频压缩中使用压缩感知。压缩感知是以小数目的测量呈现信号的一种技术，并且其可以在耐奎斯特采样率以下高效地呈 现多种信号。利用在邻近像素之间的差通常在自然图像中很小并且因此梯度稀疏的先验知识，发展出了压缩感知模式来以变换系数的子集重建块。
[0017]当前实施例提供了一种方法和装置，其采用图像细化来改进视频压缩效率。诸如平滑度和奇异性的普通图像性质，可以被用于设计图像细化工具。奇异性指的是图像中可能存在边缘和纹理(即，邻近像素的灰度值可能显著变化)的图像性质。良好的图像细化工具应该在考虑平滑度的同时保留图像的奇异性。
[0018]图1A示出了利用图像特性来细化当前块的示例，其中，图像块140是待编码或解码的当前块，并且图像块110、120和130已经被编码或解码。图像块140可以初始地利用现有方法来重建。例如，其可以通过根据H.264标准的逆变换、去量化来重建。
[0019]利用早先编码过的相邻块(110，120, 130)可以细化初始重建的块(140)。在一个实施例中，阴影区域150、160和170可以用于细化图像块140。阴影区域邻近于当前块并且其是早先编码的相邻块的部分。将由当前块(140)和阴影区域(150，160，170)形成的块记做扩展块(180)，其中当前块(140)具有B*B个像素，并且扩展块(180)具有m*m(m = B+W)个像素。在一个更普遍的示例中，具有Bv*Bh个像素的当前块可以被扩展为(Bv+Wv) * (Bh+Wh)块。即，当前块的宽度(Bh)和高度(Bv)可以是不同的，并且在水平和竖直方向上的扩展的长度(分别为Wh和Wv)也可以是不同的。
[0020]在图1A的示例中，来自上方和左方的块的像素被用于形成扩展块。这是因为，大多现有的视频压缩标准按照格栅扫描顺序来编码图像块，并且上方和左方的块在当前块之前被编码或解码。从而，这些块可以按相同的方式在编码器和解码器两者处重建。当使用不同的编码顺序时，来自其它位置的块、例如右方的块和下方的块可以被选来细化当前块。
[0021]块尺寸(Bv*Bh)可以基于编码配置而变化(分辨率，比特率等)。其还可以在帧内从块到块地变化。例如，其可以被选为4*4、8*8、16*16、8*4或者4*8,或者其可以被选择为具有与变换或量化相同的尺寸。
[0022]扩展块(180)可以被看做由于压缩而被噪声劣化的图像块，并且因此其质量可以通过图像增强技术来细化。在所扩展的区域中，当前块(140)中的边界像素可以与该块内的其它像素一样大地受益于滤波器支持域。
[0023]去噪声滤波器或者其它图像处理方法可以用于细化扩展块，例如但不限于可以使用中值滤波器、双边滤波器或者SA-DCT (适形DCT)方法。滤波器长度可以基于计算复杂度和性能来选择，并且扩展区域的尺寸可以设计为适配于滤波器长度，例如W =(滤波器长度 _1)/2。
[0024]参考图1B，示出了利用滑动窗口滤波进行图像细化的一个示例。在一个示例中，对于扩展块(180)，采用双边滤波器来处理滑动窗口(190)内的像素。将滑动窗口的尺寸记做(2n+l)*(2n+l)，然后对滑动窗口的中间像素I(x，y)的滤波过程如下进行:
[0025]步骤1:在滑动窗口中对于每个像素I (i，j)计算亲密度参数:
[0026]
【权利要求】
1.一种方法，包括: 对图像中的块的变换系数进行逆量化(238，330)，以形成去量化的变换系数； 对去量化的变换系数进行逆变换(242，340)，以形成预测残差； 利用预测残差形成(246，350)重建图像块； 处理(250，370) —组像素以形成处理后像素，该组像素包括该重建图像块的像素和邻近于该块的重建块的像素；以及 利用处理后像素细化(250，370)该重建图像块的像素，以形成细化后图像块。
2.根据权利要求1所述的方法，其中，邻近于该块的重建块在该块之前被编码或解码。
3.根据权利要求1所述的方法，其中，由该组像素形成扩展图像块。
4.根据权利要求1所述的方法，其中，并不对于邻近于该块的重建块的像素执行所述细化。
5.根据权利要求1所述的方法，其中，由双边滤波器执行所述处理。
6.根据权利要 求5所述的方法，其中，双边滤波器的空间参数和范围参数随着量化参数变化。
7.根据权利要求1所述的方法，所述细化包括以所述处理后像素取代所述重建图像块的像素。
8.根据权利要求1所述的方法，其中，所述细化后图像块被用于编码或解码图像的其它块。
9.根据权利要求1所述的方法，其还包括将所述变换系数中的一个或多个设定为0(225)。
10.根据权利要求9所述的方法，其中，在所述变换系数中的一个或多个被设定为O之后剩余的非零的变换系数的数目随着如下中的至少一个而变化:量化参数、该块的方差、该块的非零系数的数目以及扫描顺序中最后的非零系数的索引。
11.根据权利要求1所述的方法，还包括处理所述处理后像素。
12.一种装置(400，500)，包括: 逆量化器(450，550)，其将图像中的块的变换系数逆量化为去量化的变换系数； 逆变换器(450，550)，其将去量化的变换系数逆变换为预测残差； 加法器(455，525)，其利用预测残差形成重建图像块；以及 处理器(465，565)，其处理一组像素以形成处理后像素，该组像素包括该重建图像块的像素和邻近于该块的重建块的像素，并且利用处理后像素细化该重建图像块的像素以形成细化后图像块。
13.根据权利要求12所述的装置，其中，邻近于该块的重建块在该块之前被编码或解码。
14.根据权利要求12所述的装置，其中，由该组像素形成扩展图像块。
15.根据权利要求12所述的装置，其中，处理器是双边滤波器。
16.根据权利要求15所述的装置，其中，双边滤波器将空间参数和范围参数随着量化参数改变。
17.根据权利要求12所述的装置，所述细化包括以所述处理后像素取代所述重建图像块的像素。
18.根据权利要求12所述的装置，其中，所述细化后图像块被用于编码或解码图像的其它块。
19.根据权利要求12所述的装置，其中，所述变换系数中的一个或多个被设定为O，并且在所述变换系数中的一个或多个被设定为O后剩余的非零的变换系数的数目随着如下中的至少一个而变化:量化参数，该块的方差，该块的非零系数的数目，以及扫描顺序中最后的非零系数的索引。
20.—种处理器可读介质，具有存储于其上的指令，该指令用于使得一个或多个处理器共同地执行: 对图像中的块的变换系数进行逆量化，以形成去量化的变换系数； 对去量化的变换系数进行逆变换，以形成预测残差； 利用预测残差形成重建图像块； 处理一组像素以形成处理后像素，该组像素包括该重建图像块的像素和邻近于该块的重建块的像素；以及 利用处理后像素细化 该重建图像块的像素以形成细化后图像块。
【文档编号】H04N19/147GK104025589SQ201180074528
【公开日】2014年9月3日 申请日期:2011年11月3日 优先权日:2011年11月3日
【发明者】江文斐, 张帆, 陈志波 申请人:汤姆逊许可公司