专利名称：视频补偿噪声添加技术的制作方法
技术领域：
本发明涉及一种用于减少与编码视频流的解码有关的伪像的技术。
背景技术：
以低比特率压缩的视频流的解码常常产生观看者能够察觉的可见伪像(artifact)。当使用基于块的压缩技术时，分块(blockiness)和结构化的噪声图(noise pattern)是出现的常见伪像。人类的视觉系统对某些类型的伪像具有更强的敏感性，因此，这些伪像比其他伪像更容易察觉和令人不悦。向解码的流中添加随机噪声可以降低这些压缩伪像的引人注意程度，但是由添加随机噪声而导致的大的帧到帧的差异本身也可以产生容易察觉和令人不悦的伪像。
添加抖动信号可以降低人对图像伪像的敏感性，例如，来隐藏轮廓和分块伪像。一种现有技术提出了将基于胶卷颗粒(film grain)的随机噪声抖动添加到图像中以掩饰分块效应。添加这种随机噪声的基本原理是随机错误比结构或相关(correlated)错误更容易容忍。其他现有技术提出了将抖动信号添加到视频流中来隐藏压缩伪像。过去的一种技术提出了在ITU/ISO H.264视频编码标准(通常称为JVT编码标准)的循环内去分块滤波器(in loop deblockingfilter)中的视频编码和解码处理中添加随机噪声抖动。要添加的抖动量依赖于像素相对于块边缘的位置。另一种现有技术提出了在视频解码后添加该随机噪声(即，添加噪声作为“后处理”)用作补偿噪声(comfort noise)。添加的噪声量依赖于量化参数和添加到空间上相邻的像素的噪声量。术语“补偿噪声”来源于在音频压缩中使用噪声来指示在接收机端生成的噪声图，用以避免产生使听者不舒服的完全静音。
过去通过添加噪声减少伪像的技术典型地以产生暂时异常(即，大的帧到帧的差异)为代价减少了空间伪像。因此，需要有一种克服上述缺点的、在编码视频流的解码期间减少伪像的技术。
发明内容
简单地说，根据本发明原理的优选实施例，提供一种用于在解码期间减少视频流中的伪像的方法。该方法由解码视频流开始。在解码之后，通过按照与之前解码的画面的至少一部分的亮度相关的量将噪声添加到每个像素中，来将噪声添加到视频流中。这样，根据本发明原理，亮度相关性帮助确定加性噪声，以减少大的帧到帧差异(现有噪声添加技术的缺点)。
图1绘出根据本发明原理的视频解码器装置(arrangement)的第一实施例的方框示意图，该装置用于通过添加与当前画面的至少一部分的亮度相关的噪声来减少与对编码视频流进行解码有关的伪像；图2绘出根据本发明原理的视频解码器装置的第二实施例的方框示意图，该装置用于通过添加与当前画面的至少一部分的亮度相关的噪声来减少与对编码视频流解码进行有关的伪像；和图3绘出根据本发明原理的视频解码器装置的第三实施例的方框示意图，该装置用于通过添加与当前画面的至少一部分的亮度相关的噪声来减少与对编码视频流解码进行有关的伪像。
具体实施例方式
根据本发明原理，按照与当前画面的至少一部分的亮度相关的量将包含抖动信号的随机噪声添加到已经解码的信号中，可以提高主观视频质量。
迄今为止，向解码的信号添加噪声已经被发现能提高视频信号的质量。向视频序列而不仅仅是单个图像添加噪声信号的视觉影响成为确定噪声信号幅度时的考虑因素。在确定噪声信号幅度时，考虑了向视频序列而不仅仅是单个图像添加噪声信号的视觉影响。画面中的像素的加性噪声信号的幅度可以与之前显示的画面中的像素的加性噪声信号值相关，例如，噪声信号是时间相关的。或者，时间相关性可以基于之前解码的画面，而不是之前显示的画面。
基于上述，使用具有相关因子α(0≤α≤1)的时间相关性可以如下计算添加的噪声信号N(k，x，y)＝(1-α)*N(k-1，x，y)+α*R(k，x，y)(1)随机数R(k，x，y)可以使用任何类型的随机数分布，例如标准、高斯或拉普拉斯分布，来生成。如果需要的话，R(k，x，y)还可以被限定在一定范围内。随机数发生器可以通过查找表来实现。R(k，x，y)还可以包括空间相关性，诸如用于例如胶卷颗粒噪声生成。
根据本发明原理，噪声添加很大程度上依赖于块或宏块的明亮度(即，亮度)，但也依赖于其相邻块的亮度。块/宏块越暗，就越容易注意到具有相对高方差(variance)的噪声。据此，可以由下面关系式给出加性噪声N(k，x，y)的量N(k，x，y)＝(1-γ(k，x，y))*N(k-1，x，y)+γ(k，x，y)*(1-φ(k，x，y))*R(k，x，y)(2)其中函数γ(k，x，y)表示相关因子，它依赖于当前图像与之前显示或解码的一个图像的时间相关性。
γ(k，x，y)项可以如下计算γ(k，x，y)＝α-β*f1(D(k，x，y)，D(k-1，x，y))，0≤β≤α≤1(3)其中，f1()取0和1之间的值，并且计算画面k中的像素(x，y)与画面k-1中同一位置的像素的时间相关因子。因子α和β这里涉及画面类型(I、P或B画面)以及用于编码当前画面或块的量化器，并且可以通过使用查找表来计算。或者，可以使用画面k和k-1之间的全分辨率差图像，并且如果总绝对差低于一个值，那么可以认为这两个画面相关(即，f1＝1)。
还可以考虑更简单的度量。例如，通过考虑N×N块的均值并且在块的级别上执行噪声自适应，可以大大节省存储器和计算能力。在这种情况下，项f1(D(k，x，y)，D(k-1，x，y))将等于f1(D(k,x,y),D(k-1,x,y))=(1N×Nabs(Σk=0NΣm=0ND(k,x+k,y+k)---(4)]]>-Σk=0NΣm=0ND(k-1,x+k,y+k))>ζ0 0:1)]]>其中0≤ζ0≤255。
项φ(k，x，y)反映用来调整要使用的噪声的强度的空间信息。特别地，φ(k，x，y)可以如下计算
φ(k，x，y)＝f2(D(k，x，y))(4)+f3(D(k，x-bsx，y)，D(k，x+bsx，y)，D(k，x，y-bsy)，D(k，x，y+bsy))其中，f2()涉及当前像素或其所属的N×N块的亮度，而f3()计算当前像素/块和与其水平或垂直相距bsx或bsy的相邻像素/块之间的空间关系。例如，f2(D(k,x,y))=(1N×NΣk=0NΣm=0ND(k,x+k,y+k)>ζ1 0:1)---(5)]]>f3(D(k，x，y))＝(f2(D(k，x，y))-f2(D(k，x+N，y))＝ζ2)‖(f2(D(k，x，y))-f2(D(k，x-N，y))＝ζ3)‖(f2(D(k，x，y))-f2(D(k，x，y+N))＝ζ4)‖(f2(D(k，x，y))-f2(D(k，x，y-N))＝ζ5)(6)其中0≤ζ1≤255，并且-255≤ζ2，ζ3，ζ4，ζ5≤255。
图1绘出了用于以与方程2兼容的方式添加与当前画面的至少一部分的亮度相关的噪声来减少伪像的视频解码器装置10的第一实施例的方框示意图。解码器装置10包括解码器12，用于解码输入的编码视频流。解码器12的设计依赖于编码输入视频流所采用的压缩格式。在优选实施例中，输入视频流经过使用公知的ITU/ISO H.264标准的压缩。在这种情况下，解码器12采用本领域公知的H.264解码器的形式。参考画面存储器14存储解码器12解码的画面以供解码器在解码将来的画面时使用。
解码器12向噪声发生器16提供解码的画面以及解码的画面中包含的比特流信息。解码器12输出的比特流信息可以包括输入到噪声发生器的量化参数。压缩伪像的严重程度与量化参数相关，当使用高的量化参数值时出现更严重的压缩伪像。添加的补偿噪声的强度可以随着量化参数值的增加而增加。
求和单元(summing block)18求来自解码器12的每个解码的画面与来自噪声发生器16的噪声的和。限幅器(clipper)20然后通过限制求和单元18输出的结果信号来产生用于显示的解码的画面，该画面呈现较少的伪像。要注意的是，由于参考画面必须保持不变以便正确解码随后的输入画面，因此在将解码的画面存储在参考画面存储器14中之后进行噪声添加。
噪声画面存储器17存储用于第k画面的噪声信号N(k，x，y)以供噪声发生器16以后使用。噪声发生器16响应存储在参考画面存储器14中的参考画面，该参考画面包含关于之前解码的画面的信息。尽管不是必要的，但如果对解码的画面之间的时间相关性使用基于块的计算，那么可以添加额外的存储器。
尽管仍然可能对图像内的每个像素生成噪声，但在某些情况下(例如，对于较高分辨率的材料)，常常更希望生成大小(颗粒)较大的噪声。例如，对噪声图像应用N×N块大小离散余弦变换，然后丢弃得到的较高频率，这将导致类似于胶卷颗粒噪声的大小较大的噪声。该处理仍然会导致相对较大的花费，而且典型地要求去分块处理以便减少可能在块边缘上产生的分块伪像。
图2绘出了用于添加与当前画面的至少一部分的亮度相关的大颗粒噪声的视频解码器装置100的第二实施例的方框示意图。解码器装置100包括许多与图1的解码器装置10相同的元件，相同的元件用相同的附图标记表示。与图1的解码器装置10相比，图2的解码器装置100还包括连接到参考画面存储器14的N×N降低画面平均值存储器22。画面存储器22典型地存储N×N亮度块平均值。存储在画面存储器22中的平均亮度值允许解码器装置生成如上讨论的较大颗粒噪声。
图3绘出了用于添加与当前画面的至少一部分的亮度相关的大颗粒噪声的视频解码器装置1000的第三实施例的方框示意图。图3的解码器装置1000包括许多与图2的解码器装置100相同的元件，相同的元件用相同的附图标记表示。与图2的解码器装置100相比，图3的解码器装置1000不包括噪声画面存储器17，而仅仅包括N×N降低画面平均值存储器22。
一种可替代的简单得多的处理是以小于原始图像的分辨率的分辨率(例如，一半的水平和垂直分辨率)生成噪声，然后上采样该噪声(例如，使用采样复制)。也可以根据原始画面的分辨率来决定使用原始或较小的分辨率(例如，对标准清晰度和较低清晰度的材料使用相同的分辨率，而对高清晰度材料使用较低分辨率噪声生成)。一方参数(side parameter)也可以与比特流一起发送，从而允许解码器决定使用哪种处理。一方信息也可以用于噪声生成(例如，噪声方差加权)。
也可以对色彩分量应用这种完全相同的处理。然而，为了降低复杂度和计算量，可以只基于一个亮度分量生成噪声，而在执行简单的缩放(scaling)和子采样(如果需要的话)后对所有色彩分量重新使用相同的噪声。例如，对于4∶2∶0材料，亮度噪声被2垂直和水平子采样，从而可以被除以2以便生成色度噪声。
图1和2的解码器装置10和100表示时间无限脉冲响应(IIR)滤波器的实例化(instantiation)。可以通过使用更多的滤波器抽头来使IIR滤波器一般化。通常还可以根据下面的关系式使用高阶FIR滤波器(其使用所期望的那样多的t个抽头)来逼近(approximate)IIR滤波器
N(k,x,y)=Πj=0i-1(1-γ(k-j,x,y))×N(k-t,x,y)]]>(7)+Σi=0i-1(Πj=0i-1(1-γ(k-j,x,y))×γ(k-i,x,y)×(1-φ(k-i,x,y))×R(k-i,x,y))]]>可以使用图3的解码器装置来实现有限脉冲响应(FIR)滤波器近似(approach)。解码器装置1000在这种FIR滤波器近似中只利用之前的随机数R和N×N亮度块均值(如果需要的话)，而不是之前的噪声N，从而减少了存储带宽。也可以只使用和存储当前和之前画面的N×N亮度块平均值，并且对所有抽头重新使用相同的值和它们的差。例如，我们可以使用下面的系统N(k，x，y)＝(1-γ(k，x，y))×(1-γ(k-1，x，y))×R(k-2，x，y)+(1-γ(k，x，y))×γ(k-1，x，y)×(1-φ(k-1，x，y))×R(k-1，x，y)(8)+γ(k，x，y)×(1-φ(k，x，y))×R(k，x，y)尽管还可以通过强迫计算γ(k-1，x，y)中使用的差图像与计算γ(k，x，y)中使用的相同来简化上式。这将完全避免存储或重新计算差图像的需要，并且大大降低存储带宽。
上面描述了一种用于通过添加与当前画面的至少一部分的亮度相关的噪声来减少与编码视频流的解码有关的伪像的技术。
权利要求
1.一种用于减少视频流中的伪像的方法，包括步骤解码视频流；和按照与当前画面的至少一部分的亮度信息相关的量，将噪声添加到解码后的视频流中的画面中的至少一个像素中。
2.如权利要求1所述的方法，还包括步骤使用依赖于当前画面图像与之前显示或解码的画面之一的时间相关性的因子，来使噪声相关。
3.如权利要求2所述的方法，其中，相关因子是根据亮度或色彩分量中的一个建立的。
4.如权利要求2所述的方法，还包括步骤根据亮度分量将噪声添加到画面的色彩分量中。
5.如权利要求2所述的方法，其中，在内插加性噪声之前，首先以N×N像素画面块(其中N是整数)为基础建立相关因子。
6.如权利要求1所述的方法，还包括步骤根据相邻像素的N×N块(其中N是整数)的强度来调整噪声。
7.如权利要求1所述的方法，其中，使用有限脉冲响应(IIR)滤波器的逼近来使噪声量相关。
8.一种用于对编码视频流进行解码以产生减少的伪像的解码器装置，包括视频解码器，用于解码输入的编码视频流来产生解码的画面；参考画面存储器，用于存储至少一个之前解码的画面以供解码器在解码将来的画面时使用；噪声发生器噪声，用于生成噪声来按照与当前画面的至少一部分的亮度信息相关的量、将该噪声添加到解码的画面中的至少一个像素中；噪声画面存储器，用于存储噪声信息以供噪声发生器之后使用；求和单元，用于求噪声发生器所生成的噪声与来自解码器的解码的画面的和；和限幅器，用于限制求和后的噪声和解码的画面。
9.如权利要求8所述的解码器装置，其中，噪声发生器实现有限脉冲响应滤波器的实例化。
10.如权利要求8所述的解码器装置，其中，噪声发生器实现无限脉冲响应滤波器的逼近。
11.如权利要求8所述的解码器装置，其中，噪声发生器根据解码器提供的解码的画面和比特流信息来生成噪声。
12.如权利要求8所述的解码器装置，其中，比特流信息包括量化参数。
13.如权利要求8所述的解码器装置，还包括第二画面存储器，用于存储N×N像素块画面平均值以供噪声发生器使用，其中N是整数。
14.一种用于对编码视频流进行解码以产生减少的伪像的解码器装置，包括视频解码器，用于解码输入的编码视频流来产生解码的画面；参考画面存储器，用于至少一次存储至少一个之前解码的画面以供解码器在解码将来的画面时使用；噪声发生器噪声，用于根据来自解码器的解码的画面和比特流信息而生成噪声来按照与前一画面中的至少一个像素的加性噪声相关的量而将该噪声添加到解码的至少一个像素中；画面存储器，用于存储N×N像素块画面平均值以供噪声发生器使用，其中N是整数。求和单元，用于求噪声发生器所生成的噪声与来自解码器的解码的画面的和；和
15.如权利要求20所述的解码器装置，其中，噪声发生器实现有限脉冲响应滤波器的实例化。
全文摘要
一种用于解码输入视频流中的画面的解码装置(10，100，1000)，包括噪声发生器(16)，用于在视频解码后将包含随机噪声的抖动信号添加到画面中，以提高主观视频质量。噪声发生器按照与当前画面的至少一部分的亮度相关的量，将噪声添加到每个像素中。
文档编号H04N7/26GK1857004SQ200480027521
公开日2006年11月1日 申请日期2004年9月21日 优先权日2003年9月23日
发明者亚历山德罗斯·M·图雷皮斯, 吉尔·M·博伊斯, 琼·拉克 申请人:汤姆森特许公司