专利名称：用于视频编码及解码的环内自适应维纳滤波器的制作方法
技术领域：
本发明一般涉及编解码器或视频编码器及解码器。
背景技术：
视频编码器压缩视频信息以便可以在给定带宽上发送更多的信 息。然后，可以将经过压缩的信号传送到接收器，信号在经接收器解 码或解压缩之后用于显示。
常规的视频编码算法会导致损失。也就是说，在压缩视频信息的 过程中， 一些信息可能会丟失，从而导致图像质量下降。理想的是， 尽最大可能改善视频质量，并且尽最大可能增加压缩。然而，这两个 目标往往是彼此矛盾的。
发明内容
本发明涉及一种用于编码视频的方法，包4舌
在视频编码器中使用环内自适应维納滤波器以提高编码效率。
该方法包括基于通过排除图像边界周围的像素而对像素进行分
析来设置维纳滤波器的抽头。
该方法包括将去块效应滤波器通过延迟元件连接到运动估计单
元，并与所述维纳滤波器并联。
本发明涉及一种编码器，包括
差分脉沖编码调制环，包含运动估计级和运动补偿级以及用于提 高所述编码器的编码效率的环内自适应维纳滤波器；以及 耦合到所述环的量化单元。
该编码器包括延迟元件，其中去块效应滤波器通过延迟元件耦合 到运动估计级，并与所述维纳滤波器并联。本发明涉及一种解码器，包括 环内自适应维纳滤波器；以及 耦合到所述滤波器的反量化单元。
图1 ^:依据一个实施例的编码器的示意图； 图2是依照一个实施例与图1中所示的编码器结合使用的解码器 的示意图3是依照本发明另一实施例的另一个编码器的示意图4是依照一个实施例与图3中的编码器结合使用的解码器的视
图5是依照本发明一个实施例的编码器的另一个实施例；
图6是依照一个实施例与图5中的编码器配合使用的解码器的视
图7是依照本发明另一实施例的编码器的视图； 图8是依照一个实施例与图7中所示的编码器配合使用的解码器 的视图9是依照本发明另一实施例的编码器的视图IO是与图9中的编码器配合使用的解码器的视图；以及
图11是一个实施例的系统视图。
具体实施例方式
参考图1，可以从当前视频块IO中以多个图像或帧的形式提供当 前视频信息。当前视频被传递到差分单元11。差分单元ll是差分脉 冲编码调制(DPCM)(又称为核心视频编码)环15的一部分，差分 脉冲编码调制环15包括运动补偿级(stage)22和运动估计级18。环15 还可以包括内部预测级20、内插级24、以及延迟线28。在一些情况 下，环15中还可以使用环内去块效应滤波器(in-loop de-blockingfilter)26。
当前视频被提供到差分单元11以及运动估计级18。运动补偿级 22或内插级24通过开关23在B处产生输出，然后将该输出从A处 的当前视频10中减去以在C处产生残差(residual)。接着，残差在 块12处进行变换及量化，并在块14中进行熵编码。在块16处产生 通道输出。
运动补偿或内插的输出还^皮提供给加法器33,加法器33接收来 自反量化单元30和反变换单元32(它们消除了单元12的变换及量化) 的输入。反变换单元32将去量化及去变换后的(dequantized and detransformed )信息提供回给环15。
"编码效率"是对DPCM环15减少来自环的预测图像B与当前图 像A之间的残差或差(difference)的有效程度的指示。编码效率影响最 终的图像质量。
图1中的编码器可以符合例如H.264 (高级视频编解码(AVC) 和MPEG-4第10部分)压缩标准。H.264标准是由耳关合视频工作组 (JVT )制定的，JVT包括又称为VCEG (视频编码专家组)的ITU-T SG16 Q.6和称为 MPEG(运动图像专家组)的ISO-正C JTC1/SC29/WG11 (2003 )。作为示例，H.264祐j殳计为用于在数字 TV广播、直播卫星视频、数字用户线路视频、交互式存储介质、多 媒体传讯、数字地面TV广播、以及远程视频监视等领域中应用。
虽然一个实施例可以符合H.264视频编码，但本发明并不受此限 制。而是，实施例可以用于多种视频压缩系统，包括MPEG-2(IS0/IEC 13818-1(2000) MPEG-2,可从瑞士日内瓦的国际标准化组织获得)和 VC1 ( SMPTE 421M(2006)，可从SMPTE White Plains, NY 10601获 得)。
基于块的编码可以对运动补偿或内插后的块的残差C应用变换量 化单元12、运动估计单元18、以及熵编码单元14。宏块可以包括16x16 亮度(luma)像素。宏块还可以进一步分割成较小的16x8、 8x16和8x8的块。每个8x8的块称为子宏块，它还可以进一步分成更小的8x4、4x8 和4x4的块。
H.264允许用户使用从由多个图像组成的两个参考列表中的参考 图像得到的运动补偿预测。量化单元12执行有损处理来压缩数据速 率，从而以图像质量为代价满足应用的带宽要求。在量化处理过程中 丢失的信息是不可恢复的，因而会观察到编码伪影，例如块效应噪声。 在一些实施例中，环内去块效应滤波器26可以使运动估计和运动补 偿的图像部分变得平滑。
环内自适应滤波36可以通过维纳滤波器来实现。维纳滤波器是 一种在源信号与通过随机噪声建模的预测信号之间实现最小均方差 的滤波器。对于编码器，"环内(in-loop)"是指差分脉沖编码调制环 中输出被反馈回到差分单元的任何模块、级或单元。用于将环内解码 的结果进行解码的解码器的相应部分也属于"环内"。"自适应滤波"是 指滤波随内容而定或是基于对图像的一部分、整个图像、或者多个连 续图像的像素强度的分析。例如，所接收的视频信息的类型可以是图 形或流视频，对于不同类型的视频，这导致维纳滤波器具有不同的抽 头(tap)。因而，自适应滤波器抽头是检查给定图像部分、图像或图像 系列中的每个像素的强度的结果。
自适应滤波36从统计特征采集器34、并且在一个实施例中从去 块效应滤波器26中接收输入。在一个实施例中，通过延迟单元28将 其输出提供给运动补偿单元22和运动估计单元18。因而，对运动估 计和运动补偿级18和22的输入应用自适应滤波36。
在一个实施例中，统计特征釆集器34 ^t妄收来自去块效应滤波器 26的输入，并接收线A上的当前视频。统计特征采集器34计算权Ci， 将权Ci应用到重建映射后的像素yi。利用权Ci来计算进行自适应滤波 36的维纳滤波器的滤波器抽头。统计特征釆集器34分析图像的每个 像素，并确定图像的某个区域上或多个图像上的像素组在强度上如何基于此信息，可以设置自适应滤波单元36中的维纳滤波器的滤波器 抽头以减小C处的所得残差。
下面参考图2,用于图1中的编码器的解码器包括耦合到熵解码 单元40的通道输入38。来自解码单元40的输出被提供给反量化单元 42和反变换单元44以及自适应滤波单元52。自适应滤波单元52耦 合到延迟单元50以及运动补偿单元48。熵解码单元40的输出还^皮提 供给内插单元54,然后流向选择开关23。接着，来自反变换单元44 的信息和来自运动补偿单元48或内插单元54 (由开关23选择)的信 息被相加并被提供给环内去块效应单元46。然后，环内去块效应单元 46的输出被反馈回给自适应滤波52。自适应滤波52也可以使用维纳 滤波器。
来自编码操作的输出可以包括具有指示关于编码器的自适应滤 波所使用的滤波器抽头的信息的报头的帧。然后，利用该^^艮头信息来 设置自适应滤波52中的适当的滤波器抽头。
图3中的编码器类似于图1中的编码器。最明显的区别在于，在 图3中，线D从环内去块效应滤波器26通过迟延28 —路到运动估计 单元18。在一些实施例中，线D可以开关或可有开关控制，以便可 以根据需要提供或不提供线D。因此，在一些实施例中，在运动估计 单元18中，自适应滤波36可以由来自线D的信息加以补充。
环内自适应维纳滤波机制是可升级的，并且可以扩展成除了自适 应滤波的图像之外还包括去块效应的图像，以作为运动估计阶段的参 考图像，如图3所示。这可以使参考图像的数量加倍以增加运动估计 的准确度，而无需从视频编码器侧发送更多的额外信息，因为去块效 应的图像在视频解码器侧总是可获得的。
类似地，图4所示的用于图3中的编码器的解码器与图2中的解 码器的区别在于增加了线E,线E将来自环内去块效应滤波器46的 输出通过延迟50提供给运动补偿单元48。
转到图5，编码器与图1中的编码器大致对应，差别在于延迟28被移到自适应滤波36的输入，而不是其输出。设置在去块效应滤波 器26之后的延迟28在每个图像时间为参考图像列表内的每个图像产 生多个自适应滤波器抽头。
利用位于去块效应26之后的延迟28，可以在每个图像时间基于 与緩冲器列表内的参考图像相对的当前输入图像重新计算自适应滤 波器抽头的产生。从而，视频编码器为每个参考图像更新滤波器抽头。
图6所示的对应解码器与图2中的解码器的区别在于，延迟50
不是如图2中的情况那样位于自适应滤波52的输出上。
接下来参考图7,编码器与图5中的编码器大致对应，差别在于
增加了图3中的线D。
图8中的用于图7的编码器的解码器对应于图6中的解码器，差
别在于增加了来自图4实施例的线E。
图9中的编码器与图1中的编码器的区别在于，统计特征釆集器
22的输出。然而，其功能基本保持相同，那就是减小残差C。
统计特征采集器34和自适应滤波36被添加到经运动补偿的图像 的输出以找到输入视频和经运动补偿的图像间的最小均方差的解。在 一些情况下，这导致更好的编码效率。在运动补偿之后的自适应滤波 独立于如图l-8所描绘的在运动估计单元18之前的自适应滤波。从而， 采集器34和滤波36的这个位置还可以作为图1-8的附加组件。
图10中的解码器(与图9中的编码器配合使用)与图2中的解 码器基本相同，差别在于自适应滤波52被移到运动补偿单元48的输 出，延迟单元50^皮移到环内去块效应滤波器46的输出，并且滤波器 抽头被直接提供到(运动补偿单元48的周围)自适应滤波单元52中 需要它们的位置，而运动矢量(MV)被提供给需要它们的运动补偿 单元48。
在一些实施例中，采用维纳滤波器的环内自适应滤波提高了去块效应的图像的质量，并且改善了用于运动估计阶段和下一个编码图像 的参考图像。维纳滤波器是熟知的用于处理因高斯噪声、才莫糊和失真 而降级的图像的最佳线性滤波器。将编码损失的压缩影响建模为随机 噪声添加到原始输入像素中，并且可以通过在环内应用维纳滤波器而 提高编码效率。然后，可以应用关于维纳滤波器抽头的信息作为图像 层面上的全局信息，并且在一些实施例中，这不是基于块的，并且与 重建的邻近像素没有连续相关性。
统计特征采集器34和环内自适应滤波36可以在重建的图像与原 始视频A之间产生更好的匹配以实现更好的编码效率。这些;f莫块的操 作可以基于一系列图像、 一个图像或图像内的一些区域。
采集器34对滤波器抽头的推导如下所述。
考虑输入像素Xk和维纳滤波器的输出Zk,其中维纳滤波器的输出
Zk由滤波器支集(filter support) {S}中的重建4象素yi组成，支集大小 为L+l,权为q。自适应(维纳)滤波器函数为
^ = 1>乂,
', [1] 输入像素Xk和经维纳滤波的像素Zk间的残差信号C定义为 ， h [2]
通过使具有滤波器抽头(cj的均方差最小化而优化维纳滤波器 c!. = arg min ￡{eAror/ ] [3 ]
其中E[]是感兴趣像素的残差信号的平方期望，感兴趣的像素可以是
来自 一系列图像、 一个图像或图像中的一些区域的像素。
五[^"0《]="(;一 a)2] = ￡[(Zjvc,)2] + ^[(&)2] —2五[(^x .c,)(&)]
,刺 ，刺 [4]
为了找到E[error。的最小值，对c;取导数。可以通过令导数等于
零而推导出滤波器抽头
4} [5] 下式[6]中的{y}的自相关函数以及下式[7]中的{y}和{x}的互相关
11函数表示为<formula>formula see original document page 12</formula>
式[5]可以用矩阵形式重写为
<formula>formula see original document page 12</formula>
从而，维纳滤波器抽头集合(C)可以用矩阵格式推导为<formula>formula see original document page 12</formula>其中在式[9]中，AS是自相关矩阵的逆矩阵。
统计特征采集器34通过以下方法确定权用式[6和7]来填充 式[8]的矩阵，然后进行式[9]的计算以确定权q。式[9]是指示维纳滤波 器的抽头的Ci值的最终答案。在一些实施例中，在整个图像上使用相 同的滤波器抽头，但是在帧-帧间或图像-图像间，抽头可以变化。
对于大小为1>1=(21+1)*(21+1)的不可分离滤波器，可以用下式 [10-ll]中的两维格式以表达式的形式指出(expressively index)式[6-7]:
<formula>formula see original document page 12</formula>
其中m、 n在(-1, 1 )的范围内。
式[6]和[10]中的自相关函数集可以在视频解码器侧获得，而式[7] 和[l 1]中的互相关则是在视频编码器侧导出的，因为输入(x)只可在视 频编码器侧获得。从而，将在式[9]中导出的滤波器抽头从视频编码器 传送到视频解码器。
在一些情况下，代替导出的滤波器抽头，互相关函数的传输就足 够了，
口J 。码去块的数据{y}而导出滤波器抽头。
在一个实施例中，还可以通过跳过接近图^f象边界的像素而实现更 精确的统计信息以提高编码效率。式[10-11]的右手边表示这种跳过。
还可以分别为每个亮度和每个色度通道推导出滤波器抽头。基于 仅对色度像素推导出的滤波器抽头而对色度图像实现更好的编码效 率。在一些情境中， 一个色度表可以由Cb和Cr这两个通道共享，或 者Cb和Cr可以分别使用两个独立的表。
在一些实施例中，在线维纳自适应滤波的编码效率可以优于仅应 用去块效应滤波器的情形。在此情况下，可以从核心编码环15中移 除去块效应滤波器。利用这种替换，可以在没有去块效应滤波器的情 况下产生图1-10中的任何系统。
式[10和11]的右侧是式[6和7]的两维近似值，其中排除了接近像 素边界的边缘像素。这可以提高图像质量，因为在图像边界，邻居的 缺少导致注尺寸的(dimensioned)值数据。
参考图11,在一个实施例中，图1-10中描绘的编码器和解码器 可以是图形处理器112的一部分。在一些实施例中，图1-10中所示的 编码器和解码器可以在硬件中实施，在其它实施例中，它们可以在软 件或固件中实施。在软件实施的情况下，相关代码可以存储在任何适 当的半导体、磁或光存储器中，包括主存储器132。因而，在一个实 施例中，源代码139可以存储在诸如主存储器132的机器可读介质中， 供诸如处理器100或图形处理器112的处理器执行。
计算机系统130可以包括通过总线104耦合到芯片组核心逻辑 110的石更盘驱动器134和可移动介质136。在一个实施例中，核心逻 辑可以耦合到图形处理器112 (通过总线105)和主处理器100。图形 处理器112还可以通过总线106耦合到帧緩冲器114。帧緩冲器114 可以通过总线107耦合到显示屏118，而显示屏118又可通过总线108 耦合到诸如键盘或鼠标120的常规组件。
图1-10中所示的块可以构成硬件或软件组件。在软件组件的情况下，这些图可以表示可存储在计算机可读介质中的指令序列，其中计 算机可读介质可以是例如半导体集成电路存储器、光存储设备、或磁
存储设备。在此情况下，指令可由从存储设备^r索指令并执行这些指 令的计算机或基于处理器的系统来执行。在一些情况下，指令可以是 固件，其可以存储在适当的存储介质中。执行这些指令的一个结果是 提高最终显示在显示屏上的图像的质量。
整篇说明书中提到"一个实施例"或"实施例"时是指结合该实施例 描述的特定特征、结构或特性包含在本发明所涵盖的至少一个实施 中。因而，出现短语"一个实施例"或"在实施例中"时不一定指相同的 实施例。而且，这些特定特征、结构或特性可以用不同于所说明的特 定实施例的其它适当的形式设立，并且所有这些形式都可以包含在本 申请的斥又利要求内。
虽然关于有限数量的实施例描述了本发明，但是本领域的技术人 员可由此明白多种修改和变化。希望随附权利要求涵盖所有这些落入 本发明的真正精神和范围内的修改和变化。
权利要求
1、一种用于编码视频的方法，包括在视频编码器中使用环内自适应维纳滤波器以提高编码效率。
2、 如权利要求1所述的方法, 用所述维纳滤波器。
3、 如权利要求l所述的方法， 用所述维纳滤波器。
4、 如权利要求1所述的方法, 块效应滤i器。
5、 如权利要求1所述的方法, 设置所述维纳滤波器的抽头。
6、 如权利要求1所述的方法,包括:纳滤波器以提高编码 包括在运动估计单元的输入上使包括在运动补偿单元的输出上使包括使用所述维纳滤波器代替去包括基于对图像内像素的分析来包括基于对排除图像边界周围的像素的像素分析来设置所述维纳滤波器的抽头。
7、 如权利要求1所述的方法，包括通过延迟元件将去块效应滤 波器连接到运动估计单元，并与所述维纳滤波器并联。
8、 如权利要求l所述的方法，包括基于图像内的像素强度来计 算用于校正重映射像素的系数。
9、 如权利要求l所述的方法，包括调整所述滤波器的抽头以便 使由当前图像与预测图像之间的差构成的误差最小化。
10、 如权利要求l所述的方法，包括在所述维纳滤波器的输出上 提供延迟元件。
11、 如权利要求l所述的方法，包括在去块效应滤波器的输出上 提供延迟元件。
12、 一种编码器，包括差分脉冲编码调制环，包含运动估计级和运动补偿级以及用于提 高所述编码器的编码效率的环内自适应维纳滤波器；以及 耦合到所述环的量化单元。
13、 如权利要求12所述的编码器，包括耦合到所述运动估计级的输入的所述维纳滤波器。
14、 如权利要求12所述的编码器，包括在所述运动补偿级的输 出上的所述维纳滤波器。
15、 如权利要求12所述的编码器，其中所述环不包括去块效应 滤波器。
16、 如权利要求12所述的编码器，所述编码器基于对图像内像 素的分析来设置所述维纳滤波器的抽头。
17、 如权利要求12所述的编码器，其基于对排除接近图像边界 的像素的像素分析来设置所述维纳滤波器的抽头。
18、 如权利要求12所述的编码器，包括延迟元件，其中通过所 述延迟元件将所述去块效应滤波器耦合到所述运动估计级，并与所述 维纳滤波器并联。
19、 如权利要求12所述的编码器，其基于所述图像内的像素强 度来计算用于校正重映射像素的系数。
20、 如权利要求12所述的编码器，其调整所述滤波器的抽头以 便使由当前图像与预测图像之间的差构成的误差最小化。
21、 如权利要求12所述的编码器，包括在所述维纳滤波器的输 出上的延迟元件。
22、 如权利要求12所述的编码器，包括在所述去块效应滤波器 的输出上的延迟元件。
23、 一种解码器，包括 环内自适应维纳滤波器；以及 耦合到所述滤波器的反量化单元。
24、 如权利要求23所述的解码器，包括延迟元件、环内去块效 应滤波器和运动补偿单元，所述去块效应滤波器通过所述延迟元件耦 合到所述单元。
25、 如权利要求23所述的解码器，其中延迟元件耦合到所述维 纳滤波器的输入。
26、 如权利要求23所述的解码器，其中延迟元件耦合到所述维纳滤波器的输出。
27、 如权利要求23所述的解码器，包括运动补偿级，其中所述 滤波器耦合到运动补偿级的输出。
28、 如权利要求23所述的解码器，包括运动补偿级，其中所述 滤波器耦合到所述运动补偿级的输入。
全文摘要
一种视频编码器可以在核心视频编码环内使用自适应维纳滤波器以提高编码效率。在一个实施例中，维纳滤波器可以在运动估计单元的输入上，而在另一个实施例中，它可以在运动补偿单元的输出上。维纳滤波器的抽头可以基于图像内的至少一个区域的像素强度的特性而确定。从而，滤波可以是自适应的，因为它可以基于正在处理的视频的类型而变化。
文档编号H04N7/26GK101568033SQ200910141918
公开日2009年10月28日 申请日期2009年4月9日 优先权日2008年4月9日
发明者L·徐, Y·-J·邱 申请人:英特尔公司