专利名称：用于视频编码及解码的环内自适应维纳滤波器的制作方法
技术领域：
本发明一般涉及编解码器或视频编码器及解码器。
背景技术：
视频编码器压缩视频信息以便可以在给定带宽上发送更多的信息。然后，可以将经过压缩的信号传送到接收器，信号在经接收器解码或解压缩之后用于显示。常规的视频编码算法会导致损失。也就是说，在压缩视频信息的过程中，一些信息可能会丢失，从而导致图像质量下降。理想的是，尽最大可能改善视频质量，并且尽最大可能增加压缩。然而，这两个目标往往是彼此矛盾的。
发明内容
本发明涉及一种用于编码视频的方法，包括:
在视频编码器中使用环内自适应维纳滤波器以提高编码效率。该方法包括基于通过排除图像边界周围的像素而对像素进行分析来设置维纳滤波器的抽头。该方法包括将去块效应滤波器通过延迟元件连接到运动估计单元，并与所述维纳滤波器并联。本发明涉及一种编码器，包括:
差分脉冲编码调制环，包含运动估计级和运动补偿级以及用于提高所述编码器的编码效率的环内自适应维纳滤波器；以及耦合到所述环的量化单元。该编码器包括延迟元件，其中去块效应滤波器通过延迟元件耦合到运动估计级，并与所述维纳滤波器并联。本发明涉及一种解码器，包括:
环内自适应维纳滤波器；以及 耦合到所述滤波器的反量化单元。
图1是依据一个实施例的编码器的示意 图2是依照一个实施例与图1中所示的编码器结合使用的解码器的示意 图3是依照本发明另一实施例的另一个编码器的示意 图4是依照一个实施例与图3中的编码器结合使用的解码器的视 图5是依照本发明一个实施例的编码器的另一个实施例；
图6是依照一个实施例与图5中的编码器配合使用的解码器的视 图7是依照本发明另一实施例的编码器的视 图8是依照一个实施例与图7中所示的编码器配合使用的解码器的视图； 图9是依照本发明另一实施例的编码器的视 图10是与图9中的编码器配合使用的解码器的视图；以及 图11是一个实施例的系统视图。
具体实施例方式参考图1，可以从当前视频块10中以多个图像或帧的形式提供当前视频信息。当前视频被传递到差分单元11。差分单元11是差分脉冲编码调制(DPCM)(又称为核心视频编码)环15的一部分，差分脉冲编码调制环15包括运动补偿级(stage) 22和运动估计级
18。环15还可以包括内部预测级20、内插级24、以及延迟线28。在一些情况下，环15中还可以使用环内去块效应滤波器(in-loop de-blocking filter) 26。当前视频被提供到差分单元11以及运动估计级18。运动补偿级22或内插级24通过开关23在B处产生输出，然后将该输出从A处的当前视频10中减去以在C处产生残差(residual)。接着,残差在块12处进行变换及量化,并在块14中进行熵编码。在块16处产生通道输出。运动补偿或内插的输出还被提供给加法器33，加法器33接收来自反量化单元30和反变换单元32 (它们消除了单元12的变换及量化)的输入。反变换单元32将去量化及去变换后的(dequantized and detransformed)信息提供回给环15。“编码效率”是对DPCM环15减少来自环的预测图像B与当前图像A之间的残差或差(difference)的有效程度的指不。编码效率影响最终的图像质量。图1中的编码器可以符合例如H.264 (高级视频编解码(AVC)和MPEG-4第10部分)压缩标准。H.264标准是由联合视频工作组(JVT)制定的，JVT包括又称为VCEG (视频编码专家组)的ITU-T SG16 Q.6和称为MPEG (运动图像专家组)的ISO-1EC JTC1/SC29/WG1K2003)。作为示例，H.264被设计为用于在数字TV广播、直播卫星视频、数字用户线路视频、交互式存储介质、多媒体传讯、数字地面TV广播、以及远程视频监视等领域中应用。虽然一个实施例可以符合H.264视频编码，但本发明并不受此限制。而是，实施例可以用于多种视频压缩系统，包括MPEG-2 (IS0/IEC 13818-1(2000) MPEG-2，可从瑞士日内瓦的国际标准化组织获得)和VCl (SMPTE 42IM(2006)，可从SMPTE White Plains, NY10601 获得)。基于块的编码可以对运动补偿或内插后的块的残差C应用变换量化单元12、运动估计单元18、以及熵编码单元14。宏块可以包括16X16亮度(Iuma)像素。宏块还可以进一步分割成较小的16X8、8X16和8X8的块。每个8X8的块称为子宏块，它还可以进一步分成更小的8X4、4X8和4X4的块。H.264允许用户使用从由多个图像组成的两个参考列表中的参考图像得到的运动补偿预测。量化单元12执行有损处理来压缩数据速率，从而以图像质量为代价满足应用的带宽要求。在量化处理过程中丢失的信息是不可恢复的，因而会观察到编码伪影，例如块效应噪声。在一些实施例中，环内去块效应滤波器26可以使运动估计和运动补偿的图像部分
变得平滑。环内自适应滤波36可以通过维纳滤波器来实现。维纳滤波器是一种在源信号与通过随机噪声建模的预测信号之间实现最小均方差的滤波器。对于编码器，“环内(in-loop)”是指差分脉冲编码调制环中输出被反馈回到差分单元的任何模块、级或单元。用于将环内解码的结果进行解码的解码器的相应部分也属于“环内”。“自适应滤波”是指滤波随内容而定或是基于对图像的一部分、整个图像、或者多个连续图像的像素强度的分析。例如，所接收的视频信息的类型可以是图形或流视频，对于不同类型的视频，这导致维纳滤波器具有不同的抽头(tap)。因而，自适应滤波器抽头是检查给定图像部分、图像或图像系列中的每个像素的强度的结果。自适应滤波36从统计特征采集器34、并且在一个实施例中从去块效应滤波器26中接收输入。在一个实施例中，通过延迟单元28将其输出提供给运动补偿单元22和运动估计单元18。因而，对运动估计和运动补偿级18和22的输入应用自适应滤波36。在一个实施例中，统计特征采集器34接收来自去块效应滤波器26的输入，并接收线A上的当前视频。统计特征采集器34计算权Ci，将权Ci应用到重建映射后的像素yi。利用权Ci来计算进行自适应滤波36的维纳滤波器的滤波器抽头。统计特征采集器34分析图像的每个像素，并确定图像的某个区域上或多个图像上的像素组在强度上如何变化以确定正在接收何种类型的视频以及应当进行何种自适应滤波。基于此信息，可以设置自适应滤波单元36中的维纳滤波器的滤波器抽头以减小C处的所得残差。下面参考图2，用于图1中的编码器的解码器包括耦合到熵解码单元40的通道输入38。来自解码单元40的输出被提供给反量化单元42和反变换单元44以及自适应滤波单元52。自适应滤波单元52耦合到延迟单元50以及运动补偿单元48。熵解码单元40的输出还被提供给内插单元54，然后流向选择开关23。接着，来自反变换单元44的信息和来自运动补偿单元48或内插单元54 (由开关23选择)的信息被相加并被提供给环内去块效应单元46。然后，环内去块效应单元46的输出被反馈回给自适应滤波52。自适应滤波52也可以使用维纳滤波器。来自编码操作的输出可以包括具有指示关于编码器的自适应滤波所使用的滤波器抽头的信息的报头的帧。然后，利用该报头信息来设置自适应滤波52中的适当的滤波器抽头。图3中的编码器类似于图1中的编码器。最明显的区别在于，在图3中，线D从环内去块效应滤波器26通过迟延28 —路到运动估计单元18。在一些实施例中，线D可以开关或可有开关控制，以便可以根据需要提供或不提供线D。因此，在一些实施例中，在运动估计单元18中，自适应滤波36可以由来自线D的信息加以补充。环内自适应维纳滤波机制是可升级的，并且可以扩展成除了自适应滤波的图像之外还包括去块效应的图像，以作为运动估计阶段的参考图像，如图3所示。这可以使参考图像的数量加倍以增加运动估计的准确度，而无需从视频编码器侧发送更多的额外信息，因为去块效应的图像在视频解码器侧总是可获得的。类似地，图4所示的用于图3中的编码器的解码器与图2中的解码器的区别在于增加了线E，线E将来自环内去块效应滤波器46的输出通过延迟50提供给运动补偿单元48。转到图5，编码器与图1中的编码器大致对应，差别在于延迟28被移到自适应滤波36的输入，而不是其输出。设置在去块效应滤波器26之后的延迟28在每个图像时间为参考图像列表内的每个图像产生多个自适应滤波器抽头。
利用位于去块效应26之后的延迟28，可以在每个图像时间基于与缓冲器列表内的参考图像相对的当前输入图像重新计算自适应滤波器抽头的产生。从而，视频编码器为每个参考图像更新滤波器抽头。图6所示的对应解码器与图2中的解码器的区别在于，延迟50被移到环内去块效应滤波器46的输出以及自适应滤波52的输入，而不是如图2中的情况那样位于自适应滤波52的输出上。接下来参考图7，编码器与图5中的编码器大致对应，差别在于增加了图3中的线D0图8中的用于图7的编码器的解码器对应于图6中的解码器，差别在于增加了来自图4实施例的线E。 图9中的编码器与图1中的编码器的区别在于，统计特征采集器34和自适应滤波器36从运动估计单元18的输入移到了运动补偿单元22的输出。然而，其功能基本保持相同，那就是减小残差C。统计特征采集器34和自适应滤波36被添加到经运动补偿的图像的输出以找到输入视频和经运动补偿的图像间的最小均方差的解。在一些情况下，这导致更好的编码效率。在运动补偿之后的自适应滤波独立于如图1-8所描绘的在运动估计单元18之前的自适应滤波。从而，采集器34和滤波36的这个位置还可以作为图1-8的附加组件。图10中的解码器(与图9中的编码器配合使用)与图2中的解码器基本相同，差别在于自适应滤波52被移到运动补偿单元48的输出，延迟单元50被移到环内去块效应滤波器46的输出，并且滤波器抽头被直接提供到(运动补偿单元48的周围)自适应滤波单元52中需要它们的位置，而运动矢量(MV)被提供给需要它们的运动补偿单元48。在一些实施例中，采用维纳滤波器的环内自适应滤波提高了去块效应的图像的质量，并且改善了用于运动估计阶段和下一个编码图像的参考图像。维纳滤波器是熟知的用于处理因高斯噪声、模糊和失真而降级的图像的最佳线性滤波器。将编码损失的压缩影响建模为随机噪声添加到原始输入像素中，并且可以通过在环内应用维纳滤波器而提高编码效率。然后，可以应用关于维纳滤波器抽头的信息作为图像层面上的全局信息，并且在一些实施例中，这不是基于块的，并且与重建的邻近像素没有连续相关性。统计特征采集器34和环内自适应滤波36可以在重建的图像与原始视频A之间产生更好的匹配以实现更好的编码效率。这些模块的操作可以基于一系列图像、一个图像或图像内的一些区域。采集器34对滤波器抽头的推导如下所述。考虑输入像素Xk和维纳滤波器的输出zk，其中维纳滤波器的输出Zk由滤波器支集(filter support) {S}中的重建像素Yi组成,支集大小为L+1,权为q。自适应(维纳)滤波器函数为::dr.,4:[I]
输入像素Xk和经维纳滤波的像素Zk间的残差信号C定义为:
emn\ --Zk — Xj[2]
通过使具有滤波器抽头IcJ的均方差最小化而优化维纳滤波器:
权利要求
1.一种解码器，包括: 环内自适应维纳滤波器；以及 耦合到所述滤波器的反量化单元。
2.如权利要求1所述的解码器，包括延迟元件、环内去块效应滤波器和运动补偿单元，所述去块效应滤波器通过所述延迟元件耦合到所述单元。
3.如权利要求1所述的解码器，其中延迟元件耦合到所述维纳滤波器的输入。
4.如权利要求1所述的解码器，其中延迟元件耦合到所述维纳滤波器的输出。
5.如权利要求1所述的解码器，包括运动补偿级，其中所述滤波器耦合到运动补偿级的输出。
6.如权利要求1所述的解码器，包括运动补偿级，其中所述滤波器耦合到所述运动补偿级的输入。
7.一种用于使用自适应滤波的视频解码的计算机实现的方法，所述方法包括: 在输入上执行反量化； 使用执行反量化的结果来执行反变换； 在输入上执行运动补偿； 使来自执行运动补偿的结果和来自执行反变换的结果相加； 对来自相加的结果进行去块效应滤波； 在至少部分基于来自去块效应滤波的结果的数据上应用自适应滤波； 提供来自应用自适应滤波的结果作为对执行运动补偿的输入；以及 基于应用自适应滤波的结果提供可用于显示的输出图像。
8.如权利要求7所述的方法，其中提供来自应用自适应滤波的结果作为对执行运动补偿的输入包括选择性地延迟来自应用自适应滤波的结果作为对执行运动补偿的输入。
9.如权利要求7所述的方法，其中应用自适应滤波包括基于图像的一部分、整个图像、或多个连续图像进行滤波。
10.如权利要求7所述的方法，其中应用自适应滤波包括减小源信号与通过随机噪声建模的预测信号之间的均方差。
11.如权利要求7所述的方法，其中来自应用自适应滤波的结果包括参考图像。
12.如权利要求7所述的方法，其中应用自适应滤波包括应用维纳滤波。
13.—种包括存储于其上的指令的计算机可读介质，所述指令当被处理器执行时，使所述处理器: 在输入上执行反量化； 在执行反量化的结果上执行反变换； 在输入上执行运动补偿； 使来自执行运动补偿的输出和来自执行反变换的输出相加； 在总和上执行去块效应滤波； 使用至少部分基于来自执行去块效应滤波的输出的数据执行自适应滤波；以及 提供来自执行自适应滤波的反馈作为对执行运动补偿的输入。
14.如权利要求13所述的计算机可读介质，其中为了提供来自执行自适应滤波的反馈作为对执行运动补偿的输入，所述处理器引起所述反馈的延迟。
15.如权利要求13所述的计算机可读介质，其中为了执行自适应滤波，所述处理器基于图像的一部分、整个图像、或多个连续图像执行滤波。
16.如权利要求13所述的计算机可读介质，其中为了执行自适应滤波，所述处理器减小源信号与通过随机噪声建模的预测信号之间的均方差。
17.如权利要求13所述的计算机可读介质，其中所述反馈包括参考图像。
18.如权利要求13所述的计算机可读介质，其中为了执行自适应滤波，所述处理器执行维纳滤波。
19.如权利要求13所述的计算机可读介质，还包括指令，所述指令当被处理器执行时，使所述处理器: 提供执行自适应滤波的输出用于显示。
20.—种设备,包括: 用于在输入上执行反量化的部件； 用于在用于执行反量化的部件的输出上执行反变换的部件； 用于在输入上执行运动补偿的部件； 用于使来自用于执行运动补偿的部件的结果和来自用于执行反变换的部件的结果相加的部件； 用于对来自用于相加的部件的结果进行去块效应滤波的部件； 用于使用至少部分基于来自用于去块效应滤波的部件的结果的数据来应用自适应滤波的部件；以及 用于将来自用于应用自适应滤波的部件的反馈提供给用于执行运动补偿的部件的部件。
21.如权利要求20所述的设备，还包括: 用于将用于应用自适应滤波的部件的输出提供给显示器的部件。
22.一种用于解码视频的设备，所述设备包括: 反量化逻辑； 用于接收所述反量化逻辑的输出的反变换逻辑； 解码器环，所述解码器环包括: 运动补偿逻辑； 用于使来自所述运动补偿逻辑的输出和来自所述反变换逻辑的输出相加的加法器； 用于接收来自所述加法器的总和的去块效应滤波器；以及 自适应滤波器，其中所述自适应滤波器被耦合以接收至少部分基于来自所述去块效应滤波器的输出的数据，并且将反馈提供给所述运动补偿逻辑。
23.如权利要求22所述的设备，还包括缓冲器并且其中所述自适应滤波器通过所述缓冲器将反馈提供给所述运动补偿逻辑。
24.如权利要求22所述的设备，其中所述自适应滤波器基于图像的一部分、整个图像、或多个连续图像进行滤波。
25.如权利要求22所述的设备，其中所述自适应滤波器减小源信号与通过随机噪声建模的预测信号之间的均方差。
26.如权利要求22所述的设备，其中所述自适应滤波器的不同抽头用于不同类型的视频。
27.如权利要求22所述的设备，其中所述反馈包括参考图像。
28.如权利要求22所述的设备，其中所述自适应滤波器包括维纳滤波器。
29.—种系统,包括: 显示接口 ； 至少一个存储器；以及 视频解码器，所述视频解码器通信地耦合到所述显示接口和所述至少一个存储器，所述视频解码器包括: 反量化逻辑； 用于接收所述反量化逻辑的输出的反变换逻辑； 运动补偿逻辑； 用于使来自所述运动补偿逻辑的输出和来自所述反变换逻辑的输出相加的加法器； 用于接收来自所述加法器的总和的去块效应滤波器；以及 自适应滤波器，其中所述自适应滤波器被耦合以接收至少部分基于来自所述去块效应滤波器的输出的数据，并且将反馈提供给所述运动补偿逻辑。
30.如权利要求29所述的系统，还包括缓冲器并且其中所述自适应滤波器通过所述缓冲器将反馈提供给所述运动补偿逻辑。
31.如权利要求29所述的系统，其中所述自适应滤波器基于图像的一部分、整个图像、或多个连续图像进行滤波。
32.如权利要求29所述的系统，其中所述自适应滤波器减小源信号与通过随机噪声建模的预测信号之间的均方差。
33.如权利要求29所述的系统，其中所述自适应滤波器的不同抽头用于不同类型的视频。
34.如权利要求29所述的系统，其中所述反馈包括参考图像。
35.如权利要求29所述的系统，其中所述自适应滤波器包括维纳滤波器。
36.如权利要求29所述的系统，还包括通信地耦合到所述显示接口的显示器。
37.如权利要求29所述的系统，还包括接口以接收压缩的视频流并且将所述压缩的视频流提供给所述视频解码器。
全文摘要
一种视频编码器可以在核心视频编码环内使用自适应维纳滤波器以提高编码效率。在一个实施例中，维纳滤波器可以在运动估计单元的输入上，而在另一个实施例中，它可以在运动补偿单元的输出上。维纳滤波器的抽头可以基于图像内的至少一个区域的像素强度的特性而确定。从而，滤波可以是自适应的，因为它可以基于正在处理的视频的类型而变化。
文档编号H04N7/26GK103152579SQ20131009864
公开日2013年6月12日 申请日期2009年4月9日 优先权日2008年4月9日
发明者Y.-J.邱, L.徐 申请人:英特尔公司