专利名称：改善视频质量的方法和装置的制作方法
技术领域：
本发明通常涉及数字视频处理，特别涉及包括进行编码和解码的数字视频编码。
背景技术：
数字视频编码包括各种步骤，诸如但不限于在运动补偿残余或帧内内插块上的变 换、量化、运动估计、环内去块滤波和熵编码。这些步骤是分别由各个装置进行实施的。为 了获得更好的编码效率，在诸如H. 264/AVC的视频标准内，基于块的DPCM(差分脉冲编码调 制)技术适用于这些步骤。数字视频内的图像质量是通过主观质量和客观质量进行测量的。主观质量是由观 察者如何感觉图像以及观察者如何通过比较视频里发现的失真说出哪个视频有较好的图 像质量来进行测量。使用基于块的DPCM技术，块效应被引入到视频图像内，因而需要进行 消除。消除块效应的步骤通常被称为去块效应。在基于块的技术里，视频像素通过视频压 缩逐个块地进行编码。这些块被逆变换并被解码以重建图像。客观质量是通过诸如峰值信噪比(PSNR)的参数进行测量。视频图像里存在的噪 声越多，PSNR越低，将越不能令人满意。有各种类型的噪声，如高斯噪声、量化噪声，通常期 望能够抑制这些噪声。为了提高主观质量，设计一个环内去块滤波来消除视频编码标准H. 264/AVC里的 块效应。设计这种环内去块滤波的一种方法是使用一组预设的低通滤波器。低通滤波器在 List, P. ；Joch, A. ；Lainema, J. ；Bjontegaard, G. ；Karczewicz, M. , Adaptive Deblocking Filter, IEEE Trans. CSVT，Vol. 13，No. 7，2003里有描述。低通滤波器假设平滑图像模型， 并能够去除块效应。但是，平滑图像模型不会总是适用的。视频图像可能包含许多奇异点， 如边缘、纹理等，并且低通滤波器不能适当处理这些奇异点，因为低通滤波器可能会平滑这 些奇异点。设计环内去块滤波的另一种方法是使用一个非线性双边滤波器。非线性双边 ist ^ ^ ^ C. Tomasi. R. Manduchi, Bilateral filtering for gray and color images, Proceedings of IEEE Int. Conf. Computer Vision，1998 里有描述，其用来解决低通滤波 器在处理奇异值时的缺点，因为非线性双边滤波器在去除块效应和振铃效应时非常有效， 同时保持奇异点的锐度，如边缘。但是，低通滤波器和非线性双边滤波器都不具有频率选择 性，从而不能最优地抑制高斯噪声。为了提高客观质量，维纳滤波器可以用来抑制视频里的高斯噪声、模糊和失真。维 纳滤波器也提供进一步的应用，如通过确定运动估计或运动补偿模块里半像素层或四分之 一像素层上的内插滤波器系数，从而改善视频编码标准H. 264/AVC的编码效率，以获得更 好的图像预测。但是，维纳滤波器不能消除块效应，从而无法改善主观图像质量。因此需要一种环内滤波，其能够优化主观质量和客观质量。发明概述本发明不仅在去除块效应和振铃效应以改善主观质量方面有效，而且能够实现峰 值信噪比(PSNR)增益以改善客观质量，同时能够降低比特率以保持编码效率。本发明适用 于各种编码方法和编码结构，如IPPP、IBBP和分层B。本发明能够考虑在每个视频帧内不同区域上的不同特性以进一步改善图像质量。 为了实现这种改善，本发明将每个帧里的像素分类成增强像素或恢复像素以确定其类型。 像素是增强像素还是恢复像素是依照上下文特征如边界强度来确定的。为了增强这种分类 的效率，本发明的一个实施例使用基于块的像素分类而不是样本层的像素分类以降低计算 复杂性。使用基于块的像素分类同样能够增强编码性能，从而需要较低的比特率。本发明结合线性图像滤波和非线性图像滤波以改善客观和主观方面的图像质量。 通过结合线性图像滤波和非线性图像滤波，本发明不仅考虑了像素样本的光度相似度，而 且考虑了几何贴近度或空间排序统计。本发明使用一个相似度函数以将一个非线性滤波变换成一个非线性相似度排序 统计滤波来考虑光度相似度。此外，本发明结合一个线性滤波如自适应维纳滤波和非线性 相似度排序统计滤波，其通过连接线性滤波和非线性相似度排序统计滤波来处理几何贴近 性或空间排序统计。通过确定最优权重向量以最小化一个代价函数，本发明适合奇异点以更好地保持 边缘。通过在重建帧和原始帧之间使用一个最小均方差(LMSE)准则，来优化统一环路滤波 器，并适用于每个帧。通过依照像素分类结果选择不同特性的滤波器，使得统一环路滤波器 适用于不同类型的像素。滤波器属性如滤波器抽头类型和滤波器抽头长度，是基于率失真 优化进行选择以最小化滤波后的图像和原始图像之间的失真。为了进一步增强编码效率， 可以采用滤波器的对称性。滤波器属性如滤波器抽头类型和滤波器系数量化比特被编码， 然后传输到解码端。统一环路滤波器适用于任何混合视频编码系统，如H. 264/AVC，KTA或AVS，并且统 一环路滤波器能够代替传统视频编解码器内的去块环路滤波器。如以下实施例所述，本发明的其它方面也将进行披露。
参照以下附图，其后将详细描述本发明的目的、方面和实施例，其中图1显示一个统一环路滤波器的典型实施例；图2显示如何确定像素是增强像素或是恢复像素的一个典型实施例的流程图；图3A显示为一个图像亮度(Y)分量的增强像素配置的滤波器抽头的一个实施 例；图3B显示为一个图像色度(Cr或Cb)分量的增强像素配置的滤波器抽头的一个 实施例；图4A显示为一个图像亮度(Y)分量的恢复像素配置的滤波器抽头的一个实施 例；图4B显示为图像色度(Cr或Cb)分量的恢复像素配置的滤波器抽头的一个实施 例；
图5显示编码器上一个统一环路滤波过程的流程图；图6显示解码器上一个统一环路滤波过程的流程图；图7显示一个具有统一环路滤波的视频编码系统的实施例的模块示意图。
发明详述图1显示本发明一个统一环路滤波的典型实施例。统一环路滤波处理一个进行高 性能视频编码后的输入信号。统一环路滤波包括一个像素类型确定单元110、一个相似度变 换单元120、和一个集成单元130。像素类型确定单元110根据将被滤波的像素的上下文特征来确定像素类型。确定 像素类型，使得具有较高量化误差的像素能够被识别，并分别进行处理。具有高量化误差的 像素有可能是那些靠近区块边界或区块转角的像素。例如，像素可以被分成两种类型增强 像素和恢复像素。增强像素是具有块效应的边界像素。恢复像素是那些不是增强像素的像 素。像素类型的确定是基于像素的上下文特征进行的，如边界强度(BS)。换言之，具有块效 应的区块边界周围的像素被分类成增强像素。图2显示一个为根据H. 264/AVC编码标准确定一个像素是增强像素或是恢复像素 的典型实施例的流程图。为了确定像素是增强像素还是恢复像素，有许多分类方法，如块级 像素分类和样本级像素分类。在一个实施例里，块级像素分类被用来降低计算复杂性。为 了便于描述，以一个图像内的两个相邻块作为例子。这两个块是块P201和块Q202。由于 增强像素被定义为边界像素，因此对整个确定过程选择步骤211仅考虑块P201和块Q202 之间的边界像素。块P201和块Q202之间的边界强度(BS)是通过使用图2内的流程进行 确定。确定边界强度(BS)的详情在 Lou，J. Jagmohan, A. ；He, D ；Lu, L. ；Sun, M. T, H. 264 Deblocking Speedup, IEEETrans. CSVT，Vol. 19，No. 8,2009 里有描述，在此其披露通过引用 被结合到本发明。如果块P201和块Q202之间的边界强度(BS)大于0，那么在块边界周围 的像素则被分类成增强像素，否则，那些块边界像素和内部块像素被分类成恢复像素。尽管 该技术是示范性的，但应该理解，在本发明里可以使用任何能够准确确定边界强度的技术。在确定像素是增强像素或是恢复像素之后，就可以获得一张像素分类图，并被提 供到统一环路滤波100以通过像素确定单元110进行进一步的处理。相似度变换单元是将一个非线性图像滤波器部分(图中未显示)变换成一个非线 性相似度排序统计型图像滤波器部分131，以对一个来自编码器或解码器输出的重建信号 进行滤波。非线性图像滤波器部分是这样一个滤波器，其能够有效地去除图像噪声，如高斯 噪声、块效应和振铃效应，并保持边缘锐度。非线性图像滤波器部分的一个典型实施例是一 个排序统计型滤波器，但本发明并不仅限于此。非线性图像滤波器部分的变换是由相似度变换单元120执行的，通过将非线性图 像滤波器部分转换成一个滤波器，其使一个非线性滤波器能够与一个线性滤波器结合。形 成的滤波器是一个非线性滤波器，其能够以最小化均方差被优化。该滤波器的一个实施例 是但不限于是一个非线性相似度排序统计型图像滤波器部分131。一个线性滤波器的常用函数是y = WX。y是线性滤波器的输出，W是线性滤波器系 数向量，而X是观察向量。而不是直接使用观察向量X= (X1,X2,…，xM)T，我们使用排序统 计向量I。排序统计向量被定义为\ = (x⑴，x(3),…，X(m))t，其中\的元素是升序排列x⑴(x⑵ x(M)。因此，排序统计滤波的输出是 其中是M个被优化的滤波器系数的向量。在一个实施例里，仅有一个小权重被 赋予排序统计的极限阶，以增强出现奇异点时滤波的强健性。这是因为奇异点倾向位于排 序统计的极限阶。但是，排序统计信息仅提供像素奇异点的有限指示。在另一个实施例里，为了引入 如双边滤波器中的光度相似度信息，需要将观察向量X变换成相似度统计向量X’ = (X’ ” X’ 2，…，x’ m)T。相似度变换被定义为 其中f (X。，Xi)是相似度函数，其将比较两个样本，当两者之间的强度差值降低时， 两个样本之间的相似度增加。实数相似度函数必须满足以下约束d.limkbn f(a,b) = 1， 相似度函数的例子包括均勻函数、高斯函数和三角函数。以下相似度函数被用来 合并双边滤波 其中5是控制相似度变换强度的扩散参数，而Clip (x，y，z)是一个夹在x和y之 间的z值的函数。在相似度变换之后，通过使用以下规则，相似度统计向量X’还被排序以形成相似 度排序统计向量Xs= (x’⑴，x’⑵，…，x’ (m))t 接着，相似度排序统计滤波的输出变成 集成单元130将合并非线性相似度排序统计型图像滤波部分131和一个线性图像 滤波部分132。线性图像滤波部分132是一个线性滤波器，其能够处理因压缩引起的高斯噪 声、模糊和失真导致退化的图像。在一个实施例里，线性图像滤波132是一个维纳滤波器， 维纳滤波器的输出由以下等式提供 其中Wi是N个被优化的滤波器系数的向量，其通过使用最小均方差(LMSE)算法获得。非线性相似度排序统计型图像滤波部分131与一个线性图像滤波部分132合并， 除光度相似度之外，其允许非线性相似度排序统计型图像滤波部分131考虑像素样本的几 何贴近度或空间排序统计。在一个实施例里，等式8的线性维纳滤波器与等式7的非线性 相似度排序统计滤波器连接，反之亦然。统一环路滤波变成 其中Xu = (x，⑴，x，⑵，…，x，(M), Xl，x2,…，xn)t, Wu是一个M+N个被优化的滤 波器系数的向量。通过使用一个信号质量优化单元140以优化滤波性能，统一环路滤波101被进一 步优化。优化涉及确定最优的权重向量W以最小化一个具体代价函数。在一个实施例里，均方差被用作代价函数，以至代价函数可被微分，从而改善客观和主观质量。对统一环路滤波 器里的空间排序和相似度排序统计的线性合并，以下通过最小化均方差，可以实现优化 其中X。是原始视频帧。统一环路滤波器101还包括一个滤波器抽头选择单元150。基于由像素分类确定 单元110获得的像素分类图，通过使用滤波器抽头选择单元150，对各种类型的像素，统一 环路滤波器101被优化。(1)增强像素图3(A)显示为图像量度(Y)分量的增强像素配置的滤波器抽头的一个实施例。滤 波器抽头以这样的方式设置，使得着重去块增强，同时考虑恢复。在一个实施例里，非线性 相似度排序统计型图像滤波部分131以诸如钻石型滤波器的形式被选择，其有一个抽头尺 寸，如5抽头315，并且线性图像滤波部分132以诸如象限对称的钻石型滤波器的形式被选 择，其有一个滤波器抽头长度，如一抽头321、5抽头325、7抽头327和9抽头329。图3B显示为图像色度(Cr或Cb)分量的增强像素配置的滤波器抽头的一个实施 例。在一个实施例里，非线性相似度排序统计型图像滤波部分131以钻石型滤波器的形式 被选择，其有一个滤波器抽头长度，如3抽头333，并且线性图像滤波部分132以象限对称的 钻石型滤波器的形式被选择，其有一个滤波器抽头长度，如一抽头341和5抽头345。(2)恢复像素图4A显示为图像亮度(Y)分量的恢复像素配置的滤波器抽头的一个实施例。滤 波器抽头以这样的方式设置，使得恢复得到加强，同时考虑去振铃效应。在一个实施例里， 非线性相似度排序统计的图像滤波部分131以十字型滤波器的形式被选择，其滤波器抽头 长度如5抽头415，而线性图像滤波分132以中心点对称的钻石型滤波器的形式被选择，其 滤波器抽头长度如5抽头425、7抽头427和9抽头429。图4B显示为图像色度(Cr或Cb)分量的恢复像素配置的滤波器抽头的一个实施 例。在一个实施例里，非线性相似度排序统计的图像滤波部分131以十字型滤波器的形式 被选择，其有一个滤波器抽头长度，如3抽头433，而线性图像滤波部分132以中心点对称的 钻石型滤波器的形式被选择，其有一个滤波器抽头长度，如5抽头445。图5显示在编码器上一个统一环路滤波过程的流程图。执行像素分类步骤510，基 于将被滤波的像素的上下文特征来确定像素是增强像素或是恢复像素。在一个实施例里， 边界强度值(BS值)被用作上下文特征。像素分类步骤510是由像素确定单元110执行以 确定一个像素是增强像素或是恢复像素。执行统一环路滤波器形成步骤520以将一个非线 性图像滤波部分转换成一个非线性相似度排序统计型图像滤波部分，以便通过相似度变换 单元120对重建信号进行滤波，并通过集成单元130连接非线性相似度排序统计型图像滤 波部分和一个线性图像滤波部分，使得由线性图像滤波部分滤波的重建信号也由非线性相 似度排序统计型图像滤波部分滤波。执行滤波器系数估计步骤530以基于最小均方差算法 来优化非线性相似度排序统计型图像滤波部分和线性图像滤波部分，以通过信号质量优化 单元140找出最优的统一环路滤波器系数。滤波器抽头选择步骤540是由滤波器抽头选择 单元150执行。增强像素和恢复像素的每个统一环路滤波的滤波器抽头长度是通过但不限于整个帧内的率失真优化选择进行确定的。Jfilter = D+AR(9)其中D是滤波帧和最优帧之间的失真，而R表示滤波器编码开销比特。滤波器编 码开销比特包括滤波器抽头类型和滤波器系数量化比特。滤波器抽头选择步骤540将同时 挑选一组滤波器抽头类型和滤波器抽头长度用于非线性相似度排序统计图像滤波部分131 和线性图像滤波部分132。测量滤波后的帧和原始帧之间的失真。不同组的滤波器抽头类 型和滤波器抽头长度被用来重复统一环路滤波步骤520和滤波器系数估计步骤530以获得 不同的失真结果。所有失真结果相互进行比较以确定哪一组滤波器抽头类型和滤波器抽头 长度提供最小失真，然后其将被用来对帧进行滤波。滤波器抽头和系数编码步骤550是由滤波器信息编码单元160执行以编码滤波器 信息，如滤波器抽头类型和滤波器系数量化比特，并传送同一信息到解码器端。滤波器系数 以两种方式进行编码采用指数-哥伦布码的时域预测编码和10比特的固定长度编码(一 个比特用于符号，9个比特用于幅值)。图6显示在解码器上一个统一环路滤波过程的流程图。执行像素分类步骤610以 基于将被滤波的像素的上下文特征来确定像素类型。在一个实施例里，边界强度值(BS值) 被用作上下文特征。像素分类步骤510是由像素确定单元110执行，以确定像素是增强像 素或是恢复像素。滤波器抽头和系数步骤620是由滤波器信息解码单元(图中未显示)执 行，以提供滤波器信息，如滤波器抽头类型、滤波器抽头长度和滤波器系数量化比特，给统 一环路滤波器形成步骤630。统一环路滤波器形成步骤630将一个非线性图像滤波部分变换成一个非线性相 似度排序统计图像滤波部分，以便通过相似度变换单元120对重建信号进行滤波，并使用 集成单元130连接非线性相似度排序统计图像滤波部分和一个线性图像滤波部分，使得由 线性图像滤波部分滤波的重建信号也由非线性相似度排序统计图像滤波部分进行滤波。图像帧是由统一环路滤波器形成步骤630上形成的统一环路滤波器在图像滤波 步骤640里进行滤波。图7显示一个具有统一环路滤波的视频编码系统的一个实施例的模块示意图。视 频编码系统的输入是一个视频701，并且通过从当前帧减去一个参考帧而获得一个残余图 象。残余图像通过变换710和量化720。在变换和量化之后，残余图像通过逆变换和去量 化730重新获取。残余图像与参考帧合并以获得一个重建图像。重建图像由统一环路滤波 750进行滤波以提供一个被滤波的图像用于显示或存储在一个参考缓冲器760上作为帧内 预测771或帧间预测772的一个参考图像。参考图像与来自视频701的当前帧一起也被用 来进行运动估计780。通常，统一环路滤波的各种实施例可以实施在各种终端设备或用户设备内，包括 但不限于移动电话和其它无线通信设备、个人数字助理(PDA)、便携式和台式计算机、图像 /视频设备如数码相机、音频-视频(AV)装置如视频播放器、游戏机设备、允许访问和浏览 的互联网或局域网(LAN)设备，以及集合上述这些功能的便携式单元或设备。本发明实施例可以以软件、硬件、应用程序逻辑或一个组合的软件、硬件和应用程 序逻辑的方式实施。软件、应用程序逻辑和/或硬件可以安置在集成电路芯片、模组或存储 器上。如果期望的话，部分软件、硬件和/或应用程序逻辑可以安置在集成电路芯片上，部分软件、硬件和/或应用程序逻辑可以安置在模组上，并且部分软件、硬件和/或应用程序 逻辑可以安置在存储器上。在一个典型实施例里，应用程序逻辑、软件或指令集合保留在任 何一个各种传统计算机可读媒介上。在本应用的上下文里，“计算机可读媒介”可以是任何 媒介或装置，其能够保留、存储、传送、传播和发送指令由指令可执行系统、装置或设备如计 算机使用或与之相连系。计算机可读媒介可以包括一个计算机可读存储媒介，其可以是任 何媒介或装置，其能够保留或存储指令由指令执行系统、装置或设备如计算机使用或与之 相连系。可选地，在此所述的不同函数可以以不同次序和/或互相并行地执行。此外，如果 期望的话，一个或多个上述函数可以是选择性的或可以被合并。尽管在所附权利要求里阐述了本发明的各个方面，但本发明的其它方面包括所述 实施例的特征和/或具有独立权利要求特征的附属权利要求的特征的组合，而不仅仅是在 权利要求里阐述的特征组合。在此也会注意到，虽然以上描述了本发明的典型实施例，但这些描述不应该被看 作是限制性的含义，相反，对其可以作出一些变化和修改，而不会脱离如所附权利要求所定 义的本发明的范围。
权利要求
一个用于对输入信号进行视频编码后的重建信号的统一环路滤波器，包括一个像素分类确定单元，其根据将被滤波的像素的上下文特征来确定像素分类的类型；一个相似度变换单元，其将一个非线性图像滤波部分变换成一个非线性相似度排序统计图像滤波部分，以便对一个来自编码器或解码器输出的重建信号进行滤波；和一个集成单元，其集成由相似度变换单元产生的非线性相似度排序统计图像滤波器部分和一个线性图像恢复滤波器部分构成，使得重建信号能被非线性滤波器和线性滤波器统一滤波；其中线性图像滤波部分能够改善重建信号的客观质量，并且非线性图像滤波部分能够改善重建信号的主观质量。
2.根据权利要求1所述的统一环路滤波器，还包括一个信号质量优化单元，其基于最小均方差算法来优化非线性相似度排序统计图像滤 波器部分和线性图像恢复滤波器部分以找出最佳的统一环路滤波器系数。
3.根据权利要求1所述的统一环路滤波器，还包括一个滤波器抽头选择单元，其基于率失真优化，为每个非线性图像滤波器部分和非线 性图像滤波器部分选择一个滤波器抽头。
4.根据权利要求1所述的统一环路滤波器，还包括一个滤波器系数编码器，其通过采用指数_哥伦布码的时域预测编码对统一环路滤波 器的滤波器系数进行编码。
5.根据权利要求1所述的统一环路滤波器，还包括一个滤波器系数编码器，其通过一个固定长度编码对统一环路滤波器的滤波器系数进 行编码。
6.根据权利要求1所述的统一环路滤波器，其中 相似度变换单元还对相似度统计向量的分量进行排序；其中一个相似度函数，是从均勻函数、高斯函数或三角函数里挑选出来的，被用来将排 序统计向量变换成相似度统计向量。
7.一种统一环路滤波方法，用于对来自编码器和解码器输出的重建信号进行滤波，包括使用权利要求1所述的统一环路滤波，对将被滤波的重建信号进行滤波。
8.—种对重建信号进行滤波的统一环路滤波方法，包括基于像素的上下文特征，确定一个将被滤波的像素的分类类型； 将一个非线性图像滤波器部分变换成一个非线性相似度排序统计图像滤波器部分，以 便对重建信号进行滤波；和连接非线性相似度排序统计图像滤波器部分和一个线性图像恢复滤波器部分，使得重 建信号能被非线性滤波器和线性滤波器统一滤波；其中线性图像滤波器部分能够改善重建信号的客观质量，而非线性相似度排序统计的 图像滤波器部分能够改善重建信号的主观质量。
9.根据权利要求8所述的统一环路滤波方法，还包括基于最小均方差算法，优化非线性图像滤波器部分和线性图像滤波器部分以找出最优的统一环路滤波器系数。
10.根据权利要求9所述的统一环路滤波方法，还包括基于率失真优化，为每个线性图像滤波器部分和非线性图像滤波器部分，选择一个滤 波器抽头。
11.根据权利要求9所述的统一环路滤波方法，还包括通过一个采用指数_哥伦布码的时域预测编码，对统一环路滤波器的滤波器系数进行编码。
12.根据权利要求9所述的统一环路滤波方法，还包括通过一个固定长度编码对统一环路滤波器的滤波器系数进行编码。
13.根据权利要求8所述的统一环路滤波方法，还包括 对相似度统计向量的分量进行排序；其中一个相似度函数，是从均勻函数、高斯函数或三角函数里挑选出来的，被用来将排 序统计向量变换成相似度统计向量。
14.一个对数字视频信号进行编码的编码器，包括 如权利要求1所述的统一环路滤波器；和一个环路单元，其使用多个滤波器抽头类型和滤波器长度迭代形成统一环路滤波器以 执行率失真优化选择。
15.一个对数字视频信号进行解码的解码器，包括 如权利要求1所述的统一环路滤波器；和一个解码单元，用于解码滤波器信息以获取参数用来形成统一环路滤波器。
16.一个用于进行视频压缩的系统，包括第一单元，其在从当前视频信号减去参考视频信号而获得的一个残余视频信号上执行 变换和量化；第二单元，其用于执行逆变换和去量化以获得残余视频信号，使得一个重建的当前视 频信号是通过添加残余视频信号和参考视频信号而形成；和 如权利要求1所述的统一环路滤波器。
全文摘要
本发明涉及用于改善编码视频质量的方法和装置。本发明提供一个统一环路滤波器，其包括一个像素分类确定单元，其根据上下文信息来确定像素分类类型；一个相似度变换单元，其将一个非线性滤波器变换成一个非线性相似度排序统计滤波器；以及一个集成单元，其将非线性相似度排序统计滤波器与一个线性图像恢复滤波器集成在一起。当编码器或解码器正在处理一个视频信号时，统一环路滤波器适用于对重建帧进行滤波。
文档编号H04N7/26GK101841706SQ20101012655
公开日2010年9月22日 申请日期2010年2月12日 优先权日2009年12月10日
发明者刘雨, 火焰, 郑嘉雯 申请人:香港应用科技研究院有限公司