专利名称：结合三维滤波的视频编码方法和装置的制作方法
技术领域：
本发明属于视频编码技术领域，具体涉及一种利用帧间预测技术，将三维 滤波与视频编码相结合的方法和装置。
背景技术：
近年来，视频通信和视频应用在现实生活中扮演着重要的角色。然而，视 频采集和视频传输过程常常会引入各种类型的噪声。在低照度情况下，噪声尤其明显。传统的视频编码标准如H.261, H.263, H.264、 MPEG-1， MPEG-2， MPEG-4， AVS-P2等都采用混合编码框架。混合编码框架综合利用了预测、变 换以及熵编码的方法，主要利用了像素间的相关性，从而大幅度减少了编码后 的码流长度。但是，视频图像中的噪声降低了像素的相关性，加大了预测误差， 若利用传统的视频编码方法直接对含噪视频序列进行编码，会使视频压縮率降 低，使得视频压縮编码后的码流数据大幅度增加，增大了对网络传输的带宽和 存贮容量的要求。同时，视频图像的噪声会严重影响人们的主观感受，甚至会 影响到人们对于视频内容的理解。为了取得更好的视频主观质量和更高的压縮率，视频编码系统需要包含独 立于视频编码模块的视频前处理模块。视频前处理模块应用于视频编码模块之 前，用于去除视频噪声。这样的方法和设备增加了运算复杂度，使视频处理要 求更高的处理能力。现有的去噪方法主要分为时间域滤波、空间域滤波和时空域滤波。时间域 滤波的运动补偿滤波通过运动搜索寻找当前块在先前帧中的匹配块，找到匹配 块后多帧平均实现滤波，该方法计算量大，并且需要存储多帧图像。空间域滤 波利用了像素的空间相关性，通常以低通滤波减少高斯噪声的影响，以统计排序滤波器减少脉冲噪声的影响，此类方法在滤除噪声的同时，也滤去了部分图 像高频信息，容易损失图像细节。发明内容传统的视频编码标准中利用己编码的图像的重建帧作为参考帧对后继的图 像帧宏块进行预测，当前帧宏块像素值减去预测值得到残差数据，残差数据进行DCT变换得到变换系数，变换系数经过量化、重排序和熵编码输出编码码流。 本发明提供了一种通过对预测残差或其变换系数进行处理，实现三维滤波 的视频编码方法。本发明的滤波是在图像宏块或其子块上进行，我们通称为图 像块，简称块。如果用F表示当前图像块像素值，P表示用参考图像对当前块像素的预测值， r表示当前像素的预测残差，F'表示当前像素的重建值，则(1)对应DCT变换频域有ZXT(r) = iXTCP)-DCr(P) (2)若用Q(r)表示对残差经量化和反量化后的重建值，则当前像素的重建值为 尸-P+, (3)在图像内容静止的区域，预测残差主要由噪声引起，但对它进行编码增加 了码流数据，若这时减小预测残差的幅度，则减小了预测残差的影响，同时减 小了噪声的影响，即有去除噪声的作用，但不影响图像的清晰度。对于运动的区域，根据(1)和(2)式，如果匹配不准确，残差中包含有 较多的信号成分，图像的频率成分与残差的频率成分有一定的对应。图像信号 一般具有较多低频成分，根据纹理方向的不同，在二维频域上高频成份的分布 不均匀，即经DCT变换后系数分布不均匀；但一般图像噪声可看成是白噪声， 频谱成分分布较均匀。因此滤除部分高频分量，特别是其中信号幅度较小的频 率分量，可较多地滤除噪声。本发明提出的结合三维滤波的视频编码方法，利用已编码的图像信息对后 继的图像帧宏块进行预测，对其残差进行变换编码，其特征在于，它还包括对 视频内容进行分析，根据分析结果对残差数据进行调整，减小其幅度、特别是 减小高频分量的幅度、或根据纹理方向减小高频分量的幅度，从而实现三维滤 波，可有效地减小视频图像解码重建后的噪声，并有效减小了含噪视频信号编 码后的码流，从而降低了视频传输的带宽需求。本发明可以直接处理含噪视频 数据，不需要额外的视频前处理模块，从而降低了运算复杂度和硬件成本。本发明对残差数据调整实现滤波的一种方法为直接将残差数据按縮放比 例进行縮放，再对其进行变换编码。这种縮放是对一个图像块的残差数据按同 一比例进行縮放，即将(3)式改为<formula>formula see original document page 6</formula>) 考虑到量化误差，(4)式成为<formula>formula see original document page 6</formula>其中縮放比例a为0~1之间的实数，减小残差幅度，从而减少噪声，达到 基于时间域的滤波的效果。而以后帧的编码参考了该重建帧的信息，使运动搜 索更加准确，并结合縮放残差数据的过程，达到了持续的时间域滤波的效果。 本发明通过对视频内容进行分析，根据分析结果调整縮放比例a，在噪声较强时 可减小a，在图像静止区和平坦区也可减小a，从而实现不同强度的滤波。在图 像静止区，最佳预测运动矢量长度为零或接近于零。本发明的另一种调整残差数据的方法，是对残差经变换后的各变换系数按 同一縮放比例a缩放。对残差数据进行变换(如DCT)后，成为频域信号，不 同的变换系数代表不同的频率分量。由于常用的离散余弦变换(DCT)是一种线 性变换，对残差数据的縮放与对变换系数的縮放是等同的，即对残差数据经DCT 变换后的各变换系数进行缩小能起到同样的作用。同样地，可以根据对视频内 容分析的结果调整縮放比例a，从而实现不同强度的滤波。本发明的又一种调整残差数据的方法，是对残差经变换后的各变换系数按不同縮放比例a进行縮放。如对高频系数采用较小的縮放比例a，而对残差低频 系数采用较大的縮放比例a，相当于进行了空间域低通滤波。由于是对残差变换 系数的滤波，同时又具有帧间滤波作用，可有效提高信噪比，提高图像质量。 由于图像信号常有较多低频成分，高频成分相对较少，表现为变换域低频系数 幅度较大，而高频系数较小，而常见的噪声能量在高频和低频系数上的分布较 均匀。因此加大对残差高频分量的滤波幅度可提高信噪比。本发明的一种调整残差数据的方法是采用调整量化步长的方法对各变换系 数按同一縮放比例进行縮放，即视频编码时采用一种量化步长量化，在视频解 码时采用另一种量化步长反量化，反量化步长与量化步长之比为縮放比例。在视频编码过程中，需要对残差进行量化，在解码时进行反量化重建。若 编码时量化步长为Qstepl，解码时反量化步长为Qstep2，则相当于对残差进行 了"-Qstep2/Qstepl的縮放。因此，只要使视频编码时的量化步长Qstepl与解码 时的反量化步长Qstep2不一致，就可实现对残差的比例a的縮放，从而实现帧 间滤波。本发明的结合三维滤波的视频编码方法，对视频内容进行分析，并根据分析结果调整縮放比例。其中，对视频内容进行分析包括如下一项或多项对当 前帧噪声进行估计；对当前帧图像进行静止区域提取；对当前宏块或其子块进 行纹理分析；对当前宏块或其子块迸行运动分析。在不同的场合(如不同的摄像机、光照等)，视频图像上的噪声强度是不同 的，有时噪声性质也不同。为了更有效地实现滤波，应该对噪声进行分析，对 噪声强度进行估计，噪声较强时，应采用较强的滤波，即縮放比例应较小。如果当前块在静止区域，则残差主要由噪声引起，应采用更强的滤波，即 縮放比例应更小。在一个图像块内，图像的纹理常是有方向的，对应了频域不同变换系数的 强弱，对不同方向的变换系数进行不同强度的滤波，即采用不同的縮放比例a， 可有效保留图像上的纹理细节和边缘。对当前宏块或其子块进行运动分析，是指根据最佳预测运动矢量确定运动 的程度， 一般地，运动大时，匹配也会较差，縮放比例应较大。若运动矢量为 零或接近零，则可认为处于静止区域，縮放比例应较小。本发明按如下方法对当前帧噪声进行估计利用以前的或上一帧的对各宏 块或其子块运动估计后的最佳预测误差平均能量对噪声均方差ci进行估计。一种对视频噪声估计的方法是利用图像的静止区域，如上所说，在静止区 域，若最佳运动矢量为零，残差中基本为噪声。对于视频监控图像，常有一定 的静止区域。可用静止区域图像块残差信号能量对噪声方差或均方差进行估计， 如用残差信号平方的均值估计噪声方差，或简化为用残差信号绝对值的均值估 计噪声均方差。但有时静止区域不明显，也不容易检测。对于视频编码时预测准确的宏块， 信号被抵消得较多，因此可以用寻找图像中残差较小的一些图像块来寻找图像 预测较准的区域，再计算这些块残差能量的方法进行噪声估计。 一般地可认为 噪声有平稳性，可用块间平均的方法估计噪声，如用残差信号平方的均值估计 噪声方差，或简化为用残差信号绝对值的均值估计噪声均方差。需要注意的是， 实际的方差、均方差与估计所得是有一定比例关系的，但不影响对残差滤波参 数的确定。本发明按如下方法对当前宏块或其子块进行纹理分析利用当前宏块或其 子块的残差变换系数进行纹理显著性分析，确定纹理的方向和强度。由于不同 位置的变换系数代表不同方向的纹理，因此可以通过对变换系数的分析，确定 不同方向纹理的强弱。本发明的结合三维滤波的视频编码方法，可根据如下一项或多项因素调整 当前宏块或其子块各变换系数的縮放比例最佳预测运动矢量长度；最佳预测 误差幅度；对噪声均方差o的估计结果；是否处于静止区域；最佳预测误差幅 度与噪声均方差o之比；纹理的方向和强度。最佳预测运动矢量长度近似代表了运动强度，运动大时，匹配也会较差，縮放比例应较大。运动矢量为零或接近零，则可认为处于静止区域，縮放比例 应较小。最佳预测误差幅度也即残差，代表了块匹配程度。对于残差较大的区域， 块匹配程度较低，其中包括了较多信号成分，缩放比例应较大，否则縮放比例 应较小。噪声均方差a的估计代表了噪声的强弱，显然，噪声均方差cj较小时，縮 放比例应较大，采用较弱的滤波，否则，縮放比例应较小，采用较强的低通滤 波。如果当前块在静止区域，则残差主要由噪声引起，应采用强滤波，即縮放 比例应采用较小的值。残差能量包括噪声能量和信号预测误差。最佳预测误差幅度与噪声均方差CJ 之比一定程度上反映了残差包括信号的程度，也可作为确定滤波縮放比例a的 一个因素。即比值越大，表明噪声较弱，信号较强，縮放比例应较大，采用较 弱的滤波。否则，縮放比例应较小，采用较强的低通滤波。根据纹理的方向和强度采用不同的縮放比例，如在纹理强的方向縮放比例 较大，即滤波较弱，纹理弱的方向縮放比例较小，即滤波较强，则有利于保护 图像上的空间细节和边缘内容。本发明的另一目的是在于提供一种结合三维滤波的视频编码装置，它利用 已编码的图像信息对后继的图像帧宏块进行预测，对其残差进行变换编码，其 特征在于包括视频内容分析模块和残差数据调整模块，视频内容分析模块用 于对视频内容进行分析，残差数据调整模块根据视频内容分析模块的分析结果 调整残差数据，从而实现三维滤波。所述视频内容分析模块包括如下一项或多项模块噪声估计模块；纹理分 析模块；运动分析模块；静止区域提取模块。本发明提供的结合三维滤波的视频编码装置是本发明提供的一种结合三维 滤波的视频编码方法的应用和实现。
图1为本发明的一种结合三维滤波的视频编码装置示意图； 图2为本发明的另一种结合三维滤波的视频编码装置示意图。
具体实施方式
下面，结合附图和具体实施例进一步说明本发明。本发明的结合三维滤波的视频编码方法以宏块或其子块为单位进行，步骤 如下步骤l.对视频内容进行分析。包括如下内容-(a) 对当前帧图像进行噪声估计。视频噪声估计方法可以采用已有的噪声估计算法，包括基于帧内块的估计方法、基于滤波的方法、基于帧差的方法等。 这些噪声估计算法大幅增加了运算量。本发明提供了一种与传统编码框架相结 合的噪声估计算法，利用以前的或上一帧的对各宏块或其子块运动估计后的最佳预测误差平均能量对噪声均方差CT或方差^进行估计。其中，最佳预测误差平均能量是各像素预测误差的绝对值平均值或平方值的平均值。(b) 对当前宏块进行纹理分析。利用当前块的残差变换系数进行纹理显著 性分析，确定纹理的方向和强度。利用残差变换系数进行纹理显著性分析有多 种方法，下面给出一种具体实施方法。计算横向纹理强度<formula>formula see original document page 10</formula> 计算竖向纹理强度<formula>formula see original document page 10</formula>计算横向纹理强度与竖向纹理强度的比率<formula>formula see original document page 10</formula>若ratioT〉2，则当前块具有较强的横向纹理。若ratioT0.5，则当前块具有较强的竖向纹理。若<formula>formula see original document page 10</formula>当前块横向纹理和竖向纹理不明显。(C)对当前帧图像进行静止区域提取。本发明利用当前块的最佳预测误差平均能量与噪声均方差或方差的比值ratio2以及运动矢量长度mvl分析当前块是 否属于静止区域。若ratio2<TH3且mvl<TH_MV，则判定当前块为静止块；否 则若ratk)2<TH4，则判定当前块为良好匹配块；否则判定当前块为欠匹配块。 其中，TH3、 TH4、 TH—MV是经验值。步骤2.利用步骤l的分析结果，确定对残差调整的縮放比例。残差的縮放比例可根据如下因素确定(a) 当前块的最佳预测运动矢量长度。若最佳预测运动矢量长度小于某个 阈值，则縮放比例采用较小的值，否则縮放比例采用较大的值。(b) 当前块的最佳预测误差幅度。縮放比例随着最佳预测误差幅度增大而增大。(c) 对噪声均方差a的估计结果。縮放比例随着噪声均方差增大而减小。(d) 当前块是否处于静止区域。在静止区域采用较小的縮放比例。(e) 最佳预测误差幅度与噪声均方差cj之比。縮放比例随着最佳预测误差 幅度与噪声均方差a之比增大而增大。(f) 当前块的纹理的方向和强度。縮放比例随着纹理的强度增大而增大。 若当前块经分析后有明显的水平方向或竖直方向的纹理，则按不同縮放比例调 整变换系数。一种简化的确定块内同一縮放比例的方法若当前块属于静止区，则a取 较小值，如a-l/4;若当前块属于良好匹配块，则a取偏小值，如a-l/2;若当 前块属于欠匹配块，则取较大值，如a-7/8。根据图像块纹理调整变换系数縮放比例的方法很多，这里给出一种根据纹 理分析结果确定对各变换系数縮放比例的例子设当前块为16X16的宏块，若当前块具有较强的横向纹理，则设置各变换 系数的縮放比例为<formula>formula see original document page 12</formula> * ,若当前块具有较强的竖向纹理，则设置各变换系数的縮放比例为<formula>formula see original document page 12</formula>若当前块横向纹理和竖向纹理不明显，则设置各变换系数的縮放比例为<formula>formula see original document page 12</formula>步骤3.根据步骤2所确定的縮放比例，调整残差数据。在采用块内同一縮放比例时，可采用调整量化步长的方法实现各变换系数按同一比例縮放。即编码端采用一种量化步长进行量化，并使解码端采用另一种量化步长进行反量化，解码时的量化步长与编码时反量化步长之比为縮放比例。在MPEG、 H.264和AVS等标准中，采用量化系数QP确定量化电平，每个宏块可以有独立的量化电平。如H.264和AVS标准中，量化系数每增加6，量化步长加大一倍。在实际操作时，采用调整量化步长的方法实现各变换系数按同一比例縮放， 只要在编码时加大QP，但是编入码流、用于解码的反量化系数不变或略调小， 使相应的用于解码的反量化步长Qstep2与用于编码的量化步长Qstepl之比为ot， 艮卩a = Qstep2/Qstepl 。在实际应用时，调整量化步长的方法与根据图像块纹理调整变换系数縮放 比例的方法可以联合使用，以实现更好的滤波效果。实施例l: 一种结合三维滤波的视频编码装置本实施例是一种结合三维滤波的视频编码装置，结合附图1说明如下 本实施例的视频编码装置在包含传统编码系统中各模块的基础上，增加了 噪声均方差估计模块、縮放比例确定模块和残差缩放模块。其中，噪声均方差估计模块的输入是当前块的绝对误差均值(MAD)，输出是噪声均方差值估计，噪声均方差估计的方法是利用上一帧的各宏块或子块最佳预测MAD中最小的N个MAD的平均作为噪声均方差的估计值。縮放比例确定模块的输入是噪声均方差估计值和运动估计/运动补偿模块输出的运动矢量和MAD,縮放比例确定模块的输出是对残差进行调整的縮放比例，縮放比例确定的方法在具体实施方法中已经说明。残差縮放模块的输入是残差数据和縮放比例确定模块输出的縮放比例，输出是经过縮放后的残差数据，残差縮放的方法是按照同一縮放比例调整残差数据。经縮放后的残差数据进行变换、量化、熵编码等视频编码操作。实施例2.另一种结合三维滤波的的视频编码装置本实施例是另一种结合三维滤波的视频编码装置，结合附图2说明如下本实施例的视频编码装置在包含传统编码装置中各模块的基础上，增加了 縮放比例确定模块、纹理分析模块和变换系数縮放模块。纹理分析模块的输入是各变换系数，输出是横向纹理强度和竖向纹理强度， 纹理分析的方法在上文中已经说明。縮放比例确定模块的输入是横向纹理强度和竖向纹理强度，输出是对各变 换系数的縮放比例，縮放比例的确定方法在上文中已经说明，为根据纹理分析 结果确定对各变换系数缩放比例的方法。变换系数縮放模块的输入是各变换系数和縮放比例确定模块输出的縮放比 例，输出是经过縮放后的变换系数，对各变换系数縮放的方法是按照縮放比例 确定模块输出的縮放比例对各变换系数调整。
权利要求
1. 一种结合三维滤波的视频编码方法，它利用已编码的图像信息对后继的图像帧宏块进行预测，对其残差进行变换编码，其特征在于，它还包括对视频内容进行分析，根据分析结果对残差数据进行调整，从而实现三维滤波。
2. 如权利要求1所述的结合三维滤波的视频编码方法，其特征在于，对残差数据调整的方法为直接将残差数据按縮放比例进行縮放，再对其进行变换 编码。
3. 如权利要求1所述的结合三维滤波的视频编码方法，其特征在于，对残 差数据调整的方法为对残差经变换后的各变换系数按同一或不同縮放比例进 行縮放。
4. 如权利要求3所述的结合三维滤波的视频编码方法，其特征在于，采用 调整量化步长的方法对各变换系数按同一缩放比例进行縮放，即视频编码时采 用一种量化步长量化，在视频解码时采用另一种量化步长反量化，反量化步长 与量化步长之比为縮放比例。
5. 于，所述对视频内容迸行分析包括如下一项或多项对当前帧噪声进行估计； 对当前帧图像进行静止区域提取；对当前宏块或其子块迸行纹理分析；对当前 宏块或其子块进行运动分析。
6. 如权利要求5所述的结合三维滤波的视频编码方法，其特征在于，所述对当前帧噪声进行估计为利用以前的或上一帧的对各宏块或其子块运动估计 后的最佳预测误差平均能量对噪声均方差o进行估计。
7. 如权利要求5所述的结合三维滤波的视频编码方法，其特征在于，所述对当前宏块或其子块进行纹理分析为利用当前宏块或其子块的残差变换系数 进行纹理显著性分析，确定纹理方向和强度。
8. 如权利要求5所述的结合三维滤波的视频编码方法，其特征在于，根据如下一项或多项因素调整当前宏块或其子块的各变换系数的縮放比例最佳预 测运动矢量长度；最佳预测误差幅度；对噪声均方差o的估计结果；是否处于 静止区域；最佳预测误差幅度与噪声均方差o之比；纹理的方向和强度。
9. 一种结合三维滤波的视频编码装置，它利用已编码的图像信息对后继的 图像帧宏块进行预测，对其残差进行变换编码，其特征在于包括视频内容分 析模块和残差数据调整模块，视频内容分析模块用于对视频内容进行分析，残 差数据调整模块根据视频内容分析模块的分析结果调整残差数据，从而实现三 维滤波。
10. 如权利要求9所述的结合三维滤波的视频编码装置，其特征在于所 述视频内容分析模块包括如下一项或多项模块噪声估计模块；纹理分析模块； 运动分析模块；静止区域提取模块。
全文摘要
本发明公开了一种结合三维滤波的视频编码方法和装置，它利用已编码的图像信息对后继的图像帧宏块进行预测，对其残差进行变换编码，其特征在于还包括对视频内容进行分析，根据分析结果对残差数据进行调整，从而实现三维滤波。本发明提出的结合三维滤波的视频编码方法和装置不需要额外的视频前处理模块，可以直接处理含噪视频数据，能有效地减小视频图像解码重建后的噪声并减小含噪视频信号编码后的码流数据。
文档编号H04N7/26GK101257630SQ20081006082
公开日2008年9月3日 申请日期2008年3月25日 优先权日2008年3月25日
发明者刘云海, 超 卢, 唐慧明, 楼洛阳, 露 虞 申请人:浙江大学