利用残余重新估计的多层视频编码/解码方法及其设备的制作方法

专利名称：利用残余重新估计的多层视频编码/解码方法及其设备的制作方法
技术领域：
本发明涉及多层视频编码/解码，并更具体地，涉及利用残余重新估计的 多层编码/解码方法及利用该方法的设备，其中通过对从解块恢复后的帧(而 不是原始帧)中减去预测帧或基本层帧所获得的残余图像进行编码和传输， 而降低用于比特流传输的比特数目。
背景技术：
当前，随着包括因特网的信息和通信技术的发展，支持多媒体内容的通 信连同文本消息和语音通信一起得到快速增长。现有基于文本的通信系统不 足以满足客户的各种需求，并由此可传递例如文本、图像、音乐等各种形式 信息的多媒体服务正在增长。由于多媒体服务通常具有大量内容，所以需要 大存储介质和宽带宽来存储和传输多媒体数据。因此，通常应用压缩编码技 术来传输包括文本、图像和音频数据的多媒体数据。一般来说，应用数据压缩来去除数据冗余。这里，可通过去除例如图像 中同 一 颜色或对象的重复的空间冗余、例如运动图像帧的相邻帧中的微小或 没有改变或音频中的声音的连续重复的时间冗余、以及考虑人对高频的视觉 和知觉敏感度的视觉/知觉冗余，来压缩数据。在传统视频编码方法中，通过 基于运动补偿的时间预测来去除时间冗余，而通过空间变换来去除空间冗余。在去除冗余之后，通过传输介质或通信网络来传输多媒体数据，传输介 质和通信网络的性能可以不同，因为现有传输介质具有变化的传输速度。例 如，超高速通信网络可以每秒传输几十兆比特数据，而移动通信网络具有每秒384千比特的传输速度。为了支持在这样的传输环境中的传输介质或为了 用适于传输环境的传输速率来传输多媒体数据，实现了可伸缩视频编码方法。 这样的可伸缩^L频编码方法使得可能对压缩比特流的 一部分进行截断并 调整与比特流的所截断的部分对应的视频的分辨率、帧速率和信噪比(SNR)。 关于可伸缩视频编码，MPEG-4 (运动画面专家组第4层视频)第IO部分已 在该特征的标准上取得进展。具体来说，已进行了基于多层实现视频编码方法中的可伸缩性的许多研 究。作为这样的多层视频编码的示例，已提出了具有基本层、第一增强层和第二增强层的多层结构，其中相应层具有不同的分辨率QCIF、 CIF和2CIF, 并具有不同的顿速率或不同的SNR。
发明内容
技术问题在多层可伸缩性技术中，SNR可伸缩性技术将输入视频图像编码为具有 相同帧速率和分辨率但是具有不同量化精度的两层。具体来说，细粒度(fine grain) SNR ( FGS )可伸缩性技术将输入视频图像编码为基本层和增强层， 并然后对增强层的残余图像进行编码。FGS可伸缩性技术可以或者可以不传 输编码后的信号，以防止解码器根据网络传输效率或解码器侧的状态而对这 些信号进行解码。因此，可以适当地传输数据，并将这些数据量调整为网络 的传输比特率。然而，由于即使对于SNR可伸缩视频编码，增强层比特流的传输仍然受 到网络的传输比特率的限制，所以期望一种即使以传统传输比特率也能够传 输更多增强层数据的方法技术方案因此，已作出了本发明来解决现有技术中的上述问题，并且本发明的一 个方面是提供一种利用残余重新估计的多层视频编码/解码方法以及利用该原始帧)来有效降低用于编码残余图像的比特数目。本发明的另 一方面提供了 一种可通过在多层视频编码/解码期间执行相 应层的解块处理而提供已去除了块伪影(artifact)的高质量视频图像的多层 一见频编码/解码方法。本发明的其他优点、和特征将部分地在以下描述中阐明，并部分地在本 领域技术人员检查了以下描述之后对于他们来说将变得更清楚，或者可通过 本发明的实践而得知。在本发明的一个方面中，提供了 一种根据本发明实施例的多层视频编码 方法，包括(a)对通过从原始帧中减去预测帧所获得的第一残余图像进行 编码；(b)对编码后的第一残余图像进行解码，并通过将解码后的残余图像
与该预测帧相加，而生成第一恢复后的帧；(C)对该第一恢复后的帧进行解块；和(d)对通过从该第一解块恢复后的帧中减去该预测帧所获得的第二残 余图像进行编码。在本发明的另一方面中，提供了一种多层视频解码方法，包括(a)从 比特流中提取与残余图像对应的数据；(b)通过对数据进行解码而恢复该残 余图像；和(c)通过将该残余图像与恢复后的预测帧相加，而恢复视频帧， 其中该比特流是通过以下步骤获得的编码后的第二残余图像的比特流(d) 对通过从原始帧中减去预测帧所获得的第一残余图像进行编码；(e)对编码 后的第 一残余图像进行解码，并通过将解码后的第一残余图像与该预测帧相 加，而生成第一恢复后的帧；(f)对该第一恢复后的帧进行解块；和(g)对 通过从该第 一解块恢复后的帧中减去该预测帧所获得的第二残余图像进行编 码。在本发明的另一方面中，提供了一种多层视频编码器，包括时间变换 单元，用于去除通过从原始帧中减去预测帧所获得的第 一 残余图像的时间冗 余；空间变换单元，用于去除其中已去除了时间冗余的第一残余图像的空间 冗余；量化单元，用于对该空间变换单元所提供的变换系数进行量化；熵编 码单元，用于对量化后的变换系数进行编码；去量化单元，用于对量化后的 变换系数执行去量化；逆空间变换单元，用于通过对去量化后的变换系数执 行逆空间变换，而生成第一恢复后的残余图像；和解块单元，用于通过将第 一恢复后的残余图像与预测帧相加，而对第一恢复后的帧进行解块，其中该 空间变换单元去除通过从第 一解块恢复后的帧中减去预测帧所获得的第二残 余图像的空间冗余。在本发明的另一方面中，提供了一种多层视频解码器，包括熵解码单 元，用于从比特流中提取与残余图像对应的数据；去量化单元，用于对所提 取的数据进行去量化；逆空间变换单元，用于通过对去量化后的数据执行逆 空间变换，而恢复该残余图像；和加法器，用于通过将恢复后的残余图像与 恢复之前的预测帧相加，而恢复视频帧，其中该比特流是通过以下步骤获得 的编码后的第二残余图像的比特流(a)对通过从原始帧中减去预测帧所获 得的第一残余图像进行编码；(b)对编码后的第一残余图像进行解码，并通 过将解码后的第一残余图像与该预测帧相加，而生成第一恢复后的帧；(c) 对该第一恢复后的帧进行解块；和(d)对通过从该第一解块恢复后的帧中减
去该预测帧、所获得的第二残余图像进行编码。


根据结合附图进行的以下详细描述，本发明的以上和其他特征和优点将更清楚，其中图l是图示了 SVM3.0处理中的FGS编码处理的图；图2是图示了 SVM3.0处理中的FGS解码处理的图；图3是图示了根据本发明实施例的FGS编码处理中的残余重新估计处理 的图；图4是图示了根据本发明实施例的编码器的构造的方框图； 图5是图示了根据本发明实施例的解码器的构造的方框图； 图6是图示了根据本发明另一实施例的一般多层结构中的残余重新估计 处理的图；图7是图示了根据本发明另一实施例的编码器的构造的方框图；和 图8是图示了根据本发明另 一 实施例的解码器的构造的方框图。
具体实施方式
其后，将参考附图来详细描述本发明的示例实施例。通过参考将结合附 图详细描述的实施例，本发明的各方面和特征以及用于实现这些方面和特征 的方法将显而易见。然而，本发明不限于下面公开的实施例，而可以在不脱 离本发明的精神的情况下以各种形式实现。描述中定义的内容(例如详细构描述和附图中，相同的附图标记始终用于表示相同的元件。利用逐步求精(gradual refinement )表示法来实现可伸缩视频模型(SVM ) 3.0的细粒度SNR ( FGS )。可通过在任意点截断作为FGS编码的结果所获得 的NAL单元来实现SNR可伸缩性，而可通过使用基本层和FGS增强层来实 现FGS可伸缩性。基本层用于生成代表最小视频质量并可以以最低传输比特 率传输的基本层帧。另外，FGS增强层用于生成可以以高于最低传输比特率 适当截断和传输或可以由解码器适当截断和解码的NAL单元。FGS增强层对 通过从原始帧中减去在基本层或下 一增强层中获得的恢复后的帧所获得的残 余信号进行变换、量化和传输。在FGS增强层中，通过逐步降低上层中的量 exquisite )的残余，而实现SNR可伸缩性。如下所示确定在恢复残余值的过程中使用的第i增强层的宏块的量化参数QPi (基本层用i=0来表示)。1 ) 如果宏块不包括变换系数并且根据基本层表示或某一先前增强层表示而对于宏块传输不为0的变换系数等级，则利用语法元素mb—qp—delta如AVC[l]所述计算量化参数。 2) 否则(即，如果宏块至少包括一个变换系数并且根据基本层表示或先前增强层表示而对于宏块传输不为0的变换等级)，则根据等式(1 )来计算量化参数。QP「min(0,QPw-6) …(l)根据以下等式获得解码器侧的扫描位置K处的变换系数ck的恢复 q = Z /"wnye5t"//wg(/, * ， 2尸,,是)其中li,k代表用于变换系数Ck在第i增强层中编码的变换系数等级，而 QPi代表对应宏块的量化参数。另外，函数InverseScaling(.)代表系数恢复处理。图l是图示了 SVM3.0处理中的FGS编码处理的图。首先，利用原始帧20获得基本层帧。原始帧20可以是从画面组(GOP) 提取的帧、或者是其中已执行了 GOP的运动补偿时间滤波(MCTF)的帧。 变换和量化单元30执行变换和量化，以根 据原始帧20生成基本层帧60。去 量化和逆变换单元40执行去量化和逆变换，以便向增强层提供已经过变换和 量化处理的基本层帧60。该处理使得基本层帧与解码器所解码的帧相一致， 因为解码器仅能识别恢复后的帧。另外， 一般FGS基本层的帧由解块单元50 解块并被提供到增强层。在视频解码的情况下，因为利用基于块的信息来编码和传输输入帧，所 以可出现块伪影。解块用于消除块伪影。 一般地，在将恢复后的帧用作用于 预测的参考帧的情况下，对恢复后的帧进行解块。通过该解块处理，通过滤 波来去除指定比特。在作为生成要添加到基本层帧的细致残余信号的层的增强层中，获得残 余信号，即原始帧20和恢复后的基本层帧22或恢复后的下一增强层帧26之 间的差值。然后解码器将该残余信号添加到原始帧，以恢复原始视频数据。第一增强层的减法器11从原始帧中减去从基本层恢复的帧22。通过变换
和量化单元32输出从减法器11获得的残余信号作为第一增强层帧62。第一 增强层帧62也由去量化和逆变换单元42恢复以便提供给第二增强层。加法 器12通过将第一增强层帧24与恢复后的基本层帧22相加而生成新帧26, 并将该帧26提供给第二增强层。第二增强层的减法器13从原始帧20中减去从第一增强层提供的帧26。 通过变换和量化单元34输出相减后的值作为第二增强层帧64。第二增强层 帧64然后由去量化和逆变换单元44恢复，并然后与帧26相加，以便提供为 新帧29。在第二增强层是最上一层的情况下，在将帧29用作其他帧的参考 帧之前，通过解块单元52对帧29进行解块。可以按照网络提取层(network abstraction layer: NAL )单元的形式来传 输基本层帧60、第一增强层帧62和第二增强层帧64。即使所接收的NAL单 元被部分截断，解码器也可恢复数据。图2是图示了 SVM3.0处理中的FGS解码处理的图。FGS解码器接收由FGS编码器获得的基本层帧60、第一增强层帧62和 第二增强层帧64。由于这些帧是编码后的数据，所以通过去量化和逆变换单 元200、 202和204来对它们进行解码。基本层的通过去量化和逆变换单元 200恢复的帧然后由解块单元210进行解块，以便恢复为基本层帧。加法器230将恢复后的帧220、 222和224加在一起。相加后的帧由解块 单元240再次进行解块，从而擦除块之间的边界。该处理对应于FGS编码器 中的最上一层增强层的解块。图3是图示了根据本发明实施例的FGS编码处理中的残余重新估计处理 的图。在根据本发明实施例的残余重新估计处理中，对用作FGS编码器的增强 层中的参考帧的恢复后的帧进行解块，以用作新原始帧。因此，对通过从新 解块后的原始帧中减去在下一层中获得和恢复的参考帧所获得的新残余进行 编码，并将其传输到解码器，从而将块伪影降低了解块所要去除的不必要的数据的比特数。图3的左部300代表传统SVM3.0处理中的FGS编码处理，而右部350 代表根据本发明实施例的为残余估计所添加的处理。如以上参考图1所述， SVM3.0的FGS编码通过对基本层中的原始帧O进行变换和量化，而生成基 本层帧。将所获得的基本层帧的比特流传输到解码器侧，并同时通过去量化和逆变换处理而恢复，以用作增强层的参考帧。在该情况下，为了去除块伪影，恢复后的基本层帧在用作上一增强层的参考帧B。之前通过解块处理D。。 在根据本发明实施例的第一 FGS层中，以与传统编码处理相同的方式对通过 从原始帧0中减去参考帧Bo所获得的残余(以下称为"R1")进行变换和量 化，并通过对量化后的残余执行去量化和逆变换而获得恢复后的帧REC,。然 后，获得恢复后的帧REd。另外，通过执行恢复后的帧REC,的解块Di而获 得帧O,,并参考新原始帧O,(代替先前原始帧)而重新估计残余(下面称为 "R2")。这里，新残余R2由等式(2)表示， R2二D,(B。+Rl，)-Bo,-Bq …(2) 其中，R1，表示对R1进行变换和量化之后的恢复后的残余。 通过对从帧0,中减去参考帧Bo所获得的残余进行变换和量化而获得第 一FGS层的比特流，并然后将该比特流传输到解码器。同时，将通过执行重 新估计的残余的去量化和逆变换所获得的值与参考帧BQ相加所恢复的帧 REC1，用作上一增强层(即，第二FGS层)的参考帧B,。所恢复的帧RECV 由等式(3)表示。REd，T-l(Q陽l(Q(T(D(Bo+Rr)-Bo)))) …(3) 残余重新估计处理中的变换和量化处理与用于同 一层的FGS编码的变换 和量化处理相同。即使在第二 FGS层中，也可通过与上述第一 FGS层相同的处理来编码和 传输新残余。在本发明的实施例中，由于对基本层执行解块DQ，所以可利用比解块 Do弱的强度来执行施加到增强层的解块Dn。图4是图示了根据本发明实施例的编码器400的构造的方框图。编码器执行图3所示FGS编码中的残余重新估计，并可包括基本层编码 器410和增强层编码器450。在本发明的实施例中，例示了使用基本层和增 强层。然而，对于本领域技术人员来说显而易见的是，本发明也可应用到其 中使用多个层的情况。基本层编码器410可包括运动估计单元412、运动补偿单元414、空间变 换单元418、量化单元420、熵编码单元422、去量化单元424、逆空间变换 单元426和解块单元430。
运动估计单元412基于输入视频帧中的参考帧来执行当前帧的运动估计，并获得运动矢量。在本发明的实施例中，通过从解块单元430中接收已 解块的恢复后的帧而获得用于预测的运动矢量。广泛使用的块匹配算法可用 于这样的运动估计。块匹配算法估计与最小误差对应的位移作为运动矢量， 因为其以像素为单位移动参考帧中的指定搜索区域的给定运动块。对于运动具有可变尺寸的运动块。运动估计单元412将运动数据(例如根据运动估计 获得的运动矢量、运动块的尺寸、参考帧数目等)提供给熵编码单元422。运动补偿单元414通过利用运动估计单元412所计算的运动矢量执行前 向或后向参考帧的运动补偿，而生成当前帧的时间预测帧。而去除存在于帧之间的时间冗余。空间变换单元418利用支持空间可伸缩性的空间变换方法，而从其中已 由减法器416去除了时间冗余的帧中去除空间冗余。可将离散余弦变换 (DCT )、小波变换等用作空间变换方法。从空间变换获得的系数是变换系数。 如果将DCT方法用作空间变换方法，则系数是DCT系数，而如果使用小波 变换，则系数是小波系数。量化单元420对空间变换单元418所获得的变换系数进行量化。量化是 这样一种方式，其通过将变换系数划分为特定部分而将表示为特定实际值的 变换系数指明为离散值、并然后将离散值和特定索引匹配。熵编码单元422执行由量化单元420量化的变换系数和由运动估计单元 412提供的运动数据的无损耗编码，并生成输出比特流。算术编码、可变长 度编码等可用作无损耗编码方法。在视频编码器400支持用于降低在编码器侧和解码器侧之间生成的漂移 误差的闭环视频编码器的情况下，其还可包括去量化单元424、逆空间变换 单元426等。去量化单元424对量化单元420量化的系数进行去量化。该去量化处理 对应于量化的逆处理。逆空间变换单元426执行去量化结果的逆空间变换，并将逆空间变换的 结果提供给加法器428。加法器428通过将从逆空间变换单元426提供的恢复后的残余帧与从运
动补偿单元414提供并存储在帧緩沖器(未图示)中的预测帧相加，而恢复视频帧，并将恢复后的视频帧提供给解块单元430。解块单元430接收由加法器428恢复的视频帧，并执行解块，以去除由 帧中的块的边界引起的伪影。将解块恢复后的视频帧提供给增强层编码器450 作为参考帧。其间，增强层编码器450可包括空间变换单元454、量化单元456、熵编 码单元468、去量化单元458、逆空间变换单元460和解块单元464。减法器452通过从当前帧中减去由基本层提供的参考帧，而生成残余帧。 通过空间变换单元454和量化单元456对残余帧进行编码，并通过去量化单 元458和逆空间变换单元460而恢复残余帧。加法器462通过将从逆空间变换单元460提供的恢复后的残余帧与由基 本层提供的参考帧相加，而生成恢复后的帧。恢复后的帧由解块单元464解 块。减法器466考虑到作为新当前帧的解块后的帧，而生成新残余帧，并将 新残余帧提供给空间变换单元454。该新残余帧通过空间变换单元454、量化 单元456和熵编码单元468处理，以便作为增强层比特流输出，并然后通过 去量化单元458和逆空间变换单元460而恢复。加法器462将恢复后的新残 余图像与基本层提供的参考帧相加，并将恢复后的新帧提供给上一增强层， 作为参考帧。由于空间变换单元454、量化单元456、熵编码单元468、去量化单元458 和逆空间变换单元460的操作与基本层中存在的那些相同，所以将省略其解释。尽管在图4中例示了多个构成元件具有相同名称但具有不同附图标记， 但是本领域技术人员应明白， 一个构成元件可在基本层和增强层两者中工作。 图5是图示了根据本发明实施例的解码器的构造的方框图。 视频解码器500可包括基本层解码器510和增强层解码器550。 增强层解码器550可包括熵解码单元555、去量化单元560和逆空间变 换单元565。将紋理信息提供给去量化单元560。去量化单元560对从熵编码单元555传输的紋理信息进行去量化。去量 化处理是为了搜索将从编码器600传递的值与特定索引匹配的量化系数。
逆空间变换单元565逆向执行空间变换并在空间域中恢复从残余图像的 去量化获得的系数。例如，如果在视频编码器侧通过小波变换方法对系数进行空间变换，则逆空间变换单元565将执行逆小波变换，而如果在视频编码 器侧通过DCT变换方法对系数进行变换，则逆空间变换单元将执行逆DCT变换。加法器570通过将逆空间变换单元所恢复的残余图像与基本层解码器 510的解块单元540提供的参考帧相加，而恢复视频帧。基本层解码器510可包括熵解码单元515、去量化单元520、逆空间变换 单元525、运动补偿单元530和解块单元540。熵解码单元515执行与熵编码相逆的无损耗解码，并提取紋理数据和运 动数据。将紋理信息提供给去量化单元520。运动补偿单元530利用从熵解码单元515提供的运动数据来执行恢复后 的视频帧的运动补偿，并生成运动补偿后的帧。仅在编码器侧通过时间预测 处理对当前帧进行了编码的情况下，应用该运动补偿处理。如果通过时间预测获得了逆空间变换单元525所恢复的残余图像，则加 法器535通过将残余图像与运动补偿单元530提供的运动补偿后的帧相加， 而恢复视频帧。与图4图示的基本层编码器的解块单元430对应的解块单元540通过对 加法器535所恢复的视频帧进行解块而生成基本层帧，并将基本层帧提供给 增强层解码器550的加法器570作为参考帧。由于去量化单元520和逆空间变换单元525的操作与增强层中的那些相 同，所以将省略其解释。尽管在图5中例示了多个构成元件具有相同名称但具有不同附图标记， 但是本领域技术人员应明白，具有指定名称的一个构成元件可在基本层和增 强层两者中工作。尽管已描述了基于SVM3.0的FGS编码处理中的残余重新估计处理，但 是根据本发明实施例的残余重新估计处理可扩展到一般多层视频编码。也就 是说，通过考虑到作为新原始帧的解块恢复后的帧对残余进行重新估计，而 不是通过从原始帧中减去预测帧所获得的残余，预先去除了解块所要去除的 不必要的数据，并降低了传输的比特数目。图6是图示了根据本发明另一实 施例的一般多层结构中的残余重新估计处理的图。
在一般多层结构的第N层中，对通过从原始帧On中减去预测帧Pn所获 得的残余图像进行变换和量化，以便传输到解码器侧，并且通过将预测帧与对残余进行去量化和逆变换所获得的值相加而获得恢复后的帧RECn。然后， 通过执行RECn的解块Dn，而获得为预测提供的参考帧。然而，在根据本发明实施例的第N层中，将通过向在上述残余创建和正 恢复处理之后获得的恢复后的帧REC施加解块Dn所获得的帧On，看作新原始帧，并通过从帧On，中减去帧间预测帧(或宏块)P而获得新残余图像。然后，对新残余图像进行变换和量化，以便传输到解码器侧。而且，通过执行残余图像的变换和量化并将量化后的残余图像与预测帧P。相加所恢复的RECV被用作用于生成另 一 帧的预测帧的参考帧。图7是图示了根据本发明另 一 实施例的编码器的构造的方框图。 根据本发明实施例的第N层编码器700可包括下采样器715、运动估计单元720、运动补偿单元725、空间变换单元735、量化单元740、去量化单元745、逆空间变换单元750、解块单元760、上采样器770和熵编码单元775。 下采样器715利用第N层的分辨率执行原始输入帧的下采样。该下采样是在假设上一增强层的分辨率和第N层的分辨率不同的情况下进行的，并由此如果两层的分辨率彼此相等，则可省略该下采样。而去除视频的时间冗余。空间变换单元735利用支持空间可伸缩性的空间变换方法，而去除其中 已由减法器730去除了时间冗余的帧的空间冗余。另外，空间变换单元735 去除通过从加法器755和解块单元760所恢复的帧中减去由运动补偿单元725 所获得的时间预测帧而获得的新残余图像的空间冗余。加法器755通过将逆空间变换单元750所恢复的残余图像(即，通过从 输入帧中减去时间预测帧所获得的值)与时间预测帧相加，而恢复第N层输 入帧，并将所恢复的帧提供给解块单元760。解块单元760通过对加法器755所恢复的第N层输入帧进行解块而生成 新的第N层输入帧，并将所获得的帧提供给减法器765。上采样器770执行从加法器755输出的信号(即，如果需要，通过将新 残余图像与时间预测帧相加而恢复的新的第N层视频帧)的上采样，并将上 采样后的帧提供给上一增强层编码器作为参考帧。如果上一增强层和第N层 的分辨率彼此相等，则可以不使用上采样器770。图8是图示了根据本发明另一实施例的解码器的构造的方框图。根据本发明实施例的第N层解码器800可包括熵解码单元810、去量化 单元820、逆空间变换单元830、运动补偿单元840和上采样器860。上采样器860利用上一增强层的分辨率执行在第N层解码器800中恢复 的第N层图像的上采样，并将上采样后的图像提供给上一增强层。如果上一 增强层和第N层的分辨率彼此相等，则可省略该上采样处理。由于熵解码单元810、去量化单元820、逆空间变换单元830和运动补偿 单元840的操作与图5所示FGS解码器的操作相同，所以将省略其解释。图4、 5、 7和8所示的相应构成元件可以是软件或硬件，例如现场可编 程门阵列(FPGA)和特定用途集成电路(ASIC)。然而，构成元件不限于软理器。构成元件中提供的功能可通过细分构成元件而实现，并且可将构成元 件和构成元件中提供的功能组合到一起以执行特定功能。另外，可将构成元 件实现为执行系统中的 一个或多个计算机。产业上的可利用性如上所述，根据本发明的利用残余重新估计的多层视频编码/解码方法和 利用该方法的设备具有以下效果中的至少一个。首先，可通过将其中已由解块去除了冗余信息的帧用作原始帧，来降低 用于编码残余信号的比特数目。第二，可通过执行在多层视频编码/解码处理中的相应层的解块处理，来 提供其中已去除了块伪影的高质量视频帧。已经为了图示的目的而描述了本发明的实施例，并且本领域技术人员将 理解，各种修改、添加和替换都是可能的，而不背离在所附权利要求中公开 的本发明的精神和范围。
权利要求
1.一种多层视频编码方法，包括(a)对通过从原始帧中减去预测帧所获得的第一残余图像进行编码；(b)对编码后的第一残余图像进行解码，并通过将解码后的残余图像与该预测帧相加，而生成第一恢复后的帧；(c)对该第一恢复后的帧进行解块；和(d)对通过从该第一解块恢复后的帧中减去该预测帧所获得的第二残余图像进行编码。
2. 根据权利要求1的方法，还包括(e )通过对编码后的第二残余图像进行解码并将解码后的第二残余图像 与预测帧相加，而生成第二恢复后的帧；和(f)提供该第二恢复后的帧作为另一帧的参考帧。
3. 根据权利要求2的方法，其中该预测帧是从下一层获得的第二恢复后 的帧。
4. 根据权利要求1的方法，其中步骤(c)利用弱解块滤波器对该第一 恢复后的帧进行解块。
5. 根据权利要求1的方法，其中步骤(c)使用在步骤(a)中使用的相 同编石马方法。
6. 根据权利要求l的方法，其中步骤(a)包括步骤(al),用于利用与 层的等级成比例减'J 、的量化参数执行量化。
7. 根据权利要求l的方法，其中步骤(d)包括步骤(dl),用于利用与 层的等级成比例减d 、的量化参数执行量化。
8. —种多层视频解码方法，包括(a) 从比特流中提取与残余图像对应的数据；(b) 通过对数据进行解码而恢复该残余图像；和(c) 通过将该残余图像与恢复后的预测帧相加，而恢复视频帧，其中该比特流是通过以下步骤获得的编码后的第二残余图像的比特流(d) 对通过从原始帧中减去预测帧所获得的第 一残余图像进行编码；(e) 对编码后的第 一残余图像进行解码，并通过将解码后的第 一残余图 像与该预测帧相加，而生成第一恢复后的帧； (f)对该第一恢复后的帧进行解块；和(g )对通过从该第 一解块恢复后的帧中减去该预测帧所获得的第二残余 图像进行编码。
9. 根据权利要求8的方法，其中步骤(f)利用弱解块滤波器对第一恢 复后的帧进行解块。
10. 根据权利要求8的方法，其中步骤(f)使用在步骤(d)中使用的 相同编；马方法。
11. 根据权利要求8的方法，其中步骤(d)包括步骤(dl),用于利用 与层的等级成比例减小的量化参数执行量化。
12. 根据权利要求8的方法，其中步骤(g)包括步骤(gl)，用于利用 与层的等级成比例减'J 、的量化参数执行量化。
13. —种多层视频编码器，包括时间变换单元，可操作为去除通过从原始帧中减去预测帧所获得的第一 残余图像的时间冗余；空间变换单元，可操作为去除其中已去除了时间冗余的第 一 残余图像的 空间冗余；量化单元，可操作为对该空间变换单元所提供的变换系数进行量化； 熵编码单元，可操作为对量化后的变换系数进行编码；去量化单元，可操作为通过对量化后的变换系数执行去量化；逆空间变换单元，可操作为通过对去量化后的变换系数执行逆空间变换， 而生成第一恢复后的残余图像；和解块单元，可操作为对通过将第一恢复后的残余图像与预测帧相加所获 得的第 一恢复后的帧进行解块，其中该空间变换单元去除通过从第 一解块恢复后的帧中减去预测帧所获 得的第二残余图像的空间冗余。
14. 根据权利要求13的多层视频编码器，其中该逆空间变换单元通过对 去量化后的变换系数执行逆空间变换，而生成第二恢复后的残余图像，并通过将第二恢复后的残余图像与预测帧相加，而生成用作另一帧的参考帧的第二恢复后的帧。
15. 根据权利要求14的多层视频编码器，其中该预测帧是从下一层获得 的第二恢复后的帧。
16. 根据权利要求13的多层视频编码器，其中该解块单元利用弱解块滤 波器对该第一恢复后的帧进行解块。
17. 根据权利要求13的多层视频编码器，其中该量化单元利用与层的等 级成比例减,J 、的量化参数执行量化。
18. —种多层视频解码器，包括熵解码单元，可操作为从比特流中提取与残余图像对应的数据；去量化单元，可操作为对所提取的数据进行去量化；逆空间变换单元，可操作为通过对去量化后的数据执行逆空间变换，而 恢复该残余图像；和加法器，可操作为通过将恢复后的残余图像与恢复之前的预测帧相加， 而恢复一见频帧，其中该比特流是通过以下步骤获得的编码后的第二残余图像的比特流 (a)对通过从原始帧中减去预测帧所获得的第 一残余图像进行编码； (b )对编码后的第一残余图像进行解码，并通过将解码后的第一残余图 像与该预测帧相加，而生成第一恢复后的帧； (c)对该第一恢复后的帧进行解块；和(d )对通过从该第 一解块恢复后的帧中减去该预测帧所获得的第二残余 图像进行编码。
19. 根据权利要求18的多层视频解码器，其中该第一恢复后的帧的解块 是通过使用弱解块滤波器执行的。
20. 根据权利要求18的多层视频解码器，其中步骤(d)包括步骤(dl ), 用于利用与层的等级成比例减d 、的量化参数执行量化。
21. —种记录介质，用于记录执行根据权利要求1的方法的计算机可读 程序。
22. —种记录介质，用于记录执行根据权利要求8的方法的计算机可读程序。
全文摘要
公开了一种利用残余重新估计的多层编码/解码方法以及使用该方法的设备。该多层视频编码方法包括(a)对通过从原始帧中减去预测帧所获得的第一残余图像进行编码；(b)对编码后的第一残余图像进行解码，并通过将解码后的残余图像与该预测帧相加，而生成第一恢复后的帧；(c)对该第一恢复后的帧进行解块；和(d)对通过从该第一解块恢复后的帧中减去该预测帧所获得的第二残余图像进行编码。
文档编号H04N7/24GK101112100SQ200680003367
公开日2008年1月23日 申请日期2006年1月25日 优先权日2005年1月27日
发明者李培根, 车尚昌 申请人:三星电子株式会社