专利名称：编码器、解码器、视频帧编码方法及比特流解码方法
技术领域：
本发明是有关于视频编码及解码，特别是有关于视频编码及解码过程中的保真度 (fidelity)处理。
背景技术：
本发明引用的参考文献为发表于2007年IEEE国际图像信息处理会议(ICIP 2007)年 艮上的 St印hen Wittmann 与 Thomas Wedi 的论文"Transmission of post-filter hints for video coding schemes”，以及公开号为 EP 1841230A1 的欧洲专利申请。下一代视频编码方法旨在通过尽可能地压缩数据来达到最高的效率。如果可以显 著地压缩数据，就可以在带宽有限的网络中传输高质量的视频。H. 264/AVC(Advance Video Coding, AVC，先进视频编码)编码标准是视频编码标准的一个例子。H. 264标准结合了基 于区块的运动补偿与转换编码(transform coding)。其中转换编码可以去除帧内的空间冗 余，而基于区块的运动补偿可以去除帧间冗余。视频编码可以分为四个部分预测、转换、量化与熵编码(entropycoding)。在编 码端，预测可由帧内预测(intra prediction)及帧间预测(interprediction)组成，其中 帧内预测参考相同帧的像素，而帧间预测参考前一帧的像素。转换将预测残差(residues) 转换为转换系数，使得残差的能量可以向低频带集中。量化将帧的转换系数除以一个数值 并取整，使之达到更小的比特深度，从而进一步减少用来表示一帧的比特数目。最后一步的 熵编码包括量化转换系数及其它参数的无损表示。在解码时，将上述操作逆向执行以产生 重建(reconstruction)的像素。解码与编码过程均包含一个封闭的回路，其中帧的编码/ 解码后的宏块(macroblock)被重建，并接着输入到预测单元以产生下一帧的编码信息。利 用重建后的帧而不是原始帧来预测后续帧，可防止帧之间的漂移。H. 264标准既利用帧内预测，也利用帧间预测，并执行基于区块的编码。将一帧分 成多个宏块并分别对每一宏块进行编码，可导致在区块的边缘形成块效应(artifact)，也 就是说，由于编码模式或相邻区块的运动向量通常不同，在区块之间会有可见的分界线。为 了消除这些块效应，大部分基于区块的编码技术在封闭的编码回路中包含有消除块效应滤 波器(deblockingfilter)。消除块效应滤波器可减轻区块边缘的痕迹，但无法移除区块内 的量化误差。当利用大的量化值执行高保真度(fidelity)的编码时，仅有消除块效应滤波 器是不够的。维纳滤波器(Wiener filter)从编码信号中移除噪声分量，以使得有噪声的编码 信号更接近于原始信号。当原始信号s输入到一个典型的系统中时，原始信号s会受到 一定程度的干扰而产生与原始信号S不同的信号S’。这是附加的噪声影响的结果。维纳 滤波器的目的在于将这两个信号之间的均方误差最小化，从而使得作为结果的滤波信号s"更接近于原始信号s，而不是更接近于干扰信号s’。维纳滤波器通过利用自相关矩阵 (auto-correlation matrix)禾口]it匿^^失巨阵(cross-correlation matrix) r'^JiM^^^W. 来操作。公开号为EP 1841230A1的欧洲专利申请教导了实施于编码器与解码器的维纳滤 波器。维纳滤波器首先可产生互相关矩阵及与矩阵相关的编码器参数，接着将这些参数嵌 入到比特流并将其发送至解码器以用于解码，在解码器中这些参数可用来减少解码后的帧 中的量化误差，从而确保较高的保真度。
发明内容
本发明通过提供多种保真度增强(fidelity enhancement)方法及装置来改善上 述系统的性能，其中保真度增强方法及装置既可实施于编码器也可实施于解码器。本发明的实施例提供一种编码器，用于接收视频帧，并进行编码处理以产生编码 后的比特流，此编码器包含保真度增强区块，利用四叉树分割(quad-tree partition)对 处理过的数据应用保真度增强技术，并产生包含至少一参数的保真度增强信息，其中参数 与四叉树分割结构相关；以及熵编码(entropy coding)区块，耦合于保真度增强区块，用 于编码保真度增强信息，并将编码后的保真度增强信息嵌入到编码后的比特流。本发明的实施例提供一种视频帧编码方法，包含接收视频帧；利用四叉树分割 方法来决定如何分割视频帧；依据决定结果来分割视频帧，并对视频帧执行保真度增强以 产生多个保真度增强参数；以及编码所述的多个保真度增强参数与所述的视频帧，并将编 码后的保真度增强参数嵌入编码所述的视频帧产生的编码后的比特流。本发明的实施例提供另一种视频帧编码方法，包含接收视频帧；对处理过的数 据执行保真度增强，以产生保真度增强信息；编码视频帧以产生编码后的比特流；编码保 真度增强信息，并将编码后的保真度增强信息嵌入到编码后的比特流；以及产生指针，用于 指示保真度增强信息在编码后的比特流中的位置。本发明的实施例提供一种比特流解码方法，包含接收比特流；从比特流的报头 (header)中得到指针，其中指针指示保真度增强信息在比特流中的位置；通过解码处理重 建(reconstruction)视频帧；以及利用通过解码所述的比特流获得的所述的保真度增强 信息对处理过的数据执行保真度增强。本发明的实施例提供一种解码器，用于接收比特流以产生视频帧，解码器包含熵 解码单元，用于解码比特流以产生残差(residues)及保真度增强信息，其中保真度增强信 息包含至少一参数，参数与四叉树分割结构相关；以及重建回路，耦合于熵解码单元，用于 从残差重建视频帧，其中重建回路包含保真度增强区块，用于从熵解码单元接收保真度增 强信息，并依据从保真度增强信息中得到的四叉树分割结构执行保真度增强。本发明所提供的方法及装置，与现有技术相比较，其有益效果包括通过在比特流 的报头中设置指针来指示保真度增强信息的位置，使得解码器不必等待解码全部比特流就 可立即存取保真度增强信息，开始执行保真度增强。
图1是依据本发明第一实施例的编码器的示意图。
图2是依据本发明第一实施例的解码器的示意图。图3是依据本发明第二实施例的编码器的示意图。图4是依据本发明第二实施例的解码器的示意图。图5是依据本发明第三实施例的编码器的示意图。图6是依据本发明第三实施例的解码器的示意图。图7是依据本发明第四实施例的编码器的示意图。图8是依据本发明第四实施例的解码器的示意图。图9是多级四叉树分割的示意图。
具体实施例方式在本说明书以及权利要求当中使用了某些词汇来指称特定的元件，本领域的技术 人员应可理解，硬件制造商可能会用不同的名词来称呼同一个元件，本说明书及权利要求 并不以名称的差异作为区分元件的方式，而是以元件在功能上的差异作为区分的准则，在 通篇说明书及权利要求书当中所提及的“包含”是开放式的用语，故应解释成“包含有但不 限定于”，此外，“耦合” 一词在此包含任何直接及间接的电气连接手段，因此，若文中描述第 一装置耦合于第二装置，则代表第一装置可以直接电气连接于第二装置，或通过其它装置 或连接手段间接地电气连接至第二装置。阅读了下文对于附图所示实施例的详细描述之后，本发明对所属技术领域的技术 人员而言将显而易见。本发明旨在通过提供多种保真度增强(fidelity enhancement)方法来进一步阐 述编码器中的维纳滤波(Wiener filtering)，其中与这些保真度增强方法相关的信息将编 码并嵌入到比特流中。以这种方式，当解码器解码接收到的比特流时，内嵌的保真度增强信 息被取回并利用于解码器中以对处理过的数据执行保真度增强。由于可对处理过的数据应 用多种不同的技术，编码器与解码器中保真度增强区块的多种不同配置可确保增强的等效 性(parity)，从而不仅减小了量化误差，而且确保了所恢复的视频帧整体质量的提高。对视频编码器及解码器应用保真度增强方法的目的是通过消除误差来提高保真 度。以下所列出的保真度增强方法仅作为示例，并非用以限定本发明。保真度增强方法 可包括卡尔曼滤波(Kalman filtering)、噪声削减、去模糊(deblurring)、维纳滤波、回归 (regression)、规贝化(regularization)以及各禾中偏差建模(discrepancy modeling)。偏 差建模可以是直流偏移补偿(零阶)、加权预测(一阶，如ax+b)，空间预测(例如高阶预测， 如 av2+bv+c)、直线拟合(line f itting，如 ax+b，ay+b)、曲线拟合(如 av2+bv+c，ay2+by+c)、 平面拟合(如ax+by+c)以及曲面拟合(如ax2+bxy+cy2+dx+ey+f)。请注意，这些保真度增强技术可在编码器中对处理过的数据分多级执行。以下提 供四个实施例，但本发明并不限定于此。此外，在编码器中(以及在解码器相应位置)设置 一个以上保真度增强区块的变形，也属于本发明保护的范围。除了提供用于编码器中的多种保真度增强方法，本发明进一步提供了执行所述保 真度增强技术的多种方式，以及一种新的比特流语法(syntax)。通常是在片段(slice)及区块级别执行维纳滤波。而本发明是利用四叉树分割 (quad-tree partition)方法对处理过的数据执行保真度增强。利用四叉树分割方法分割视频帧来执行保真度增强，可将成本函数(cost function)最小化。举例来说，在一些帧中， 在帧的一半存在的量化误差数量最小，因此需要较少的扩展运算。相反地，在帧的另一半存 在的量化误差数量较大，因此需要较多的扩展运算来将量化误差减到最小。这种情况下，将 具有较多量化误差的那一半分割成比另一半更小的多个区域变得意义重大。因此，四叉树 分割通过利用成本函数分析来决定分割帧的最好方式，从而提供了一种自适应的保真度增 强方法。图9显示了具有多级四叉树分割结构的视频帧900的示例图。视频帧900的处 理过的数据被提供至保真度增强区块(如维纳滤波器)，保真度增强区块首先基于成本函 数比较来确定四叉树分割结构。保真度增强区块可采用自顶向下分离演算法(top-down splitting algorithm)、自底向上合并演算法(bottom-up merging algorithm)或任何其 它顺序来连续地计算对应于每一候选四叉树分割结构的成本函数，从而确定具有最小成本 的四叉树分割结构。成本函数的一个例子为率失真(rate distortion)函数J = D+Xr。 对于自顶向下分离演算法，首先将视频帧900分割为四个第一级部分，并将对应于未分割 帧的成本函数与对应于上述四个第一级部分(已分割帧)的成本函数作比较，分割遵循具 有较小成本函数的情形。如果后一个成本函数较小，则将每一第一级部分进一步分割为四 个第二级部分，并将对应于未分割的第一级部分的成本函数与对应于分割的第一级部分的 成本函数作比较，以确定是否需要分割这个第一级部分。图9的视频帧900显示了两个第 一级部分(左下角与右上角)，这两个第一级部分不会进一步分割为第二级部分，然而其它 两个第一级部分被进一步分割。类似地，将每一第二级部分分割为第三级部分并比较成本 函数，当逼近预定分割级别时终止自顶向下分离演算法。对于自底向上合并演算法，保真度增强区块开始计算最小部分的成本函数，如第 三级部分，对应于四个第三级部分的成本函数与对应于由这四个第三级部分组成的较大区 域的成本函数作比较。如果后一个成本函数较小，四个第三级部分合并为一个第二级部分。 在成本函数比较之后，四个第二级部分也可合并为一个第一级部分。由保真度增强区块最 终确定的四叉树分割结构可为一种保真度增强信息，其将嵌入到熵编码(entropy coding) 阶段的比特流中。当以四叉树分割执行保真度增强时，每一较小区域的计算结果可被再次用于较大 区域，其中较大区域包含较小区域。这种重用(reuse)的方法可应用于自底向上合并演算 法及自顶向下分离演算法。首先可计算出对应于较小区域的计算结果，这些结果接着可被 再次用于较大区域的计算。在利用维纳滤波器进行保真度增强的一个示例中，会产生包含 互相关(cross-correlation)矩阵与自相关(auto-correlation)矩阵的滤波器参数。当 执行某些分割方法(如四叉树分割方法)时，滤波后的帧的某些区域会被再次滤波，这取决 于区域的大小。因此，本发明提供一种用于维纳滤波的重用的方法，其中当对由较小区域 组成的较大区域执行滤波时，用于较小区域的互相关矩阵及自相关矩阵被再次用于较大区 域。这节省了计算时间。保真度增强参数通常被编码并嵌入到编码后的比特流的尾部。由于在编码后的比 特流的尾部提供保真度增强参数意味着直到比特流的尾部被解码之后解码器才能开始执 行保真度增强，一些现有方法将保真度增强信息置于报头(header)部分。然而这种方法需 要比特流重新连接(re-catenation)。因此，本发明仍将保真度增强信息嵌于比特流的尾部，但在报头中设置一个指针用于指示保真度增强信息在比特流中的位置。举例来说，指针 可给出报头与尾部之间的比特数目的相关信息。这样就允许解码器在报头中的指针解码之 后即可搜寻保真度增强信息，因此，解码器开始执行保真度增强比必须解码全部比特流之 后才获得保真度增强参数的情况快得多。请注意，保真度增强参数不一定必须嵌入到比特 流的尾部，且由于指针由编码器修改，指针可指向存储在比特流中任何位置的任何信息，因 此指针是自适应的(adaptive)。上述保真度增强区块可利用上述至少一种或全部方法。以下说明将结合附图阐述 保真度增强区块的各种不同位置，并进一步解释保真度增强区块的运作。请参照图1，图1为依据本发明第一实施例的编码器100的示意图。编码器100包 含保真度增强(Fidelity Enhancement,以下简称为FE)区块(图中标示为FE) 160。编码 器100还包含帧内预测(intra prediction)区块110、帧间预测(inter prediction)区块 120、减法器132、转换区块(图中标示为T) 134、量化区块(图中标示为Q) 136、反转换区块 (图中标示为IT) 142、反量化区块(图中标示为IQ) 138、重建(reconstruction)单元(图 中标示为REC) 170、消除块效应(deblocking)单元140、参考帧缓冲器130以及熵编码单元 180，其中帧间预测区块120可以是，例如，运动估计/运动补偿区块。除了 FE区块160之 外，编码器100的其它元件对本领域技术人员而言是熟知的，因此关于这些元件的功能及 操作此处不再赘述。FE区块160接收来自参考帧缓冲器130的一个或多个参考帧的处理过 的数据，减小参考帧的处理过的数据与当前帧的数据之间的偏差(discr印ancy)，并将补偿 的处理过的数据提供给帧间预测区块120进行预测。FE区块160可在区块、片段或四叉树 级别上执行上述至少一种保真度增强方法。在执行保真度增强并产生保真度增强的相关参 数时，FE区块160也可利用上述一种或多种方法。换句话说，图1所示的FE区块160在执 行维纳滤波时可重用自相关矩阵与互相关矩阵，以及利用编码后的比特流报头中的自适应 指针来将保真度增强信息在比特流中的位置通知给解码器时，所产生的保真度增强信息可 嵌入到编码后的比特流的尾部。请参照图2，图2为依据本发明第一实施例解码器200的示意图。解码器200包 含FE区块270，其位于编码器100中FE区块160 (见图1)的相应位置上。这确保了解码 器200可最佳地利用编码器100所产生的保真度增强信息。解码器200更包含熵解码单元 240、帧内预测区块210、运动补偿单元220、参考帧缓冲器230、反量化区块256、反转换区块 242、重建单元250以及消除块效应单元260。由于这些单元的功能及操作对于本领域技术 人员而言是熟知的，为简洁起见，此处不再赘述。熵解码单元240从所接收的比特流中取 回残差(residues)及其它信息，如保真度增强信息、帧内部模式信息以及帧之间模式信息 等。一些实施例中，熵解码单元240在解码报头时获得指针，指针指示保真度增强信息在接 收到的比特流中的位置。FE区块270接着从熵解码单元240接收保真度增强信息，并对存 储在参考帧缓冲器230中的一个或多个参考帧的处理过的数据进行保真度增强操作。一些 实施例中，保真度增强信息包含代表特定四叉树分割结构的信息，FE区块依据特定的四叉 树分割结构执行滤波或偏差建模(discr印ancy modeling).请参照图3与图4，图3与图4分别是依据本发明第二实施例的编码器300及解码 器400的示意图。编码器300与解码器400分别包含FE区块160与FE区块270。编码器 300中位于消除块效应单元140之后的FE区块160用于减小当前帧的处理过的数据与当前帧的原始数据(即未处理的数据)之间的误差，并产生补偿的处理过的数据。来自FE区块 160的补偿的处理过的数据存储在参考帧缓冲器130。请注意，图3与图4中所示的每一区 块的功能及操作分别与图1及图2中的相应区块相同，因此保持了相同的标号。请参照图5 图8，图5 图8分别为依据本发明第三实施例的编码器500、解码 器600及依据本发明第四实施例的编码器700、解码器800的示意图。各实施例之间的差别 在于FE区块的位置。每一示意图中的FE区块都可执行包括维纳滤波的保真度增强技术。 一些实施例中采用四叉树分割，并且重用的方法可进一步减少计算时间。举例来说，当先对 较小区域执行维纳滤波，并接着对包含较小区域的较大区域执行维纳滤波时，已经产生的 互相关矩阵与自相关矩阵可再次用于滤波。此外，所揭示的每一编码器均可利用编码后的 比特流报头中的自适应指针来指示保真度增强信息在比特流中的位置。如图5所示的第三 实施例中，FE区块160对当前帧的处理过的数据执行保真度增强，以减小转换区块134、量 化区块136、反量化区块138以及反转换区块142进行操作时所引入的误差。如图7所示的 第四实施例中，FE区块160对当前帧的处理过的数据执行保真度增强，以减小量化区块136 及反量化区块138进行操作时所引入的误差。本领域技术人员应当清楚，所揭示的FE区块并不限定于上述示意图中所显示的 单一位置，包含多个处于不同位置的FE区块的编码器及解码器也落在本发明保护的范围 之内。另外，编码器与解码器中的各FE区块可能执行不同的保真度增强方法。本领域技术 人员也应当了解，FE区块不必执行上述揭示的所有方法(如比特流中指示保真度增强信息 位置的指针、四叉树分割、四叉树分割中计算结果的重用等)，仅执行上述方法中一种或几 种的FE区块也落在本发明要求保护的范围之内。本发明详述了在编码中利用维纳滤波以及通过提供多种保真度增强技术将相关 滤波信息嵌入到编码后的比特流中的构思，其中相关信息将同样被嵌入到编码后的比特流 中。本发明也提供一种执行保真度增强的方法，如对依据四叉树分割法分割的帧进行维纳 滤波以及计算结果的重用。最后，本发明通过在比特流的报头中设置指针来指示保真度增 强信息的位置，为解码器提供了立即存取保真度增强信息的方法，即使信息并未嵌于比特 流的报头中。所属技术领域的技术人员可轻易完成的均等改变或润饰均属于本发明所主张的 范围，本发明的权利范围应以权利要求书所限定的范围为准。
8
权利要求
一种编码器，其特征在于，所述的解码器用于接收视频帧，并进行多个编码处理以产生编码后的比特流，所述的编码器包含预测区块，用于对所述的视频帧执行预测以产生预测残差与预测信息；转换与量化区块，耦合于所述的预测区块，用于对所述的预测残差进行转换与量化处理；重建回路，耦合于所述的转换与量化区块及所述的预测区块之间，用于依据所述的预测残差与来自所述的转换与量化区块的信息重建所述的视频帧；其中，所述的重建回路包含偏差建模区块，用于对处理过的数据应用偏差建模技术，并产生偏差建模信息；以及熵编码区块，将所述的偏差建模信息与所述的预测残差编码入所述的编码后的比特流。
2.如权利要求1所述的编码器，其特征在于，所述的偏差建模技术包括直流偏移补偿、 加权预测、空间预测、直线拟合、曲线拟合、平面拟合以及曲面拟合。
3.如权利要求1所述的编码器，其特征在于，所述的重建回路更包含参考帧缓冲器。
4.如权利要求3所述的编码器，其特征在于，所述的偏差建模区块接收来自所述的参 考帧缓冲器的参考帧的处理过的数据，并执行偏差建模以减小所述的参考帧与所述的视频 帧之间的误差。
5.如权利要求3所述的编码器，其特征在于，所述的偏差建模区块接收来自所述的参 考帧缓冲器的所述的视频帧的处理过的数据，并执行偏差建模以减小所述的转换与量化区 块进行操作时所引入的误差。
6.如权利要求3所述的编码器，其特征在于，所述的偏差建模区块接收所述的视频帧 的处理过的数据，执行偏差建模以减小所述的视频帧的处理过的数据与所述的视频帧的未 处理的数据之间的误差，并将补偿的处理过的数据存储到所述的参考帧缓冲器。
7. 一种解码器，用于接收比特流以产生视频帧，所述的解码器包含 熵解码单元，用于解码所述的比特流，以产生残差与偏差建模信息；以及重建回路，耦合于所述的熵解码单元，用于从所述的残差重建所述的视频帧，其中所述 的重建回路包含偏差建模区块，用于从所述的熵解码单元接收所述的偏差建模信息，并依据所述的偏 差建模信息将偏差建模技术应用于处理过的数据。
8.如权利要求7所述的解码器，其特征在于，所述的偏差建模技术包含直流偏移补偿、 加权预测、空间预测、直线拟合、曲线拟合、平面拟合以及曲面拟合。
9.如权利要求7所述的解码器，其特征在于，所述的重建回路进一步包含参考帧缓冲 器，以及所述的偏差建模区块从所述的参考帧缓冲器接收参考帧的处理过的数据，并依据 所述的偏差建模信息执行偏差建模。
10.如权利要求7所述的解码器，其特征在于，所述的重建回路进一步包含参考帧缓冲 器，以及所述的偏差建模区块接收所述的视频帧的处理过的数据，依据所述的偏差建模信 息执行偏差建模，并将补偿的处理过的数据存储到所述的参考帧缓冲器。
全文摘要
本发明提供了编码器、解码器、视频帧编码方法及比特流解码方法。其中一种编码器用于接收视频帧，并进行编码处理以产生编码后的比特流，此编码器包含保真度增强区块，利用四叉树分割对处理过的数据应用保真度增强技术，并产生包含至少一参数的保真度增强信息，其中参数与四叉树分割结构相关；以及熵编码区块，耦合于保真度增强区块，用于编码保真度增强信息，并将编码后的保真度增强信息嵌入到编码后的比特流。本发明所提供的方法及装置，通过在比特流的报头中设置指针来指示保真度增强信息的位置，使得解码器不必等待解码全部比特流就可立即存取保真度增强信息，开始执行保真度增强。
文档编号H04N7/26GK101998121SQ201010567188
公开日2011年3月30日 申请日期2008年12月12日 优先权日2007年12月13日
发明者郭峋, 雷少民, 黄毓文 申请人:联发科技股份有限公司