专利名称：用于高效率视频编码的条带边缘滤波方法及其装置的制作方法
技术领域：
本发明有关于视频编码,并且特别有关于在条带边缘(slice boundary)处的与滤波及处理相关的编码技术。
背景技术：
对于数字视频压缩来说，巾贞内预测(intra-prediction)及巾贞间移动补偿编码是非常有效率的压缩技术，而且也已广泛地应用于许多编码标准中，例如MPEG-1/2/4及
H.261/H.263/H.264/AVC。在大多数编码系统中，移动估计及后续处理主要使用具有16x16个像素的宏块(macroblock)做为单位。然而，在名为高效率视频编码(High EfficiencyVideo Coding, HEVC)的下一代标准的最近发展中，已采用更灵活的块结构作为处理单位，其可称为编码单元(Coding Unit,⑶)。编码单元可由最大编码单元(Largest CodingUnit, IXU)开始，且可使用四分树(quadtree)自适应性地将其切割为多个较小的区块(block)以达到更佳的性能。不再分成更小编码单元的区块可称为叶编码单元(Leaf CU)，且在相同叶编码单元中的视频数据由编码设定决定并且分享相同的编码信息。四分树分割可递归地应用在各个IXU上，直到其达到最小编码单元(Smallest⑶，S⑶)，可适当选择LCU及最小编码单元的尺寸来平衡系统复杂度与性能。在H.264/AVC编码标准中，在当下的多个视频帧被分割为多个条带，其中各条带由多个作为最小编码单位的不重叠宏块(non-overlapping macroblock)所组成。各条带可编码为I条带(巾贞内编码条带)、P条带(预测条带)或B条带(双向条带),且压缩数据可进入条带层(slice-layer)数据。因为条带是独立处理的，来自一个条带的误差或数据遗失不会传播至图像中的任何其他条带。更进一步而言，可允许冗余条带进行可靠传输。在最新的高效率视频编码发展中，条带包括多个LCU以取代宏块。更进一步而言，高效率视频编码可允许条带包括具有分数数量的最大编码单元以提供在未来的良好编码粒度(granularity)。另一方面,高效率视频编码采用去块滤波(deblocking filtering)及自适应环路滤波(adaptive loop filtering)以增进客观及主观质量。去块滤波及自适应环路滤波用于当下像素及其相邻像素。因此，在条带边缘使用去块滤波及自适应环路滤波会导致失去条带结构独立处理的特性。若去块滤波及自适应环路滤波未用在条带边缘上，在条带边缘上会观察到瑕疵。因此，需要发展一种视频滤波及处理的方法及其装置，以克服在条带边缘处相邻条带的数据相关性问题。
发明内容
已揭露使用条带内自适应环路滤波器(ALF)及/或条带内自适应偏移(AdaptiveOffset，A0)的一种用于视频图像编码的装置及其方法。每个视频图像被分割为多个条带，并且每个条带被分割为多个编码单元。依据本发明实施例，用于视频编码的装置及方法包括重建每个条带以产生重建条带以及依据条带内自适应环路滤波、条带内自适应偏移或条带内自适应环路滤波及条带内自适应偏移的组合来处理重建条带的步骤。该装置及方法可包括依据条带内去块滤波以选择性地去块处理上述重建条带，其中在依据条带内自适应环路滤波、条带内自适应偏移或条带内自适应环路滤波及条带内自适应偏移的组合以处理该重建条带之前，该条带内去块滤波用于该重建条带的该编码单元。更进一步地，该装置及方法可包括加入条带边缘滤波器(Slice Boundary Filter, SBF)的选择性步骤,其中该SBF可用于横跨多个条带边缘以滤波多个条带边缘像素。该条带内ALF及AO利用像素扩充或旁路以去除来自其他条带像素的依附性，其中该像素扩充方法包括垂直优先、水平优先、汉明距离(Hamming distance)及映射贴补。依据本发明，可在视频比特流中加入多个语法结构，让允许本发明系统可在各种可能设定中进行选择。已揭露使用条带内自适应环路滤波器及/或条带内自适应偏移的一种用于解码视频比特流的装置及其方法。该比特流与已压缩的视频图像有关，其中每个视频图像被分割为多个条带，且每个条带被分割为多个编码单元。在依据本发明的实施例中，该装置及方法包括依据该视频比特流重建每个条带以产生重建条带，由该视频比特流恢复ALF及/或AO信息，以及依据该自适应环路滤波器及/或自适应偏移信息使用条带内自适应环路滤波及/或条带内自适应偏移处理该重建条带以提供已处理条带的步骤。在依据本发明之另一实施例中，该装置及方法更包括由该视频比特流恢复SBF信息，以及依据该SBF信息使用条带边缘滤波处理该已处理条带的步骤，其中该条带边缘滤波用于横跨多个条带边缘以滤波多个条带边缘像素。更进一步地，依据本发明的该装置及方法利用加入该视频比特流中的不同语法结构以选择用于进行适当操作的设定。
图1描述依据四分树的示例编码单元分割。图2描述条带分割的示例，其中该分割边缘对齐最大编码单元。图3描述条带分割的示例，其中该条带包括分数的最大编码单元。图4描述用于高效率视频编码的示例视频编码器的系统方块图。图5描述用于高效率视频编码的示例视频解码器的系统方块图。图6描述横跨条带边缘的自适应环路滤波示例。图7A描述自适应偏移示例一依据像素类型的极端校正，其中该类型依据像素P及其相邻像素pl-p4决定。图7B描述自适应偏移示例一依据像素类型的极端校正，其中7个类型依据像素P及其相邻像素pl-p4定义。图8描述在条带边缘仅使用该条带的数据的条带内去块滤波/自适应环路滤波/自适应偏移的不例。图9 (A)-(C )描述在条带边缘具有条带边缘扩充的示例ALF。
图1OA描述用于ALF及AO的垂直优先贴补以克服条带边缘问题。图1OB描述用于ALF及AO的水平优先贴补以克服条带边缘问题。图1OC描述依据汉明距离用于ALF及AO的贴补以克服条带边缘问题。图1OD描述依据各种方法用于5x5ALF的数据贴补的示例。图11描述用于3x3ALF/A0滤波器的旁路边缘像素的示例方法。图12描述依据本发明实施例使用条带边缘滤波器的用于高效率视频编码的视频编码器系统方块图。图13描述依据本发明实施例使用条带边缘滤波器的用于高效率视频编码的视频解码器系统方块图。图14A描述依据本发明的与条带内ALF/A0及条带边缘滤波器有关的示例序列参
数集合语法。图14B描述依据本发明的与条带内ALF/A0及条带边缘滤波器有关的示例图像层语法。图14C描述依据本发明的与条带内ALF/A0及条带边缘滤波器有关的示例条带头语法。图15A描述依据本发明的与条带内ALF/A0及条带边缘滤波器有关的选择性的序列参数集合语法。 图15B描述依据本发明的与条带内ALF/A0及条带边缘滤波器有关的选择性的图
像层语法。图15C描述依据本发明的与条带内ALF/A0及条带边缘滤波器有关的选择性的条带头语法。
具体实施例方式对于数字视频压缩来说，巾贞内预测(intra-prediction)及巾贞间移动补偿编码是非常有效率的压缩技术，而且也已广泛地应用于许多编码标准中，例如MPEG-1/2/4及
H.261/H.263/H.264/AVC。在大多数编码系统中，移动补偿及后续处理主要使用具有16x16个像素的宏块作为单位。然而，在最新的高效率视频编码(HEVC)发展中，已采用更灵活的块结构为单位，其可称为编码单元(Coding Unit，CU)。编码过程可由最大编码单元(Largest Coding Unit,IXU)开始,且可使用四分树(quadtree)自适应地将最大编码单元切割为多个较小的块。编码单元分割可依据四分树结构将编码单元分割为4个较小的编码单元。四分树分割可递归使用，由最大编码单元开始，直到达到最小编码单元为止，其中可适当地设计最大编码单元及最小编码单元的尺寸以达到良好的系统性能。为了抑制编码噪声传播(例如量化误差)，在许多编码系统中使用环路滤波(loop filtering),例如在H.264/AVC及高效率视频编码中的去块滤波器(Deblocking Filter, DF)以及高效率视频编码中的自适应环路滤波(Adaptive loop filtering, ALF)及自适应偏移(Adaptive0ffset，A0)。在条带边缘使用去块滤波器及自适应环路滤波/自适应偏移会需要来自其他条带的像素数据并且会造成失去独立条带处理特性。高效率视频编码的去块滤波器操作于无限脉冲响应(Infinite ImpulseResponse, !IR)形式，其中当完成各区块边界的去块滤波处理时，所处理的目前像素会被储存，从而让所处理的目前像素可用于相同条带的任何后续像素处理。因此，需要预先定义去块滤波器的顺序，使得解码器为了适当解码采用相同顺序执行去块滤波。当去块滤波器用于条带边缘时，重建条带无法开始进行去块滤波，直到其相关条带像素已经完成去块滤波。因此，在条带边缘的传统去块滤波会造成较长处理延迟。相对地，自适应环路滤波常使用有限脉冲响应(Finite Impulse Response, FIR)形式,其中自适应环路滤波的操作依据在滤波窗(filter window)中非自适应滤波(ηοη-ALF)处理过的数据。然而，当自适应环路滤波应用在条带边缘时，其会造成失去独立条带处理特性。自适应偏移处理亦常以有限脉冲响应(FIR)形式，且其会造成失去独立条带处理特性。因此，亟需发展新的去块滤波、自适应环路滤波及自适应偏移算法以当其应用至图像条带时仍可维持独立条带处理特性。也亟需发展所需的比特流语法以增进编码器与解码器的协同运作。图1描述依据四分树的示例编码单元分割。在深度cbpth=0，初始编码单元⑶0112由64x64个像素所组成，且为最大编码单元。初始编码单元⑶0112依据如方块110所示的四分树分割而定。分割旗标(split flag)0表示目前编码单元未被分割，并且另一方面，分割旗标I表示目前编码单元依据该四分树分割为四个较小编码单元122。所产生的4个编码单元标示为0、1、2及3，且各个编码单元成为在下一深度用于进一步分割的编码单元。由编码单元CU0112所产生的多个编码单元称为编码单元CU1122。在依据该四分树将编码单元分割后，所产生的多个编码单元会由进一步的四分树分割支配，除非编码单元已达到预先指定的最小编码单元尺寸。因此，在深度1，编码单元CU1122依据方块120所示的四分树进行分割。再次，分割旗标O表示目前编码单元未被分割，且另一方面，分割旗标I表示目前编码单元依据该四分树分割为四个较小编码单元⑶2132。编码单元⑶2132具有16x16的尺寸，且如方块130所示四分树分割的过程可以继续直到达到预先指定的最小编码单元。举例来说，若该最小编码单元被选择为8x8，在深度3的编码单元CU3142将会受限于如方块140所示的无法作进一步分割。产生不同尺寸编码单元的一张图像的四分树分割集合构成分割图(partition map)以让编码器据以处理输入图像区域。该分割图需要传播至解码器，从而可相应执行解码流程。在H.264/AVC视频编码标准中，当前的多个视频图像被分割为多个条带，其中各条带由多个作为最小 单位的不重叠宏块组成。各条带可编码为I条带(帧内编码条带)、p条带(预测条带)或B条带(双向条带)，且压缩数据可进入条带层数据。随着高效率视频编码标准的发展，最大编码单元(LCU)可用以作为初始编码单元。该最大编码单元可自适应地分割为较小的多个编码单元以进行更有效处理。用于H.264的基于宏块的条带分割可扩充至高效率视频编码的基于最大编码单元的条带分割。高效率视频编码的基于最大编码单元的条带分割的示例如图2所示，其中24个最大编码单元被分为三个条带。LCUOO至IXU07被指派至条带0，210所示，IXU08至IXU15被指派至条带1，220所示，且IXU16至^^23被指派至条带2，230所示。如图2所示，条带边缘与最大编码单元边缘对齐。虽然对齐该最大编码单元的条带分割是容易实现的，但是最大编码单元的尺寸通常比宏块尺寸大很多，且与最大编码单元对齐的条带无法提供足够的粒度以支持编码系统的动态环境。因此，在高效率视频编码标准发展中正在提出不对齐最大编码单元(non-1XU aligned)的条带分割。图3描述具有分数最大编码单元分割的条带结构示例，其中分割边缘可贯通最大编码单元。条带O，310包括IXUOO至IXU06，并在IXU07的叶编码单元结束。IXU07分散于条带0，310与条带1，320中。条带1，320包括未包括于条带0，310的IXU07剩下的叶编码单元，以及IXU08至IXU15，及部分的IXU16。条带1，420在IXU16的叶编码单元结束。IXU16分散在条带1，320与条带2，330中。条带2，330包括未包含于条带1，320的IXU16剩下的叶编码单元，以及IXU17至IXU23。在高效率视频编码的编码器系统中，视频数据被分割为多个条带以进行独立处理，以避免误差在同一图像中的条带至另一条带的误差传播。该条带可包括分数数量的最大编码单元，且各最大编码单元可依据四分树更进一步分割至多个编码单元，且视频压缩可应用至独立的编码单元。用于传统编码系统的移动估计/补偿通常是以宏块为基础。如图4所示的示例编码器表示使用帧内/帧间预测的系统。帧内预测410用以提供依据在同一图像中视频数据的预测数据。对于巾贞间预测，移动估计(Motion Estimation, ME)及移动补偿(Motion Compensation, MC) 412用以提供基于来自一张或多张其他图像的视频数据的预测数据。开关414选择帧内预测或帧间预测数据，且将所选择的预测数据提供至加法器416以产生预测误差，亦可称为残差值(residues)。预测误差接着由转换(T)418及其后的量化(Q)420所处理。转换及量化后的残差值接着由熵编码422所编码以产生与该压缩视频数据有关的比特流。与该转换系数有关的该比特流接着与侧信息(side information)一同包装，例如移动、模式及与图像区域相关的其他信息。该侧信息也用于熵编码以降低所需带宽，且与该侧信息有关的数据应相应地被提供至熵编码422，如图4所示。当使用帧间预测模式时，一或多张参考图像需在编码器端进行重建。因此，转换及量化后的残差值可用反量化(IQ) 424及反转换(IT) 426来处理以恢复该残差值。该残差值接着在重建(REC) 428被加回预测数据436以重建视频数据。重建后视频数据可储存于参考图像缓冲器434，且用于其他帧的预测。然而，去块滤波器430及自适应环路滤波器432可在该视频数据被储存于该参考图像缓冲器前应用于该重建后的视频数据以改善视频质量。该自适应环路滤波器数据必须在该比特流中进行传送，使得解码器可适当地恢复所需信息以用于该自适应环路滤波器。因此，来自自适应环路滤波器432的自适应环路滤波器信息可提供至熵编码422以并入最后的比特流中。使用 去块滤波器及自适应环路滤波器是选择性的。自适应偏移(AO)并未明示于图4中，其为另一选择性处理，其可通过校正由处理所造成的亮度偏移以增进图像质量。自适应偏移的使用可介于自适应环路滤波器432及参考图像缓冲器434之间，或是在去块滤波器430及自适应环路滤波器432之间。图5描述用于高效率视频编码的视频解码器的系统方块图。因为该编码器亦包括重建该视频数据的部分，一些解码器的部分已在该编码器中使用。然而，熵解码器522并不用于该编码器。更进一步地，对于该解码器端仅需要移动补偿512。开关514选择帧内预测或帧间预测，且将所选择的预测数据提供至重建(REC) 428以与所恢复的残差值结合。除了进行用于压缩视频数据的熵解码之外，熵解码522更可用于侧信息的熵解码，并提供该侧信息至相对应的区块。举例来说，将帧内模式信息提供至帧内预测410，将帧间模式信息提供至移动补偿512，将自适应环路滤波器信息提供至自适应环路滤波器432，且将残差值提供至反量化424。该残差值由反量化424、反转换426及后续重建流程处理以重建该视频数据。若在编码器侧使用自适应偏移，则该解码器可使用自适应偏移处理已重建的视频数据，其在图5中并未明示。依据在该比特流或其他中的侧信息，该解码器可适当地设定自适应偏移。如图4及图5所示，DF及ALF用以在重建后的图像储存在该参考图像缓冲器434之前对该重建后的图像进行处理。DF在H.264/AVC中是逐一对宏块进行处理，在高效率视频编码中是逐一对最大编码单元进行处理。当图像被分割至多个条带时，DF可横跨条带边缘进行处理。在AVC及高效率视频编码中，条带边缘的去块处理依赖来自一个或多个其他条带的已去块处理像素。因为DF用IIR的形式，在一个条带中的区块处理顺序需预先定义，使得解码器可按照在编码器中的相同顺序处理。相似地，若DF用于横跨条带边缘，条带的处理顺序可同样预先定义，使得该解码器可按照在编码器中的相同顺序处理。若当前条带参照先前的一个或多个条带，则直到先前的一个或多个条带已进行去块处理之前将无法开始当前条带的去块处理。举例来说，解码器接收在图像中下方部分的条带可能会早于在该图像中上方部分的条带。若该条带处理顺序是按照该图像由上至下，则直到上方部分的条带已被重建及去块处理之前，下方部分的条带的去块处理无法开始。ALF及/或AO亦使用与DF同样的方式于横跨条带边缘，并与DF —样遇到相同的问题。当DF、ALF及AO的任一者应用于横跨条带边缘，在一帧中的条带处理不再独立于其他条带，且条带需等待，直到其DF,ALF或AO所相依的一个或多个条带完成为止。这种相依性禁止同时处理DF、ALF及A0。为了克服上述问题， 揭露可使得编码系统进行独立条带编码或解码的条带内DF、ALF及A0。选择性的条带边缘滤波器亦被揭露，其可用以减少在条带边缘的瑕疵。图6描述横跨于条带边缘620的自适应环路滤波的示例，其使用了 3x3滤波器610。像素E的ALF操作会需要来自其他条带的像素G、H及I。对于HEVC，也要考虑自适应偏移，并且会遇到相同的边缘问题。为了简化，大部分示例基于ALF而描述。然而，该方法可直接或经过修改应用到A0。在重建、DF及ALF的各种处理后，像素亮度会与原始视频数据有偏差。为了克服该偏移问题，McCann等人已在“Samsung，s Response to the Call forProposals on Video Compression Technology，，(文件:JCTVC_A124, Joint CollaborativeTeam on Video Coding (JCT-VC) of ITU-T SG16WP3and IS0/IEC JTC1/SC29/WG11,第一次会议:德累斯顿，德国，2010年4月15-23日)中揭示了一种内容自适应极端校正(contentadaptive extreme correction)处理。该极端校正处理是AO的一种版本,其可依据目前像素值P及四个相邻像素值P1-P4，分别为如图7A所示之上、左、下、右方像素，将去块处理后的像素分类为一定数量的类型。基于相邻像素使用内容信息可探寻区块边缘特征，且可产生增进的性能，例如较佳的视觉质量或比特率降低。如图7B所示，McCann等人定义了总共7种类型。关于类型0，像素P是区域最小值，且可称为谷(valley)。关于类型5，像素P是区域最大值，且可称为峰(peak)。关于类型1、2、3及4，该像素P是在物体边缘。对于在类型6之外的各类型像素，会计算处理后的视频数据平均值与原始视频数据平均值之间的差值，并将其传送至该解码器。可在DF与ALF之间或ALF与参考图像缓冲器之间应用A0。对于每个类型c，会计算该偏移值Vd (C)。该类型偏移值的计算为原始像素Vo (c)的平均亮度与重建像素Vr(C)的平均亮度之间的差值，即Vd(C)=Vo(C) -Vr(c)0在依据传统DF、ALF及AO处理的系统中，因为条带与其他条带的相依性，该条带的DF、ALF及AO操作需等到其他条带完成。DF流程以IIR形式进行操作，其中DF是以编码单元为基础逐一完成，且当DF与先前处理编码单元的像素有关时，使用去块处理后的像素。另一方面，ALF及AO常以FIR的形式进行操作，且不需等待相邻的编码单元完成。然而，ALF及AO对由DF处理的像素进行操作。因此，依据传统DF的系统会导致较长的解码延迟。举例来说，若条带2，330早于条带0，310及条带I，320被接收，条带2，330的DF、ALF及AO处理必需等待条带0，310及条带1，320已经重建且已去块处理后才能执行。在前述例子中，该编码器可依据循序扫描顺序(raster scan order)进行DF,且将条带O、I及2依序处理。为了增强各条带的独立解码，会在不需要条带边缘外数据的每个条带中进行DF及ALF处理。仅需要来自目前条带像素的DF/ALF/A0可称为条带内DF/ALF/A0。在所有条带均被条带内DF/ALF/A0处理过后，会加入条带边缘滤波器(SBF)以横跨条带边缘过滤。该SBF可由该比特流中的序列参数集合(Sequence Parameter Set, SPS)来致能或禁能。该SBF可用于内回路(in-loop)或后回路(post-loop)。该后回路设定在该领域也可称为后处理设定。内回路SBF在该视频重建回路中进行操作，其中过滤后的样本储存至该参考图像缓冲器，用以预测后续图像。另一方面，后回路SBF在该视频重建回路外进行操作，且过滤后的样本仅用于显示，而不储存于该参考图像缓冲器434。后回路SBF也可称为后回路SBF0该内回路或后回路选择也在该SPS中传递。图8描述仅使用条带内数据的条带内DF/ALF/A0的示例。条带边缘810是在条带0，310及条带I，320之间，且条带边缘820是在条带1，320及条带2，330之间。当该条带内DF/ALF/A0应用于条带0，310，该处理仅依据在条带0，310中的像素而不采用条带1，320中的像素。相似地，当该条带内DF/ALF/A0应用于条带1，320，该处理仅依据在条带1，320中的像素而不采用条带0，310或条带2，330中的像素。依据本发明实施例，该条带内DF会跳过(skip)在条带边缘的像素去块处理。相反地，依据本发明实施例的条带内ALF/A0会在条带边缘使用数据扩充(data extension),使得ALF/A0不会依据来自其他条带的像素。图9A描述依据传统ALF在条带边缘的3x3ALF的情况。用于处理像素E的该3X3ALF窗910包括像素A、B、C、D、E、F、H、I及J。该条带边缘930用粗线表示。如图9A所示，用于像素E的该3x3ALF处理与在另一条带中的像素J有关。另一方面，用于处理像素J的该3x3ALF窗920包括像素E、F、G、1、J、K、L、M及N，其中像素E、F、G、I及L与像素J不在同一条带中。为了去除其他条带相关性，可使用条带边缘扩充。举例来说，用于像素E的该3x3ALF窗940可用(I+F)/2取代像素J的值，其中像素I及F均是来自相同的条带，如图9B所示。因此，该3x3ALF940不依据来自其他条带的像素。用于像素J的该3 x3ALF窗950可用沿着垂直及水平边缘的各自映像图像来取代像素E、F、G、I及L的值，如图9C所示。因此，该3x3ALF950不依据来自其他条带的像素。如图7A所示，AO的操作也可依据相邻像素，且会遇到相同的条带边缘问题。这里所揭露的条带边缘扩充方法也可应用至A0。虽然图9B-9C描述了条带边缘扩充的两个示例，但是也可使用其他方法。当ALF/AO的操作用于像素P时，该操作会依据像素Q，其与像素P不在同一条带中，即Q在该目前条带的外面。为了要系统性地产生像素Q的取代像素Q*，许多边缘扩充方法揭露如下。图10A描述用于ALF及AO的垂直优先贴补(vertical-first padding)以克服该条带边缘问题。垂直优先贴补的条带内ALF/A0可用优先来自垂直方向在该条带中的最接近像素来取代像素Q。如图10A所示，在方块1002中从距离D等于I处开始搜寻取代像素。检查在像素Q上方相距距离D的像素QT,其中QT=I (XQ, Yq+D) , (XQ, YQ)为该像素Q的位置,且I (X，Y)为在该位置(X，Y)的像素值。在方块1012，检查像素QT以决定其是否在P的相同条带中。若QT在相同条带中，在方块1013，选择QT为该取代像素，且完成处理。否则，如方块1014及1016所示，该处理检查在像素Q下方的像素QB。若QB在相同条带中，在方块1017，选择QB为该取代像素，且完成处理。否则，如方块1018-1021及1022-1025所示，该处理检查在像素Q左边的像素QL，再检查在像素Q右边的像素QR。若在P的相同条带中相距距离D未找到像素，如方块1026所示，将距离D增加1，且该处理会递归，直到在P的相同条带中找到取代像素。图1OB描述用于ALF及AO的水平优先贴补(horizontal-first padding)以克服该条带边缘问题。除了从水平方向开始之外，该方法类似于图1OA的垂直优先贴补。如图所示，如方块1018-1021及1022-1025所示，该水平优先贴补先检查像素Q的左边，再检查右边。若在P的相同条带中在水平方向相距距离D无像素，该处理先检查像素Q的上方再检查下方，如方块1010-1013及1014-1017所示。若在P的相同条带中相距距离D未找到像素，如方块1026所示，将距离D增加1，且该处理会递归，直到在P的相同条带中找到取代像素。图1OC描述依据汉明距·离(Hamming distance)的用于ALF及AO的贴补以克服该条带边缘问题。该垂直优先贴补及水平优先贴补仅在与欲取代的像素Q在同一行或同一列搜寻取代像素。依据汉明距离的贴补是依据汉明距离在所有周围像素搜寻取代像素。两个像素之间的汉明距离定义为其水平距离与垂直距离之和。若像素Qi位于(Xi, Yi),将Qi及Q之间的汉明距离Dh定义为Dh (Qi, Q) = I X1-X01 +1 Y1-Y01。该流程由与像素Q相距汉明距离为I的像素开始，如方块1004所示。在方块1030，产生群组G (Q, D)，其中该群组包括与像素Q相距距离D的所有像素。在该群组中的像素表示为Qi，其中i=l，....，N(D)，且N(D)为在该群组中与像素Q相距距离D的像素数量。对于每个距离D，在相关群组中的像素会在像素Q周围形成钻石形状(即旋转45度的正方形)，且N(D)会随着距离D增加。因为在该群组中的多个像素会位于与像素P相同的条带中，有多个取代像素可供选择。为了唯一地辨识取代像素，在该群组中的像素需要排序，如方块1032所示，使得该解码器端会选取相同的取代像素。关于该群组的像素排序可由群组中的任一个像素开始，并以顺时针或逆时针方向延着该钻石形状移动。在该群组中排列过后的像素可表示为Q*i。该钻石形状的其中一个顶点，例如是上、下、左或右，可选择为开始位置。在该群组中的像素依序排列后，该流程会利用如方块1034中的初始化k=l及在方块1036中的检查是否Q*k在相同条带来搜寻在相同条带中的取代像素Q*。若0*1;在？的相同条带中，使用Q*k作为Q的取代像素，如方块1037所示；否则在方块1038中检查“是否k=N(D) ”。若Q*k不是在排列后群组中的最后一个像素，即k古N(D)，则在方块1040增大k，且在方块1036测试下一个Q*k。若Q*k是在排列后群组中的最后一个像素，即在方块1038中k=N(D)，则该流程在方块1026增大D，且在方块1030产生下一群组G (Q，D)，且该流程递归直到找到取代像素Q*。图1OD描述依据前述不同方法用于5x5ALF滤波器的数据贴补示例。用于像素P的该5x5滤波用虚线方块1050表示。粗线1052表示在两个条带之间的边缘。如图1OD所示，该5x5滤波依据在像素P条带外的像素Q。依据图1OA的垂直优先贴补，使用在P的相同条带中的像素B作为取代像素。依据图1OB的水平优先贴补，使用在P的相同条带中的像素A作为取代像素。依据图1OC中的汉明距离方法，像素Q用像素P自身来取代。多个边缘扩充方法已揭露如上用于去除ALF/A0的在其他条带的依附性，当该ALF/AO操作需要来自其他条带的像素时,也可通过旁路(bypassing) ALF/A0来克服此依附性。图11描述用于3x3ALF/A0滤波的旁路边缘像素的示例方法，其中在两个条带之间的边缘是用粗线1102表示。对于直接相邻该边缘的所有像素，即像素Q、L、G、H、I及J，该3x3ALF/A0滤波依据在其他条带中的至少一个像素。因此，依据该旁路方法，该ALF/A0操作不用于像素Q、L、G、H、I及J。如上所述，条带内ALF及AO没有对其他条带的依附性。因此，当接收到该相关的条带层比特流，可不用等待其他条带数据即可处理条带。该条带内ALF及AO可在DF之后使用。一旦该条带内ALF及/或AO完成，则可能看到条带边缘的瑕疵。为了降低由该条带内ALF及/或AO所处理的条带边缘瑕疵的明显度，可将条带边缘滤波器(SBF)用于条带边缘。为了 SBF的目的，可使用相同的DF。然而，为了 SBF的目的，也可使用其他合适的滤波器。该SBF处理可以IIR形式用于条带边缘。在此例中，需要指定条带边缘的处理顺序，使得相同的处理可在该解码器端执行。选择性地，该SBF处理亦可以FIR形式执行。该SBF可用于内回路操作或后回路操作。图12依据本发明实施例描述使用条带内DF430、ALF432及SBF1210用于高效率视频编码的视频编码器系统方块图。如图12所示，依据本发明实施例的该SBF1210可用于由ALF432处理的信号。条带内AO可用于DF430及ALF432之间，或ALF432及SBF1210之间。AO并未明示于图12中。开关1220用以在后回路SBF与内回路SBF之间选择SBF设定，其中该开关1220显示在内回路SBF的位置。当选择该内回路SBF时，该解码器也同样必需操作于内回路SBF设定以适当地重建视频数据。当选择该后回路SBF时，在编码器端已后处理过的视频可用于区域监视，且该解码器端同样必需操作在该后回路模式。图13依据本发明实施例描述使用条带内DF430、ALF432及条带边缘滤波器用于高效率视频编码的视频解码器系统方块图。如图13所示，依据本发明的该SBF1210用于由ALF432处理的信号。条带内AO可用于DF430及ALF432之间，或ALF432及SBF1210之间。AO并未明示于图13中。开关1220用以在后回路SBF及内回路SBF之间选择SBF设定，其中该开关1220显示在内回路SBF的位置。当已选择该后回路SBF设定时，后处理过的视频可在解码器端 提供改进的视频质量。为了要传递所需的信息至该解码器，使得该解码器可适当地进行该条带内ALF/A0及该SBF操作，所以要发展相关语法加入该比特流中。当图像被分割为多个条带时，各条带在条带头(Slice header)可具有其自身的ALF/A0信息(例如ALF参数集合)。然而，当条带的数量增加时，由于在图像中的ALF/A0信息增加，ALF/A0信息的编码效率会降低。因此，另一选择为使用图像层原始字节序列负荷(Raw Byte Sequence Payload, RBSP),pic_layer_rbsp,以传送ALF/AO信息，使得在该图像中的所有条带可分享相同的ALF/AO信息。图像顺序计数信息也需在pic_layer_rbsp中传送以进行适当解码。条带级别(slice-level)ALF/AO信息及图像级别(picture-leveDALF/AO信息可在序列参数集合(SPS)中进行切换。图14A依据本发明描述与条带内DF/ALF/A0及条带边缘滤波器相关的示例序列参数集合语法。slice_boundary_filter_flag用以表示SBF是否用于条带边缘,其中等于O的值表示在DF及ALF后SBF未用于条带边缘，并且等于I的值表示在DF及ALF后条带边缘滤波用于条带边缘。在条带边缘滤波之前，由于使用条带内ALF，因此可独立地解码一张图像中的所有条带。可依据图14A的示例扩充为了要分享的多个条带或是为了每个条带使用其自身的AO 信息而在 pic_layer_rbsp 中加入 AO 信息语法。当 slice_boundary_f ilter_f lag 具有数值 I 时，seq_parameter_set_rbsp 包括 slice_boundary_filter_in_loop_flag 以表不是否SBF已设定为内回路SBF或后回路SBF，其中等于I的数值表示内回路设定，以及等于O的数值表不后回路设定。该 seq_parameter_set_rbsp 也包括 adaptive_loop_f ilter_pic_layer_flag以表示是否ALF信息会加入图像层中。在图像层中的该ALF信息可允许在图像中的多个条带分享相同的ALF参数集合。等于O的adaptive_loop_filter_pic_layer_flag数值表示ALF信息不会加入该图像层中，以及等于I的adaptive_loop_filter_pic_layer_flag表示ALF信息会被加入该图像层中。图14B依据本发明描述与条带内DF/ALF/A0及条带边缘滤波器有关的示例图像层语法。pic_layer_rbsp包括pic_order_cnt_lsb用以推导该图像顺序计数。若adaptive—loop_filter_pic_layer_flag具有数值 I,则 ALF参数集合,alf_param(),会被加入该pic_layer_rbsp,使得在图像中的所有条带可分享相同的ALF参数集合。图14C依据本发明描述与条带内DF/ALF/A0及条带边缘滤波器有关的示例条带头语法。在adaptive_loop_filter_pic_layer_flag具有数值O的情况下,该ALF参数集合，alf_param(),会被加入该条带头,使得各条带具有其自身的ALF参数集合。虽然提供图14A-14C中的示例仅加入ALF信息，但是也可使用类似的方法加入AO信息，用以让多个条带分享或让每个条带使用其自身的AO信息。依据图14A-14C的语法设定需要在图像中的所有条带分享相同的ALF信息或各条带使用其自身的ALF及/或AO信息。选择性的语法设计以实现本发明如图15A-15C所示，用以让各条带选择性地使用该图像的ALF信息或是其自身的ALF信息。图15A所示序列层语法类似于图14A中的序列层语法，除了去除adaptive_loop_filter_pic_layer_flag之夕卜。作为替代，将adaptive_loop_filter_pic_layer_flag移至条带层,使得每个条带可选择性地使用在图像头的ALF信息或图15C中其自身的ALF信息。如图15B所示，该图像的ALF信息总是传送至图像层以让该图像中的多个条带使用。因此，图15A-15C的语法设计提供了更大灵活性使得在图像中的一些条带可分享相同的ALF信息，以及同时其他条带具有其自身的ALF信息。虽然图15A-15C描述加入ALF信息示例以让多个条带分享或让每个条带具有其自身的ALF信息，但是也可加入AO信息以让多个条带分享或是让每个条带有其自身的AO信息。本发明可利用不脱离其精神或必要特征的其他特定形式来实现。本发明可用例如集成电路(Integrated circuit, IC)及特定应用 IC (Application specific IC, ASIC),与实现本发明某些功能及工作的处理器有关的软件及固件代码，或是结合硬件及软件/固件来实现。所述的实施例被认为在各方面都仅是说明性的，而不是限制性的。因此，本发明的范围当视后附的权 利要求书为准而非先前的描述。在同等权利要求书的范围与方法内所做的所有变化仍包含在保护范围中。
权利要求
1.用于编码视频图像的方法，其中该视频图像的每一张被分割为多个条带并且该多个条带的每一个被分割为多个编码单元，该方法包括 重建该多个条带的每一个以产生重建条带；以及 依据条带内自适应环路滤波、条带内自适应偏移或自适应环路滤波与自适应偏移的组合处理该重建条带。
2.如权利要求I所述的方法，其中在依据该条带内自适应环路滤波、该条带内自适应偏移或该条带内自适应环路滤波与该条带内自适应偏移的组合处理该重建条带之前，该方法包括 依据条带内去块滤波去块该重建条带，其中将该条带内去块滤波应用于该重建条带的该多个编码单元。
3.如权利要求I所述的方法，其特征在于，依据该条带内自适应环路滤波、该条带内自适应偏移或该条带内自适应环路滤波与该条带内自适应偏移的组合处理该重建条带包括 用该重建条带中的取代像素来取代在该重建条带外的该条带内自适应环路滤波、该条带内自适应偏移或该条带内自适应环路滤波与该条带内自适应偏移组合的成员像素。
4.如权利要求3所述的方法，其特征在于，取代在该重建条带外的该条带内自适应环路滤波、该条带内自适应偏移或该条带内自适应环路滤波与该条带内自适应偏移组合的该成员像素是依据垂直优先贴补。
5.如权利要求3所述的方法，其特征在于，取代在该重建条带外的该条带内自适应环路滤波、该条带内自适应偏移或该条带内自适应环路滤波与该条带内自适应偏移组合的该成员像素是依据水平优先贴补。
6.如权利要求3所述的方法，其特征在于，取代在该重建条带外的该条带内自适应环路滤波、该条带内自适应偏移或该条带内自适应环路滤波与该条带内自适应偏移组合的该成员像素是依据汉明距离。
7.如权利要求3所述的方法，其特征在于，取代在该重建条带外的该条带内自适应环路滤波、该条带内自适应偏移或该条带内自适应环路滤波与该条带内自适应偏移组合的该成员像素是依据映射边缘像素。
8.如权利要求I所述的方法，其特征在于，该多个条带的每一个在与该多个条带的每一个相关的条带头中具有独立的自适应环路滤波及/或自适应偏移信息。
9.如权利要求I所述的方法，其特征在于，在该视频图像的一张中至少两个条带分享至少部分的自适应环路滤波及/或自适应偏移信息。
10.如权利要求9所述的方法，其特征在于，在该视频图像的一张中的该多个条带所分享的该至少部分的自适应环路滤波及/或自适应偏移信息加入至图像层原始字节序列负荷中。
11.如权利要求I所述的方法，该方法进一步包括 加入条带边缘滤波器，其中该条带边缘滤波器用于横跨条带边缘以滤波条带边缘像素。
12.如权利要求11所述的方法，进一步包括 在序列层级比特流或图像层比特流中加入第一旗标以表示该条带边缘滤波器是否被致能或禁能。
13.如权利要求11所述的方法，其特征在于，该条带边缘滤波器用于内回路操作或后回路操作；以及其中该内回路操作在参考图像缓冲器中储存条带边缘滤波器滤波后像素用以预测未来图像，且该后回路操作不储存条带边缘滤波器滤波后像素用以预测未来图像。
14.如权利要求13所述的方法，进一步包括: 在序列层级比特流或图像层比特流中加入第二旗标以表示是否已选择该内回路操作或该后回路操作。
15.如权利要求11所述的方法，其特征在于，该条带边缘滤波器可选择有限脉冲响应滤波器(FIR)或无限脉冲响应滤波器(IIR)，其中该有限脉冲响应滤波器操作非条带边缘滤波器所处理像素，且该无限脉冲响应滤波器指定处理顺序，并且对于当前像素与后续像素，该无限脉冲响应滤波器操作非条带边缘滤波器所处理像素，以及对于先前像素，该无限响应滤波器操作由条带边缘滤波器所处理的像素。
16.如权利要求15所述的方法，进一步包括: 在序列层级比特流或图像层比特流中加入第三旗标以表示是否已选择该有限脉冲响应滤波器或该无限脉冲响应滤波器。
17.如权利要求1所述的方法，进一步包括: 在图像层原始字节序列负荷中加入语法元素以允许该视频图像中的一个的至少二个条带分享ALF及/或AO信息。
18.如权利要求17所述的方法，进一步包括: 依据在图像层原始字节序列负荷中的该语法元素所表示的状况，在当前条带的条带头加入单独的ALF及/或AO信息。
19.用于解码与视频图像相关的视频比特流方法，其中该视频图像的每一个被分割为多个条带且该多个条带的每一个被分割为多个编码单元，该方法包括: 依据该视频比特流重建该多个条带的每一个以产生重建条带； 由该视频比特流恢复ALF及/或AO信息；以及 依据该自适应环路滤波器及/或该自适应偏移信息使用条带内自适应环路滤波及/或条带内自适应偏移处理该重建条带以提供处理后的条带。
20.如权利要求19所述的方法，其特征在于，该自适应环路滤波器及/或该自适应偏移信息在与该重建条带有关的条带头中。
21.如权利要求19所述的方法，其特征在于，该自适应环路滤波器及/或该自适应偏移信息的至少部分在图像层原始字节序列负荷中。
22.如权利要求19所述的方法，该方法进一步包括: 由该视频比特流恢复SBF信息；以及 依据该SBF信息使用条带边缘滤波处理该处理后的条带，其中该条带边缘滤波用于横跨条带边缘以滤波条带边缘像素。
23.如权利要求22所述的方法，其特征在于，该条带边缘滤波信息表示该条带边缘滤波是否被致能或禁能。
24.如权利要求22所述的方法，其特征在于，该条带边缘滤波信息表示是否为了该条带边缘滤波器选择内回路操作或后回路操作。
25.如权利要求22所述的方法，其特征在于，该条带边缘滤波信息表示是否为了该条带边缘滤波选择有限脉冲响应滤波器(FIR)或无限脉冲响应滤波器(IIR)。
26.如权利要求19所述的方法，其特征在于，该自适应环路滤波及/或该自适应偏移信息在该视频比特流的图像层原始字节序列负荷中。
27.如权利要求26所述的方法，其特征在于，该自适应环路滤波及/或该自适应偏移信息依据该图像层原始字节序列负荷中的语法元素所表示的情况而位于与该重建条带相关的条带头中。
28.用于视频图像的视频编码的装置，其中该视频图像的每一个被分割为多个条带且该多个条带的每一个被分割为多个编码单元，该装置包括 用以重建该多个条带的每一个以产生重建条带；以及 用以依据条带内自适应环路滤波、条带内自适应偏移或条带内自适应环路滤波与条带内自适应偏移组合以处理该重建条带。
29.如权利要求28所述的装置，其中在依据该条带内自适应环路滤波、该条带内自适应偏移或该条带内自适应环路滤波与该条带内自适应偏移组合处理该重建条带之前，该装置包括 用以依据条带内去块滤波以去块该重建条带，其中该条带内去块滤波用于该重建条带的该多个编码单元。
30.如权利要求28所述的装置，其中依据该条带内自适应环路滤波、该条带内自适应偏移或该条带内自适应环路滤波与该条带内自适应偏移组合处理该重建条带包括 用于以该重建条带中的取代像素来取代在该重建条带外的该条带内自适应环路滤波、该条带内自适应偏移或该条带内自适应环路滤波与该条带内自适应偏移组合的成员像素。
31.如权利要求28所述的装置，该装置进一步包括 用于加入条带边缘滤波器，其中该条带边缘滤波器用于横跨条带边缘以滤波条带边缘像素。
32.如权利要求28所述的装置，进一步包括 用于在图像层原始字节序列负荷中加入语法元素以允许通过该视频图像的一张中的至少两个条带分享自适应环路滤波及/或自适应偏移信息。
33.用于解码有关视频图像的视频比特流的装置，其中该视频图像的每一个被分割为多个条带且该多个条带的每一个被分割为多个编码单元，该装置包括 用于依据该视频比特流重建该多个条带的每一个以产生重建条带； 用于由该视频比特流恢复ALF及/或AO信息；以及 用于依据该自适应环路滤波器及/或自适应偏移信息使用条带内自适应环路滤波及/或条带内自适应偏移处理该重建条带以提供处理后的条带。
34.如权利要求33所述的装置，该装置进一步包括 用于由该视频比特流恢复SBF信息；以及 用于依据该SBF信息使用条带边缘滤波处理该处理后的条带，其中该条带边缘滤波用于横跨条带边缘以滤波条带边缘像素。
全文摘要
揭露一种具有条带内去块处理、条带内自适应环路滤波器及条带内自适应偏移的用于视频编码的装置及方法。在视频编码系统中，图像常被分割为多个条带且各条带被独立处理，使得来自条带的误差或遗失数据不会传播至在图像中的其他任何条带。在当前高效率视频编码(HEVC)发展中，去块滤波(DF)、自适应环路滤波(ALF)及自适应偏移(AO)可用于重建的条带。当该处理用于横跨条带边缘时，其会依据当前条带外的像素且会导致当前条带在其他条带上的依附性。因此，在重建条带上的DF/ALF/AO处理需要等待有依附的重建条带已完成该DF/ALF/AO处理。为了克服此条带边缘问题，已发展条带内DF/ALF/AO，其可不必依据当前条带外的任何像素。在所有条带已由该条带内DF/ALF/AO处理后，选择性的条带边缘滤波器可用于条带边缘。
文档编号H04N7/26GK103238318SQ201180052970
公开日2013年8月7日 申请日期2011年5月4日 优先权日2010年11月2日
发明者黄毓文, 陈庆晔, 傅智铭, 徐志玮, 刘杉, 雷少民 申请人:联发科技股份有限公司