专利名称：用于多滤波器自适应滤波的滤波器描述信令的制作方法
技术领域：
本发明涉及用于压缩视频数据的基于块的数字视频译码，且更特定来说涉及用于用信号表示用于对视频块的滤波的滤波器的技术。
背景技术：
数字视频能力可并入到广泛的装置中，包含数字电视、数字直播系统、例如无线电电话手持机等无线通信装置、无线广播系统、个人数字助理(PDA)、膝上型计算机、桌上型计算机、平板计算机、数码相机、数字记录装置、视频游戏装置、视频游戏控制台等。数字视频装置实施视频压缩技术，例如MPEG-2、MPEG-4或ITU-T H.264/MPEG-4第十部分(高级视频译码(AVC))，以更高效地发射及接收数字视频。视频压缩技术执行空间和时间预测以减少或移除视频序列中固有的冗余。例如由“联合协作团队-视频译码”(JCTVC)开发的高效视频译码(HEVC)标准(其是MPEG与ITU-T之间的协作)等新的视频标准持续出现和发展。此新的HEVC标准有时也称为H.265。基于块的视频压缩技术可执行空间预测和/或时间预测。帧内译码依赖于空间预测来减少或移除给定经译码视频单元(其可包括视频帧、视频帧的切片等)内的视频块之间的空间冗余。与此相对，帧间译码依赖于时间预测来减少或去除视频序列的连续经译码单元的视频块之间的时间冗余。对于帧内译码，视频编码器执行空间预测来基于同一经译码视频单元内的其它数据而压缩数据。对于帧间译码，视频编码器执行运动估计和运动补偿来跟踪两个或两个以上邻近经译码视频单元的对应视频块的移动。经译码的视频块可由可用于创建或识别预测块的预测信息及指示正被译码的块与预测块之间的差异的残余数据块表示。在帧间译码的情况下，一个或一个以上运动向量用以从前一或后一经译码单元识别预测性数据块，而在帧内译码的情况下，预测模式可用以基于与正被译码的视频块相关联的经译码单元内的数据产生预测性块。帧内译码及帧间译码两者可界定若干不同预测模式，所述预测模式可界定译码中所使用的不同块大小及/或预测技术。还可包括额外类型的语法元素作为经编码视频数据的一部分，以便控制或界定译码过程中所使用的译码技术或参数。在基于块的预测译码之后，视频编码器可应用变换、量化及熵译码过程以进一步减小与残余块的通信相关联的位速率。变换技术可包含离散余弦变换(DCT)或概念上类似的过程，例如小波变换(wavelet transform)、整数变换或其它类型的变换。在离散余弦变换过程中，例如，变换过程将一组像素值转换成变换系数，其可表示像素值在频域中的能量。将量化应用于变换系数，且量化通常涉及限制与任何给定变换系数相关联的位的数目的过程。熵译码包含共同地压缩经量化变换系数的序列的一个或一个以上过程。可应用视频块的滤波作为编码及解码循环的一部分，或作为对经重建的视频块的后滤波过程的一部分。滤波通常用以(例如)减少成块效应(blockiness)或基于块的视频译码所共有的其它假影。滤波器系数(有时称为滤波器分接头)可经界定或选择以便促进可减少成块效应的所要等级的视频块滤波及/或以其它方式改进视频质量。举例来说，一组滤波器系数可界定如何沿视频块的边缘或视频块内的其它位置应用滤波。不同滤波器系数可引起关于视频块的不同像素的不同等级的滤波。举例来说，滤波可平滑化或锐化邻近像素值的强度差异，以便帮助消除不想要的假影。
发明内容
本发明描述与视频编码及/或视频解码过程中的视频数据的滤波相关联的技术。根据本发明，在编码器处应用滤波，且在位流中编码滤波器信息以使解码器能够识别编码器处应用的滤波。解码器接收包含滤波器信息的经编码视频数据，解码所述视频数据，且基于所述滤波信息应用滤波。以此方式，解码器应用在编码器处应用的相同滤波。根据本发明的技术，可以称为经译码单元(CU)的单元对视频数据进行译码。经译码单元可使用四叉树分割方案分割为较小经译码单元或子单元。针对特定经译码单元识别四叉树分割方案的语法可从编码器发射到解码器。与每一子单元相关联的多个输入或单一输入可在解码和重建经编码视频数据的过程期间滤波。解码器接收的位流中的语法可识别针对特定子单元在编码器处使用的滤波器。用于特定输入的滤波器可基于活动-度量滤波器标引来选择，其中针对活动度量的某些值经标引到一组滤波器内的特定滤波器。在使用改进的拉普拉斯求和值来确定活动度量的情况下，活动-度量滤波器标引有时称为改进的拉普拉斯求和标引或简称为拉普拉斯标引。可基于针对视频数据所确定的活动度量而应用不同类型的滤波。活动度量可量化与视频数据内的一个或一个以上像素块相关联的活动。活动度量可包括指示一组像素内的像素方差的方差度量。举例来说，活动度量可包含改进的拉普拉斯求和函数值，如下文更详细阐释。根据本发明的技术，例如自适应环路中滤波器等滤波器单元可经配置以基于改进的拉普拉斯求和滤波器标引利用多个滤波器。如下文更详细阐释，本发明的滤波技术可使用四叉树分割方案应用于各种大小的经译码单元(CU)。通过利用针对使用四叉树分割方案分割的经译码单元使用拉普拉斯滤波器标引的多个滤波器，如通过压缩率和经重建视频质量中的一者或两者所测量的视频译码性能可能得到改善。在一些实施方案中，用于特定输入的滤波器可从编码器向解码器用信号表示，而不是由解码器基于活动度量确定。如本发明中预期的多滤波器方法可产生较大数目的滤波器，且因此需要较大数目的滤波器系数从编码器传递到解码器。本发明的各方面包含将滤波器描述语法从视频编码器发射到视频解码器。所述滤波器描述语法可描述由视频编码器使用以对视频数据进行译码的滤波器或滤波器组。通过包含此滤波器描述语法，视频编码器可能够使用较少的位发射滤波器信息，且还可通过减少应用特定滤波器所需的计算数目来改进解码器的操作。在一个实例中，一种解码视频数据的方法包含:在视频解码器处接收识别待包含在一组滤波器中的滤波器的最大数目的滤波器描述语法；基于滤波器描述语法和额外所接收滤波器信息重建所述组滤波器；针对经译码单元基于活动度量从所述组滤波器中选择滤波器；以及应用所述滤波器。在另一实例中，一种视频编码方法包含:确定待包含在一组滤波器中的滤波器的最大数目；产生识别滤波器的所述最大数目的滤波器描述语法；将所述滤波器描述语法发射到视频解码器；以及将所述组滤波器发射到视频解码器。在另一实例中，一种视频解码装置包含:滤波器单元，其经配置以接收识别待包含在一组滤波器中的滤波器的最大数目的滤波器描述语法，基于滤波器描述语法和额外所接收滤波器信息重建所述组滤波器，基于活动度量将来自所述组滤波器的滤波器应用于经译码单元；以及存储器，其经配置以存储滤波器单元的经滤波结果。在另一实例中，一种视频编码装置包含:滤波器单元，其经配置以确定待包含在一组滤波器中的滤波器的最大数目且产生识别滤波器的所述最大数目的滤波器描述语法；以及发射单元，其经配置以将所述滤波器描述语法发射到视频解码器且将所述组滤波器发射到视频解码器。在另一实例中，一种用于解码视频数据的设备包含:用于接收识别待包含在一组滤波器中的滤波器的最大数目的滤波器描述语法的装置；用于基于滤波器描述语法和额外所接收滤波器信息重建所述组滤波器的装置；用于针对经译码单元基于活动度量从所述组滤波器中选择滤波器的装置；以及用于应用所述滤波器的装置。在另一实例中，一种用于编码视频数据的设备包含:用于确定待包含在一组滤波器中的滤波器的最大数目的装置；用于产生识别滤波器的所述最大数目的滤波器描述语法的装置；用于将所述滤波器描述语法发射到视频解码器的装置；以及用于将所述组滤波器发射到视频解码器的装置。本发明中所描述的技术可以硬件、软件、固件或其任一组合来实施。如果以硬件实施，那么设备可作为集成电路、处理器、离散逻辑或其任何组合而实现。如果以软件来实施，则可在例如微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或数字信号处理器(DSP)等一个或一个以上处理器中执行软件。可最初将执行所述技术的软件存储于计算机可读媒体中且在处理器中加载并执行。因此，本发明还预期一种包括其上存储有指令的计算机可读存储媒体的计算机程序产品，所述指令在被执行时致使用于解码视频数据的装置的一个或一个以上处理器:接收识别待包含在一组滤波器中的滤波器的最大数目的滤波器描述语法；基于滤波器描述语法和额外所接收滤波器信息重建所述组滤波器；针对经译码单元基于活动度量从所述组滤波器中选择滤波器；且应用所述滤波器。在另一实例中，一种包括其上存储有指令的计算机可读存储媒体的计算机程序产品，所述指令在被执行时致使用于编码视频数据的装置的一个或一个以上处理器:确定待包含在一组滤波器中的滤波器的最大数目；产生识别滤波器的所述最大数目的滤波器描述语法；将所述滤波器描述语法发射到视频解码器；且将所述组滤波器发射到视频解码器。
图1为说明示范性视频编码和解码系统的框图。图2A和2B为说明应用于最大译码单元(LCU)的四叉树分割的实例的概念图。图2C和2D为说明针对图2A和2B所示的IXU的经译码单元的实例滤波器决策的概念图。图3为说明与本发明一致的示范性视频编码器的框图。图4为说明与本发明一致的示范性视频解码器的框图。图5为说明用于活动度量的值的范围的概念图。图6为说明与本发明一致的示范性滤波器单元的框图。
图7为说明与本发明一致的编码技术的流程图。图8为说明与本发明一致的解码技术的流程图。
具体实施例方式本发明描述与视频编码及/或视频解码过程中的视频数据的滤波相关联的技术。根据本发明，在编码器处应用滤波，且在位流中编码滤波器信息以使解码器能够识别编码器处应用的滤波。解码器接收包括滤波器信息的经编码视频数据，解码所述视频数据且基于所述滤波信息应用滤波。以此方式，解码器应用曾在编码器处应用的相同滤波。根据本发明的技术，可以称为经译码单元(CU)的单元对视频数据进行译码。经译码单元可使用四叉树分割方案分割为较小经译码单元或子单元。针对特定经译码单元识别四叉树分割方案的语法可从编码器发射到解码器。与给定CU的每一子单元相关联的多个输入可在解码和重建经编码视频数据的过程期间被滤波。根据本发明的技术，滤波器描述语法可描述一组滤波器，例如所述组中有多少滤波器或所述滤波器呈现什么形状。解码器接收的位流中的额外语法可识别针对特定子单元在编码器处使用的滤波器(即，滤波器系数)。用于特定输入的滤波器可基于活动-度量滤波器标引来选择，其中针对活动度量的某些值被标引到一组滤波器内的特定滤波器。在使用改进的拉普拉斯求和值来确定活动度量的情况下，活动-度量滤波器标引有时称为改进的拉普拉斯求和标引或简称为拉普拉斯标弓I。改进的拉普拉斯求和值是一种普遍使用的类型的活动度量。然而，预期本发明的技术可结合其它类型的活动度量使用。另外，预期本发明的技术还可利用其中基于一个以上活动度量选择滤波器的滤波方案来实施。可基于针对视频数据所确定的活动度量而应用不同类型的滤波。活动度量可量化与视频数据内的一个或一个以上像素块相关联的活动。活动度量可包含指示一组像素内的像素方差的方差度量。举例来说，活动度量可包含改进的拉普拉斯求和函数值，如下文更详细阐释。根据本发明的技术，例如自适应环路中滤波器等滤波器单元可经配置以基于改进的拉普拉斯求和滤波器标引而利用多个滤波器。所述多个滤波器可结合单一输入或多个输入使用。如下文将更详细描述，本发明中描述的多个输入大体指代在编码和解码过程期间产生的中间视频块数据或图像数据。与给定视频块相关联的多个输入可包含(例如)经重建块或图像(RI)、经预解块的经重建块或图像(PRI)、预测块或图像(PD，和/或经量化预测误差图像(EI)。在单一输入方案中，滤波器仅可应用于以上输入中的一者，例如RI。并且，如下文更详细阐释，本发明的滤波技术可使用四叉树分割方案应用于各种大小的经译码单元。通过利用针对使用四叉树分割方案分割的经译码单元使用拉普拉斯滤波器标引的多个滤波器，如通过压缩速率和经重建视频质量中的一者或两者所测量的视频译码性能可能得到改善。如本发明中预期的多滤波器方法可产生较大数目的滤波器，且因此需要较大数目的滤波器系数从编码器发射到解码器。另外，较大数目的滤波器可增加解码器处存储滤波器所需的存储器的量，且还可增加当应用滤波器时发生的计算开销。为潜在地减少需要从编码器发射到解码器的滤波器系数的数目以及潜在地改善解码器性能，本发明的各方面包含使用滤波器描述语法来描述滤波器或滤波器组。所述滤波器描述语法可例如识别一组滤波器中的滤波器的数目、一组滤波器中的滤波器的最大数目，或另外或作为替代，可识别一组滤波器中的滤波器的形状。通过使用滤波器描述语法从编码器向解码器传达待包含在一组滤波器中的滤波器的数目和/或滤波器的最大数目，可通过当较大数目的滤波器改进压缩率或经重建视频质量时包含较大数目的滤波器但当较大数目的滤波器无益时仅包含较小数目的滤波器且因此减少所传递的位数目来改进总体译码性能。指示滤波器的最大数目的语法元素可包含在较高级经译码单元(例如，帧或切片)的语法中，而指示滤波器的数目的语法元素可包含在较高级经译码单元的较低级经译码单元(例如，LCU)的语法中。如下文将更详细阐释，用信号表示一组滤波器到活动度量范围的映射所需的位的数目可取决于所允许的滤波器的最大数目，且不仅仅取决于针对任何给定视频块系列的一组滤波器中使用的滤波器的数目。因此，针对例如切片或标头，向解码器用信号表示滤波器的最大数目可实现与针对具有较大数目的最大滤波器的切片或标头所需的位数目相比使用较少的位从编码器向解码器用信号表示滤波器到活动度量范围的映射。较少滤波器和较小活动度量滤波器索引还可通过减少必需的存储器的量且改进从存储器存取数据的速度来改进解码器性能。还可使用其它类型的滤波器描述语法。举例来说，描述滤波器的形状的滤波器描述语法可从编码器发射到解码器。如下文将更详细描述，滤波器的形状一般指代矩形滤波器中行的数目和列的数目，但本发明的技术也可用于其它滤波器支持或配置，包含非矩形滤波器。通过使用滤波器描述语法从编码器向解码器传达待在一组滤波器中使用的滤波器的形状，可在不同形状改进压缩或视频质量时使用不同形状的滤波器。举例来说，在一些例子中，一组滤波器可包含9x9滤波器，但在其中9x9滤波器不明显改进译码性能的例子中，可能改为使用9x5滤波器。通过使用9x5滤波器，可需要较少位来将滤波器系数从编码器发射到解码器。另外，如通过使用识别一组滤波器中的滤波器的形状的滤波器描述语法所实现的使用不同形状的滤波器还可改进解码器性能。特定来说，通常从存储器逐行读取像素值，因此使用具有减少的行数的滤波器可减少执行特定滤波操作所需的存储器读取的次数。尽管本发明的技术将大体参考环路中滤波来描述，但所述技术可应用于环路中滤波、环路后滤波和例如切换式滤波等其它滤波方案。环路中滤波指代其中经滤波数据为编码及解码环路的一部分，使得经滤波数据用于预测性帧内译码或帧间译码的滤波。环路后滤波指代在编码环路之后应用于经重建视频数据的滤波。在后滤波的情况下，将未经滤波的数据用于预测性帧内译码或帧间译码。本发明的技术不限于环路内滤波或后滤波，且可应用于在视频译码期间应用的各种各样的滤波。另外，尽管本发明的技术大体参考利用拉普拉斯滤波器标引的多输入多滤波器方案来描述，但所述技术可应用于例如单输入多滤波器滤波方案等其它滤波方案。本发明中，术语“译码”指代编码或解码。类似地，术语“译码器”大体指代任何视频编码器、视频解码器，或组合式编码器/解码器(codec)。因而，术语“译码器”在本文中用以指代执行视频编码或视频解码的专用计算机装置或设备。另外，本发明中，术语“滤波器”大体指代一组滤波器系数。举例来说，3x3滤波器可由一组9个滤波器系数界定，5x5滤波器可由一组25个滤波器系数界定，9x5滤波器可由一组45个滤波器系数界定，等等。术语“滤波器组”大体指代一组一个以上滤波器。举例来说，一组两个3x3滤波器可包含第一组9个滤波器系数以及第二组9个滤波器。根据本发明中描述的技术，对于一系列视频块(例如，帧、切片，或最大译码单元(LCU))，识别滤波器组的信息在针对所述系列的视频块的标头中从编码器发射到解码器。术语“形状”(有时称为“滤波器支持”)大体指代特定滤波器的滤波器系数的行数和滤波器系数的列数。举例来说，9x9是第一形状的实例，9x5是第二形状的实例，且5x9是第三形状的实例。在一些例子中，滤波器可呈现包含菱形、类似菱形的形状、圆形、类似圆形的形状、六边形、八边形、十字形、X形、T形、其它几何形状或众多其它形状或配置等非矩形形状。图1为说明可实施本发明的技术的示范性视频编码及解码系统110的框图。如图1中所示，系统110包含经由通信信道115将经编码视频数据发射到目的地装置116的源装置112。源装置112及目的地装置116可包括各种各样的装置中的任一者。在一些情况下，源装置112及目的地装置116可包括无线通信装置手持机，例如所谓的蜂窝式或卫星无线电话。然而，更一般来说应用于视频数据的滤波的本发明的技术不一定限于无线应用或环境，且可应用于包含视频编码和/或解码能力的非无线装置。在图1的实例中，源装置112包含视频源120、视频编码器122、调制器/解调器(调制解调器)123和发射器124。目的地装置116包含接收器126、调制解调器127、视频解码器128和显示装置130。根据本发明，源装置112的视频编码器122可经配置以在视频块滤波过程中针对多个输入选择一组或一组以上滤波器系数，且接着编码所述选定的一组或一组以上滤波器系数。可基于针对一个或一个以上输入的活动度量而选择来自所述一组或一组以上滤波器系数的特定滤波器，且所述滤波器系数可用于对所述一个或一个以上输入进行滤波。本发明的滤波技术大体与用于从编码器向解码器译码或以信号发送滤波器系数的任何技术兼容。根据本发明的技术，包含视频编码器122的装置可将帧或切片的一组或一组以上滤波器系数发射到包含视频解码器128的装置。对于帧或切片，视频编码器122可例如发射待与所有输入一起使用的一组滤波器，或可发射待与多个输入一起使用的多组滤波器(例如，每输入一组)。所述帧或切片内的每一视频块或经译码单元可因而含有额外语法来识别所述组滤波器中哪个(些)滤波器将用于所述视频块的每一输入，或可基于与所述输入中的一者或一者以上相关联的活动度量来确定将使用所述组滤波器中哪个(些)滤波器。更特定来说，源装置112的视频编码器122可选择针对帧或切片的一组或一组以上滤波器，在编码过程期间将来自所述组的滤波器应用于与切片或帧的经译码单元相关联的输入，且接着编码所述组滤波器(即，所述组滤波器系数)以传送到目的地装置116的视频解码器128。视频编码器122可确定与经译码单元的输入相关联的活动度量以便选择来自所述组滤波器的哪个(些)滤波器将与所述特定经译码单元一起使用。在解码器侧，目的地装置116的视频解码器128还可确定针对与经译码单元相关联的一个或一个以上输入的活动度量，使得视频解码器128可确定将来自所述组滤波器的哪个(些)滤波器应用于像素数据，或在一些例子中，视频解码器128可直接依据在位流语法中接收的滤波器信息来确定滤波器系数。视频解码器128可依据滤波器系数曾如何编码而基于直接解码或预测性解码来解码滤波器系数，滤波器系数曾如何编码可作为位流语法的一部分而用信号发送。另外，所述位流可包含用以描述一组滤波器的滤波器的滤波器描述语法。基于滤波器描述语法，解码器128可基于从编码器122接收的额外信息重建滤波器系数。图1的所说明系统110仅是示范性的。本发明的滤波技术可由任何编码装置或解码装置执行。源装置112及目的地装置116仅为可支持此些技术的译码装置的实例。源装置112的视频编码器122可使用本发明的技术对从视频源120接收到的视频数据进行编码。视频源120可包含例如摄像机等视频捕捉装置、含有先前捕捉到的视频的视频档案，或来自视频内容提供者的视频馈送。作为另一替代方案，视频源120可产生基于计算机图形的数据作为源视频，或直播视频(live video)、存档视频与计算机产生的视频的组合。在一些情况下，如果视频源120为摄像机，那么源装置112及目的地装置116可形成所谓的相机电话或视频电话。在每一情况下，视频编码器122可对所捕捉、所预捕捉或计算机产生的视频进行编码。一旦视频编码器122对视频数据进行编码，调制解调器123就可接着根据例如码分多址(CDMA)、频分多址(FDMA)、正交频分多路复用(OFDM)等通信标准或任何其它通信标准或技术来调制经编码的视频信息，且经由发射器124将其发射到目的地装置116。调制解调器123可包含各种混频器、滤波器、放大器或经设计以用于信号调制的其它组件。发射器124可包含经设计以用于发射数据的电路，包含放大器、滤波器及一个或一个以上天线。目的地装置116的接收器126经由信道115接收信息，且调制解调器127解调所述信息。由视频解码器128执行的视频解码过程可包含滤波，例如作为环路中解码的一部分或作为解码环路之后的后滤波步骤。不管怎样，视频解码器128针对特定切片或帧所应用的所述组滤波器可使用本发明的技术来解码。经解码滤波器信息可包含识别经译码位流中的滤波器描述语法。如果举例来说，将预测性译码用于所述滤波器系数，那么可利用不同滤波器系数之间的相似性来减少在信道115上传达的信息量。特定来说，滤波器(即，一组滤波器系数)可预测性译码为相对于与一不同滤波器相关联的另一组滤波器系数的差值。不同滤波器可例如与不同切片或帧相关联。在此情况下，视频解码器128可能接收经编码位流，所述经编码位流包括视频块和识别不同滤波器对于其为相关联滤波器的不同帧或切片的滤波器信息。滤波器信息还包含相对于不同经译码单元的滤波器界定当前滤波器的差值。明确地说，所述差值可包括相对于用于不同经译码单元的不同滤波器的滤波器系数界定用于当前滤波器的滤波器系数的滤波器系数差值。视频解码器128解码视频块，产生滤波器系数，且基于所产生的滤波器系数对经解码的视频块进行滤波。视频解码器128可基于从位流检索的滤波器描述语法产生滤波器系数。经解码及滤波的视频块可经组合为视频帧以形成经解码的视频数据。显示装置130向用户显示经解码的视频数据，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。通信信道115可包括任何无线或有线通信媒体，例如射频(RF)频谱或者一个或一个以上物理传输线，或无线媒体与有线媒体的任何组合。通信信道115可形成例如局域网、广域网或例如因特网的全球网络的基于包的网络的部分。通信信道115通常表示用于将视频数据从源装置112发射到目的地装置116的任何合适的通信媒体或不同通信媒体的集
入
口 ο视频编码器122和视频解码器128可根据例如ITU-T H.264标准(或者称为MPEG-4第10部分，高级视频译码(AVC)，其将出于阐释的目的在本发明的部分中使用)等视频压缩标准而操作。然而，本发明的许多技术可容易应用于多种其它视频译码标准中的任一者，包含新出现的HEVC标准。一般来说，允许编码器和解码器处的滤波的任何标准可从本发明的教示的各个方面受益。尽管图1中未展示，但在一些方面中，视频编码器122及视频解码器128可各自与音频编码器及解码器集成，且可包含适当的多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件，以处理对共同数据流或单独数据流中的音频与视频两者的编码。如果适用，则MUX-DEMUX单元可符合ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。视频编码器122及视频解码器128各自可经实施为一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。视频编码器122和视频解码器128中的每一者可包含在一个或一个以上编码器或解码器中，其任一者可作为组合式编码器/解码器(CODEC)的部分集成在相应移动装置、订户装置、广播装置、服务器或类似装置中。在一些情况下，装置112、116可以大体对称的方式操作。举例来说，装置112、116中的每一者可包含视频编码和解码组件。因此，系统Iio可支持视频装置112、116之间的单向或双向视频发射，例如用于视频流式传输、视频重放、视频广播或视频电话。在编码过程期间，视频编码器122可执行若干译码技术或步骤。一般来说，视频编码器122对个别视频帧内的视频块操作以便编码视频数据。在一个实例中，视频块可对应于宏块或宏块的分区。宏块是由ITU H.264标准和其它标准界定的一种类型的视频块。宏块通常指代16x16数据块，但所述术语有时也一般用于指代NxN大小的任何视频块。ITU-T
H.264标准支持例如针对亮度分量的16xl6、8x8或4x4和针对色度分量的8x8等各种块大小的帧内预测，以及例如针对亮度分量的16xl6、16x8、8xl6、8x8、8x4、4x8和4x4和针对色度分量的对应成比例大小等各种块大小的帧间预测。在本发明中，“ NxN ”指代依据垂直和水平尺寸的块的像素尺寸，例如16x16像素。一般来说，16X16块将具有在垂直方向上的16个像素和在水平方向上的16个像素。同样，NxN块一般具有垂直方向上的N个像素和水平方向上的N个像素，其中N表示正整数值。一块中的像素可布置成若干行和若干列。新兴的HEVC标准界定视频块的新术语。特定来说，视频块(或其分区)可称为“经译码单元”(或CU)。遵照HEVC标准，最大经译码单元(LCU)可根据四叉树分割方案划分为较小CU，且所述方案中界定的不同CU可进一步分割为所谓的预测单元(PU)。LCU、CU和在本发明的含义内全部为视频块。也可使用与HEVC标准或其它视频译码标准一致的其它类型的视频块。因此，短语“视频块”指代任何大小的视频块。可针对给定像素的亮度分量和色度分量的成比例大小而包含单独的CU，但也可使用其它色彩空间。视频块可具有固定或可变大小，且可根据指定译码标准而大小不同。每一视频帧可包含多个切片。每一切片可包含多个视频块，其可布置成若干分区，也称为子块。根据上文参考且下文中更详细描述的四叉树分割方案，N/2xN/2第一 CU可包括NxN LCU的子块，N/4xN/4第二⑶也可包括第一⑶的子块。N/8xN/8PU可包括第二⑶的子块。类似地，作为另一实例，小于16x16的块大小可称为16x16视频块的分区或16x16视频块的子块。同样，针对NxN块，小于NxN的块大小可称为NxN块的分区或子块。视频块可包括像素域中的像素数据的块，或(例如)在对表示经译码的视频块与预测视频块之间的像素差异的残余视频块数据应用例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换等变换之后的在变换域中的变换系数的块。在一些情况下，视频块可包括变换域中的经量化的变换系数的块。位流内的语法数据可界定帧或切片的LCU，其是依据所述帧或切片的像素的数目的最大译码单元。一般来说，IXU或⑶具有与根据H.264译码的宏块类似的用途，只是IXU和⑶不具有特定大小区别。事实上，IXU大小可以逐帧或逐切片为基础来界定，且IXU可分裂为若干CU。一般来说，本发明中对CU的参考可指代LCU的图片或子CU的最大经译码单元。LCU可分裂为若干子CU，且每一子CU可分裂为若干子CU。位流的语法数据可界定LCU可分裂的最大次数，称为CU深度。因此，位流还可界定最小译码单元(SCU)。本发明还使用术语“±夹”和“视频块”来指代IXU、⑶、PU、SCU或TU中的任一者。如上文介绍，IXU可与四叉树数据结构相关联。一般来说，四叉树数据结构包含每⑶一个节点，其中根节点对应于IXU。如果⑶分裂为四个子CU，那么对应于⑶的节点包含四个叶节点，其每一者对应于子CU中的一者。四叉树数据结构的每一节点可提供对应CU的语法数据。举例来说，四叉树中的节点可包含分裂旗标，从而指示对应于节点的CU是否分裂为子CU。CU的语法元素可以递归方式界定，且可取决于CU是否分裂为子CU。不分裂的⑶可包含一个或一个以上预测单元(PU)。一般来说，I3U表示对应⑶的全部或一部分，且包含用于检索PU的参考样本的数据。举例来说，当对进行帧内模式编码时，PU可包含描述PU的帧内预测模式的数据。作为另一实例，当对进行帧间模式编码时，PU可包含界定PU的运动向量的数据。界定运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考帧，和/或运动向量的参考列表(例如，列表O或列表I)。界定PU的⑶的数据还可描述(例如)⑶分割为一个或一个以上W。分割模式可依据CU是未经译码、经帧内预测模式编码还是经帧间预测模式编码而不同。具有一个或一个以上I3U的⑶还可包含一个或一个以上变换单元(TU)。TU包括包含残余变换系数的数据结构，所述残余变换系数通常经量化。特定来说，在使用PU的预测之后，视频编码器可计算CU的对应于所述的部分的残余值。所述残余值可经变换、量化、扫描且存储在TU中，TU可具有对应于所执行的变换的大小的可变大小。因此，TU不一定限于PU的大小。因此，TU可比同一⑶的对应PU大或小。在一些实例中，TU的最大大小可为对应CU的大小。再次，TU可包括包含与给定CU相关联的残余变换系数的数据结构。图2A和2B是说明实例四叉树250和对应的最大译码单元272的概念图。图2A描绘实例四叉树250，其包含以层级方式布置的节点。四叉树(例如，四叉树250)中的每一节点可为无子代的叶节点，或具有四个子节点。在图2A的实例中，四叉树250包含根节点252。根节点252具有四个子节点，包含叶节点256A - 256C(叶节点256)和节点254。因为节点254不是叶节点，所以节点254包含四个子节点，其在此实例中为叶节点258A- 258D (叶节点 258)。四叉树250可包含描述对应的最大译码单元(IXU)(例如，在此实例中为IXU272)的特性的数据。举例来说，四叉树250依据其结构可描述LCU分裂为子CU。假定LCU272具有大小2Nx2N。在此实例中，LCU272具有四个子CU276A-276C (子CU276)和274，每一者大小为NxN。子CU274进一步分裂为四个子CU278A-278D (子CU278)，每一者大小为N/2xN/2。在此实例中，四叉树250的结构对应于IXU272的分裂。即，根节点252对应于IXU272，叶节点256对应于子⑶276，节点254对应于子⑶274，且叶节点258对应于子⑶278。四叉树250的节点的数据可描述对应于节点的CU是否分裂。如果CU分裂，那么四个额外节点可呈现在四叉树250中。在一些实例中，可类似于以下伪码来实施四叉树的节点:
权利要求
1.一种解码视频数据的方法，所述方法包括:在视频解码器处接收识别待包含在一组滤波器中的滤波器的最大数目的滤波器描述语法;基于所述滤波器描述语法和额外所接收滤波器信息重建所述组滤波器；基于活动度量从所述组滤波器中选择滤波器；应用所述滤波器。
2.根据权利要求1所述的方法，其进一步包括:基于所述滤波器描述语法分配存储器的一部分用于存储滤波器。
3.根据权利要求1所述的方法，其中所述视频解码器以多个滤波器实施基于四叉树的自适应环路滤波器QALF方案。
4.根据权利要求1所述的方法，其中所述滤波器描述语法是视频块系列的标头的一部分。
5.根据权利要求1所述的方法，其进一步包括:接收识别所述组滤波器中的滤波器的形状的第二滤波器描述语法；其中重建所述组滤波器进一步基于所述第二滤波器描述语法。
6.根据权利要求1所述的方 法，其中所述活动度量包括改进的拉普拉斯求和值。
7.根据权利要求6所述的方法，其中所述改进的拉普拉斯求和值包括大致根据以下等式而界定的var (i, j):
8.根据权利要求1所述的方法，其中所述视频解码器实施为视频编码器的组件。
9.一种视频编码方法，所述方法包括:确定待包含在一组滤波器中的滤波器的最大数目；产生识别滤波器的所述最大数目的滤波器描述语法；将所述滤波器描述语法发射到视频解码器；将所述组滤波器发射到所述视频解码器。
10.根据权利要求9所述的方法，其中所述视频编码器以多个滤波器实施基于四叉树的自适应环路滤波器QALF方案。
11.根据权利要求9所述的方法，其中所述滤波器描述语法是视频块系列的标头的一部分。
12.根据权利要求9所述的方法，其进一步包括:确定待用于所述组滤波器的滤波器的形状；产生识别所述组滤波器中的滤波器的所述形状的第二滤波器描述语法；将所述第二滤波器描述语法发射到所述视频解码器。
13.—种视频解码装置，其包括:滤波器单元，其经配置以:接收识别待包含在一组滤波器中的滤波器的最大数目的滤波器描述语法；基于所述滤波器描述语法和额外所接收滤波器信息重建所述组滤波器；基于活动度量将来自所述组滤波器的滤波器应用于经译码单元；存储器，其经配置以存储所述滤波器单元的经滤波结果。
14.根据权利要求13所述的视频解码装置，其中所述滤波器单元进一步经配置以基于所述滤波器描述语法分配存储器的一部分用于存储滤波器。
15.根据权利要求13所述的视频解码装置，其中所述视频解码装置以多个输入实施基于四叉树的自适应环路滤波器QALF方案。
16.根据权利要求13所述的视频解码装置，其中所述滤波器描述语法元素是视频块系列的标头的一部分。
17.根据权利要求13所述的视频解码装置，其中所述滤波器单元进一步经配置以:接收识别所述组滤波器中的滤波器的形状的第二滤波器描述语法；基于所述第二滤波器描述语法重建所述组滤波器。
18.根据权利要求13所述的视频解码装置，其中所述活动度量包括改进的拉普拉斯求和值。
19.根据权利要求18所述的视 频解码装置，其中所述改进的拉普拉斯求和值包括大致根据以下等式而界定的var(i, j):
20.一种视频编码装置，其包括:滤波器单元，其经配置以:确定待包含在一组滤波器中的滤波器的最大数目；产生识别滤波器的所述最大数目的滤波器描述语法；发射单元，其经配置以:将所述滤波器描述语法发射到视频解码器；将所述组滤波器发射到所述视频解码器。
21.根据权利要求20所述的视频编码装置，其中所述滤波器单元以多个输入实施基于四叉树的自适应环路滤波器QALF方案。
22.根据权利要求20所述的视频编码装置，其中所述滤波器描述语法是视频块系列的标头的一部分。
23.根据权利要求20所述的视频编码装置，其中所述滤波器单元进一步经配置以:确定待用于所述组滤波器的滤波器的形状；产生识别所述组滤波器中的滤波器的所述形状的第二滤波器描述语法；且其中所述发射器进一步经配置以将所述第二滤波器描述语法发射到所述视频解码器。
24.一种用于解码视频数据的设备，所述设备包括:用于接收识别待包含在一组滤波器中的滤波器的最大数目的滤波器描述语法的装置；用于基于所述滤波器描述语法和额外所接收滤波器信息重建所述组滤波器的装置；用于基于活动度量从所述组滤波器中选择滤波器的装置；用于应用所述滤波器的装置。
25.根据权利要求24所述的设备，其进一步包括:用于基于所述滤波器描述语法分配存储器的一部分用于存储滤波器的装置。
26.根据权利要求24所述的设备，其中所述设备以多个滤波器实施基于四叉树的自适应环路滤波器QALF方案。
27.根据权利要求24所述的设备，其中所述滤波器描述语法是视频块系列的标头的一部分。
28.根据权利要求24所述的设备，其进一步包括:用于接收识别所述组滤波器中的滤波器的形状的第二滤波器描述语法的装置；其中重建所述组滤波器进一步基于所述第二滤波器描述语法。
29.根据权利要求24所述的设备，其中所述活动度量包括改进的拉普拉斯求和值。
30.根据权利要求2 9所述的设备，其中所述改进的拉普拉斯求和值包括大致根据以下等式而界定的var(i, j):var(i,j)= ^+ k,j + l)-R(i + k - l,j + l)—R(i + k +1, j + /1 +k二一K I=-L\2R{i + k,j + l)~R(i + k,j + l-l)-R(i + k,j + l + l}其中针对横跨从-K到K及从-L到L的二维窗口，k表示从-K到K的求和的值，且I表示从-L到L的求和的值，其中i和j表示像素数据的像素坐标，R(i，j)表示坐标i和j处的给定像素值，且var (i，j)是所述活动度量。
31.根据权利要求24所述的设备，其中所述设备包括视频编码装置。
32.一种用于编码视频数据的设备，所述设备包括:用于确定待包含在一组滤波器中的滤波器的最大数目的装置；用于产生识别滤波器的所述最大数目的滤波器描述语法的装置；用于将所述滤波器描述语法发射到视频解码器的装置；用于将所述组滤波器发射到所述视频解码器的装置。
33.根据权利要求32所述的设备，其中所述设备以多个滤波器实施基于四叉树的自适应环路滤波器QALF方案。
34.根据权利要求32所述的设备，其中所述滤波器描述语法是视频块系列的标头的一部分。
35.根据权利要求32所述的设备，其进一步包括:用于确定待用于所述组滤波器的滤波器的形状的装置；用于产生识别所述组滤波器中的滤波器的所述形状的第二滤波器描述语法的装置；用于将所述第二滤波器描述语法发射到所述视频解码器的装置。
36.一种包括其上存储有指令的计算机可读存储媒体的计算机程序产品，所述指令在被执行时致使用于解码视频数据的装置的一个或一个以上处理器:接收识别待包含在一组滤波器中的滤波器的最大数目的滤波器描述语法；基于所述滤波器描述语法和额外所接收滤波器信息重建所述组滤波器；基于活动度量从所述组滤波器中选择滤波器；应用所述滤波器。
37.根据权利要求36所述的计算机程序产品，其进一步包括致使所述一个或一个以上处理器基于所述滤波器描述语法分配存储器的一部分用于存储滤波器的指令。
38.根据权利要求36所述的计算机程序产品，其中所述用于对视频数据进行视频解码的装置以多个滤波器实施基于四叉树的自适应环路滤波器QALF方案。
39.根据权利要求36所述的计算机程序产品，其中所述滤波器描述语法是视频块系列的标头的一部分。
40.根据权利要求36所述的计算机程序产品，其进一步包括致使所述一个或一个以上处理器进行以下操作的指令:接收识别所述组滤波器中的滤波器的形状的第二滤波器描述语法；其中重建所述组滤波器进一步基于所述第二滤波器描述语法。
41.根据权利要求36所述的计算机程序产品，其中所述活动度量包括改进的拉普拉斯求和值。
42.根据权利要求41所述的计算机程序产品，其中所述改进的拉普拉斯求和值包括大致根据以下等式而界定的var(i, j):
43.根据权利要求36所述的计算机程序产品，其中所述用于对视频数据进行视频解码的装置实施为视频编码器的组件。
44.一种包括其上存储有指令的计算机可读存储媒体的计算机程序产品，所述指令在被执行时致使用于编码视频数据的装置的一个或一个以上处理器:确定待包含在一组滤波器中的滤波器的最大数目；产生识别滤波器的所述最大数目的滤波器描述语法；将所述滤波器描述语法发射到视频解码器；将所述组滤波器发射到所述视频解码器。
45.根据权利要求44所述的计算机程序产品，其中所述用于编码视频数据的装置以多个滤波器实施基于四叉树的自适应环路滤波器QALF方案。
46.根据权利要求44所述的计算机程序产品，其中所述滤波器描述语法是视频块系列的标头的一部分。
47.根据权利要求44所述的计算机程序产品，其进一步包括致使所述一个或一个以上处理器进行以下操作的指令:确定待用于所述组滤波器的滤波器的形状；产生识别所述组滤波器中的滤波器的所述形状的第二滤波器描述语法；将所述第二滤波器描述 语法发射到所述视频解码器。
全文摘要
在编码器处应用滤波，且在位流中编码描述一组滤波器的滤波器信息以使解码器能够识别在所述编码器处应用的所述滤波。所述解码器接收包含所述滤波器信息的经编码视频数据，解码所述视频数据，且基于所述滤波信息应用滤波。所述解码器应用在所述编码器处应用的相同滤波。为潜在地减少重建所述组滤波器所需的位数目和其它滤波器信息以及潜在地改进解码器性能，描述所述组滤波器的滤波器描述语法可包含在所述位流中。所述滤波器描述语法可识别一组滤波器中的滤波器的数目、一组滤波器中的滤波器的最大数目，且/或识别一组滤波器中的滤波器的形状。
文档编号H04N7/26GK103081467SQ201180041534
公开日2013年5月1日 申请日期2011年8月30日 优先权日2010年9月1日
发明者钟仁肃, 马尔塔·卡切维奇, 钱威俊 申请人:高通股份有限公司