自适应环路滤波器集合索引信令的制作方法

自适应环路滤波器集合索引信令
1.相关申请的交叉引用
2.本技术要求于2020年4月20日提交的美国申请第16/853,232号的优先权，该美国申请要求于2019年4月23日提交的美国临时申请第62/837,640号的权益，通过引用将其每一个的全部内容并入本文。
技术领域
3.本公开涉及视频编码和视频解码。


背景技术：

4.数字视频能力可以被并入到广泛的设备中，包括数字电视、数字直接广播系统、无线广播系统、个人数字助理(pda)、膝上型或台式计算机、平板计算机、电子书阅读器、数码照相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电电话、所谓的“智能手机”、视频电话会议设备、视频流设备等。数字视频设备实现视频编解码技术，例如由mpeg
‑
2、mpeg
‑
4、itu
‑
t h.263、itu
‑
t h.264/mpeg
‑
4第10部分、高级视频编解码(avc)、itu
‑
t h.265/高效视频编解码(hevc)定义的标准以及这些标准的扩展中描述的那些技术。通过实现这种视频编解码技术，视频设备可以更有效地发送、接收、编码、解码和/或存储数字视频信息。
5.视频编解码技术包括空域(图片内)预测和/或时域(图片间)预测，以减少或消除视频序列中固有的冗余。对于基于块的视频编解码，视频条带(例如，视频图片或视频图片的一部分)可以被分割成视频块，这些视频块也可以被称为编解码树单元(ctu)、编解码单元(cu)和/或编解码节点。使用关于同一图片中的相邻块中的参考样点的空域预测，对图片的帧内编解码的(i)条带中的视频块进行编码。图片的帧间编解码的(p或b)条带中的视频块可以使用关于同一图片中的相邻块中的参考样点的空域预测或者关于其他参考图片中的参考样点的时域预测。图片可以被称为帧，并且参考图片可以被称为参考帧。


技术实现要素：

6.通常，本公开描述了用于自适应环路滤波器(alf)集合索引信令的技术。示例技术可以用于诸如多功能视频编解码(vvc)标准的当前正在开发的视频标准、诸如高效视频编解码(hevc)标准的现有的视频编解码标准、或其他未来的视频编解码标准。示例技术不一定限于特定的视频编解码标准，并且可以通常适用于利用自适应环路滤波的视频编解码技术。
7.在自适应环路滤波中，使用滤波器的滤波器系数对块进行滤波。滤波器可能有两个来源：自适应滤波器和固定(例如，预定义)滤波器。自适应滤波器可以在一个或多个参数集(例如，自适应参数集(aps))中被信令通知。在一些示例中，视频编码器可以信令通知指示可被参考用于访问自适应滤波器的多个参数集的信息，并且可以信令通知指示要使用自适应滤波器还是固定滤波器的信息。这种信令技术可能效率低下。例如，如果可用被参考用
于访问自适应滤波器的参数集的数量为零，则只有固定滤波器可用于自适应环路滤波。然而，一些技术仍然可能不必要地信令通知要使用自适应滤波器还是固定滤波器的信息。
8.本公开描述了示例技术，其中如果视频数据的当前编解码结构(例如，当前条带、图片、片、片组或砖块)的参数集的数量等于零，其中该当前编解码结构包括针对其启用了自适应环路滤波的视频数据的当前块，则视频编码器可以旁路指示是要使用自适应滤波器还是固定滤波器的信令通知。在这样的示例中，视频解码器可以在不接收指示固定滤波器集合中的一个固定滤波器是否将被用于自适应环路滤波的语法元素的情况下，确定固定滤波器将被用于自适应环路滤波。
9.以这种方式，本公开中描述的示例技术提供了用于确定哪些滤波器要用于自适应环路滤波的实际应用，该实际应用了提高带宽效率。例如，本公开描述了示例技术，当可以推断固定滤波器将被用于自适应环路滤波时，该示例技术通过旁路指示要使用自适应滤波器还是固定滤波器的信息的信令通知，来减少所需的信令量，同时不影响视频质量。通过减少信令通知的量，一种或多种示例技术可以提高视频编解码技术中的效率和性能。
10.在一个示例中，本公开描述了一种解码视频数据的方法，该方法包括：确定视频数据的当前编解码结构所参考用于自适应环路滤波的参数集的数量等于零，其中每个参数集包括一个或多个用于自适应环路滤波的自适应滤波器，其中当前编解码结构包括针对其启用了自适应环路滤波的视频数据的当前块，并且其中当前编解码结构包括当前条带、图片、片、片组或砖块之一；基于当前编解码结构所参考用于自适应环路滤波的参数集的数量等于零，在不接收指示固定滤波器集合中的一个固定滤波器是否将被用于自适应环路滤波的语法元素的情况下，确定针对自适应环路滤波使用来自固定滤波器集合的哪个固定滤波器；以及基于来自固定滤波器集合的固定滤波器，对当前块执行自适应环路滤波。
11.在一个示例中，本公开描述了一种用于解码视频数据的设备，该设备包括被配置成存储参数集的存储器，其中每个参数集包括用于自适应环路滤波的一个或多个自适应滤波器，以及处理电路系统。处理电路系统被配置成：确定视频数据的当前编解码结构所参考用于自适应环路滤波的参数集的数量等于零，其中当前编解码结构包括针对其启用了自适应环路滤波的视频数据的当前块，并且其中当前编解码结构包括当前条带、图片、片、片组或砖块之一；基于当前编解码结构所参考用于自适应环路滤波的参数集的数量等于零，在不接收指示固定滤波器集合中的一个固定滤波器是否将被用于自适应环路滤波的语法元素的情况下，确定针对自适应环路滤波使用来自固定滤波器集合的哪个固定滤波器；以及基于来自固定滤波器集合的固定滤波器，对当前块执行自适应环路滤波。
12.在一个示例中，本公开描述了一种用于解码视频数据的设备，该设备包括于用于确定视频数据的当前编解码结构所参考用于自适应环路滤波的参数集的数量等于零的部件，其中每个参数集包括一个或多个用于自适应环路滤波的自适应滤波器，其中当前编解码结构包括针对其启用了自适应环路滤波的视频数据的当前块，并且其中当前编解码结构包括当前条带、图片、片、片组或砖块之一；用于基于当前编解码结构所参考用于自适应环路滤波的参数集的数量等于零，在不接收指示固定滤波器集合中的一个固定滤波器是否将被用于自适应环路滤波的语法元素的情况下，确定针对自适应环路滤波使用来自固定滤波器集合的哪个固定滤波器的部件；以及用于基于来自固定滤波器集合的固定滤波器，对当前块执行自适应环路滤波的部件。
13.在一个示例中，本公开描述了一种在其上存储指令的计算机可读存储介质，当指令被执行时，使得一个或多个处理器：确定视频数据的当前编解码结构所参考用于自适应环路滤波的参数集的数量等于零，其中每个参数集包括一个或多个用于自适应环路滤波的自适应滤波器，其中当前编解码结构包括针对其启用了自适应环路滤波的视频数据的当前块，并且其中当前编解码结构包括当前条带、图片、片、片组或砖块之一；基于当前编解码结构所参考用于自适应环路滤波的参数集的数量等于零，在不接收指示固定滤波器集合中的一个固定滤波器是否将被用于自适应环路滤波的语法元素的情况下，确定针对自适应环路滤波使用来自固定滤波器集合的哪个固定滤波器；以及基于来自固定滤波器集合的固定滤波器，对当前块执行自适应环路滤波。
14.在一个示例中，本公开描述了一种编码视频数据的方法，该方法包括确定视频数据的当前编解码结构所参考用于自适应环路滤波的参数集的数量等于零，其中每个参数集包括一个或多个用于自适应环路滤波的自适应滤波器，其中当前编解码结构包括针对其启用了自适应环路滤波的视频数据的当前块，并且其中当前编解码结构包括当前条带、图片、片、片组或砖块之一；基于当前编解码结构所参考用于自适应环路滤波的参数集的数量等于零，确定针对自适应环路滤波使用来自固定滤波器集合的哪个固定滤波器；基于当前编解码结构所参考用于自适应环路滤波的参数集的数量等于零，旁路指示固定滤波器集合中的一个固定滤波器是否将被用于自适应环路滤波的语法元素的信令通知；以及基于来自固定滤波器集合的固定滤波器，对当前块执行自适应环路滤波。
15.在一个示例中，本公开描述了一种用于编码视频数据的设备，该设备包括被配置成存储参数集的存储器，其中每个参数集包括用于自适应环路滤波的一个或多个自适应滤波器，以及处理电路系统。处理电路系统被配置成确定视频数据的当前编解码结构所参考用于自适应环路滤波的参数集的数量等于零，其中当前编解码结构包括针对其启用了自适应环路滤波的视频数据的当前块；基于当前编解码结构所参考用于自适应环路滤波的参数集的数量等于零，确定针对自适应环路滤波使用来自固定滤波器集合的哪个固定滤波器；基于当前编解码结构所参考用于自适应环路滤波的参数集的数量等于零，旁路指示固定滤波器集合中的一个固定滤波器是否将被用于自适应环路滤波的语法元素的信令通知；以及基于来自固定滤波器集合的固定滤波器，对当前块执行自适应环路滤波。
16.在附图和以下说明书中阐述一个或多个示例的细节。从说明书、附图和权利要求中，其他特征、目的和优点将变得显而易见。
附图说明
17.图1是示出可以执行本公开的技术的示例视频编码和解码系统的框图。
18.图2a和图2b是示出了示例四叉树二叉树(qtbt)结构和对应的编解码树单元(ctu)的概念图。
19.图3是示出可以执行本公开的技术的示例视频编码器的框图。
20.图4是示出可以执行本公开的技术的示例视频解码器的框图。
21.图5是示出编码视频数据的示例方法的流程图。
22.图6是示出解码视频数据的示例方法的流程图。
具体实施方式
23.视频解码器可以接收当前块与预测块之间的残差值的信息。视频解码器可将残差值加到预测块以重建当前块。然而，在一些情况下，在重建的当前块中可能存在一些伪影，例如当前块的原始样点与重建的当前块的样点之间的均方误差。为了解决伪影，视频解码器对重建的当前块执行自适应环路滤波(alf)过程以滤波伪影，从而减少当前块的原始样点与重建的当前块的样点之间的均方误差。然后可以输出滤波后的当前块用于显示。
24.在一些示例中，视频解码器可以使用滤波后的当前块的样点作为预测块的样点来对后续块进行帧间预测。因此，为了确保由视频解码器使用的预测块的样点与由视频编码器使用的预测块的样点相同，视频编码器可以类似地执行alf作为视频编码器内的重建环路的一部分。alf可能不是针对所有块都被启用，并且视频编码器可以向视频解码器信令通知指示alf是否针对块、包括该块的条带或包括该块的图片被启用的信息。
25.为了执行alf，视频编码器和视频解码器利用从滤波器集合中选择的滤波器(例如，滤波器系数)。滤波器集合可能有两个来源。滤波器集合的第一来源可以是视频编码器基于图片、条带或图片组的各种特性为包括当前块的图片、条带或图片组确定的滤波器。这些滤波器被称为自适应滤波器，因为自适应滤波器是基于特定图片、条带或图片组的特性生成的。视频编码器可以在一个或多个参数集(例如一个或多个自适应参数集(aps))中向视频解码器信令通知自适应滤波器。
26.滤波器集合的另一个来源可以是预定义滤波器，视频解码器被预先配置有该滤波器。例如，视频解码器的存储器可以预先存储预定义滤波器。然而，可能存在视频解码器接收预定义滤波器的其他方式，包括预定义滤波器的可能信令通知。与自适应滤波器不同，预定义滤波器可以不是基于特定图片、条带或图片组生成的，而是已知的滤波器，其通常在不需要为特定图片、条带或图片组指定的情况下提供足够的滤波水平。预定义滤波器可以被称为固定滤波器。
27.在一些示例中，视频编码器可以向视频解码器信令通知(例如，在条带级别或图片级别)指示参数集的数量的信息，其中每个参数集包括一个或多个自适应滤波器，视频解码器可以参考该参数集来对条带或图片内的块执行自适应环路滤波。然后，视频编码器可以信令通知(例如，在块级别)指示自适应滤波器是否将被用于对条带或图片内的当前块进行自适应环路滤波的信息(例如，标志)。
28.作为示例，视频编码器可以信令通知指示存在n个参数集(例如，aps)的信息，其中每个aps包括一个或多个自适应滤波器，视频解码器可以参考该参数集来执行自适应环路滤波。视频编码器可以信令通知指示对于当前块，自适应环路滤波被启用的信息。然后，视频编码器可以信令通知指示对于用于执行自适应环路滤波的自适应滤波器，要参考哪些aps的信息。
29.在一些情况下，其中每个参数集包括一个或多个自适应滤波器、并且视频解码器可以参考其来执行条带或图片内的自适应环路滤波的参数集的数量可能为零(例如，n＝0)。然而，一些技术仍然信令通知指示自适应滤波器是否将被用于对条带或图片内的当前块进行自适应环路滤波的信息。
30.这些技术中的一些在带宽利用方面可能效率低下。例如，如果其中每个参数集包括一个或多个自适应滤波器、并且视频解码器可以参考其来执行条带或图片内的自适应环
路滤波的参数集的数量为零(例如，如果n＝0)，则只有固定滤波器可以用于对条带或图片内的块进行自适应环路滤波，因为包括自适应滤波器的参数集对于视频解码器来说可能不可访问(例如，因为视频编码器指示n＝0)。然而，这些技术中的一些仍然信令通知指示自适应环路滤波器将不被用于自适应滤波(例如，仅使用固定滤波器)的指示，这浪费了带宽，并且需要视频编码器和视频解码器的额外处理，这浪费了计算资源。换句话说，当n＝0时，仅使用固定滤波器用于自适应环路滤波；因此，在信令通知指示自适应滤波器是否将被用于自适应环路滤波的标志时存在带宽和计算浪费。
31.本公开描述了当其中每个参数集包括一个或多个自适应滤波器、并且视频解码器可以参考其来执行条带或图片内的自适应环路滤波的参数集的数量为零时，旁路指示自适应滤波器是否被用于当前块的信息的信令通知的示例技术。例如，当其中每个参数集包括一个或多个自适应滤波器、并且视频解码器可以参考其来执行条带或图片内的自适应环路滤波的参数集的数量为零时，视频解码器可以确定(例如，推断)只有固定滤波器将被用于条带或图片的块。换句话说，视频解码器可以基于视频数据的当前编解码结构(例如，当前条带、图片、片、片组或砖块)所参考用于自适应环路滤波的参数集的数量等于0，在不接收指示固定滤波器集合中的一个固定滤波器是否将被用于自适应环路滤波的语法元素的情况下(例如，在不接收指示自适应滤波器是否未被使用的语法元素的情况下)，确定针对自适应环路滤波使用来自固定滤波器集合的哪个固定滤波器。
32.这样，示例技术提高了视频编码器和视频解码器的带宽效率和处理效率。例如，作为视频编解码技术中确定针对自适应环路滤波使用的滤波器的实际应用的一部分，示例技术导致更好的操作和带宽消耗的减少，这改善了视频编码器或解码器的操作。
33.图1是示出可以执行本公开的技术的示例视频编码和解码系统100的框图。本公开的技术通常针对编解码(编码和/或解码)视频数据。通常，视频数据包括用于处理视频的任何数据。因此，视频数据可以包括原始的、未编码的视频、编码的视频、解码的(例如，重建的)视频和诸如信令数据的视频元数据。
34.如图1所示，在该示例中，系统100包括源设备102，该源设备102提供要由目的设备116解码和显示的编码的视频数据。具体地，源设备102经由计算机可读介质110向目的设备116提供视频数据。源设备102和目的设备116可以包括各种设备中的任何一种，包括台式计算机、笔记本(即，膝上型)计算机、平板计算机、机顶盒、诸如智能手机的电话手机、电视、照相机、显示设备、数字媒体播放器、视频游戏控制台、视频流设备、广播接收设备等。在一些示例中，源设备102和/或目的设备116可以是移动设备。在一些情况下，源设备102和目的设备116可以被配备用于无线通信，因此可以被称为无线通信设备。
35.在图1的示例中，源设备102包括视频源104、存储器106、视频编码器200和输出接口108。目的设备116包括输入接口122、视频解码器300、存储器120和显示设备118。根据本公开，源设备102的视频编码器200和目的设备116的视频解码器300可以被配置为应用自适应环路滤波(alf)滤波器集合索引信令技术。因此，源设备102表示视频编码设备的示例，而目的设备116表示视频解码设备的示例。在其他示例中，源设备和目的设备可以包括其他组件或布置。例如，源设备102可以从外部视频源(例如外部照相机)接收视频数据。同样，目的设备116可以与外部显示设备接口，而不是包括集成的显示设备。
36.图1所示的系统100仅是一个示例。通常，任何数字视频编码和/或解码设备都可以
执行如本公开描述的用于信令通知和接收alf滤波器集合索引的技术。源设备102和目的设备116仅仅是这样的编解码设备的示例，其中源设备102生成编解码的视频数据以传输到目的设备116。本公开将“编解码”设备称为执行数据编解码(编码和/或解码)的设备。因此，视频编码器200和视频解码器300表示编解码设备的示例，具体地，分别表示视频编码器和视频解码器。在一些示例中，设备102和116可以以基本对称的方式操作，使得设备102和116中的每一个都包括视频编码和解码组件。因此，系统100可以支持视频设备102、116之间的单向或双向视频传输，例如，用于视频流式传输、视频回放、视频广播或视频电话。
37.通常，视频源104表示视频数据的源(即，原始的、未编码的视频数据)并且将视频数据的连续系列的图片(也被称为“帧”)提供给视频编码器200，视频编码器200对图片的数据进行编码。源设备102的视频源104可以包括视频捕获设备，例如摄像机、包含先前捕获的原始视频的视频档案和/或从视频内容提供商接收视频的视频馈送接口。作为进一步的替代，视频源104可以生成基于计算机图形的数据作为源视频，或者实况视频、存档视频和计算机生成视频的组合。在每个情况下，视频编码器200对捕获的、预捕获的或计算机生成的视频数据进行编码。视频编码器200可以将图像从接收顺序(有时被称为“显示顺序”)重新排列成编解码顺序以进行编解码。视频编码器200可以生成包括编码的视频数据的比特流。然后源设备102可以经由输出接口108将编码的视频数据输出到计算机可读介质110上，用于由例如目的设备116的输入接口122进行接收或检索。
38.源设备102的存储器106和目的设备116的存储器120表示通用存储器。在一些示例中，存储器106、120可以存储原始视频数据，例如，来自视频源104的原始视频和来自视频解码器300的原始的、解码的视频数据。附加地或替代地，存储器106和120可以存储分别可由例如视频编码器200和视频解码器300执行的软件指令。尽管在该示例中，被示出与视频编码器200和视频解码器300分开，但是应当理解，视频编码器200和视频解码器300也可以包括用于功能相似或等效目的的内部存储器。此外，存储器106、120可以存储例如从视频编码器200输出并输入到视频解码器300的编码的视频数据。在一些示例中，存储器106、120的部分可以被分配为一个或多个视频缓冲器，例如，以存储原始的、解码的和/或编码的视频数据。
39.计算机可读介质110可以表示能够将编码的视频数据从源设备102传送到目的设备116的任何类型的介质或设备。在一个示例中，计算机可读介质110表示通信介质，以使源设备102能够实时地(例如，经由射频网络或基于计算机的网络)将编码的视频数据直接发送到目的设备116。根据诸如无线通信协议的通信标准，输出接口108可以调制包括编码的视频数据的传输信号，并且输入接口122可以解调所接收的传输信号。通信介质可以包括任何无线或有线通信介质，例如射频(rf)频谱或者一条或多条物理传输线。通信介质可以形成基于分组的网络的一部分，例如局域网、广域网或诸如因特网的全球网络。通信介质可以包括路由器、交换机、基站或可用于促进从源设备102到目的设备116的通信的任何其他设备。
40.在一些示例中，源设备102可以从输出接口108向存储设备112输出编码的数据。类似地，目的设备116可以经由输入接口122从存储设备112访问编码的数据。存储设备112可以包括各种分布式或本地访问的数据存储介质中的任何一种，例如硬盘驱动器、蓝光光盘、dvd、cd
‑
rom、闪存、易失性或非易失性存储器，或者用于存储编码的视频数据的任何其他合
适的数字存储介质。
41.在一些示例中，源设备102可以向文件服务器114或可以存储由源设备102生成的编码的视频的另一中间存储设备输出编码的视频数据。目的设备116可以经由流式传输或下载从文件服务器114访问存储的视频数据。文件服务器114可以是能够存储编码的视频数据并将该编码的视频数据发送到目的设备116的任何类型的服务器设备。文件服务器114可以表示网络服务器(例如，对于网站)、文件传输协议(ftp)服务器、内容传送网络设备或网络附加存储(nas)设备。目的设备116可以通过包括互联网连接的任何标准数据连接从文件服务器114访问编码的视频数据。这可以包括适于访问存储在文件服务器114上的编码的视频数据的无线信道(例如，wi
‑
fi连接)、有线连接(例如，dsl、电缆调制解调器等)、或者两者的组合。文件服务器114和输入接口122可以被配置为根据流传输协议、下载传输协议或其组合来操作。
42.输出接口108和输入接口122可以表示无线发送器/接收器、调制解调器、有线网络组件(例如，以太网卡)、根据各种ieee 802.11标准中的任何一种操作的无线通信组件或其他物理组件。在输出接口108和输入接口122包括无线组件的示例中，输出接口108和输入接口122可以被配置为根据蜂窝通信标准(例如4g、4g
‑
lte(长期演进)、lte高级、5g等)传送诸如编码的视频数据的数据。在输出接口108包括无线发送器的一些示例中，输出接口108和输入接口122可以被配置为根据其他无线标准(例如ieee802.11规范、ieee 802.15规范(例如，zigbee
tm
)、bluetooth
tm
标准等)传送诸如编码的视频数据的数据。在一些示例中，源设备102和/或目的设备116可以包括相应的片上系统(soc)设备。例如，源设备102可以包括soc设备以执行属于视频编码器200和/或输出接口108的功能，目的设备116可以包括soc设备以执行属于视频解码器300和/或输入接口122的功能。
43.本公开的技术可以被应用于视频编解码，以支持各种多媒体应用中的任何一种，例如空中电视广播、有线电视传输、卫星电视传输、诸如http上的动态自适应流式传输(dash)的互联网流式视频传输、被编码到数据存储介质上的数字视频、存储在数据存储介质上的数字视频的解码或其他应用。
44.目的设备116的输入接口122从计算机可读介质110(例如，存储设备112、文件服务器114等)接收编码的视频比特流。编码的视频比特流计算机可读介质110可以包括由视频编码器200定义的信令信息(例如具有描述视频块或其他编解码单元(例如，条带、图片、图片组、序列等)的特性和/或处理的值的语法元素)，该信令信息也被视频解码器300使用。显示设备118向用户显示解码的视频数据的解码的图片。显示设备118可以表示各种显示设备中的任何一种，例如阴极射线管(crt)、液晶显示器(lcd)、等离子显示器、有机发光二极管显示器(oled)或另一种类型的显示设备。
45.尽管图1中未示出，在一些示例中，视频编码器200和视频解码器300可以各自与音频编码器和/或音频解码器集成，并且可以包括适当的mux
‑
demux单元，或者其他硬件和/或软件，以处理包括公共数据流中的音频和视频两者的多路复用流。如果适用，mux
‑
demux单元可以符合itu h.223多路复用器协议或者诸如用户数据报协议(udp)的其他协议。
46.视频编码器200和视频解码器300各自可以被实现为各种合适的编码器和/或解码器电路中的任何一种，例如一个或多个微处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、分立逻辑、软件、硬件、固件或其任意组合。当这些技术
部分地在软件中被实现时，设备可以将软件的指令存储在合适的非暂时性计算机可读介质中，并且使用一个或多个处理器在硬件中执行该指令以执行本公开的技术。视频编码器200和视频解码器300中的每一个都可以被包括在一个或多个编码器或解码器中，其中的任何一个都可以被集成为相应设备中的组合编码器/解码器(编解码器)的一部分。包括视频编码器200和/或视频解码器300的设备可以包括集成电路、微处理器和/或诸如蜂窝电话的无线通信设备。
47.视频编码器200和视频解码器300可以根据视频编解码标准(例如，itu
‑
t h.265，也被称为高效视频编解码(hevc))，或其扩展，(例如多视图和/或可缩放视频编解码扩展)操作。替代地，视频编码器200和视频解码器300可以根据其他专有或行业标准(例如当前正在开发的itu
‑
t h.266，也被称为多功能视频编解码(vvc))操作。在bross等人的“多功能视频编解码(草案5)”，itu
‑
t sg 16wp 3和iso/iec jtc 1/sc 29/wg 11的联合视频专家团队(jvet)，第14次会议：日内瓦，瑞士，2019年3月19
‑
27日，jvet
‑
n1001
‑
v2(以下简称“vvc草案5”)中描述了vvc标准的一个草案。在bross等人的“多功能视频编解码(草案8)”，itu
‑
t sg 16wp 3和iso/iec jtc 1/sc 29/wg 11的联合视频专家团队(jvet)，第17次会议：布鲁塞尔，比利时，2020年1月7日至17日，jvet
‑
q2001
‑
ve(以下简称“vvc草案8”)中描述了vvc标准的最新草案。然而，本公开的技术不限于任何特定的编解码标准。
48.通常，视频编码器200和视频解码器300可以执行基于块的图片编解码。术语“块”通常指包括待处理的(例如，待编码的、待解码或以其他方式被用于编码和/或解码过程的)数据的结构。例如，块可以包括亮度和/或色度数据的样点的二维矩阵。通常，视频编码器200和视频解码器300可以对以yuv(例如，y、cb、cr)格式表示的视频数据进行编解码。也就是说，视频编码器200和视频解码器300可以对亮度和色度分量进行编解码，而不是对图片的样点的红色、绿色和蓝色(rgb)数据进行编解码，其中色度分量可以包括红色色调和蓝色色调色度分量。在一些示例中，视频编码器200在编码之前将所接收的rgb格式的数据转换成yuv表示，并且视频解码器300将yuv表示转换成rgb格式。替代地，预处理和后处理单元(未示出)可以执行这些转换。
49.本公开通常可以指的是图片的编解码(例如，编码和解码)以包括编码或解码图片的数据的过程。类似地，本公开可以指的是图片的块的编解码以包括对块的数据进行编码或解码的过程(例如，预测和/或残差编解码)。编码的视频比特流通常包括表示编解码决策(例如，编解码模式)以及图片到块的分割的语法元素的一系列值。因此，对编解码图片或块的引用通常应理解为对形成图片或块的语法元素的值进行编解码。
50.各种块包括编解码单元(cu)、预测单元(pu)和变换单元(tu)。在hevc中，视频编码器(例如视频编码器200)根据四叉树结构将编解码树单元(ctu)分割为cu。也就是说，视频编解码器将ctu和cu分割成四个相等的、不重叠的正方形，并且四叉树的每个节点都有零个或四个子节点。没有子节点的节点可以被称为“叶节点”，并且这种叶节点的cu可以包括一个或多个pu、和/或一个或多个tu。视频编解码器可以进一步分割pu和tu。例如，在hevc中，残差四叉树(rqt)表示了tu的分割。在hevc中，pu表示帧间预测数据，而tu表示残差数据。帧内预测的cu包括诸如帧内模式指示的帧内预测信息。
51.作为另一个示例，视频编码器200和视频解码器300可以被配置为根据vvc操作。根据vvc，视频编解码器(例如视频编码器200)将一个图片分割成多个编解码树单元(ctu)。视
频编码器200可以根据树结构(例如四叉树
‑
二叉树(qtbt)结构或多类型树(mtt)结构)来分割ctu。qtbt结构移除了多个分割类型(例如hevc的cu、pu和tu之间的分离)的概念。qtbt结构包括两个级别：根据四叉树分割来进行分割的第一级别，以及根据二叉树分割来进行分割的第二级别。qtbt结构的根节点对应于ctu。二叉树的叶节点对应于编解码单元(cu)。
52.在mtt分割结构中，可以使用四叉树(qt)分割、二叉树(bt)分割以及一种或多种类型的三叉树(tt)分割来分割块。三叉树分割是其中块被划分成三个子块的分割。在一些示例中，三叉树分割在没有通过中心划分原始块的情况下将块分为三个子块。mtt中的分割类型(例如，qt、bt和tt)可以是对称的，也可以是不对称的。
53.在一些示例中，视频编码器200和视频解码器300可以使用单个qtbt或mtt结构来表示亮度和色度分量中的每一个，而在其他示例中，视频编码器200和视频解码器300可以使用两个或更多个qtbt或mtt结构，例如一个qtbt/mtt结构用于亮度分量，另一个qtbt/mtt结构用于两个色度分量(或者两个qtbt/mtt结构用于相应的色度分量)。
54.在一些示例中，ctu包括具有三个样点阵列的图片的亮度样点的编解码树块(ctb)，色度样点的两个对应的ctb，或者单色图片或使用三个单独的颜色平面和用于编解码样点的语法结构编解码的图片的样点的ctb。对于某个n值，ctb可以是n
×
n样点块，因此将分量分为ctb是一种分割。分量是以4:2:0、4:2:2或4:4:4颜色格式组成图片的三个阵列(亮度和两个色度)之一的阵列或单个样点，或者是以单色格式组成图片的阵列或阵列的单个样点。在一些示例中，对于某个m和n的值，编解码块是m
×
n样点块，使得将将ctb划分为编解码块是一种分割。
55.视频编码器200和视频解码器300可以被配置为使用按照hevc的四叉树分割、qtbt分割、mtt分割或其他分割结构。出于解释的目的，本公开的技术的描述是关于qtbt分割来呈现的。然而，应当理解，本公开的技术也可以被应用于被配置为使用四叉树分割或其他类型的分割的视频编解码器。
56.本公开可以互换地使用“n
×
n”和“n乘n”来指在垂直和水平维度方面的块(诸如cu或其他视频块)的样点维度，例如，16
×
16样点或16乘16样点。通常，16
×
16cu在垂直方向上有16个样点(y＝16)，并且在水平方向上有16个样点(x＝16)。同样，n
×
n cu通常在垂直方向上具有n个样点，并且在水平方向上具有n个样点，其中n表示非负整数值。cu中的样点可以按行和列来排列。此外，cu在水平方向上不必具有与垂直方向上相同数量的样点。例如，cu可以包括n
×
m个样点，其中m不一定等于n。
57.视频编码器200对表示预测和/或残差信息以及其他信息的cu的视频数据进行编码。预测信息指示如何预测cu，以便形成cu的预测块。残差信息通常表示编码前的cu样点与预测块之间的逐样点差。
58.为了预测cu，视频编码器200通常可以通过帧间预测或帧内预测形成cu的预测块。帧间预测通常指的是从先前编解码的图片的数据预测cu，而帧内预测通常指的是从同一图片的先前编解码的数据预测cu。为了执行帧间预测，视频编码器200可以使用一个或多个运动矢量来生成预测块。视频编码器200通常可以例如根据cu与参考块之间的差，执行运动搜索来识别与cu紧密匹配的参考块。视频编码器200可使用绝对差之和(sad)、平方差之和(ssd)、平均绝对差(mad)、均方差(msd)或其它这样的差计算来计算差度量，以确定参考块是否与当前cu紧密匹配。在一些示例中，视频编码器200可以使用单向预测或双向预测来预
测当前cu。
59.vvc的一些示例也提供仿射运动补偿模式，其可以被认为是帧间预测模式。在仿射运动补偿模式下，视频编码器200可以确定表示非平移运动(例如放大或缩小、旋转、透视运动或其他不规则运动类型)的两个或更多个运动矢量。
60.为了执行帧内预测，视频编码器200可以选择帧内预测模式来生成预测块。vvc的一些示例提供了六十七种帧内预测模式，包括各种方向模式，以及平面模式和dc模式。通常，视频编码器200选择描述当前块(例如，cu的块)的相邻样点的帧内预测模式，其中从该相邻样点预测当前块的样点。假设视频编码器200以光栅扫描顺序(从左到右、从上到下)对ctu和cu进行编解码，则这样的样点通常可以在与当前块相同的图片中的当前块的上方、左上方或者左侧。
61.视频编码器200对表示当前块的预测模式的数据进行编码。例如，对于帧间预测模式，视频编码器200可以对表示使用各种可用帧间预测模式中的哪一种以及对应模式的运动信息的数据进行编码。例如，对于单向或双向帧间预测，视频编码器200可以使用高级运动矢量预测(amvp)或合并模式来编码运动矢量。视频编码器200可以使用类似的模式来编码仿射运动补偿模式的运动矢量。
62.在预测之后，例如块的帧内预测或帧间预测，视频编码器200可以计算该块的残差数据。诸如残差块的残差数据表示块与该块的使用对应的预测模式形成的预测块之间的逐样点差。视频编码器200可以对残差块应用一个或多个变换，以在变换域而不是样点域中产生变换的数据。例如，视频编码器200可以对残差视频数据应用离散余弦变换(dct)、整数变换、小波变换或概念上类似的变换。此外，视频编码器200可以在初级变换之后应用次级变换，例如模式相关的不可分离次级变换(mdnsst)、信号依赖的变换、卡尔亨
‑
洛夫变换(karhunen
‑
loeve transform，klt)等。视频编码器200在应用一个或多个变换后产生变换系数。
63.如上所述，在用来产生变换系数的任何变换之后，视频编码器200可以执行变换系数的量化。量化通常是指量化变换系数以尽可能减少用于表示系数的数据量，从而提供进一步压缩的过程。通过执行量化过程，视频编码器200可以减少与一些或所有系数相关联的比特深度。例如，视频编码器200可以在量化期间将n比特值向下舍入到m比特值，其中n大于m。在一些示例中，为了执行量化，视频编码器200可以对要被量化的值执行逐位右移。
64.量化之后，视频编码器200可以扫描变换系数，从包括量化的变换系数的二维矩阵产生一维矢量。扫描可以被设计成将较高能量(因此较低频率)的系数放置在矢量的前面，并将较低能量(因此较高频率)的变换系数放置在矢量的后面。在一些示例中，视频编码器200可以利用预定义的扫描顺序来扫描量化的变换系数以产生序列化的矢量，然后对矢量的量化的变换系数进行熵编码。在其他示例中，视频编码器200可以执行自适应扫描。在扫描量化的变换系数以形成一维矢量之后，视频编码器200可以例如根据上下文自适应二进制算术编解码(cabac)对该一维矢量进行熵编码。视频编码器200还可以对描述与编码的视频数据相关联的元数据的语法元素的值进行熵编码，以供视频解码器300在解码视频数据中使用。
65.为了执行cabac，视频编码器200可以将上下文模型内的上下文分配给要发送的符号。例如，上下文可以涉及例如符号的相邻值是否为零值。概率确定可以基于分配给符号的
上下文。
66.视频编码器200还可以(在图片标头、块头、条带标头中)向视频解码器300生成语法数据，例如基于块的语法数据、基于图片的语法数据和基于序列的语法数据或其他语法数据，例如序列参数集(sps)、图片参数集(pps)或视频参数集(vps)。视频解码器300同样可以解码这样的语法数据，以确定如何解码对应的视频数据。
67.以这种方式，视频编码器200可以生成比特流，该比特流包括编码的视频数据，例如，描述将图片分割成块(例如，cu)的语法元素以及块的预测和/或残差信息。最终，视频解码器300可以接收比特流并解码编码的视频数据。
68.通常，视频解码器300执行与视频编码器200执行的过程相反的过程，以解码比特流的编码的视频数据。例如，视频解码器300可以使用cabac以与视频编码器200的cabac编码过程基本相似但相反的方式解码比特流的语法元素的值。语法元素可以定义图片到ctu的分割信息，以及根据对应的分割结构(例如qtbt结构)对每个ctu的分割，以定义ctu的cu。语法元素还可以定义视频数据的块(例如，cu)的预测和残差信息。
69.残差信息可以由例如量化的变换系数来表示。视频解码器300可以对块的量化的变换系数进行逆量化和逆变换，以再现该块的残差块。视频解码器300使用被信令通知的预测模式(帧内或帧间预测)和相关预测信息(例如，用于帧间预测的运动信息)以形成块的预测块。然后视频解码器300可以(在逐个样点的基础上)组合预测块和残差块以再现(例如，重建)原始块。视频解码器300可以执行附加处理，例如执行去方块过程或自适应环路滤波以减少沿着块边界的视觉伪影。
70.本公开通常可以指“信令通知”诸如语法元素的某些信息。术语“信令通知”通常可以指用于对已编码的视频数据进行解码的语法元素和/或其他数据的值的传递。也就是说，视频编码器200可以在比特流中信令通知语法元素的值。通常，信令通知指的是在比特流中生成值。如上所述，源设备102可以基本上实时地将比特流传输到目的设备116，或者(例如当将语法元素存储到存储设备112以供目的设备116稍后检索时可能发生这样的情况下)不实时地将比特流传输到目的设备116。
71.如上所述，视频解码器300可以对重建的块执行附加处理。例如，为了进一步提高解码的视频的质量，视频解码器300可以对重建的视频块执行一个或多个滤波操作。这些滤波操作的示例包括去方块滤波、样点自适应偏移(sao)滤波和自适应环路滤波(alf)。这些滤波操作的参数(例如，用于滤波操作的滤波器)可以由视频编码器200确定并在编码的视频比特流中显式地信令通知，或者可以在不需要在编码的视频比特流中显示地信令通知这些参数的情况下，由视频解码器300隐式地确定。
72.本公开描述了与被称为“自适应环路滤波器(alf)”的(多个)滤波方法相关的技术。alf可用于后处理阶段或用于环路内编解码，或用于预测过程。为了执行alf，视频解码器300可以从候选滤波器集合中确定滤波器集合。视频编码器200可以信令通知视频解码器300用来确定指向一组候选滤波器集合中的索引的信息。以下描述了与alf和滤波器集合相关的一些示例技术：美国专利公开号us 2019/0373258、于2020年3月18日提交的美国专利申请序列号16/822,990、于2020年3月6日提交的美国专利申请序列号16/811,913和于2019年12月17日提交的美国专利申请序列号16/717,530
73.在vvc测试模型5(vtm5)中，hu等人的“ce5：基于编解码树块的自适应环路滤波器
(ce5
‑
4)”，itu
‑
t sg 16wp 3和iso/iec jtc 1/sc 29/wg11的联合视频专家团队(jvet)，第14次会议：日内瓦，瑞士，2019年3月19
‑
27日，jvet
‑
n0415(以下简称“jvet
‑
n0415”)被采纳。在jvet
‑
n0415中，在每个片组中，当自适应环路滤波器(alf)被应用于亮度编解码树块(ctb)时，视频编码器200或视频解码器300可以从一组候选滤波器集合中确定滤波器集合，用于对亮度ctb执行alf滤波。为亮度ctb信令通知滤波器集合索引(例如，指向该组候选滤波器集合中)。固定(预定义)滤波器集合(例如，固定滤波器)和来自自适应参数集(adaptation parameter set，aps)的滤波器集合(例如，自适应滤波器)可用于组成候选集合。在片组/条带/图片标头，用于当前片组的aps的信息被信令通知。令n表示当前片组或条带正在使用的aps的数量(aps_id[i]，其中i是0，1，2
…
n
‑
1)。n可以从0到max_aps_num，其中max_aps_num代表标准/格式/序列中支持的aps的最大数量。在jvet
‑
n0415中，首先，信令通知n；然后，信令通知所有的aps id。
[0074]
在jvet
‑
n0415中，对于每个亮度ctb，首先信令通知标志use_first_aps，以指示是否使用了片组/条带/图片标头中的第一个信令通知的aps(aps_id[0])。如果该标志为假，则信令通知标志use_fixed_filter。如果use_fixed_filter为真，则信令通知固定滤波器集合索引，以指示使用的是哪个固定滤波器。否则，信令通知索引来指示使用哪个aps(aps_id[i]，其中i是1，2
…
n
‑
1)。如果将alf应用于片/片组/条带/图片的色度分量，则信令通知aps_id_chroma，以指示色度滤波器来自哪个aps。
[0075]
用于确定针对alf使用哪个滤波器集合的信令可能效率低下。信令中的这些低效率导致了不必要的带宽利用的技术问题。例如，在用于信令通知信息的上述示例技术中，该信息用于确定针对alf使用哪个滤波器集合，可能存在一些不需要被信令通知的冗余信息。
[0076]
在上面的示例中，use_fixed_filter是用于指示针对当前块是否使用了固定滤波器的标志，其中如果use_fixed_filter标志为真，则使用固定滤波器，如果use_fixed_filter标志为假，则使用自适应滤波器。但是，use_fixed_filter是一个名称，应该理解的是，可以使用use_fixed_filter的反义词。例如，标记为alf_use_aps_flag的标志可以类似于use_fixed_filter，但具有相反的逻辑。在一些示例中，alf_use_aps_flag为真意味着针对块使用自适应滤波器，而alf_use_aps_flag为假意味着使用固定滤波器。例如，alf_use_aps_flag可以被定义如下：
[0077]
alf_use_aps_flag等于0指定将固定滤波器集合中的一个固定滤波器应用于亮度ctb。alf_use_aps_flag等于1指定将来自aps的滤波器集合应用于亮度ctb。当alf_use_aps_flag不存在时，它被推断为等于0。
[0078]
因此，use_fixed_filter和alf_use_aps_flag可以用于传达相同的信息，但是一个标志是另一个标志的逻辑逆。如上所述，use_fixed_filter为真意味着使用固定滤波器对块进行alf滤波，这与alf_use_aps_flag为假相同，use_fixed_filter为假意味着使用来自参数集(例如aps)的滤波器(例如自适应滤波器)，这与alf_use_aps_flag为真相同。无论如何，use_fixed_filter或alf_use_aps_flag都可以被认为是指示固定滤波器集合中的一个固定滤波器是否将被用于自适应环路滤波的一个或多个语法元素中的语法元素。
[0079]
本公开描述了示例技术，其提供了用于信令通知和确定哪个滤波器集合用于alf的技术解决方案。以这种方式，示例技术提供了用于信令通知和确定针对alf使用哪个滤波器集合的实际应用，其在视频编解码过程中促进有效带宽使用(例如，通过减少冗余信息的
信令通知)。
[0080]
下面提供了视频编码器200和/或视频解码器300根据本公开可以执行的示例技术的列表。示例技术可以以任何适用的组合单独或一起执行。
[0081]
1.对于帧内条带/帧/片组/片或对于帧内随机访问图片(irap)中的条带/帧/片组/片，只能使用从当前片/片组/条带/帧生成的aps，并且n只能是0或1；因此，只需要一个比特就可以信令通知它。对于其他的，n可以从0到max_aps_num。
[0082]
2.当n为0时，针对当前条带/帧/片/片组组中的所有ctb只可以使用固定滤波器。然后针对所有ctb不信令通知use_first_aps并且在解码器侧(例如，由视频解码器300)推断为假。标志use_fixed_filter不被信令通知并且在解码器侧(例如，由视频解码器300)推断为真。
[0083]
3.当n为1时，如果use_first_aps针对ctb为假，则针对当前ctb只可以使用固定滤波器。然后针对当前ctb，不信令通知use_fixed_filter并且在解码器侧(例如，由视频解码器300)推断为真。
[0084]
4.代替max_aps_num，可以在序列参数集(sps)或图片参数集(pps)处信令通知变量，以指示条带/片/片组/帧可以使用的aps的最大数量。
[0085]
5.当n等于max_aps_num，即所有aps都被使用时，那么不是所有aps_id[i]都需要被信令通知(一些被信令通知，而另一些没有被信令通知)。
[0086]
a.作为一个示例，所有aps_id[i]都没有被信令通知，并且使用一些默认顺序，例如，在解码器侧(例如，由视频解码器300)，aps_id[i]＝i。
[0087]
b.作为一个示例，只有aps_id[0]被信令通知，然后(例如，由视频解码器300)推断其他aps_id[i]，其中i＝1..n
‑
1。例如aps_id[i]＝(aps_id[i
‑
1]+1)％max_aps_num。
[0088]
c.作为一个示例，只有一些aps_id[i]被信令通知，而基于已经信令通知的可以(例如，由视频解码器300)推断其他aps_id[i]。
[0089]
6.对于帧内条带/帧/片组/片或对于帧内随机访问图片(irap)中的条带/帧/片组/片，只能使用从当前片/片组/条带/帧生成的aps。如果针对亮度分量，n为1，并且对色度分量应用了alf，则亮度和色度分量具有相同的aps id。则针对色度分量不信令通知aps_id_chroma并且在解码器侧(例如，由视频解码器300)推断为aps_id[0]。
[0090]
在上面的示例中，n表示当前片组或条带正在使用的aps(aps_id[i]，其中i是0，1，2
…
n
‑
1)的数量。换句话说，n被称为变量，其指示包括视频数据的当前块的视频数据的当前编解码结构(例如，当前条带、图片、片、片组或砖块)可以参考用于自适应环路滤波的参数集(例如，aps)的数量。每个参数集可以包括一个或多个用于自适应环路滤波的自适应滤波器。在一些示例中，n可以被称为slice_num_alf_aps_ids_luma或ph_num_alf_aps_ids。例如，slice_num_alf_aps_ids_luma指定条带所参考的alf aps的数量。在一些示例中，slice_num_alf_aps_ids_luma可以在条带标头中被信令通知，而ph_num_alf_aps_ids可以在图片标头中被信令通知。在一些示例中，slice_num_alf_aps_ids_luma或ph_num_alf_aps_ids可以在比块级别更高的一些其他信令级别上被信令通知。也就是说，slice_num_alf_aps_ids_luma和ph_num_alf_aps_ids可以在适用于一个或多个块的级别上被信令通知，例如分别在适用于条带内的块的条带级别上和在适用于图片内的块的图片级别上。
[0091]
如上所述，在一些示例中，如果n为0，则针对条带内的块只可以使用固定滤波器。
在这种情况下，可以不需要信令通知use_fixed_filter。例如，如果n为0，这意味着视频解码器300可以不参考任何参数集(例如，一个或多个aps)，其中每个参数集包括用于自适应环路滤波的一个或多个自适应滤波器。因此，用于自适应环路滤波的滤波器的来源仅限于固定滤波器。在这种情况下，信令通知向视频解码器300指示固定滤波器集合中的一个将被用于自适应环路滤波的语法元素(例如，use_fixed_filter)是不必要的，该语法元素可以是一个或多个语法元素的示例。这是因为在n为0的情况下，固定滤波器可以是自适应环路滤波的唯一滤波器来源，并且像use_fixed_filter这样的标志的信令是多余的。再次，如上所述，n可以由slice_num_alf_aps_ids_luma或ph_num_alf_aps_ids表示，并且代替use_fixed_filter，可以使用alf_use_aps_flag，这与使用_fixed_filter相同，但是具有相反的逻辑。
[0092]
因此，在一个或多个示例中，视频编码器200可以被配置成确定视频数据的当前编解码结构(例如，当前条带、图片、片、片组或砖块)所参考用于自适应环路滤波的参数集的数量等于零(例如，n＝0，slice_num_alf_aps_ids＝0，或者ph_num_alf_aps_ids＝0)，其中该当前编解码结构包括针对其启用了自适应环路滤波的视频数据的当前块(例如亮度ctb)。参数集的示例包括aps。
[0093]
基于当前编解码结构所参考用于自适应环路滤波的参数集的数量等于0，视频编码器200可以确定针对自适应环路滤波使用固定滤波器集合中的哪个固定滤波器。例如，因为slice_num_alf_aps_ids(例如，n)为0，所以只有固定滤波器可用于对当前块进行自适应环路滤波，并且视频编码器200可以确定使用哪个固定滤波器。
[0094]
视频编码器200可以旁路语法元素的信令通知，该语法元素指示固定滤波器集合中的一个固定滤波器是否将被用于自适应环路滤波。例如，视频编码器200可以不信令通知use_fixed_filter，这与alf_use_aps_flag相同，但是具有相反的逻辑，因为在这种情况下，视频解码器300可以确定(例如推断)使用固定滤波器，因为slice_num_alf_aps_ids为0。
[0095]
视频编码器200可以基于来自固定滤波器集合的固定滤波器对当前块执行自适应环路滤波。视频编码器200可将所得滤波后的块存储在存储器中，用于后续块的帧间预测。
[0096]
视频解码器300可以被配置成确定视频数据的当前编解码结构(例如，当前条带、图片、片、片组或砖块)所参考用于自适应环路滤波的参数集的数量等于零，其中每个参数集包括一个或多个用于自适应环路滤波的自适应滤波器。当前编解码结构(例如，当前条带、图片、片、片组或砖块)包括针对其启用了自适应环路滤波的视频数据的当前块。
[0097]
例如，视频解码器300可以接收指示当前编解码结构(例如，当前条带、图片、片、片组或砖块)所参考用于自适应环路滤波的参数集的数量的信息(例如，接收n的值)，并且在该示例中，视频解码器300可以接收指示n等于0的信息(例如，接收指示slice_num_alf_aps_ids等于0的信息)。参数集的示例包括aps。
[0098]
基于当前编解码结构(例如，当前条带、图片、片、片组或砖块)所参考用于自适应环路滤波的参数集的数量等于零，视频解码器300可以在不接收指示固定滤波器集合中的一个固定滤波器是否将被用于自适应环路滤波的语法元素的情况下，确定针对自适应环路滤波使用来自固定滤波器集合的哪个固定滤波器。例如，基于n等于0，视频解码器300可以不接收use_fixed_filter(或alf_use_aps_flag)。如上所述，used_fixed_filter是指示固
定滤波器集合中的一个固定滤波器是否将被用于自适应环路滤波的一个或多个语法元素的示例。在这样的示例中，视频解码器300可以确定使用哪个固定滤波器，而不需要一个或多个语法元素向视频解码器300显式指示将使用固定滤波器集合中的那一个。
[0099]
例如，视频解码器300可以被配置成确定(例如，推断)指示固定滤波器中的一个固定滤波器还是来自参数集的自适应滤波器中的一个自适应滤波器将被用于执行自适应环路滤波的)标志指示固定滤波器中的一个固定滤波器将被用于执行自适应环路滤波。也就是说，因为n＝0，视频解码器300可以确定(例如，推断)use_fixed_filter为真，并且因此不需要接收use_fixed_filter标志。
[0100]
在一些示例中，为了在不接收指示固定滤波器集合中的一个固定滤波器是否将被用于自适应环路滤波的语法元素的情况下，确定针对自适应环路滤波使用来自固定滤波器集合的哪个固定滤波器，视频解码器300可以被配置成接收指向固定滤波器集合中的索引，该索引识别针对自适应环路滤波使用哪个固定滤波器。视频解码器300可以基于该索引来确定要使用固定滤波器。
[0101]
视频解码器300可以基于来自固定滤波器集合的固定滤波器对当前块执行自适应环路滤波。视频解码器300可以将所得滤波后的块存储在存储器中，用于对后续块进行帧间预测和/或输出滤波后的块用于显示。
[0102]
上面描述了其中n＝0的示例(例如，视频数据的当前编解码结构所参考用于自适应环路滤波的参数集的数量等于零，其中当前编解码结构包括针对其启用了自适应环路滤波的视频数据的当前块)。但是，在某些情况下，n大于0。在这样的示例中，视频编码器200可以向视频解码器300信令通知语法元素，该语法元素指示固定滤波器集合中的一个固定滤波器是否将被用于自适应环路滤波(例如，信令通知use_fixed_filter)。
[0103]
例如，上述示例涉及当前编解码结构和当前块。在一些示例中，当前编解码结构是第一编解码结构，并且当前块是第一块。视频解码器300可以确定第二编解码结构所参考用于自适应环路滤波的参数集的数量大于零，其中第二编解码结构包括针对其启用了自适应环路滤波的第二块。例如，对于包括第二块的第二编解码结构，n(例如，slice_num_alf_aps_ids)大于零。
[0104]
基于第二编解码结构所参考用于自适应环路滤波的参数集的数量大于零(例如，基于n大于0)，视频解码器300可以接收指示将使用自适应滤波器的use_fixed_filter，并且视频解码器300确定参数集中的哪一个参数集包括将被用于对第二块执行自适应环路滤波的自适应滤波器。为了确定参数集中的哪一个参数集包括将被用于对第二块执行自适应环路滤波的自适应滤波器，视频解码器300可以被配置成接收指示参数集中的哪一个参数集包括将被用于对第二块执行自适应环路滤波的自适应滤波器的信息。视频解码器300可以基于参数集中所确定的一个参数集中的自适应滤波器对第二块执行自适应环路滤波。
[0105]
图2a和图2b是说明示例四叉树二叉树(qtbt)结构130和对应的编解码树单元(ctu)132的概念图。实线表示四叉树划分，虚线指示二叉树划分。在二叉树的每个划分(即，非叶)节点，信令通知一个标志以指示使用哪种划分类型(即，水平或垂直)，其中在该示例中0指示水平划分，1指示垂直划分。对于四叉树划分，不需要指示划分类型，因为四叉树节点将块水平和垂直划分成4个具有相等大小的子块。因此，视频编码器200可以对用于qtbt结构130的区域树级别(即，实线)的语法元素(例如划分信息)和qtbt结构130的预测树级别
(即，虚线)的语法元素(例如划分信息)进行编码，并且视频解码器300可以对其进行解码。视频编码器200可以对由qtbt结构130的终端叶节点表示的cu的视频数据(例如预测和变换数据)进行编码，并且视频解码器300可以对其进行解码。
[0106]
通常，图2b的ctu 132可以与定义与第一级别和第二级别处的qtbt结构130的节点相对应的块的大小的参数相关联。这些参数可以包括ctu大小(表示样点中ctu 132的大小)、最小四叉树大小(minqtsize，表示最小允许的四叉树叶节点大小)、最大二叉树大小(maxbtsize，表示最大允许的二叉树根节点大小)、最大二叉树深度(maxbtdepth，表示最大允许的二叉树深度)和最小二叉树大小(minbtsize，表示最小允许的二叉树叶节点大小)。
[0107]
对应于ctu的qtbt结构的根节点可以在qtbt结构的第一级别具有四个子节点，每个子节点可以根据四叉树分割来被分割。也就是说，第一级别的节点要么是叶节点(没有子节点)，要么具有四个子节点。qtbt结构130的示例将这样的节点表示为包括父节点和具有用于分支的实线的子节点。如果第一级别的节点不大于最大允许的二叉树根节点大小(maxbtsize)，则它们可以被相应的二叉树进一步分割。可以迭代一个节点的二叉树划分，直到划分产生的节点达到最小允许二叉树叶节点大小(minbtsize)或最大允许的二叉树深度(maxbtdepth)。qtbt结构130的示例将这样的节点表示为具有用于分支的虚线。二叉树叶节点被称为编解码单元(cu)，其用于预测(例如，图片内或图片间预测)和变换，而无需任何进一步的分割。如上所述，cu也可以被称为“视频块”或“块”。
[0108]
在qtbt分割结构的一个示例中，ctu大小被设置为128
×
128(亮度样点和两个对应的64
×
64色度样点)，minqtsize被设置为16
×
16，maxbtsize被设置为64
×
64，minbtsize(对于宽度和高度两者)被设置为4，maxbtdepth被设置为4。首先将四叉树分割应用于ctu，以生成四叉树叶节点。四叉树叶节点可以具有从16
×
16(即，minqtsize)到128
×
128(即，ctu大小)的大小。如果叶四叉树节点是128
×
128，则它将不会被二叉树进一步划分，因为其大小超过了maxbtsize(即，在这个示例中是64
×
64)。否则，叶四叉树节点将被二叉树进一步分割。因此，四叉树叶节点也是二叉树的根节点，并且具有为0的二叉树深度。当二叉树深度达到maxbtdepth(在本例中为4)时，不允许进一步划分。当二叉树节点的宽度等于minbtsize(在本例中为4)，其意味着不允许进一步的水平划分。类似地，具有高度等于minbtsize的二叉树节点意味着不允许对于该二叉树节点进一步垂直划分。如上所述，二叉树的叶节点被称为cu，并且根据预测和变换被进一步处理，而无需进一步分割。
[0109]
图3是示出可以执行本公开的技术的示例视频编码器200的框图。图3是出于解释的目的而被提供的，并且不应被认为是对本公开中广泛例示和描述的技术的限制。出于解释的目的，本公开在视频编解码标准(例如hevc/h.265视频编解码标准和正在开发的vcc/h.266视频编解码标准)的上下文中描述了视频编码器200。然而，本公开的技术不限于这些视频编解码标准，并且通常适用于视频编码和解码。
[0110]
在图3的示例中，视频编码器200包括视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重建单元214、滤波器单元216、解码图片缓冲器(dpb)218和熵编码单元220。视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重建单元214、滤波器单元216、dpb 218和熵编码单元220中的任何一个或全部可以在一个或多个处理器或在处理电路系统中实现。此外，视频编码器200可
以包括附加的或替代的处理器或处理电路系统来执行这些和其他功能。
[0111]
视频数据存储器230可以存储要由视频编码器200的组件编码的视频数据。视频编码器200可以从例如视频源104(图1)接收存储在视频数据存储器230中的视频数据。dpb 218可以充当参考图片存储器，其存储参考视频数据以供视频编码器200预测后续视频数据时使用。视频数据存储器230和dpb 218可以由多种存储器设备中的任何一种形成，例如动态随机存取存储器(dram)，其包括同步dram(sdram)、磁阻ram(mram)、电阻ram(rram)或者其他类型的存储器设备。视频数据存储器230和dpb218可以由相同的存储器设备或单独的存储器设备来提供。在各种示例中，如图所示，视频数据存储器230可以与视频编码器200的其他组件一起在芯片上，或者相对于这些组件在芯片外。
[0112]
在本公开中，对视频数据存储器230的引用不应被解释为限于视频编码器200内部的存储器，除非具体描述为这样，或者限于视频编码器200外部的存储器，除非具体描述为这样。相反，对视频数据存储器230的引用应被理解为对存储视频编码器200接收用于编码的视频数据(例如，要编码的当前块的视频数据)的存储器的引用。图1的存储器106还可以提供来自视频编码器200的各个单元的输出的临时存储。
[0113]
图3的各种单元被示出以帮助理解视频编码器200执行的操作。这些单元可以被实现为固定功能电路、可编程电路或其组合。固定功能电路指的是提供特定功能并预设在可以被执行的操作上的电路。可编程电路指的是可以被编程以执行各种任务并在可以被执行的操作中提供灵活功能的电路。例如，可编程电路可以执行软件或固件，使得可编程电路以由软件或固件的指令定义的方式操作。固定功能电路可以执行软件指令(例如，接收参数或输出参数)，但是固定功能电路执行的操作类型通常是不可变的。在一些示例中，单元中的一个或多个可以是不同的电路块(固定功能的或可编程的)，并且在一些示例中，一个或多个单元可以是集成电路。
[0114]
视频编码器200可以包括由可编程电路形成的算术逻辑单元(alu)、基本功能单元(efu)、数字电路、模拟电路和/或可编程核心。在使用由可编程电路执行的软件来执行视频编码器200的操作的示例中，存储器106(图1)可以存储视频编码器200接收和执行的软件的目标代码，或者视频编码器200内的另一个存储器(未示出)可以存储这样的指令。
[0115]
视频数据存储器230被配置为存储所接收的视频数据。视频编码器200可以从视频数据存储器230检索视频数据的图片，并将视频数据提供给残差生成单元204和模式选择单元202。视频数据存储器230中的视频数据可以是待编码的原始视频数据。
[0116]
模式选择单元202包括运动估计单元222、运动补偿单元224和帧内预测单元226。模式选择单元202可以包括附加功能单元，以根据其他预测模式执行视频预测。作为示例，模式选择单元202可以包括调色板单元、帧内块复制单元(其可以是运动估计单元222和/或运动补偿单元224的一部分)、仿射单元、线性模型(lm)单元等。
[0117]
模式选择单元202通常协调多个编码过程，以测试编码参数的组合以及这种组合的结果的率失真值。编码参数可以包括ctu到cu的分割、cu的预测模式、cu的残差数据的变换类型、cu的残差数据的量化参数等。模式选择单元202可以最终选择具有比其他测试的组合更好的率失真值的编码参数的组合。
[0118]
视频编码器200可以将从视频数据存储器230中检索到的图片分割成一系列ctu，并将一个或多个ctu封装在条带内。模式选择单元202可以根据树结构(例如上述hevc的
qtbt结构或四叉树结构)，来分割图片的ctu。如上所述，视频编码器200可以通过根据树结构分割ctu来形成一个或多个cu。这种cu也可以被通常称为“视频块”或“块”。
[0119]
通常，模式选择单元202还控制其组件(例如，运动估计单元222、运动补偿单元224和帧内预测单元226)来生成当前块的预测块(例如，当前cu，或者在hevc中，pu和tu的重叠部分)。对于当前块的帧间预测，运动估计单元222可以执行运动搜索以识别一个或多个参考图片(例如，存储在dpb 218中的一个或多个先前已编解码的图片)中的一个或多个紧密匹配的参考块。具体地，运动估计单元222可以例如根据绝对差之和(sad)、平方差之和(ssd)、平均绝对差(mad)、均方差(msd)等来计算表示潜在参考块与当前块相似程度的值。运动估计单元222通常可以使用当前块与正被考虑的参考块之间的逐样点差来执行这些计算。运动估计单元222可以识别具有从这些计算得到的最低值的参考块，该最低值指示最紧密匹配当前块的参考块。
[0120]
运动估计单元222可以形成一个或多个运动矢量(mv)，其定义参考图片中的参考块的位置相对于当前图片中的当前块的位置。然后运动估计单元222可以向运动补偿单元224提供运动矢量。例如，对于单向帧间预测，运动估计单元222可以提供单个运动矢量，而对于双向帧间预测，运动估计单元222可以提供两个运动矢量。然后运动补偿单元224可以使用运动矢量生成预测块。例如，运动补偿单元224可以使用运动矢量来检索参考块的数据。作为另一个示例，如果运动矢量具有分数样点精度，则运动补偿单元224可以根据一个或多个插值滤波器对预测块的值进行插值。此外，对于双向帧间预测，运动补偿单元224可以检索由相应运动矢量标识的两个参考块的数据，并通过例如逐个样点平均或加权平均组合检索到的数据。
[0121]
作为另一个示例，对于帧内预测或帧内预测编解码，帧内预测单元226可以从与当前块相邻的样点生成预测块。例如，对于方向模式，帧内预测单元226通常可以在数学上组合相邻样点的值，并且在跨当前块的定义方向上填充这些计算值，以产生预测块。作为另一个示例，对于dc模式，帧内预测单元226可以计算当前块的相邻样点的平均值，并且生成预测块来为预测块的每个样点包括该结果平均值。
[0122]
模式选择单元202将预测块提供给残差生成单元204。残差生成单元204从视频数据存储器230接收当前块的原始的、未编码的版本，并从模式选择单元202接收预测块。残差生成单元204计算当前块与预测块之间的逐样点差。结果的逐样点差定义了当前块的残差块。在一些示例中，残差生成单元204还可以确定残差块中的样点值之间的差，以使用残差差分脉冲编解码调制(rdpcm)来生成残差块。在一些示例中，可以使用执行二进制减法的一个或多个减法器电路来形成残差生成单元204。
[0123]
在模式选择单元202将cu分割成pu的示例中，每个pu可以与亮度预测单元和对应的色度预测单元相关联。视频编码器200和视频解码器300可以支持具有各种大小的pu。如上所述，cu的大小可以指cu的亮度编解码块的大小，而pu的大小可以指pu的亮度预测单元的大小。假设特定cu的大小是2n
×
2n，则视频编码器200可以支持用于帧内预测的2n
×
2n或n
×
n的pu大小，以及用于帧间预测的2n
×
2n、2n
×
n、n
×
2n、n
×
n或类似的对称pu大小。视频编码器200和视频解码器300还可以支持用于帧间预测的2n
×
nu、2n
×
nd、nl
×
2n和nr
×
2n的pu大小的非对称分割。
[0124]
在模式选择单元202没有进一步将cu分割成pu的示例中，每个cu可以与亮度编解
码块以及对应的色度编解码块相关联。如上所述，cu的大小可以指cu的亮度编解码块的大小。视频编码器200和视频解码器300可以支持2n
×
2n、2n
×
n或n
×
2n的cu大小。
[0125]
对于其它视频编解码技术，作为几个示例，例如帧内块复制模式编解码、仿射模式编解码和线性模型(lm)模式编解码，模式选择单元202经由与编解码技术相关联的相应单元，生成正在被编码的当前块的预测块。在一些示例中，例如调色板模式编解码，模式选择单元202可以不生成预测块，而是生成指示基于所选择的调色板重建块的方式的语法元素。在这种模式下，模式选择单元202可以将这些语法元素提供给熵编码单元220以进行编码。
[0126]
如上所述，残差生成单元204接收当前块和对应预测块的视频数据。然后残差生成单元204生成当前块的残差块。为了生成残差块，残差生成单元204计算预测块与当前块之间的逐样点差。
[0127]
变换处理单元206对残差块应用一个或多个变换，以生成变换系数的块(本文称为“变换系数块”)。变换处理单元206可以对残差块应用各种变换，以形成变换系数块。例如，变换处理单元206可以对残差块应用离散余弦变换(dct)、方向变换、卡尔亨
‑
洛夫变换(klt)或概念上类似的变换。在一些示例中，变换处理单元206可以对残差块执行多次变换，例如，初级变换和次级变换，例如旋转变换。在一些示例中，变换处理单元206不对残差块应用变换。
[0128]
量化单元208可以量化变换系数块中的变换系数，以产生量化的变换系数块。量化单元208可以根据与当前块相关联的量化参数(qp)值来量化变换系数块的变换系数。视频编码器200(例如，经由模式选择单元202)可以通过调整与cu相关联的qp值来调整应用到与当前块相关联的系数块的量化程度。量化可能引入信息损失，因此，量化的变换系数可能比由变换处理单元206产生的原始的变换系数具有更低的精度。
[0129]
逆量化单元210和逆变换处理单元212可以分别对量化的变换系数块应用逆量化和逆变换，以从变换系数块重建残差块。重建单元214可以基于重建的残差块和由模式选择单元202生成的预测块来产生对应于当前块的重建块(尽管可能具有一定程度的失真)。例如，重建单元214可以将重建的残差块的样点加到由模式选择单元202生成的预测块的对应样点，以产生重建块。
[0130]
滤波器单元216可以对重建的块执行一个或多个滤波操作。例如，滤波器单元216可以执行去方块操作以减少沿cu边缘的块效应伪影，或者可以执行自适应环路滤波(alf)。在一些示例中，可以跳滤波器单元216的操作。
[0131]
视频编码器200将重建块存储在dpb 218中。例如，在不需要滤波器单元216的操作的示例中，重建单元214可以将重建块存储到dpb 218。在需要滤波器单元216的操作的示例中，滤波器单元216可以将滤波后的重建块存储到dpb 218。运动估计单元222和运动补偿单元224可以从dpb 218中检索参考图片，该参考图片由重建的(并且可能被滤波的)块形成，以对随后编码的图片的块进行帧间预测。此外，帧内预测单元226可以使用当前图片的dpb 218中的重建块来帧内预测当前图片中的其他块。
[0132]
通常，熵编码单元220可以对从视频编码器200的其他功能组件接收的语法元素进行熵编码。例如，熵编码单元220可以对来自量化单元208的量化的变换系数块进行熵编码。作为另一个示例，熵编码单元220可以对来自模式选择单元202的预测语法元素(例如，用于帧间预测的运动信息或用于帧内预测的帧内模式信息)进行熵编码。熵编码单元220可以对
作为视频数据的另一个示例的语法元素执行一个或多个熵编码操作，以生成熵编码的数据。例如，熵编码单元220可以对数据执行上下文自适应可变长度编解码(cavlc)操作、cabac操作、可变到可变(v2v)长度编解码操作、基于语法的上下文自适应二进制算术编解码(sbac)操作、概率区间分割熵(pipe)编解码操作、指数哥伦布(exponential
‑
golomb)编码操作或另一种类型的熵编码操作。在一些示例中，熵编码单元220可以以旁路模式操作，其中语法元素不被熵编码。
[0133]
视频编码器200可以输出比特流，其包括重建条带或图片的块所需的熵编码的语法元素。具体地，熵编码单元220可以输出比特流。
[0134]
上面描述的操作是关于块描述的。这种描述应该被理解为亮度编解码块和/或色度编解码块的操作。如上所述，在一些示例中，亮度编解码块和色度编解码块是cu的亮度和色度分量。在一些示例中，亮度编解码块和色度编解码块是pu的亮度和色度分量。
[0135]
在一些示例中，关于亮度编解码块执行的操作不需要针对色度编解码块重复。作为一个示例，识别亮度编解码块的运动矢量(mv)和参考图片的操作不需要为了识别色度块的mv和参考图片而重复。相反，亮度编解码块的mv可以被缩放以确定色度块的mv，并且参考图片可以是相同的。作为另一个示例，对于亮度编解码块和色度编解码块，帧内预测过程可以是相同的。
[0136]
视频编码器200表示被配置成编解码视频数据的设备的示例，该设备包括被配置成存储视频数据的存储器，以及在电路系统(例如，固定功能和可编程电路系统中的至少一个)中实现的一个或多个处理单元。视频编码器200可被配置成利用本公开中描述的一个或多个示例技术，确定视频解码器300将使用哪一滤波器集合来对块进行自适应环路滤波以及信令通知由视频解码器300使用以确定针对自适应环路滤波使用的滤波器集合的信息。
[0137]
例如，模式选择单元202和滤波器单元216可以一起执行本公开中描述的用于执行自适应环路滤波的示例技术。作为一个示例，模式选择单元202可以基于条带、图片或图片组中的视频内容来确定用于条带、图片或图片组的自适应滤波器。模式选择单元202可以将自适应滤波器包括在一个或多个参数集(例如，aps)中，用于存储在存储器230中。例如，存储器230(或一些其他存储器)可以存储参数集(例如，aps)，其中每个参数集包括一个或多个用于自适应环路滤波的自适应滤波器。存储器230(或一些其他存储器)也可以存储用于自适应环路滤波的固定滤波器。
[0138]
对于视频数据的当前编解码结构(例如，当前条带、图片、片、片组或砖块)，模式选择单元202可以确定当前编解码结构所参考用于自适应环路滤波的参数集(例如，aps)的数量。然后模式选择单元202可以使熵编码单元220对当前编解码结构所参考用于自适应环路滤波的参数集的数量的信息进行编码。
[0139]
当前编解码结构可以包括视频数据的当前块(例如，亮度ctb)，针对该当前块启用了自适应环路滤波(例如，由模式选择单元202确定)。如果模式选择单元202确定当前编解码结构所参考用于自适应环路滤波的参数集的数量等于零，则模式选择单元202可以确定针对自适应环路滤波使用来自固定滤波器集合中的哪个固定滤波器。在一个或多个示例中，模式选择单元202可以旁路指示固定滤波器集合中的一个固定滤波器是否将被用于自适应环路滤波的语法元素的信令通知。也就是说，相对于信令通知指示固定滤波器集合中的一个固定滤波器是否将被用于自适应环路滤波的语法元素，模式选择单元202可以不信
令通知这样的语法元素(例如，模式选择单元202可以旁路used_fixed_filter的信令通知，这与旁路alf_use_aps_flag的信令通知相同)。
[0140]
滤波器单元216可以基于所确定的固定滤波器来执行自适应环路滤波。滤波器单元216可以将得到的滤波后的块存储在解码图片缓冲器218中。
[0141]
在上面的示例中，当前编解码结构所参考用于自适应环路滤波的参数集的数量等于零。然而，在某些情况下，当前编解码结构所参考用于自适应环路滤波的参数集的数量大于零。例如，在上述示例中，假设当前编解码结构是第一编解码结构，并且当前块是第一块。模式选择单元202可以确定第二编解码结构所参考用于自适应环路滤波的参数集的数量大于零，其中第二编解码结构包括针对其启用了自适应环路滤波的第二块。在该示例中，模式选择单元202可以信令通知语法元素(例如，used_fixed_filter)，该语法元素指示固定滤波器集合中的一个固定滤波器是否将被用于自适应环路滤波。基于第二编解码结构所参考用于自适应环路滤波的参数集的数量大于零并且语法元素指示不使用固定滤波器集合中的一个固定滤波器，模式选择单元202可以确定参数集中的哪一个参数集包括将被用于对第二块执行自适应环路滤波的自适应滤波器。滤波器单元216可以基于参数集中所确定的一个参数集的自适应滤波器对第二块执行自适应环路滤波。
[0142]
对于第一块，模式选择单元202可以信令通知指向固定滤波器集合中的索引，该索引识别针对自适应环路滤波使用哪个固定滤波器。对于第二块，模式选择单元202可以信令通知指示参数集中的哪一个参数集包括将被用于对第二块执行自适应环路滤波的自适应滤波器的信息。
[0143]
图4是示出可以执行本公开的技术的示例视频解码器300的框图。图4是出于解释的目的而被提供的，并不限制本公开中广泛例示和描述的技术。出于解释的目的，本公开描述了根据vvc和hevc的技术描述的视频解码器300。然而，本公开的技术可以由被配置成其他视频编解码标准的视频编解码设备来执行。
[0144]
在图4的示例中，视频解码器300包括编码图片缓冲器(cpb)存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重建单元310、滤波器单元312和解码图片缓冲器(dpb)314。cpb存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重建单元310、滤波器单元312和dpb 314中的任何一个或全部可以在一个或多个处理器或处理电路系统中实现。此外，视频解码器300可以包括附加的或替代的处理器或处理电路系统来执行这些和其他功能。
[0145]
预测处理单元304包括运动补偿单元316和帧内预测单元318。预测处理单元304可以包括附加单元，以根据其他预测模式执行预测。作为示例，预测处理单元304可以包括调色板单元、帧内块复制单元(其可以形成运动补偿单元316的一部分)、仿射单元、线性模型(lm)单元等。在其他示例中，视频解码器300可以包括更多、更少或不同的功能组件。
[0146]
cpb存储器320可以存储要由视频解码器300的组件解码的视频数据，例如编码的视频比特流。例如，存储在cpb存储器320中的视频数据可以例如从计算机可读介质110(图1)获得。cpb存储器320可以包括存储来自编码的视频比特流的编码的视频数据(例如，语法元素)的cpb。此外，cpb存储器320可以存储除编解码的图片的语法元素之外的视频数据，例如表示来自视频解码器300的各个单元的输出的临时数据。dpb 314通常存储解码的图片，当视频解码器300解码编码的视频比特流的后续数据或图片时，可以将其输出和/或用作参
考视频数据。cpb存储器320和dpb 314可以由各种存储器设备中的任何一种形成，例如，动态随机存取存储器(dram)(包括同步dram(sdram))、磁阻ram(mram)、电阻ram(rram)的或其他类型的存储器设备。cpb存储器320和dpb 314可以由同一存储器设备或者单独的存储器设备提供。在各种示例中，cpb存储器320可以与视频解码器300的其他组件一起在芯片上，或者相对于这些组件在芯片外。
[0147]
附加地或替代地，在一些示例中，视频解码器300可以从存储器120(图1)检索编解码的视频数据。也就是说，存储器120可以如上所述利用cpb存储器320存储数据。类似地，当视频解码器300的一些或全部功能在将由视频解码器300的处理电路执行的软件中实现时，存储器120可以存储将由视频解码器300执行的指令。
[0148]
图4所示的各种单元被示出以帮助理解由视频解码器300执行的操作。这些单元可以被实现为固定功能电路、可编程电路或其组合。类似于图3，固定功能电路指的是提供特定功能并预设在可以被执行的操作上的电路。可编程电路指的是可被编程以执行各种任务并在可以被执行的操作中提供灵活功能的电路。例如，可编程电路可以执行软件或固件，使得可编程电路以软件或固件的指令定义的方式操作。固定功能电路可以执行软件指令(例如，接收参数或输出参数)，但是固定功能电路执行的操作类型通常是不可变的。在一些示例中，单元中的一个或多个可以是不同的电路块(固定功能的或可编程的)，并且在一些示例中，一个或多个单元可以是集成电路。
[0149]
视频解码器300可以包括alu、efu、数字电路、模拟电路和/或由可编程电路形成的可编程核心。在视频解码器300的操作由在可编程电路上执行的软件执行的示例中，片上或片外存储器可以存储视频解码器300接收并执行的软件的指令(例如，目标代码)。
[0150]
熵解码单元302可以从cpb接收编码的视频数据，并对视频数据进行熵解码以再现语法元素。预测处理单元304、逆量化单元306、逆变换处理单元308、重建单元310和滤波器单元312可以基于从比特流提取的语法元素来生成解码的视频数据。
[0151]
通常，视频解码器300在逐块的基础上重建图像。视频解码器300可以对每个块单独地执行重建操作(其中当前正在重建的(即，解码的)块可以被称为“当前块”)。
[0152]
熵解码单元302可以对定义量化的变换系数块的量化的变换系数的语法元素，以及变换信息进行熵解码，变换信息例如是量化参数(qp)和/或(多个)变换模式指示。逆量化单元306可以使用与量化的变换系数块相关联的qp来确定量化程度，并且类似地，确定逆量化单元306要应用的逆量化程度。例如，逆量化单元306可以执行逐位左移操作来逆量化量化的变换系数。逆量化单元306由此可以形成包括变换系数的变换系数块。
[0153]
在逆量化单元30形成变换系数块之后，逆变换处理单元308可以对变换系数块应用一个或多个逆变换，以生成与当前块相关联的残差块。例如，逆变换处理单元308可以应用逆dct、逆整数变换、逆卡尔亨
‑
洛夫变换(klt)、逆旋转变换、逆方向变换或另一逆变换。
[0154]
此外，预测处理单元304根据由熵解码单元302熵解码的预测信息语法元素生成预测块。例如，如果预测信息语法元素指示当前块是帧间预测的，则运动补偿单元316可以生成预测块。在这种情况下，预测信息语法元素可以指示从中检索参考块的dpb 314中的参考图片，以及标识参考图片中的参考块的位置相对于当前图片中的当前块的位置的运动矢量。运动补偿单元316通常可以以基本上类似于关于运动补偿单元224(图3)描述的方式来执行帧间预测过程。
[0155]
作为另一个示例，如果预测信息语法元素指示当前块是帧内预测的，则帧内预测单元318可以根据由预测信息语法元素指示的帧内预测模式来生成预测块。同样，帧内预测单元318通常可以以基本上类似于关于帧内预测单元226(图3)描述的方式来执行帧内预测过程。帧内预测单元318可以从dpb 314检索当前块的相邻样点的数据。
[0156]
重建单元310可以使用预测块和残差块来重建当前块。例如，重建单元310可以将残差块的样点加到预测块的对应样点，以重建当前块。
[0157]
滤波器单元312可以对重建块执行一个或多个滤波操作。例如，滤波器单元312可以执行去方块操作以减少沿着重建块边缘的块效应伪影，和/或执行自适应环路滤波的操作。滤波器单元312的操作不必在所有示例中被执行。
[0158]
视频解码器300可以将重建块存储在dpb 314中。如上所述，dpb 314可以向预测处理单元304提供参考信息，例如用于帧内预测的当前图像的样点和用于后续运动补偿的先前解码的图片。此外，视频解码器300可以输出来自dpb的解码的图像，用于随后在显示设备上(例如，图1的显示设备118)呈现。
[0159]
以这种方式，视频解码器300表示视频解码设备的示例，该视频解码设备包括被配置成存储视频数据的存储器，以及在电路(例如，固定功能和可编程电路中的至少一个)中实现的一个或多个处理单元。视频解码器300可经配置以基于利用本发明中描述的一个或一个以上示例技术信令通知或导出的信息来确定将哪一滤波器集合用于自适应环路滤波，且利用所确定的滤波器集合对块执行自适应环路滤波。
[0160]
例如，预测处理单元304和滤波器单元312可以一起执行本公开中描述的用于执行自适应环路滤波的示例技术。作为一个示例，视频解码器300的存储器(例如，cpb存储器320、dpb 314或一些其他存储器)可以存储参数集(例如，aps)，其中每个参数集包括用于自适应环路滤波的一个或多个自适应滤波器。例如，视频编码器200可能已经信令通知了预测处理单元304存储在视频解码器300的存储器中的aps中的自适应滤波器。
[0161]
预测处理单元304可以接收指示当前编解码结构(例如，当前条带、图片、片、片组或砖块)所参考用于自适应环路滤波的参数集的数量的信息。在一些示例中，预测处理单元304可以确定当前编解码结构(例如，当前条带、图片、片、片组或砖块)所参考用于自适应环路滤波的参数集(例如，aps)的数量等于零。当前编解码结构可以包括针对其启用了自适应环路滤波的当前块。当前块的一个示例是亮度编解码树块(ctb)。
[0162]
基于当前编解码结构所参考用于自适应环路滤波的参数集的数量等于零，预测处理单元304可以在不接收指示固定滤波器集合中的一个固定滤波器是否将被用于自适应环路滤波的语法元素的情况下，确定针对自适应环路滤波使用来自固定滤波器集合的哪个固定滤波器。例如，预测处理单元304可以不需要接收一个或多个语法元素，例如use_fixed_filter(或alf_use_aps_flag，如果使用use_fixed_filter的补码逻辑的话)来确定将使用固定滤波器来对当前块进行自适应环路滤波。换句话说，预测处理单元304可以被配置成确定(例如，推断)标志(例如，use_fixed_filter或alf_use_aps_flag)指示固定滤波器中的一个固定滤波器将被用于执行自适应环路滤波，其中该标志指示固定滤波器中的一个固定滤波器还是来自参数集的自适应滤波器中的一个自适应滤波器将被用于执行自适应环路滤波。
[0163]
为了在不接收指示固定滤波器集合中的一个固定滤波器是否将被用于自适应环
路滤波的语法元素的情况下，确定针对自适应环路滤波使用来自固定滤波器集合的哪个固定滤波器，预测处理单元304可以接收指向固定滤波器集合中的索引，该索引识别针对自适应环路滤波使用哪个固定滤波器。然后预测处理单元304可以基于该索引来确定使用哪个滤波器。
[0164]
然后滤波器单元312可以基于来自固定滤波器集合的固定滤波器对当前块执行自适应环路滤波。滤波器单元312可以将滤波后的块输出到dpb 314以供存储，以用于对后续块进行帧间预测和/或最终输出用于显示。
[0165]
上面描述了其中n＝0的示例(例如，当前编解码结构(例如当前条带)所参考用于自适应环路滤波的参数集的数量等于零，其中当前编解码结构包括针对其启用了自适应环路滤波的当前块)。但是，在某些情况下，n大于0。在这样的示例中，视频解码器300可以接收指示固定滤波器集合中的一个固定滤波器是否将被用于自适应环路滤波的语法元素(例如，视频解码器300可以接收use_fixed_filter)。
[0166]
在上面的示例中，当前编解码结构(例如，当前条带、图片、片、片组或砖块)所参考用于自适应环路滤波的参数集的数量等于零。然而，在某些情况下，当前编解码结构所参考用于自适应环路滤波的参数集的数量大于零。例如，在上述示例中，假设当前编解码结构是第一编解码结构，并且当前块是第一块。预测处理单元304可以确定第二编解码结构所参考用于自适应环路滤波的参数集的数量大于零，其中第二编解码结构包括针对其启用了自适应环路滤波的第二块。在该示例中，预测处理单元304可以接收语法元素(例如，used_fixed_filter)，该语法元素指示固定滤波器集合中的一个固定滤波器是否将被用于自适应环路滤波。基于第二编解码结构所参考用于自适应环路滤波的参数集的数量大于0以及指示不使用固定滤波器集合中的一个固定滤波器的语法元素，预测处理单元304可以确定参数集中的哪一个参数集包括将被用于对第二块执行自适应环路滤波的自适应滤波器。滤波器单元312可以基于参数集中所确定的一个参数集中的自适应滤波器对第二块执行自适应环路滤波。
[0167]
对于第一块，预测处理单元304可以接收指向固定滤波器集合中的索引，该索引识别针对自适应环路滤波使用哪个固定滤波器。对于第二块，预测处理单元304可以接收指示参数集中的哪一个参数集包括将被用于对第二块执行自适应环路滤波的自适应滤波器的信息。
[0168]
图5是示出用于编码当前块的示例方法的流程图。尽管关于视频编码器200(图1和图3)进行了描述，但是应当理解，其他设备可以被配置成执行类似于图5的方法。例如，关于处理电路系统(例如，固定功能和/或可编程电路系统)来描述图5的示例。处理电路系统的示例包括视频编码器200。在图5的示例中，存储器(例如，存储器230或一些其他存储器)可以被配置成存储参数集(例如，aps)，其中每个参数集包括一个或多个用于自适应环路滤波的自适应滤波器。
[0169]
视频编码器200的处理电路系统可以确定视频数据的当前编解码结构(例如，当前条带、图片、片、片组或砖块)所参考用于自适应环路滤波的参数集的数量等于零(例如，n＝0，slice_num_alf_aps_ids＝0，或者，ph_num_alf_aps_ids＝0)(350)。当前编解码结构(例如，当前条带、图片、片、片组或砖块)包括视频数据的当前块(例如，亮度ctb)，针对该当前块启用了自适应环路滤波。处理电路系统可以信令通知指示当前编解码结构所参考用于自
适应环路滤波的参数集的数量的信息(例如，在条带标头或一些其他更高级语法结构中)。
[0170]
基于当前编解码结构所参考用于自适应环路滤波的参数集的数量等于零，视频编码器200的处理电路系统可以确定针对自适应环路滤波使用来自固定滤波器集合的哪个固定滤波器(352)。例如，因为当前编解码结构不参考任何aps，所以不能使用自适应滤波器对当前块进行滤波，因为自适应滤波器在aps中。因此，处理电路系统可以确定使用哪个固定滤波器。处理电路系统可以信令通知指向固定滤波器集合中的索引，该索引识别针对自适应环路滤波使用哪个固定滤波器。
[0171]
处理电路系统可以旁路语法元素(例如，use_fixed_filter或alf_use_aps_flag)的信令通知，该语法元素指示固定滤波器集合中的一个固定滤波器是否将被用于自适应环路滤波(354)。例如，因为当前编解码结构不参考任何aps，所以固定滤波器可能是用于自适应环路滤波的滤波器的唯一来源。因此，信令通知use_fixed_filter可能没有任何作用，反而会浪费带宽和计算资源。
[0172]
在一些示例中，处理电路系统可以信令通知指向固定滤波器集合中的索引，该索引识别针对自适应环路滤波使用哪个固定滤波器(356)。这样，视频解码器300可以知道使用哪个固定滤波器。
[0173]
处理电路系统可以基于来自固定滤波器集合的固定滤波器对当前块执行自适应环路滤波(358)。结果是被存储用于对后续块进行帧间预测的滤波后的块。
[0174]
在上面的示例中，当前编解码结构所参考用于自适应环路滤波的参数集的数量等于零。然而，在一些示例中，编解码结构所参考用于自适应环路滤波的参数集的数量大于零。
[0175]
例如，在上述示例中，当前编解码结构是第一编解码结构，并且当前块是第一块。在一些示例中，视频编码器200的处理电路系统可以确定第二编解码结构所参考用于自适应环路滤波的参数集的数量大于零，其中第二编解码结构包括针对其启用了自适应环路滤波的第二块。在该示例中，视频编码器200的处理电路系统可以信令通知语法元素，该语法元素指示固定滤波器集合中的一个固定滤波器是否将被用于自适应环路滤波。基于第二编解码结构(例如，条带、图片、片、片组或砖块)所参考用于自适应环路滤波的参数集的数量大于零并且语法元素指示不使用固定滤波器集合中的一个固定滤波器，视频编码器200的处理电路系统可以确定参数集中的哪一个参数集包括将被用于对第二块执行自适应环路滤波的自适应滤波器。视频编码器200的处理电路系统可以基于参数集中所确定的一个参数集中的自适应滤波器对第二块执行自适应环路滤波。在一个或多个示例中，视频编码器200的处理电路系统可以信令通知指示参数集中的哪一个参数集包括将被用于对第二块执行自适应环路滤波的自适应滤波器的信息。
[0176]
图6是示出用于解码视频数据的当前块的示例方法的流程图。尽管关于视频解码器300(图1和图4)进行了描述，但是应当理解，其他设备可以被配置成执行类似于图6的方法。例如，关于处理电路系统(例如，固定功能和/或可编程电路系统)来描述图6的示例。处理电路系统的示例包括视频解码器300。在图6的示例中，存储器(例如，存储器320、dpb 314或一些其他存储器)可以被配置成存储参数集(例如，aps)，其中每个参数集包括一个或多个用于自适应环路滤波的自适应滤波器。可以在来自视频编码器200的信令中接收参数集。
[0177]
视频解码器300的处理电路系统可以确定视频数据的当前编解码结构(例如，当前
条带、图片、片、片组或砖块)所参考用于自适应环路滤波的参数集的数量等于零(例如，n＝0，slice_num_alf_aps_ids＝0，或者，ph_num_alf_aps_ids＝0)(360)。当前编解码结构(例如，当前条带、图片、片、片组或砖块)包括视频数据的当前块(例如，亮度ctb)，其中对该当前块启用了自适应环路滤波。视频解码器300的处理电路系统可以从视频编码器200接收指示当前编解码结构所参考用于自适应环路滤波的参数集的数量的信息(例如，在条带标头或一些其他更高级语法结构中)。视频解码器300的处理电路系统可以基于接收到的信息来确定当前编解码结构所参考用于自适应环路滤波的参数集的数量等于零。
[0178]
基于当前编解码结构所参考用于自适应环路滤波的参数集的数量等于零，视频解码器300的处理电路系统可以在不接收指示固定滤波器集合中的一个固定滤波器是否将被用于自适应环路滤波的语法元素的情况下，确定针对自适应环路滤波使用来自固定滤波器集合的哪个固定滤波器(362)。例如，因为当前编解码结构不参考任何aps(例如，因为n＝0)，所以不能使用自适应滤波器对当前块进行滤波，因为自适应滤波器在aps中。因此，处理电路系统可以确定使用哪个固定滤波器，而无需接收指示固定滤波器集合中的一个固定滤波器是否将被用于自适应环路滤波的语法元素(例如，use_fixed_filter或alf_use_aps_flag)。
[0179]
在一些示例中，为了在不接收指示固定滤波器集合中的一个固定滤波器是否将被用于自适应环路滤波的语法元素的情况下，确定针对自适应环路滤波使用来自固定滤波器集合的哪个固定滤波器，视频解码器300的处理电路系统可以确定(例如推断)标志指示固定滤波器中的一个固定滤波器将被用于执行自适应环路滤波，其中该标志指示固定滤波器中的一个固定滤波器还是来自参数集的自适应滤波器中的一个自适应滤波器将被用于执行自适应环路滤波的标志(例如，use_fixed_filter或alf_use_aps_flag)。在这样的示例中，视频解码器300的处理电路系统可以接收指向固定滤波器集合中的索引，该索引识别针对自适应环路滤波使用哪个固定滤波器。
[0180]
视频解码器300的处理电路系统可以基于由索引识别的来自固定滤波器集合的固定滤波器，对当前块执行自适应环路滤波(364)。结果是滤波后的块，其被存储用于对后续块进行帧间预测和/或用于输出以供显示。
[0181]
在上面的示例中，当前编解码结构所参考用于自适应环路滤波的参数集的数量等于零。然而，在一些示例中，编解码结构所参考用于自适应环路滤波的参数集的数量大于零。
[0182]
例如，在上述示例中，当前编解码结构是第一编解码结构，并且当前块是第一块。在一些示例中，视频解码器300的处理电路系统可以确定第二编解码结构所参考用于自适应环路滤波的参数集的数量大于零，其中第二编解码结构包括针对其启用了自适应环路滤波的第二块。在这样的示例中，视频解码器300的处理电路系统可以接收语法元素(例如，use_fixed_filter或alf_use_aps_flag)，该语法元素指示固定滤波器集合中的一个固定滤波器是否将被用于自适应环路滤波。基于第二编解码结构所参考用于自适应环路滤波的参数集的数量大于零并且语法元素指示不使用固定滤波器集合中的一个固定滤波器，视频解码器300的处理电路系统可以确定参数集中的哪一个参数集包括将被用于对第二块执行自适应环路滤波的自适应滤波器。视频解码器300的处理电路系统可以基于参数集中所确定的一个参数集中的自适应滤波器对第二块执行自适应环路滤波。在一些示例中，为了确
定参数集中的哪一个参数集包括将被用于对第二块执行自适应环路滤波的自适应滤波器，视频解码器300的处理电路系统可以接收指示参数集中的哪一个参数集包括将被用于对第二块执行自适应环路滤波的自适应滤波器的信息。
[0183]
应当认识到，根据示例，本文描述的任何技术的某些动作或事件可以以不同的顺序执行，可以被添加、合并或完全省略(例如，并非所有描述的动作或事件对于技术的实践都是必要的)。此外，在某些示例中，动作或事件可以被同时执行，例如，通过多线程处理、中断处理或多个处理器，而不是被顺序地执行。
[0184]
在一个或多个示例中，所描述的功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现，这些功能可以作为一个或多个指令或代码存储在计算机可读介质上或通过其传输，并由基于硬件的处理单元执行。计算机可读介质可以包括对应于诸如数据存储介质的有形介质的计算机可读存储介质，或者包括有助于(例如，根据通信协议)将计算机程序从一个地方传送到另一个地方的任何介质的通信介质。以这种方式，计算机可读介质通常可以对应于(1)非暂时性的有形计算机可读存储介质，或者(2)诸如信号或载波的通信介质。数据存储介质可以是可由一个或多个计算机或者一个或多个处理器访问以检索指令、代码和/或数据结构来实现本公开描述的技术的任何可用介质。计算机程序产品可以包括计算机可读介质。
[0185]
作为示例而非限制，这种计算机可读存储介质可以包括ram、rom、eeprom、cd
‑
rom或其他光盘存储、磁盘存储或其他磁存储设备、闪存、或可以用于以指令或数据结构的形式存储期望的程序代码并且可以由计算机访问的任何其他介质。此外，任何连接都被恰当地称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线路(dsl)或无线技术(如红外线、无线电和微波)从网站、服务器或其他远程源传输指令，则同轴电缆、光纤电缆、双绞线、dsl或无线技术(如红外线、无线电和微波)被包括在介质的定义中。然而，应当理解，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他暂时介质，而是针对非暂时的有形存储介质。本文使用的磁盘和光盘包括压缩光盘(cd)、激光光盘、光学光盘、数字多功能盘(dvd)、软盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上的组合也应该包括在计算机可读介质的范围内。
[0186]
指令可以由一个或多个处理器来执行，例如一个或多个数字信号处理器(dsp)、通用微处理器、专用集成电路(asic)、现场可编程门阵列(fpga)或其他等效的集成或分立逻辑电路。因此，本文使用的术语“处理器”和“处理电路系统”可以指前述结构中的任何一种或者适于实现本文描述的技术的任何其他结构。此外，在一些方面，本文描述的功能可以在被配置用于编码和解码的专用硬件和/或软件模块中被提供，或者被并入组合的编解码器中。此外，可以在一个或多个电路或逻辑元件中完全实现这些技术。
[0187]
本公开的技术可以在多种设备或装置中实现，包括无线手机、集成电路(ic)或ic集(例如，芯片集)。在本公开中描述了各种组件、模块或单元，以强调被配置为执行所公开的技术的设备的功能方面，但是不一定需要通过不同的硬件单元来实现。相反，如上所述，各种单元可以被组合在编解码器硬件单元中，或者由包括如上所述的一个或多个处理器的互操作硬件单元的集合结合合适的软件和/或固件来提供。
[0188]
已经描述了各种示例。这些和其他示例在所附权利要求的范围内。