去块效应滤波装置和方法与流程

本发明涉及视频流处理领域，更具体地，涉及在计算设备中的视频流处理中使用的去块效应滤波。

背景技术：

按照基于块的混合视频编码的成功原理，设计了h.264/avc和高效率视频编码(highefficiencyvideocoding，hevc)等视频编码方案。利用这一原理，首先将图片或图像帧划分为块，然后使用图片内预测或图片间预测对每个块进行预测。这些块使用相邻块进行编码以进行预测并近似原始信号。由于编码块只近似于原始信号，所以近似之间的差异可能导致预测块边界和变换块边界的不连续。这些不连续通过去块效应滤波器来减弱。hevc将h.264/avc的宏块结构替换为最大尺寸为64×64像素的编码树单元(codingtreeunit，ctu)这一概念。ctu可以进一步划分为一个四叉树分解方案，分解成更小的编码单元(codingunit，cu)，这些编码单元可以被细分，最小尺寸为8×8像素。hevc还引入了预测块(predictionblock，pb)和变换块(transformblock，tb)的概念。

在hevc中，针对属于与8×8网格重叠的编码单元(codingunit，cu)、预测单元(predictionunit，pu)和变换单元(transformunit，tu)的所有边缘执行去块效应。此外，与在4×4网格上执行滤波操作的h.264/avc相比，hevc中的去块效应滤波器更加并行友好。hevc中垂直和水平块边界的处理顺序与h.264/avc中不同。在hevc中，首先对图片中的所有垂直块边界进行滤波，然后对所有水平块边界进行滤波。由于hevc中两个并行块边界之间的最小距离为八个样本，并且hevc去块效应最多修改自块边界起的三个样本且使用自块边界起的四个样本进行去块效应决策，所以对一个垂直边界进行滤波不影响任何其它垂直边界的滤波。这意味着不存在跨块边界的去块效应依赖关系。原则上，任何垂直块边界都可以与任何其它垂直边界并行处理。水平边界也是如此，而来自垂直边界滤波的修改样本被用作水平边界滤波的输入。

标准化组织正在研究未来视频编码技术标准化的潜在需求，该技术的压缩能力明显超过当前hevc标准(包括其针对屏幕内容编码和高动态范围编码的当前扩展和近期扩展)的压缩能力。这些小组正与联合视频探索组(jointvideoexplorationteam，jvet)合作，共同开展这项探索活动，以评估该领域专家提出的压缩技术设计。

联合探索模型(jointexplorationmodel，jem)将联合视频探索组(jointvideoexplorationteam，jvet)正在进行协调测试模型研究的特性描述为hevc能力之外的潜在增强视频编码技术。联合探索模型(jointexplorationmodel，jem)软件使用一种新的分区块结构方案，称为四叉树加二叉树(quadtreeplusbinarytree，qtbt)。

qtbt结构删除了多个分区类型的概念，即，删除了编码单元(codingunit，cu)、预测单元(predictionunit，pu)和变换单元(transformunit，tu)之间的分离，使得cu＝pu＝tu。此外，qtbt支持更灵活的cu分区形状，其中cu可以是正方形或矩形。cu的最小宽度和高度可以是4个样本，cu的尺寸也可以是4×n或n×4，其中n可以取范围[4,8,16,32]中的值。

jem中的当前亮度去块效应滤波器对所有cu块边缘进行滤波，包括属于尺寸为4×n和n×4的cu的边缘。该方案的一个缺点是，例如，已经滤波的样本会影响相邻的块边界的滤波决策。此外，相邻块边界不能并行处理。

图1示出了用于jem的含qtbt划分的当前去块效应滤波操作的示例。p、q和r是尺寸为4×8(n＝8)个样本的三个cu。对边缘e1的强滤波会修改虚线框100中标记的样本。对边缘e2的强滤波会修改点划线框101中标记的样本。可以看到，边缘1周围的虚线框100和边缘2周围的点划线框101有重叠，因此，块q中的在边缘e1的滤波期间已经进行了滤波的样本会影响相邻的块边界(边缘e2)的滤波决策，并且相邻块边界(e1和e2)不能并行处理。

jvet-d0044通过对块宽大于4个样本的边缘(针对垂直边缘)和块高大于4个样本的边缘(针对水平边缘)应用滤波器来处理重叠问题。然而，这种方案的缺点是，仅对属于宽度大于4个样本的块的垂直边缘进行滤波。相应地，仅对属于高度大于4个样本的块的水平边缘进行滤波。

为了改进边缘处理，已经提出了各种方法。一种方案提出基于块的尺寸改变在边缘任一侧修改的样本的数量。块的尺寸计算为共享边缘的两个块的最小尺寸。这种方法的缺点是，对于不同的块尺寸，滤波操作是不同的，这增加了该方法的计算复杂性，因为在应用适当的滤波操作之前始终需要检查块的尺寸。

由于在各种不同类型的设备中使用视频流的需求将来很可能增加，因此持续需要提供计算效率高并提供高质量视频流的新方法。

技术实现要素：

下文公开了一种用于处理视频流的系统和方法。当对视频流进行编码或解码时，可应用去块效应滤波来减少由于使用基于块的视频编码而造成的不连续。去块效应滤波使用滤波网格来执行。滤波网格的尺寸基于处理参数自适应地选择。滤波网格的自适应尺寸基于在编码块边缘的去块效应滤波中使用和修改的样本的数量来确定。垂直边缘滤波和水平边缘滤波均可使用滤波网格。

在一个方面，公开了一种用于处理视频流的至少一帧的装置。所述装置包括：存储器，用于存储视频流的帧；以及处理器。所述处理器用于：使用基于块的编码方案，通过使用滤波网格进行的去块效应滤波，来处理存储在所述存储器中的所述视频流的一帧，其中所述视频流的帧处理包括编码或解码。所述处理器还用于：确定所述滤波网格的尺寸f×w，其中f大于在编码块的垂直边缘的边缘去块效应滤波中使用的最大样本数与在所述编码块的垂直边缘的去块效应滤波中修改的最大样本数之和，w大于在编码块的水平边缘的去块效应滤波中使用的最大样本数与在所述编码块的水平边缘的去块效应滤波中修改的最大样本数之和。所述处理器还用于对与所述网格重叠的编码块的边缘执行去块效应滤波。

上述方面的一个优点是，可以选择滤波网格的尺寸，使得具有潜在不连续的去块效应滤波边缘的数量增加。上述方面的另一个优点是，其为并行友好的滤波提供更多的滤波边缘和任意数量的使用和修改样本。这将使处理在计算上变得简单。上述方面的又一个优点是，以支持并行去块效应滤波的方式选择尺寸f×w，从而避免滤波重叠。

在所述方面的一种实施方式中，f还是编码块宽度的倍数。将f选为所述编码块宽度的倍数是有益的，因为其能够使滤波网格边缘与垂直编码块边缘对齐。在一种实施方式中，w还是编码块高度的倍数。将w选为所述编码块高度的倍数是有益的，因为其能够使滤波网格边缘与水平编码块边缘对齐。

在所述方面的一种实施方式中，所述编码块是编码单元、预测单元或变换单元。允许所述编码块是编码单元、预测单元或变换单元增加了灵活性。在所述方面的一种实施方式中，所述编码块是编码单元、预测单元和变换单元中最小的一个。当选择最小的一个作为编码块时，可以保证所述滤波网格至少与最小的滤波编码块的尺寸相同。

在所述方面的一种实施方式中，f等于w。当f等于w时，所述实施方式特别简单并且满足当前标准的要求。这提高了去块效应滤波方法的兼容性。在所述方面的一种实施方式中，去块效应滤波器是亮度去块效应滤波器。使用亮度去块效应滤波器特别有益，因为其提高了图像质量。

在所述方面的一种实施方式中，所述装置用于自适应地确定所述滤波网格的所述尺寸。自适应地确定所述滤波网格的所述尺寸特别有益，因为所述编码块尺寸可能改变。通过相应地调整所述滤波网格尺寸，增加了去块效应滤波边缘的数量。在所述方面的一种实施方式中，f和w的值至少为8并且可以被4整除。特别有益的是，可以根据当前视频流的需要来选择值f和w。这增加了方法的灵活性，同时该原理增加了去块效应滤波边缘的数量。

在另一个方面，公开了一种用于处理视频流的至少一帧的方法。所述方法包括：使用基于块的编码方案，通过使用滤波网格进行的去块效应滤波，来处理存储在存储器中的所述视频流的一帧，其中所述视频流的帧处理包括编码或解码；以及确定所述滤波网格的尺寸f×w，其中f大于在编码块的垂直边缘的边缘去块效应滤波中使用的最大样本数与在所述编码块的垂直边缘的去块效应滤波中修改的最大样本数之和，w大于在编码块的水平边缘的去块效应滤波中使用的最大样本数与在所述编码块的水平边缘的去块效应滤波中修改的最大样本数之和。所述方法还包括对与所述网格重叠的编码块的边缘执行去块效应滤波。

上述方面的一个优点是，可以选择滤波网格的尺寸，使得去块效应滤波边缘的数量增加。上述方面的另一个优点是，无需改变使用和修改的样本的数量。这将使处理在计算上变得简单。上述方面的又一个优点是，以支持并行去块效应滤波的方式选择尺寸f×w，从而避免滤波重叠。

在所述方面的一种实施方式中，f还是编码块宽度的倍数。将f选为所述编码块宽度的倍数是有益的，因为其能够使滤波网格边缘与编码块边缘对齐。在一种实施方式中，w还是编码块高度的倍数。将w选为所述编码块高度的倍数是有益的，因为其能够使滤波网格边缘与编码块边缘对齐。

在所述方面的一种实施方式中，所述编码块是编码单元、预测单元或变换单元。允许所述编码块是编码单元、预测单元或变换单元增加了灵活性。在所述方面的一种实施方式中，所述编码块是编码单元、预测单元和变换单元中最小的一个。当选择最小的一个作为编码块时，可以保证所述滤波网格至少与最小的滤波编码块的尺寸相同。

在所述方面的一种实施方式中，f等于w。当f等于w时，所述实施方式特别简单并且满足当前标准的要求。这提高了去块效应滤波方法的兼容性。在所述方面的一种实施方式中，所述方法还包括使用亮度去块效应滤波器进行去块效应滤波。使用亮度去块效应滤波器特别有益，因为其提高了图像质量。

在所述方面的一种实施方式中，所述方法自适应地确定所述滤波网格的所述尺寸。自适应地确定所述滤波网格的所述尺寸特别有益，因为所述编码块尺寸可能改变。通过相应地调整所述滤波网格尺寸，增加了具有潜在不连续的去块效应滤波边缘的数量。在所述方面的一种实施方式中，f和w的值至少为8并且可以被4整除。特别有益的是，可以根据当前视频流的需要来选择值f和w。这增加了方法的灵活性，同时该原理增加了去块效应滤波边缘的数量。

在另一个方面，公开了一种计算机程序。在所述方面中，所述计算机程序包括程序代码，用于：当所述计算机程序在计算设备上执行时，执行根据权利要求10至18中任一项所述的方法。将所述方法实现为计算机程序是有益的，这样所述方法可以很容易地在各种不同的计算设备中实现，例如手机、平板电脑、笔记本电脑和其它计算设备。

上述原理足以满足并行去块效应条件，从而确保了两个重要益处。第一个益处是，两个相邻的垂直或水平边缘的去块效应滤波操作不会重叠。第二个益处是，垂直边缘滤波和水平边缘滤波是完全可并行的。

附图说明

根据附图阅读以下具体实施方式将可以更好地理解本说明书，其中：

图1示出了块的尺寸为4×8的滤波操作重叠。

图2示出了带有自适应去块效应滤波的装置的示例。

图3为去块效应滤波的示例性图示。

图4为去块效应滤波的示例性图示。

图5为去块效应滤波的示例性图示。

图6为去块效应滤波方法的示例性图示。

具体实施方式

下文结合附图提供的具体实施方式旨在作为实施例的描述，而非旨在表示可构造或使用实施例的唯一形式。然而，相同或等效的功能和结构可通过不同实施例来实现。

图2示出了包括自适应去块效应滤波的装置200的示例。装置200包括至少一个处理器201和至少一个存储器202。该装置可以是手机、台式电脑、笔记本电脑、普通的计算机电视机，或任何其它可用于对视频流进行编码和解码的类似设备，等等。该装置可与其它设备连接，以便接收视频流或用于产生视频流的材料，随后相应地对视频流进行处理。

处理器201用于：使用基于块的编码方案，通过使用滤波网格进行的去块效应滤波，来处理存储在存储器中202的视频流的一帧，其中视频流的帧处理包括编码或解码。处理器201还用于：确定滤波网格的尺寸f×w，其中f大于在编码块的垂直边缘的边缘去块效应滤波中使用的最大样本数与在编码块的垂直边缘的去块效应滤波中修改的最大样本数之和，w大于在编码块的水平边缘的去块效应滤波中使用的最大样本数与在编码块的水平边缘的去块效应滤波中修改的最大样本数之和。处理器还用于对与网格重叠的编码块的边缘执行去块效应滤波。

通过以下原理实现了支持并行去块效应的充分条件。此外，除并行去块效应之外，还实现了更多数量的去块效应滤波边缘。充分条件将去块效应滤波器“使用的(u)”样本数量和“修改的(m)”样本数量作为输入，然后导出输出“最小网格尺寸(f×w)”，可以基于该“最小网格尺寸”对去块效应滤波器进行操作以确保“可并行性”和“无滤波操作重叠”。

在本示例中，使用根据jem进行的去块效应滤波操作。滤波器可以是亮度去块效应滤波器等。除亮度去块效应滤波器外，还可使用其它合适的滤波器，例如色度去块效应滤波器。这些滤波器与hevc的滤波器类似，因此，使用的最大样本数是4(u＝4)，修改的最大样本数是(m＝3)。应用并行去块效应的充分条件给出了一个条件，即f必须大于u+m的总和，根据给定的值，该总和为7。因此，f的值必须至少为8。如上所述，f与垂直边缘的去块效应有关。在去块效应水平边缘中，如果使用和修改的样本的数量也与上述相同，则w的值同样可为8。因此，应用并行去块效应的充分条件得到了的8×8滤波网格。

在所描述方案中，在编码器侧和解码器侧都确定网格尺寸。一般来说，在编码器侧和解码器侧都执行计算可能是不利的，因为这可能影响设备的性能，特别是终端设备的性能。然而，确定网格尺寸的操作不需要大量的计算，并且可以在不明显增加设备的计算负载的情况下实现。

网格尺寸的确定也可以仅在编码器处进行，并通过信号传送给解码器。每个序列可以进行一次信令，向例如片头中的图片参数添加附加位。

但是，这里说明的原理也适用于其它类似方案。此外，虽然在说明书中假定在处理后的边缘两侧对称地使用和修改样本，但是也有可能不对称地使用和/或修改样本。例如，有可能在边缘左侧使用的样本的数量为2，而在边缘右侧使用的样本的数量为3。在这种情况下，可将u(使用的样本)的值作为在边缘右侧使用的样本与在边缘左侧使用的样本之间的最大值。类似的原理适用于垂直边缘和水平边缘。此外，对于垂直边缘和水平边缘，使用和修改的样本的数量可能不同。因此，滤波网格的尺寸可根据本说明书中提供的原理而变化。

在所述方面的一种实施方式中，f还是编码块宽度的倍数。在一种实施方式中，w还是编码块高度的倍数。在上述u＝4且m＝3的示例中，应用了用于jem的去块效应滤波。此外，图1中示出编码块的尺寸为4×8个样本，其中该编码块在jem的情况下是编码单元。由于网格为8×8，所以满足编码块宽度和高度的倍数条件，因为8是4的倍数。

上文结合编码块描述了滤波网格的尺寸。在jem使用的四叉树加二叉树(quadtreeplusbinarytree，qtbt)方法中，删除了多个分区类型的概念。因此，编码单元(codingunit，cu)、预测单元(predictionunit，pu)与变换单元(transformunit，tu)之间没有差别，这使得编码单元分区形状较灵活。但是，所提供的原理也适用于其它方法，并且用于确定滤波网格尺寸的编码块可以是编码单元、预测单元或变换单元。通常，将编码单元、预测单元和变换单元中最小的一个用作编码块。

滤波网格的尺寸可自适应地确定。这增加了灵活性，因为在视频流处理中使用的参数可能改变。例如，使用和修改的样本的数量位可能改变，因此需要改变网格，以便其再次满足上述条件。使用和修改的样本的数量可由标准确定，但是也可根据标准的原理而变化。例如，标准可能规定参数包含在视频流中和/或产生视频流的实体可能需要确定需要使用的样本的数量。此外，可在对视频流进行解码时完成去块效应滤波，在这种情况下是针对视频流的一个未压缩帧执行去块效应滤波，因为该未压缩帧可以并且通常包括应使用去块效应滤波进行滤波的边缘。

如上所述，上文讨论的原理参与视频流处理，无论是编码或解码。因此，还需要考虑在视频处理中使用的其它原理。所以，f和w的值通常至少为8，并且可以被4整除，即，8、12、16、20、24、28、32或类似的更大值。

图3至图5进一步示出了上述原理在图3至图5的示例性条件下是如何执行的。图3示出了根据当前使用的方案的起点，其中对块宽度大于4个样本的边缘(针对垂直边缘)和块高度大于4个样本的边缘(针对水平边缘)进行滤波。在图3中，为清晰起见，将垂直边缘和水平边缘的去块效应滤波示为两个独立的框架。本领域技术人员将理解，示出垂直边界，即垂直边缘，的左侧框架和示出水平边界，即水平边缘，的右侧框架属于同一个视频帧。

如图3所示，在提议jvet-d0044中，仅对属于宽度大于4个样本的块的垂直边缘进行滤波。相应地，仅对属于高度大于4个样本的块的水平边缘进行滤波。

图4示出，使用在图3中使用的原理没有对垂直边缘400(b1)和401(b2)进行滤波。这是因为编码块的尺寸随着视频帧而变化，并且块的宽度或高度可以是4个样本。因此，不满足“大于4个样本”这一条件，不对块进行滤波。在图4中，圆圈402包围的区域示出了两个边缘400和401以及相应的块b1和b2。将同一区域扩展为具有相应样本的16×16区域。

如jem(qtbt)中所做的那样对边缘进行滤波可能会在去块效应决策和滤波过程中产生不理想的结果，因为去块效应滤波器在决策过程中最多使用4个样本，在边缘的任一侧最多可以修改3个样本。因此，没有对边缘400和401(针对块b1和b2)进行滤波，因为这两个边缘的块宽度均为4个样本。所以，具有潜在不连续的一些边缘没有进行去块效应处理。

在图5中，在类似的条件下使用自适应滤波网格。如上所述，当如jem中所做的那样对边缘进行滤波时，8×8的滤波网格满足条件。

块b1和b2对应图4的块b1和b2。边缘500(位于虚线圆中)对应图4的边缘400。可以看到，当使用8×8的滤波网格时，满足对边缘500进行滤波的条件，因此对边缘500进行了滤波。相应地，在图4的示例中未进行滤波的边缘501和502在图5的示例中进行了滤波。因此，除了实现了编码块的并行处理，还增加了滤波边缘的数量。在图3至图5的示例中仅示出了垂直边缘，但是类似的原理也适用于水平边缘。

图6示出了示例性方法的流程图。在流程图中，示出了一种用于对视频帧进行解码的方法。在该方法中，首先是步骤600，接收视频帧。该帧通常是形成视频流的多个视频帧中的一部分。使用已知原理对该帧进行解码，例如，类似于上文与装置一起说明的原理。该步骤可以在编码器或解码器中执行。如果该方法在编码器处执行，则所接收的视频帧是未压缩的视频数据，并且对该数据进行环内解码以生成预测结果，预测结果将与残差信息和边信息一起在传输到解码器的位流中进行编码。如果该方法在解码器处执行，则所接收的视频帧可以是从编码器接收的编码位流。在步骤601中，基于所接收的视频帧确定滤波网格尺寸。滤波网格尺寸基于在对视频帧应用去块效应滤波器时所使用和修改的样本的数量信息来确定。所使用的样本的信息可与视频帧一起作为边信息接收，或者作为多个视频帧的开始处的单独信息接收。所接收的信息还可包含对优选滤波网格尺寸的指示。优选滤波网格尺寸可强制使用，也可选择性地使用，取决于编码方案。此外，也可能由解码实体来设置所使用和修改的样本的相应数量。然后，在步骤602中，对视频帧进行解码。解码还包括对视频帧解压缩。因此，解码结果是一个可以在显示器上显示的图像，但是，在显示帧之前，在步骤603中使用去块效应滤波器对帧进行滤波。

如上所述，去块效应滤波可实施为一种硬件，例如上述装置，或者实施为一种方法。该方法可实施为一种计算机程序。然后在用于处理视频流的计算设备中执行该计算机程序。该计算设备可用于对包括多个视频帧的视频流进行编码或解码。

本文结合各种实施例描述了去块效应滤波装置和方法。但本领域技术人员通过实践本发明，研究附图、本发明以及所附的权利要求，能够理解并获得公开实施例的其他变体。在权利要求书中，词语“包括”不排除其它元素或步骤，“一个”不排除多个。单个处理器或其它单元可满足权利要求中描述的几项的功能。在仅凭某些措施被记载在相互不同的从属权利要求书中这个单纯的事实并不意味着这些措施的结合不能被有效地使用。计算机程序可存储或分发到合适的介质上，例如与其它硬件一起或者作为其它硬件的部分提供的光存储介质或者固态介质，还可以以其它形式例如通过因特网或者其它有线或无线电信系统分发。