用于对图像进行编码或解码的设备和方法与流程

文档序号：17851874发布日期：2019-06-11 22:16阅读：201来源：国知局

本发明涉及对视频进行高效编码或解码。更具体地，本发明涉及用于对在帧内预测中预测当前块的帧内预测模式进行编码和解码的方法和设备。

背景技术：

该部分中的陈述仅仅提供了关于本公开的背景信息，并不一定构成现有技术。

存在使用当前图片中的像素信息来预测当前图片中所包括的像素值的帧内预测和编码的多种帧内预测模式。视频编码设备在多种帧内预测模式当中选择用于将被编码的当前块的一种最终模式，并且将关于所选择的模式的信息发送到视频解码设备。在该操作中，使用最可能模式(mpm)来高效地表示所选择的帧内模式。

图1是示出可用于标准hevc中的帧内预测的帧内模式的图。在hevc的情况下，总共有35种帧内模式，包括33种具有定向性的角度模式和两种非定向模式，如图1中所示。为了对这35种模式当中的待被编码的当前块的最终帧内模式进行编码，基于用于当前块周围的邻近块的帧内模式和据统计最频繁使用的帧内模式来选择用于当前块的三个mpm。

发送指示当前块的最终模式是否与mpm相同的1比特mpm标志，并且如果最终模式是mpm，则进一步发送mpm索引值。如果最终模式不是mpm，则发送剩余模式中的哪一种是最终模式的明确指示。

随着视频的分辨率逐渐增加，预测块的单元也逐渐变大，因此有可能要添加许多新的帧内模式。然而，如果预测的mpm仍然与最终模式不同，则在一些情况下可能需要将模式索引值作为固定长度代码发送。

另外，如果新添加了许多帧内模式并且待预测的mpm的数目随着视频大小的增加而相应增加，则能提高预测效率。然而，由于mpm索引值的表示以截断一元形式给出，因此mpm数目的增加很可能使压缩效率降低。

此外，通过根据对应地用于亮度和色度的树结构进行分割而以各种形状产生编码单元，当可以利用亮度编码时计算的各种帧内模式来表示平面模式、dc模式、垂直模式、水平模式、dm模式和lm模式时，典型模式(例如，直接模式)可以用标志表示并且被用于对色度的帧内模式进行压缩。

技术实现要素：

技术问题

因此，已经考虑到以上问题而作出了本发明，并且本发明的一个目的是用信息高效通知用于在帧内预测编码时预测当前块的帧内预测模式。

技术方案

按照本发明的一方面，提供了一种对视频数据进行编码的方法，该方法包括以下步骤：确定用于预测所述视频数据的当前块的帧内模式；确定用于所述视频数据的所述当前块的最可能模式(mpm)；以及对所述当前块的帧内模式数据进行编码。当所述mpm中的任一个与用于预测所述当前块的帧内模式不同时，对所述当前块的帧内模式数据进行编码的步骤包括以下步骤：对指示用于预测所述当前块的帧内模式不是mpm的mpm标志进行编码；通过在可能的帧内模式当中去除所述mpm来生成非mpm的列表，其中，所述非mpm的列表中的帧内模式被分成多个组；以及对指示所述当前块的帧内模式在所述非mpm的列表中所属的组的索引的数据进行编码。

按照本发明的另一方面，提供了一种对视频数据进行解码的方法，该方法包括以下步骤：确定用于所述视频数据的当前块的最可能模式(mpm)；从比特流中对指示用于预测所述当前块的帧内模式是否是mpm的mpm标志进行解码；以及当所述mpm标志指示用于预测所述当前块的帧内模式不是mpm时，使用可能的帧内模式当中的除了所述mpm之外的非mpm来确定所述当前块的帧内模式。使用所述非mpm来确定用于预测所述当前块的帧内模式的步骤包括以下步骤：生成被分成多个非mpm组的所述非mpm的非mpm列表；从所述比特流中对指示用于预测所述当前块的帧内模式所属的非mpm组的索引的数据进行解码；以及评估属于由所述非mpm组的索引指示的组的所述非mpm来选择所述当前块的帧内模式。

按照本发明的又一方面，提供了一种用于对视频数据进行解码的设备，该设备包括：存储器；以及一个或更多个处理器，其中，所述一个或更多个处理器被配置为执行以下操作：确定用于所述视频数据的当前块的最可能模式(mpm)；从比特流中对指示用于预测所述当前块的帧内模式是否是mpm的mpm标志进行解码；以及当所述mpm标志指示用于预测所述当前块的帧内模式不是mpm时，使用可能的帧内模式当中的除了所述mpm之外的非mpm来确定所述当前块的帧内模式。使用所述非mpm来确定用于预测所述当前块的帧内模式的步骤包括以下步骤：生成被分成多个非mpm组的所述非mpm的非mpm列表；从所述比特流中对指示用于预测所述当前块的帧内模式所属的非mpm组的索引的数据进行解码；以及评估属于由所述非mpm组的索引指示的组的所述非mpm来选择所述当前块的帧内模式。

附图说明

图1是示出可用于hevc中的帧内预测的帧内模式的图。

图2是根据本发明的实施方式的视频编码设备的框图，

图3是使用qtbt结构的块分离的示例图。

图4示出了多种帧内预测模式的示例。

图5是当前块周围的邻近块的示例图。

图6例示了根据本发明的实施方式的视频解码设备。

图7是例示按照本发明的一个或更多个示例的对视频数据进行编码的示例性方法的流程图。

图8是例示按照本发明的一个或更多个示例的对视频数据进行编码的另一示例性方法的流程图。

图9是例示按照本发明的一个或更多个示例的对视频数据进行解码的示例性方法的流程图。

图10是例示按照本发明的一个或更多个示例的对视频数据进行解码的另一示例性方法的流程图。

图11是例示用于在帧内预测编码时生成预测块的参考像素的图。

具体实施方式

下文中，将参照附图详细地描述本发明的一些实施方式。应当注意，在将附图标记添加到相应附图中的组成元件时，相似的附图标记指定相似的元件，尽管这些元件是在不同附图中被示出的。另外，在对本发明的以下描述中，当对并入到本文中的已知功能和配置的详细描述会使本发明的主题相当不清楚时，将省略该详细描述。

图2是根据本发明的实施方式的视频编码设备的框图。

视频编码设备包括块分离器210、预测器220、减法器230、变换器240、量化器245、编码器250、逆量化器260、逆变换器265、加法器270、滤波器单元280和存储器290。视频编码设备的每个元件都可以被实现为硬件芯片，或者可以被实现为软件，并且微处理器可以被实现为执行与相应元件对应的软件的功能。

块分离器210将构成视频的每个图片分离成多个编码树单元(ctu)，然后使用树结构来递归地分离ctu。树结构中的叶节点是编码单元(cu)，cu是编码的基本单元。可以使用其中节点被分离成四个子节点的四叉树(qt)结构或者将qt结构与其中节点被分离成两个子节点的二叉树(bt)结构相结合的四叉树加二叉树(qtbt)结构作为树结构。

在四叉树加二叉树(qtbt)结构中，首先根据qt结构分离ctu。此后，可以按bt进一步分离qt的叶节点。由块分离器210通过按qtbt结构分割ctu而生成的分离信息由编码器250编码并被发送到视频解码设备。

在qt中，对指示是否分离对应节点的块的第一标志(qt_split_flag)进行编码。当第一标志为1时，节点的块被分离成相同大小的四个块。当第一标志为0时，不进一步按qt分离节点。

在bt中，对指示是否分离对应节点的块的第二标志(bt_split_flag)进行编码。bt可以具有多种分离类型。例如，可以存在将节点的块水平地分离成相同大小的两个块的类型以及将节点的块垂直地分离成相同大小的两个块的类型。另外，可以存在将节点的块不对称地分离成两个块的另一种类型。不对称分离类型可以包括将节点的块以1:3的比例分离成两个矩形块的类型或者按对角线分离节点的块的类型。在如上所述bt具有多种分离类型的情况下，对指示块被分离的第二标志进行编码，并且另外对指示块的分离类型的分离类型信息进行编码。

图3是使用qtbt结构的块分离的示例图。在图3中，(a)例示了按qtbt结构分离块并且(b)表示树结构中的分离。在图3中，实线表示按qt结构进行的分离，并且虚线表示按bt结构进行的分离。在图3的(b)中，关于层的符号，不带括号的层表达表示qt的层，并且括号中的层表达表示bt的层。在用虚线表示的bt结构中，数字是分离类型信息。

在图3中，作为qt的最上层的ctu被分离成层1的四个节点。因此，块分离器210生成指示ctu被分离的qt分离标志(qt_split_flag＝1)。不再按qt对与层1的第一节点对应的块进行分离。因此，块分离器210生成qt_split_flag＝0。

然后，与qt的层1的第一节点对应的块经受bt。在该实施方式中，假定bt具有两种分离类型：将节点的块水平地分离成相同大小的两个块的类型以及将节点的块垂直地分离成相同大小的两个块的类型。qt的层1的第一节点成为bt的“(层0)”的根节点。与bt的根节点对应的块被进一步分离成“(层1)”的块，因此块分离器210生成指示按bt分离块的bt_split_flag＝1。此后，块分离器210生成指示块是被水平地分离还是被垂直地分离的分离类型信息。在图3中，由于与bt的根节点对应的块被垂直地分离，因此生成指示垂直分离的“1”作为分离类型信息。在从根节点分离出的“(层1)”的块当中，根据垂直分离类型进一步分离第一块，因此生成bt_split_flag＝1和分离类型信息“1”。另一方面，从bt的根节点分离出的(层1)的第二块不再被分离，因此为此生成bt_split_flag＝0。

为了将关于按qtbt结构进行块分离的信息高效地用信号通知给解码设备，可以进一步对以下信息进行编码。该信息可以被编码为图像的报头信息，例如，序列参数集(sps)或图片参数集(pps)。

-ctusize：qtbt的最上层(即，根节点)的块大小；

-minqtsize：qt中允许的叶节点的最小块大小；

-maxbtsize：bt中允许的叶节点的最大块大小；

-maxbtdepth：bt中允许的最大深度；

-minbtsize：bt中允许的叶节点的最小块大小。

在qt中，大小与minqtsize相同的块没有被进一步分离，因此关于与该块对应的qt的分离信息(第一标志)没有被编码。另外，在qt中，大小比maxbtsize大的块不具有bt。因此，关于与该块对应的bt的分离信息(第二标志、分离类型信息)没有被编码。另外，当bt的对应节点的深度达到maxbtdepth时，节点的块没有被进一步分离，并且关于节点的bt的对应分离信息(第二标志、分离类型信息)没有被编码。另外，bt中的大小与minbtsize相同的块没有被进一步分离，并且关于bt的对应分离信息(第二标志、分离类型信息)没有被编码。通过定义qt和bt的根节点或叶节点可以在诸如如上所述的序列参数集(sps)或图片参数集(pps)这样的高层中具有的最大块大小或最小块大小，能够减少指示ctu的分离状态和分离类型的信息的编码量。

在实施方式中，可以使用相同的qtbt结构来分离ctu的亮度分量和色度分量。然而，本发明不限于此。可以分别使用不同的qtbt结构来分离亮度分量和色度分量。举例来说，在帧内(i)切片(slice)的情况下，可以使用不同的qtbt结构来分离亮度分量和色度分量。

下文中，与待编码或解码的cu对应的块被称为“当前块”。

预测器220通过预测当前块来生成预测块。预测器220包括帧内预测器222和帧间预测器224。

帧内预测器222使用包括当前块的当前图片中的位于当前块周围的像素(参考样本)来预测当前块中的像素。根据预测方向存在多种帧内预测模式，并且根据每种预测模式不同地定义待使用的邻近像素和计算式。特别地，帧内预测器222可以确定将用于对当前块进行编码的帧内预测模式。在一些实施方式中，帧内预测器222可以尝试使用多种帧内预测模式对当前块进行编码，然后从经测试的模式当中选择要使用的适当帧内预测模式。例如，帧内预测器222可以使用多种经测试的帧内预测模式的速率-失真分析来计算速率-失真值，并且从经测试的模式当中选择具有最佳速率-失真特性的帧内预测模式。

图4是多种帧内预测模式的示例图。

如图4中所示，多种帧内预测模式可以包括两种非定向模式(平面模式和dc模式)和65种定向模式。

帧内预测器222从多种帧内预测模式当中选择一种帧内预测模式，并且使用重构的邻近样本(参考样本)和由被选择用于预测当前块的帧内预测模式确定的等式来生成预测块。关于所选择的帧内预测模式的信息由编码器250编码并被发送到视频解码设备。

为了对指示多种帧内预测模式中的哪一种被用作当前块的帧内预测模式的帧内预测模式信息进行高效编码，帧内预测器222可确定帧内预测模式中的一些，并且将这些模式视为最有可能被用作当前块的帧内预测模式的最可能模式(mpm)。然后，帧内预测器222生成指示是否从mpm列表中选择了当前块的帧内预测模式的模式信息，并且将模式信息发送到编码器250。通常，当从mpm列表中选择了当前块的帧内预测模式时，帧内预测器222向编码器250发送用于指示选择mpm模式中的哪一种模式作为当前块的帧内预测模式的第一帧内预测信息。另一方面，当未从mpm列表中选择当前块的帧内预测模式时，用于指示除了mpm之外的剩余模式(即，非mpm)中的哪一种被选定为当前块的帧内预测模式的第二帧内识别信息被发送到编码器250。另选地，根据本发明的一方面的帧内预测器222可以对mpm和/或非mpm进行分组，并且用信号通知预测当前块的帧内预测模式所属的组的索引，而不是显式地用信号通知mpm和/或非mpm中的哪一种被选定为预测当前块的帧内预测模式。

下文中，将描述生成mpm列表的方法。虽然描述了用六个mpm构造mpm列表，但是本发明不限于此。mpm列表中所包括的mpm的数目的范围可以是从3至10。

首先，使用当前块周围的邻近块的帧内预测模式来构造mpm列表。在一示例中，如图5中所示，邻近块可以包括例如当前块的左块l、上块a、左下块bl、右上块ar和左上块al的部分或全部。这些邻近块的帧内预测模式被包括在mpm列表中。这里，只有可用块的帧内预测模式被按左块l、上块a、左下块bl、右上块ar和左上块al的顺序包括在mpm列表中，然后通过另外添加平面模式和dc模式来构造mpm列表。另选地，可以按左块l和上块a的顺序在mpm列表中添加邻近块的帧内预测模式，添加平面模式和dc模式，然后在mpm列表中添加左块bl、右上块ar和左上块al的帧内预测模式。

mpm列表中只包括不同的帧内预测模式。也就是说，当存在重复的模式时，mpm列表中只包括重复的模式中的一种。

当列表中的mpm的数目小于预定数目(例如，6)时，可以通过基于列表中的定向模式添加-1角度模式或+1角度模式来推导另外的mpm。另外，当列表中的mpm的数目小于预定数目时，按垂直模式、水平模式、对角线模式等的顺序在mpm列表中添加预定的默认模式。

帧间预测器224在比当前图片更早被编码和解码的参考图片中搜索与当前块最相似的块，并且使用搜索到的块来生成当前块的预测块。然后，帧间预测器224生成与当前图片中的当前块和参考图片中的预测块之间的位移对应的运动矢量。包括关于用于预测当前块的参考图片的信息和关于所述运动矢量的信息的运动信息由编码器250编码并被发送到视频解码设备。

减法器230从当前块中减去由帧内预测器222或帧间预测器224生成的预测块，以生成残余块。

变换器240将空间域中的具有像素值的残余块中的残余信号变换为频域中的变换系数。变换器240可以使用当前块的大小作为变换单元(tu)来变换残余块中的残余信号，另选地，可以将残余块分离成多个更小的子块，然后以与每个子块的大小对应的变换单元(tu)变换残余信号。可以存在将残余块分离成更小的子块的各种方法。例如，残余块可以被分离成相同预定义大小的子块，或者可以以将残余块作为根节点的四叉树(qt)的方式分离残余块。

量化器245量化从变换器240输出的变换系数并且将量化后的变换系数输出到编码器250。

编码器250使用诸如cabac这样的编码方案对量化后的变换系数进行编码，以生成比特流。编码器250对与块分离关联的诸如ctusize、minqtsize、maxbtsize、maxbtdepth、minbtsize、qt分离标志、bt分离标志和分离类型这样的信息进行编码，使得视频解码设备以与视频编码设备相同的方式分离块。

编码器250对关于指示当前块是通过帧内预测还是帧间预测进行编码的预测类型的信息进行编码，并且根据预测类型对帧内预测信息或帧间预测信息进行编码。

逆量化器260对从量化器245输出的量化后的变换系数进行逆量化，以生成变换系数。逆变换器265将从逆量化器260输出的变换系数从频域变换到空间域并且恢复残余块。

加法器270将重构的残余块添加到由预测器220生成的预测块，以恢复当前块。重构的当前块中的像素被用作按顺序执行下一个块的帧内预测的参考像素。

滤波器单元280对重构的块之间的边界进行去块滤波以便去除由逐块编码/解码引起的块效应，并且将去块滤波后的块存储在存储器290中。当重构一个图片中的所有块时，重构的图片被用作对待编码的后续图片中的块进行帧间预测的参考图片。

下文中，将描述视频解码设备。

图6是根据本发明的实施方式的视频解码设备的框图，

视频解码设备包括解码器610、逆量化器620、逆变换器630、预测器640、加法器650、滤波器单元660和存储器670。如图2的视频编码设备的情况下一样，视频编码设备的每个元件都可以被实现为硬件芯片，或者可以被实现为软件，并且微处理器可以被实现为执行与相应元件对应的软件的功能。

解码器610对从视频编码设备接收的经压缩的比特流进行解码，提取与块分离相关的信息以确定待解码的当前块，并输出恢复当前块所必需的预测信息和关于残余信号的信息。

解码器610从序列参数集(sps)或图片参数集(pps)中提取关于ctusize的信息，确定ctu的大小，并且将图片分离成确定大小的ctu。然后，解码器610确定ctu是树结构的最上层(即，根节点)，并提取关于ctu的分离信息，以使用树结构来分离ctu。例如，当使用qtbt结构来分离ctu时，首先提取与qt分离相关的第一标志(qt_split_flag)，并且将每个节点分离成下层的四个节点。对于与qt的叶节点对应的节点，提取与bt分离相关的第二标志(bt_split_flag)和分离类型，以在bt结构中分离qt的叶节点。

在图3的块分离结构的示例中，提取与qtbt结构的最上层的节点对应的qt_split_flag。由于所提取的qt_split_flag的值为1，因此最上层的节点被分离成下层(qt的层1)的四个节点。然后，提取层1的第一节点的qt_split_flag。由于所提取的qt_split_flag的值为0，因此在qt结构中不进一步分离层1的第一节点。

由于qt的层1的第一节点是qt的叶节点，因此该操作是在采用qt的层1的第一节点作为bt的根节点的bt之前进行的。提取与bt的根节点即“(层0)”对应的bt_split_flag。由于bt_split_flag为1，因此bt的根节点被分离成“(层1)”的两个节点。由于bt的根节点被分离，因此提取指示与bt的根节点对应的块是被垂直分离还是被水平分离的分离类型信息。由于分离类型信息为1，因此与bt的根节点对应的块被垂直分离。然后，解码器610从bt的根节点提取被分离的“(层1)”的第一节点的bt_split_flag。由于bt_split_flag为1，因此提取关于“(层1)”的第一节点的块的分离类型信息。由于关于“(层1)”的第一节点的块的分离类型信息为1，因此“(层1)”的第一节点的块被垂直分离。然后，提取从bt的根节点分离出的“(层1)”的第二节点的bt_split_flag。由于bt_split_flag为0，因此节点没有按bt被进一步分离。

以这种方式，解码器610递归地提取qt_split_flag并在qt结构中分离ctu。解码器610提取qt的叶节点的bt_split_flag。当bt_split_flag指示分离时，提取分离类型信息。以这种方式，解码器610可以确认ctu被分离成如图3的(a)中所示的结构。

当在sps或pps中另外定义了诸如minqtsize、maxbtsize、maxbtdepth和minbtsize这样的信息时，解码器610提取附加信息并使用附加信息来提取关于qt和bt的分离信息。

例如，在qt中，大小与minqtsize相同的块没有被进一步分裂。因此，解码器610不从比特流中提取与块的qt相关的分离信息(qt分离标志)(即，比特流中没有块的qt分离标志)，并且将对应的值自动地设置成0。另外，在qt中，大小比maxbtsize大的块不具有bt。因此，解码器610不在qt中提取具有比maxbtsize大的块的叶节点的bt分离标志，并自动地将bt分离标志设置为0。另外，当bt的对应节点的深度达到maxbtdepth时，节点的块没有被进一步分离。因此，不从比特流中提取节点的bt分离标志，并且将该bt分离标志的值自动地设置为0。另外，在bt中的大小与minbtsize相同的块没有被进一步分离。因此，解码器610不从比特流中提取大小与minbtsize相同的块的bt分离标志，并且将标志的值自动地设置为0。

在一实施方式中，当通过分离树结构来确定待解码的当前块时，解码器610提取关于指示当前块是被帧内预测还是被帧间预测的预测类型的信息。

当预测类型信息指示帧内预测时，解码器610解析关于当前块的帧内预测信息的语法元素(帧内预测模式)。首先，解码器610解析指示是否从mpm列表中选择了当前块的帧内预测模式的模式信息(即，mpm标志)。通常，当帧内模式编码信息指示从mpm列表中选择了当前块的帧内预测模式时，解码器610解析指示mpm的哪一种模式被选定为当前块的帧内预测模式的第一帧内识别信息。当帧内模式编码信息指示未从mpm列表中选择了当前块的帧内预测模式时，解码器610解析指示除了mpm之外的剩余模式(即，非mpm)中的哪一种被选定为当前块的帧内预测模式的第二帧内识别信息。另选地，根据本发明的一方面的解码器610解析指示用于预测当前块的帧内模式所属的mpm和/或非mpm的组的帧内识别信息(例如，组索引等)，而非解析mpm和/或非mpm中的哪一种模式被选定为预测当前块的帧内预测模式的帧内识别信息。

在一实施方式中，解码器610提取关于当前块的量化变换系数的信息作为关于残余信号的信息。

逆量化器620对量化后的变换系数进行逆量化。逆变换器630将逆量化后的变换系数从频域逆变换到空间域，以重构残余信号，并由此生成当前块的残余块。

预测器640包括帧内预测器642和帧间预测器644。当当前块的预测类型是帧内预测时，帧内预测器642被启动，并且当当前块的预测类型是帧间预测时，帧间预测器644被启动。

帧内预测器642用从解码器610解析的帧内预测模式的语法元素确定多种帧内预测模式当中的当前块的帧内预测模式，并根据该帧内预测模式使用当前块周围的参考样本来预测当前块。

为了确定当前块的帧内预测模式，帧内预测器642用当前块周围的邻近块来构造包括预定数目的mpm的mpm列表。构造mpm列表的方法与针对图2的帧内预测器222的方法相同。

通常，当帧内预测模式信息(即，mpm标志)指示从mpm列表中选择了当前块的帧内预测模式时，帧内预测器642选择mpm列表中的mpm当中的由第一帧内识别信息所指示的mpm作为当前块的帧内预测模式。另一方面，当模式信息指示未从mpm中选择当前块的帧内预测模式时，帧内预测器使用第二帧内识别信息来从mpm列表中的除了mpm之外的帧内预测模式当中选择帧内预测模式作为当前块的帧内预测模式。

另选地，如上所述，根据本发明的一方面的视频编码设备的帧内预测器222可以对mpm和/或非mpm进行分组，并且可以用信号通知预测当前块的帧内模式所属的组的索引，而不是显式地用信号通知mpm和/或非mpm中的哪一种被选定为预测当前块的帧内预测模式。在这种情况下，视频解码设备的帧内预测器642可以通过评估属于索引所指示的组的帧内模式来确定最佳帧内模式(即，用于预测当前块的帧内模式)。例如，在一些实施方式中，帧内预测器642可以为属于该组的多种帧内模式生成重构的块，并且评估重构的块以确定最佳帧内模式。

帧间预测器644使用由解码器610提取的帧内预测模式的语法元素来确定关于当前块的运动信息，并且使用所确定的运动信息来预测当前块。

加法器650将从逆变换器630输出的残余块与从帧内预测器642或帧间预测器644输出的预测块相加，以恢复当前块。重构的当前块中的像素被用作用于对稍后待解码的块进行帧内预测的参考像素。

滤波器单元660对重构的块之间的边界进行去块滤波以便去除由逐块编码引起的块效应，并且将去块滤波后的块存储在存储器290中。当重构一个图片中的所有块时，重构的图片被用作对待解码的后续图片中的块进行帧间预测的参考图片。

下面描述的技术涉及帧内编码。可以由例如在图2和图6中示出的并且参照图2和图6描述的视频编码设备和视频解码设备执行本公开的技术。也就是说，在一个示例中，当在对视频数据的块进行编码期间执行帧内预测时，参照图2描述的帧内预测器222可以执行下面描述的一些技术。在另一个示例中，当在对视频数据的块进行解码期间执行帧内预测时，参照图6描述的帧内预测器642可以执行下面描述的一些技术。

本公开的技术旨在凭借对增加的帧内预测模式进行分组来改善压缩性能。在下面描述的示例性实施方式中，假定帧内预测模式的数目为67，包括65种定向模式和2种非定向模式，如图4中所示。为了简便起见，对于结合mpm参照的帧内模式的模式编号(或原始索引)，如图1中所示采用支持35种帧内模式的标准hevc中使用的模式编号。然而，应该理解，帧内模式的数目、mpm的数目、非mpm的数目、组的数目以及mpm的类型或设置方法仅仅是示例性的，并且其各种组合在本发明的范围内是可能的。

下文中，将参照表1来描述本发明的第一实施方式。

[表1]

在该实施方式中，使用三个mpm。因此，64种帧内模式仍然是非mpm。在这种情况下，可以使用标准hevc中所使用的方法来确定属于mpm的帧内模式。例如，使用当前块周围的邻近块和/或在统计上最频繁使用的默认帧内模式来选择当前块的三个mpm。

当当前块的帧内模式与mpm中的一种相同时，视频编码设备用信号通知指示使用mpm对当前块进行编码的1比特mpm标志。另外，视频编码设备以显式地指示这三个mpm当中的帧内预测模式的方式执行信令。例如，根据一些实施方式，视频编码设备可以用信号通知识别mpm的索引。视频编码设备可以根据mpm的总数和确定mpm的顺序来分配用于识别各mpm的索引。例如，如果mpm的总数为3，则索引值“0”被指派给最先确定的当前块的左块l的帧内模式，并且索引值“1”被分派给接下来确定的当前块的上块a的帧内模式。索引值“2”被指派给最后确定的当前块的上左块al的帧内模式。视频编码设备可使用例如可变长度表或诸如截断一元(tu)这样的其它二值化方法来用信号通知用于识别mpm的索引。

视频编码设备和视频解码设备从多种帧内模式当中去除mpm，并生成剩余模式(即，非mpm)的列表。视频编码设备和视频解码设备将非mpm分成多个组，并且将组索引号指派给所述多个组。组的数目可以根据非mpm的数目而变化。在该实施方式中，在表1中示例性地示出了当组的数目被设置为4、8和16时所需的比特数目。另外，帧内模式不必被等分为多组(如表1中例示的)。可以在视频编码设备和视频解码设备之间就组的数目达成一致，并且另选地，可以用信号通知(例如，由视频编码设备用信号通知的以便供视频解码设备使用的)从多个可能的组数目当中选择的数目。

在一些实施方式中，在扫描残余块的变换系数时使用相同扫描顺序的帧内模式可以被归类为同一组。在标准hevc中，帧内模式#6至#14使用垂直扫描顺序，帧内模式#22至#30使用水平扫描顺序，而其它帧内模式使用对角线扫描顺序。考虑到这些扫描顺序，视频编码设备和视频解码设备可以执行分组，使得帧内模式被归类为具有相同扫描顺序的组。当然，使用相同扫描顺序的帧内模式不一定被归类为单个组，而是可以被归类为至少两个组。在一些其它实施方式中，可以根据帧内模式的模式编号以升序对非mpm的列表进行排序，并且按降序排序的帧内模式可以被分成多个组。在一些其它实施方式中，帧内模式可以按模式编号的整数倍进行分组。例如，在将模式分成两组时，具有奇数模式编号的模式可以被归类为第一组，而具有偶数编号的模式可以被分类为第二组。又如，在将模式分成四个组时，“模式#0、模式#4、模式#8、…”可以被归类为第一组，“模式#1、模式#5、模式#9、…”可以被归类为第二组，“模式#2、模式#6、模式#10、…”可以被归类为第三组，并且“模式#3、模式#7、模式#11、...”可以被归类为第四组。在一些其它实施方式中，视频编码设备可以具有按一些规则定义的分组，并且可以用信号通知(例如，由视频编码设备用信号通知以便供视频解码设备使用)这些规则。

如果当前块的帧内模式与mpm不同，则视频编码设备用信号通知指示未使用mpm对当前块进行编码的1比特mpm标志。另外，视频编码设备还用信号通知当前块的帧内模式所属的组的索引。

视频解码设备可以通过评估属于该组的帧内模式来确定最佳帧内模式。例如，在一些实施方式中，视频解码设备可以为属于该组的多种帧内模式生成当前块的重构块，并且评估重构块以确定最佳帧内模式。换句话说，视频解码设备可以针对每种帧内模式测量当前块的重构块的特定部分(例如，上部和最左上部)的像素的值与待解码的空间上邻近的块的重构像素的值之间的误差成本。视频解码设备可以选择误差成本最小的帧内模式作为待编码的当前块的最佳帧内模式。作为误差测量方法，可以使用绝对差之和(sad)、平方差之和(ssd)、均方误差(mse)等。

如表1中例示的，随着每组的模式的数目增加，指定当前块的帧内模式所属的组所需的比特的数目减少，而为了使视频解码设备评估属于该组的帧内模式而生成的预测块的数目增加。例如，当64个非mpm被分成四个组时，每组中包括16种帧内模式。需要用2比特来指定这四个非mpm组当中的当前块的帧内模式所属的组(的索引)，因此，视频编码设备可以使用总共3个比特(1比特的mpm标志+用于指定该组的2比特)用信号通知作为非mpm的当前块的帧内预测模式。视频解码设备需要生成16个预测块，以便评估属于该组的16种帧内模式。当64个非mpm被分成8个组时，每组中包括8种帧内模式。需要用3比特来指定这8个非mpm组当中的当前块的帧内模式所属的组(的索引)。因此，视频编码设备可以使用总共4比特(1比特的mpm标记+用于指定该组的3比特)用信号通知作为非mpm的当前块的帧内预测模式。可以在考虑到用信号通知作为非mpm的当前块的帧内预测模式所需的比特数目以及视频解码设备的计算复杂度的情况下适当地设置组的数目。在该实施方式中，固定长度(fl)方法被用作表示组索引的方法。然而，这仅仅是示例。显而易见，也可以使用诸如tu(截断一元)这样的其它二值化方法。

下文中，将参照表2来描述本发明的第二实施方式。

[表2]

在该实施方式中，使用三个mpm。因此，64种帧内模式仍然是非mpm。这里，可以使用标准hevc中所使用的方法来确定属于mpm的帧内模式。例如，使用当前块周围的邻近块和/或在统计上最频繁使用的默认帧内模式来选择当前块的三个mpm。

视频编码设备和视频解码设备可以将mpm分组为与非mpm的组区分开的组。当当前块的帧内模式与mpm中的一种相同时，视频编码设备用信号通知1比特mpm标志。也就是说，视频编码设备没有显式地用信号通知当前块的帧内模式，而是仅用信号通知指示使用mpm对当前块进行编码的1比特mpm标志。当基于mpm标志确定了当前块的帧内模式与mpm中的一种相同时，视频解码设备评估属于mpm的帧内模式，以确定最佳帧内模式。

用信号通知非mpm与和表1相关的第一实施方式相同。

下文中，将参照表3来描述本发明的第三实施方式。

[表3]

在该实施方式中，使用五个mpm。因此，62种帧内模式仍然是非mpm。在这种情况下，在统计上最频繁使用的模式(例如，平面模式、dc模式、垂直模式、水平模式、对角线模式(图1中的对角线模式34))可以被设置为mpm。

当当前块的帧内模式与mpm相同时，视频编码设备用信号通知指示使用mpm对当前块进行编码的1比特mpm标志。另外，视频编码设备以显式地指定这五个mpm当中的帧内预测模式的方式执行信令。

用信号通知非mpm与和表1相关的第一实施方式基本上相同。然而，可以不为所有组都指派相同数目的帧内模式。这是视频编码设备与视频解码设备之间的一致，并且没有引起任何问题。

下文中，将参照表4来描述本发明的第四实施方式。

[表4]

在该实施方式中，使用五个mpm。因此，62种帧内模式仍然是非mpm。在这种情况下，作为在统计上最频繁使用的模式的平面模式、dc模式、垂直模式、水平模式和对角线模式(图1中的对角线模式34)可以被设置为mpm。

视频编码设备和视频解码设备将这五个mpm归类为一组或两组。在一些实施方式中，mpm被归类为与非mpm的组区分开的一个组。当当前块的帧内模式与mpm相同时，视频编码设备用信号通知1比特mpm标志。也就是说，视频编码设备没有显式地用信号通知当前块的帧内模式，而是用信号通知指示使用mpm对当前块进行编码的1比特mpm标志。在基于mpm标志确定了当前块的帧内模式与mpm中的一种相同时，视频解码设备评估属于mpm的帧内模式，以确定最佳帧内模式。在一些其它实施方式中，mpm被分成两个组。当当前块的帧内模式与mpm相同时，视频编码设备用信号通知1比特mpm标志和当前块的帧内模式所属的组的索引。可以在视频编码设备和视频解码设备之间就mpm组的数目达成一致，并且可以用信号通知(例如，由视频编码设备用信号通知以便供视频解码设备使用)从多个可能的组数目当中选择的数目。

在一些实施方式中，在扫描残余块的变换系数时使用相同扫描顺序的mpm可以被归类为同一组。在一些其它实施方式中，视频编码设备和视频解码设备可以按确定mpm的顺序将mpm分成多个组。在一些其它实施方式中，可以根据帧内模式的模式编号以升序对非mpm的列表进行排序，并且按升序排序的帧内模式可以被分成多个组。在一些其它实施方式中，视频编码设备可以用信号通知分组方法。

下文中，将参照表5来描述本发明的第五实施方式。

[表5]

在该实施方式中，使用六个mpm。因此，61种帧内模式仍然是非mpm。在这种情况下，在确定属于mpm的帧内模式时，可以使用以上参照图5描述的方法。

用信号通知mpm和用信号通知非mpm与和表1相关的第一实施方式基本上相同。

下文中，将参照表6来描述本发明的第六实施方式。

[表6]

在该实施方式中，使用六个mpm。因此，61种帧内模式仍然是非mpm。在这种情况下，在确定属于mpm的帧内模式时，可以使用以上参照图5描述的方法。

用信号通知mpm和用信号通知非mpm与和表4相关的第四实施方式基本上相同。

下文中，将参照表7来描述本发明的第七实施方式。

[表7]

在该实施方式中，使用七个mpm。因此，60种帧内模式仍然是非mpm。在这种情况下，mpm可以被设置为在统计上最频繁使用的平面模式、dc模式、垂直模式、水平模式和三种对角线模式(图1中的定向模式2、18和34)。

用信号通知mpm和用信号通知非mpm与和表1相关的第一实施方式中的基本上相同。

下文中，将参照表8来描述本发明的第八实施方式。

[表8]

用信号通知mpm和用信号通知非mpm与和表4相关的第四实施方式基本上相同。

下文中，将参照表9来描述本发明的第九实施方式。

[表9]

用信号通知mpm与和表8相关的第八实施方式中的基本上相同。然而，下面描述的用信号通知非mpm与先前的实施方式不同。

视频编码设备和视频解码设备将60个非mpm当中的四个在统计上频繁使用的定向模式(例如，图1中的定向模式6、14、22和30，即，接下来最可能模式)和其它(56种)帧内模式归类为不同的组。视频编码设备用信号通知指示当前块的帧内模式属于这两个组之中的哪一个组的1比特标志值。

当当前块的帧内模式在接下来最可能模式所属的组中时，视频编码设备还用信号通知2比特，以指定这四种帧内模式中的哪一种被用于当前块。

当当前块的帧内模式不在接下来最可能模式所属的组中时，视频编码设备将其它56种帧内模式分成多个组，然后用信号通知对应组的索引。这里，可以根据其它帧内模式的数目来改变组的数目。在该实施方式中，组的数目被设置为8，并且还用信号通知3比特以指定组。

下文中，将参照表10来描述本发明的第十实施方式。

[表10]

在该实施方式中，使用七个mpm。因此，60种帧内模式仍然是非mpm。在这种情况下，mpm可以被设置为作为在统计上最频繁使用的平面模式、dc模式、垂直模式、水平模式和三种对角线模式(图1中的定向模式2、18和34)。

用信号通知mpm与和表8相关的第八实施方式基本上相同。然而，下面描述的用信号通知非mpm与先前的实施方式不同。

视频编码设备和视频解码设备将这60个非mpm当中的四个最频繁使用的定向模式(例如，图1中的定向模式6、14、22和30，即，接下来最可能模式)和其它帧内模式归类为不同的组。视频编码设备用信号通知指示当前块的帧内模式属于这两个组之中的哪一个组的1比特标志值。

与和表9相关的第九实施方式相比，当当前块的帧内模式在接下来最可能模式所属的组中时，视频编码设备没有显式地用信息通知这四种帧内模式中的哪一种被用于当前块。在这种情况下，视频解码设备可以通过评估属于该组的四种(接下来最可能)定向模式来确定最佳帧内模式。

当当前块的帧内模式不在接下来最可能模式所属的组中时，视频编码设备将其它56种帧内模式分成多个组，然后用信号通知对应组的索引。这里，可以根据其它帧内模式的数目来改变组的数目。如表10中所示，在该实施方式中，组的数目被设置为8。

对于色度，除了平面模式、垂直模式、水平模式和dc模式之外，帧内预测模式还可以包括两种特殊模式，即直接模式(intra_dm)和线性模式(intra_lm)。在这些模式当中，频繁使用的模式可以被用标志定义或用截断一元表示的最小数字表示，并且其它模式可以如以上示例中一样被分组。例如，当最频繁使用的是直接模式时，可以根据截断一元方案用信号通知或用一个数字表示指示模式是否被用作开(on)/关(off)的标志。

如上所述，在参照表1至表10描述的各个实施方式中，视频编码设备可以用信号通知预测当前块的帧内模式所属的组的索引，而不是用信号通知mpm列表和/或非mpm列表中的与预测当前块的帧内模式对应的模式的索引。在这种情况下，视频解码设备可以通过评估属于该组的帧内模式来确定最佳帧内模式(即，用于预测当前块的帧内模式)。例如，在一些实施方式中，视频解码设备可以根据属于该组的多种帧内模式中的每一种生成相应的重构块，并且评估重构块以确定最佳帧内模式。

与显式地指定许多种帧内模式当中的一种模式的传统信令方法相比，通过指定多个组当中的一个组来减小开销。结果，压缩效率提高。与显式地指定当前块的帧内模式的传统方法相比，视频解码设备的计算量增加。然而，鉴于视频解码设备的系统性能不断提高的趋势，视频解码设备可以实时地评估几种帧内模式。

为了针对多种帧内模式中的每一种生成重构块，视频解码设备需要针对属于一组的多个帧内模式生成各自的预测块，并且用比特流信息生成残余块。

基于根据所应用的帧内模式确定的扫描顺序来生成当前块的残余块的变换系数。例如，在有35种帧内模式可用的标准hevc中，帧内模式#6至#14遵循垂直扫描顺序，帧内模式#22至#30遵循水平扫描顺序，而其它模式遵循对角线扫描顺序。根据本发明，视频解码设备选择当前块的帧内模式，因此，在选择最终帧内模式之前，无法知道残余块的变换系数的扫描顺序。为了解决该问题，可以以每个组仅包括在扫描残余块的变换系数时使用相同扫描顺序的帧内模式的方式执行帧内模式分组。当mpm被分组时，使用相同扫描顺序的帧内模式可以被归类为一个组，或者共同应用于帧内模式的组中的最大数目的帧内模式的扫描顺序可以被选定为该组的代表性扫描顺序。另选地，可以使用一种特定的扫描顺序(例如，对角线扫描顺序)。

图7是例示按照本发明的以上示例中的一个或更多个的对视频数据进行编码的示例性方法的流程图。在图7的示例性方法中，视频编码设备确定预测视频数据的当前块的帧内模式。帧内模式可以是指许多空间压缩模式中的任一种。

视频编码设备确定用于预测视频数据的当前块的mpm并且生成mpm的列表(s710)。例如，可以识别先前编码的邻近块的帧内预测模式，并且在生成当前块的mpm列表时考虑这些帧内预测模式。另选地，可以基于与预测当前块的帧内模式一致的可能性相关的统计来预先确定mpm。

视频编码设备确定当前块的帧内模式是否与mpm列表中的任一种模式一致(s720)。

当mpm中的任一种与预测当前块的帧内模式不同时，视频编码设备对指示用于预测当前块的帧内模式不是mpm的1比特mpm标志进行编码(s730)。

视频编码设备去除帧内模式(例如，hevc中的35种帧内模式)当中的mpm，以生成非mpm的列表。另外，视频编码设备将非mpm的列表中的帧内模式分组成多个组(s740)。在一些实施方式中，在扫描残余块的变换系数时使用相同扫描顺序的帧内模式可以被归类为同一组。在一些其它实施方式中，可以根据帧内模式的模式编号以升序对非mpm的列表进行排序，并且按升序排序的帧内模式可以被分成多个组。在一些其它实施方式中，帧内模式可以按模式数目的整数倍进行分组。在一些其它实施方式中，视频编码设备可以具有按一些规则定义的分组，并且可以用信号通知(例如，由视频编码设备用信号通知以便供视频解码设备使用)所述规则。

视频编码设备分配用于识别非mpm的列表中的每个组的组索引(s750)。视频编码设备对指示当前块的帧内模式在非mpm的列表中所属的组的索引的数据进行编码(s760)。

当mpm中的一种与预测当前块的帧内模式相同时，视频编码设备对指示用于预测当前块的帧内模式是mpm的1比特mpm标志进行编码(s731)。在一些实施方式中，视频编码设备可以对1比特mpm标志进行编码，然后对指示mpm的列表中的与当前块的帧内模式相同的mpm的索引的数据进行编码。例如，视频编码设备可以根据确定mpm的顺序来分配用于识别每个mpm的索引。在一些其它实施方式中，视频编码设备可以仅仅对1比特mpm标志进行解码，而没有对指示mpm列表中的与当前块的帧内模式相同的mpm的索引的数据进行编码。

图8是例示按照本发明的以上示例中的一个或更多个的对视频数据进行编码的另一示例性方法的流程图。

在图8的示例性方法中，s810、s820、s830、s840、s850和s860分别与图7的s710、s720、s730、s740、s750和s760相同。在图8的示例性方法中，当mpm中的一种与预测当前块的帧内模式相同时，视频编码设备对指示用于预测当前块的帧内模式是mpm的1比特mpm标志进行编码(s831)。

视频编码设备将mpm的列表中的帧内模式分组成多个组。在一些实施方式中，在扫描残余块的变换系数时使用相同扫描顺序的帧内模式可以被归类为同一组。在一些其它实施方式中，视频编码设备可以根据确定mpm的顺序对相应的mpm进行分组。在一些其它实施方式中，视频编码设备可以根据帧内模式的模式编号按升序对mpm的列表进行排序，并且将按升序排序的帧内模式分成多个组。在一些其它实施方式中，可以按一些规则定义分组，并且可以用信号通知(例如，由视频编码设备用信号通知以便供视频解码设备使用)所述规则。

视频编码设备分配用于识别mpm的列表中的每个组的组索引(s851)。视频编码设备对指示当前块的帧内模式在mpm的列表中所属的组的索引的数据进行编码(s861)。然而，当组的数目是1时，不对指示组的索引的数据进行编码。

图9是例示按照本发明的以上示例中的一个或更多个的对视频数据进行解码的示例性方法的流程图。在图9的示例性方法中，视频解码设备确定当前块的mpm并且生成mpm的列表(s910)。例如，视频解码设备可以生成mpm的列表并且将索引值分配给该列表中的各个mpm。例如，视频解码设备可以根据确定mpm的顺序来分配用于识别每个mpm的索引。

视频解码设备对指示用于预测当前块的帧内模式是否是mpm的mpm标志进行解码(s920)。

当mpm标志的值指示用于预测当前块的帧内模式不是mpm(图9中的mpm标志＝1)时，如在视频编码设备的情况下一样，视频解码设备去除帧内模式当中的mpm以生成非mpm的列表，并且将非mpm的列表中的帧内模式分组成多个组(s930)。另外，视频解码设备可以分配用于识别非mpm的列表中的每个组的组索引。

视频解码设备从经编码的比特流中对指示当前块的帧内模式在非mpm的列表中所属的组的索引的数据进行解码(s940)。

视频解码设备使用经解码的组的索引来识别非mpm的列表中的属于与经解码的组的索引对应的组的帧内模式(s950)。

视频解码设备评估所识别的当前块的帧内模式，并且确定预测当前块的帧内模式(s960)。例如，在一些实施方式中，视频解码设备可以生成重构块并且针对属于一组的多种帧内模式评估重构块，以确定最佳帧内模式。

当mpm标志的值指示用于预测当前块的帧内模式是mpm(图9中的mpm标志＝0)时，视频解码设备从经编码的比特流中对指示mpm的列表中的与当前块的帧内模式相同的mpm的索引的数据进行解码(s931)。视频解码设备使用与当前块的帧内模式相同的mpm的索引来识别mpm的列表中的用于预测当前块的帧内模式(s941)。视频解码设备可以以所识别的当前块的帧内模式对当前块进行解码。

图10是例示按照本发明的以上示例中的一个或更多个的对视频数据进行解码的另一示例性方法的流程图。

在图10的示例性方法中，s1010、s1020、s1030、s1040、s1050和s1060分别与图9的s910、s920、s930、s940、s950和s960相同。在图10的示例性方法中，当mpm标志的值指示用于预测当前块的帧内模式是mpm(图9中的mpm标志＝0)时，如在视频编码设备的情况下一样，视频解码设备将mpm的列表中的帧内模式分组成多个组(s1031)。视频解码设备可以分配用于识别mpm的列表中的每个组的组索引。

视频解码设备从经编码的比特流中对指示当前块的帧内模式在mpm的列表中所属的组的索引的数据进行解码(s1041)。然而，当组的数目为1时，视频解码设备可以不对指示组的索引的数据进行解码，而是可以自动地将其值设置为0。

视频解码设备使用经解码的组的索引来识别mpm的列表中的属于与经解码的组的索引对应的组的帧内模式(s1051)。

视频解码设备评估所识别的当前块的帧内模式，并且确定预测当前块的帧内模式(s1061)。例如，在一些实施方式中，视频解码设备可以生成重构块并且针对属于一组的多种帧内模式评估重构块，以确定最佳帧内模式。

图11是例示用于在帧内预测编码时生成预测块的参考样本的图。

在上述实施方式中，对于用于预测当前块的参考样本，可以使用如图11的(b)中所示的与待编码的块1101紧邻的一行的重构像素值，或者可以使用如图11的(b)中所示的多行中的信息。

可以考虑使用多个行生成参考样本的三种方法。第一种方法是从n个预定行当中选择一个最佳行，使用所选择的行来生成参考样本的值，并且用信号通知关于这一行的位置信息。第二种方法是使用n个行的信息来生成参考样本的值。在这种情况下，不需要单独的信令信息。第三种方法是使用n个行中的m(m<n)行的信息来生成参考样本，并且需要用信号通知m行的信息。

当使用多个(n或m)行来生成参考样本时，可以简单地使用平均值来生成参考样本，或者可以通过向与待编码的块1102相邻的行指派更高的权重而估计平均值来生成参考样本。在这种情况下，这些操作应该由视频编码设备和视频解码设备以相同的方式执行。

虽然已经出于例示目的描述了示例性实施方式，但是本领域技术人员应该领会的是，能够在不脱离所述实施方式的构思和范围的情况下进行各种修改和改变。为了简明扼要，已经描述了示例性实施方式。因此，普通技术人员将理解，所述实施方式的范围不由以上明确描述的实施方式限制，而是包括在权利要求及其等同物中。