调色板预测值生成和信号通知的制作方法

本公开内容一般涉及视频编码，特别地涉及用于基于像素值的调色板在帧内预测模式下生成视频块的调色板预测块并用信号通知视频块的调色板预测块的方法和系统。

背景技术：

1、本文提供的该背景描述是出于总体上呈现本公开内容的上下文的目的。就本背景技术部分中描述的工作的程度而言，目前署名的发明人的工作以及在提交该申请时可以不被另外限定为现有技术的描述的各方面既没有明确地也没有隐式地被承认为本公开内容的现有技术。

2、可以使用带运动补偿的帧间图片预测执行视频编码和视频解码。未压缩的数字视频可以包括一系列图片，其中每个图片具有例如1920×1080个亮度样本和相关联的全色度样本或子取样色度样本的空间维度。一系列图片可以具有固定或可变的图片速率(替选地被称为帧率)，例如每秒60幅图片或每秒60帧。未压缩的视频对于流式传输或数据处理有特定的位率要求。例如，像素分辨率为1920×1080、帧率为60帧/秒以及在每颜色通道每像素8位下色度子取样为4:2:0的视频需要接近1.5gbit/s的带宽。一小时这样的视频需要超过600gb的存储空间。

3、视频编码和视频解码的一个目的可以是通过压缩减少未压缩的输入视频信号中的冗余。在一些情况下，压缩可以帮助将上述带宽和/或存储空间需求降低两个数量级或更多。可以采用无损压缩和有损压缩二者以及它们的组合。无损压缩是指可以从压缩的原始信号中经由解码过程重建原始信号的精确副本的技术。有损压缩是指其中原始视频信息在编码期间没有被完全保留并且在解码期间也不能被完全恢复的编码/解码过程。当使用有损压缩时，重建信号可能与原始信号不相同，但是原始信号与重建信号之间的失真足够小，以使得尽管有一些信息损失，重建信号对预期的应用也是有用的。在视频的情况下，在许多应用中广泛采用有损压缩。容许的失真量取决于应用。例如，某些消费者视频流式传输应用的用户可以比电影或电视广播应用的用户容忍更高的失真。可以选择或调整能够由特定编码算法实现的压缩比以反映各种失真容限：较高的可容忍失真通常允许产生较高的损失和较高的压缩比的编码算法。

4、视频编码器和视频解码器可以利用来自几种广泛类别和步骤的技术，包括例如运动补偿、傅里叶变换、量化和熵编码。

5、视频编解码器技术可以包括被称为帧内编码的技术。在帧内编码中，在不参考来自先前重建的参考图片的样本或其他数据的情况下表示样本值。在一些视频编解码器中，图片在空间上被细分成样本块。当在帧内模式下对所有样本块进行编码时，该图片可以被称为帧内图片。帧内图片及其派生(例如，独立解码器刷新图片)可以用于重置解码器状态，并且因此可以用作编码视频码流和视频会话中的第一图片或用作静止图像。然后，可以使帧内预测之后的块的样本经受到频域的变换，并且可以在熵编码之前对所生成的变换系数进行量化。帧内预测表示使样本值在预变换域中最小化的技术。在一些情况下，变换后的dc值越小，并且ac系数越小，在给定量化步长下表示熵编码之后的块所需的位就越少。

6、诸如从例如mpeg-2代编码技术中已知的那些帧内编码的传统的帧内编码不使用帧内预测。然而，一些较新的视频压缩技术包括试图基于例如在编码和/或解码期间获得的在空间上邻近并且在解码顺序上先于正被帧内编码或解码的数据块的元数据和/或周围样本数据来对块进行编码/解码的技术。这样的技术此后被称为“帧内预测”技术。注意，在至少一些情况下，帧内预测仅使用来自正在重建的当前图片的参考数据，而不使用来自其他参考图片的参考数据。

7、可以存在多种不同形式的帧内预测。当在给定的视频编码技术中可以使用多于一种的这样的技术时，使用的技术可以被称为帧内预测模式。可以在特定编解码器中提供一种或更多种帧内预测模式。在某些情况下，模式可以具有子模式以及/或者可以与各种参数相关联，并且视频块的模式/子模式信息以及帧内编码参数可以被单独编码或者被集体包括在模式码字中。针对给定模式、子模式和/或参数组合要使用哪种码字可以通过帧内预测对编码效率增益产生影响，并且因此可以对用于将码字转换成码流的熵编码技术产生影响。

8、帧内预测的某些模式由h.264引入，在h.265中被细化，并且在诸如联合探索模型(joint explorationmodel，jem)、通用视频编码(versatile video coding，vvc)和基准集(benchmarkset，bms)的较新编码技术中被进一步细化。通常，对于帧内预测，可以使用已经变得可用的邻近样本值来形成预测值块(predictor block)。例如，可以将沿着特定方向和/或线的邻近样本的特定集合的可用值复制到预测值块中。对使用的方向的参考可以被编码在码流中，或者其本身可以被预测。

9、参照图1a，在右下方描绘的是在h.265的33个可能的帧内预测值方向(对应于h.265中指定的35个帧内模式中的33个角度模式)中指定的9个预测值方向的子集。箭头会聚的点(101)表示正被预测的样本。箭头表示邻近样本被用于预测101处的样本的方向。例如，箭头(102)指示从右上方的与水平方向成45度角的邻近的一个或多个样本对样本(101)进行预测。类似地，箭头(103)指示从样本(101)的左下方的与水平方向成22.5度角的邻近的一个或多个样本对样本(101)进行预测。

10、仍然参照图1a，在左上方描绘的是4×4个样本的正方形块(104)(由虚粗体线指示)。正方形块(104)包括16个样本，每个样本由“s”、其在y维度上的位置(例如，行索引)和其在x维度上的位置(例如，列索引)来标记。例如，样本s21是y维度上(从顶部起)的第二个样本和x维度上(从左侧起)的第一个样本。类似地，样本s44是块(104)中在y维度和x维度二者上的第四个样本。由于块的大小是4×4个样本，所以s44在右下方。进一步示出了遵循类似的编号方案的示例参考样本。参考样本由r、其相对于块(104)的y位置(例如，行索引)和x位置(列索引)来标记。在h.264和h.265二者中，使用与重建中的块相邻地邻近的预测样本。

11、块104的帧内图片预测可以通过根据用信号通知的预测方向从邻近的样本复制参考样本值开始。例如，假设编码视频码流包括以下信令，对于该块104，该信令指示箭头(102)的预测方向——也就是，根据右上方的与水平方向成45度角的一个或多个预测样本来对样本进行预测。在这样的情况下，根据相同的参考样本r05对样本s41、s32、s23和s14进行预测。然后，根据参考样本r08对样本s44进行预测。

12、在某些情况下，多个参考样本的值可以例如通过插值来组合，以便计算参考样本；尤其是当方向不能被45度整除时。

13、随着视频编码技术的不断发展，可能的方向的数目也在增加。例如，在h.264(2003年)中，九个不同的方向可用于帧内预测。这在h.265(2013年)中增加到33个，并且在公开时jem/vvc/bms可以支持多达65个方向。已经进行了实验研究来帮助识别最合适的帧内预测方向，并且熵编码中的某些技术可以用于以小的位数对那些最合适的方向进行编码，从而接受用于方向的特定位惩罚。此外，有时可以根据在已解码的邻近块的帧内预测中使用的邻近方向来预测方向本身。

14、图1b示出了根据jem描绘65个帧内预测方向的示意图(180)，以示出随着时间的推移开发的各种编码技术中不断增加的预测方向的数目。

15、用于将表示帧内预测方向的位映射到编码视频码流中的预测方向的方式可以随着视频编码技术的不同而不同；并且该映射方式的范围例如可以从预测方向到帧内预测模式到码字的简单直接映射变化到复杂自适应方案，复杂自适应方案涉及最可能模式和类似技术。然而，在所有情况下，可能存在与某些其他方向相比在统计上更不可能出现在视频内容中的某些帧内预测方向。由于视频压缩的目标是减少冗余，因此在设计良好的视频编码技术中，那些较不可能的方向与更可能的方向相比可以通过更大的位数来表示。

16、帧间图片预测或帧间预测可以基于运动补偿。在运动补偿中，来自先前重建的图片或其一部分(参考图片)的样本数据——在沿由运动矢量(此后被称为mv)指示的方向进行空间移位之后——可以用于预测新重建的图片或图片部分(例如，块)。在一些情况下，参考图片可以与当前重建中的图片相同。mv可以具有两个维度x和y或者三个维度，其中第三维度是对使用中的参考图片的指示(类似于时间维度)。

17、在一些视频压缩技术中，可以根据其他mv例如根据以下其他mv预测适用于样本数据的特定区域的当前mv，这些其他mv与样本数据的在空间上相邻于重建中的区域的其他区域有关并且在解码顺序上先于该当前mv。这样做可以通过依赖于移除关联的mv中的冗余而显著减少对mv进行编码所需的总的数据量，从而提高压缩效率。mv预测可以有效地发挥作用，例如，这是因为在对从摄像装置导出的输入视频信号(被称为自然视频)进行编码时，存在如下统计上的可能性，即在视频序列中比单个mv所适用的区域大的区域在相似的方向上移动，并且因此在一些情况下可以使用从邻近区域的mv导出的相似运动矢量来进行预测。这导致针对给定区域的实际mv与从周围的mv预测的mv相似或相同。这样的mv又可以在熵编码之后以小于直接对mv进行编码而不是从邻近mv对mv进行预测的情况下使用的位数来表示。在一些情况下，mv预测可以是对从原始信号(即样本流)导出的信号(即mv)进行无损压缩的示例。在其他情况下，例如由于从几个周围mv计算预测值时的舍入误差，mv预测本身可以是有损的。

18、在h.265/hevc(itu-t h.265建议书，“highefficiency video coding(高效视频编解码)”，2016年12月)中描述了各种mv预测机制。在h.265指定的多种mv预测机制中，以下描述的是此后被称为“空间合并”的技术。

19、具体地，参照图2，当前块(201)包括在运动搜索过程期间已被编码器发现、根据已产生空间移位的相同大小的先前块可预测所述样本。代替对该mv进行直接编码，可以使用与被表示为a0、a1和b0、b1、b2(分别对应202到206)的五个周围样本中的任一样本相关联的mv，根据与一个或更多个参考图片相关联的元数据，例如根据(按解码顺序)最近的参考图片导出所述mv。在h.265中，mv预测可以使用邻近块也正在使用的相同参考图片的预测值。

技术实现思路

1、本公开内容一般涉及视频编码，特别地涉及用于基于像素值的调色板在帧内预测模式下生成视频块的调色板预测块并用信号通知视频块的调色板预测块的方法和系统。

2、在示例实现方式中，公开了一种用于生成视频流中的当前视频块的帧内预测值块的方法。可以以调色板模式对当前视频块被帧内编码。该方法可以包括：根据视频流确定当前视频块基于与至少一个邻近视频块相对应的至少一个参考调色板被编码；在执行至少一个参考调色板的任何合并之前，确定与当前视频块相关联的当前调色板的继承部分的大小cachen，cachen是整数；基于cachen和至少一个参考调色板导出当前调色板的继承部分；从视频流中提取到用于当前视频块的元素的当前调色板中的调色板索引；以及至少基于调色板索引和当前调色板来生成当前视频块的预测值块。

3、在上述实现方式中，确定cachen可以包括基于与至少一个参考调色板相对应的至少一个调色板大小来确定当前调色板的继承部分的大小。

4、在上述任何一种实现方式中，确定cachen可以包括：确定当前视频块的第一邻近视频块的第一调色板大小；确定当前视频块的第二邻近视频块的第二调色板大小；以及基于第一调色板大小和第二调色板大小来确定cachen。

5、在上述任何一种实现方式中，第一邻近视频块和第二邻近视频块可以分别包括当前视频块的紧邻上方的视频块和紧邻左侧的视频块。基于第一调色板大小和第二调色板大小确定cachen可以包括将当前调色板的继承部分的大小确定为：第一调色板大小与第二调色板大小中的较大者增加n；或者第一调色板大小与第二调色板大小中的较小者增加n；或者预确定的最大继承调色板大小与第一调色板大小和第二调色板大小中的较大者增加n中的较小者；或者预确定的最大继承调色板大小与第一调色板大小和第二调色板大小中的较小者增加n中的较小者。符号n表示预确定的调色板大小增量，n是0至8之间以及包括0和8的整数。

6、在上述任何一种实现方式中，确定cachen可以包括独立于至少一个参考调色板为当前调色板的继承部分指定调色板大小，调色板大小是0至8之间以及包括0和8的整数。

7、在上述任何一种实现方式中，可以在视频流中以语法元素预确定或用信号通知调色板大小。

8、在上述任何一种实现方式中，语法元素可以包括与当前视频块相关联的视频参数集、序列参数集、图片参数集、自适应参数集、帧报头、切片报头、图片报头、图块报头或编码树单元报头中的一个分量。

9、在上述任何一种实现方式中，可以从当前视频块或至少一个邻近视频块的编码信息项导出cachen。

10、在上述任何一种实现方式中，编码信息项可以包括与当前视频块或至少一个邻近视频块相关联的块大小或预测模式中的至少一者。

11、在上述任何一种实现方式中，cachen可以被导出为与至少一个邻近视频块相关联的至少一个参考调色板中的重复调色板条目的数目。

12、在上述任何一种实现方式中，至少一个邻近视频块可以包括m个邻近视频块，并且m个邻近视频块中的至少k个邻近视频块的公共调色板条目的数目i被确定为cachen；m是等于或大于2的整数，并且k是等于或小于m的整数。

13、在上述任何一种实现方式中，可以从当前视频块的三个或更多个邻近视频块中选择与至少一个参考调色板相对应的至少一个邻近视频块。

14、在上述任何一种实现方式中，三个或更多个邻近视频块可以包括与当前视频块不相邻的至少一个块。

15、在上述任何一种实现方式中，可以通过以预定义扫描顺序扫描三个或更多个邻近视频块来从三个或更多个邻近视频块中选择至少一个邻近视频块以确定以调色板模式进行帧内编码的第一邻近视频块集；并且可以使用第一邻近视频块集的高速缓存调色板的集合来确定或导出至少一个参考调色板。

16、在上述任何一种实现方式中，该方法还可以包括将至少一个参考调色板合并到独特(unique)调色板条目数为s的高速缓存调色板。

17、在上述任何一种实现方式中，当s>cachen时，该方法还可以包括以下之一：按照预确定扫描顺序从高速缓存调色板中选择前cachen个调色板条目，以生成调色板条目数为cachen的当前调色板的继承部分；按照预确定扫描顺序从高速缓存调色板中选择最后高速缓存cachen个调色板条目，以生成调色板条目数为cachen的当前调色板的继承部分；按照预确定扫描顺序从至少一个参考调色板中选择重复的调色板条目，并且如果需要，从高速缓存调色板中另外选择前几个非重复的调色板条目，以生成调色板条目数为cachen的当前调色板的继承部分；或者按照预确定扫描顺序从至少一个参考调色板中选择重复的调色板条目，并且如果需要，从高速缓存调色板中另外选择最后几个非重复的调色板条目，以生成调色板条目数为cachen的当前调色板的继承部分。

18、在上述任何一种实现方式中，当s<(cachen)时，该方法还可以包括：使用高速缓存调色板填充当前调色板的继承部分的前s个调色板条目；根据高速缓存调色板确定(cachen-s)个目标调色板条目；使(cachen-s)个目标调色板条目中的每一者偏移以生成经修改的目标调色板条目；以及将经修改的目标调色板条目包括到当前调色板的继承部分的最后(cachen-s)个条目中。

19、在上述任何一种实现方式中，当s<cachen时，该方法还可以包括：使用高速缓存调色板填充当前调色板的继承部分的前s个调色板条目；以及用来自调色板条目列表的前(cachen-s)个调色板条目填充当前调色板的继承部分的最后(cachen-s)个调色板条目。

20、在上述任何一种实现方式中，可以在视频流中以序列参数集、图片参数集、自适应参数集、帧报头、切片报头、图片报头、图块报头或编码树单元报头中的一者来用信号通知调色板条目列表。

21、本公开内容的各方面还提供了一种视频编码或解码装置或设备，包括被配置成执行上述方法实现中的任何方法实现的电路系统。

22、本公开内容的各方面还提供了存储指令的非暂态计算机可读介质，指令当由计算机执行以进行视频解码和/或编码时使计算机执行用于视频解码和/或编码的方法。