图像解码设备和方法、图像编码设备和方法以及存储介质与流程

本发明通常涉及数字视频信号处理，尤其涉及用于对视频样本的变换块进行编码和解码的方法、设备和系统。本发明还涉及包括记录有用于对视频样本的变换块进行编码和解码的计算机程序的计算机可读介质的计算机程序产品。

背景技术：

1、当前存在包括用于传输和存储视频数据的应用的许多视频编码用的应用。还开发了许多视频编码标准并且其它视频编码标准当前正在开发中。视频编码标准化的最新进展已导致形成被称为“联合视频专家组”(jvet)的组。该联合视频专家组(jvet)包括：还已知为“视频编码专家组”(vceg)的国际电信联盟(itu)的电信标准化部门(itu-t)的研究组16、问题6(sg16/q6)的成员；以及还已知为“运动图片专家组”(mpeg)的国际标准化组织/国际电工委员会联合技术委员会1/小组委员会29/工作组11(iso/iec jtc1/sc29/wg11)的成员。

2、联合视频专家组(jvet)发布了提案征集(cfp)，并在美国圣地亚哥市举行的第10次会议上对答复进行了分析。所提交的答复表明，视频压缩能力明显优于当前最先进的视频压缩标准(即，“高效率视频编码”(hevc))的视频压缩能力。基于该优异表现，决定开始用以开发命名为“通用视频编码”(vvc)的新视频压缩标准的项目。预计vvc将特别是随着视频格式的能力的增加(例如，具有更高的分辨率和更高的帧频)解决针对甚至更高的压缩性能的持续需求、以及解决针对通过wan的服务提供(其中，带宽成本相对较高)的日益增长的市场需求。同时，vvc必须可在当代硅工艺中实现，并且在所实现的性能与实现成本之间(例如，在硅面积、cpu处理器负荷、内存利用率和带宽方面)提供可接受的折衷。

3、视频数据包括各自包括一个或多个颜色通道的图像数据的帧序列。通常，需要一个主要颜色通道和两个次要颜色通道。主要颜色通道通常被称为“亮度”通道，并且(一个或多个)次要颜色通道通常被称为“色度”通道。尽管视频数据通常在rgb(红-绿-蓝)颜色空间中显示，但该颜色空间在三个相应分量之间具有高度相关性。编码器或解码器所看到的视频数据表示通常使用诸如ycbcr等的颜色空间。ycbcr将发光度(根据变换方程映射到“亮度”)集中在y(主要)通道中，并且将色度集中在cb和cr(次要)通道中。此外，可以以与亮度通道相比更低的速率(例如，在水平方向上为一半且在垂直方向上为一半(被称为“4:2:0色度格式”))对cb和cr通道进行空间采样。

4、vvc标准是一种“基于块”的编解码器，其中，帧首先被分割成称为“编码树单位”(ctu)的正方形区域阵列。ctu通常占据相对大的区域，诸如128×128个亮度样本等。然而，各帧的右和底边缘的ctu的区域可能较小。与各ctu相关联的是“编码树”，其定义了将ctu的区域分解为一组区域，也称为“编码单位”(cu)。按特定顺序处理cu以进行编码或解码。由于编码树和4:2:0色度格式的使用，帧中的给定区域与跨颜色通道的同位置块的集合相关联。亮度块的尺寸为宽度×高度，而对于各色度块，色度块的尺寸为宽度/2×高度/2。给定区域的同位置块的集合通常称为“单位”，例如上述cu以及“预测单位”(pu)和“转换单位”(tu)。

5、尽管针对相同区域，色度块与亮度块的尺寸不同，但是给定“单位”的大小通常就单位的亮度块的尺寸而言来描述。各个块通常由与这些块相关联的单位的类型来识别。例如，“编码块”(cb)，“变换块”(tb)和预测块(pb)是针对一个颜色通道的块并且分别与cu、tu和pu相关联。尽管在“单位”和“块”之间有上述区别，但是术语“块”可以用作针对将操作应用于所有颜色通道的帧的区域(area)或区(region)的通用术语。

6、对于各cu，生成帧数据的相应区域的内容(样本值)的预测(pu)(“预测单位”)。此外，形成了在编码器的输入处看到的预测与区域内容之间的差(或在空间域中的“残差”)的表示。各颜色通道的差可以被变换编码为残差系数的序列，从而形成给定cu的一个或多个tu。所应用的变换可以是应用于残差值的各个块的离散余弦变换(dct)或其它变换。该主要变换是分开应用的，即分两遍进行二维变换。首先通过对块中的各行样本应用一维变换来对块进行变换。然后，通过对部分结果的各列应用一维变换来对部分结果进行变换，以产生基本上对残差样本进行去相关的变换系数的最终块。vvc标准支持各种大小的变换，包括矩形块(各边尺寸为2的幂次方)的变换。量化变换系数以用于将熵编码在位流中。

7、vvc标准的实现通常使用流水线将处理分割成阶段序列。各个阶段同步地操作，并且在输出完全处理(即，编码或解码)的块之前，将部分处理的块从一个阶段传递到下一阶段。需要在流水线架构的上下文中有效处理变换后的块，以避免vvc标准的实施成本过高。在存储器消耗方面和在处理“最坏情况”所需的功能模块方面这两者，就流水线阶段完成所需的速度和各阶段处理的数据的大小这两者而言，都需要过高的实施成本。

技术实现思路

1、本发明的目的是基本上克服或至少改善现有布置的一个或多个缺点。

2、根据本发明的一个方面，提供一种从位流中解码图像帧中的编码单位的方法，所述方法包括：

3、从所述位流确定所述编码单位的大小；

4、将所述图像帧分割成多个大小相等的处理区域，各个大小相等的处理区域是在对所述位流进行解码的流水线的单个阶段期间被处理的块；

5、在所述编码单位与所确定的处理区域之间的边界重叠的情况下，从多个变换大小中选择用于所述编码单位的变换大小，该变换大小被选择以适配在所述编码单位内并且大小与所述处理区域不同；以及

6、通过对所述编码单位中的各个变换单位的残差系数应用逆变换来对所述编码单位进行解码，所述变换单位中的各个变换单位具有所选择的变换大小。

7、根据本发明的另一方面，提供一种非暂时性计算机可读介质，其上存储有计算机程序，以实现从位流中解码图像帧中的编码单位的方法，所述程序包括：

8、用于从所述位流确定所述编码单位的大小的代码；

9、用于将所述图像帧分割成多个大小相等的处理区域的代码，各个大小相等的处理区域是在对所述位流进行解码的流水线的单个阶段期间被处理的块；

10、用于在所述编码单位与所确定的处理区域之间的边界重叠的情况下、从多个变换大小中选择用于所述编码单位的变换大小的代码，该变换大小被选择以适配在所述编码单位内并且大小与所述处理区域不同；以及

11、用于通过对所述编码单位中的各个变换单位的残差系数应用逆变换来对所述编码单位进行解码的代码，所述变换单位中的各个变换单位具有所选择的变换大小。

12、根据本发明的又一方面，提供一种系统，包括：

13、存储器；以及

14、处理器，其中，所述处理器被配置为执行所述存储器上所存储的代码，以实现从位流中解码图像帧中的编码单位的方法，所述方法包括：

15、从所述位流确定所述编码单位的大小；

16、将所述图像帧分割成多个大小相等的处理区域，各个大小相等的处理区域是在对所述位流进行解码的流水线的单个阶段期间被处理的块；

17、在所述编码单位与所确定的处理区域之间的边界重叠的情况下，从多个变换大小中选择用于所述编码单位的变换大小，该变换大小被选择以适配在所述编码单位内并且大小与所述处理区域不同；以及

18、通过对所述编码单位中的各个变换单位的残差系数应用逆变换来对所述编码单位进行解码，所述变换单位中的各个变换单位具有所选择的变换大小。

19、根据本发明的又一方面，提供一种视频解码器，其被配置为：

20、从位流接收图像帧；

21、从所述位流确定编码单位的大小；

22、将所述图像帧分割成多个大小相等的处理区域，各个大小相等的处理区域是在对所述位流进行解码的流水线的单个阶段期间被处理的块；

23、在所述编码单位与所确定的处理区域之间的边界重叠的情况下，从多个变换大小中选择用于所述编码单位的变换大小，该变换大小被选择以适配在所述编码单位内并且大小与所述处理区域不同；以及

24、通过对所述编码单位中的各个变换单位的残差系数应用逆变换来对所述编码单位进行解码，所述变换单位中的各个变换单位具有所选择的变换大小。

25、根据本发明的又一方面，提供一种从位流中解码图像帧中的编码单位的方法，所述方法包括：

26、从所述位流确定所述编码单位的大小；

27、将所述图像帧分割成多个大小相等的处理区域，各个大小相等的处理区域小于最大可用编码单位大小；

28、从候选运动矢量列表中选择与所述编码单位相对应的运动矢量，选择所述运动矢量包括：(i)在所述编码单位大于或等于所确定的处理区域其中之一的大小的情况下，对合并索引进行解码，或者(ii)在所述编码单位不大于或等于所确定的处理区域其中之一的大小的情况下，对跳过标志进行解码以解码所述合并索引；以及

29、根据针对所述编码单位的所选择的运动矢量对所述编码单位进行解码。

30、根据本发明的又一方面，提供一种非暂时性计算机可读介质，其上存储有计算机程序，以实现用于从位流中解码图像帧中的编码单位的方法，所述程序包括：

31、用于从所述位流确定所述编码单位的大小的代码；

32、用于将所述图像帧分割成多个大小相等的处理区域的代码，各个大小相等的处理区域小于最大可用编码单位大小；

33、用于从候选运动矢量列表中选择与所述编码单位相对应的运动矢量的代码，选择所述运动矢量包括：(i)在所述编码单位大于或等于所确定的处理区域其中之一的大小的情况下，对合并索引进行解码，或者(ii)在所述编码单位不大于或等于所确定的处理区域其中之一的大小的情况下，对跳过标志进行解码以解码所述合并索引；以及

34、用于根据针对所述编码单位的所选择的运动矢量对所述编码单位进行解码的代码。

35、根据本发明的又一方面，提供一种系统，包括：

36、存储器；以及

37、处理器，其中，所述处理器被配置为执行所述存储器上所存储的代码以实现从位流中解码图像帧中的编码单位的方法，所述方法包括：

38、从所述位流确定所述编码单位的大小；

39、将所述图像帧分割成多个大小相等的处理区域，各个大小相等的处理区域小于最大可用编码单位大小；

40、从候选运动矢量列表中选择与所述编码单位相对应的运动矢量，选择所述运动矢量包括：(i)在所述编码单位大于或等于所确定的处理区域其中之一的大小的情况下，对合并索引进行解码，或者(ii)在所述编码单位不大于或等于所确定的处理区域其中之一的大小的情况下，对跳过标志进行解码以解码所述合并索引；以及

41、根据针对所述编码单位的所选择的运动矢量对所述编码单位进行解码。

42、根据本发明的又一方面，提供一种视频解码器，其被配置为：

43、从位流中接收图像帧；

44、从所述位流确定编码单位的大小；

45、将所述图像帧分割成多个大小相等的处理区域，各个大小相等的处理区域小于最大可用编码单位大小；

46、从候选运动矢量列表中选择与所述编码单位相对应的运动矢量，选择所述运动矢量包括：(i)在所述编码单位大于或等于所确定的处理区域其中之一的大小的情况下，对合并索引进行解码，或者(ii)在所述编码单位不大于或等于所确定的处理区域其中之一的大小的情况下，对跳过标志进行解码以解码所述合并索引；以及

47、根据针对所述编码单位的所选择的运动矢量对所述编码单位进行解码。

48、还公开了其它方面。