具有最坏情况复杂度处理的扩展低频不可分离变换(LFNST)设计的制作方法

本公开内容涉及视频编码和视频解码。

背景技术：

1、数字视频能力可以被合并到各种各样的设备中，包括数字电视机、数字直播系统、无线广播系统、个人数字助理(pda)、膝上型计算机或台式计算机、平板计算机、电子书阅读器、数字相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电电话(所谓的“智能电话”)、视频电话会议设备、视频流设备等。数字视频设备实现视频译码技术(诸如在由mpeg-2、mpeg-4、itu-t h.263、itu-t h.264/mpeg-4(第10部分，高级视频译码(avc))、itu-t h.265/高效率视频译码(hevc)所定义的标准以及此类标准的扩展中描述的那些技术)。通过实现这样的视频译码技术，视频设备可以更加高效地发送、接收、编码、解码和/或存储数字视频信息。

2、视频译码技术包括空间(图片内(intra-picture))预测和/或时间(图片间(inter-picture))预测以减少或去除在视频序列中固有的冗余。对于基于块的视频译码，视频切片(例如，视频图片或视频图片的一部分)可以被分割为视频块，视频块也可以被称为译码树单元(ctu)、译码单元(cu)和/或译码节点。图片的经帧内编码(i)的切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测来编码的。图片的经帧间译码(p或b)的切片中的视频块可以使用相对于同一图片中的相邻块中的参考样本的空间预测，或者相对于其它参考图片中的参考样本的时间预测。图片可以被称为帧，并且参考图片可以被称为参考帧。

技术实现思路

1、本公开内容的技术涉及变换译码。更具体地，本公开内容描述了可以提高通用视频译码(vvc/h.266)中的译码效率的各种低频不可分离变换(lfnst)设计。本公开内容的技术还可用于其他改进的视频编解码器，包括hevc的扩展以及下一代视频译码标准。

2、对于硬件实现，最坏情况的乘法数量(每个变换的系数)可以是重要的复杂度标准。减少最坏情况乘法数量的一种简单技术是：规范地(normatively)将一些变换系数归零(zero-out)，并且具有最大数量的非零变换系数。在该背景下，经归零的变换系数必须设置为等于零。相反，允许的非零变换系数可以是零或非零。就这一点而言，允许的非零变换系数的数量可以表示非零变换系数的最大可能数量，并且非零变换系数的实际数量可以小于最大值。相反，经归零的变换系数的数量可以表示等于零的变换系数的最小数量，并且等于零的变换系数的实际数量可以大于最小值。

3、归零过程可能会降低译码质量，并且因此除非需要满足某个最坏情况的乘法数量，否则这可能是不期望的。在vvc中，这些标准针对tu大小是硬接线的，在某些译码场景中，这会导致将比用于满足最坏情况的乘法数量标准所需的更多的变换系数归零。为了解决该缺点，本公开内容描述了用于根据变换维度和变换矩阵的维度(包括“支持样本”的数量)来确定允许的非零变换系数的数量的技术。通过基于视频数据块的大小来确定针对该块的允许的非零系数的数量，根据本公开内容的技术操作的视频解码器可以避免在不需要时不必要地将系数归零，同时仍符合最坏情况乘法标准。

4、根据一个示例，一种对视频数据进行解码的方法包括：基于视频数据块的大小，确定针对块的允许的非零系数的数量；获得针对视频数据块的解量化系数集合，其中，解量化系数集合包括第一解量化系数子集和第二解量化系数子集，第一解量化系数子集包括非零解量化系数，第二解量化系数子集包括全零系数，其中，第一解量化系数子集中的系数的数量等于针对视频数据块的允许的非零系数的数量；将逆低频不可分离变换(lfnst)应用于第一解量化系数子集以确定第一系数中间子集；以及将逆可分离变换应用于第一系数中间子集以及第二系数子集的至少一部分，以确定重构的残差值的块。

5、根据另一示例，一种用于对视频数据进行解码的设备包括：存储器，其被配置为存储视频数据；以及一个或多个处理器，其在电路中实现并且被配置为：基于视频数据块的大小，确定针对块的允许的非零系数的数量；获得针对视频数据块的解量化系数集合，其中，解量化系数集合包括第一解量化系数子集和第二解量化系数子集，第一解量化系数子集包括非零解量化系数，第二解量化系数子集包括全零系数，其中，第一解量化系数子集中的系数的数量等于针对视频数据块的允许的非零系数的数量；将逆低频不可分离变换(lfnst)应用于第一解量化系数子集以确定第一系数中间子集；以及将逆可分离变换应用于第一系数中间子集以及第二系数子集的至少一部分，以确定重构的残差值的块。

6、根据另一示例，一种存储有指令的计算机可读存储介质，当其由一个或多个处理器执行时所述指令使所述一个或多个处理器：基于视频数据块的大小，确定针对块的允许的非零系数的数量；获得针对视频数据块的解量化系数集合，其中，解量化系数集合包括第一解量化系数子集和第二解量化系数子集，第一解量化系数子集包括非零解量化系数，第二解量化系数子集包括全零系数，其中，第一解量化系数子集中的系数的数量等于针对视频数据块的允许的非零系数的数量；将逆低频不可分离变换(lfnst)应用于第一解量化系数子集以确定第一系数中间子集；以及将逆可分离变换应用于第一系数中间子集以及第二系数子集的至少一部分，以确定重构的残差值的块。

7、根据另一示例，一种用于对视频数据进行解码的设备包括：用于基于视频数据块的大小，确定针对块的允许的非零系数的数量的单元；用于获得针对视频数据块的解量化系数集合的单元，其中，解量化系数集合包括第一解量化系数子集和第二解量化系数子集，第一解量化系数子集包括非零解量化系数，第二解量化系数子集包括全零系数，其中，第一解量化系数子集中的系数的数量等于针对视频数据块的允许的非零系数的数量；用于将逆低频不可分离变换(lfnst)应用于第一解量化系数子集以确定第一系数中间子集的单元；以及用于将逆可分离变换应用于第一系数中间子集以及第二系数子集的至少一部分，以确定重构的残差值的块的单元。

8、在附图和以下描述中阐述了一个或多个示例的细节。根据说明书、附图和权利要求，其它特征、目的和优点将是显而易见的。

技术特征：

1.一种对视频数据进行解码的方法，所述方法包括：

2.根据权利要求1所述的方法，还包括：

3.根据权利要求2所述的方法，其中，所述逆lfnst候选集合包括3个候选。

4.根据权利要求2所述的方法，其中，所述多个集合包括35个集合。

5.根据权利要求1所述的方法，其中，所述第一解量化系数子集包括m个解量化系数，并且其中，第一系数中间子集包括n个系数，其中m和n是整数值。

6.根据权利要求5所述的方法，其中，m＝16并且n＝64。

7.根据权利要求5所述的方法，其中，m＝64并且n＝64。

8.根据权利要求5所述的方法，还包括：

9.根据权利要求8所述的方法，其中，所述第一解量化系数子集具有nz个系数。

10.根据权利要求8所述的方法，其中，m＝2xnz并且n＝64。

11.根据权利要求1所述的方法，还包括：

12.根据权利要求1所述的方法，其中，所述方法是作为视频编码过程的一部分执行的。

13.一种用于对视频数据进行解码的设备，所述设备包括：

14.根据权利要求13所述的设备，其中，所述一个或多个处理器还被配置为：

15.根据权利要求14所述的设备，其中，所述逆lfnst候选集合包括3个候选。

16.根据权利要求14所述的设备，其中，所述多个集合包括35个集合。

17.根据权利要求13所述的设备，其中，所述第一解量化系数子集包括m个解量化系数，并且其中，第一系数中间子集包括n个系数，其中m和n是整数值。

18.根据权利要求17所述的设备，其中，m＝16并且n＝64。

19.根据权利要求17所述的设备，其中，m＝64并且n＝64。

20.根据权利要求17所述的设备，其中，所述一个或多个处理器还被配置为：

21.根据权利要求17所述的设备，其中，所述第一解量化系数子集具有nz个系数。

22.根据权利要求17所述的设备，其中，m＝2xnz并且n＝64。

23.根据权利要求13所述的设备，其中，所述一个或多个处理器还被配置为：

24.根据权利要求13所述的设备，其中，所述设备包括无线通信设备，还包括：接收机，其被配置为：接收编码视频数据。

25.根据权利要求24所述的设备，其中，所述无线通信设备包括手持电话，并且其中，所述接收机被配置为：根据无线通信标准来对包括所述编码视频数据的信号进行解调。

26.根据权利要求13所述的设备，还包括：

27.根据权利要求13所述的设备，其中，所述设备包括下列中的一项或多项：照相机、计算机、移动设备、广播接收机设备或机顶盒。

28.根据权利要求13所述的设备，还包括：

29.根据权利要求13所述的设备，其中，所述设备包括无线通信设备，还包括：发射机，其被配置为发送编码视频数据。

30.根据权利要求29所述的设备，其中，所述无线通信设备包括手持电话，并且其中，所述发射机被配置为：根据无线通信标准来对包括所述编码视频数据的信号进行调制。

31.一种存储有指令的计算机可读存储介质，其中，当由一个或多个处理器执行时所述指令使所述一个或多个处理器：

32.一种用于对视频数据进行解码的设备，所述设备包括：

技术总结
一种视频解码器可以被配置为：基于视频数据块的大小，确定针对所述块的允许的非零系数的数量；获得针对所述块的解量化系数集合，所述解量化系数集合包括第一解量化系数子集和第二解量化系数子集，所述第一解量化系数子集包括非零解量化系数，所述第二解量化系数子集包括全零系数，其中，所述第一解量化系数子集中的系数的数量等于针对所述视频数据块的所述允许的非零系数的数量；将逆低频不可分离变换应用于所述第一解量化系数子集以确定第一系数中间子集；以及将逆可分离变换应用于所述第一系数中间子集以及所述第二系数子集的至少一部分，以确定重构的残差值的块。

技术研发人员：H·E·埃伊尔梅茨,V·谢廖金,M·卡切夫维茨
受保护的技术使用者：高通股份有限公司
技术研发日：
技术公布日：2024/1/13