用于视频解码的方法、电子设备、存储介质和程序产品与流程

本申请总体涉及视频编解码和压缩。具体地，本公开涉及用于使用对针对长期参考图片的运动矢量导出的约束来执行视频编解码的系统和方法。

背景技术：

1、本部分提供了与本公开相关的背景技术信息。本部分内包含的信息不应必须被解释为现有技术。

2、可使用各种视频编解码技术中的任何视频编解码技术来压缩视频数据。可根据一个或更多个视频编解码标准来执行视频编解码。一些示例性的视频编解码标准包括通用视频编码(vvc)、联合探索测试模型(jem)编码、高效视频编码(h.265/hevc)、高级视频编码(h.264/avc)和运动图片专家组(mpeg)编码。

3、视频编解码通常使用利用了视频图像或序列中固有的冗余的预测方法(例如，帧间预测、帧内预测等)。视频编解码技术的一个目标在于将视频数据压缩为使用更低比特率的形式，同时避免或最小化视频质量的劣化。

4、视频编解码中利用的预测方法通常包括执行空间(帧内)预测和/或时间(帧间)预测来减少或去除视频数据中固有的冗余，并且通常与基于块的视频编解码相关联。

5、在基于块的视频编码中，逐块地处理输入视频信号。对于每个块(也称为编码单元(cu))，可执行空间预测和/或时间预测。

6、空间预测(也称为“帧内预测”)使用来自同一视频图片/条带中的已经编码的邻近块的样点(其被称为参考样点)的像素来预测当前块。空间预测减少了视频信号中固有的空间冗余。

7、时间预测(也称为“帧间预测”或“运动补偿预测”)使用来自已经编码的视频图片的重建像素来预测当前块。时间预测减少了视频信号中固有的时间冗余。通常由指示当前cu与其时间参考之间的运动的量和方向的一个或更多个运动矢量(mv)通知给定cu的时间预测信号。此外，当支持多个参考图片时，另外发送一个参考图片索引，其中该参考图片索引用于识别时间预测信号来自参考图片存储器中的哪个参考图片。

8、在空间和/或时间预测之后，编码器中的模式决策块例如基于率失真优化方法来选择最佳预测模式。然后从当前块中减去预测块；并且使用变换对预测残差进行去相关和量化。对量化的残差系数进行反量化和逆变换以形成重建残差，然后将重建残差加回到预测块以形成块的重建信号。

9、在空间和/或时间预测之后，进一步进行环路滤波，诸如可在将重建cu放入参考图片存储器中并用于对后面的视频块进行编解码之前，将去块滤波器、样点自适应偏移(sao)和自适应环路滤波器(alf)应用于重建cu。为了形成输出的视频比特流，将编码模式(帧间或帧内)、预测模式信息、运动信息和量化残差系数都发送到熵编码单元以进一步进行压缩和打包以形成比特流。

10、在解码过程中，首先在熵解码单元对视频比特流进行熵解码。将编码模式和预测信息发送到空间预测单元(当帧内编码时)或时间预测单元(当帧间编码时)以形成预测块。将残差变换系数发送到反量化单元和逆变换单元以重建残差块。然后将预测块和残差块相加在一起。在将重建块存储在参考图片存储器中之前，进一步对重建块执行环路滤波。然后将参考图片存储器中的重建视频发送出去以驱动显示设备以及用于预测后面的视频块。

11、在诸如hevc和vvc的视频编解码标准中，参考图片集(rps)概念定义如何在解码图片缓冲器(dpb)中管理先前解码的图片以便用于参考，即样点数据预测和运动矢量预测。一般地，用于参考图片管理的rps概念是以每个条带(在当前vvc中也称为“并行块(tile)”)通知dpb的状态。

12、可将dpb中的图片标记为“用于短期参考”、“用于长期参考”或“不用于参考”。一旦图片被标记为“不用于参考”，它就不再可用于预测，并且当图片不再需要输出时，它可从dpb移除。

13、一般地，就显示顺序(即，图片顺序计数或称为poc)来说，与短期参考图片相比，长期参考图片通常更远离当前图片。长期参考图片与短期参考图片之间的这个区别可影响一些解码过程，诸如时间和空间mv预测或隐式加权预测中的运动矢量缩放。

14、在诸如hevc和vvc的视频编解码标准中，当导出空间和/或时间运动矢量候选时，基于形成对空间和/或时间运动矢量候选的导出的一部分的缩放过程中涉及的特定参考图片是长期参考图片还是非长期参考图片，对该缩放过程施加特定约束。

15、然而，根据诸如当前vvc标准化的视频编解码器规范，尚未对在此类视频编解码器规范中采用的较新的帧间模式视频编解码工具施加针对导出帧间模式编码块的运动矢量候选的类似约束。

技术实现思路

1、本部分提供了本公开的总体概述，而不是对本公开的全部范围或本公开的所有特征的全面公开。

2、根据本公开的第一方面，在具有一个或更多个处理器和存储将由一个或更多个处理器执行的多个程序的存储器的计算设备处执行视频编解码方法。所述方法包括将视频流中的每个图片分割为多个块或编码单元(cu)。所述方法还包括对经帧间模式编码的那些块执行帧间模式运动矢量导出。所述方法还包括在对帧间模式编码块执行帧间模式运动矢量导出期间操作特定帧间模式编解码工具。所述方法还包括确定与在帧间模式编解码工具的操作中涉及的帧间模式编码块相关联的参考图片中的一个或更多个参考图片是否是长期参考图片，并且基于所述确定来约束针对所述帧间模式编码块的帧间模式编解码工具的操作。

3、根据本申请的第二方面，一种计算设备包括一个或更多个处理器、存储器和存储在存储器中的多个程序。程序在由一个或更多个处理器执行时使计算设备执行如上所述的操作。

4、根据本申请的第三方面，一种非暂态计算机可读存储介质存储用于由具有一个或更多个处理器的计算设备执行的多个程序。程序在由一个或更多个处理器执行时使计算设备执行如上所述的操作。

技术特征：

1.一种用于视频解码的方法，包括：

2.根据权利要求1所述的方法，其中所述帧间模式编解码工具还包括双向光流bdof，并且在所述帧间模式编码块是双向预测块的情况下，所述约束针对所述帧间模式编码块的所述帧间模式编解码工具的操作，包括：

3.根据权利要求1所述的方法，其中所述帧间模式编解码工具还包括解码器侧运动矢量修正dmvr，并且在所述帧间模式编码块是双向预测块的情况下，所述约束针对所述帧间模式编码块的所述帧间模式编解码工具的操作，包括：

4.根据权利要求1所述的方法，其中

5.一种电子设备，包括：

6.一种非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质存储用于由具有一个或更多个处理器的计算设备执行的多个程序，其中所述多个程序在由所述一个或更多个处理器执行时使所述计算设备执行如权利要求1-4中任一项所述的用于视频解码的方法以处理接收到的视频比特流，并将处理后的视频比特流存储在所述非暂态计算机可读存储介质中。

7.一种计算机程序产品，包括存储有指令的计算机可读介质，其中，当所述指令由处理器执行时，所述指令使所述处理器执行如权利要求1-4中任一项所述的用于视频解码的方法。

技术总结
提供了一种用于视频解码的方法、电子设备、存储介质和程序产品。所述方法包括：将视频帧分割为多个块；确定与在帧间预测模式下的解码过程中涉及的帧间模式编码块相关联的参考图片中的一个或更多个参考图片是否是长期参考图片；并且基于所述确定来约束在所述帧间预测模式下针对所述帧间模式编码块的解码过程中的操作。

技术研发人员：陈漪纹,修晓宇,王祥林,马宗全
受保护的技术使用者：北京达佳互联信息技术有限公司
技术研发日：
技术公布日：2024/1/15