基于编解码信息的解码器侧运动矢量推导的限制的制作方法

本专利文档涉及视频编解码技术、设备和系统。

背景技术：

1、尽管视频压缩技术有所进步，但数字视频仍然占互联网和其他数字通信网络上的最大带宽使用。随着能够接收和显示视频的联网用户设备数量的增加，预期数字视频使用的带宽需求将继续增长。

技术实现思路

1、描述了与数字视频编解码相关的设备、系统和方法，特别是基于编解码信息的解码器侧运动矢量推导(decoder-side motion vector derivation，dmvd)的限制相关的设备、系统和方法。所描述的方法可以应用于现有的视频编解码标准(例如，高效视频编解码(high efficiency video coding，hevc))和未来的视频编解码标准或者视频编解码器。

2、在一个代表性方面，所公开的技术可以用于提供用于视频处理的方法。该方法包括：对于视频的当前块和视频的比特流表示之间的转换，做出关于对于当前块，解码器侧运动矢量推导(dmvd)工具的选择性启用的决定，其中dmvd工具推导在比特流表示中信令通知的运动信息的细化，并且其中转换使用merge模式和运动矢量差，该运动矢量差由运动方向和运动幅度指示；以及基于该决定来执行当前块和比特流表示之间的转换。

3、在另一代表性方面，所公开的技术可以用于提供用于视频处理的方法。该方法包括：基于与视频的当前块相关联的解码运动信息，做出关于对于当前块，解码器侧运动矢量推导(dmvd)工具的选择性启用的决定，其中dmvd工具推导在视频的比特流表示中信令通知的运动信息的细化；以及基于该决定来执行当前块和比特流表示之间的转换。

4、在又一代表性方面，上述方法以处理器可执行代码的形式体现，并存储在计算机可读程序介质中。

5、在又一代表性方面，公开了一种被配置或可操作来执行上述方法的设备。该设备可以包括被编程来实施该方法的处理器。

6、在又一代表性方面，视频解码器设备可以实施本文描述的方法。

7、在附图、说明书和权利要求书中更详细地描述了所公开技术的上述和其他方面和特征。

技术特征：

1.一种用于视频处理的方法，包括：

2.根据权利要求1所述的方法，其中，所述转换从所述比特流生成所述当前块。

3.根据权利要求1所述的方法，其中，所述转换从所述当前块生成所述比特流。

4.根据权利要求1所述的方法，其中，所述dmvd工具包括双向光流算法、解码器侧运动矢量细化算法或帧速率上转换算法中的至少一种。

5.根据权利要求1所述的方法，其中，如果使用具有运动矢量差的merge模式对所述当前块进行编解码，则禁用所述dmvd工具。

6.根据权利要求1所述的方法，其中，具有运动矢量差的merge模式还包括由merge索引所指示的运动信息的起点，并且其中，所述当前块的最终运动信息基于所述运动矢量差和所述起点。

7.根据权利要求1所述的方法，其中，具有所述运动矢量差的merge模式指示所述运动矢量差包括非零运动矢量差(mvd)分量。

8.根据权利要求1所述的方法，其中，如果使用所述运动矢量预测模式对所述当前块进行编解码，则禁用所述dmvd工具。

9.根据权利要求1所述的方法，其中，所述运动矢量预测模式是高级运动矢量预测值(amvp)模式。

10.根据权利要求1所述的方法，其中，是否启用针对所述当前块的dmvd工具还基于是否启用广义双向预测(gbi)模式，其中，所述gbi模式指示编解码单元级别中的不同权重被应用于从参考图片列表0和参考图片列表1生成的两个预测块，以推导所述当前块的最终预测块。

11.根据权利要求1所述的方法，其中，如果使用gbi模式对所述当前块进行编解码，则禁用所述dmvd工具。

12.根据权利要求1所述的方法，其中，是否启用所述dmvd工具还基于所述当前视频块的运动信息。

13.根据权利要求12所述的方法，其中，在确定(1)运动矢量的绝对值，或者(2)运动矢量差的绝对值，或者(3)所述当前块的解码运动矢量的绝对值(a)小于阈值th1时，其中th1≥0，或者(b)大于阈值th2时，其中th2≥0，启用所述dmvd工具。

14.根据权利要求12所述的方法，其中，在确定在水平或垂直预测方向上所述当前块的解码运动矢量的绝对值(a)分别小于阈值thh1或thv1时，其中thh1≥0且thv1≥0，或者(b)分别大于阈值thh2或thv2时，其中thh2≥0且thv2≥0，启用所述dmvd工具。

15.根据权利要求12所述的方法，其中，在确定在水平预测方向(mv_x)和垂直预测方向(mv_y)上所述当前块的解码运动矢量(mv)的绝对值的函数(a)小于阈值th1时，其中th1≥0，或者(b)大于阈值th2时，其中th2≥0，启用所述dmvd工具。

16.根据权利要求12所述的方法，其中，使用双向预测模式对所述当前块进行编解码，并且其中，所述决定还基于来自与所述当前块相关联的仅一个参考图片列表的运动信息。

17.根据权利要求12所述的方法，其中，使用双向预测模式对所述当前块进行编解码，并且其中，所述决定还基于来自与所述当前块相关联的参考图片列表两者的运动信息。

18.一种用于处理视频数据的装置，包括处理器和在其上具有指令的非暂时性存储器，其中所述指令在由处理器执行时使所述处理器：

19.一种存储指令的非暂时性计算机可读存储介质，所述指令使得处理器：

20.一种存储比特流的非暂时性计算机可读记录介质，所述比特流通过由视频处理装置执行的方法而生成，其中，所述方法包括：

21.一种存储视频的比特流的方法，包括：

22.一种用于视频处理的方法，包括：

23.根据权利要求22所述的方法，其中，所述双向光流工具被用于基于与所述当前块的参考块中的样点相对应的至少一个梯度值来细化运动矢量。

24.根据权利要求22所述的方法，其中，所述尺寸包括所述当前块的宽度、所述当前块的高度或所述当前块中的亮度样点的数量中的至少一者。

25.根据权利要求24所述的方法，其中，在确定所述当前块的高度小于th或所述当前块的宽度小于tw时，禁用所述双向光流工具，并且其中，th和tw是正整数。

26.根据权利要求25所述的方法，其中，th＝8且tw＝8。

27.根据权利要求24所述的方法，其中，在确定所述当前块中的亮度样点的数量小于k时，禁用所述双向光流工具，其中，k是正整数。

28.根据权利要求24所述的方法，其中，在确定所述当前块中的亮度样点的数量大于k时，启用所述双向光流工具，其中，k是正整数。

29.根据权利要求28所述的方法，其中，k＝16、32、64或128。

30.根据权利要求22所述的方法，其中，是否启用所述双向光流工具还基于与所述当前块相关联的编解码模式。

31.根据权利要求30所述的方法，其中，在确定所述当前块的编解码模式是广义双向预测(gbi)模式时，禁用所述双向光流工具，其中，编解码单元(cu)级别中的不对称权重因子被应用于所述当前块的两个参考块。

32.根据权利要求22所述的方法，其中，是否启用所述双向光流工具还基于与所述当前块相关联的运动信息、条带类型、参考块、图片类型或片类型。

33.根据权利要求30所述的方法，其中，在确定所述当前块的编解码模式是高级运动矢量预测(amvp)模式时，禁用所述双向光流工具。

34.根据权利要求30所述的方法，其中，在确定所述当前块的编解码模式是跳过模式或多假设帧间预测模式时，禁用所述双向光流工具。

35.根据权利要求32所述的方法，其中，所述当前块包括至少一个子块，其中，在确定与当前子块相关联的两个参考块的绝对平均差大于阈值时，对于子块禁用所述双向光流工具。

36.根据权利要求32所述的方法，其中，在确定与所述当前块相关联的两个参考块的绝对平均差大于阈值时，禁用所述双向光流工具。

37.根据权利要求22所述的方法，其中，所述转换从所述当前块生成所述比特流。

38.根据权利要求22所述的方法，其中，所述转换从所述比特流生成所述当前块。

39.一种用于处理视频数据的装置，包括处理器和在其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使得所述处理器：

40.一种非暂时性计算机可读存储介质，其存储指令，所述指令使得处理器：

41.一种非暂时性计算机可读记录介质，其存储通过由视频处理装置执行的方法生成的比特流，其中，所述方法包括：

42.一种存储视频的比特流的方法，包括：

43.一种视频处理方法，包括：

44.根据权利要求43所述的方法，其中，所述dmvd工具是用于基于相对于信令通知的运动矢量具有偏移的至少一个运动矢量来细化所信令通知的运动矢量的解码器侧运动矢量细化(dmvr)工具。

45.根据权利要求43所述的方法，其中，所述dmvd工具是用于基于与所述当前块的参考块中的样点相对应的至少一个梯度值来细化运动矢量的双向光流工具。

46.根据权利要求43所述的方法，其中，如果所述当前块的高度(h)或宽度(w)大于阈值(l)，则将所述当前块划分为多个块，并且其中，l是正整数。

47.根据权利要求46所述的方法，其中，l是预先确定的。

48.根据权利要求46所述的方法，其中，所述子块的宽度是min(l，w)。

49.根据权利要求46所述的方法，其中，所述子块的高度是min(l，h)。

50.根据权利要求43所述的方法，其中，对于所述当前块的多个子块中的每一个启用所述dmvd工具。

51.根据权利要求43所述的方法，其中，将所述子块被视为块，并且对于所述子块执行在所述dmvd工具中所需的所有操作。

52.根据权利要求46所述的方法，其中，l＝64，其中，所述当前块的尺寸是64×128、128×64或128×128，并且其中，多个子块中的每一个的尺寸是64×64。

53.根据权利要求46所述的方法，其中，l＝16。

54.根据权利要求46所述的方法，其中，l＝64，其中，所述当前块的尺寸是n×128或128×n，并且其中，所述多个子块中的两个子块的尺寸分别是n×64或64×n。

55.根据权利要求46所述的方法，其中，在序列参数集(sps)、图片参数集(pps)、图片头、条带头、片组头或片头中的比特流中信令通知l。

56.根据权利要求46所述的方法，其中，l基于所述当前块的尺寸或编解码模式、图片类型或时域层索引中的至少一个。

57.根据权利要求43所述的方法，其中，所述转换包括从所述当前块生成所述比特流。

58.根据权利要求43所述的方法，其中，所述转换包括从所述比特流生成所述当前块。

59.一种用于处理视频数据的装置，包括处理器和在其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使得所述处理器：

60.根据权利要求59所述的装置，其中，所述dmvd工具是用于基于相对于信令通知的运动矢量具有偏移的至少一个运动矢量来细化所信令通知的运动矢量的解码器侧运动矢量细化(dmvr)工具，或者用于基于与所述当前块的参考块中的样点相对应的至少一个梯度值来细化运动矢量的双向光流工具中的一者。

61.一种非暂时性计算机可读存储介质，其存储指令，所述指令使得处理器：

62.一种非暂时性计算机可读记录介质，其存储通过由视频处理装置执行的方法生成的比特流，其中，所述方法包括：

63.一种存储视频的比特流的方法，包括：

64.一种视频处理的方法，包括：

65.根据权利要求64所述的方法，其中，所述多个二进制值中的第一二进制值用至少一个上下文来编解码，并且其中，所述多个二进制值中的所有其他二进制值被旁路编解码。

66.根据权利要求65所述的方法，其中，所述至少一个上下文包括一个上下文。

67.根据权利要求65所述的方法，其中，所述至少一个上下文包括三个上下文。

68.根据权利要求67所述的方法，其中，所述三个上下文被定义为：

69.根据权利要求64所述的方法，其中，所述多个二进制值中的前k个二进制值中的每一个用至少一个上下文进行编解码，其中，所述多个二进制值中的所有其他二进制值被旁路编解码，其中k是非负整数，其中0≤k≤maxgbiidxlen，并且其中，maxgbiidxlen是所述多个二进制值的最大长度。

70.根据权利要求69所述的方法，其中，除了所述前k个二进制值中的第一二进制值之外，对于所述前k个二进制值中的其余二进制值共享一个上下文。

71.根据权利要求69所述的方法，其中，除了所述前k个二进制值中的第一二进制值之外，对于所述前k个二进制值中的其余二进制值中的每一个使用一个上下文。

72.根据权利要求64所述的方法，其中，响应于所述权重w不等于权重1-w，第二预测模式不应用于所述当前视频块，其中，所述第二预测模式使用不同方向上的梯度以推导出运动偏移和预测偏移。

73.根据权利要求64所述的方法，其中，所述转换包括从所述比特流解码所述当前块。

74.根据权利要求64所述的方法，其中，所述转换包括将所述当前块编码为所述比特流。

75.一种用于处理视频数据的装置，包括处理器和在其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使得所述处理器：

76.根据权利要求75所述的装置，其中，所述多个二进制值中的第一二进制值用至少一个上下文来编解码，并且其中，所述多个二进制值中的所有其他二进制值被旁路编解码。

77.根据权利要求75所述的装置，其中，所述至少一个上下文包括一个上下文。

78.根据权利要求75所述的装置，其中，所述转换包括从所述比特流解码所述当前块。

79.根据权利要求75所述的装置，其中，所述转换包括将所述当前块编码为所述比特流。

80.一种非暂时性计算机可读存储介质，其存储指令，所述指令使得处理器：

81.根据权利要求80所述的存储介质，其中，所述转换包括从所述比特流解码所述当前块。

82.根据权利要求80所述的存储介质，其中，所述转换包括将所述当前块编码为所述比特流。

83.一种非暂时性计算机可读记录介质，其存储通过由视频处理装置执行的方法生成的比特流，其中，所述方法包括：

84.一种存储视频的比特流的方法，包括：

技术总结
描述了用于数字视频编解码的设备、系统和方法，包括基于编解码信息的解码器侧运动矢量推导的限制。一种用于视频处理的示例性方法包括：对于视频的当前块和视频的比特流表示之间的转换，做出关于对于当前块，解码器侧运动矢量推导(DMVD)工具的选择性启用的决定，DMVD工具推导在比特流表示中信令通知的运动信息的细化，并且转换使用Merge模式和运动矢量差，该运动矢量差由运动方向和运动幅度指示，以及基于该决定执行当前块和比特流表示之间的转换。

技术研发人员：刘鸿彬,张莉,张凯,王悦
受保护的技术使用者：北京字节跳动网络技术有限公司
技术研发日：
技术公布日：2024/4/17