视频编解码中的跨分量模式中的选择性使用的制作方法

本专利文档涉及视频编码和解码技术、设备和系统。

背景技术：

1、尽管在视频压缩方面取得了进步，数字视频仍然占互联网和其他数字通信网络上的最大带宽使用。随着能够接收和显示视频的连接用户设备数量的增加，预计对数字视频使用的带宽需求将继续增长。

技术实现思路

1、描述了与数字视频编码/解码相关的设备、系统和方法，具体地，描述了视频编码/解码中的跨分量线性模型(cross-component linear model，cclm)预测模式的简化线性模型推导。所描述的方法可以应用于现有的视频编解码标准(例如，高效视频编解码(highefficiency video coding，hevc))和未来的视频编码标准(例如，多功能视频编解码(versatile video coding，vvc))或编解码器。

2、在一个代表性方面，公开了一种用于可视媒体处理的方法。该方法包括执行可视媒体数据的当前色度视频块和当前色度视频块的比特流表示之间的转换，其中，在转换期间，基于缩放系数来缩放当前色度视频块的色度残差，其中至少基于位于预定义位置的亮度样点来推导缩放系数。

3、在一个代表性方面，公开了一种用于可视媒体处理的方法。该方法包括执行可视媒体数据的当前视频块和当前视频块的比特流表示之间的转换，其中，在转换期间，使用跨分量线性模型(cclm)和/或带有色度缩放的亮度映射(luma mapping with chromascaling，lmcs)模式处理步骤，根据可视媒体数据的第一组颜色分量值推导当前视频块的第二组颜色分量值。

4、在另一代表性方面，公开了一种用于可视媒体处理的方法。该方法包括执行可视媒体数据的当前视频块和当前视频块的比特流表示之间的转换，其中，在转换期间，与可视媒体数据的当前帧相关联的一个或多个重构样点被用于在带有色度缩放的亮度映射(lmcs)模式处理步骤中推导色度残差缩放因子。

5、在另一代表性方面，公开了一种用于可视媒体处理的方法。该方法包括执行可视媒体数据的当前视频块和当前视频块的比特流表示之间的转换，其中，在转换期间，不同于参考帧的当前帧中的一个或多个亮度预测样点或亮度重构样点被用于在带有色度缩放的亮度映射(lmcs)模式处理步骤中推导色度残差缩放因子。

6、在另一代表性方面，公开了一种用于可视媒体处理的方法。该方法包括：当前色度视频块和当前色度视频块的比特流表示之间的转换期间，检查覆盖并置亮度块的左上角样点的对应亮度块的一个或多个临近亮度块的可用性；基于一个或多个临近亮度块的可用性，确定是否检索对应亮度块的临近亮度样点；基于该确定来推导缩放系数；基于缩放系数来缩放当前色度视频块的色度残差，以生成缩放的色度残差；以及基于缩放的色度残差来执行转换。

7、在另一代表性方面，公开了一种用于可视媒体处理的方法。该方法包括可视媒体数据的当前视频块和当前视频块的比特流表示之间的转换期间，使用与处理步骤相关联的模型根据可视媒体数据的第一组颜色分量值推导当前视频块的第二组颜色分量值，其中第一组颜色分量值是覆盖并置亮度块的左上角样点的对应亮度块的临近样点。

8、在另一代表性方面，公开了一种用于可视媒体处理的方法。该方法包括可视媒体数据的当前色度视频块和当前色度视频块的比特流表示之间的转换期间，至少部分基于与当前色度视频块的并置亮度块相关联的一个或多个条件，做出选择性地启用或禁用对当前色度视频块应用跨分量线性模型(cclm)和/或色度残差缩放(crs)的确定。

9、在另一代表性方面，公开了一种用于可视媒体处理的方法。该方法包括：选择性地启用或禁用对可视媒体数据的当前视频块的色度分量应用亮度相关色度残差缩放(crs)，以将可视媒体数据的视频区域中的当前视频块编码成可视媒体数据的比特流表示；以及做出在可视媒体数据的比特流表示中包括或排除字段的确定，其中该字段指示选择性地启用或禁用，并且如果该字段被包括，则该字段被发信号通知，而不是处于与当前视频块相关联的第一语法级别。

10、在另一代表性方面，公开了一种用于可视媒体处理的方法。该方法包括：解析可视媒体数据的比特流表示中的字段，其中该字段被包括在不同于与当前视频块相关联的第一语法级别的级别中；以及基于该字段，选择性地启用或禁用对可视媒体数据的当前视频块的色度分量应用亮度相关色度残差缩放(crs)，以从比特流表示生成解码的视频区域。

11、在另一代表性方面，公开了一种用于可视媒体处理的方法。该方法包括：选择性地启用或禁用对可视媒体数据的当前视频块应用跨分量线性模型(cclm)，以将当前视频块编码成可视媒体数据的比特流表示；以及做出在可视媒体数据的比特流表示中包括或排除字段的确定，其中该字段指示选择性地启用或禁用，并且如果该字段被包括，则该字段被发信号通知，而不是处于与当前视频块相关联的第一语法级别。

12、在另一代表性方面，公开了一种用于可视媒体处理的方法。该方法包括：解析可视媒体数据的比特流表示中的字段，其中该字段被包括在不同于与当前视频块相关联的第一语法级别的级别中；以及基于该字段，选择性地启用或禁用对可视媒体数据的当前视频块应用跨分量线性模型(cclm)，以从比特流表示生成解码的视频区域。

13、在又一示例方面，公开了一种视频编码器或解码器装置，其包括被配置为实施上述方法的处理器。

14、在另一示例方面，公开了一种计算机可读程序介质。该介质存储包含用于实施所公开的方法之一的处理器可执行指令的代码。

15、在又一代表性方面，上述方法以处理器可执行代码的形式实施，并存储在计算机可读程序介质中。

16、在又一代表性方面，公开了被配置或可操作来执行上述方法的设备。该设备可以包括被编程来实施该方法的处理器。

17、在附图、说明书和权利要求书中更详细地描述了所公开技术的上述和其他方面和特征。

技术特征：

1.一种处理视频数据的方法，包括：

2.根据权利要求1所述的方法，其中，所述临近亮度样点位于与所述视频单元临近的预定位置。

3.根据权利要求2所述的方法，其中，位于与所述视频单元临近的预定位置的临近亮度样点包括所述视频单元外部的重构亮度样点。

4.根据权利要求2所述的方法，其中，位于与所述视频单元临近的预定位置的临近亮度样点包括与所述视频单元相邻的重构亮度样点。

5.根据权利要求4所述的方法，其中，与所述视频单元相邻的重构亮度样点包括所述视频单元的一个或多个左侧临近样点列或一个或多个上方临近样点行中的至少一者。

6.根据权利要求5所述的方法，其中，响应于确定所述视频单元的所述一个或多个左侧临近样点列和所述一个或多个上方临近样点行不可用，通过将所述平均亮度变量设置为等于默认值来导出所述至少一个缩放因子。

7.根据权利要求6所述的方法，其中，所述默认值等于1<<(bitdepth-1)，其中bitdepth是所述视频的比特深度。

8.根据权利要求1所述的方法，其中，所述视频单元是虚拟流水线数据单元，并且其中，所述视频单元的左上角亮度样点的位置通过使用所述虚拟流水线数据单元的尺寸信息来导出。

9.根据权利要求1所述的方法，其中，所述视频单元的临近样点的总数为n，其中n是大于1的整数，并且n的范围取决于所述视频单元的尺寸信息。

10.根据权利要求1所述的方法，其中，所述至少一个缩放因子通过以下方式导出：

11.根据权利要求10所述的方法，其中，检查所述一个或多个临近亮度块中的每一个的可用性包括：基于所述视频区域的宽度和高度中的至少一个来检查所述一个或多个临近亮度块中的每一个的可用性。

12.根据权利要求11所述的方法，其中，响应于一个临近块的左上角样点位于所述视频区域之外，所述临近块被视为不可用。

13.根据权利要求1所述的方法，其中，对于所述视频区域的亮度视频块，执行以下至少一项:

14.根据权利要求1所述的方法，其中，所述视频区域是图片。

15.根据权利要求1所述的方法，其中，所述缩放过程基于分段线性模型，并且其中索引标识所述平均亮度变量所属的段，并且所述至少一个缩放因子是基于所述索引导出的。

16.根据权利要求1所述的方法，其中，所述转换包括将所述当前色度视频块编码成所述比特流。

17.根据权利要求1所述的方法，其中，所述转换包括从所述比特流解码所述当前色度视频块。

18.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使得所述处理器：

19.一种存储指令的非暂时性计算机可读存储介质，所述指令使得处理器：

20.一种存储由视频处理装置执行的方法生成的视频的比特流的非暂时性计算机可读记录介质，其中所述方法包括：

21.一种存储视频的比特流的方法，包括：

22.一种处理视频数据的方法，包括：

23.根据权利要求22所述的方法，其中，所述语法元素包括在图片头中。

24.根据权利要求22所述的方法，其中，响应于所述语法元素的值等于1，启用所述图片级别以下的缩放过程的应用，以及响应于所述语法元素的值等于0，禁用所述图片级别以下的缩放过程的应用。

25.根据权利要求22所述的方法，其中，响应于所述比特流中不包括所述语法元素，推断禁用所述图片级别以下的缩放过程的应用，并且所述语法元素的值被推断为零。

26.根据权利要求22所述的方法，其中，所述至少一个缩放因子是基于平均亮度变量导出的，所述平均亮度变量是基于所述视频的视频区域的视频单元的临近亮度样点计算的，所述视频单元覆盖对应于所述当前色度视频块的左上角样点的亮度样点。

27.根据权利要求26所述的方法，其中，所述至少一个缩放因子通过以下方式导出：

28.根据权利要求27所述的方法，其中，所述临近亮度样点位于与所述视频单元临近的预定位置。

29.根据权利要求28所述的方法，其中，位于与所述视频单元临近的预定位置的所述临近亮度样点包括所述视频单元外部的重构亮度样点。

30.根据权利要求28所述的方法，其中，位于与所述视频单元临近的预定位置的所述临近亮度样点包括与所述视频单元相邻的重构亮度样点。

31.根据权利要求30所述的方法，其中，与所述视频单元相邻的所述重构亮度样点包括所述视频单元的一个或多个左侧临近样点列或一个或多个上方临近样点行中的至少一者。

32.根据权利要求31所述的方法，其中，响应于所述视频单元的所述一个或多个左侧临近样点列和所述一个或多个上方临近样点行被确定为不可用，通过将所述平均亮度变量设置为等于默认值来导出所述至少一个缩放因子。

33.根据权利要求32所述的方法，其中，所述默认值等于1<<(bitdepth-1)，其中，bitdepth是所述视频的比特深度。

34.根据权利要求26所述的方法，其中，所述缩放过程基于分段线性模型，并且其中，索引标识所述平均亮度变量所属的段，并且所述至少一个缩放因子是基于所述索引导出的。

35.根据权利要求22所述的方法，其中，所述转换包括将所述当前色度视频块编码成所述比特流。

36.根据权利要求22所述的方法，其中，所述转换包括从所述比特流解码所述当前色度视频块。

37.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中，所述指令在由所述处理器执行时使得所述处理器：

38.根据权利要求37所述的装置，其中，所述语法元素包括在图片头中。

39.根据权利要求37所述的装置，其中，响应于所述语法元素的值等于1，启用所述图片级别以下的缩放过程的应用，以及响应于所述语法元素的值等于0，禁用所述图片级别以下的缩放过程的应用。

40.一种存储指令的非暂时性计算机可读存储介质，所述指令使得处理器：

41.一种存储由视频处理装置执行的方法生成的视频的比特流的非暂时性计算机可读记录介质，其中，所述方法包括：

42.一种存储视频的比特流的方法，包括：

43.一种处理视频数据的方法，包括：

44.根据权利要求43所述的方法，其中，所述基于子块的预测模式对应于帧内子分割模式。

45.根据权利要求43所述的方法，其中，响应于所述一个或多个亮度编解码单元以基于子块的预测模式被编解码，禁用所述跨分量线性模型。

46.根据权利要求43所述的方法，其中，对所述色度块是启用还是禁用所述跨分量线性模型帧内预测还基于所述一个或多个亮度编解码单元的分割信息。

47.根据权利要求46所述的方法，其中，所述分割信息包括所述一个或多个亮度编解码单元的分割树深度。

48.根据权利要求47所述的方法，其中，所述分割树深度是四叉树深度。

49.根据权利要求43所述的方法，其中，对所述色度块是启用还是禁用所述跨分量线性模型帧内预测还基于覆盖所述色度块的对应色度区域的至少一个样点的一个或多个色度编解码单元的块大小。

50.根据权利要求43所述的方法，其中，对所述色度块是启用还是禁用所述跨分量线性模型帧内预测还基于所述一个或多个亮度编解码单元是否根据不同于四叉树分割操作的多类型分割树操作进行划分。

51.根据权利要求43所述的方法，其中，所述跨分量线性模型的参数通过以下方式导出：

52.根据权利要求51所述的方法，其中，响应于所述一个或多个临近色度块不可用，所述色度块的预测值被设置为1<<(bitdepth-1)，其中，bitdepth是所述视频的比特深度。

53.根据权利要求43所述的方法，其中，所述转换包括将所述色度块编码成所述比特流。

54.根据权利要求43所述的方法，其中，所述转换包括从所述比特流解码所述色度块。

55.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中，所述指令在由所述处理器执行时使得所述处理器：

56.根据权利要求55所述的装置，其中，所述基于子块的预测模式对应于帧内子分割模式。

57.根据权利要求55所述的装置，其中，对所述色度块是启用还是禁用所述跨分量线性模型帧内预测还基于所述一个或多个亮度编解码单元的分割信息，所述分割信息包括所述一个或多个亮度编解码单元的分割树深度，并且所述分割树深度是四叉树深度。

58.一种存储指令的非暂时性计算机可读存储介质，所述指令使得处理器：

59.根据权利要求58所述的非暂时性计算机可读存储介质，其中，所述基于子块的预测模式对应于帧内子分割模式。

60.根据权利要求58所述的非暂时性计算机可读存储介质，其中，对所述色度块是启用还是禁用所述跨分量线性模型帧内预测还基于所述一个或多个亮度编解码单元的分割信息，所述分割信息包括所述一个或多个亮度编解码单元的分割树深度，并且所述分割树深度是四叉树深度。

61.一种存储由视频处理装置执行的方法生成的视频的比特流的非暂时性计算机可读记录介质，其中，所述方法包括：

62.根据权利要求61所述的非暂时性计算机可读存储介质，其中，所述基于子块的预测模式对应于帧内子分割模式，并且对所述色度块是启用还是禁用所述跨分量线性模型帧内预测还基于所述一个或多个亮度编解码单元的分割信息，所述分割信息包括所述一个或多个亮度编解码单元的分割树深度，并且所述分割树深度是四叉树深度。

63.一种存储视频的比特流的方法，包括：

技术总结
本发明涉及视频编解码中的跨分量模式中的选择性使用，提供一种用于可视媒体处理的方法，包括执行可视媒体数据的当前色度视频块和当前色度视频块的比特流表示之间的转换，其中，在转换期间，基于缩放系数来缩放当前色度视频块的色度残差，其中至少基于位于预定义位置的亮度样点来推导缩放系数。

技术研发人员：邓智玭,张莉,刘鸿彬,张凯,许继征
受保护的技术使用者：北京字节跳动网络技术有限公司
技术研发日：
技术公布日：2024/2/8