在超分辨率过程期间利用编解码信息的制作方法

本公开总体上涉及视频编解码，尤其涉及用于视频编解码的基于超分辨率的上采样。

背景技术：

1、数字视频占互联网和其他数字通信网络上最大的带宽使用。随着能够接收和显示视频的连接用户设备数量的增加，预计数字视频使用的带宽需求将继续增长。

技术实现思路

1、所公开的方面/实施例提供了在超分辨率(sr)过程中使用编解码信息(例如，编码信息/解码信息)的技术。例如，编解码信息可以是分割信息、预测信息或帧内预测模式。编解码信息可以用作sr过程的神经网络(nn)的输入。该技术还提供在sr过程期间将颜色分量(例如，亮度样点和/或色度样点)用作输入的技术。这些技术可用于视频和图像编码、解码、流式传输和存储实现方式。因此，相对于传统的视频编解码技术，视频编解码过程得到了改进。

2、第一方面涉及一种处理视频数据的方法。该方法包括在对视频单元应用超分辨率(sr)过程期间使用编解码信息；以及基于使用编解码信息应用的sr过程，执行包括视频单元的视频和视频的比特流之间的转换。

3、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了编解码信息包括编码信息。

4、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了编解码信息包括解码信息。

5、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了sr过程包括基于神经网络(nn)的sr过程，并且其中编解码信息被用作基于nn的sr过程的输入。

6、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了编解码信息用于确定应用sr过程，sr过程是多个可用sr过程之一。

7、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了编解码信息包括分割信息、预测信息和帧内预测模式中的一个或多个。

8、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了sr过程的输入包括重建样点和解码信息，并且其中解码信息包括分割信息、预测信息和帧内预测模式中的一个或多个。

9、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了编解码信息包括具有与重建帧相同分辨率的分割信息。

10、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了通过平均视频单元中的重建样点来导出分割信息中的样点值。

11、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了编解码信息包括预测信息，并且其中预测信息包括来自帧内预测、帧内块复制(ibc)或帧间预测的预测样点。

12、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了编解码信息包括具有与重建帧相同分辨率的帧内预测模式。

13、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了通过在对应的视频单元中填充帧内预测模式来导出帧内预测模式中的样点值。

14、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了编解码信息包括量化参数(qp)信息，并且其中，qp信息用于生成上采样的重建。

15、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了用量化(qp)参数值填充矩阵以构建qp映射，其中qp映射用作sr过程的输入，并且其中qp映射的空域分辨率与sr过程的另一输入的空域分辨率相同。

16、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了视频单元包括第一颜色分量，并且其中在应用于第一颜色分量的sr过程期间利用第二颜色分量。

17、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了视频单元包含第一颜色分量，且其中第二颜色分量用作应用于第一颜色分量的sr过程的输入。

18、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了sr过程包括亮度上采样过程，并且其中色度信息被用作亮度上采样过程的输入。

19、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了sr过程包括色度上采样过程，并且其中亮度信息被用作色度上采样过程的输入。

20、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了亮度信息包含重建的亮度样点，且其中在环路滤波器已应用于视频单元之后或环路滤波器已应用于视频单元之前，重建的亮度样点用作sr过程的输入。

21、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了亮度信息包含重建的亮度样点，且其中在多个环路滤波器中的第一个已应用于视频单元之后但在多个环路滤波器中的最后一个已应用于视频单元之前，重建的亮度样点用作sr过程的输入。

22、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了在sr过程中对神经网络(nn)的输入包括重建的色度样点和重建的亮度样点两者。

23、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了重建的亮度样点被下采样到与重建的色度样点相同的分辨率，并且与重建的色度样点连接。

24、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了使用双线性插值对重建的亮度样点进行下采样。

25、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了使用双三次插值对重建的亮度样点进行下采样。

26、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了使用步长等于原始帧的缩放比率的卷积对重建的亮度样点进行下采样。

27、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了使用像素混洗的逆过程对重建的亮度样点进行下采样。

28、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了基于4：2：0或4：2：2的颜色格式对重建的亮度样点进行下采样。

29、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了从编码器向解码器信令通知对重建的亮度样点进行下采样的方法。

30、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了基于颜色格式来作出对重建的亮度样点应用下采样的确定。

31、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了颜色格式是4：4：4，并且重建的亮度样点不是下采样的。

32、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了色度信息包括重建的色度样点，并且其中，在环路滤波器已经被应用于视频单元之后或者在环路滤波器已经被应用于视频单元之前，重建的色度样点被用作sr过程的输入。

33、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了色度信息包括重建的色度样点，并且其中，在多个环路滤波器中的第一个已经被应用于视频单元之后但是在多个环路滤波器中的最后一个已经被应用于视频单元之前，重建的色度样点被用作sr过程的输入。

34、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了在sr过程中对神经网络(nn)的输入包括重建的色度样点和亮度预测样点两者。

35、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了第一颜色分量是色度分量，并且第二颜色分量是不同的色度分量。

36、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了输入包括重建样点和解码信息，并且其中解码信息包括分割信息、预测信息和帧内预测模式中的一个或多个。

37、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了帧内预测模式包括二进制帧，其中二进制帧中的每个值指示重建样点之一是否属于跳过模式。

38、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了通过帧间预测编解码单元的运动补偿来导出预测信息。

39、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了编解码信息包括预测信息，并且其中，预测信息被用作应用于视频单元的sr过程的输入，以供重建。

40、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了预测信息包含预测图片的亮度信息，且其中视频单元包含亮度分量。

41、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了预测信息包含预测图片的亮度信息，且其中视频单元包含色度分量。

42、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了预测信息包含预测图片的色度信息，且其中视频单元包含色度分量。

43、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了预测信息包含一起用于重建的预测图片的亮度和色度信息，且其中视频单元包含亮度分量和色度分量中的一个或多个。

44、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了当编解码模式是调色板模式或脉冲编解码调制模式时，预测信息包括填充样点。

45、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了编解码信息包括分割信息，并且其中分割信息被用作应用于视频单元的sr过程的输入，以供重建。

46、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了视频单元包括帧，并且其中分割信息具有与帧相同的分辨率。

47、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了编解码信息包括帧内预测模式，并且其中，帧内预测模式被用作应用于视频单元的sr过程的输入，以供重建。

48、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了帧内预测模式是通过帧内预测或帧间预测获得的当前样点的帧内预测模式。

49、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了帧内预测模式的矩阵被构建为sr过程的一个输入，其中矩阵在被重建时具有与视频单元相同的分辨率，并且其中矩阵中的每个样点具有与对应编解码单元(cu)的帧内预测模式相对应的值。

50、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了视频单元包括帧内编解码条带(i条带)或帧内编解码帧(i帧)。

51、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了视频单元包括单向编解码条带(p条带)或双向编解码帧(b帧)。

52、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了转换包括将视频数据编码成比特流。

53、可选地，在前述方面中的任一项中，该方面的另一实现方式提供了转换包括从比特流中解码视频数据。

54、一种用于处理媒体数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中指令在由处理器执行时使处理器：在对视频单元应用超分辨率(sr)过程期间使用编解码信息；和基于使用编解码信息应用的sr过程，执行包括视频单元的视频和视频的比特流之间的转换。

55、一种存储由视频处理装置执行的方法生成的视频的比特流的非暂时性计算机可读记录介质，其中方法包括：在对视频单元应用超分辨率(sr)过程期间使用编解码信息；和基于使用编解码信息应用的sr过程来生成比特流。

56、一种用于处理媒体数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中指令在由处理器执行时使得处理器执行本公开的实施例中任一项的方法。

57、一种存储视频的比特流的非暂时性计算机可读记录介质，视频的比特流是通过由视频处理装置执行的本公开的实施例中任一项的方法生成的。

58、一种其上存储有代码的计算机可读程序介质，代码包括指令，指令在由处理器执行时使处理器实现本公开的实施例中任一项的方法。

59、为清晰起见，任何一个前述实施例可与任何一个或多个其他前述实施例组合，以在本公开的范围内形成新的实施例。

60、从以下结合附图和权利要求的详细说明中，可更清楚地理解这些和其他特征。