多视图解码器的制作方法

文档序号:37845573发布日期:2024-05-07 19:19阅读:来源:国知局

技术特征:

1.一种多视图解码器,被配置为使用从第一视图(12)到第二视图(15)的视图间预测,从数据流重建多个视图(12,15),其中,所述多视图解码器被配置为响应于所述数据流中的信令,以改变在所述第一视图(12)被分成的空间段(301)的空间段边界(300)处的所述视图间预测。

2.根据权利要求1所述的多视图解码器,其中,所述多视图解码器被配置为在改变所述视图间预测中,执行在所述数据流中可信令的可能视差矢量的域的限制。

3.根据权利要求1或2所述的多视图解码器,其中,所述多视图解码器被配置为基于所述数据流,确定用于所述第二视图(15)的当前部分(302)的可能视差矢量的域之中的视差矢量(308),并且在从所述第一视图12的共同定位到所述当前部分(302)的共同定位部分(306)偏移所确定的视差矢量(308)的参考部分(304)处取样所述第一视图(12)。

4.根据权利要求3所述的多视图解码器,其中,所述多视图解码器被配置为在改变所述视图间预测中,执行在所述数据流中可信令的可能视差矢量的域的限制,并且执行所述可能视差矢量的域的限制使得所述参考部分(304)位于所述共同定位部分(306)在空间上所在的空间段(301)内。

5.根据权利要求3所述的多视图解码器,其中,所述多视图解码器被配置为在改变所述视图间预测中,执行在所述数据流中可信令的可能视差矢量的域的限制,并且执行所述可能视差矢量的域的限制使得所述参考部分(304)位于所述共同定位部分(306)在空间上所在的空间段内,并且在指向所述边界(300)的维度的视差矢量的分量具有亚像素分辨率的情况下,所述参考部分(304)与所述空间段的边界间隔开大于或等于内插滤波器内核半宽度(310)。

6.根据前述权利要求中任一项所述的多视图解码器,其中,所述多视图解码器被配置为在改变所述视图间预测中,使用独立于空间段的边界外部的信息的替代数据,在延伸超出所述空间段的边界(300)的部分处填充内插滤波器内核(311),所述第一视图的共同定位到当前利用所述视图间预测进行预测的所述第二视图(15)的当前部分(302)的共同定位部分(306)在空间上位于所述空间段中。

7.根据前述权利要求中任一项所述的多视图解码器,其中,所述多视图解码器被配置为在所述视图间预测中,为所述第二视图的当前部分,导出所述第一视图(12)内的参考部分(314)并且根据所述数据流中的所述信令,

8.根据权利要求7所述的多视图解码器,其中,所述多视图解码器被配置为在导出所述参考部分(314)中,

9.根据权利要求8所述的多视图解码器,其中,所述多视图解码器被配置为基于在所述数据流中传输的深度图来估计用于所述当前部分的视差矢量或者用于所述当前部分的空间上或时间上预测的视差矢量。

10.根据权利要求8或9所述的多视图解码器,其中,所述多视图解码器被配置为在确定所述参考部分(314)中,通过使用所述视差矢量(316)在所述第一视图(12)成为编码块、预测块、残差块和/或变换块的划分中选择所述参考部分。

11.根据权利要求7到10中任一项权利要求所述的多视图解码器,其中,所述参数是运动矢量、视差矢量、残差信号和/或深度值。

12.根据权利要求7到11中任一项权利要求所述的多视图解码器,其中,所述属性是运动矢量、视差矢量、残差信号和/或深度值。

13.一种多视图编码器,被配置为使用从第一视图(12)到第二视图(15)的视图间预测,将多个视图(12、15)编码成数据流,其中,所述多视图编码器被配置为改变在所述第一视图(12)被分成的空间段(301)的空间段边界(300)处的所述视图间预测。

14.根据权利要求13所述的多视图编码器,其中,所述多视图编码器被配置为在改变所述视图间预测中,执行可能视差矢量的域的限制。

15.根据权利要求13或14所述的多视图编码器,其中,所述多视图编码器被配置为确定(例如,通过优化)用于所述第二视图(15)的当前部分(302)(例如,视差补偿地预测的预测块)的可能视差矢量的域中的视差矢量(308)并且将其作为信号在所述数据流中发送,并且在从所述第一视图12的共同定位到所述当前部分(302)的共同定位部分(306)偏移所确定的视差矢量(308)的参考部分(304)处取样所述第一视图(12)。

16.根据权利要求15所述的多视图编码器,其中,所述多视图编码器被配置为执行所述可能视差矢量的域的限制,使得所述参考部分(304)位于(例如,完全地)所述共同定位部分(306)在空间上所在的空间段(301)内。

17.根据权利要求15所述的多视图编码器,其中,所述多视图编码器被配置为执行所述可能视差矢量的域的限制,使得所述参考部分(304)位于所述共同定位部分(306)在空间上所在的空间段内,并且在指向所述边界(300)的维度的视差矢量的分量具有亚像素分辨率的情况下,所述参考部分(304)与所述空间段的边界间隔开大于或等于内插滤波器内核半宽度(310)。

18.根据权利要求13到17中任一项所述的多视图编码器,其中,所述多视图编码器被配置为在改变所述视图间预测中,在延伸超出空间段的边界(300)的部分处填充内插滤波器内核(311),所述第一视图的共同定位到当前利用所述视图间预测进行预测的所述第二视图(15)的当前部分(302)的共同定位部分(306)在空间上位于所述空间段中。

19.根据权利要求13到18中任一项所述的多视图编码器,其中,所述多视图编码器被配置为在所述视图间预测中,为所述第二视图的当前部分,导出在所述第一视图(12)内的参考部分(314),并且根据所述数据流中的信令,

20.根据权利要求19所述的多视图编码器,其中,所述多视图编码器被配置为在导出所述参考部分(314)中,

21.根据权利要求20所述的多视图编码器,其中,所述多视图编码器被配置为基于在所述数据流中传输的深度图来估计用于所述当前部分的视差矢量或者用于所述当前部分的空间上或时间上预测的视差矢量。

22.根据权利要求19到21中任一项权利要求所述的多视图编码器,其中,所述参数是运动矢量、视差矢量、残差信号和/或深度值。

23.根据权利要求19到22中任一项权利要求所述的多视图编码器,其中,所述属性是运动矢量、视差矢量、残差信号和/或深度值。

24.根据权利要求13到23中任一项所述的多视图编码器,被配置为将所述改变在所述数据流中作为信号发送到解码器,以使所述解码器依靠所述改变。

25.一种多视图解码器,被配置为使用从第一视图(12)到第二视图(15)的视图间预测,从数据流中重建多个视图(12,15),其中,所述多视图解码器被配置为使用在所述数据流中的信令作为保证,即在所述第一视图(12)被分成的空间段(301)的空间段边界(300)处限制所述视图间预测(602),使得所述视图间预测不涉及所述第二视图(15)的任何当前部分(302)对除了所述第一视图的共同定位到所述第二视图的相应当前部分的共同定位部分(606)所在的空间段以外的空间段的任何依赖性。

26.根据权利要求25所述的多视图解码器,被配置为响应于在所述数据流中的所述信令,使用视图间并行性,调整视图间解码偏移或决定执行所述第一和第二视图的重建的实验。

27.根据权利要求25或26所述的多视图解码器,其中,所述多视图解码器被配置为基于所述数据流,确定用于所述第二视图(15)的当前部分(302)的可能视差矢量的域之中的视差矢量(308),并且在从所述第一视图12的共同定位到所述当前部分(302)的共同定位部分(306)偏移所确定的视差矢量(308)的参考部分(304)处取样所述第一视图(12)。

28.一种用于使用从第一视图(12)到第二视图(15)的视图间预测,从数据流中重建多个视图(12,15)的方法,其中,所述方法响应于在所述数据流中的信令,以改变在所述第一视图(12)被分成的空间段(301)的空间段边界(300)处的所述视图间预测。

29.一种用于使用从第一视图(12)到第二视图(15)的视图间预测,将多个视图(12,15)编码成数据流的方法,其中,所述方法包括改变在所述第一视图(12)被分成的空间段(301)的空间段边界(300)处的所述视图间预测。

30.一种用于使用从第一视图(12)到第二视图(15)的视图间预测,从数据流中重建多个视图(12,15)的方法,其中,所述方法包括使用在所述数据流中的信令作为保证,即在所述第一视图(12)被分成的空间段(301)的空间段边界(300)处限制所述视图间预测(602),使得所述视图间预测不涉及所述第二视图(15)的任何当前部分(302)对除了所述第一视图的共同定位到所述第二视图的相应当前部分的共同定位部分(606)所在的空间段以外的空间段的任何依赖性。

31.一种具有程序代码的计算机程序,所述计算机程序在计算机上运行时,用于执行根据权利要求27到30中任一项所述的方法。

32.一种多层视频数据流(200),由nal单元(202)的序列组成,所述多层视频数据流(200)具有使用层间预测编码到其中的多个层的图片(204),每个nal单元(202)具有表示与各个所述nal单元相关的层的层索引(nuh_layer_id),所述nal单元的序列被构造成非交错的访问单元(206)的序列,其中,属于一个访问单元的nal单元与一个时间上的时刻的图片相关,并且不同的访问单元中的nal单元与不同的时刻相关,其中,在每个访问单元内,对于每个层,与各个层相关的nal单元被分组到一个或多个解码单元(208),并且与不同的层相关的nal单元的解码单元被交错,使得对于每个解码单元(208),用来编码各个所述解码单元的层间预测基于除了与所述各个解码单元相关的层以外的、被编码成在各个所述访问单元内于所述各个解码单元之前的解码单元的层的图片的部分。

33.根据权利要求32所述的多层视频数据流(200),其中,所述多层视频数据流具有交错信令,所述交错信令具有第一可能状态和第二可能状态,其中,

34.根据权利要求32或33所述的多层视频数据流,其中,每个nal单元具有表示所述各个nal单元在一组可能类型之中的类型的nal单元类型索引,并且在每个访问单元内,所述各个访问单元的所述nal单元的类型在nal单元类型之中遵循排序规则,并且在每对访问单元之间,打破所述排序规则。

35.一种多层视频编码器,用于生成由nal单元(202)的序列组成的多层视频数据流(200),所述多层视频编码器被配置为生成所述多层视频数据流(200),使得所述多层视频数据流具有使用层间预测编码到其中的多个层的图片(204),每个nal单元(202)具有表示与各个所述nal单元相关的层的层索引(例如,nuh_layer_id),所述nal单元的序列被构造成非交错的访问单元(206)的序列,其中,属于一个访问单元的nal单元与一个时间上的时刻的图片相关,并且不同的访问单元中的nal单元与不同的时刻相关,其中,在每个访问单元内,对于每个层,与各个层相关的nal单元中的至少一些被分组到一个或多个解码单元(208),并且与不同的层相关的nal单元的解码单元被交错,使得对于每个解码单元(208),用来编码各个所述解码单元的层间预测基于除了与所述各个解码单元相关的层以外的、被编码成在各个所述访问单元内于所述各个解码单元之前的解码单元的层的图片的部分。

36.一种解码器,被配置为解码由nal单元(202)的序列组成的多层视频数据流(200),所述多层视频数据流(200)具有使用层间预测编码到其中的多个层的图片(204),每个nal单元(202)具有表示与各个所述nal单元相关的层的层索引(例如,nuh_layer_id),所述nal单元的序列被构造成非交错的访问单元(206)的序列,其中,属于一个访问单元的nal单元与一个时间上的时刻的图片相关,并且不同的访问单元中的nal单元与不同的时刻相关,其中,在每个访问单元内,对于每个层,与各个层相关的nal单元中的至少一些被分组到一个或多个解码单元(208),并且与不同的层相关的nal单元的解码单元被交错,使得对于每个解码单元(208),用来编码各个所述解码单元的层间预测基于除了与所述各个解码单元相关的层以外的、被编码成在各个所述访问单元内于所述各个解码单元之前的解码单元的层的图片的部分。

37.根据权利要求36所述的解码器,其中,所述解码器被配置为通过并行方式从所述多层视频数据流中解码与所述一个时刻相关的多个层的图片。

38.根据权利要求36或37所述的解码器,其中,所述解码器被配置为根据所述nal单元属于的层,将所述nal单元分配到多个缓冲器上,来在所述多个缓冲器中缓冲所述多层视频数据流。

39.根据权利要求36到38中任一项所述的解码器,其中,所述多层视频数据流具有交错信令,所述交错信令具有第一可能状态和第二可能状态,其中,其中,所述解码器被配置为响应于所述交错信令在于:所述解码器知道,

40.根据权利要求36到39中任一项所述的解码器,其中,所述多层视频数据流具有交错信令,所述交错信令具有第一可能状态和第二可能状态,其中,所述解码器被配置为响应于所述交错信令在于:所述解码器被配置为,在所述交错信令具有所述第一可能状态的情况下,根据所述nal单元属于的层,将所述nal单元分配到多个缓冲器上,来在所述多个缓冲器中缓冲所述多层视频数据流,并且在所述交错信令具有所述第二可能状态的情况下,将所述多层视频数据流缓冲在所述多个缓冲器的一个缓冲器中,而不管所述各个nal单元属于的层。

41.根据权利要求36到40中任一项所述的解码器,其中,所述多层视频数据流(200)被布置使得每个nal单元具有表示所述各个nal单元在一组可能类型之中的类型的nal单元类型索引,并且在每个访问单元内,所述各个访问单元的所述nal单元的类型在nal单元类型之中遵循排序规则,并且在每对访问单元之间,打破所述排序规则,其中,所述解码器被配置为通过检测所述排序规则在两个直接连续的nal单元之间是否被打破,来使用所述排序规则检测访问单元边界。

42.一种用于生成由nal单元(202)的序列组成的多层视频数据流(200)的方法,所述方法包括生成所述多层视频数据流(200),使得所述多层视频数据流具有使用层间预测编码到其中的多个层的图片(204),每个nal单元(202)具有表示与各个所述nal单元相关的层的层索引(例如,nuh_layer_id),所述nal单元的序列被构造成非交错的访问单元(206)的序列,其中,属于一个访问单元的nal单元与一个时间上的时刻的图片相关,并且不同的访问单元中的nal单元与不同的时刻相关,其中,在每个访问单元内,对于每个层,与各个层相关的nal单元中的至少一些被分组到一个或多个解码单元(208),并且与不同的层相关的nal单元的解码单元被交错,使得对于每个解码单元(208),用来编码各个所述解码单元的层间预测基于除了与所述各个解码单元相关的层以外的、被编码成在各个所述访问单元内于所述各个解码单元之前的解码单元的层的图片的部分。

43.一种用于解码由nal单元(202)的序列组成的多层视频数据流(200)的方法,所述多层视频数据流(200)具有使用层间预测编码到其中的多个层的图片(204),每个nal单元(202)具有表示与各个所述nal单元相关的层的层索引(例如,nuh_layer_id),所述nal单元的序列被构造成非交错的访问单元(206)的序列,其中,属于一个访问单元的nal单元与一个时间上的时刻的图片相关,并且不同的访问单元中的nal单元与不同的时刻相关,其中,在每个访问单元内,对于每个层,与各个层相关的nal单元中的至少一些被分组到一个或多个解码单元(208),并且与不同的层相关的nal单元的解码单元被交错,使得对于每个解码单元(208),用来编码各个所述解码单元的层间预测基于除了与所述各个解码单元相关的层以外的、被编码成在各个所述访问单元内于所述各个解码单元之前的解码单元的层的图片的部分。

44.一种具有程序代码的计算机程序,所述计算机程序用于在计算机上运行时执行根据权利要求42到43中任一项所述的方法。

45.一种解码器,被配置为解码由数据包的序列组成的多层视频信号,所述数据包中的每个数据包包括层识别语法元素(806),其中,所述解码器被配置为响应于在所述多层视频信号中的层识别扩展机制信令(808;808’),以

46.根据权利要求45所述的解码器,其中,所述层识别语法元素(806)至少有助于所述层识别扩展机制信令(808),其中,所述解码器被配置为至少根据由采用或者不采用逸出值的所述预定数据包包括的所述层识别语法元素,为所述预定数据包确定所述层识别扩展机制信令(808)发送所述层识别扩展机制的激活还是去激活的信号。

47.根据权利要求45或46所述的解码器,其中,高级语法元素(822)至少有助于所述层识别扩展机制信令(808;808’),并且所述解码器被配置为根据所述高级语法元素(822),为所述预定数据包(810)确定所述层识别扩展机制信令发送所述层识别扩展机制的激活还是去激活的信号。

48.根据权利要求47所述的解码器,其中,所述解码器被配置为响应于采用第一状态的所述高级语法元素,确定所述层识别扩展机制信令(808;808’)发送所述层识别扩展机制的去激活的信号。

49.根据权利要求48所述的解码器,其中,所述层识别语法元素额外有助于所述层识别扩展机制信令(808),并且其中,所述解码器被配置为如果所述高级语法元素采用与所述第一状态不同的第二状态并且所述预定数据包的所述层识别语法元素采用逸出值,则确定所述等级识别扩展机制信令发送所述等级识别扩展机制的激活的信号用于所述预定数据包,并且如果所述高级语法元素采用所述第一状态以及所述层识别元素采用与所述逸出值不同的值中的一个适用,则确定所述等级识别扩展机制信令发送所述等级识别扩展机制的去激活的信号。

50.根据权利要求49所述的解码器,其中,所述解码器被配置为如果所述高级语法元素采用与所述第一和第二状态不同的第三状态,则将表示由所述预定数据包包括的所述层识别语法元素的数字和表示所述层识别扩展的数字串联,以获得所述预定数据包的所述等级识别索引。

51.根据权利要求49所述的解码器,其中,所述解码器被配置为如果所述高级语法元素采用所述第二状态,则使用所述高级语法元素确定所述等级识别扩展的长度n,并且将表示由所述预定数据包包括的所述层识别语法元素的数字和表示所述等级识别扩展的n位数字串联,以获得所述预定数据包的所述等级识别索引。

52.根据权利要求45到51中任一项所述的解码器,其中,所述解码器被配置为:

53.根据权利要求45到52中任一项所述的解码器,其中,所述解码器被配置为:

54.一种用于解码由数据包的序列组成的多层视频信号的方法,所述数据包中的每个数据包包括层识别语法元素(806),其中,所述方法响应于在所述多层视频信号中的层识别扩展机制信令(808;808’)在于:所述方法包括:

55.一种具有程序代码的计算机程序,所述计算机程序在计算机上运行时,用于执行根据权利要求54所述的方法。

56.一种使用层间预测在不同的信息量的等级将视频资料编码成的多层视频数据流,所述等级具有在其中定义的顺序次序并且所述视频资料被编码成所述多层视频数据流使得经由所述层间预测,层不取决于根据所述顺序次序的随后的任何层,其中,经由所述层间预测取决于一个或多个其他层的每个层增加所述视频资料被编码成所述一个或多个其他层时的信息量(例如,在不同维度类型的方面),其中,所述多层视频数据流包括:

57.一种网络实体,被配置为:

58.根据权利要求56所述的网络实体,被配置为:

59.一种方法,包括:

60.一种具有程序代码的计算机程序,所述计算机程序在计算机上运行时,用于执行根据权利要求59所述的方法。


技术总结
一种多视图解码器,被配置为使用从第一视图到第二视图的视图间预测,从数据流重建多个视图,其中,该多视图解码器被配置为响应于该数据流中的信令,以改变在该第一视图被分成的空间段的空间段边界处的该视图间预测。

技术研发人员:罗伯特·斯库平,卡斯滕·聚林,亚戈·桑切斯德拉富恩特,格哈德·特克,瓦莱里·乔治,托马斯·席尔,德特勒夫·马佩
受保护的技术使用者:GE视频压缩有限责任公司
技术研发日:
技术公布日:2024/5/6
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1