Mv-hevc中的视图间相依性类型的制作方法_3

文档序号:9816718阅读:来源:国知局
位流次序)。解码次序布置被称作时间优先译 码。每一存取单元经界定W含有用于一个输出时间实例的所有视图的经译码图片。应注意, 存取单元的解码次序可并不相同于输出或显示次序。
[0064] 图3是说明实例多视图视频译码(MVC)预测模式的概念图。在图3的实例中,说明八 个视图,且对于每一视图说明十二个时间位置。一般来说,图3中的每一行对应于一视图,而 每一列指示一时间位置。所述视图中的每一者可使用视图识别符rview_icn来识别,所述 视图识别符可用W指示相对于其它视图的相对相机位置。在图3中所示的实例中,将视图ID 指示为"SO"到"S7",但也可使用数字视图ID。另外,所述时间位置中的每一者可使用图片次 序计数(POC)值来识别,所述POC值指示图片的显示次序。在图帥所示的实例中,将POC值指 示为叮0"到叮11"。
[0065] 图3中的图片是使用包含字母的阴影块说明,所述字母指明对应图片是经帖内译 码(即,I图片)还是在一个方向上(即,作为P帖)还是在多个方向上(即,作为B帖)经帖间译 码。一般来说,通过箭头来指示预测,其中指向的图片使用指出对象用于预测参考。举例来 说,在时间位置TO的视图S2的P帖是从在时间位置TO的视图SO的I帖预测。图3中所示的图片 中的每一者可被称为视图分量。
[0066] 如同单视图视频编码,多视图视频序列的图片可相对于在不同时间位置处的图片 预测性地编码。举例来说,时间位置Tl处的视图SO的b帖具有从时间位置TO处的视图SO的I 帖指向其的箭头,从而指示b帖是从I帖预测的。然而,另外,在多视图视频编码的情况下,图 片可经视图间预测。也就是说,视图分量可使用其它视图中的视图分量用于参考。举例来 说,在MVC中,如同另一视图中的视图分量为帖间预测参考而实现视图间预测。潜在视图间 参考可在SPS MVC扩展中用信号表示且可通过参考图片列表构造过程而修改,所述过程实 现帖间预测或视图间预测参考的灵活排序。
[0067] 图3提供视图间预测的各种实例。在图3的实例中,视图Sl的图片说明为是从视图 Sl的不同时间位置处的图片预测,且是从相同时间位置处的视图SO及S2的图片的图片经视 图间预测。举例来说,时间位置Tl处的视图Sl的b帖是从时间位置TO和T2处的视图Sl的B帖 中的每一者W及时间位置Tl处的视图SO和S2的b帖预测。
[0068] 在图3的实例中,大写的"B"及小写的"b"既定指示图片之间的不同阶层关系,而非 不同编码方法。大体来说,大写的"B"帖在预测阶层中比小写的"b"帖相对高。图3还说明使 用不同阴影等级的预测阶层的变化,其中较大阴影量(即,相对较暗)的图片在预测阶层中 高于具有较少阴影(即,相对较浅)的那些图片。举例来说,图3中的所有I帖说明为具有完全 阴影,而P帖具有稍浅的阴影,且B帖(及小写的b帖)具有相对于彼此的各种阴影水平,但始 终比P帖及I帖的阴影浅。
[0069] 大体来说,预测阶层与视图次序索引有关,其关系在于在预测阶层上相对较高的 图片应在解码阶层相对较低的图片之前解码,使得阶层相对较高的那些帖在解码阶层相对 较低的图片期间可用作参考图片。视图次序索引为指示存取单元中的视图分量的解码顺序 的索引。可在例如SI^等参数集中暗示视图次序索引。
[0070] W此方式,用作参考图片的图片可在解码参考所述参考图片而编码的图片之前进 行解码。视图次序索引为指示存取单元中的视图分量的解码顺序的索引。根据MVC/AVC,对 于每一视图次序索引i,用信号表示对应view_id。视图分量的解码遵循视图次序索引的升 序。如果呈现所有视图,那么视图次序索引集合包括从零到视图的全部数目少一的连续排 序集合。
[0071] 在一些情况下,可提取整个位流的子集W形成仍符合MVC的子位流。存在特定应用 可基于例如由服务器提供的服务、一或多个客户端的解码器的容量、支持和能力和/或一或 多个客户端的偏好而需要的许多可能的子位流。举例来说,客户端可能需要仅=个视图,且 可能存在两个情形。在一个实例中,一个客户端可需要流杨的观看体验且可能偏好具有 view_id值S0、S1和S2的视图,而另一其它客户端可需要视图可缩放性且偏好具有view_id 值S0、S2和S4的视图。运些子位流两者可作为独立MVC位流经解码且可同时受支持。
[0072] 虽然图3展示八个视图(S0-S7),如上所述,但MVC/AVC扩展支持多达1024个视图且 使用NAL单元标头中的view_idW识别NAL单元所属于的视图。可用信号表示视图次序索引 作为NAL单元标头的部分。即,为了比较的目的,视图次序索引可代替在MVC/AVC扩展的NAL 单元标头中用信号表示的view_id。视图次序大体上描述存取单元中的视图的排序,且视图 次序索引识别存取单元的视图次序中的特定视图。即,视图次序索引描述存取单元的对应 视图分量的解码次序。
[0073] 因此,SPS可提供视图的view_ids与视图的视图次序索引之间的关系。使用SPS中 的视图次序索引和数据,视频编码器20及视频解码器30可通过视图次序索引代替NAL单元 标头中的MVC/AVC的10位view_id,其可导致优于MVC/AVC方案的位节省。
[0074] 图3中展示了用于多视图视频译码的典型MVC预测结构(包含每一视图内的图片间 预测及视图间预测两者)。所述预测由箭头指示。在图3的实例中,被指向的对象使用指出的 对象用于预测参考。
[007引在MVC中,通过视差运动补偿支持视图间预测,所述视差运动补偿使用H.264/AVC 运动补偿的语法但允许将不同视图中的图片用作参考图片。也可由MVC支持两个视图的译 码。MVC的潜在优点中的一个优点是:MVC编码器可将两个W上视图视为3D视频输入且MVC解 码器可解码此类多视图表示。因此,具有MVC解码器的任何再现器可预期具有两个W上视图 的3D视频内容。
[0076]现将描述MVC视图间预测的方面。在MVC中,允许在相同存取单元(即,具有相同时 间实例)中的图片当中进行视图间预测。当对非基础视图中的一者中的图片进行译码时,如 果图片在不同视图中但具有相同时间实例,那么可将图片添加至参考图片列表中。可将视 图间预测参考图片放置在参考图片列表的任何位置中,正如任何帖间预测参考图片一般。 [OOW]现将描述MV讶广展的序列参数集(SPS)的方面。如图3中所展示,视图分量可使用其 它视图中的视图分量用于参考,其称为视图间预测。在MVC中,如同另一视图中的视图分量 为帖间预测参考般实现视图间预测。然而,潜在视图间参考在SPS MV讶广展(如W下表1中所 示)中用信号表示且可通过由视频译码器实施的参考图片列表构造过程修改,所述过程实 现帖间预测或视图间预测参考的灵活排序。

[0080] 表1
[0081] 在上方表1中所示的SPS MVC扩展中,对于每一视图,用信号表示可用W形成参考 图片列表0及参考图片列表1的视图的数目。
[0082] 如在SPS MV讶广展中用信号发送的用于错图片的预测关系可与用于相同视图的非 错图片(在SPS MVC扩展中用信号发送)的预测关系不同。在H. 264中,错图片是其中全部切 片可仅参考同一存取单元内的切片的经译码图片。换句话说,视图间预测可W用于错图片, 但非帖间预测(即,时间预测)用于错图片。H.264将非错图片界定为不是错图片的图片。
[008引现将论述MV-HEVC中的相依性类型的方面。在MV-皿VC中,W支持至少^个类型的 方式用信号表示层间相依性类型。所述=个类型是层间样本预测(如MVC中)、层间运动预测 W及两者的组合。
[0084] 如下文所示,在MV-肥VC的视频参数集(VPS)扩展中,语法元素"direct_dep_type_ len_minus2"指定支持多少层间预测类型,而语法元素"direct_(kpenden(:y_type [ i ] [ j ]" 指定确切的层间预测类型。更具体来说,语法元素"direct_dependency_type [ i ] [ j ]"识别 相依性层[i ]相对于层[j ]具有的类型。
[008引 W下再现与语义相关的MV-肥VC WD5的一部分。
[0086]视频参数集扩展语法
[0088] 表 2
[0089] direct_dep_type_len_minus2加2指定direct_dependency_type [ i ] [ j ]语法元素 的位数目。在符合此规范的此版本的位流中,direct_dep_type_len_minus2的值将等于0。 虽然在此规范的此版本中direct_dep_type_len_minus2的值将等于0,但解码器将允许 direct_dep_type_len_minus2在0到30(包含性)的范围内的其它值在语法中出现。
[0090] (1;['6。1:_(1696]1(16]1。7_1796[;[]。']指示具有等于1日761'_1(1_;[]1_]11111[;[]的]11111_ laye;r_id的层与具有等于laye;r_id_in_nuh[ j ]的nuh_laye;r_id的层之间的相依性的类型。 等于0的direct_(kpendency_type [ i ] [ j ]指示具有等于layer_id_in_nuh[ j ]的nuh_layer_ id的层用于具有等于laye;r_id_in_nuh[i]的nuh_laye;r_id的层的层间样本预测和层间运 动预测两者。等于1 的direct_dependency_type[ i ] [ j ]指示具有等于laye;r_id_in_nuh[ j ] 的nuh_laye;r_id的层用于具有等于laye;r_id_in_nuh[i]的nuh_laye;r_id的层的层间样本 预测但不用于层间运动预测。等于2的(1;['日(31:_(1日9日]1(1日]1。7_179日[;[]。']指示具有等于 layer_id_in_nuh[ j]的nuh_layer_id的层用于具有等于layer_id_in_nuh[i]的nuh_ layer_id的层的层间运动预测但不用于层间样本预测。虽然在此规范的此版本中direct, dependency_type[i] [ j]的值将在0到2(包含性)的范围内,但解码器将允许direct_ dependency_type[i][ j]在3到232 -2(包含性)的范围内的值在语法中出现。
[0091] 当对某些类型的多层视频进行译码时,视频编码器20及视频解码器30的性能不会 通过某些类型的层间预测而增强,或可仅最低限度地增强,意味着特定类型的层间预测不 产生合意的速率失真折中。作为一个实例,在一些情况下,MV-皿VC译码视频可不得益于或 仅最低限度地得益于层间运动预测。根据本发明的技术,视频编码器20可做出应停用层间 运动预测且视频解码器30可采用一种类型的层间预测的确定。即使视频编码器将做出此确 定,根据现存信令技术,视频编码器仍可需要用信号表示识别位流中的层的每一组合的相 依性类型的语法元素(例如,"direct_dependency_type"),其中所述相依性类型语法元素 的每次出现耗费至少两个位。现存MV-HEVC技术不包含避免"direct_d邱enden巧_type"语 法元素的此信令的机制,即使在例如层间运动预测停用的情况下所述语法元素可能不有 用。
[0092] 本发明介绍用于修改当前层相对于参考层的相依性类型的信令的技术。在MV-肥VC中,例如可修改"direct_(kp_type_len_minus2"语法元素 W允许相依性类型的数目等 于0,指示将不用信号表示相依性类型语法元素。当相依性类型语法元素未用信号表示时, 视频解码器30可确定当前层相对于参考层的相依性的类型是预定类型并且因此前进到使 用符合预定类型的层间预测解码当前层的块。如上文所论述,预定类型可在视频编解码器 中界定或可用信号表示为第一语法元素(例如,direct_(kp_type_len_minus2)的部分。
[0093] 如果与例如MV-HEVC结合实施本发明的技术,那么取决于direct_dep_type_len_ minus2 的值可避免"(1^6(31:_(1696]1(16]1巧_1796"语法元素的信令。如果(1;['6(31:_(169_17口6_ len_minus2等于第一值,那么视频解码器30可例如确定当前层相对于参考层的相依性的类 型是预定类型而无需接收direct_dependency_type语法元素的实例。在视频解码器30(即, 利用)"direct_dependency_type"语法元素的值用于解码过程的程度上,视频解码器30可 将direct_dependency_type的值设定为对应于预定类型的值。如果direct_dep_type_len_ minus2(即,第一语法元素)等于第二值,那么视频解码器30可例如通过接收direct, dependency_type语法元素的实例而确定当前层相对于参考层的相依性类型。
[0094] 根据本发明的技术,可使第0相依性类型等于(或关联于)层间预测的预定类型。因 此,视频解码器30可基于direct_dep_type_len_minus2的零的值而确定与VPS相关联的层 的相依性类型是预定类型。预定类型可例如为(1)层间样本预测、(2)层间运动预测或(3)层 间样本预测和层间运动预测的组合中的任一者。
[0095] 根据本发明的技术,VPS扩展语义可W下文所示的方式改变。在^下描述中,下划 塗既定展示添加,且蕩按樂既定展示删除。下文展示的改变是相对于MV-肥VC WD5而展示。 在W下实例中,direct_dep_type_len值可指示一个固定预测类型用于整个经译码视频序 列。因此,一些实例中可不需要存在direct_dependency_type语法元素。如上文所论述,其 它信令也可W实施W使得direct_dependency_type语法元素不用信号表示且被导出为预 定值。
[0096] 视频参数集扩展语法
[009引 表3
[0099] 在^上表3的实例中,语法元素"(1^6(31:_(169_1796_16]1_111;[]1113 2"改变为"(1^6(31:_ ckp_type_len",表示所述值可等于零。当视频解码器30在VPS中接收到"direct_dep_type_ len"的零的值时,视频解码器30将预定类型的层间预测指派给与VPS相关联的层的全部组 合。此预定类型可例如经编程到编解码器中或可单独地用信号表示。在W上表3的实例W及 下文的其它实例中,如果视频解码器30在位流中接收到direct_dependency_type语法元 素,那么视频解码器30接收用于每一层组合的direct_dependency_type的实例,其中表3中 的[i]和[j]表示各种层且[i][j]对应于层组合。当用于"direct_dep_type_len"的值是零 时,跳过W上表3中展示的循环(即,循环的指令集未执行),因为逻辑与运算"direct_ dependency_f Ia邑山[j ]&&direct_dep_type_len"为假,因为direct_dep_type_len为假。 因此,当跳过循环时,视频解码器30不接收语法元素"direct_(kpendency_type[ i ] [ j ]"的 任何实例。
[0100] 根据本发明的技术,视频编码器20可W视频解码器30可能够避免(即,制止和/或 不需要)通过解码direct_dep_type_
当前第3页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1