用于视频译码的跨层并行处理与偏移延迟参数的制作方法_5

文档序号:9602863阅读:来源:国知局
B,所 述CTB在平铺块的CTB光栅扫描中连续地排序。每一图片到平铺块的划分可被称作分割。 图片中的平铺块在图片的平铺块光栅扫描中为连续排序的,如图7中所展示。
[0173] 举例来说,图7说明图片90的实例CTB译码次序,图片90经分割成多个平铺块 92A、92B、92C、92D、92E、92F、92G、92H、92I及92J(共同地为"平铺块92"),其中平铺块边界 由粗线指示。图片90中的每一正方形块表示与CTB相关联的像素块。像素块中的数目指 示对应CTB(例如,LCU)在图片90的平铺块译码次序中的位置。如图11的实例中所说明, 首先译码平铺块92A中的CTB,继之以译码平铺块92B中的CTB,继之以译码平铺块92C中 的CTB,继之以译码平铺块92D中的CTB,继之以译码平铺块92E中的CTB,继之以译码平铺 块92F中的CTB,继之以译码平铺块92G中的CTB,继之以译码平铺块92H中的CTB,继之以 译码平铺块921中的CTB,继之以译码平铺块92J中的CTB。在平铺块92中的每一者内,根 据光栅扫描次序译码CTB。
[0174] 可针对整个序列来定义平铺块的数目及平铺块的边界的位置,或平铺块的数目及 平铺块的边界的位置可在图片间改变。类似于切片边界,平铺块边界破坏了剖析及预测相 依性,使得可独立地处理平铺块。然而,在一些情况下,环路内滤波器(例如,解块及样本自 适应偏移(SA0)滤波器)仍可跨越平铺块边界。举例来说,HEVC工作草案10提供在PPS 中指定的l〇〇P_filter_across_tiles_enabled_flagi吾法元素。当loop_filter_ _across_ tileS_enabled_flag语法元素的值等于1时,可跨越参考PPS的图片中的平铺块边界执行 环路内滤波操作loop_filter_across_tiles_enabled_flag语法元素等于0指定:不跨 越参考PPS的图片中的平铺块边界执行环路内滤波操作。
[0175] 使用平铺块可增强并行性,这是因为在处理器或处理器核心之间不需要用于熵解 码及运动补偿重建构的通信(或需要相对较少通信)。另外,当与切片相比较时,平铺块可 展现相对较佳译码效率,这是因为平铺块允许实现含有相关性可能高于切片的样本的图片 分割区形状。平铺块也可减少切片标头附加项。
[0176] 当在单层译码中使用平铺块时,可由视频解码器(例如,视频解码器30)使用语 法元素min_spatial_segmentation_idc来计算待由一处理线程处理的明度样本的最大数 目(假定视频解码器30最大限度地利用并行解码信息)。当不等于0时,min_spatial_ segmentationjdc语法元素可有助于对经译码视频序列的图片中的相异的经译码空间片 段区的最大的可能大小建立限制。在HEVCWD10中,不同线程之间可能存在一些图片相互 相依性,例如,归因于熵译码同步或跨越平铺块或切片边界的解块滤波。
[0177] 图8为说明用于波前并行处理(WPP)的波前的概念图。HEVC定义WPP技术。当启 用WPP时,图片的每一CTU行为单独的分割区。然而,与切片及平铺块相比较,无译码相依 性在CTU行边界处被破坏。另外,从前一行的第二CTU传播CABAC机率,以进一步减少译码 损失。而且,WPP并不改变常规光栅扫描次序。因为相依性未被破坏,所以与非并行位流相 比较,WPP位流的速率失真损失较少。
[0178] 当启用WPP时,高达CTU行的数目的数目个处理器可并行地起作用以处理CTU行 (或线)。然而,波前相依性并不允许所有CTU行在图片的开始处开始解码。因此,CTU行 也无法在图片结束时同时完成解码。此情形引入并行性效率低下,其在使用较多数目个处 理器时变得更显而易见。图8说明WPP如何并行地处理CTB的行,每一行以在处理上方行 的第二CTB之后可获得的CABAC机率开始。
[0179] 图9为说明从参考层图片104预测的实例增强层图片100的概念图。在此实例 中,增强层图片100包含平铺块102A到102D,而参考层图片104包含平铺块106A、106B。 如通过图9中的虚线展示,增强层图片100的平铺块102B对应于参考层图片104的平铺块 106A,而增强层图片100的平铺块102C对应于参考层图片104的平铺块106B。
[0180] 在此实例中,增强层图片100具有不同于参考层图片104的纵横比。举例来说,参 考层图片104可具有4:3纵横比,而增强层图片100可具有16:9纵横比。因此,增强层图 片100的平铺块102A、102D不具有在参考层图片104中的对应平铺块。举例来说,增强层 图片100的平铺块102A包含样本108。如通过垂直散列指示,样本108并不具有在参考层 图片104中的可用的经并置的参考层(RL)样本。类似地,增强层图片100的平铺块102D 的样本114并不具有可用的经并置的RL样本。然而,样本110、112确实具有在参考层图片 104中的可用的经并置的参考层样本(如通过交叉影线指示)。详细地说,样本110、112对 应于参考层图片104的样本116、118。
[0181] 图9说明平铺块102B、102C的平铺块边界可被称为与平铺块106A、106B的平铺块 边界对准的实例。在一些实例中,当对于位于相同增强层平铺块内的任何两个增强层图片 样本,经并置的参考层样本(如果可用)位于对应参考层平铺块内,且对于位于对应参考 层平铺块内的任何两个参考层图片样本,经并置的增强层样本(如果可用)位于对应增强 层平铺块内时,可将平铺块边界称为对准的。因为平铺块102B内的任何两个样本将对应于 平铺块106A内的经并置的样本,且同样地,平铺块106A内的任何两个样本将对应于平铺块 102B内的经并置的样本,所以可将平铺块102B的边界称为与平铺块106A的边界对准。类 似地,因为平铺块102C内的任何两个样本将对应于平铺块106B内的经并置的样本,且同样 地,平铺块106C内的任何两个样本将对应于平铺块102C内的经并置的样本,所以可将平铺 块102C的边界称为与平铺块106B的边界对准。
[0182] 平铺块边界对准可影响视频译码器(例如,视频编码器20或视频解码器30)译码 图片(或平铺块)的方式。举例来说,在一些情况下,在平铺块边界不对准的例子中,视频 译码器可限制层间预测或某些滤波操作。
[0183] 根据本发明的方面,可在VPS中提供平铺块边界是否对准的指示。举例来说,可将 指示参考VPS的层的平铺块是否与另一平铺块对准的一或多个语法元素包含于VPS中。举 例来说,语法元素tile_boundaries_aligned_flag[i] [j]等于1可指示:当由VPS指定的 第i层的一图片的任何两个样本属于一平铺块时,当两个经并置的样本存在于第i层的第 j直接参考层的图片中时,所述两个经并置的样本属于一个平铺块,且当第i层的一图片的 任何两个样本属于不同平铺块时,当两个经并置的样本存在于第i层的第j直接参考层的 图片中时,所述两个经并置的样本属于不同平铺块。语法元素tile_boundaries_aligned_ flag等于0指示此限制可能适用或可能不适用。当不存在时,推断出tile_boundaries_ aligned_flag[i] [j]的值等于 0。
[0184] 在一些实例中,可以上文表5中所展示的方式提供平铺块边界对准信息。在此些 实例中,视频解码器30可确定每一直接参考层(例如,如通过直接相依性旗标指示)是否 具有与当前层的平铺块对准的平铺块边界。
[0185] 以此方式,视频编码器(例如,视频编码器20)可在VPS中编码指示平铺块边界是 否在多层位流的层中的至少两者之间对准的数据。同样地,视频解码器(例如,视频解码器 30)可从VPS解码指示平铺块边界是否在多层位流的层中的至少两者之间对准的数据。
[0186] 图10为说明不具有经并置的参考层区的增强层区的概念图。图10的实例包含增 强层130及基础层132。可如在层间参考(参考层)中一样使用基础层132用于译码增强 层130。在增强层130内通过虚线134说明基础层132的经按比例调整/经增加取样的版 本。
[0187] 如图10的实例中所展示,增强层134还包含未包含于基础层134中的区136。区 136大体上包含经按比例调整/经增加取样的基础层134与增强层130的边界之间的区域, 如通过经按比例调整的偏移值scaled_ref_layer_left_offset、scaled_ref_layer_top_ offset、scaled_ref_layer_right_ofTset及scaled_ref_layer_bottom_ofTset指不。艮P, 语法元素scaled_ref_layer_left_offset的值指示增强层130的左边缘与经按比例调整 /经增加取样的基础层134的左边缘之间的位置差异。同样地,scaled_ref_layer_top_ offset指示增强层130的顶边缘与经按比例调整/经增加取样的基础层134的顶边缘之 间的位置差异,scaled_ref_layer_right_offset指示增强层130的右边缘与经按比例调 整/经增加取样的基础层134的右边缘之间的位置差异,且语法元素SCaled_ref_layer_ bottom_offset的值指示增强层130的底边缘与经按比例调整/经增加取样的基础层134 的底边缘之间的位置差异。在一些情况下,经按比例调整/经增加取样的基础层134与增 强层130的边界之间的通过偏移指示的区域可包含文字或其它屏幕内容(例如,并非视频 数据)。
[0188] 根据本发明的方面,视频译码器(例如,视频编码器20及/或视频解码器30)可 确定经并置的样本(例如,参考样本)的位置。视频译码器也可基于所确定的经并置的样 本确定经并置的CTU的位置。经并置的CTU可用于增强层130与基础层132之间的层间预 测(例如,在基础层132为参考层的情况下)的目的。
[0189] 在一实例中,为了说明的目的,视频译码器可根据以下等式确定第i直接参考层 的经并置的样本的变量xRef[i]及yRef[i]:
[0190] xRef[i] = ((xP-ScaledRefLayerLeftOffset)*ScaleFactorX+(1<<15))>>16
[0191] yRef[i] = ((yP-ScaledRefLayerTopOffset)*ScaleFactorY+(1<<15))>>16
[0192] 其中xRef[i]表示经并置的样本的x坐标,且yRef[i]表示经并置的样本 的y坐标。另外,χΡ及yP可为图片P中相对于图片的左上样本的样本位置,语法元素 ScaledRefLayerLeftOffset的值可为增强层130的左边缘与经按比例调整/经增加取样的 基础层134的左边缘之间的距离的指示,且语法元素ScaledRefLayerTopOffset的值可为 增强层130的右边缘与经按比例调整/经增加取样的基础层134的右边缘之间的距离的指 示。另外,ScaleFactorX及ScaleFactorY(基于参考图片及经按比例调整的参考图片的大 小的按比例调整因子)可根据上文所提及的SHVC文件(JCTVCM1007)的G. 8. 1. 4章苄基 于增强层130与基础层132之间的比例差异来确定。
[0193] 在上述实例中,根据本发明的方面,视频译码器基于偏移值调整经并置的样本 XRef、yRef·。举例来说,视频译码器可基于指示两层之间的比例差异的经按比例调整的偏移 确定参考样本的位置。因此,不是将增强层130的样本直接映射到基础层132中的对应位 置,而是视频译码器可考虑到归因于比例差异及偏移产生的相对位置差异。
[0194] 在确定经并置的样本的位置之后,视频译码器可确定经并置的CTU的位置。在一 些情况下,视频译码器可分开确定给定CTU的相应经并置的CTB(明度CTB及色度CTB)的 位置。在一实例中,为了说明的目的,根据本发明的方面,视频译码器可基于以下等式确定 经并置的CTU的位置:
[0195] xColCtb = xRef>>refCtbLog2SizeY[i],
[0196] yColCtb = yRef>>refCtbLog2SizeY[i],
[0197] colCtbAddr[i] = xColCtb[i]+(yColCtb[i]*refPicffidthInCtbsY[i])
[0198] 其中xColCtb表示CTU的x分量(例如,CTU的明度CTB或色度CTB中的一 者),xRef表示经并置的样本的x坐标,yColCtb表示经并置的CTU的y分量,yRef表 示经并置的样本的y坐标,且colCtbAddr[i]表示经并置的CTU的地址。另外,可将变 量refCtbLog2SizeY[i][j]、refPicWidthInCtbsY[i][j]及refPicHeightInCtbsY[i] [j]设定为分别等于第i层的第j直接参考层的CtbL〇g2SizeY、PicWidthlnCtbsY及 PicHeightlnCtbsY。因此,变量colCtbAddr[i]表示光栅扫描地址等于ctbAddr的CTU的 在第i直接参考层中的图片中的经并置的CTU的光栅扫描地址。
[0199] 根据本发明的方面,如果经并置的CTU位于满足偏移延迟的区域中,那么可仅使 用经并置的CTU。举例来说,如上文所提及,语法元素min_spatial_segment_offset_plusl 及min_horizontal_ctu_offset_plusl可用以指示当前层的解码延迟。然而,当使用扩展 的空间可伸缩性时,以下情形为有可能的:对于当前层中的空间片段A(切片、平铺块、CTU 行或CTU),经并置的空间片段B可能不存在于直接参考层中。举例来说,如图10的实例中 所展示,包含于增强层130中的空间片段的经并置的空间片段可能不包含于基础层132中 (例如,空间片段可能包含于在基础层132中并不具有对应区域的区域136中)。在此实例 中,可能未准确地确定偏移延迟。
[0200] 根据本发明的方面,当对于当前层中的特定CTU来说,参考层中的经并置的CTU不 存在时,视频译码器(例如,视频编码器20及/或视频解码器30)可将CTU地址(X分量及 y分量)的值调整到对应参考层边界,使得经调整的地址对应于存在于参考层中的CTU。在 图10的实例中,视频译码器可调整地址,使得经并置的CTU对应于基础层132的边界内的 CTU〇
[0201] 在一实例中,为了说明的目的,视频译码器可在确定经并置的CTU之前应用剪辑 函数以调整经并置的样本的地址。举例来说,视频译码器可应用下文的等式:
[0202] xRef[i] = Clip3 (leftStartc, rightEndc-l, xRef [i]),
[0203] yRef[i] = Clip3 (topStartc, bottomEndc-l, yRef [i])
[0204] 其中xRef[i]表示经并置的样本的x坐标,yRef[i]表示经并置的样本的y坐标。 在一些实例中,视频译码器可基于下文的等式确定变量leftStarte、rightEnde、topStartc 及bottomEndc (其中下标C表示色度样本):
[0205] leftStartC = ScaledRefLayerLeftOffset/SubffidthC
[0206] rightEndC = (PicffidthlnSamplesL-ScaledRefLayerRightOffset)/SubffidthC
[0207] topStartC = ScaledRefLayerTopOffset/SubHeightC
[0208] bottomEndC = (PicHeightlnSamplesL-ScaledRefLayerBottomOffset)/ SubHeightC
[0209] 其中经按比例调整的偏移(例如,ScaledRefLayerOffset)对应于图10的实例中 所展示的偏移。虽然上述实例是针对色度样本加以说明,但视频译码器可针对明度CTB应 用类似等式。
[0210] 在上述实例中,当参考样本位于参考图片外部时,视频译码器将偏移调整到参考 图片的相对边界;否则,视频译码器并不调整参考样本的位置。举例来说,当参考样本的水 平位置位于左参考图片边界的左方时,视频译码器可用左参考图片边界的位置替换水平位 置。同样地,当参考样本的水平位置位于右参考图片边界的右方时,视频译码器可用右参考 图片边界的位置替换水平位置。当参考样本的垂直位置位于顶部参考图片边界的上方时, 视频译码器可用顶部参考图片边界的位置替换垂直位置。当参考样本的垂直位置位于底部 参考图片边界的下方时,视频译码器可用底部参考图片边界的位置替换垂直位置。
[0211] 通过在寻找基础层130中的经并置的CTU之前,基于经按比例调整的偏移值调整 经并置的样本的位置,视频译码器可调整经并置的CTU使其位于基础层130的边界内。
[0212] 以此方式,如果偏移延迟指示不存在于参考层(例如,基础层132)中的空间位置, 那么视频译码器仍可确定何时开始译码当前层(例如,增强层130)。即,通过调整经并置的 CTU使其位于参考层内,视频译码器也可调整偏移延迟使其位于参考层的有效位置中。
[0213] 在另一实例中,当具有地址colCtbAddr的CTU不存在于第i直接参考层中时,视 频译码器可推断所述空间片段的语法元素min_spatial_segment_offset_plusl [i]的值 为零。在此实例中,视频译码器也可应用关于JCTVC-M0464的数个其它改变。举例来说,当 ctu_based_offset_enabled[i]语法元素等于0时,视频译码器可应用以下约束:使CTU行 A为参考SPS的任何图片picA中的任何CTU行,且ctbAddr为CTU行A中的最后的CTU的 光栅扫描地址;使CTU行B为处于与picA属于相同的存取单元的图片picB中且属于第i 直接参考层并含有具有光栅扫描地址colCtbAddr[i]的CTU的CTU行;使CTU行C为也在 picB中且在解码次序上在CTU行B之后的CTU行,且在CTU行B与所述CTU行之间,在解码 次序上存在min_spatial_segment_offset_plusl[i] -1 个CTU行;当存在CTU行C时,CTU 行A的语法元素受约束,使得CTU行C或相同图片的在C之后的行中无样本或语法元素值 被用于CTU行A内的任何样本的解码过程中的层间预测。另外,当CTU行B不存在时,推断 出所述空间片段的语法元素min_spatial_segment_offset_plusl[i]的值为零。
[0214] 视频译码器可对类似切片及平铺块的其它空间片段应用相同约束。举例来说,当 切片片段B不存在时,可推断出所述空间片段的语法元素min_spatial_segment_offset_ plusl[i]的值为零。作为另一实例,当平铺块B不存在时,可推断出所述空间片段的语法元 素min_spatial_segment_offset_plusl[i]的值为零。
[0215] 图11A为说明用于编码包含视频数据的偏移延迟信息的多层视频数据的实例过 程的流程图。为了说明的目的,大体上将图11A的过程描述为由视频编码器20执行,但多 种其它处理器也可执行图11A中所展示的过程。
[0216] 在图11A的实例中,视频编码器20可确定是否存在针对当前经编码的多层位流的 任何层间预测限制(150)。举例来说,当编码可并行解码的多个层时,视频编码器20可应用 层间预测限制。特定偏移延迟参数可取决于视频编码器20的特定架构(例如,处理核心的 数目或其类似者)。
[0217] 如果存在层间限制(150的"是"分支),那么视频编码器20可编码偏移延迟指示 及每一参考层的偏移延迟(152)。根据本发明的方面,视频编码器20可在VPS中编码此信 息。举例来说,视频编码器20可在VPS中编码指示是否存在任何层间预测限制的数据。在 一些情况下,所述数据可包含指示至少一参考层是否具有相关联的偏移延迟的一或多个语 法元素。视频编码器20也可编码指示具有延迟的每一参考层的偏移延迟(例如,偏移延迟 的空间区域)的数据。
[0218] 视频编码器20可接着根据VPS的数据编码所述层(154)。在一些情况下,视频编 码器20可并行地编码所述层。
[0219] 图11B为说明用于解码包含视频数据的偏移延迟信息的多层视频数据的实例过 程的流程图。为了说明的目的,大体上将图11B的过程描述为由视频解码器30执行,但多 种其它处理器也可执行图11B中所展示的过程。
[0220] 在图11B的实例中,视频解码器30可确定是否存在针对当前经编码的多层位流的 任何层间预测限制(158)。举例来说,视频解码器30可确定当前层的任何直接参考层(其 中直接参考层是供当前层参考以用于达成层间预测的目的)是否具有相关联的偏移延迟。 根据本发明的方面,视频解码器30可基于包含于VPS中的数据作出层间预测限制确定
当前第5页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1