在shvc中有条件地调用再取样过程的制作方法_4

文档序号:9439591阅读:来源:国知局
。另外,在一些实施例中,上取样单元92可为经配置以对从视频解码器30A的经解码图片缓冲器82接收的参考图片进行上取样或下取样的再取样单元90。
[0106]如图3B中所说明,视频解码器31可进一步包含多路分用器99或demux。多路分用器99可将经编码视频位流分裂为多个位流,其中由多路分用器99输出的每一位流被提供到不同的视频解码器30A和30B。可通过接收位流来产生多个位流,且视频解码器30A和30B中的每一者在给定时间接收位流的一部分。虽然在一些情况下,可在视频解码器(例如,在图3B的实例中的视频解码器30A及30B)中的每一者之间一次一个位地交替来自在多路分用器99处接收的位流的位,但在许多情况下,不同地划分所述位流。例如,可通过一次一个块地交替哪一视频解码器接收位流而划分所述位流。在另一实例中,可通过到视频解码器30A和30B中的每一者的块的非1:1比率来划分位流。举例来说,可针对提供到视频解码器30A的每一块将两个块提供到视频解码器30B。在一些实施例中,可预编程由多路分用器99对位流的划分。在其它实施例中,多路分用器99可基于从视频解码器31的外部的系统(例如从目的地装置14上的处理器)接收的控制信号而划分所述位流。可基于来自输入接口 28的视频的分辨率或位速率、基于信道16的带宽、基于与用户相关联的预订(例如,付费预订对免费预订)或基于用于确定可由视频解码器31获得的分辨率的任何其它因素而产生控制信号。
[0107]图片纵横比(PAR)和图片样本纵横比(PSAR)
[0108]图4说明参考层与增强层之间的图片纵横比可缩放性的实例的概念图。在一些实施例中,图片纵横比(PAR)为图片的宽度:高度比率,其中宽度及高度是以相同长度(空间测量)单位测得。图片纵横比可表达为X: Y,其中X为水平宽度,且Y为垂直高度(以任意空间距离单位)。在一些实施例中,图片样本纵横比(PSAR)为图片中的明度样本阵列的列之间的水平距离与行之间的垂直距离之间的比率。图片样本纵横比可表达为h: V,其中h为水平宽度,且V为垂直高度(以任意空间距离单位)。图4说明其中PSAR在参考层与增强层之间相同且参考层为增强层的经裁减版本的实例。明确地说,如图所示,参考层410可包括水平宽度412及垂直高度414。举例来说,水平宽度412可为853个像素,且垂直高度414可为480个像素。增强层420可包括水平宽度422和垂直高度424。举例来说,水平宽度422可为1280个像素且垂直高度424可为720个像素。在此图中,增强层420的空间分辨率为1280x720,且参考层410的空间分辨率为853x480 (WVGA)。参考层410及增强层420两者具有为I的PSAR。在此实例中,参考层410及增强层420两者具有16:9的PAR。
[0109]图5说明参考层与增强层之间的图片纵横比可缩放性的另一实例的概念图。图5说明其中PSAR在参考层与增强层之间相同且参考层为增强层的经按比例缩放且经裁减版本的实例。明确地说,如图所示,参考层510可包括水平宽度512及垂直高度514。举例来说,水平宽度512可为640个像素,且垂直高度514可为480个像素。增强层520可包括水平宽度522和垂直高度524。举例来说,水平宽度522可为1280个像素且垂直高度524可为720个像素。参考层510可经按比例缩放,且有可能经按比例缩放区的部分用于预测增强层520。在图5中,增强层的空间分辨率是1280x720 (PAR 16:9)且参考层的空间分辨率是640x480 (PAR 4:3),且所述层两者具有为I的PSAR。在图5的所说明的实施例中,增强层520具有与参考层510不同的图片纵横比。
[0110]HEVC/SHVC
[0111]在SHVC中,经上取样基础层图片的将用于层间预测的区也可以在序列参数集、VPS或切片标头中界定。与界定和/或用信号表示这些区相关的进一步细节可参见2013年3月5日申请的第61/773,102号美国临时申请案和2014年2月28日申请的第14/194,159号美国申请案,以上申请案中的每一者以全文引用的方式并入本文中。以下是SHVC工作草案中用信号表示的语法的实例:
[0112].scaled_ref_layer_left_offset以两个明度样本的单位指定用于层间预测的经再取样层图片的左上明度样本与当前图片的左上明度样本之间的水平偏移。当不存在时,推断 seq_scaled_ref_layer_left_offset 的值等于 O。
[0113].scaled_ref_layer_top_offset以两个明度样本的单位指定用于层间预测的经再取样层图片的左上明度样本与当前图片的左上明度样本之间的垂直偏移。当不存在时,推断 seq_scaled_ref_layer_top_offset 的值等于 O。
[0114].scaled_ref_layer_right_offset以两个明度样本的单位指定用于层间预测的经再取样层图片的右下明度样本与当前图片的右下明度样本之间的水平偏移。当不存在时,推断 seq_scaled_ref_layer_right_offset 的值等于 O。
[0115]# scaled_ref_layer_bottom_offset以两个明度样本的单位指定用于层间预测的经再取样层图片的右下明度样本与当前图片的右下明度样本之间的垂直偏移。当不存在时,推断 seq_scaled_ref_layer_bottom_offset 的值等于 O。
[0116]仅高级语法(HLS)改变SHVC
[0117]为了支持SHVC中的层间预测,参考层图片(当必要时经再取样)可放在增强当前图片的参考图片列表中作为参考图片。在空间可缩放性的情况下,经重构基础层图片可需要经上取样以匹配增强层图片大小。再取样过程可包含如例如上文所提及的2013年3月5日申请的第61/773,102号美国临时申请案和2014年2月28日申请的第14/194,159号美国申请案中所描述的上取样过程以及填补和/或裁剪过程。
[0118]在SHVC中有条件地调用再取样讨稈
[0119]在SHVC中,当添加参考层图片(例如,经重构参考层图片)作为当前图片的参考图片列表中的参考图片时,可对经重构参考层图片执行再取样过程(例如,上取样或下取样)以产生具有与当前图片相同大小的层间参考图片。如果再取样过程不是必要的(例如,如果经重构参考层图片与当前图片为相同大小等等),那么可将经重构参考层图片直接添加到当前图片的参考图片列表。否则,调用经再取样过程以产生新的层间参考图片以添加到当前图片的参考图片列表。
[0120]SHVC工作草案的早期版本简单地使用图片大小来确定是否需要调用再取样过程以形成层间参考图片。然而,对于如上文所描述用信号表示的经按比例缩放参考偏移(例如,scaled_ref_layer_left_ofTset、scaled_ref_layer_top_ofTset、scaled_ref_layer_right_offset、scaled_ref_layer_bottom_offset),SHVC 工作草案的早期版本中界定的条件不再足够。举例来说,如果当前图片和层间参考图片的图片大小相同(并且因此在当前SHVC工作草案程序下将不采用再取样),那么如果层间参考图片的仅一区用于层间预测,那么应对层间参考图片的所述区进行再取样,即使当前图片和层间参考图片的图片大小相同也是如此。
[0121]根据一些实施例,界定新条件且用作调用再取样过程的“触发器”(基础)。本发明中描述的技术可在确定是否应对层间参考图片进行再取样时考虑经按比例缩放参考层偏移以及空间分辨率。所述再取样过程适当时可包含层间参考图片的上取样、下取样、位移位、裁剪和/或填补。在一些实施例中,所述条件可基于空间分辨率和经按比例缩放参考层偏移。在其它实施例中,所述条件可基于空间分辨率、色度格式、位深度以及经按比例缩放参考层偏移。
[0122]如HEVC/SHVC中界定,当前图片的参考图片必须具有与当前图片的空间比率和图片大小相同的空间比率和图片大小。并且在SHVC中,存在层间参考图片的运动向量应当为零的规范性位流符合约束。因此,根据各种实施例,SHVC中的当前图片的层间参考图片应具有以下特征:
[0123]?层间参考图片应具有与当前图片相同的空间比率,
[0124]籲层间参考图片应具有与当前图片相同的图片大小,
[0125]籲参考层图片和当前图片的位于同一地点的样本应位于相同样本位置处。
[0126]如果参考层图片具有所有以上所提到的三个特征,那么可将经重构参考层图片直接添加到当前图片的参考图片列表。否则,调用再取样过程以产生层间参考图片以添加到当前图片的参考图片列表。在一些实施例中,所述技术可界定以使得当不满足以上三个特征中的任一者时对层间参考图片进行再取样的方式调用再取样过程的条件。下文参考图6描述与所述技术相关的某些细节。
[0127]图6是说明根据本发明的方面的用于调用再取样过程的实例条件的框图。贯穿本发明所使用的各种术语是具有它们的一般含义的广义术语。另外,在一些实施例中,某些术语涉及以下视频概念。图片可在所述术语用于当前标准(例如,HEVC)中时指代视频图片。偏移可指代两个点、两个线、两个边缘、两个表面、两个区域、两个元件、两个对象(例如,图片等)等之间的距离或差异。在一些实施例中,偏移可指代两个边界之间的间距,例如图6中说明的偏移624。举例来说,左偏移624a是增强层当前图片620的左边界与参考层622的经按比例缩放/经上取样相关区的左边界之间的间距;顶部偏移624b是增强层当前图片620的顶部边界与参考层622的经按比例缩放/经上取样相关区的顶部边界之间的间距;右偏移624c是增强层当前图片620的右边界与参考层622的经按比例缩放/经上取样相关区的右边界之间的间距;以及底部偏移624d是增强层当前图片620的底部边界与参考层622的经按比例缩放/经上取样相关区的左下边界之间的间距。在某些实施例中,偏移可相对于参考点、线、边界等而指定。在图6的实例中,左偏移624a、顶部偏移624b、右偏移624c和底部偏移624d是分别相对于增强层当前图片620的左边界、顶部边界、右边界和底部边界而指定。在一些实施例中,偏移可由坐标指示。举例来说,偏移可使用一或多个坐标的集合界定位置或定位。在一个实例中,偏移可包含水平坐标和垂直坐标。偏移可为正或负的值。
[0128]空间可缩放性支持
[0129]以下变量可以用于界定调用层间参考图片的再取样过程的条件。根据一些实施例,所述变量可如下界定:
[0130]⑩将变量PicWidthInSamplesL 626 和 PicHeightInSamplesL 628 设定成以明度样本的单位分别等于当前图片的宽度和高度。
[0131]⑩将变量 RefLayerPicWidthlnSamplesL 616 和 RefLayerPicHeightlnSamplesL618设定成以明度样本的单位分别等于经解码参考层图片的宽度和高度。替代地,将变量RefLayerPicffidthInSampIesL 616 和 RefLayerPicHeightlnSamplesL 618 设定成以明度样本的单位分别等于经裁减经解码参考层图片的宽度和高度。
[0132]?将变量ScaledRefLayerLeftOffset 624a以明度样本的单位界定为用于层间预测的经再取样层图片的左上明度样本与当前图片的左上明度样本之间的水平偏移。
[0133]?将变量ScaledRefLayerTopOffset 624b以明度样本的单位界定为用于层间预测的经再取样层图片的左上明度样本与当前图片的左上明度样本之间的垂直偏移。
[0134]?将变量ScaledRefLayerRightOffset 624c以明度样本的单位界定为用于层间预测的经再取样层图片的右下明度样本与当前图片的右下明度样本之间的水平偏移。
[0135]?将变量ScaledRefLayerBottomOffset 624d以明度样本的单位界定为用于层间预测的经再取样层图片的右下明度样本与当前图片的右下明度样本之间的垂直偏移。
[0136]?变量 ScaledRefLayerPicWidthlnSamplesL 630 和 ScaledRefLayerPicHeightInSamplesL 632 如下界定:
[0137]-ScaledRefLayerPicffidthInSampIesL = PicffidthlnSamplesL-ScaledRefLayerLeftOffset-ScaledRefLayerRightOffset
[0138]-ScaledRefLayerPicHeightInSampIesL = PicHeightlnSamplesL-ScaledRefLayerTopOffSet-ScaledRefLayerBottomOffset
[0139]ScaledRefLayerLeftOffset 624a、ScaledRefLayerTopOffset 624b、ScaledRefLayerRightOffset 624c 和 ScaledRefLayerBottomOffset 624d 可对应于如上文所阐释的 scaled_ref_layer_left_ofTset、scaled_ref_layer_top_ofTset、scaled_ref_layer_right_offset 和 scaled_ref_layer_bottom_ofTset0
[0140]在某些实施例中,可在编码器处在决定增强层图片的哪一区将用作用于参考层图片的输入时确定经按比例缩放参考层偏移。举例来说,编码器接收用于增强层的视频数据输入且选择当前增强层图片的区以译码为对应参考层图片。编码器可设定经按比例缩放参考层偏移的值以界定此区。所述偏移可相对于当前增强层图片。随后,经按比例缩放参考层偏移值可当编码器正基于参考层图片(例如,经重构参考层图片)对当前增强层图片进行编码时可用于编码器。编码器可使用下文指定的条件来确定是否再取样参考层图片(例如,经重构参考层图片)。类似地,解码器可使用下文指定的相同条件来确定是否再取样参考层图片(例如,经重构参考层图片)。
[0141]在一个实施例中,用于检查是否调用层间参考图片的再取样过程的条件如下界定:
[0142]籲如果PicWidthlnSamplesL 626 等于 RefLayerPicWidthlnSamplesL 616 且 PicHeightInSamplesL 628 等于 RefLayerPicHeightlnSamplesL 618 且 ScaledRefLayerLeftOffset 624a、 ScaledRefLayerTopOffset 624b、 ScaledRefLayerRightOffset 624c 和ScaledRefLayerBottomOffset 624d 的值全部等于 0,
[0143]-巡^不执行再取样过程,例如,将经重构参考层图片直接添加到当前图片的参考图片列表;
[0144]?歪迦,调用再取样过程以产生经再取样层间参考图片。
[0145]在此实施例中,如果当前图片的图片大小和层间参考图片的图片大小相同且所有经按比例缩放参考层偏移等于0,那么可将层间参考图片添加到当前图片的参考图片列表而无需再取样层间参考图片。否则,对层间参考图片进行再取样且随后将经再取样层间参考图片添加到当前图片的参考图片列表。通过检查图片大小和经按比例缩放参考层偏移,所述技术可检查当前图片和层间参考图片是否具有相同的空间比率和图片大小。
[0146]在另一实施例中,用于检查是否调用层间参考图片的再取样过程的条件如下界定:
[0147]籲如果ScaledRefLayerPicWidthInSamDIesL 630 等于 RefLayerPicWidthInSampIesL 616 且 ScaledRefLayerPicHeightInSampIesL 632 等于 RefLayerPicHeightInSamplesL 618 且 ScaledRefLayerLeftOffset 624a、 ScaledRefLayerTopOffset 624b、ScaledRefLayerRightOffset 624c 和 ScaledRefLayerBottomOffset 624d 的值全部等于0,
[0148]-巡^不执行再取样过程,例如,将经重构参考层图片直接添加到当前图片的参考图片列表;
[0149]?歪迦,调用再取样过程以产生经再取样层间参考图片。
[0150]在此实施例中,如果当前图片的图片大小和经按比例缩放层间参考图片的图片大小相同且所有经按比例缩放参考层偏移等于0,那么可将层间参考图片添加到当前图片的参考图片列表而无需再取样层间参考图片。否则,对层间参考图片进行再取样且随后将经再取样层间参考图片添加到当前图片的参考图片列表。如上文所阐释,通过检查图片大小和经按比例缩放参考层偏移,所述技术可检查当前图片和层间参考图片是否具有相同的空间比率和图片大小。
[0151]对额外可缩放性类型的支持
[0152]如上所提到,再取样过程用以产生具有与当前图片相同图片格式的层间参考图片。对于上述空间可缩放性情况,仅考虑空间分辨率。然而,一般图片格式信息包含更多信息,例如图片样本的位深度和色度颜色格式。因此,在当前图片的此信息不同于参考层图片的此信息时可需要调用某一种类的再取样过程。举例来说,参考层的样本值可由8个数据位表示,导致从O到255的值范围;增强层的样本值可由10个数据位表示,导致从O到1023的值范围。作为另一实例,参考层图片可具有YUV420色度颜色格式,且增强层可具有YUV444色度颜色格式。在这些实例中,基于参考层与增强层之间的位深度和/或色度颜色格式的差异,可需要再取样过程以支持SHVC中的位深度可缩放性和色度颜色格式可缩放性。
[0153]以下变量可以用于界定调用层间参考图片的再取样过程的条件。根据一些实施例,所述变量可如下界定:
[0154]?变量BitD印thY和BitD印the分别是当前图片的明度分量和色度分量的位深度。
[0155]?变量RefLaye
当前第4页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1