72可基于从熵解码单元70接收的运动向量产生预测数据，而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符产生预测数据。参考帧存储器82可包含经解码图片缓冲器。经解码图片缓冲器为具有其一般含义的广义术语，且在一些实施例中是指参考帧的视频编解码器管理式数据结构。
[0103]在解码过程期间，视频解码器30从视频编码器20接收表示经解码视频切片的视频块的经编码视频位流及相关联语法元素。视频解码器30的熵解码单元70熵解码位流以产生经量化系数、运动向量或帧内预测模式指示符及其它语法元素。熵解码单元70将运动向量及其它语法元素转发到运动补偿单元72。视频解码器30可接收视频切片层级及/或视频块层级处的语法元素。
[0104]当视频切片经译码为经帧内译码(I)切片时，帧内预测单元74可基于用信号表示的帧内预测模式及来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(例如，B、P或GPB)切片时，运动补偿单元72基于运动向量及从熵解码单元70接收的其它语法元素而产生用于当前视频切片的视频块的预测性块。预测性块可从参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可基于存储在参考帧存储器82中的参考图片使用默认建构技术建构参考帧列表，列表O及列表I。
[0105]运动补偿单元72通过解析运动向量及其它语法元素确定用于当前视频切片的视频块的预测信息，且使用所述预测信息产生用于正经解码的当前视频块的预测性块。举例来说，运动补偿单元72使用所接收语法元素中的一些确定用于译码视频切片的视频块的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的建构信息、切片的每一经帧间编码视频块的运动向量、切片的每一经帧间译码视频块的帧间预测状态及用以解码当前视频切片中的视频块的其它信息。
[0106]运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用如由视频编码器20在视频块的编码期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此情况下，运动补偿单元72可从所接收语法元素确定由视频编码器20使用的内插滤波器并使用所述内插滤波器来产生预测性块。
[0107]视频解码器30还可包含层间预测单元75。层间预测单元75经配置以使用SVC中可用的一或多个不同层(例如，基础层或参考层)来预测当前块(例如，EL中的当前块)。此预测可被称为层间预测。层间预测单元75利用预测方法以减少层间冗余，借此改善译码效率且减少计算资源要求。层间预测的一些实例包含层间帧内预测、层间运动预测及层间残余预测。层间帧内预测使用基础层中的共置块的重建构来预测增强层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层间残余预测使用基础层的残余来预测增强层的残余。当基础层及增强层具有不同空间分辨率时，可由层间预测单元75使用时间缩放功能执行空间运动向量缩放及/或层间位置映射，如下文更详细描述。
[0108]反量化单元76反量化(例如，去量化)提供于位流中且由熵解码单元70解码的经量化变换系数。反量化过程可包含使用由视频解码器30针对视频切片中的每一视频块计算以确定应应用的量化程度且同样地反量化程度的量化参数QPY。
[0109]反变换单元78将反变换应用于变换系数(例如，反DCT、反DST、反整数变换或概念上类似反变换过程)，以便产生像素域中的残余块。
[0110]在运动补偿单元72基于运动向量及其它语法元素产生当前视频块的预测性块之后，视频解码器30通过将来自反变换单元78的残余块与由运动补偿单元72产生的对应预测性块求和来形成经解码视频块。求和器90表示执行此求和运算的组件。如果需要，还可应用解块滤波器以滤波经解码块，以便移除成块效应伪影。还可使用其它环路滤波器(在译码环路内或在译码环路之后)来使像素转变平滑或以其它方式改善视频质量。接着将给定帧或图片中的经解码视频块存储在参考帧存储器82中，所述参考帧存储器存储用于后续运动补偿的参考图片。参考帧存储器82还存储经解码视频以用于稍后在显示装置(例如，图1的显示装置32)上呈现。
[0111]多层解码器
[0112]图3B为说明可实施根据本发明中描述的方面的技术的多层视频解码器31的实例的框图。视频解码器31可经配置以处理多层视频帧，例如，用于SHVC及多视图译码。另外，视频解码器31可经配置以执行本发明的技术中的任一者或全部。
[0113]视频解码器31包含视频解码器30A及视频解码器30B，其中的每一者可经配置为图3A的视频解码器30且可执行上文关于视频解码器30所描述的功能。另外，如由参考标号的再使用所指示，视频解码器30A及30B可包含系统及子系统中的至少一些以作为视频解码器30。尽管将视频解码器31说明为包含两个视频解码器30A及30B，但视频解码器31不被如此限制且可包含任何数目个视频解码器30层。在一些实施例中，视频解码器31可包含用于接入单元中的每一图片或帧的视频解码器30。举例来说，包含五个图片的接入单元可由包含五个解码器层的视频解码器处理或解码。在一些实施例中，视频解码器31可包含比接入单元中的帧多的解码器层。在一些此类情况下，当处理一些接入单元时，视频解码器层中的一些可不在作用中。
[0114]除视频解码器30A及30B之外，视频解码器31可包含上取样单元92。在一些实施例中，上取样单元92可对所接收视频帧的基础层上取样以建立待添加到用于帧或接入单元的参考图片列表的增强层。此增强层可存储于参考帧存储器82中(例如，其经解码图片缓冲器中等)。在一些实施例中，上取样单元92可包含关于图2B的再取样单元90所描述的实施例中的一些或全部。在一些实施例中，上取样单元92经配置以对层上取样且重新组织、重新定义、修改或调整一或多个切片以符合一组切片边界规则及/或光栅扫描规则。在一些情况下，上取样单元92可为经配置以对所接收视频帧的层上取样及/或下取样的再取样单元。
[0115]上取样单元92可经配置以从较低层解码器(例如，视频解码器30A)的经解码图片缓冲器82接收图片或帧(或与图片相关联的图片信息)并对图片(或所接收图片信息)上取样。接着可将此经上取样图片提供到较高层解码器(例如，视频解码器30B)的模式选择单元71，所述较高层解码器经配置以解码与较低层解码器相同的接入单元中的图片。在一些情况下，较高层解码器为从较低层解码器移除的一个层。在其它情况下，在图3B的层O解码器与层I解码器之间可存在一或多个较高层解码器。
[0116]在一些情况下，可省略或绕过上取样单元92 O在此类情况下，可直接提供来自视频解码器30A的经解码图片缓冲器82的图片，或至少不提供到上取样单元92，不提供到视频解码器30B的模式选择单元71。举例来说，如果提供到视频解码器30B的视频数据及来自视频解码器30A的经解码图片缓冲器82的参考图片具有相同大小或分辨率，则可将参考图片提供到视频解码器30B而无需上取样。另外，在一些实施例中，上取样单元92可为经配置以对从视频解码器30A的经解码图片缓冲器82接收的参考图片上取样或下取样的再取样单元90。
[0117]如图3B中所说明，视频解码器31可进一步包含多路分用器99或demux。demux99可将经编码视频位流分裂成多个位流，其中由demux 99输出的每一位流被提供到不同的视频解码器30A及30B。可通过接收位流来建立多个位流，且视频解码器30A及30B中的每一者在给定时间处接收位流的一部分。虽然在一些情况下可在视频解码器(例如，图3B的实例中的视频解码器30A及30B)中的每一者之间一次一位地交替来自demux 99处所接收的位流的位，但在许多情况下不同地划分位流。举例来说，可通过一次一块地交替视频解码器接收的位流而划分所述位流。在另一实例中，可通过到视频解码器30A及30B中的每一者的非1:1比率的块来划分位流。举例来说，可针对提供到视频解码器30A的每一块将两个块提供到视频解码器30B。在一些实施例中，可预编程由demux 99对位流的划分。在其它实施例中，demux 99可基于从视频解码器31外部的系统(例如，从目的地装置14上的处理器)接收的控制信号而划分位流。控制信号可基于来自输入接口 28的视频的分辨率或位速率、基于信道16的带宽、基于与用户相关联的预订(例如，付费预订对免费预订)或基于用于确定可由视频解码器31获得的分辨率的任何其它因素而产生。
[0118]SHVC中的再取样讨稈
[0119]在SHVC中，如果参考层图片大小不同于增强层图片大小，则可将再取样(或上取样)过程应用于参考层图片以匹配增强层图片的大小以用于层间预测。为对参考层图片再取样，可将N分接头再取样滤波器应用于每一颜色分量。
[0120]在滤波过程中，可将参考层图片的样本(或像素)量值乘以滤波器系数并求和以导出经过滤样本(或像素)。由于参考层图片的大小及增强层图片的大小不同，因此可定义滤波过程中涉及的参考层样本的坐标。举例来说，可确定对应于当前增强层图片的样本位置的参考层图片的样本位置，使得由参考层图片的样本位置指示的样本可用于再取样过程。在一个实施例中，此过程可被称作下文进一步描述的样本位置映射或样本位置确定。
[0121]SHVC包含相关于用于再取样的参考层样本位置的导出过程的章节(例如，章节G.6.1)。所述过程可将相对于当前图片的颜色分量的左上方样本的样本位置作为输入，并输出指定相对于参考层图片的左上方样本的以分数样本为单位(例如，1/12样本、1/16样本)的参考层样本位置的样本位置。
[0122]在参考层样本位置的过程期间，可应用额外舍入偏移。可在确定待再取样的参考层图片的样本位置时添加舍入偏移。举例来说，可在垂直方向上应用额外舍入偏移addY。类似地，可在水平方向上应用额外舍入偏移addX。舍入偏移addY及舍入偏移addX也可分别被称作垂直舍入偏移及水平舍入偏移。参考层图片的样本位置可由水平样本位置及垂直样本位置定义。可在确定用于再取样的参考层图片的水平样本位置时添加水平舍入偏移，且可在确定用于再取样的参考层图片的垂直样本位置时添加垂直舍入偏移。
[0123]在SHVC中，缩放因数计算于译码过程中，且在调用参考层样本位置导出过程之前其一般可用于计算舍入偏移的时间处。举例来说，可在层间参考图片的再取样过程的章节G.8.1.4中产生所述因数。缩放因数可包含水平缩放因数ScaleFactorX及垂直缩放因数ScaleFactorY0可针对当前增强层图片计算缩放因数。水平缩放因数及垂直缩放因数可分别指示水平方向上的参考层图片与增强层图片之间的缩放比例及垂直方向上的参考层图片与增强层图片之间的缩放比例。
[0124]在SHVC的工作草案2中，计算舍入偏移涉及除法运算。然而，除法运算可是代价大的。由于缩放因数的计算类似于舍入偏移的计算，因此技术可在计算舍入偏移时利用缩放因数。因此，本发明中描述的技术可通过使用先前所计算缩放因数计算用于参考层图片的再取样的舍入偏移而无需执行除法运算。由于除法运算代价大，因此可通过排除除法运算更有效地计算舍入偏移。结果，也可更有效地执行译码过程。下文参考图4描述相关于技术的某些细节。
[0125]图4为说明根据本发明的方面的确定再取样过程中使用的舍入偏移的实例的框图。贯穿本发明使用的各种术语为具有其一般含义的广义术语。另外，在一些实施例中，某些术语涉及以下视频概念。在某些实施例中，舍入偏移可指计算过程中添加以舍入预定值的值。在某些实施例中，符号指示乘法，且符号“》”是指位右移。在一些实施例中，右移及左移η位可分别实施为除以及乘以2~n。
[0126]在SHVC的工作草案2 (章节G.6.1)中，addY被计算为如下:
[0127]# addY = (((RefLayerPicHeightInSamplesL*phaseY)<<14)+(ScaledRefLayerPicHeightInSamplesL>>l))/ScaledRefLayerPicHeightInSamplesL,
[0128]其中RefLayerPicHeightlnSamplesL 418 指不参考层图片 410 的高度且 ScaledRefLayerPicHeightInSampIesL 432指示参考层图片的经缩放或经再取样版本422的高度。然而，使用除法运算以计算addY可代价大。
[0129]类似地，尽管addX不包含于SHVC的工作草案2中，但addX可被计算为如下:
[0130]# addX = (((RefLayerPicffidthlnSamplesL^phaseX)<<14)+(ScaledRefLayerPicffidthInSamplesL>>l))/ScaledRefLayerPicffidthlnSampIesL,
[0131]其中RefLayerPicWidthlnSamplesL 416 指示参考层图片 410 的宽度且 ScaledRefLayerPicffidthlnSamplesL 430指示参考层图片的经缩放或经再取样版本422的宽度。类似地，使用除法运算以计算addX可代价大。
[0132]在SHVC 中，ScaleFactorX 及 ScaleFactorY 可被计算为如下:
[0133]# ScaleFactorX = ((RefLayerPicffidthInSamplesL<<16)+(ScaledRefLayerPicWidthInSamplesL>>l))/ScaledRefLayerPicffidthInSampIesL
[0134]# ScaleFactorY = ((RefLayerPicHeightInSamplesL<<16)+(ScaledRefLayerPicHeightInSamplesL>>l))/SealedRefLayerPicHeightInSampIesL,
[0135]其中RefLayerPicWidthlnSamplesL 416 及 RefLayerPicHeightlnSamplesL 418分别指示参考层图片410的宽度及高度，且ScaledRefLayerPicWidthlnSamplesL 430及ScaledRefLayerPicHeightInSamplesL 432分别指示参考层图片的经缩放或经再取样版本422 的宽度及高度。ScaledRefLayerPicWidthlnSamplesL 430 及 ScaledRefLayerPicHeightlnSamplesL 432可经解释以指示参考层图片的经缩放或经再取样版本422的宽度及高度。如果经缩放参考层偏移424为零，则ScaledRefLayerPicWidthlnSamplesL 430及ScaledRefLayerPicHeightlnSamplesL 432与增强层图片420的宽度及高度相同。经缩放参考层偏移424可为相对于当前图片指示用于预测的经上取样或经再取样层间参考图片的区的偏移(例如，当仅使用经上取样或经再取样参考层图片的一部分或区时)。
[0136]舍入偏移可用于用于再取样的参考层样本位置的导出过程中。举例来说，舍入偏移addY可用于如SHVC的工作草案2的章节G.6.1中所解释的用于再取样的参考层样本位置的导出过程中。下文解释相关于章节G.6.1的细节:
[0137]籲对此过程的输入为:
[0138]-指定颜色分量索引的变量cldx，及
[0139]-相对于由cldx指定的当前图片的颜色分量的左上方样本的样本位置(xP, yP)434o
[0140]籲此过程的输出为:
[0141]-指定相对于参考层图片的左上方样本的以1/16样本为单位的参考层样本位置的样本位置(xRef 16，yRef 16)。
[0142]下文解释用于G.6.1的导出过程的变量:
[0143]?变量OffsetX及OffsetY可分别指用于相关联经再取样参考层图片的左上方样本与当前增强层图片的左上方明度样本之间的颜色分量的水平及垂直偏移。变量OffsetX及offsetY导出为如下:
[0144]-offsetX = ScaledRefLayerLeftOffset/((cldx = = O) ?