可伸缩视频编码方法及其装置制造方法【专利摘要】本发明揭露一种可伸缩视频编码方法及其装置，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中该EL具有比该BL更高的空域分辨率或更好的视频品质。根据本发明实施例，为编码该增强层使用该基础层的信息。用于该增强层的信息包含CU结构、运动信息、运动信息、MVP/合并候选、帧内预测模式、残差四叉树信息、纹理信息、残差信息、上下文自适应熵编码、自适应环路滤波(ALF)、样本自适应偏移(SAO)与去块滤波。【专利说明】可伸缩视频编码方法及其装置[0001]交叉引用[0002]本发明要求如下优先权:编号为61/495，740，申请日为2011年6月10日，名称为“ScalableCodingofHighEfficiencyVideoCoding”的美国临时专利申请。上述美国临时专利申请在此作为參考。【
技术领域：
】[0003]本发明有关于视频编码。特别地，本发明有关于使用基础层(baselayer)的信息用于增强层(enhancementlayer)编码的可伸缩视频编码(scalablevideocoding)。【
背景技术：
】[0004]压缩数字视频已经广泛用于各种应用中，例如数字网络上的视频流以及数字信道中的视频传输。通常地，単一视频内容可通过具有不同特征的网络进行传送。例如，实况体育赛事可变为宽带网上的高带宽流格式(high-bandwidthstreamingformat)用于高级视频服务。在上述应用中，压缩视频经常保持高分辨率与高品质，从而使得视频内容适合于例如HDTV或高分辨率LCD显示器的高画质设备。相同内容也可通过蜂窝数据网络进行传送从而使得在例如智能手机或联网便携式媒体装置的便携设备上可观看上述内容。在上述应用中，因为存在网络带宽问题以及智能手机或便携装置上的典型低分辨率显示，所以经常将视频内容压缩至较低分辨率与较低比特率。因此，对于不同网络环境以及不同应用，对视频分辨率与视频品质的需求是非常不同的。即使对于相同类型的网络，由于不同的网络架构与网络交通状况，用户也会体验到不同的可用带宽。因此，当可用带宽较高时，用户可接收高品质的视频，但是当网络拥塞发生时，用户将接收低品质但还算流畅的视频。在另ー情况中，高端媒体播放器可处理高分辨率及高比特率的压缩视频,与此同时由于有限的计算资源，廉价媒体播放器仅能处理低分辨率及低比特率的压缩视频。因此，以可伸縮方式构建压缩视频从而使得可从同一压缩比特流中得到不同时域/空域分辨率(spatial-temporal)及/或品质的视频是合适的解决方法。[0005]在当前H.264/AVC视频标准中，存在对H.264/AVC标准的扩展，称为可伸缩视频编码(ScalableVideoCoding,SVC)。SVC基于单ー比特流提供时域、空域以及品质的可伸缩性。SVC比特流分别包含从低帧率(frame-rate)、低分辨率、低品质到高帧率、高清晰度、高品质的可伸缩视频信息。相应地,SVC适用于多种视频应用，例如视频广播、视频流、视频监控，以适应网络架构、网络交通状况、用户偏好等。[0006]在SVC中，提供了三种可伸缩类型，即时域可伸縮性、空域可伸縮性以及品质可伸缩性。SVC使用多层编码结构以实现三维可伸縮性。SVC的主要目标是产生一可伸缩比特流，其中该可伸缩比特流可在无反式编码或重编码的情况下简单快速地适用于与多种传输信道、各种显示能力以及不同计算资源相关联的比特率需求。SVC设计的重要特点是在比特流层(bitstreamlevel)提供上述可伸縮性。换句话说，可通过从可伸缩比特流中提取网络提取层(NetworkAbstractionLayer,NAL)单元(或网络数据包)简单取得用于推导具有缩减空域及/或时域分辨率的比特流，其中需要上述比特流用于解码预期视频。可另外减小用于品质精化的NAL单元从而减小比特率以及降低相应视频品质。[0007]例如，可根据H.264/AVC标准从基于B图像(B-picture)的分层编码结构中取得时域可伸縮性。图1描述具有4层时域层的分层B图像结构与具有8幅图像的图像组(GroupofPictures,GOP)。将图1中的图像0与图像8称为关键图像(keypicture)。关键图像的中贞间预测(interprediction)仅使用先前关键图像作为參考。分层预测两幅关键图像之间的其他图像。仅具有关键图像的视频形成可伸缩系统的粗糙时域分辨率。通过增加与可伸缩系统的增强层相关的更多B图像逐步改善低级别(较粗糙)视频从而取得时域可伸缩性。在图1的示例中，在编码两个关键图像后，首先使用关键图像(即图像0与图像8)双向预测图像4。在处理完图像4后，处理图像2与图像6。使用图像0与图像4双向预测图像2，并且使用图像4与图像8双向预测图像6。在编码完图像2与图像6后，如图1所示，使用各自的两个相邻图像双向处理剩余的图像，即图像1、3、5、7。相应地，GOP的处理顺序是0、8、4、2、6、1、3、5、7。根据图1中的分层处理后的图像形成分层的四级图像，其中图像0与图像8属于第一时序，图像4属于第二时序，图像2与图像6属于第三时序并且图像1、3、5、7属于第四时序。通过解码基础层图像以及增加更高时序图像将能够提供更高水平视频。例如，基础层图像0与8可结合第二时序图像4形成第二层图像。通过将第三时序图像进ー步加入第二层视频可形成第三层视频。相似地，通过将第四时序图像加入第三层视频可形成第四层视频。因此，可取得时域可伸縮性。如果初始视频具有毎秒30帧的帧率，则基础层视频具有毎秒3.75帧的帧率(30/8=3.75)。第二层、第三层与第四层视频对应每秒7.5巾贞、甸秒15巾贞、甸秒30巾贞。也可将第一时序图像称为基础层视频或基础层图像。也可将第二时序图像至第四时序图像称为增强层视频或增强层图像。除了启动时域可伸縮性，分层B图像的编码结构也可以增加编解码延迟为代价通过典型的IBBPGOP结构改善编码效率。[0008]在SVC中，如图2所示，基于金字塔编码方案支持空域可伸縮性。在具有空域可伸縮性的SVC系统中，首先降采样(down-sample)视频序列以取得不同空域分辨率(层)的较小图像。例如，由空域采样(spatialdecimation)220处理具有初始分辨率的图像210以取得降低分辨率的图像211。如图2所示，可由空域采样221进ー步处理降低分辨率的图像211以取得进ー步降低分辨率的图像212。除了二分空域分辨率(dyadicspatialresolution)，其中每层的空域分辨率减小一半，SVC也支持任意分辨率，其称为扩展空域可伸縮性(ExtendedSpatialScalability,ESS)。图2中的SVC系统描述了具有三层的空域可伸缩系统示例，其中层0对应具有最低空域分辨率的图像以及层2对应具有最高分辨率的图像。在不參考其他层情况下编码层0图像，即单层编码。例如，使用运动补偿与帧内预测230编码最低层的图像212。[0009]运动补偿与帧内预测230将不但为进一歩的熵编码240生成语法元素还生成例如运动信息的编码相关信息。图2实际上描述了提供空域可伸縮性与品质可伸縮性(也称为SNR可伸縮性)的综合SVC系统。上述系统也提供了时域可伸縮性，其并未明确示出。对于每ー单层编码，可使用SNR增强层编码250改善残留的编码误差。图2中的SNR增强层可提供多种品质水平(品质可伸縮性)。如非可伸缩编码系统，分别由单层运动补偿与帧内预测编码每个支持分辨率层。也可使用基于ー个或多个较低空域层的层间编码(inter-layercoding)来编码每个较高空域层。例如，可使用基于层0视频的层间预测、以宏块为基础的单层编码或其他区块单元来自适应地编码层I视频。相似地，可使用基于重建层I视频的层间预测或单层编码来自适应编码层2视频。如图2所示，运动补偿与帧内预测231、基础层熵编码241与SNR增强层编码251可编码层I的图像211。相似地，运动补偿与帧内预测232、基础层熵编码242与SNR增强层编码252可编码层2的图像210。由于层间编码，所以可提高编码效率。此外，编码空域层I所需的信息可取决于重建层0(层间预測)。层间偏差在学术上称为增强层(enhancementlayer)。H.264SVC提供三种类型的层间预测工具:层间运动预测、层间巾贞内预测以及层间残差预测(inter-layerresidualprediction)。[0010]在SVC中，增强层(enhancementlayer,EL)可重用(reuse)基础层(baselayer,BL)的运动信息以减小层间运动数据冗余。例如，在确定mb_type指示是否直接从BL中取得EL运动信息之前,EL宏块编码可使用例如base_mode_flag的旗标。如果base_mode_flag等于1，则从BL的同位8X8区块的对应数据中取得EL宏块的分割数据以及相关參考指数与运动矢量。在EL中直接使用BL的參考图像指数。可从与BL相关的数据中按比例决定(scale)EL的运动矢量。此外，可使用按比例決定的BL(ScaledBL)运动矢量作为EL的附加运动矢量预测子。[0011]层间残差预测使用升采样BL残差信息(up-sampledBLresidualinformation)以减少EL残差信息。可使用双线性滤波器以区块顺序升采样BL的同位残差并且可将BL的同位残差用于EL中当前宏块的残差预测。以变换区块(transformblock)为基础完成參考层残差的升采样从而确保不在穿过变换区块边界处使用滤波。[0012]与层间残差预测类似，层间帧内预测減少EL的多余纹理信息(textureinformation)0由按区块顺序升采样同位BL重建信号生成EL中的预测子。在层间帧内预测升采样进程中，分别为亮度与色度组分应用4抽头与2抽头FIR滤波器。不同于层间残差预测，总是在子区块边界处执行用于层间帧内预测的滤波。为了简化解码，可将层间帧内预测仅限定于BL的帧内编码宏块。[0013]在SVC中，编码多品质EL实现品质可伸縮性，其中多品质EL是由改善系数(refinementcoefficient)组成。可容易地截断或提取可伸缩视频比特流以提供具有不同视频品质或比特流尺寸的不同视频比特流。在SVC中，可通过两种策略，粗粒度可伸縮性(coarsegrainscalability,CGS)、中粒度可伸縮性(mediumgrainscalability,MGS)提供品质可伸縮性(也称为SNR可伸縮性)。可将CGS视为空域可伸縮性的特定情况，其中BL与EL的空域分辨率是相同的。然而，EL的品质比BL的品质更好(EL的QP小于BL的QP)。可使用与空域可伸缩编码相同的层间预测机制。然而，不执行相应的升采样或去块操作。此夕卜，在变换域(transformdomain)直接执行层间巾贞内预测与残差预测。对于CGS中的层间预测，通常通过重新量化EL中的残差信号取得纹理信息改善，其中采用比前期CGS层使用的小的量化步长实施重新量化。CGS可提供多个预定品质点(qualitypoint)。[0014]在維持合理复杂度的同时提供更精细比特率粒度用于品质可伸縮性，H.264SVC使用MGS。MGS可被看作CGS的扩展，其中可将ー个CGS条带中的量化系数分为几个MGS条带。可将CGS中的量化系数基于其在之字形扫描顺序中的扫描位置归类为16种类别。可将16种类别的系数分配至不同条带以提供比CGS更多的品质提取点。[0015]在当前的HEVC中，基于不具有任何空域可伸縮性与品质可伸縮性的分层B编码结构仅提供单层编码。为当前ffiVC提供空域可伸縮性与品质可伸縮性的能力是令人满意的。此外，通过H.264SVC提供改进SVC以实现更高效率及/或更大灵活性是令人满意的。【
发明内容】[0016]本发明揭露ー种为增强层(EL)使用基础层(BL)信息的可伸缩视频编码方法及其装置，其中EL具有比BL更高的分辨率及/或更好的品质。本发明实施例使用各种BL信息改善EL的编码效率。在本发明ー实施例中，上述方法与装置使用BL的CU结构信息、模式信息或运动信息以分别取得EL的信息。也可使用⑶结构、模式与运动信息的结合以分别取得EL的信息。在本发明另一实施例中，上述方法与装置基于BL的MVP候选或合并候选取得EL的运动矢量预测子(MVP)候选或合并候选。在本发明另一实施例中，上述方法与装置基于BL的帧内预测模式取得EL的帧内预测模式。[0017]本发明实施例使用BL的残差四叉树结构信息取得EL的残差四叉树结构。本发明的另ー实施例通过重采样BL的纹理取得EL的纹理。本发明另ー实施例通过重采样BL的残差取得EL的残差预测子。[0018]本发明另一方面指向EL的基于上下文自适应熵编码的编码效率。本发明实施例使用BL的信息决定处理EL语法元素的上下文信息。本发明另一方面指向环内处理的编码效率。本发明实施例使用BL的ALF信息、SAO信息、DF信息分别得到EL的ALF信息、SAOイ目息、DFィ目息。【专利附图】【附图说明】[0019]图1描述使用分层B图像的时域可伸缩视频编码示例。[0020]图2描述提供空域可伸縮性与品质可伸縮性的具有三个空域层的综合可伸缩视频编码示例。[0021]图3描述用于可伸缩视频编码重用的⑶结构示例，其中可按比例决定基础层的⑶结构并且将其作为增强层的初始CU结构。[0022]图4是根据本发明实施例描述的用于可伸缩视频编码的CU结构编码或运动信息编码的示例流程图。[0023]图5是根据本发明实施例描述的用于可伸缩视频编码的MVP获取或合并候选获取的示例流程图。[0024]图6是根据本发明实施例描述的用于可伸縮视频编码的帧内预测模式获取的示例流程图。[0025]图7是根据本发明实施例描述的用于可伸缩视频编码的残差四叉树结构编码的示例流程图。[0026]图8是根据本发明实施例描述的用于可伸縮视频编码的纹理预测与重采样的示例流程图。[0027]图9是根据本发明实施例描述的用于可伸缩视频编码的残差预测与重采样的示例流程图。[0028]图10是根据本发明实施例描述的用于可伸缩视频编码的上下文自适应熵编码的示例流程图。[0029]图11是根据本发明实施例描述的用于可伸缩视频编码的ALF信息编码、SAO信息编码、DFfg息编码的不例流程图。【具体实施方式】[0030]在HEVC中，为编码进程引入编码单元(codingunit,⑶)结构作为新的区块结构。将图像分割为最大编码单元(largest⑶，IXU)并且自适应地将每个IXU分割为⑶直到取得叶⑶或达到最小⑶尺寸为止。必须将⑶结构信息转达至解码器侧从而使得在解码器侧可恢复相同的CU结构。为了提高用于可伸縮HEVC的与CU结构相关联的编码效率，本发明实施例允许EL重用BL的⑶结构。在ELIXU或⑶层，发送ー个旗标以指示是否重用来自BL的对应⑶的⑶结构。如果重用BL⑶结构，可按比例决定BL⑶结构以匹配EL的分辨率并且EL重用上述按比例決定的BIXU结构。此外，可将按比例決定的⑶结构的叶⑶进ー步分割为子⑶。图3描述⑶分割重用的示例。分区310对应BL的⑶结构。EL的视频分辨率在水平方向与垂直方向上两倍于BL的视频分辨率。将BL的对应CU分区315的⑶结构按比例放大至2倍。然后使用按比例決定的⑶结构320作为ELIXU的初始⑶结构。可进ー步将EL中按比例决定⑶的叶⑶分割为子⑶，图3中330指示上述分割結果。可使用旗标指示是否进一步将叶CU分割为子CU。虽然图3描述重用CU结构的示例，但也可重用其他信息。例如，预测类型、预测尺寸、合并指数、帧间參考方向、參考图像指数、运动矢量、运动矢量预测子指数(MVPindex)与帧内模式。当在EL中重用信息/数据之前如果需要可按比例决定信息/数据。[0031]在本发明另一实施例中，重用叶CU的模式信息。上述模式信息包含跳过旗标(skipflag)、预测类型、预测尺寸、帧间參考方向、參考图像指数、运动矢量、运动矢量指数、合并旗标、合并指数与帧内模式。EL中叶CU的模式信息可共享BL中对应CU的相同模式信息或按比例決定的模式信息。可使用一个旗标指示EL是否将重用BL中的模式信息。对于一部分或多部分模式信息，可使用一个旗标指示EL是否将重用BL中的所述模式信息。[0032]在本发明另一实施例中，重用BL中的对应预测单元(PredictionUnit,PU)或编码单元(CU)的运动信息以取得EL中PU或CU的运动信息。运动信息可包含帧间预测方向、參考图像指数、运动矢量(MotionVector,MV)、运动矢量预测子(MVP)、MVP指数、合并指数、合并候选与帧内模式。可使用BL的运动信息作为EL中运动信息的预测子或候选。例如，可将BLMV与BLMVP加入至用于ELMVP导出的MVP列表及/或合并列表。上述BL的MV可为BL中对应PU的MV、BL中对应PU的相邻I3U的MV、BL中对应PU的合并候选的MV、BL中对应PU的MVP或BL中对应PU的同位MV。[0033]在另ー示例中，EL的合并候选导出可使用BL的运动信息。例如，可将BL中对应PU的合并候选加入合并候选列表及/或MVP列表。上述BL的运动信息可为BL中对应PU的运动信息、BL中对应PU的相邻PU的关联运动信息、BL中对应PU的合并候选、BL中对应PU的MVP或BL中对应PU的同位PU。在这种情况下，运动信息包含帧间预测方向、參考图像指数与运动矢量。[0034]在另ー示例中，可为EL重用BL中对应PU或⑶的帧内模式。例如，可将BL中对应PU或QJ的巾贞内模式加入至巾贞内最可能模式列表(intramostprobablemodelist)。根据本发明实施例使用BL的运动信息来预测EL的帧内模式。可根据BL中帧内预测模式信息自适应地改变EL中最可能模式列表的顺序。相应地,可根据BL中帧内模式信息自适应地改变EL中最可能模式列表的码字的字长(codewordlength)。例如，将具有接近已编码BL帧内模式的预测方向的帧内残留模式的码字配置为更短的长度。如另ー示例，也可将BL巾贞内模式的相邻方向模式加入至EL巾贞内模式编码的巾贞内最可能模式(MostProbableMode,MPM)列表中。BL的帧内预测模式信息可为BL中对应PU的帧内预测模式、BL帧内模式的相邻方向模式或BL中对应PU的相邻PU的帧内预测模式。[0035]可利用BL运动信息的已选择的MVP指数、合并指数与帧内模式指数自适应地改变ELMVP列表、合井指数列表与帧内最可能模式列表中的索引顺序。例如，在HEVC测试模型版本3.0(HEVCTestModelVersion3.0，HM-3.0)，MVP列表的顺序为{左MVP、上MVP、同位MVP}。如果对应BLPU选择上MVP，则EL中上MVP的顺序将提前。相应地，EL中MVP列表将变为{上MVP、左MVP、同位MVP}。此外，BL已编码MV、按比例決定的已编码MV、MVP候选、按比例決定的MVP候选、合并候选与按比例決定的合并候选可替换部分的ELMVP候选及/或合并候选。当EL中PU或CU的MVP候选或合并候选需要编解码时，调用基于BL中对应I3U或⑶的运动信息以得到EL中PU或⑶的运动信息的进程。[0036]如前所述，可使用BL的⑶结构信息决定EL的⑶结构信息。此外，可结合使用BL的CU结构信息、模式信息与运动信息以决定EL的CU结构信息、模式信息与运动信息。也可使用BL的模式信息或运动信息来决定EL的模式信息或运动信息。当EL的CU结构信息、模式信息、运动信息或上述信息结合需要编解码时，可调用基于BL的对应信息得到EL的CU结构信息、模式信息、运动信息或上述信息结合的进程。[0037]在HM-3.0中，使用四叉树分割(quadtreepartitioning)进一步处理预测残差(predictionresidual)并且为残差四叉树分割结果的每个区块选择编码类型。残差四叉树分割信息与编码区块类型(CodingBlockPattern,CBP)信息必须合并入比特流从而使得解码器可恢复残差四叉树信息。根据本发明的实施例为EL重用BL中对应⑶的残差四叉树分区与CBP。可按比例决定残差四叉树分区与CBP并且将其用作EL的残差四叉树分区与CBP编码的预测子。在HEVC中，用于区块变换的单元在学术上称为变换单元(TransformUnit,TU)并且可将TU分割为更小的TU。在本发明实施例中，发送用于EL的根TU层(rootTUlevel)或TU层的ー个旗标以指示是否应用BL中对应TU的残差四叉树编码(ResidualQuadtreeCoding,RQT)结构以预测EL中当前TU的RQT结构。如果应用BL中对应TU的RQT结构预测EL中当前TU的RQT结构，则按比例决定BL中对应TU的RQT结构并且将其作为EL中当前TU的初始RQT结构。在用于EL的初始RQT结构的叶TU中，可发送ー个分裂旗标(splitflag)以指示是否将TU分为子TU。当编码器需要编码EL的RQT结构或解码器需要解码EL的RQT结构时，执行基于BL的RQT结构信息导出EL的RQT结构的进程。[0038]在H.264/AVC可伸缩扩展中，可分别采用4抽头与2抽头FIR滤波器用于亮度与色度组分纹理信号的升采样操作。根据本发明的实施例重采样(re-sample)BL纹理作为EL纹理的预测子，其中上述重采样使用改进的升采样方法以替换在H.264/AVC可伸缩扩展中的4抽头与2抽头FIR滤波器。根据本发明的滤波器使用下列滤波器中的一个或者下列滤波器的结合:离散余弦变换内插滤波器(DiscreteCosineTransformInterpolationFilter,DCTIF)、离散正弦变换内插滤波器(DiscreteSineTransformInterpolationFilter,DSTIF)、维纳滤波器(Wienerfilter)、非局部均值滤波器(non-localmeanfilter)、平滑滤波器(smoothingfilter)与双边滤波器(bilateralfilter)。根据本发明的滤波可跨越TU边界或限定在TU边界内。根据本发明的实施例在层间帧内预测中可跳过填充(padding)与去块进程以缓解计算复杂度与数据依赖问题。也可跳过BL中的样本自适应偏移(SampleAdaptiveOffset,SAO)、自适应环路滤波(AdaptiveLoopFilter,ALF)、非局部均值滤波及/或平滑滤波。可将上述跳过填充、去块、SA0、ALF、非局部均值滤波与平滑滤波应用于整个IXU、叶⑶、PU、TU、预定区域、IXU边界、叶⑶边界、PU边界、TU边界或预定区域的边界。在另ー实施例中，使用滤波器处理BL纹理以产生已滤波BL纹理，以及上述BL纹理具有与EL纹理相同的分辨率并且使用上述BL纹理作为EL纹理的预测子。在使用BL纹理作为EL纹理的预测子之前，可将维纳滤波、ALF(自适应环路滤波)、非局部均值滤波、平滑滤波或SAO(样本自适应偏移)应用于BL纹理。[0039]为了改善图像品质，在重采样BL纹理之前，本发明实施例对BL纹理应用维纳滤波或自适应滤波。可替换地，可在重采样BL纹理之后对BL纹理应用维纳滤波或自适应滤波。此外，在重采样BL纹理之前，本发明实施例将SAO或ALF应用于BL纹理。[0040]根据本发明的另ー实施例为层间帧内预测应用基于LCU或基于CU维纳滤波及/或自适应偏移。可对BL纹理数据或已升采样的BL纹理数据采用上述滤波。[0041]在H.264SVC中，为亮度与色度组分残差信号的升采样操作使用2抽头FIR滤波器。根据本发明的实施例使用改进的升采样方法以替换H.264SVC的2抽头FIR滤波器。上述滤波器可为下列滤波器中的一个或者下列滤波器的结合:离散余弦变换内插滤波器(DCTIF)、离散正弦变换内插滤波器(DSTIF)、维纳滤波器、非局部均值滤波器、平滑滤波器与双边滤波器。当EL具有比BL更高的空域分辨率时，可将上述滤波器应用于重采样BL残差。可将上述所有滤波限定于跨越或不跨越TU边界。此外，如果BL与EL具有相同分辨率或EL具有比BL更高的分辨率，则可在空域或频域执行上述残差预测。当EL具有比BL更高的空域分辨率时，在频域重采样BL的残差以形成EL残差的预测子。当编码器或解码器需要基于BL的已重采样残差取得EL残差的预测子吋，可执行通过重采样BL残差取得EL残差的预测子的进程。[0042]根据本发明的实施例可为EL中的基于上下文自适应熵编码(context-basedadaptiveentropycoding)使用BL信息。例如，基于上下文的自适应ニ进制算术编码(Context-basedAdaptiveBinaryArithmeticCoding,CABAC)的上下文信息或ニ值化(binarization)可利用BL的信息。EL可基于BL中的对应信息使用不同的上下文模型、不同的上下文构造方法或不同的上下文集合。例如，EL可根据是否在跳过模式中编码BL的对应PU使用不同的上下文模型。在本发明另一实施例中，可重用BL中用于CABAC的部分上下文模型的概率或最可能符号(MostProbableSymbol,MPS)以取得EL中用于CABAC的部分上下文模型的初始概率与MPS。语法元素可为分裂旗标、跳过旗标、合并旗标、合并指数、色度帧内模式、色度帧内模式、分割尺寸、预测模式、帧间预测方向、运动矢量差值、运动矢量预测子指数、參考指数、量化參数差值(deltaquantizationparameter)>有值旗标(significantflag)、末位有值位置(lastsignificantposition)、大于I系数(,coefficient-greater-than-one；>减I糸数(coefficient-magnitude-minus-one)>ALF(自适应环路滤波)控制旗标、ALF旗标、ALF轨迹尺寸、ALF合并旗标、ALF0N/0FF决策、ALF系数、样本自适应偏移(SAO)旗标、SAO类型、SAO偏移、SAO合并旗标、SAO行程、SAOON/OFF决策、变换细分旗标、残差四叉树CBF(编码区块旗标)或残差四叉树根CBF。可根据BL信息自适应地改变对应语法元素的码字并且也可根据BL信息自适应地改变查看码字列表(look-upcodewordtable)中对应EL语法元素的码字顺序。当EL语法元素需要编解码时，执行使用BL信息处理EL语法元素的决定上下文信息进程。[0043]本发明实施例使用BL中的某些ALF信息取得EL的ALF信息。ALF信息可包含滤波自适应模式、滤波系数、滤波轨迹、区域分割、0N/0FF决策、启动旗标与合并結果。例如，EL可使用BL中的部分ALF參数作为EL中的ALF參数或ALF參数的预测子。当直接从BL的ALFfg息中重用ALFfg息时，无需为EL传输相关ALF參数。可使用旗标指不是否从BL的ALF信息中预测EL的ALF信息。如果旗标指示从BL的ALF信息中预测EL的ALF信息，则可按比例决定BL的ALF信息并且使用上述按比例決定的ALF信息作为EL的ALF信息预测子。可使用ー数值表示ALF信息预测子与EL的ALF信息之间的差值。当编码器或解码器需要得到EL的ALF信息时，执行使用BL的ALF信息导出EL的ALF信息的进程。[0044]本发明实施例使用BL的某些SAO信息得到EL的SAO信息。SAO信息可包含偏移类型、偏移量、区域分割、0N/0FF决策、启动旗标与合并結果。例如，EL可使用BL的部分SAO參数作为EL的SAO參数。当直接从BL的SAO信息中重用SAO信息吋，无需为EL传输相关SAO參数。可使用旗标指示是否从BL的SAO信息中预测EL的SAO信息。如果旗标指示从BL的SAO信息中预测EL的SAO信息，则可按比例决定BL的SAO信息并且使用上述按比例決定的SAO信息作为EL的SAO信息预测子。可使用ー数值表示SAO信息预测子与EL的SAO信息之间的差值。当编码器或解码器需要得到EL的SAO信息时，执行使用BL的SAO信息导出EL的SAO信息的进程。[0045]本发明实施例使用BL的某些去块滤波(DF)信息得到EL的DF信息。DF信息可包含阈值，例如用于决定边界强度(BoundaryStrength,BS)的阈值a、0、t。。DF也可包含滤波參数、0N/0FF滤波决策、强/弱滤波选择或滤波强度。当直接从BL的DF信息中重用DF信息吋，无需为EL传输相关DF參数。可使用旗标指示是否从BL的DF信息中预测EL的DF信息。如果旗标指示从BL的DF信息中预测EL的DF信息，则可按比例决定BL的DF信息并且使用上述按比例決定的DF信息作为EL的DF信息预测子。可使用ー数值表示DF信息预测子与EL的DF信息之间的差值。当编码器或解码器需要得到EL的DF信息时，执行使用BL的DF信息导出EL的DF信息的进程。[0046]图4至图11是根据本发明各种实施例描述的可伸缩视频编码的示例流程图。图4是根据本发明实施例描述的用于可伸缩视频编码的CU结构编码或运动信息编码的示例流程图，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中EL具有比BL更高的空域分辨率或更好的视频品质。在步骤410决定用于BL中CU(编码単元)的CU结构(编码単元结构)、运动信息或⑶结构与运动信息的结合。在步骤420分别决定用于EL中对应CU的CU结构、运动矢量预测子(MVP)信息或CU结构与MVP信息的结合，其中上述EL中的CU结构、MVP信息或CU结构与MVP信息的结合以BL中CU的CU结构、运动信息或CU结构与运动信息的结合为基础。图5是根据本发明实施例描述的用于可伸缩视频编码的MVP获取或合并候选获取的示例流程图，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中EL具有比BL更高的空域分辨率或更好的视频品质。在步骤510决定BL的运动信息。在步骤520基于BL运动信息取得EL中的运动矢量预测子(MVP)候选或合并候选。图6是根据本发明实施例描述的用于可伸縮视频编码的帧内预测模式获取的示例流程图，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中EL具有比BL更高的空域分辨率或更好的视频品质。在步骤610决定BL的帧内预测模式信息。在步骤620基于BL的帧内预测模式信息取得EL的帧内预测模式。[0047]图7是根据本发明实施例描述的用于可伸缩视频编码的残差四叉树结构编码的示例流程图，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中EL具有比BL更高的空域分辨率或更好的视频品质。在步骤710决定BL的RQT结构(残差四叉树编码结构)信息。在步骤720基于BL的RQT结构信息取得EL的RQT结构。图8是根据本发明实施例描述的用于可伸縮视频编码的纹理预测与重采样的示例流程图，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中EL具有比BL更高的空域分辨率或更好的视频品质。在步骤810决定BL的纹理信息。在步骤820基于BL纹理信息取得EL纹理的预测子。图9是根据本发明实施例描述的用于可伸缩视频编码的残差预测与重采样的示例流程图，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中EL具有比BL更高的空域分辨率或更好的视频品质。在步骤910决定BL的残差信息。在步骤920通过重采样BL残差取得EL的残差预测子。[0048]图10是根据本发明实施例描述的用于可伸缩视频编码的上下文自适应熵编码的示例流程图，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中EL具有比BL更高的空域分辨率或更好的视频品质。在步骤1010决定BL信息。在步骤1020使用BL信息决定处理EL语法元素的上下文信息。图11是根据本发明实施例描述的用于可伸縮视频编码的ALF信息编码、SAO信息编码与DF信息编码的示例流程图，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中EL具有比BL更高的空域分辨率或更好的视频品质。在步骤1110决定BL的ALF信息、SAO信息或DF信息。在步骤1120使用BL的ALF信息、SAO信息或DF信息分别取得EL的ALF信息、SAO信息或DF信息。[0049]上述根据本发明的可伸缩视频编码实施例可在各种硬件、软件编码或两者组合中进行实施，其中增强层编码使用基础层信息。例如，本发明实施例可为集成入视频压缩芯片的电路或集成入视频压缩软件以执行上述过程的程序代码。本发明的实施例也可为在数据信号处理器(DigitalSignalProcessor,DSP)中执行的执行上述程序的程序代码。本发明也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(FieldProgrammableGateArray,FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务，其通过执行定义了本发明掲示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式。也可为了不同的目标平台编译软件代码。然而，根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。[0050]在不脱离本发明精神或本质特征的情况下，可以其他特定形式实施本发明。描述示例被认为说明的所有方面并且无限制。因此，本发明的范围由权利要求书指示，而非前面描述。所有在权利要求等同的方法与范围中的变化皆属于本发明的涵盖范围。【权利要求】1.一种用于可伸缩视频编码的残差四叉树结构编码方法，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中该EL具有比该BL更高的空域分辨率或更好的视频品质，该方法包含:决定该BL的RQT结构(残差四叉树编码结构)的信息；以及基于该BL的该RQT结构的该信息取得该EL的该RQT结构。2.如权利要求1所述的方法，其特征在干，当编码器需要编码该EL的该RQT结构或解码器需要解码该EL的该RQT结构时，执行上述基于该BL的该RQT结构的该信息取得该EL的该RQT结构。3.如权利要求1所述的方法，其特征在于，将第一旗标用于该EL的根TU(变换単元)或TU，其中该第一旗标指示是否使用该BL的该TU的该RQT结构以取得该EL的对应TU的该RQT结构。4.如权利要求3所述的方法，其特征在干，如果使用该BL中的该TU的该RQT结构以取得该EL中该对应TU的该RQT结构，则按比例决定该BL中的该TU的该RQT结构并且使用该按比例決定的该BL中的该TU的该RQT结构作为该EL中的该对应TU的初始RQT结构。5.如权利要求4所述的方法，其特征在于，使用分裂旗标指示是否将该EL的该对应TU分割为子TU用于该EL中该对应TU的该初始RQT结构的叶TU。6.一种用于可伸缩视频编码的残差四叉树结构编码装置，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中该EL具有比该BL更高的空域分辨率或更好的视频品质，该装置包含:用于决定该BL的RQT结构(残差四叉树编码结构)的信息的装置；以及用于基于该BL的该RQT结构的该信息取得该EL的该RQT结构的装置。7.如权利要求6所述的装置，其特征在于，将第一旗标用于该EL的根TU(变换単元)或TU，其中该第一旗标指示是否使用该BL的该TU的该RQT结构以取得该EL的对应TU的该RQT结构。8.一种用于可伸縮视频编码的纹理预测与重采样方法，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中该EL具有比该BL更高的空域分辨率或更好的视频品质，该方法包含:决定该BL的纹理信息；以及基于该BL的该纹理信息取得该EL的纹理预测子。9.如权利要求8所述的方法，其特征在干，当编码器或解码器需要取得该EL的该纹理预测子时，执行上述基于该BL的该纹理信息取得该EL的纹理预测子。10.如权利要求8所述的方法，其特征在于，使用滤波器重采样该BL的该纹理以产生重采样BL纹理，其中该重采样BL纹理具有相同分辨率并且用作该EL的该纹理预测子。11.如权利要求10所述的方法，其特征在于，该滤波器是DCTIF(离散余弦变换内插滤波器)、DSTIF(离散正弦变换内插滤波器)、维纳滤波器、非局部均值滤波器、平滑滤波器与双边滤波器中的一个或结合。12.如权利要求10所述的方法，其特征在于，跨越变换区块边界使用该滤波器或将该滤波器限定于该变换区块边界内。13.如权利要求10所述的方法，其特征在于，在重采样该BL的该纹理之前或之后，将填充、去块、ALF(自适应环路滤波)、SAO(样本自适应偏移)、非局部均值滤波、平滑滤波操作应用于该BL的该纹理。14.如权利要求13所述的方法，其特征在于，为整个IXU、叶⑶、PU、TU、预定区域、IXU边界、叶CU边界、PU边界、TU边界或该预定区域的边界跳过该填充、去块、SA0、非局部均值滤波、平滑滤波或ALF。15.如权利要求8所述的方法，其特征在于，使用滤波器处理该BL的该纹理以产生滤波BL纹理，其中该BL纹理具有与该EL的该纹理相同的分辨率并且将该BL纹理用作该EL的该纹理预测子。16.如权利要求15所述的方法，其特征在于，在使用该BL的该纹理作为该EL的该纹理预测子之前，对该BL的该纹理应用维纳滤波、ALF(自适应环路滤波)、非局部均值滤波、平滑滤波或SAO(样本自适应偏移)。17.一种用于可伸縮视频编码的纹理预测与重采样装置，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中该EL具有比该BL更高的空域分辨率或更好的视频品质，该装置包含:用于决定该BL的纹理信息的装置；以及用于基于该BL的该纹理信息取得该EL的纹理预测子的装置。18.如权利要求17所述的装置，其特征在于，使用滤波器重采样该BL的该纹理以产生重采样BL纹理，其中该重采样BL纹理具有相同分辨率并且用作该EL的该纹理预测子。19.一种用于可伸缩视频编码的残差预测与重采样方法，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中该EL具有比该BL更高的空域分辨率或更好的视频品质，该方法包含:决定该BL的残差信息；以及通过重采样该BL的该残差取得该EL的残差预测子。20.如权利要求19所述的方法，其特征在干，当编码器或解码器需要取得该EL的该残差预测子时，执行上述通过重采样该BL的该残差取得该EL的该残差预测子。21.如权利要求19所述的方法，其特征在于，该EL具有比该BL更高的空域分辨率；其中使用滤波器重采样该BL的该残差以产生重采样BL残差；以及其中该重采样BL残差具有相同分辨率并且用作该EL的该残差预测子。22.如权利要求21所述的方法，其特征在于，该滤波器是DCTIF(离散余弦变换内插滤波器)、DSTIF(离散正弦变换内插滤波器)、维纳滤波器、非局部均值滤波器、平滑滤波器或双边滤波器中的一个或结合。23.如权利要求21所述的方法，其特征在于，跨越变换区块边界使用该滤波器或将该滤波器限定于该变换区块边界内。24.如权利要求19所述的方法，其特征在于，该EL具有比该BL更高的空域分辨率；以及其中在频域重采样该BL的该残差。25.如权利要求19所述的方法，其特征在于，在频域执行上述通过重采样该BL的该残差取得该EL的该残差预测子。26.一种用于可伸缩视频编码的残差预测装置，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中该EL具有比该BL更高的空域分辨率或更好的视频品质，该装置包含:用于决定该BL的残差信息的装置；以及用于通过重采样该BL的该残差取得该EL的残差预测子的装置。27.如权利要求26所述的装置，其特征在于，使用滤波器重采样该BL的该残差以产生重采样BL残差，其中该重采样BL残差具有相同分辨率并且用作该EL的该残差预测子。28.如权利要求26所述的装置，其特征在于，该EL具有比该BL更高的空域分辨率；以及其中在频域重采样该BL的该残差。29.如权利要求26所述的装置，其特征在于，在频域执行上述通过重采样该BL的该残差取得该EL的该残差预测子。【文档编号】H04N19/61GK103597827SQ201280022920【公开日】2014年2月19日申请日期:2012年5月31日优先权日:2011年6月10日【发明者】庄子德,陈庆晔,黄毓文,雷少民,傅智铭,蔡家扬申请人:联发科技股份有限公司