用于可缩放视频译码中的预测的层间模式导出的制作方法
用于可缩放视频译码中的预测的层间模式导出的制作方法
【专利摘要】在视频译码器的一些实施例中，如果一些预测信息不可用于当前层中的第一块，那么所述视频译码器使用来自基础层中的与所述第一块相同位置的第二块的对应信息(例如，帧内预测方向及运动信息)(如果可用的话)，如同所述对应信息为所述第一块的预测信息。接着可将所述对应信息用于所述当前层中以确定所述当前层中的随后块的预测信息。
【专利说明】用于可缩放视频译码中的预测的层间模式导出
【技术领域】
[0001]本发明涉及视频译码及压缩，且确切地说，涉及可缩放视频译码(SVC)。
【背景技术】
[0002]数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置及其类似者。数字视频装置实施视频压缩技术，例如通过MPEG-2、MPEG-4、ITU-T H.263、ITU-T
H.264/MPEG-4第10部分、高级视频译码(AVC)、目前正在开发的高效率视频译码(HEVC)标准及此类标准的扩展部分定义的标准中描述的技术，以便更有效地发射、接收及存储数字视频息。
[0003]视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片分割成视频块，视频块还可被称作树块、译码单元(CU)及/或译码节点。图片的经帧内译码(I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测，或相对于其它参考图片中的参考样本的时间预测。图片可被称为帧，且参考图片可被称为参考帧。
[0004]空间或时间预测产生用于待译码块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据编码的。经帧内译码块是根据帧内译码模式及残余数据编码的。为了进一步压缩，可以将残余数据从像素域变换到变换域，从而产生残余变换系数，接着可以对残余变换系数进行量化。可以扫描最初用二维阵列布置的经量化变换系数，以便产生变换系数的一维向量，并且可以应用熵译码以实现更多的压缩。
[0005]某一基于块的视频译码及压缩利用可缩放技术。可缩放视频译码(SVC)指使用基础层及一或多个可缩放增强层的视频译码。对于SVC来说，基础层通常载运具有基础质量水平的视频数据。一或多个增强层载运额外的视频数据以支持(例如)较高的空间、时间及/或SNR水平。在一些情况下，可以比增强层的发射更可靠的方式来发射基础层。在下文论述中，“基础层”可意味着可能由不可缩放编解码器(例如H.264)产生的绝对基础层，或其可意味着在编码当前增强层中用作基础的经先前编码的增强层。基础层也可被称作较低层，及增强层也可被称作较高层。
【专利附图】
【附图说明】
[0006]图1为根据本发明的技术的说明用于确定预测参数的实例过程的流程图。
[0007]图2为说明可利用本发明的技术的实例视频译码系统的框图。
[0008]图3为说明帧内模式的实施例的概念图。
[0009]图4为说明帧间模式的实施例的概念图。
[0010]图5为说明可缩放视频译码的实施例的概念图。
[0011]图6为说明INTRA_BL模式的实施例的概念图。
[0012]图7为说明跨越层的预测信息的传播的实例实施例的概念图。
[0013]图8为说明可实施本发明的技术的视频编码器的实例实施例的框图。
[0014]图9为说明可实施本发明的技术的视频解码器的实例实施例的框图。
【具体实施方式】
[0015]视频译码器可支持多个预测模式以用于减少经编码视频的不同方面中的冗余，如上文所描述。举例来说，帧间模式可减小不同帧中的块之间的冗余，帧内模式可减小同一帧中的块之间的冗余，及帧内BL模式可减小不同层中的块之间的冗余。一些或全部预测模式可具有与其相关联的参数。举例来说，预测参数可包含用于经帧间译码块的运动向量或用于经帧内译码块的预测方向。
[0016]编码器可基于每一块的内容来选择预测模式及参数集合以提供可用于所述块的最佳预测。在许多情况下，彼此接近的块可具有类似预测参数。因此，预测参数可基于来自相邻块的参数而经自身预测。然而，如果相邻块使用不同于当前块的预测模式，那么相邻块的参数可能不可用于预测当前块的参数。因此，识别可能类似于当前块的参数的参数的替代源可为有益的。
[0017]在可缩放视频译码中，基础层块的预测参数可类似于对应增强层块的预测参数。术语“对应”为广义术语，并且对所属领域的普通技术人员给出其普通且惯例的含义(即，其不限于特殊或自定义的含义)，并且可包含(但不限于)各种层中的相同位置的块。基础层及增强层中的对应块之间的预测参数的可能类似性可结合上文描述的同一层中的相邻块的预测参数的可能类似性来采用。具体来说，当增强层中的当前块的参数由于邻近块使用不同预测模式而不能从所述邻近块的参数预测时，其可能从对应于邻近块的基础层块来获得参数集合。接着可将所获得参数用作预测当前块的参数的基础。具体地说，此方法可在来自增强层的当前块的预测模式匹配基础层块的预测模式时为有用的。
[0018]本发明的特征可通过允许将较多预测参数表示为残余数来帮助改进译码效率。此类残余数可包括经表示的预测参数与参考参数集合之间的差异。所述差异在大多数情况下可为较小的，这是因为所述参考参数针对其与所表示预测参数的可能类似性来被选择。因此，可预期残余数占据比预测参数本身少的位。结果，可以相同位速率来提供较佳视频质量，或可以较低位速率来提供相同质量的视频。
[0019]【专利附图】
【附图说明】若干实例。由附图中的参考标号指示的元件对应于在以下描述中由相同参考标号指示的元件。在本发明中，名称以序数词(例如，“第一”、“第二”、“第三”，等)开始的元件未必暗示所述元件具有特定次序。确切地说，此类序数词仅用于指代相同或类似类型的不同元件。
[0020]图1为根据本发明的技术的说明用于确定预测参数的实例过程的流程图。所述过程可供图2、8及9中所描绘的类别的视频译码器使用。具体来说，所述过程可用以基于与当前视频单元的相邻者相同位置的基础层视频单元所关联的预测参数来确定增强层中的当前视频单元的预测参数，如上文所描述。所述过程可如下进行。在方框110，视频译码器可确定当前视频单元的预测模式是否与相邻视频单元的预测模式相同。如果预测模式匹配，那么过程继续到方框120，其中视频译码器基于相邻视频单元的预测参数来确定当前视频单元的预测参数。如果预测模式不匹配，那么过程继续到方框130，其中视频译码器确定当前视频单元的预测模式是否与增强层中的当前视频单元的相邻者相同位置的基础层中的视频单元的预测模式相同。视频译码器可检查在增强层下方的若干基础层中的相同位置块的预测模式，直到找到具有匹配预测模式的相同位置块为止。如果在方框130找到预测模式匹配，那么所述过程继续到方框140，其中根据相关基础层中的匹配视频单元的预测参数来确定当前视频单元的预测参数。如果在方框130未找到预测模式匹配，那么所述过程继续到方框150，其中不参考增强层中的相邻视频单元且不参考与相邻视频单元相同位置的基础层中的视频单元来确定当前视频单元的预测参数。
[0021]图2为说明可利用本发明的技术的实例视频译码系统10的框图。如本文中所描述地使用，术语“视频译码器”一般指视频编码器及视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般地指视频编码及视频解码。
[0022]如图2中所示，视频译码系统200包含源装置210及目的地装置220。源装置210产生经编码的视频数据。目的地装置220可解码源装置210所产生的经编码的视频数据。源装置210及目的地装置220可包括广泛范围的装置，包含桌上型计算机、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、所谓的“智能”板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机或其类似者。在一些实例中，源装置210及目的地装置220可经装备以用于无线通信。
[0023]目的地装置220可经由信道230接收来自源装置210的经编码的视频数据。信道230可包括能够将经编码的视频数据从源装置210移动到目的地装置220的任何类型的媒体或装置。在一个实例中，信道230可包括使源装置210能够将经编码的视频数据实时直接发射到目的地装置220的通信媒体。在此实例中，源装置210可根据通信标准(例如无线通信协议)来调制经编码的视频数据，且可将经调制视频数据发射到目的地装置220。通信媒体可包括无线或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线路。通信媒体可能形成分组网络(例如局域网、广域网或全球网络，例如因特网)的一部分。通信媒体可包含路由器、交换器、基站或促进从源装置210到目的地装置220的通信的其它装备。
[0024]在另一实例中，信道230可对应于存储源装置210所产生的经编码的视频数据的存储媒体。在此实例中，目的地装置220可经由磁盘存取或卡存取来存取所述存储媒体。存储媒体可包含多种本地存取的数据存储媒体，例如蓝光光盘、DVD、CD-ROM、快闪存储器或用于存储经编码的视频数据的其它合适数字存储媒体。在另一实例中，信道230可包含文件服务器或存储源装置210所产生的经编码视频的另一中间存储装置。在此实例中，目的地装置220可经由流式传输或下载而存取存储在文件服务器或其它中间存储装置处的经编码的视频数据。文件服务器可为能够存储经编码的视频数据并且将经编码的视频数据发射到目的地装置220的服务器类型。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络连接存储(NAS)装置，及本地磁盘驱动器。目的地装置220可以经由任何标准数据连接(包含因特网连接)来存取经编码的视频数据。数据连接的实例类型可包含适合于存取存储于文件服务器上的经编码的视频数据的无线信道(例如，W1-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码的视频数据从文件服务器的传输可为流式传输、下载传输或两者的组合。
[0025]本发明的技术不限于无线应用或设置。所述技术可应用于视频译码以支持多种多媒体应用，例如空中电视广播、有线电视发射、卫星电视发射、流式视频传输(例如，经由因特网)、编码数字视频以存储于数据存储媒体上、解码存储于数据存储媒体上的数字视频，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频播放、视频广播及/或视频电话等应用。
[0026]在图2的实例中，源装置210包含视频源240、视频编码器250及输出接口 260。在一些情况下，输出接口 260可包含调制器/解调器(调制解调器)及/或发射器。在源装置210中，视频源240可包含例如视频俘获装置(例如，视频摄像机)、含有先前俘获的视频数据的视频存档、从视频内容提供者接收视频数据的视频馈入接口及/或用于产生视频数据的计算机图形系统等来源，或此类来源的组合。
[0027]视频编码器250可编码所俘获、预俘获或计算机产生的视频数据。经编码视频数据可经由源装置210的输出接口 260直接发射到目的地装置220。经编码的视频数据还可存储到存储媒体或文件服务器上以供稍后由目的地装置220存取以用于解码及/或播放。
[0028]在图2的实例中，目的地装置220包含输入接口 270、视频解码器280及显示装置290。在一些情况下，输入接口 270可包含接收器及/或调制解调器。目的地装置220的输入接口 270经由信道230接收经编码的视频数据。经编码的视频数据可包含由视频编码器250产生的表示视频数据的多种语法元素。此类语法元素可与在通信媒体上发射、存储在存储媒体上或存储在文件服务器中的经编码的视频数据包含在一起。
[0029]显示装置290可与目的地装置220集成在一起或可在其外部。在一些实例中，目的地装置220可包含集成显示装置，且还可经配置以与外部显示装置介接。在其它实例中，目的地装置220可为显示装置。大体来说，显示装置290向用户显示经解码视频数据。显示装置290可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
[0030]视频编码器250及视频解码器280可根据视频压缩标准(例如目前正在开发的高效率视频译码(HEVC)标准)来操作，且可符合HEVC测试模型(HM)。或者，视频编码器250及视频解码器280可以根据其它专有或业界标准来操作，例如ITU-T H.264标准，或者被称为MPEG-4，第10部分，高级视频译码(AVC)，或此类标准的扩展。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和ITU-TH.263。
[0031]尽管图2的实例中未展示，但视频编码器250及视频解码器280可各自与音频编码器及解码器集成，且可包含适当多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件以处置对共同数据流或单独数据流中的音频及视频两者的编码。在一些实例中，如果适用的话，多路复用器-多路分用器单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。
[0032]此外，图2仅为实例，且本发明的技术可适用于未必包含编码装置与解码装置之间的任何数据通信的视频译码设置(例如，视频编码或视频解码)。在其它实例中，数据可从本地存储器检索、经由网络流式传输，或其类似者。编码装置可编码数据且将数据存储到存储器，及/或解码装置可从存储器检索数据且解码数据。在许多实例中，通过并不彼此通信而是简单地编码数据到存储器及/或从存储器检索数据且解码数据的装置来执行编码及解码。
[0033]视频编码器250及视频解码器280各自可实施为例如以下各者的多种合适电路中的任一者:一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。当部分地以软件实施技术时，装置可将软件的指令存储于合适的非暂时性计算机可读存储媒体中且可使用一或多个处理器以硬件执行指令从而执行本发明的技术。视频编码器250和视频解码器280中的每一者可以包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可以集成为相应装置中的组合式编码器/解码器(编解码器)的一部分。
[0034]如上文简要提及，视频编码器250对视频数据进行编码。视频数据可包括一或多个图片。图片中的每一者为形成视频的一部分的静态图像。在一些情况下，图片可被称为视频“帧”。当视频编码器250对视频数据进行编码时，视频编码器250可产生位流。位流可包含形成视频数据的经译码表示的位序列。位流可包含经译码图片及相关联的数据。经译码图片为图片的经译码表示。
[0035]为产生位流，视频编码器250可对视频数据中的每一图片执行编码操作。当视频编码器250对所述图片执行编码操作时，视频编码器250可产生一连串经译码图片及相关联数据。相关联数据可包含序列参数集、图片参数集、自适应参数集及其它语法结构。序列参数集(SPS)可含有适用于零或更多个图片序列的参数。图片参数集(PPS)可含有适用于零或更多个图片的参数。自适应参数集(APS)可含有适用于零或更多个图片的参数。
[0036]为产生经译码图片，视频编码器250可将图片分割为大小相等的视频块。视频块中的每一者与树块相关联。在一些情况下，树块还可称为最大译码单元(LCU)。HEVC的树块可大致类似于例如H.264/AVC等前述标准的宏块。然而，树块不必限于特定大小，且可包含一或多个译码单元(CU)。视频编码器250可使用四叉树分割来将树块的视频块分割成与CU相关联的视频块(因此名称为“树块”)。
[0037]CU可指充当基本单元的矩形图像区，将各种译码工具应用于所述基本单元以用于视频压缩。为实现较好的译码效率，译码单元可取决于视频内容而具有可变大小。为减小冗余，预测CU且用信号发送预测残余。CU可分裂成较小块以用于预测(预测单元或W)。根据HEVC或HM(用于HEVC的参考软件)，CU可具有两预测模式中的一者:帧内(INTRA)模式及帧间(INTER)模式。CU还可分裂成较小块以用于变换，及将这些块中的每一者称作变换单元(TU)。
[0038]在一些实例中，视频编码器250可将一图片分割成多个切片。所述切片中的每一者可包含整数数目个CU。在一些情况下，一切片包括整数数目个树块。在其它情况下，切片的边界可在树块内。
[0039]作为对图片执行编码操作的部分，视频编码器250可对图片的每一切片执行编码操作。当视频编码器250对切片执行编码操作时，视频编码器250可产生与切片相关联的经编码数据。与切片相关联的经编码数据可被称为“经译码切片”。
[0040]为产生经译码切片，视频编码器250可对切片中的每一树块执行编码操作。当视频编码器250对树块执行编码操作时，视频编码器250可产生经译码树块。经译码树块可包括表示树块的经编码版本的数据。
[0041]为产生经译码树块，视频编码器250可对树块的视频块递归地执行四叉树分割以将所述视频块划分成逐渐变小的视频块。较小视频块中的每一者可与不同CU相关联。举例来说，视频编码器250可将树块的视频块分割成四个大小相等的子块、将所述子块中的一或多者分割成四个大小相等的子子块，以此类推。位流中的一或多个语法元素可指示视频编码器250可分割树块的视频块的最大次数。CU的视频块在形状上可为正方形。CU的视频块的大小(即，CU的大小)范围可从8X8像素直到具有64X64个像素或更大的最大值的树块的视频块的大小(即，树块的大小)。
[0042]当视频编码器250编码未分割⑶时，视频编码器250可产生用于⑶的一或多个预测单元(PU)。未分割CU为其视频块未分割成用于其它CU的视频块的CU。CU的PU中的每一者可与CU的视频块内的不同视频块相关联。视频编码器250可产生用于CU的每一PU的经预测视频块。的经预测视频块可为样本块。视讯编码器250可使用帧内预测或帧间预测来产生用于PU的经预测视频块。
[0043]当视频编码器250使用帧内预测来产生的经预测视频块时，视频编码器250可基于与PU相关联的图片的经解码样本来产生PU的经预测视频块。当视频编码器250使用帧间预测来产生PU的经预测视频块时，视频编码器250可基于不同于与所述相关联的图片的图片的经解码值来产生所述PU的经预测视频块。如果视频编码器250使用帧内预测来产生⑶的PU的经预测视频块，那么⑶为经帧内预测的⑶。
[0044]图3为说明帧内模式的实施例的概念图。可根据来自同一帧或切片的已重建构相邻像素对INTRA CU中的PU 305进行空间预测。允许有多个帧内预测方向且在所述位流中用信号发送最佳方向。INTRA CU中的不同PU可具有不同预测方向。
[0045]当视频编码器250对PU使用帧内预测时，视频编码器250可产生候选帧内预测模式列表。候选帧内预测模式列表可基于在空间或在时间上与PU相邻的PU的帧内预测模式。另外，如下文所描述，候选帧内预测模式列表可包含来自基础层的帧内预测模式。视频编码器250可选择来自所述列表的候选者中的一者，且产生指示所述列表中的选定候选者的位置的索引。视频编码器250可通过输出索引来用信号发送PU的帧内预测模式。在一些情况下，视频编码器250可通过输出选定候选者的索引以及输出选定候选者的帧内预测模式与PU的帧内预测模式之间的差异来用信号发送PU的帧内预测模式。
[0046]当视频编码器250使用帧间预测来产生的经预测视频块时，视频编码器250可产生所述PU的运动信息。的运动信息可指示对应于的视频块的另一图片的一部分。换句话说，PU的运动信息可指示的“参考样本”。视频编码器250可基于由的运动信息指示的其它图片的部分而产生PU的经预测视频块。如果视频编码器250使用帧间预测来产生⑶的PU的经预测视频块，那么所述⑶为经帧间预测的⑶。
[0047]图4为说明帧间模式的实施例的概念图。可根据已解码的先前一或多个帧(按解码次序)中的最佳匹配块或加权块在时间上对INTER⑶410中的PU 405进行预测。此类块可被称作参考块415。识别一或多个参考块的运动信息420可在所述位流中用信号发送。此说明于图4中。INTER⑶中的不同PU可具有不同运动信息。
[0048]可鉴于H.264/AVC的以上论述来考虑新出现的HEVC工作草案(WD)。在HEVC WD中，存在用于运动参数预测的两模式。一个模式可被称为“合并模式”，而另一模式可被称为“高级运动向量预测”模式或“AMVP”模式。
[0049]合并模式为视频译码模式，其中针对正经译码的当前视频块继承相邻视频块的运动信息(例如运动向量、参考帧索引、预测方向或其它信息)。索引值可用以识别当前视频块从其继承其运动信息的相邻者(例如，在时间邻近帧的顶部、右上角、左边、左下角或相同位置)。
[0050]在当前视频块的译码中使用邻近视频块的运动向量的另一情况为所谓的运动向量预测。在此情况下，应用运动向量的预测性译码以减小传达所述运动向量所需的数据量。举例来说，并非编码及传达所述运动向量本身，编码器编码及传达相对于已知(或可知)运动向量的运动向量差(MVD)。高级运动向量预测(AMVP)允许用于界定MVD的许多可能候选者。
[0051]合并及AMVP模式两者建立用于参考图片列表零或“RefPicListO”的候选列表及用于参考图片列表一或“RefPicListI”的候选列表。这些参考图片列表中的每一者可用于单向或双向预测，且指定用于执行时间及/或空间运动预测的潜在图片或帧的列表。将用于运动参数的译码的AMVP的候选者是来自空间及时间相邻块。在AMVP模式中，用信号发送参考索引值。在合并模式中，由于当前预测单元(PU)共享所选择候选运动向量预测值的参考索引值而未用信号发送参考索引值。在一些情况下，可实施合并模式而使得仅创建一个候选列表。
[0052]在视频编码器250产生用于⑶的一或多个的预测视频块之后，视频编码器250可基于用于CU的所述PU的预测视频块而产生CU的残余数据。CU的残余数据可指示用于CU的PU的预测视频块中的样本与CU的原始视频块之间的差异。
[0053]此外，作为对未经分割⑶执行编码操作的部分，视频编码器250可对⑶的残余数据执行递回四叉树分割以将CU的残余数据分割成与CU的变换单元(TU)相关联的一或多个残余数据块(即，残余视频块)。CU的每一 TU可与不同残余视频块相关联。视频译码器250可对⑶的每一 TU执行变换操作。
[0054]当视频编码器250对TU执行变换操作时，视频编码器250可将一或多个变换应用到与TU相关联的残余视频块以产生与TU相关联的一或多个变换系数块(即，变换系数的块)。在概念上，变换系数块可为变换系数的二维(2D)矩阵。
[0055]在产生变换系数块之后，视频编码器250可对变换系数块执行量化操作。量化大体上指对变换系数进行量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。量化过程可减少与变换系数中的一些或全部相关联的位深度。举例来说，可在量化期间将η位变换系数向下舍入到m位变换系数，其中η大于m。
[0056]视频编码器250可使每一⑶与量化参数(QP)值相关联。与⑶相关联的QP值可确定视频编码器250量化与CU相关联的变换系数块的方式。视频编码器250可通过调整与CU相关联的QP值来调整应用于与CU相关联的变换系数块的量化的程度。
[0057]在视频编码器250量化变换系数块之后，视频编码器250可扫描经量化变换系数以产生变换系数等级的一维向量。视频编码器250可熵编码所述一维向量。视频编码器250还可熵编码与视频数据相关联的其它语法元素。
[0058]由视频编码器250产生的位流可包含一系列网络抽象层(NAL)单元。所述NAL单元中的每一者可为含有NAL单元中的数据类型的指示和含有所述数据的字节的语法结构。举例来说，NAL单元可含有表示序列参数集、图片参数集、经译码切片、补充增强信息(SEI)、存取单元定界符、填充数据或另一类型的数据的数据。NAL单元中的数据可包含熵编码的语法结构，例如熵编码的变换系数块、运动信息等。
[0059]视频解码器280可接收视频编码器250所产生的位流。位流可包含由视频编码器250编码的视频数据的经译码表示。当视频解码器280接收位流时，视频解码器280可对所述位流执行剖析操作。当视频解码器280执行剖析操作时，视频解码器280可从所述位流提取语法元素。视频解码器280可基于从位流提取的语法元素来重建视频数据的图片。基于语法元素重建视频数据的过程可与通过视频编码器250执行以产生语法元素的过程大体上互逆。
[0060]在视频解码器280提取与CU相关联的语法元素之后，视频解码器280可基于所述语法元素产生用于CU的PU的预测视频块。另外，视频解码器280可逆量化与CU的TU相关联的变换系数块。视频解码器280可对变换系数块执行逆变换以重建与CU的TU相关联的残余视频块。在产生预测视频块且重建残余视频块之后，视频解码器280可基于所述预测视频块及所述残余视频块来重建CU的视频块。以此方式，视频解码器280可基于位流中的语法元素来确定CU的视频块。
[0061]在一些情况下，视频编码器250及视频解码器280可使用可缩放视频译码(SVC)。在SVC中，存在一个绝对基础层(层O)及一或多个增强层(层1、2、3…)。每一增强层可充当其上方其它层的基础层。举例来说，层I为相对于层O的增强层，但层I还可充当层2的基础层。相对于其基础层，每一增强层可提供较佳质量及/或空间或时间分辨率。对应地，所述可缩放性称作质量(或SNR)可缩放性、空间可缩放性及时间可缩放性。图5展示用于3层可缩放视频编解码器的实例设置。
[0062]图6为说明INTRA_BL模式的实施例的概念图。当视频解码器280解码层i 605时，大体上较低层(O、…、1-l)610已经解码，及来自较低层的全部信息可用且用以对层i进行译码。举例来说，对于增强层块，除了上述常规INTRA及INTER模式以外，可存在另一预测模式:INTRA_BL模式。在INTRA_BL模式中，从块615的基础层610的经重建相同位置的块620来预测块615，如图6中所示。举例而言，如果视频编码器250使用INTRA_BL模式对块进行编码，那么视频解码器280可采用相同位置基础层块的帧内预测模式作为所述块的帧内预测模式。换句话说，如果所述块以INTRA_BL模式来编码，那么视频解码器280可基于相同位置基础层的帧内预测模式来预测所述块的帧内预测模式。
[0063]如果较低层在解码当前层之前经充分解码，那么较低层处的所有单元或块为当前层的原因而不管其在所述帧或切片内部的位置。在基础层帧或切片不必在解码当前层处的块之前经充分解码的低延迟应用中，在当前块的非因果相邻者的基础层处的相同位置的块已经解码且因此为当前块的原因也是可能的。
[0064]预测信息(例如，帧内预测方向及运动信息)可在空间上高度相关。为了这类预测信息的较佳译码效率，可使用来自相邻PU的相同预测信息来预测此类预测信息，及视频编码器250仅用信号发送预测差到视频解码器280。如果相邻具有不同于当前的模式(例如，一个为帧内模式及另一个为帧间模式)，那么相邻PU的预测信息可不用来预测当前PU的预测信息。此可能损坏译码性能。
[0065]在SVC中，当相邻PU具有某一预测模式时，设置的预测信息的方式可影响随后块的译码性能，这是因为预测信息可用于预测那些随后块的预测信息。
[0066]在SVC中，用于较低层块中的预测信息可充当应用于当前正经译码的层(S卩，当前层)中的对应块的预测模式的良好估计。因此，如果一些预测信息不可用于当前层中的块，那么视频译码器可传播来自基础层中的相同位置的块的相同预测信息(例如帧内预测方向及运动信息)(在可用的情况下)，且使用所述预测信息如同所述预测信息为当前层中的块的预测信息。视频译码器可使用当前层中的所传播预测信息来预测当前层中的随后块的预测信息。此可帮助改良译码效率。
[0067]图7为说明跨越层的预测信息的传播的实例实施例的概念图。举例来说，视频译码器(例如，视频编码器250或视频解码器280)可确定增强层相邻块不具有与当前块相同的预测模式。在此实例中，增强层相邻块及当前块可处于一增强层中。另外，视频译码器可确定基础层相邻块具有与当前块相同的预测模式。在此实例中，基础层相邻块处于基础层中，且与增强层相邻块在相同位置。在传统实施方案下，当增强层相邻块及当前块不具有相同预测模式时，传统系统使用来自增强层相邻块的预测信息而跳过去从而确定当前块的预测信息。然而，在图7的实施例中，响应于确定增强层相邻块不具有与当前块相同的预测模式且基础层相邻块具有与当前块相同的预测模式，视频译码器可使用基础层相邻块的预测信息来确定当前块的预测信息。在一些情况下，基础层相邻块的预测信息为帧内预测模式，及当前块的预测信息也为帧内预测模式。在其它情况下，基础层相邻块的预测信息及当前块的预测信息为运动信息。
[0068]在先前段落的实例中，视频译码器可通过包含基础层相邻块的预测信息作为当前块的候选列表中的候选者来预测当前块的预测信息。在视频译码器编码视频数据的实例中，预测当前块的预测信息可包括从所述候选列表中的候选者中选择给定候选者。在此类实例中，视频编码器可输出选定候选者的索引。在视频译码器解码视频数据的实例中，视频解码器可接收候选列表中的给定候选者的索引。在此类实例中，预测当前块的预测信息可包括使用给定候选者的预测信息作为当前块的预测信息。
[0069]根据本发明的技术，存在至少三种情况，其中增强层块可借用来自基础层中的相同位置块的预测信息，使得此类借用预测信息可用于译码当前增强层处的随后块。
[0070]在第一情况下，给定块705在INTRA_BL模式中经译码且因此不具有原生帧内预测方向或运动信息。(图7,左上)。在此第一,清况下，对于当前层710中的给定块705的每一4X4子部分，从其基础层的相同位置的子部分725复制帧内预测方向715及运动信息720。由于子部分725经帧内译码，所以其不具有任何原生运动信息。因此从其基础层的相同位置的子部分730复制子部分725的运动信息，子部分730经帧间译码。帧内预测方向及运动信息按以上方式的传播可有益于随后块的预测(在随后块以帧内或帧间模式译码的情况下)。随后块可为当前层中的根据译码次序在给定块之后发生的块。
[0071]举例来说，增强层相邻块的预测模式可为INTRA_BL，及当前块的预测模式可为帧间模式或帧内模式。在此实例中，基础层相邻块的预测信息为帧内预测模式或运动信息。在此实例中，视频译码器可使用基础层相邻块的预测信息来确定当前块的预测信息。
[0072]在第二情况下，给定块735在帧内模式中经译码，因此其不具有原生运动信息(图7，顶部中心)。在此第二情况下，对于每一 4X4子部分，从其基础层的相同位置子部分745复制运动信息740，子部分745经帧间译码。请注意在此情况下尽管帧内预测方向是从子部分750传播到子部分745，但其不传播到子部分735，这是因为子部分735具有更准确的原生帧内预测信息。运动信息按以上方式的传播可有益于随后块的预测(在随后块以帧间模式译码的情况下)。随后块可为当前层中的根据译码次序在给定块之后发生的块。举例来说，增强层相邻块的预测模式可为帧内模式，及当前块的预测模式可为帧间模式。在此实例中，视频译码器可使用基础层相邻块的预测信息来确定当前块的预测信息。
[0073]在第三情况下，当前块755在帧间模式中经译码。(图7，右上方)。在此第三情况下，对于每一 4X4子部分，可从其基础层的相同位置子部分765复制帧内预测方向760(在可用的情况下)。由于子部分765作为INTRA_BL而经译码，所以其不具有原生帧内预测信息，因此从其基础层的相同位置子部分770复制帧内预测信息。帧内预测信息按以上方式的传播可有益于随后块的预测(在随后块以帧内模式译码的情况下)。随后块可为当前层中的根据译码次序在给定块之后发生的块。举例来说，增强层相邻块的预测模式可为帧间模式，及当前块的预测模式可为帧内模式。在此实例中，视频译码器可使用基础层相邻块的预测信息来确定当前块的预测信息。
[0074]此外，根据本发明的技术，可在跨越层传播预测信息的同时执行以下内容:
[0075]第一，倘若基础层及增强层不具有相同空间分辨率(例如，空间可缩放性情形)，视频译码器可需要相应地处理预测信息。举例来说，视频译码器可能需要在此情况下基于两层之间的空间缩放比来缩放运动向量。
[0076]以此方式，增强层及基础层可具有不同的空间分辨率，且基础层相邻块的预测信息可包括运动向量。视频译码器可至少部分通过缩放运动向量来确定当前块的预测信息。
[0077]第二，如果基础层中的相同位置块的参考图片也在当前层参考图片列表中，那么可将信息从基础层中的相同位置块直接传播到当前层。否则，可能需要适当的映射。举例来说，视频译码器可基于基础层块中的参考图片相对于当前图片的图片次序计数(POC)距离以及当前增强层中的参考图片相对于当前图片的POC距离而相应地缩放运动向量。
[0078]举例来说，基础层相邻块的预测信息可包括运动向量以及指示基础层参考图片列表中的参考图片的参考图片索引。在此实例中，基础层参考图片列表可为与基础层相邻块相关联的参考图片列表。此外，在此实例中，增强层参考图片列表不同于基础层参考图片列表。增强层参考图片列表为与增强层相邻块相关联的参考图片列表。在此实例中，视频译码器可至少部分通过基于参考图片相对于当前图片的图片次序计数(POC)距离以及增强层参考图片列表中的参考图片相对于当前图片的POC距离而缩放运动向量来确定当前块的预测信息。
[0079]在形成用于译码给定块的预测信息的预测值时，从基础层传播的预测信息可经指派比从当前层获得的预测信息低的权重。举例来说，确定当前块的预测信息可包括相对于增强层中的块的预测信息而指派较低权重到基础层相邻块的预测信息。
[0080]图8为说明经配置以实施本发明的技术的视频编码器250的实例实施例的框图。图8是出于解释的目的而提供，且不应被视为将技术限制为本发明中所大致例示及描述的。出于解释的目的，本发明在HEVC译码的上下文中描述视频编码器250。然而，本发明的技术可适用于其它译码标准或方法。
[0081]在图8的实例中，视频编码器250包含多个功能组件。视频编码器250的功能组件包含预测模块800、残差产生模块802、变换模块804、量化模块806、逆量化模块808、逆变换模块810、重建模块812、滤波器模块813、经解码图片缓冲器814及熵编码模块816。预测模块800包含运动估计模块822、运动补偿模块824及帧内预测模块826。在其它实例中，视频编码器250可包含更多、更少或不同功能组件。此外，运动估计模块822与运动补偿模块824可高度集成，但出于解释的目的而在图8的实例中分开表示。
[0082]视频编码器250可接收视频数据。视频编码器250可从各种源接收视频数据。举例来说，视频编码器250可接收来自视频源240(图2)或另一源的视频数据。视频数据可表示一系列图片。为编码视频数据，视频编码器250可对图片中的每一者执行编码操作。
[0083]作为对图片执行编码操作的部分，视频编码器250可对图片的每一切片执行编码操作。作为对切片执行编码操作的部分，视频编码器250可对切片中的树块执行编码操作。
[0084]作为对树块执行编码操作的部分，预测模块800可对树块的视频块执行四叉树分割以将所述视频块划分成逐渐变小的视频块。较小视频块中的每一者可与不同CU相关联。举例来说，预测模块800可将树块的视频块分割成四个大小相等的子块、将所述子块中的一或多者分割成四个大小相等的子子块，以此类推。
[0085]与⑶相关联的视频块的大小范围可从8X8样本高达最大64X64像素或更大的树块大小。在本发明中，“NXN”及“N乘N”可互换使用来指在垂直及水平尺寸方面的视频块的样本尺寸，例如，16X16样本或16乘16样本。一般来说，16X16视频块在垂直方向上具有十六个样本(y = 16)，且在水平方向上具有十六个样本(X = 16)。同样，NXN块一般在垂直方向上具有N个样本，且在水平方向上具有N个样本，其中N表示非负整数值。
[0086]此外，作为对树块执行编码操作的部分，预测模块800可产生用于所述树块的阶层式四叉树数据结构。举例来说，树块可对应于四叉树数据结构的根节点。如果预测模块800将树块的视频块分割成四个子块，则根节点在四叉树数据结构中具有四个子节点。所述子节点中的每一者对应于与子块中的一者相关联的CU。如果预测模块800将子块中的一者分割成四个子子块，则对应于与子块相关联的CU的节点可具有四个子节点，每一子节点对应于与所述子子块中的一者相关联的CU。
[0087]四叉树数据结构的每一节点可含有用于对应树块或CU的语法数据(例如，语法元素)。举例来说，四叉树中的节点可包含分裂旗标，其指示对应于所述节点的CU的视频块是否被分割(例如，分裂)成四个子块。CU的语法元素可经递归地界定，且可取决于CU的视频块是否分裂成子块。视频块未被分割的CU可对应于四叉树数据结构中的叶节点。经译码树块可包含基于用于对应树块的四叉树数据结构的数据。
[0088]视频编码器250可对树块中的每一未分割⑶执行编码操作。当视频编码器250对未分割CU执行编码操作时，视频编码器250产生表示未分割CU的经编码表示的数据。
[0089]作为对⑶执行编码操作的部分，预测模块800可在⑶的一或多个I3U中分割⑶的视频块。视频编码器250及视频解码器280可支持各种PU大小。假定特定CU的大小为2NX2N，视频编码器250及视频解码器280可支持2NX2N或NXN的PU大小，及2NX2N、2N X N、N X 2N、N X N、2N X nU、nL X 2N、nR X 2N或类似的对称I3U大小的帧间预测。视频编码器250及视频解码器280还可支持用于2NXnU、2NXnD、nLX2N和nRX2N的PU大小的不对称分割。在一些实例中，预测模块800可执行几何分割以沿并不按直角与CU的视频块的侧相交的边界来在CU的PU中分割CU的视频块。
[0090]运动估计模块822及运动补偿模块824可对⑶的每一 PU执行帧间预测。帧间预测可提供时间压缩。为了对PU执行帧间预测，运动估计模块822可产生用于所述的运动信息。运动补偿模块824可基于不同于与CU相关联的图片(例如，参考图片)的图片的运动信息及经解码样本来产生用于PU的预测视频块。在本发明中，由运动补偿模块824产生的预测视频块可被称为经帧间预测视频块。
[0091]切片可为I切片、P切片，或B切片。运动估计模块822及运动补偿模块824可取决于I3U处于I切片、P切片还是B切片中而对CU的PU执行不同操作。在I切片中，所有PU均经帧内预测。因此，如果I3U在I切片中，那么运动估计模块822及运动补偿模块824不对PU执行帧间预测。
[0092]如果PU处于P切片中，那么含有的图片与称为“列表O”的参考图片列表相关联。列表O中的参考图片中的每一者含有可用于按解码次序对后续图片进行帧间预测的样本。当运动估计模块822关于P切片中的PU执行运动估计操作时，运动估计模块822可搜索列表O中的参考图片以找出用于F1U的参考样本。PU的参考样本可为最接近对应于F1U的视频块中的样本的一组样本，例如样本块。运动估计模块822可使用多种度量来确定参考图片中的一组样本对应于I3U的视频块中的样本的接近程度。举例来说,运动估计模块822可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定参考图片中的一组样本对应于I3U的视频块中的样本的接近程度。
[0093]在识别出P切片中的的参考样本之后，运动估计模块822可产生指示列表O中的参考图片含有参考样本的参考索引及指不PU与参考样本之间的空间位移的运动向量。在各种实例中，运动估计模块822可以变化的精确度产生运动向量。举例来说，运动估计模块822可以四分之一样本精度、八分之一样本精度或其它分数样本精度产生运动向量。在分数样本精度的情况下，参考样本值可从整数位置样本值内插在参考图片中。运动估计模块822可将参考索引及运动向量输出为的运动信息。运动补偿模块824可基于PU的运动信息所识别的参考样本来产生PU的经预测视频块。
[0094]如果PU在B切片中，那么含有的图片可与称为“列表O”及“列表I”的两参考图片列表相关联。列表O中的参考图片中的每一者含有可用于按解码次序对后续图片进行帧间预测的样本。列表I中的参考图片按解码次序出现在所述图片之前但按呈现次序在所述图片之后。在一些实例中，含有B切片的图片可与为列表O与列表I的组合的列表组合相关联。
[0095]此外，如果I3U在B切片中，那么运动估计模块822可对PU执行单向预测或双向预测。当运动估计模块822对PU执行单向预测时，运动估计模块822可搜索列表O或列表I的参考图片以找出用于所述PU的参考样本。运动估计模块822可接着产生指示列表O或列表I中的含有所述参考样本的参考图片的参考索引以及指不PU与所述参考样本之间的空间位移的运动向量。运动估计模块822可输出参考索引、预测方向指示符及运动向量作为PU的运动信息。预测方向指示符可指示参考索引指示列表O还是列表I中的参考图片。运动补偿模块824可基于PU的运动信息所指示的参考样本来产生的经预测视频块。
[0096]当运动估计模块822对PU执行双向预测时，运动估计模块822可搜索列表O中的参考图片以找出用于所述PU的参考样本，且还可搜索列表I中的参考图片以找出用于所述PU的另一参考样本。运动估计|旲块822可接着广生指不列表O或列表I中的含有参考样本的参考图片的参考索引以及指示所述参考样本与PU之间的空间位移的运动向量。运动估计模块822可将PU的参考索引及运动向量输出为的运动信息。运动补偿模块824可基于PU的运动信息所指示的参考样本来产生的经预测视频块。
[0097]在一些情况下，运动估计模块822未将用于的运动信息的全部集合输出到熵编码模块816。而是，运动估计模块822可参考另一的运动信息而用信号发送的运动信息。举例来说，运动估计模块822可确定PU的运动信息足够类似于相邻的运动信息。在此实例中，运动估计模块822可在与PU相关联的CU的四叉树节点中指示一值，所述值向视频解码器280指示PU具有与相邻相同的运动信息。在另一实例中，运动估计模块822可在与PU所关联的CU相关联的四叉树节点中识别相邻PU及运动向量差(MVD)。运动向量差指示PU的运动向量与所指示的相邻PU的运动向量之间的差。视频解码器280可使用所指示的相邻PU的运动向量及运动向量差来预测PU的运动向量。
[0098]或者，如果运动向量不可用于相邻PU (例如，由于相邻I3U经帧内译码)，那么运动向量可从对应于相邻PU的基础层I3U获得。来自基础层I3U的运动向量接着可用以预测I3U的运动向量。通过在用信号发送第二 PU的运动信息时参考第一的运动信息，运动估计模块822可能够使用较少位来用信号发送第二的运动信息，无论第一为相邻PU还是基础层PU。
[0099]作为对CU执行编码操作的部分，帧内预测模块826可对CU的PU执行帧内预测。帧内预测可提供空间压缩。当帧内预测模块826对PU执行帧内预测时，帧内预测模块826可基于同一图片中的其它PU的经解码样本来产生用于的预测数据。用于的预测数据可包含预测视频块及各种语法元素。帧内预测模块826可对I切片、P切片及B切片中的I3U执行帧内预测。
[0100]为对PU执行帧内预测，帧内预测模块826可使用多个帧内预测模式来产生用于的多个预测数据集合。当帧内预测模块826使用帧内预测模式来产生用于的预测数据集合时，帧内预测模块826可在与帧内预测模式相关联的方向及/或梯度上将样本从相邻PU的视频块跨越I3U的视频块进行扩展。相邻I3U可在所述I3U的上方、右上方、左上方或左方，假定对于PU、CU及树块采用从左到右、从上到下的编码次序。帧内预测模块826可取决于PU的大小而使用各种数目个帧内预测模式，例如33方向帧内预测模式。
[0101]预测模块800可从由运动补偿模块824针对PU产生的预测数据或由帧内预测模块826针对PU产生的预测数据当中选择用于的预测数据。在一些实例中，预测模块800基于预测数据集合的速率/失真度量来选择用于PU的预测数据。
[0102]如果预测模块800选择由帧内预测模块826产生的预测数据，那么预测模块800可用信号发送用以产生用于PU的预测数据的帧内预测模式，例如选定帧内预测模式。预测模块800可以各种方式用信号发送选定帧内预测模式。举例来说，有可能选定帧内预测模式与相邻PU的帧内预测模式相同。换句话说，相邻PU的帧内预测模式可为当前的最可能模式。因此，预测模块800可产生语法元素以指示选定帧内预测模式与相邻的帧内预测模式相同。
[0103]如果帧内预测模式不可用于相邻例如，由于相邻经帧间译码)，那么帧内预测模式可从对应于相邻PU的基础层获得。来自基础层的模式信息可接着用以预测当前PU的模式信息。通过在用信号发送第二 PU的模式信息时参考第一的模式信息，预测模块800可能够使用较少位来用信号发送第二的运动信息，无论第一为相邻PU还是基础层W。
[0104]在预测模块800选择用于⑶的的预测数据之后，残余产生模块802可通过从CU的视频块减去CU的PU的预测视频块来产生用于CU的残余数据。CU的残余数据可包含对应于CU的视频块中的样本的不同样本分量的2D残余视频块。举例来说,残余数据可包含对应于CU的PU的预测视频块中的样本的明度分量与CU的原始视频块中的样本的明度分量之间的差的残余视频块。另外，CU的残余数据可包含对应于CU的PU的预测视频块中的样本的色度分量与CU的原始视频块中的样本的色度分量之间的差的残余视频块。
[0105]预测模块800可执行四叉树分割以将CU的残余视频块分割成子块。每一未划分残余视频块可与CU的不同TU相关联。与CU的TU相关联的残余视频块的大小及位置可或可不基于与CU的PU相关联的视频块的大小及位置。被称为“残余四叉树”(RQT)的四叉树结构可包含与残余视频块中的每一者相关联的节点。CU的未分割TU可对应于RQT的叶节点。
[0106]如果与TU相关联的残余视频块分割为多个较小残余视频块，那么TU可具有一或多个子TU。较小残余视频块中的每一者可与子TU中的不同一者相关联。
[0107]变换模块804可通过将一或多个变换应用到与TU相关联的残余视频块而产生用于CU的每一未分割TU的一或多个变换系数块。所述变换系数块中的每一者可为变换系数的2D矩阵。变换模块804可将各种变换应用到与TU相关联的残余视频块。举例来说，变换模块804可将离散余弦变换(DCT)、定向变换或概念上类似的变换应用到与TU相关联的残余视频块。
[0108]在变换模块804产生与TU相关联的变换系数块之后，量化模块806可量化变换系数块中的变换系数。量化模块806可基于与CU相关联的QP值而量化与CU的TU相关联的变换系数块。
[0109]视频编码器250可以各种方式使QP值与⑶相关联。举例来说，视频编码器250可对与CU相关联的树块执行速率失真分析。在速率-失真分析中，视频编码器250可通过对树块执行多次编码操作而产生所述树块的多个经译码表示。当视频编码器250产生树块的不同经编码表示时，视频编码器250可使不同QP值与CU相关联。当给定QP值与具有最低位速率及失真度量的树块的经译码表示中的CU相关联时，视频编码器250可用信号发送所述给定QP值与CU相关联。
[0110]逆量化模块808及逆变换模块810可分别应用逆量化及逆变换到变换系数块以从变换系数块重建残余视频块。重建模块812可将经重建残余视频块添加到来自由预测模块800产生的一或多个预测视频块的对应样本以产生与TU相关联的经重建视频块。通过以此方式重建⑶的每一 TU的视频块，视频编码器250可重建⑶的视频块。
[0111]在重建模块812重建⑶的视频块之后，滤波器模块813可执行解块操作以减小与所述CU相关联的视频块中的成块假影。在执行一或多个解块操作之后，滤波器模块813可将⑶的经重建视频块存储到经解码图片缓冲器814中。运动估计模块822及运动补偿模块824可使用含有所述经重建视频块的参考图片来对后续图片的执行帧间预测。另外，帧内预测模块826可使用经解码图片缓冲器814中的经重建视频块来对处于与CU同一图片中的其它I3U执行帧内预测。
[0112]以此方式，在滤波器模块813将解块滤波器应用到与边缘相关联的样本之后，预测模块800可至少部分基于与边缘相关联的样本而产生经预测视频块。视频编码器250可输出包含一或多个语法元素的位流，所述语法元素的值是至少部分基于经预测视频块。
[0113]熵编码模块816可接收来自视频编码器250的其它功能组件的数据。举例来说，熵编码模块816可接收来自量化模块806的变换系数块及可接收来自预测模块800的语法元素。当熵编码模块816接收数据时,熵编码模块816可执行一或多个熵编码操作以产生熵编码数据。举例来说，视频编码器250可对所述数据执行上下文自适应可变长度译码(CAVLC)操作、CABAC操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作，或另一类型的熵编码操作。熵编码模块816可输出包含所述熵编码数据的位流。
[0114]作为对数据执行熵编码操作的部分，熵编码模块816可选择上下文模型。如果熵编码模块816正执行CABAC操作，那么上下文模型可指示特定二进制数(bin)具有特定值的概率估计。在CABAC的上下文中，术语“二进制数”用于指语法元素的二进制化版本的位。
[0115]如果熵编码模块816正执行CAVLC操作，那么上下文模型可将系数映射到对应码字。CAVLC中的码字可经建构而使得相对较短的代码对应于可能性较高的符号，而相对较长的代码对应于可能性较低的符号。适当上下文模型的选择可影响熵编码操作的译码效率。
[0116]图9为说明可实施本发明的技术的视频解码器280的实例实施例的框图。图9是出于解释的目的而提供，且并不将技术限制为本发明中所大致例示及描述的。出于解释的目的，本发明在HEVC译码的上下文中描述视频解码器280。然而，本发明的技术可适用于其它译码标准或方法。
[0117]在图9的实例中，视频解码器280包含多个功能组件。视频解码器280的功能组件包含熵解码模块950、预测模块952、逆量化模块954、逆变换模块956、重建模块958、滤波器模块959、及经解码图片缓冲器960。预测模块952包含运动补偿模块962及帧内预测模块964。在一些实例中，视频解码器280可执行大体上与关于图8的视频编码器250所描述的编码遍次互逆的解码遍次。在其他实例中，视讯解码器280可包含较多、较少或不同的功能组件。
[0118]视频解码器280可接收包括经编码的视频数据的位流。所述位流可包含多个语法元素。当视频解码器280接收位流时，熵解码模块950可对所述位流执行剖析操作。作为对位流执行解析操作的结果，熵解码模块950可从所述位流提取语法元素。作为执行剖析操作的部分，熵解码模块950可对位流中的熵编码语法元素进行熵解码。预测模块952、逆量化模块954、逆变换模块956、重建模块958及滤波器模块959可执行重建操作，所述重建操作基于从位流提取的语法元素产生经解码视频数据。
[0119]如上文所论述，位流可包括一系列NAL单元。位流的NAL单元可包含序列参数集NAL单元、图片参数集NAL单元、SEI NAL单元，等。作为对位流执行剖析操作的部分，熵解码模块950可执行剖析操作，所述剖析操作从序列参数集NAL单元提取且熵解码序列参数集、从图片参数集NAL单元提取且熵解码图片参数集、从SEI NAL单元提取且熵解码SEI数据，等。
[0120]另外，位流的NAL单元可包含经译码切片NAL单元。作为对位流执行剖析操作的部分，熵解码模块950可执行剖析操作，所述剖析操作从经译码切片NAL单元提取且熵解码经译码切片。经写码切片中之每一者可包括切片标头及切片数据。切片标头可含有关于切片的语法元素。切片标头中的语法元素可包含识别与含有所述切片的图片相关联的图片参数集的语法元素。熵解码模块950可对经译码切片标头执行熵解码操作(例如CAVLC解码操作)，以恢复所述切片标头。
[0121]在从经译码切片NAL单元提取切片数据之后，熵解码模块950可从所述切片数据提取经译码树块。熵解码模块950可接着从经译码树块提取经译码CU。熵解码模块950可执行剖析操作，所述剖析操作从经译码CU提取语法元素。经提取语法元素可包含经熵编码的变换系数块。熵解码模块950可接着对语法元素执行熵解码操作。举例来说，熵解码模块950可对变换系数块执行CABAC操作。
[0122]在熵解码模块950对未分割CU执行剖析操作之后，视频解码器280可对所述未分割⑶执行重建操作。为对未分割⑶执行重建操作，视频解码器280可对⑶的每一 TU执行重建操作。通过对CU的每一 TU执行重建操作，视频解码器280可重建与CU相关联的残余视频块。
[0123]作为对TU执行重建操作的部分，逆量化模块954可逆量化(S卩，解量化)与TU相关联的变换系数块。逆量化模块954可以类似于针对HEVC所提议或由H.264解码标准界定的逆量化过程的方式来对变换系数块进行逆量化。逆量化模块954可使用由视频编码器250针对变换系数块的CU所计算的量化参数QP来确定量化程度，且同样地确定逆量化程度来供逆量化模块954应用。
[0124]在逆量化模块954对变换系数块进行逆量化之后，逆变换模块956可产生用于与变换系数块相关联的TU的残余视频块。逆变换模块956可将逆变换应用到变换系数块以便产生用于TU的残余视频块。举例来说，逆变换模块956可将逆DCT、逆整数变换、逆卡胡南-洛夫(Karhunen-Loeve)变换(KLT)、逆旋转变换、逆定向变换，或另一逆变换应用到变换系数块。
[0125]在一些实例中，逆变换模块956可基于来自视频编码器250的信令来确定一逆变换以应用于变换系数块。在此类实例中，逆变换模块956可基于在用于与变换系数块相关联的树块的四叉树的根节点处用信号发送的变换来确定逆变换。在其它实例中，逆变换模块956可从一或多个译码特性(例如块大小、译码模式，或其类似者)推断逆变换。在一些实例中，逆变换模块956可应用级联的逆变换。
[0126]如果⑶的PU是使用帧间预测进行编码，那么运动补偿模块962可执行运动补偿以产生用于PU的预测视频块。运动补偿模块962可使用用于的运动信息来识别所述的参考样本。PU的参考样本可与PU处于不同时间图片中。的运动信息可包含运动向量、参考图片索引及预测方向。运动补偿模块962可使用PU的参考样本来产生用于的预测视频块。在一些实例中，运动补偿模块962可基于与所述相邻的PU的运动信息来预测所述PU的运动信息。或者，如果相邻未经帧间译码，那么运动补偿模块962可基于对应于相邻I3U的基础层I3U的运动信息来确定运动信息。在本发明中，如果视频编码器250使用帧间预测来产生PU的预测视频块，那么所述为经帧间预测W。
[0127]在一些实例中，运动补偿模块962可通过基于内插滤波器执行内插而改进PU的预测视频块。用于将用于以子样本精度进行运动补偿的内插滤波器的识别符可包含在语法元素中。运动补偿模块962可使用由视频编码器250在产生PU的预测视频块期间使用的相同内插滤波器来计算参考块的子整数样本的内插值。运动补偿模块962可根据所接收的语法信息而确定由视频编码器250使用的内插滤波器且使用所述内插滤波器来产生预测视频块。
[0128]如果PU是使用帧内预测进行编码，那么帧内预测模块964可执行帧内预测以产生用于PU的预测视频块。举例来说，帧内预测模块964可基于位流中的语法元素来确定用于PU的帧内预测模式。位流可包含帧内预测模块964可用以预测PU的帧内预测模式的语法元素。
[0129]在一些情况下，语法元素可指示帧内预测模块964将使用另一的帧内预测模式来确定当前PU的帧内预测模式。举例来说，可能有可能当前PU的帧内预测模式与相邻的帧内预测模式相同。换句话说，相邻PU的帧内预测模式可为当前的最可能模式。因此，在此实例中，位流可包含小语法元素，所述小语法元素指示PU的帧内预测模式与相邻PU的帧内预测模式相同。帧内预测模块964可接着使用所述帧内预测模式来基于空间相邻PU的视频块产生所述的预测数据(例如，预测样本)。或者，如果相邻未经帧内译码，那么帧内预测模块964可参考对应于相邻的基础层而非参考相邻本身来确定帧内预测模式。
[0130]重建模块958可使用与CU的TU相关联的残余视频块及CU的PU的预测视频块(例如，帧内预测数据或帧间预测数据，如果适用)来重建⑶的视频块。因此，视频解码器280可基于位流中的语法元素产生预测视频块及残余视频块，且可基于所述预测视频块及所述残余视频块产生视频块。
[0131 ] 在重建模块958重建⑶的视频块之后，滤波器模块959可执行解块操作以减小与所述CU相关联的成块假影。在滤波器模块959执行解块操作以减小与CU相关联的成块假影之后，视频解码器280可将所述CU的视频块存储在经解码图片缓冲器960中。经解码图片缓冲器960可提供参考图片以用于后续运动补偿、帧内预测和呈现在显示装置(例如图2的显示装置290)上。举例来说，视频解码器280可基于经解码图片缓冲器960中的视频块而执行对其它CU的PU的帧内预测或帧间预测操作。
[0132]在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果用软件实施，那么所述功能可以作为一或多个指令或代码在计算机可读媒体上存储或传输，并且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包含促进将计算机程序从一处传送到另一处的任何媒体(例如，根据通信协议)的通信媒体。以此方式，计算机可读媒体大体上可以对应于(I)非暂时性的有形计算机可读存储媒体，或(2)通信媒体，例如信号或载波。数据存储媒体可以是可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
[0133]借助于实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或任何其它可用来存储呈指令或数据结构的形式的所要程序代码并且可由计算机存取的媒体。而且，任何连接被恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源发射指令，那么同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波等无线技术包含在媒体的定义中。然而，应理解，所述计算机可读存储媒体及数据存储媒体并不包含连接、载波、信号或其它暂时媒体，而是实际上针对于非暂时性有形存储媒体。如本文所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式复制数据，而光盘使用激光以光学方式复制数据。以上各项的组合也应包含在计算机可读媒体的范围内。
[0134]指令可以由一或多个处理器执行，所述一或多个处理器例如是一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)、或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文所述的功能性可以在经配置用于编码及解码的专用硬件及/或软件模块内提供，或者并入在组合式编解码器中。而且，可将所述技术完全实施于一或多个电路或逻辑元件中。
[0135]本发明的技术可以在广泛多种装置或设备中实施，包括无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可以结合合适的软件及/或固件而组合在编解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
[0136]已描述各种实例。这些及其它实例在所附权利要求书的范围内。
【权利要求】
1.一种用于解码视频数据的方法，所述方法包括: 识别增强层中的第一视频分区中的第一视频单元，所述第一视频分区对应于基础层中的第二视频分区； 识别紧密地邻近于所述第一视频分区中的所述第一视频单元的第二视频单元，其中所述第二视频单元具有与所述第一视频单元的预测模式不同的预测模式；以及 使用定位在所述第二视频分区中的对应于所述第一视频分区中的所述第二视频单元的位置的位置处的基础层视频单元的预测信息来确定所述第一视频单元的预测信息，其中所述基础层视频单元具有与第一视频单元的所述预测模式相同的预测模式。
2.根据权利要求1所述的方法，其中所述基础层视频单元的所述预测信息包括帧内预测方向，及所述第一视频单元的所述预测信息也包括帧内预测方向。
3.根据权利要求2所述的方法，其中所述第二视频单元的所述预测模式为帧间模式，及所述第一视频单元的所述预测模式为帧内模式。
4.根据权利要求1所述的方法，其中所述基础层视频单元的所述预测信息及所述第一视频单元的所述预测信息两者包括运动信息。
5.根据权利要求4所述的方法，其中所述第二视频单元的所述预测模式为帧内模式，及所述第一视频单元的所述预测模式为帧间模式。
6.根据权利要求1所述的方法， 其中所述第二视频单元的所述预测模式为INTRA_BL ； 其中所述第一视频单元的所述预测模式为帧间模式或帧内模式；以及 其中所述基础层视频单元的所述预测信息为帧内预测方向或运动信息。
7.根据权利要求1所述的方法，其中包含所述基础层视频单元的所述预测信息作为用于所述第一视频单元的候选列表中的候选者，且其中确定所述第一视频单元的所述预测信息包括接收所述候选列表中的所述所包含候选者的索引。
8.根据权利要求1所述的方法， 其中所述增强层及所述基础层具有不同空间分辨率； 其中所述基础层视频单元的所述预测信息包括运动向量；以及 其中确定所述第一视频单元的所述预测信息包括缩放所述运动向量。
9.根据权利要求1所述的方法， 其中第一 POC距离包括当前图片与所述第一视频单元所关联的第一参考图片之间的图片次序计数的差异； 其中第二 POC距离包括所述当前图片与所述基础层视频单元所关联的第二参考图片之间的图片次序计数的差异；以及 其中确定所述第一视频单元的所述预测信息包括至少部分基于包括所述第一 POC距离及所述第二 POC距离的比率来缩放所述基础层视频单元的运动向量。
10.根据权利要求1所述的方法，其中确定所述第一视频单元的所述预测信息包括相对于所述增强层中的视频单元的预测信息而指派较低权重到所述基础层视频单元的所述预测信息。
11.一种用于编码视频数据的方法，所述方法包括: 识别增强层中的第一视频分区中的第一视频单元，所述第一视频分区对应于基础层中的第二视频分区； 确定紧密地邻近于所述第一视频分区中的所述第一视频单元的第二视频单元是否具有与所述第一视频单元的预测模式不同的预测模式；以及 响应于确定所述第二视频单元具有不同于所述第一视频单元的预测模式，使用定位在所述第二视频分区中的对应于所述第一视频分区中的所述第二视频单元的位置的位置处的基础层视频单元的预测信息来确定所述第一视频单元的预测信息，其中所述基础层视频单元具有与所述第一视频单元的所述预测模式相同的预测模式。
12.根据权利要求11所述的方法，其中所述基础层视频单元的所述预测信息包括帧内预测方向，及所述第一视频单元的所述预测信息也包括帧内预测方向。
13.根据权利要求12所述的方法，其中所述第二视频单元的所述预测模式为帧间模式，及所述第一视频单元的所述预测模式为帧内模式。
14.根据权利要求11所述的方法，其中所述基础层视频单元的所述预测信息及所述第一视频单元的所述预测信息两者包括运动信息。
15.根据权利要求14所述的方法，其中所述第二视频单元的所述预测模式为帧内模式，及所述第一视频单元的所述预测模式为帧间模式。
16.根据权利要求11所述的方法， 其中所述第二视频单元的所述预测模式为INTRA_BL ； 其中所述第一视频单元的所述预测模式为帧间模式或帧内模式；以及 其中所述基础层视频单元的所述预测信息为帧内预测方向或运动信息。
17.根据权利要求11所述的方法，其进一步包括输出索引，其中所述索引指示与所述第一视频单元相关联的候选列表中的基础层候选者，且其中所述基础层候选者包括所述基础层视频单元的所述预测信息。
18.根据权利要求11所述的方法， 其中所述增强层及所述基础层具有不同空间分辨率； 其中所述基础层视频单元的所述预测信息包括运动向量；以及 其中确定所述第一视频单元的所述预测信息包括缩放所述运动向量。
19.根据权利要求11所述的方法， 其中第一 POC距离包括当前图片与所述第一视频单元所关联的第一参考图片之间的图片次序计数的差异； 其中第二 POC距离包括所述当前图片与所述基础层视频单元所关联的第二参考图片之间的图片次序计数的差异；以及 其中确定所述第一视频单元的所述预测信息包括至少部分基于包括所述第一 POC距离及所述第二 POC距离的比率来缩放所述基础层视频单元的运动向量。
20.根据权利要求11所述的方法，其中确定所述第一视频单元的所述预测信息包括相对于所述增强层中的视频单元的预测信息而指派较低权重到所述基础层视频单元的所述预测信息。
21.一种用于译码视频数据的设备，所述设备包括: 存储器单元，其经配置以存储与增强层及基础层相关联的预测信息，所述增强层包含第一视频分区中的第一视频单元及紧密地邻近于所述第一视频分区中的所述第一视频单元的第二视频单元，所述基础层包含对应于所述第一视频分区的第二视频分区； 处理器，其与所述存储器单元通信，所述处理器经配置以使用定位在所述第二视频分区中的对应于所述第一视频分区中的所述第二视频单元的位置的位置处的基础层视频单元的预测信息来确定所述第一视频单元的预测信息； 其中所述第二视频单元具有与所述第一视频单元的预测模式不同的预测模式；以及 其中所述基础层视频单元具有与所述第一视频单元的所述预测模式相同的预测模式。
22.根据权利要求21所述的设备，其中所述基础层视频单元的所述预测信息包括帧内预测方向，及所述第一视频单元的所述预测信息也包括帧内预测方向。
23.根据权利要求22所述的设备，其中所述第二视频单元的所述预测模式为帧间模式，及所述第一视频单元的所述预测模式为帧内模式。
24.根据权利要求21所述的设备，其中所述基础层视频单元的所述预测信息及所述第一视频单元的所述预测信息两者为运动信息。
25.根据权利要求24所述的设备，其中所述第二视频单元的所述预测模式为帧内模式，及所述第一视频单元的所述预测模式为帧间模式。
26.根据权利要求21所述的设备， 其中所述第二视频单元的所述预测模式为INTRA_BL ； 其中所述第一视频单元的所述预测模式为帧间模式或帧内模式；以及 其中所述基础层视频单元的所述预测信息为帧内预测方向或运动信息。
27.根据权利要求21所述的设备，其中所述处理器经配置以将包括所述基础层视频单元的所述预测信息的候选者包含在所述第一视频单元的候选列表中。
28.根据权利要求27所述的设备，其中所述处理器经进一步配置以部分通过接收指定所述候选列表中的所述候选者的索引的输入而确定所述第一视频单元的所述预测信息。
29.根据权利要求27所述的设备，其中所述处理器经进一步配置以输出所述候选列表中的所述候选者的索引。
30.根据权利要求21所述的设备， 其中所述增强层及所述基础层具有不同空间分辨率， 其中所述基础层视频单元的所述预测信息包括运动向量，以及其中所述处理器经配置以通过缩放所述运动向量来确定所述第一视频单元的所述预测信息。
31.根据权利要求21所述的设备， 其中第一 POC距离包括当前图片与所述第一视频单元所关联的第一参考图片之间的图片次序计数的差异； 其中第二 POC距离包括所述当前图片与所述基础层视频单元所关联的第二参考图片之间的图片次序计数的差异；以及 其中确定所述第一视频单元的所述预测信息包括至少部分基于包括所述第一 POC距离及所述第二 POC距离的比率来缩放所述基础层视频单元的运动向量。
32.—种视频译码装置，其包括: 用于识别增强层中的第一视频分区中的第一视频单元的装置，所述第一视频分区对应于基础层中的第二视频分区； 用于识别紧密地邻近于所述第一视频分区中的所述第一视频单元的第二视频单元的装置，其中所述第二视频单元具有与所述第一视频单元的预测模式不同的预测模式；以及用于使用定位在所述第二视频分区中的对应于所述第一视频分区中的所述第二视频单元的位置的位置处的基础层视频单元的预测信息来确定所述第一视频单元的预测信息的装置，其中所述基础层视频单元具有与所述第一视频单元的所述预测模式相同的预测模式。
33.根据权利要求32所述的视频译码装置， 其中所述增强层及所述基础层具有不同空间分辨率； 其中所述基础层视频单元的所述预测信息包括运动向量；以及 其中确定所述第一视频单元的所述预测信息包括缩放所述运动向量。
34.根据权利要求32所述的视频译码装置， 其中第一 POC距离包括当前图片与所述第一视频单元所关联的第一参考图片之间的图片次序计数的差异； 其中第二 POC距离包括所述当前图片与所述基础层视频单元所关联的第二参考图片之间的图片次序计数的差异；以及 其中确定所述第一视频单元的所述预测信息包括至少部分基于包括所述第一 POC距离及所述第二 POC距离的比率来缩放所述基础层视频单元的运动向量。
35.根据权利要求32所述的视频译码装置，其中所述用于确定所述第一视频单元的所述预测信息的装置包括用于相对于所述增强层中的视频单元的预测信息而指派较低权重到所述基础层视频单元的所述预测信息的装置。
36.一种非暂时性计算机存储器，其上存储有指令，所述指令在由具有计算机存储器的计算机系统执行时致使所述计算机系统进行以下操作: 识别增强层中的第一视频分区中的第一视频单元，所述第一视频分区对应于基础层中的第二视频分区； 识别紧密地邻近于所述第一视频分区中的所述第一视频单元的第二视频单元，其中所述第二视频单元具有不同于所述第一视频单元的预测模式的预测模式；以及 使用定位在所述第二视频分区中的对应于所述第一视频分区中的所述第二视频单元的位置的位置处的基础层视频单元的预测信息来确定所述第一视频单元的预测信息，其中所述基础层视频单元具有与所述第一视频单元相同的预测模式。
37.根据权利要求36所述的非暂时性计算机存储器， 其中所述增强层及所述基础层具有不同空间分辨率； 其中所述基础层视频单元的所述预测信息包括运动向量；以及 其中确定所述第一视频单元的所述预测信息包括缩放所述运动向量。
38.根据权利要求36所述的非暂时性计算机存储器， 其中第一 POC距离包括当前图片与所述第一视频单元所关联的第一参考图片之间的图片次序计数的差异； 其中第二 POC距离包括所述当前图片与所述基础层视频单元所关联的第二参考图片之间的图片次序计数的差异；以及 其中确定所述第一视频单元的所述预测信息包括至少部分基于包括所述第一 POC距离及所述第二 POC距离的比率来缩放所述基础层视频单元的运动向量。
39.根据权利要求36所述的非暂时性计算机存储器，其进一步包括相对于所述增强层中的视频单元的预测信息而指派较低权重到所述基础层视频单元的所述预测信息的指令。
【文档编号】H04N19/159GK104205839SQ201380017543
【公开日】2014年12月10日 申请日期:2013年4月11日 优先权日:2012年4月12日
【发明者】涂承杰, 翔林·王, 马尔塔·卡切维奇 申请人:高通股份有限公司
【专利摘要】在视频译码器的一些实施例中，如果一些预测信息不可用于当前层中的第一块，那么所述视频译码器使用来自基础层中的与所述第一块相同位置的第二块的对应信息(例如，帧内预测方向及运动信息)(如果可用的话)，如同所述对应信息为所述第一块的预测信息。接着可将所述对应信息用于所述当前层中以确定所述当前层中的随后块的预测信息。
【专利说明】用于可缩放视频译码中的预测的层间模式导出
【技术领域】
[0001]本发明涉及视频译码及压缩，且确切地说，涉及可缩放视频译码(SVC)。
【背景技术】
[0002]数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置及其类似者。数字视频装置实施视频压缩技术，例如通过MPEG-2、MPEG-4、ITU-T H.263、ITU-T
H.264/MPEG-4第10部分、高级视频译码(AVC)、目前正在开发的高效率视频译码(HEVC)标准及此类标准的扩展部分定义的标准中描述的技术，以便更有效地发射、接收及存储数字视频息。
[0003]视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片分割成视频块，视频块还可被称作树块、译码单元(CU)及/或译码节点。图片的经帧内译码(I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测，或相对于其它参考图片中的参考样本的时间预测。图片可被称为帧，且参考图片可被称为参考帧。
[0004]空间或时间预测产生用于待译码块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据编码的。经帧内译码块是根据帧内译码模式及残余数据编码的。为了进一步压缩，可以将残余数据从像素域变换到变换域，从而产生残余变换系数，接着可以对残余变换系数进行量化。可以扫描最初用二维阵列布置的经量化变换系数，以便产生变换系数的一维向量，并且可以应用熵译码以实现更多的压缩。
[0005]某一基于块的视频译码及压缩利用可缩放技术。可缩放视频译码(SVC)指使用基础层及一或多个可缩放增强层的视频译码。对于SVC来说，基础层通常载运具有基础质量水平的视频数据。一或多个增强层载运额外的视频数据以支持(例如)较高的空间、时间及/或SNR水平。在一些情况下，可以比增强层的发射更可靠的方式来发射基础层。在下文论述中，“基础层”可意味着可能由不可缩放编解码器(例如H.264)产生的绝对基础层，或其可意味着在编码当前增强层中用作基础的经先前编码的增强层。基础层也可被称作较低层，及增强层也可被称作较高层。
【专利附图】
【附图说明】
[0006]图1为根据本发明的技术的说明用于确定预测参数的实例过程的流程图。
[0007]图2为说明可利用本发明的技术的实例视频译码系统的框图。
[0008]图3为说明帧内模式的实施例的概念图。
[0009]图4为说明帧间模式的实施例的概念图。
[0010]图5为说明可缩放视频译码的实施例的概念图。
[0011]图6为说明INTRA_BL模式的实施例的概念图。
[0012]图7为说明跨越层的预测信息的传播的实例实施例的概念图。
[0013]图8为说明可实施本发明的技术的视频编码器的实例实施例的框图。
[0014]图9为说明可实施本发明的技术的视频解码器的实例实施例的框图。
【具体实施方式】
[0015]视频译码器可支持多个预测模式以用于减少经编码视频的不同方面中的冗余，如上文所描述。举例来说，帧间模式可减小不同帧中的块之间的冗余，帧内模式可减小同一帧中的块之间的冗余，及帧内BL模式可减小不同层中的块之间的冗余。一些或全部预测模式可具有与其相关联的参数。举例来说，预测参数可包含用于经帧间译码块的运动向量或用于经帧内译码块的预测方向。
[0016]编码器可基于每一块的内容来选择预测模式及参数集合以提供可用于所述块的最佳预测。在许多情况下，彼此接近的块可具有类似预测参数。因此，预测参数可基于来自相邻块的参数而经自身预测。然而，如果相邻块使用不同于当前块的预测模式，那么相邻块的参数可能不可用于预测当前块的参数。因此，识别可能类似于当前块的参数的参数的替代源可为有益的。
[0017]在可缩放视频译码中，基础层块的预测参数可类似于对应增强层块的预测参数。术语“对应”为广义术语，并且对所属领域的普通技术人员给出其普通且惯例的含义(即，其不限于特殊或自定义的含义)，并且可包含(但不限于)各种层中的相同位置的块。基础层及增强层中的对应块之间的预测参数的可能类似性可结合上文描述的同一层中的相邻块的预测参数的可能类似性来采用。具体来说，当增强层中的当前块的参数由于邻近块使用不同预测模式而不能从所述邻近块的参数预测时，其可能从对应于邻近块的基础层块来获得参数集合。接着可将所获得参数用作预测当前块的参数的基础。具体地说，此方法可在来自增强层的当前块的预测模式匹配基础层块的预测模式时为有用的。
[0018]本发明的特征可通过允许将较多预测参数表示为残余数来帮助改进译码效率。此类残余数可包括经表示的预测参数与参考参数集合之间的差异。所述差异在大多数情况下可为较小的，这是因为所述参考参数针对其与所表示预测参数的可能类似性来被选择。因此，可预期残余数占据比预测参数本身少的位。结果，可以相同位速率来提供较佳视频质量，或可以较低位速率来提供相同质量的视频。
[0019]【专利附图】
【附图说明】若干实例。由附图中的参考标号指示的元件对应于在以下描述中由相同参考标号指示的元件。在本发明中，名称以序数词(例如，“第一”、“第二”、“第三”，等)开始的元件未必暗示所述元件具有特定次序。确切地说，此类序数词仅用于指代相同或类似类型的不同元件。
[0020]图1为根据本发明的技术的说明用于确定预测参数的实例过程的流程图。所述过程可供图2、8及9中所描绘的类别的视频译码器使用。具体来说，所述过程可用以基于与当前视频单元的相邻者相同位置的基础层视频单元所关联的预测参数来确定增强层中的当前视频单元的预测参数，如上文所描述。所述过程可如下进行。在方框110，视频译码器可确定当前视频单元的预测模式是否与相邻视频单元的预测模式相同。如果预测模式匹配，那么过程继续到方框120，其中视频译码器基于相邻视频单元的预测参数来确定当前视频单元的预测参数。如果预测模式不匹配，那么过程继续到方框130，其中视频译码器确定当前视频单元的预测模式是否与增强层中的当前视频单元的相邻者相同位置的基础层中的视频单元的预测模式相同。视频译码器可检查在增强层下方的若干基础层中的相同位置块的预测模式，直到找到具有匹配预测模式的相同位置块为止。如果在方框130找到预测模式匹配，那么所述过程继续到方框140，其中根据相关基础层中的匹配视频单元的预测参数来确定当前视频单元的预测参数。如果在方框130未找到预测模式匹配，那么所述过程继续到方框150，其中不参考增强层中的相邻视频单元且不参考与相邻视频单元相同位置的基础层中的视频单元来确定当前视频单元的预测参数。
[0021]图2为说明可利用本发明的技术的实例视频译码系统10的框图。如本文中所描述地使用，术语“视频译码器”一般指视频编码器及视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般地指视频编码及视频解码。
[0022]如图2中所示，视频译码系统200包含源装置210及目的地装置220。源装置210产生经编码的视频数据。目的地装置220可解码源装置210所产生的经编码的视频数据。源装置210及目的地装置220可包括广泛范围的装置，包含桌上型计算机、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、所谓的“智能”板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机或其类似者。在一些实例中，源装置210及目的地装置220可经装备以用于无线通信。
[0023]目的地装置220可经由信道230接收来自源装置210的经编码的视频数据。信道230可包括能够将经编码的视频数据从源装置210移动到目的地装置220的任何类型的媒体或装置。在一个实例中，信道230可包括使源装置210能够将经编码的视频数据实时直接发射到目的地装置220的通信媒体。在此实例中，源装置210可根据通信标准(例如无线通信协议)来调制经编码的视频数据，且可将经调制视频数据发射到目的地装置220。通信媒体可包括无线或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线路。通信媒体可能形成分组网络(例如局域网、广域网或全球网络，例如因特网)的一部分。通信媒体可包含路由器、交换器、基站或促进从源装置210到目的地装置220的通信的其它装备。
[0024]在另一实例中，信道230可对应于存储源装置210所产生的经编码的视频数据的存储媒体。在此实例中，目的地装置220可经由磁盘存取或卡存取来存取所述存储媒体。存储媒体可包含多种本地存取的数据存储媒体，例如蓝光光盘、DVD、CD-ROM、快闪存储器或用于存储经编码的视频数据的其它合适数字存储媒体。在另一实例中，信道230可包含文件服务器或存储源装置210所产生的经编码视频的另一中间存储装置。在此实例中，目的地装置220可经由流式传输或下载而存取存储在文件服务器或其它中间存储装置处的经编码的视频数据。文件服务器可为能够存储经编码的视频数据并且将经编码的视频数据发射到目的地装置220的服务器类型。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络连接存储(NAS)装置，及本地磁盘驱动器。目的地装置220可以经由任何标准数据连接(包含因特网连接)来存取经编码的视频数据。数据连接的实例类型可包含适合于存取存储于文件服务器上的经编码的视频数据的无线信道(例如，W1-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码的视频数据从文件服务器的传输可为流式传输、下载传输或两者的组合。
[0025]本发明的技术不限于无线应用或设置。所述技术可应用于视频译码以支持多种多媒体应用，例如空中电视广播、有线电视发射、卫星电视发射、流式视频传输(例如，经由因特网)、编码数字视频以存储于数据存储媒体上、解码存储于数据存储媒体上的数字视频，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频播放、视频广播及/或视频电话等应用。
[0026]在图2的实例中，源装置210包含视频源240、视频编码器250及输出接口 260。在一些情况下，输出接口 260可包含调制器/解调器(调制解调器)及/或发射器。在源装置210中，视频源240可包含例如视频俘获装置(例如，视频摄像机)、含有先前俘获的视频数据的视频存档、从视频内容提供者接收视频数据的视频馈入接口及/或用于产生视频数据的计算机图形系统等来源，或此类来源的组合。
[0027]视频编码器250可编码所俘获、预俘获或计算机产生的视频数据。经编码视频数据可经由源装置210的输出接口 260直接发射到目的地装置220。经编码的视频数据还可存储到存储媒体或文件服务器上以供稍后由目的地装置220存取以用于解码及/或播放。
[0028]在图2的实例中，目的地装置220包含输入接口 270、视频解码器280及显示装置290。在一些情况下，输入接口 270可包含接收器及/或调制解调器。目的地装置220的输入接口 270经由信道230接收经编码的视频数据。经编码的视频数据可包含由视频编码器250产生的表示视频数据的多种语法元素。此类语法元素可与在通信媒体上发射、存储在存储媒体上或存储在文件服务器中的经编码的视频数据包含在一起。
[0029]显示装置290可与目的地装置220集成在一起或可在其外部。在一些实例中，目的地装置220可包含集成显示装置，且还可经配置以与外部显示装置介接。在其它实例中，目的地装置220可为显示装置。大体来说，显示装置290向用户显示经解码视频数据。显示装置290可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
[0030]视频编码器250及视频解码器280可根据视频压缩标准(例如目前正在开发的高效率视频译码(HEVC)标准)来操作，且可符合HEVC测试模型(HM)。或者，视频编码器250及视频解码器280可以根据其它专有或业界标准来操作，例如ITU-T H.264标准，或者被称为MPEG-4，第10部分，高级视频译码(AVC)，或此类标准的扩展。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和ITU-TH.263。
[0031]尽管图2的实例中未展示，但视频编码器250及视频解码器280可各自与音频编码器及解码器集成，且可包含适当多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件以处置对共同数据流或单独数据流中的音频及视频两者的编码。在一些实例中，如果适用的话，多路复用器-多路分用器单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。
[0032]此外，图2仅为实例，且本发明的技术可适用于未必包含编码装置与解码装置之间的任何数据通信的视频译码设置(例如，视频编码或视频解码)。在其它实例中，数据可从本地存储器检索、经由网络流式传输，或其类似者。编码装置可编码数据且将数据存储到存储器，及/或解码装置可从存储器检索数据且解码数据。在许多实例中，通过并不彼此通信而是简单地编码数据到存储器及/或从存储器检索数据且解码数据的装置来执行编码及解码。
[0033]视频编码器250及视频解码器280各自可实施为例如以下各者的多种合适电路中的任一者:一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。当部分地以软件实施技术时，装置可将软件的指令存储于合适的非暂时性计算机可读存储媒体中且可使用一或多个处理器以硬件执行指令从而执行本发明的技术。视频编码器250和视频解码器280中的每一者可以包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可以集成为相应装置中的组合式编码器/解码器(编解码器)的一部分。
[0034]如上文简要提及，视频编码器250对视频数据进行编码。视频数据可包括一或多个图片。图片中的每一者为形成视频的一部分的静态图像。在一些情况下，图片可被称为视频“帧”。当视频编码器250对视频数据进行编码时，视频编码器250可产生位流。位流可包含形成视频数据的经译码表示的位序列。位流可包含经译码图片及相关联的数据。经译码图片为图片的经译码表示。
[0035]为产生位流，视频编码器250可对视频数据中的每一图片执行编码操作。当视频编码器250对所述图片执行编码操作时，视频编码器250可产生一连串经译码图片及相关联数据。相关联数据可包含序列参数集、图片参数集、自适应参数集及其它语法结构。序列参数集(SPS)可含有适用于零或更多个图片序列的参数。图片参数集(PPS)可含有适用于零或更多个图片的参数。自适应参数集(APS)可含有适用于零或更多个图片的参数。
[0036]为产生经译码图片，视频编码器250可将图片分割为大小相等的视频块。视频块中的每一者与树块相关联。在一些情况下，树块还可称为最大译码单元(LCU)。HEVC的树块可大致类似于例如H.264/AVC等前述标准的宏块。然而，树块不必限于特定大小，且可包含一或多个译码单元(CU)。视频编码器250可使用四叉树分割来将树块的视频块分割成与CU相关联的视频块(因此名称为“树块”)。
[0037]CU可指充当基本单元的矩形图像区，将各种译码工具应用于所述基本单元以用于视频压缩。为实现较好的译码效率，译码单元可取决于视频内容而具有可变大小。为减小冗余，预测CU且用信号发送预测残余。CU可分裂成较小块以用于预测(预测单元或W)。根据HEVC或HM(用于HEVC的参考软件)，CU可具有两预测模式中的一者:帧内(INTRA)模式及帧间(INTER)模式。CU还可分裂成较小块以用于变换，及将这些块中的每一者称作变换单元(TU)。
[0038]在一些实例中，视频编码器250可将一图片分割成多个切片。所述切片中的每一者可包含整数数目个CU。在一些情况下，一切片包括整数数目个树块。在其它情况下，切片的边界可在树块内。
[0039]作为对图片执行编码操作的部分，视频编码器250可对图片的每一切片执行编码操作。当视频编码器250对切片执行编码操作时，视频编码器250可产生与切片相关联的经编码数据。与切片相关联的经编码数据可被称为“经译码切片”。
[0040]为产生经译码切片，视频编码器250可对切片中的每一树块执行编码操作。当视频编码器250对树块执行编码操作时，视频编码器250可产生经译码树块。经译码树块可包括表示树块的经编码版本的数据。
[0041]为产生经译码树块，视频编码器250可对树块的视频块递归地执行四叉树分割以将所述视频块划分成逐渐变小的视频块。较小视频块中的每一者可与不同CU相关联。举例来说，视频编码器250可将树块的视频块分割成四个大小相等的子块、将所述子块中的一或多者分割成四个大小相等的子子块，以此类推。位流中的一或多个语法元素可指示视频编码器250可分割树块的视频块的最大次数。CU的视频块在形状上可为正方形。CU的视频块的大小(即，CU的大小)范围可从8X8像素直到具有64X64个像素或更大的最大值的树块的视频块的大小(即，树块的大小)。
[0042]当视频编码器250编码未分割⑶时，视频编码器250可产生用于⑶的一或多个预测单元(PU)。未分割CU为其视频块未分割成用于其它CU的视频块的CU。CU的PU中的每一者可与CU的视频块内的不同视频块相关联。视频编码器250可产生用于CU的每一PU的经预测视频块。的经预测视频块可为样本块。视讯编码器250可使用帧内预测或帧间预测来产生用于PU的经预测视频块。
[0043]当视频编码器250使用帧内预测来产生的经预测视频块时，视频编码器250可基于与PU相关联的图片的经解码样本来产生PU的经预测视频块。当视频编码器250使用帧间预测来产生PU的经预测视频块时，视频编码器250可基于不同于与所述相关联的图片的图片的经解码值来产生所述PU的经预测视频块。如果视频编码器250使用帧内预测来产生⑶的PU的经预测视频块，那么⑶为经帧内预测的⑶。
[0044]图3为说明帧内模式的实施例的概念图。可根据来自同一帧或切片的已重建构相邻像素对INTRA CU中的PU 305进行空间预测。允许有多个帧内预测方向且在所述位流中用信号发送最佳方向。INTRA CU中的不同PU可具有不同预测方向。
[0045]当视频编码器250对PU使用帧内预测时，视频编码器250可产生候选帧内预测模式列表。候选帧内预测模式列表可基于在空间或在时间上与PU相邻的PU的帧内预测模式。另外，如下文所描述，候选帧内预测模式列表可包含来自基础层的帧内预测模式。视频编码器250可选择来自所述列表的候选者中的一者，且产生指示所述列表中的选定候选者的位置的索引。视频编码器250可通过输出索引来用信号发送PU的帧内预测模式。在一些情况下，视频编码器250可通过输出选定候选者的索引以及输出选定候选者的帧内预测模式与PU的帧内预测模式之间的差异来用信号发送PU的帧内预测模式。
[0046]当视频编码器250使用帧间预测来产生的经预测视频块时，视频编码器250可产生所述PU的运动信息。的运动信息可指示对应于的视频块的另一图片的一部分。换句话说，PU的运动信息可指示的“参考样本”。视频编码器250可基于由的运动信息指示的其它图片的部分而产生PU的经预测视频块。如果视频编码器250使用帧间预测来产生⑶的PU的经预测视频块，那么所述⑶为经帧间预测的⑶。
[0047]图4为说明帧间模式的实施例的概念图。可根据已解码的先前一或多个帧(按解码次序)中的最佳匹配块或加权块在时间上对INTER⑶410中的PU 405进行预测。此类块可被称作参考块415。识别一或多个参考块的运动信息420可在所述位流中用信号发送。此说明于图4中。INTER⑶中的不同PU可具有不同运动信息。
[0048]可鉴于H.264/AVC的以上论述来考虑新出现的HEVC工作草案(WD)。在HEVC WD中，存在用于运动参数预测的两模式。一个模式可被称为“合并模式”，而另一模式可被称为“高级运动向量预测”模式或“AMVP”模式。
[0049]合并模式为视频译码模式，其中针对正经译码的当前视频块继承相邻视频块的运动信息(例如运动向量、参考帧索引、预测方向或其它信息)。索引值可用以识别当前视频块从其继承其运动信息的相邻者(例如，在时间邻近帧的顶部、右上角、左边、左下角或相同位置)。
[0050]在当前视频块的译码中使用邻近视频块的运动向量的另一情况为所谓的运动向量预测。在此情况下，应用运动向量的预测性译码以减小传达所述运动向量所需的数据量。举例来说，并非编码及传达所述运动向量本身，编码器编码及传达相对于已知(或可知)运动向量的运动向量差(MVD)。高级运动向量预测(AMVP)允许用于界定MVD的许多可能候选者。
[0051]合并及AMVP模式两者建立用于参考图片列表零或“RefPicListO”的候选列表及用于参考图片列表一或“RefPicListI”的候选列表。这些参考图片列表中的每一者可用于单向或双向预测，且指定用于执行时间及/或空间运动预测的潜在图片或帧的列表。将用于运动参数的译码的AMVP的候选者是来自空间及时间相邻块。在AMVP模式中，用信号发送参考索引值。在合并模式中，由于当前预测单元(PU)共享所选择候选运动向量预测值的参考索引值而未用信号发送参考索引值。在一些情况下，可实施合并模式而使得仅创建一个候选列表。
[0052]在视频编码器250产生用于⑶的一或多个的预测视频块之后，视频编码器250可基于用于CU的所述PU的预测视频块而产生CU的残余数据。CU的残余数据可指示用于CU的PU的预测视频块中的样本与CU的原始视频块之间的差异。
[0053]此外，作为对未经分割⑶执行编码操作的部分，视频编码器250可对⑶的残余数据执行递回四叉树分割以将CU的残余数据分割成与CU的变换单元(TU)相关联的一或多个残余数据块(即，残余视频块)。CU的每一 TU可与不同残余视频块相关联。视频译码器250可对⑶的每一 TU执行变换操作。
[0054]当视频编码器250对TU执行变换操作时，视频编码器250可将一或多个变换应用到与TU相关联的残余视频块以产生与TU相关联的一或多个变换系数块(即，变换系数的块)。在概念上，变换系数块可为变换系数的二维(2D)矩阵。
[0055]在产生变换系数块之后，视频编码器250可对变换系数块执行量化操作。量化大体上指对变换系数进行量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。量化过程可减少与变换系数中的一些或全部相关联的位深度。举例来说，可在量化期间将η位变换系数向下舍入到m位变换系数，其中η大于m。
[0056]视频编码器250可使每一⑶与量化参数(QP)值相关联。与⑶相关联的QP值可确定视频编码器250量化与CU相关联的变换系数块的方式。视频编码器250可通过调整与CU相关联的QP值来调整应用于与CU相关联的变换系数块的量化的程度。
[0057]在视频编码器250量化变换系数块之后，视频编码器250可扫描经量化变换系数以产生变换系数等级的一维向量。视频编码器250可熵编码所述一维向量。视频编码器250还可熵编码与视频数据相关联的其它语法元素。
[0058]由视频编码器250产生的位流可包含一系列网络抽象层(NAL)单元。所述NAL单元中的每一者可为含有NAL单元中的数据类型的指示和含有所述数据的字节的语法结构。举例来说，NAL单元可含有表示序列参数集、图片参数集、经译码切片、补充增强信息(SEI)、存取单元定界符、填充数据或另一类型的数据的数据。NAL单元中的数据可包含熵编码的语法结构，例如熵编码的变换系数块、运动信息等。
[0059]视频解码器280可接收视频编码器250所产生的位流。位流可包含由视频编码器250编码的视频数据的经译码表示。当视频解码器280接收位流时，视频解码器280可对所述位流执行剖析操作。当视频解码器280执行剖析操作时，视频解码器280可从所述位流提取语法元素。视频解码器280可基于从位流提取的语法元素来重建视频数据的图片。基于语法元素重建视频数据的过程可与通过视频编码器250执行以产生语法元素的过程大体上互逆。
[0060]在视频解码器280提取与CU相关联的语法元素之后，视频解码器280可基于所述语法元素产生用于CU的PU的预测视频块。另外，视频解码器280可逆量化与CU的TU相关联的变换系数块。视频解码器280可对变换系数块执行逆变换以重建与CU的TU相关联的残余视频块。在产生预测视频块且重建残余视频块之后，视频解码器280可基于所述预测视频块及所述残余视频块来重建CU的视频块。以此方式，视频解码器280可基于位流中的语法元素来确定CU的视频块。
[0061]在一些情况下，视频编码器250及视频解码器280可使用可缩放视频译码(SVC)。在SVC中，存在一个绝对基础层(层O)及一或多个增强层(层1、2、3…)。每一增强层可充当其上方其它层的基础层。举例来说，层I为相对于层O的增强层，但层I还可充当层2的基础层。相对于其基础层，每一增强层可提供较佳质量及/或空间或时间分辨率。对应地，所述可缩放性称作质量(或SNR)可缩放性、空间可缩放性及时间可缩放性。图5展示用于3层可缩放视频编解码器的实例设置。
[0062]图6为说明INTRA_BL模式的实施例的概念图。当视频解码器280解码层i 605时，大体上较低层(O、…、1-l)610已经解码，及来自较低层的全部信息可用且用以对层i进行译码。举例来说，对于增强层块，除了上述常规INTRA及INTER模式以外，可存在另一预测模式:INTRA_BL模式。在INTRA_BL模式中，从块615的基础层610的经重建相同位置的块620来预测块615，如图6中所示。举例而言，如果视频编码器250使用INTRA_BL模式对块进行编码，那么视频解码器280可采用相同位置基础层块的帧内预测模式作为所述块的帧内预测模式。换句话说，如果所述块以INTRA_BL模式来编码，那么视频解码器280可基于相同位置基础层的帧内预测模式来预测所述块的帧内预测模式。
[0063]如果较低层在解码当前层之前经充分解码，那么较低层处的所有单元或块为当前层的原因而不管其在所述帧或切片内部的位置。在基础层帧或切片不必在解码当前层处的块之前经充分解码的低延迟应用中，在当前块的非因果相邻者的基础层处的相同位置的块已经解码且因此为当前块的原因也是可能的。
[0064]预测信息(例如，帧内预测方向及运动信息)可在空间上高度相关。为了这类预测信息的较佳译码效率，可使用来自相邻PU的相同预测信息来预测此类预测信息，及视频编码器250仅用信号发送预测差到视频解码器280。如果相邻具有不同于当前的模式(例如，一个为帧内模式及另一个为帧间模式)，那么相邻PU的预测信息可不用来预测当前PU的预测信息。此可能损坏译码性能。
[0065]在SVC中，当相邻PU具有某一预测模式时，设置的预测信息的方式可影响随后块的译码性能，这是因为预测信息可用于预测那些随后块的预测信息。
[0066]在SVC中，用于较低层块中的预测信息可充当应用于当前正经译码的层(S卩，当前层)中的对应块的预测模式的良好估计。因此，如果一些预测信息不可用于当前层中的块，那么视频译码器可传播来自基础层中的相同位置的块的相同预测信息(例如帧内预测方向及运动信息)(在可用的情况下)，且使用所述预测信息如同所述预测信息为当前层中的块的预测信息。视频译码器可使用当前层中的所传播预测信息来预测当前层中的随后块的预测信息。此可帮助改良译码效率。
[0067]图7为说明跨越层的预测信息的传播的实例实施例的概念图。举例来说，视频译码器(例如，视频编码器250或视频解码器280)可确定增强层相邻块不具有与当前块相同的预测模式。在此实例中，增强层相邻块及当前块可处于一增强层中。另外，视频译码器可确定基础层相邻块具有与当前块相同的预测模式。在此实例中，基础层相邻块处于基础层中，且与增强层相邻块在相同位置。在传统实施方案下，当增强层相邻块及当前块不具有相同预测模式时，传统系统使用来自增强层相邻块的预测信息而跳过去从而确定当前块的预测信息。然而，在图7的实施例中，响应于确定增强层相邻块不具有与当前块相同的预测模式且基础层相邻块具有与当前块相同的预测模式，视频译码器可使用基础层相邻块的预测信息来确定当前块的预测信息。在一些情况下，基础层相邻块的预测信息为帧内预测模式，及当前块的预测信息也为帧内预测模式。在其它情况下，基础层相邻块的预测信息及当前块的预测信息为运动信息。
[0068]在先前段落的实例中，视频译码器可通过包含基础层相邻块的预测信息作为当前块的候选列表中的候选者来预测当前块的预测信息。在视频译码器编码视频数据的实例中，预测当前块的预测信息可包括从所述候选列表中的候选者中选择给定候选者。在此类实例中，视频编码器可输出选定候选者的索引。在视频译码器解码视频数据的实例中，视频解码器可接收候选列表中的给定候选者的索引。在此类实例中，预测当前块的预测信息可包括使用给定候选者的预测信息作为当前块的预测信息。
[0069]根据本发明的技术，存在至少三种情况，其中增强层块可借用来自基础层中的相同位置块的预测信息，使得此类借用预测信息可用于译码当前增强层处的随后块。
[0070]在第一情况下，给定块705在INTRA_BL模式中经译码且因此不具有原生帧内预测方向或运动信息。(图7,左上)。在此第一,清况下，对于当前层710中的给定块705的每一4X4子部分，从其基础层的相同位置的子部分725复制帧内预测方向715及运动信息720。由于子部分725经帧内译码，所以其不具有任何原生运动信息。因此从其基础层的相同位置的子部分730复制子部分725的运动信息，子部分730经帧间译码。帧内预测方向及运动信息按以上方式的传播可有益于随后块的预测(在随后块以帧内或帧间模式译码的情况下)。随后块可为当前层中的根据译码次序在给定块之后发生的块。
[0071]举例来说，增强层相邻块的预测模式可为INTRA_BL，及当前块的预测模式可为帧间模式或帧内模式。在此实例中，基础层相邻块的预测信息为帧内预测模式或运动信息。在此实例中，视频译码器可使用基础层相邻块的预测信息来确定当前块的预测信息。
[0072]在第二情况下，给定块735在帧内模式中经译码，因此其不具有原生运动信息(图7，顶部中心)。在此第二情况下，对于每一 4X4子部分，从其基础层的相同位置子部分745复制运动信息740，子部分745经帧间译码。请注意在此情况下尽管帧内预测方向是从子部分750传播到子部分745，但其不传播到子部分735，这是因为子部分735具有更准确的原生帧内预测信息。运动信息按以上方式的传播可有益于随后块的预测(在随后块以帧间模式译码的情况下)。随后块可为当前层中的根据译码次序在给定块之后发生的块。举例来说，增强层相邻块的预测模式可为帧内模式，及当前块的预测模式可为帧间模式。在此实例中，视频译码器可使用基础层相邻块的预测信息来确定当前块的预测信息。
[0073]在第三情况下，当前块755在帧间模式中经译码。(图7，右上方)。在此第三情况下，对于每一 4X4子部分，可从其基础层的相同位置子部分765复制帧内预测方向760(在可用的情况下)。由于子部分765作为INTRA_BL而经译码，所以其不具有原生帧内预测信息，因此从其基础层的相同位置子部分770复制帧内预测信息。帧内预测信息按以上方式的传播可有益于随后块的预测(在随后块以帧内模式译码的情况下)。随后块可为当前层中的根据译码次序在给定块之后发生的块。举例来说，增强层相邻块的预测模式可为帧间模式，及当前块的预测模式可为帧内模式。在此实例中，视频译码器可使用基础层相邻块的预测信息来确定当前块的预测信息。
[0074]此外，根据本发明的技术，可在跨越层传播预测信息的同时执行以下内容:
[0075]第一，倘若基础层及增强层不具有相同空间分辨率(例如，空间可缩放性情形)，视频译码器可需要相应地处理预测信息。举例来说，视频译码器可能需要在此情况下基于两层之间的空间缩放比来缩放运动向量。
[0076]以此方式，增强层及基础层可具有不同的空间分辨率，且基础层相邻块的预测信息可包括运动向量。视频译码器可至少部分通过缩放运动向量来确定当前块的预测信息。
[0077]第二，如果基础层中的相同位置块的参考图片也在当前层参考图片列表中，那么可将信息从基础层中的相同位置块直接传播到当前层。否则，可能需要适当的映射。举例来说，视频译码器可基于基础层块中的参考图片相对于当前图片的图片次序计数(POC)距离以及当前增强层中的参考图片相对于当前图片的POC距离而相应地缩放运动向量。
[0078]举例来说，基础层相邻块的预测信息可包括运动向量以及指示基础层参考图片列表中的参考图片的参考图片索引。在此实例中，基础层参考图片列表可为与基础层相邻块相关联的参考图片列表。此外，在此实例中，增强层参考图片列表不同于基础层参考图片列表。增强层参考图片列表为与增强层相邻块相关联的参考图片列表。在此实例中，视频译码器可至少部分通过基于参考图片相对于当前图片的图片次序计数(POC)距离以及增强层参考图片列表中的参考图片相对于当前图片的POC距离而缩放运动向量来确定当前块的预测信息。
[0079]在形成用于译码给定块的预测信息的预测值时，从基础层传播的预测信息可经指派比从当前层获得的预测信息低的权重。举例来说，确定当前块的预测信息可包括相对于增强层中的块的预测信息而指派较低权重到基础层相邻块的预测信息。
[0080]图8为说明经配置以实施本发明的技术的视频编码器250的实例实施例的框图。图8是出于解释的目的而提供，且不应被视为将技术限制为本发明中所大致例示及描述的。出于解释的目的，本发明在HEVC译码的上下文中描述视频编码器250。然而，本发明的技术可适用于其它译码标准或方法。
[0081]在图8的实例中，视频编码器250包含多个功能组件。视频编码器250的功能组件包含预测模块800、残差产生模块802、变换模块804、量化模块806、逆量化模块808、逆变换模块810、重建模块812、滤波器模块813、经解码图片缓冲器814及熵编码模块816。预测模块800包含运动估计模块822、运动补偿模块824及帧内预测模块826。在其它实例中，视频编码器250可包含更多、更少或不同功能组件。此外，运动估计模块822与运动补偿模块824可高度集成，但出于解释的目的而在图8的实例中分开表示。
[0082]视频编码器250可接收视频数据。视频编码器250可从各种源接收视频数据。举例来说，视频编码器250可接收来自视频源240(图2)或另一源的视频数据。视频数据可表示一系列图片。为编码视频数据，视频编码器250可对图片中的每一者执行编码操作。
[0083]作为对图片执行编码操作的部分，视频编码器250可对图片的每一切片执行编码操作。作为对切片执行编码操作的部分，视频编码器250可对切片中的树块执行编码操作。
[0084]作为对树块执行编码操作的部分，预测模块800可对树块的视频块执行四叉树分割以将所述视频块划分成逐渐变小的视频块。较小视频块中的每一者可与不同CU相关联。举例来说，预测模块800可将树块的视频块分割成四个大小相等的子块、将所述子块中的一或多者分割成四个大小相等的子子块，以此类推。
[0085]与⑶相关联的视频块的大小范围可从8X8样本高达最大64X64像素或更大的树块大小。在本发明中，“NXN”及“N乘N”可互换使用来指在垂直及水平尺寸方面的视频块的样本尺寸，例如，16X16样本或16乘16样本。一般来说，16X16视频块在垂直方向上具有十六个样本(y = 16)，且在水平方向上具有十六个样本(X = 16)。同样，NXN块一般在垂直方向上具有N个样本，且在水平方向上具有N个样本，其中N表示非负整数值。
[0086]此外，作为对树块执行编码操作的部分，预测模块800可产生用于所述树块的阶层式四叉树数据结构。举例来说，树块可对应于四叉树数据结构的根节点。如果预测模块800将树块的视频块分割成四个子块，则根节点在四叉树数据结构中具有四个子节点。所述子节点中的每一者对应于与子块中的一者相关联的CU。如果预测模块800将子块中的一者分割成四个子子块，则对应于与子块相关联的CU的节点可具有四个子节点，每一子节点对应于与所述子子块中的一者相关联的CU。
[0087]四叉树数据结构的每一节点可含有用于对应树块或CU的语法数据(例如，语法元素)。举例来说，四叉树中的节点可包含分裂旗标，其指示对应于所述节点的CU的视频块是否被分割(例如，分裂)成四个子块。CU的语法元素可经递归地界定，且可取决于CU的视频块是否分裂成子块。视频块未被分割的CU可对应于四叉树数据结构中的叶节点。经译码树块可包含基于用于对应树块的四叉树数据结构的数据。
[0088]视频编码器250可对树块中的每一未分割⑶执行编码操作。当视频编码器250对未分割CU执行编码操作时，视频编码器250产生表示未分割CU的经编码表示的数据。
[0089]作为对⑶执行编码操作的部分，预测模块800可在⑶的一或多个I3U中分割⑶的视频块。视频编码器250及视频解码器280可支持各种PU大小。假定特定CU的大小为2NX2N，视频编码器250及视频解码器280可支持2NX2N或NXN的PU大小，及2NX2N、2N X N、N X 2N、N X N、2N X nU、nL X 2N、nR X 2N或类似的对称I3U大小的帧间预测。视频编码器250及视频解码器280还可支持用于2NXnU、2NXnD、nLX2N和nRX2N的PU大小的不对称分割。在一些实例中，预测模块800可执行几何分割以沿并不按直角与CU的视频块的侧相交的边界来在CU的PU中分割CU的视频块。
[0090]运动估计模块822及运动补偿模块824可对⑶的每一 PU执行帧间预测。帧间预测可提供时间压缩。为了对PU执行帧间预测，运动估计模块822可产生用于所述的运动信息。运动补偿模块824可基于不同于与CU相关联的图片(例如，参考图片)的图片的运动信息及经解码样本来产生用于PU的预测视频块。在本发明中，由运动补偿模块824产生的预测视频块可被称为经帧间预测视频块。
[0091]切片可为I切片、P切片，或B切片。运动估计模块822及运动补偿模块824可取决于I3U处于I切片、P切片还是B切片中而对CU的PU执行不同操作。在I切片中，所有PU均经帧内预测。因此，如果I3U在I切片中，那么运动估计模块822及运动补偿模块824不对PU执行帧间预测。
[0092]如果PU处于P切片中，那么含有的图片与称为“列表O”的参考图片列表相关联。列表O中的参考图片中的每一者含有可用于按解码次序对后续图片进行帧间预测的样本。当运动估计模块822关于P切片中的PU执行运动估计操作时，运动估计模块822可搜索列表O中的参考图片以找出用于F1U的参考样本。PU的参考样本可为最接近对应于F1U的视频块中的样本的一组样本，例如样本块。运动估计模块822可使用多种度量来确定参考图片中的一组样本对应于I3U的视频块中的样本的接近程度。举例来说,运动估计模块822可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定参考图片中的一组样本对应于I3U的视频块中的样本的接近程度。
[0093]在识别出P切片中的的参考样本之后，运动估计模块822可产生指示列表O中的参考图片含有参考样本的参考索引及指不PU与参考样本之间的空间位移的运动向量。在各种实例中，运动估计模块822可以变化的精确度产生运动向量。举例来说，运动估计模块822可以四分之一样本精度、八分之一样本精度或其它分数样本精度产生运动向量。在分数样本精度的情况下，参考样本值可从整数位置样本值内插在参考图片中。运动估计模块822可将参考索引及运动向量输出为的运动信息。运动补偿模块824可基于PU的运动信息所识别的参考样本来产生PU的经预测视频块。
[0094]如果PU在B切片中，那么含有的图片可与称为“列表O”及“列表I”的两参考图片列表相关联。列表O中的参考图片中的每一者含有可用于按解码次序对后续图片进行帧间预测的样本。列表I中的参考图片按解码次序出现在所述图片之前但按呈现次序在所述图片之后。在一些实例中，含有B切片的图片可与为列表O与列表I的组合的列表组合相关联。
[0095]此外，如果I3U在B切片中，那么运动估计模块822可对PU执行单向预测或双向预测。当运动估计模块822对PU执行单向预测时，运动估计模块822可搜索列表O或列表I的参考图片以找出用于所述PU的参考样本。运动估计模块822可接着产生指示列表O或列表I中的含有所述参考样本的参考图片的参考索引以及指不PU与所述参考样本之间的空间位移的运动向量。运动估计模块822可输出参考索引、预测方向指示符及运动向量作为PU的运动信息。预测方向指示符可指示参考索引指示列表O还是列表I中的参考图片。运动补偿模块824可基于PU的运动信息所指示的参考样本来产生的经预测视频块。
[0096]当运动估计模块822对PU执行双向预测时，运动估计模块822可搜索列表O中的参考图片以找出用于所述PU的参考样本，且还可搜索列表I中的参考图片以找出用于所述PU的另一参考样本。运动估计|旲块822可接着广生指不列表O或列表I中的含有参考样本的参考图片的参考索引以及指示所述参考样本与PU之间的空间位移的运动向量。运动估计模块822可将PU的参考索引及运动向量输出为的运动信息。运动补偿模块824可基于PU的运动信息所指示的参考样本来产生的经预测视频块。
[0097]在一些情况下，运动估计模块822未将用于的运动信息的全部集合输出到熵编码模块816。而是，运动估计模块822可参考另一的运动信息而用信号发送的运动信息。举例来说，运动估计模块822可确定PU的运动信息足够类似于相邻的运动信息。在此实例中，运动估计模块822可在与PU相关联的CU的四叉树节点中指示一值，所述值向视频解码器280指示PU具有与相邻相同的运动信息。在另一实例中，运动估计模块822可在与PU所关联的CU相关联的四叉树节点中识别相邻PU及运动向量差(MVD)。运动向量差指示PU的运动向量与所指示的相邻PU的运动向量之间的差。视频解码器280可使用所指示的相邻PU的运动向量及运动向量差来预测PU的运动向量。
[0098]或者，如果运动向量不可用于相邻PU (例如，由于相邻I3U经帧内译码)，那么运动向量可从对应于相邻PU的基础层I3U获得。来自基础层I3U的运动向量接着可用以预测I3U的运动向量。通过在用信号发送第二 PU的运动信息时参考第一的运动信息，运动估计模块822可能够使用较少位来用信号发送第二的运动信息，无论第一为相邻PU还是基础层PU。
[0099]作为对CU执行编码操作的部分，帧内预测模块826可对CU的PU执行帧内预测。帧内预测可提供空间压缩。当帧内预测模块826对PU执行帧内预测时，帧内预测模块826可基于同一图片中的其它PU的经解码样本来产生用于的预测数据。用于的预测数据可包含预测视频块及各种语法元素。帧内预测模块826可对I切片、P切片及B切片中的I3U执行帧内预测。
[0100]为对PU执行帧内预测，帧内预测模块826可使用多个帧内预测模式来产生用于的多个预测数据集合。当帧内预测模块826使用帧内预测模式来产生用于的预测数据集合时，帧内预测模块826可在与帧内预测模式相关联的方向及/或梯度上将样本从相邻PU的视频块跨越I3U的视频块进行扩展。相邻I3U可在所述I3U的上方、右上方、左上方或左方，假定对于PU、CU及树块采用从左到右、从上到下的编码次序。帧内预测模块826可取决于PU的大小而使用各种数目个帧内预测模式，例如33方向帧内预测模式。
[0101]预测模块800可从由运动补偿模块824针对PU产生的预测数据或由帧内预测模块826针对PU产生的预测数据当中选择用于的预测数据。在一些实例中，预测模块800基于预测数据集合的速率/失真度量来选择用于PU的预测数据。
[0102]如果预测模块800选择由帧内预测模块826产生的预测数据，那么预测模块800可用信号发送用以产生用于PU的预测数据的帧内预测模式，例如选定帧内预测模式。预测模块800可以各种方式用信号发送选定帧内预测模式。举例来说，有可能选定帧内预测模式与相邻PU的帧内预测模式相同。换句话说，相邻PU的帧内预测模式可为当前的最可能模式。因此，预测模块800可产生语法元素以指示选定帧内预测模式与相邻的帧内预测模式相同。
[0103]如果帧内预测模式不可用于相邻例如，由于相邻经帧间译码)，那么帧内预测模式可从对应于相邻PU的基础层获得。来自基础层的模式信息可接着用以预测当前PU的模式信息。通过在用信号发送第二 PU的模式信息时参考第一的模式信息，预测模块800可能够使用较少位来用信号发送第二的运动信息，无论第一为相邻PU还是基础层W。
[0104]在预测模块800选择用于⑶的的预测数据之后，残余产生模块802可通过从CU的视频块减去CU的PU的预测视频块来产生用于CU的残余数据。CU的残余数据可包含对应于CU的视频块中的样本的不同样本分量的2D残余视频块。举例来说,残余数据可包含对应于CU的PU的预测视频块中的样本的明度分量与CU的原始视频块中的样本的明度分量之间的差的残余视频块。另外，CU的残余数据可包含对应于CU的PU的预测视频块中的样本的色度分量与CU的原始视频块中的样本的色度分量之间的差的残余视频块。
[0105]预测模块800可执行四叉树分割以将CU的残余视频块分割成子块。每一未划分残余视频块可与CU的不同TU相关联。与CU的TU相关联的残余视频块的大小及位置可或可不基于与CU的PU相关联的视频块的大小及位置。被称为“残余四叉树”(RQT)的四叉树结构可包含与残余视频块中的每一者相关联的节点。CU的未分割TU可对应于RQT的叶节点。
[0106]如果与TU相关联的残余视频块分割为多个较小残余视频块，那么TU可具有一或多个子TU。较小残余视频块中的每一者可与子TU中的不同一者相关联。
[0107]变换模块804可通过将一或多个变换应用到与TU相关联的残余视频块而产生用于CU的每一未分割TU的一或多个变换系数块。所述变换系数块中的每一者可为变换系数的2D矩阵。变换模块804可将各种变换应用到与TU相关联的残余视频块。举例来说，变换模块804可将离散余弦变换(DCT)、定向变换或概念上类似的变换应用到与TU相关联的残余视频块。
[0108]在变换模块804产生与TU相关联的变换系数块之后，量化模块806可量化变换系数块中的变换系数。量化模块806可基于与CU相关联的QP值而量化与CU的TU相关联的变换系数块。
[0109]视频编码器250可以各种方式使QP值与⑶相关联。举例来说，视频编码器250可对与CU相关联的树块执行速率失真分析。在速率-失真分析中，视频编码器250可通过对树块执行多次编码操作而产生所述树块的多个经译码表示。当视频编码器250产生树块的不同经编码表示时，视频编码器250可使不同QP值与CU相关联。当给定QP值与具有最低位速率及失真度量的树块的经译码表示中的CU相关联时，视频编码器250可用信号发送所述给定QP值与CU相关联。
[0110]逆量化模块808及逆变换模块810可分别应用逆量化及逆变换到变换系数块以从变换系数块重建残余视频块。重建模块812可将经重建残余视频块添加到来自由预测模块800产生的一或多个预测视频块的对应样本以产生与TU相关联的经重建视频块。通过以此方式重建⑶的每一 TU的视频块，视频编码器250可重建⑶的视频块。
[0111]在重建模块812重建⑶的视频块之后，滤波器模块813可执行解块操作以减小与所述CU相关联的视频块中的成块假影。在执行一或多个解块操作之后，滤波器模块813可将⑶的经重建视频块存储到经解码图片缓冲器814中。运动估计模块822及运动补偿模块824可使用含有所述经重建视频块的参考图片来对后续图片的执行帧间预测。另外，帧内预测模块826可使用经解码图片缓冲器814中的经重建视频块来对处于与CU同一图片中的其它I3U执行帧内预测。
[0112]以此方式，在滤波器模块813将解块滤波器应用到与边缘相关联的样本之后，预测模块800可至少部分基于与边缘相关联的样本而产生经预测视频块。视频编码器250可输出包含一或多个语法元素的位流，所述语法元素的值是至少部分基于经预测视频块。
[0113]熵编码模块816可接收来自视频编码器250的其它功能组件的数据。举例来说，熵编码模块816可接收来自量化模块806的变换系数块及可接收来自预测模块800的语法元素。当熵编码模块816接收数据时,熵编码模块816可执行一或多个熵编码操作以产生熵编码数据。举例来说，视频编码器250可对所述数据执行上下文自适应可变长度译码(CAVLC)操作、CABAC操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作，或另一类型的熵编码操作。熵编码模块816可输出包含所述熵编码数据的位流。
[0114]作为对数据执行熵编码操作的部分，熵编码模块816可选择上下文模型。如果熵编码模块816正执行CABAC操作，那么上下文模型可指示特定二进制数(bin)具有特定值的概率估计。在CABAC的上下文中，术语“二进制数”用于指语法元素的二进制化版本的位。
[0115]如果熵编码模块816正执行CAVLC操作，那么上下文模型可将系数映射到对应码字。CAVLC中的码字可经建构而使得相对较短的代码对应于可能性较高的符号，而相对较长的代码对应于可能性较低的符号。适当上下文模型的选择可影响熵编码操作的译码效率。
[0116]图9为说明可实施本发明的技术的视频解码器280的实例实施例的框图。图9是出于解释的目的而提供，且并不将技术限制为本发明中所大致例示及描述的。出于解释的目的，本发明在HEVC译码的上下文中描述视频解码器280。然而，本发明的技术可适用于其它译码标准或方法。
[0117]在图9的实例中，视频解码器280包含多个功能组件。视频解码器280的功能组件包含熵解码模块950、预测模块952、逆量化模块954、逆变换模块956、重建模块958、滤波器模块959、及经解码图片缓冲器960。预测模块952包含运动补偿模块962及帧内预测模块964。在一些实例中，视频解码器280可执行大体上与关于图8的视频编码器250所描述的编码遍次互逆的解码遍次。在其他实例中，视讯解码器280可包含较多、较少或不同的功能组件。
[0118]视频解码器280可接收包括经编码的视频数据的位流。所述位流可包含多个语法元素。当视频解码器280接收位流时，熵解码模块950可对所述位流执行剖析操作。作为对位流执行解析操作的结果，熵解码模块950可从所述位流提取语法元素。作为执行剖析操作的部分，熵解码模块950可对位流中的熵编码语法元素进行熵解码。预测模块952、逆量化模块954、逆变换模块956、重建模块958及滤波器模块959可执行重建操作，所述重建操作基于从位流提取的语法元素产生经解码视频数据。
[0119]如上文所论述，位流可包括一系列NAL单元。位流的NAL单元可包含序列参数集NAL单元、图片参数集NAL单元、SEI NAL单元，等。作为对位流执行剖析操作的部分，熵解码模块950可执行剖析操作，所述剖析操作从序列参数集NAL单元提取且熵解码序列参数集、从图片参数集NAL单元提取且熵解码图片参数集、从SEI NAL单元提取且熵解码SEI数据，等。
[0120]另外，位流的NAL单元可包含经译码切片NAL单元。作为对位流执行剖析操作的部分，熵解码模块950可执行剖析操作，所述剖析操作从经译码切片NAL单元提取且熵解码经译码切片。经写码切片中之每一者可包括切片标头及切片数据。切片标头可含有关于切片的语法元素。切片标头中的语法元素可包含识别与含有所述切片的图片相关联的图片参数集的语法元素。熵解码模块950可对经译码切片标头执行熵解码操作(例如CAVLC解码操作)，以恢复所述切片标头。
[0121]在从经译码切片NAL单元提取切片数据之后，熵解码模块950可从所述切片数据提取经译码树块。熵解码模块950可接着从经译码树块提取经译码CU。熵解码模块950可执行剖析操作，所述剖析操作从经译码CU提取语法元素。经提取语法元素可包含经熵编码的变换系数块。熵解码模块950可接着对语法元素执行熵解码操作。举例来说，熵解码模块950可对变换系数块执行CABAC操作。
[0122]在熵解码模块950对未分割CU执行剖析操作之后，视频解码器280可对所述未分割⑶执行重建操作。为对未分割⑶执行重建操作，视频解码器280可对⑶的每一 TU执行重建操作。通过对CU的每一 TU执行重建操作，视频解码器280可重建与CU相关联的残余视频块。
[0123]作为对TU执行重建操作的部分，逆量化模块954可逆量化(S卩，解量化)与TU相关联的变换系数块。逆量化模块954可以类似于针对HEVC所提议或由H.264解码标准界定的逆量化过程的方式来对变换系数块进行逆量化。逆量化模块954可使用由视频编码器250针对变换系数块的CU所计算的量化参数QP来确定量化程度，且同样地确定逆量化程度来供逆量化模块954应用。
[0124]在逆量化模块954对变换系数块进行逆量化之后，逆变换模块956可产生用于与变换系数块相关联的TU的残余视频块。逆变换模块956可将逆变换应用到变换系数块以便产生用于TU的残余视频块。举例来说，逆变换模块956可将逆DCT、逆整数变换、逆卡胡南-洛夫(Karhunen-Loeve)变换(KLT)、逆旋转变换、逆定向变换，或另一逆变换应用到变换系数块。
[0125]在一些实例中，逆变换模块956可基于来自视频编码器250的信令来确定一逆变换以应用于变换系数块。在此类实例中，逆变换模块956可基于在用于与变换系数块相关联的树块的四叉树的根节点处用信号发送的变换来确定逆变换。在其它实例中，逆变换模块956可从一或多个译码特性(例如块大小、译码模式，或其类似者)推断逆变换。在一些实例中，逆变换模块956可应用级联的逆变换。
[0126]如果⑶的PU是使用帧间预测进行编码，那么运动补偿模块962可执行运动补偿以产生用于PU的预测视频块。运动补偿模块962可使用用于的运动信息来识别所述的参考样本。PU的参考样本可与PU处于不同时间图片中。的运动信息可包含运动向量、参考图片索引及预测方向。运动补偿模块962可使用PU的参考样本来产生用于的预测视频块。在一些实例中，运动补偿模块962可基于与所述相邻的PU的运动信息来预测所述PU的运动信息。或者，如果相邻未经帧间译码，那么运动补偿模块962可基于对应于相邻I3U的基础层I3U的运动信息来确定运动信息。在本发明中，如果视频编码器250使用帧间预测来产生PU的预测视频块，那么所述为经帧间预测W。
[0127]在一些实例中，运动补偿模块962可通过基于内插滤波器执行内插而改进PU的预测视频块。用于将用于以子样本精度进行运动补偿的内插滤波器的识别符可包含在语法元素中。运动补偿模块962可使用由视频编码器250在产生PU的预测视频块期间使用的相同内插滤波器来计算参考块的子整数样本的内插值。运动补偿模块962可根据所接收的语法信息而确定由视频编码器250使用的内插滤波器且使用所述内插滤波器来产生预测视频块。
[0128]如果PU是使用帧内预测进行编码，那么帧内预测模块964可执行帧内预测以产生用于PU的预测视频块。举例来说，帧内预测模块964可基于位流中的语法元素来确定用于PU的帧内预测模式。位流可包含帧内预测模块964可用以预测PU的帧内预测模式的语法元素。
[0129]在一些情况下，语法元素可指示帧内预测模块964将使用另一的帧内预测模式来确定当前PU的帧内预测模式。举例来说，可能有可能当前PU的帧内预测模式与相邻的帧内预测模式相同。换句话说，相邻PU的帧内预测模式可为当前的最可能模式。因此，在此实例中，位流可包含小语法元素，所述小语法元素指示PU的帧内预测模式与相邻PU的帧内预测模式相同。帧内预测模块964可接着使用所述帧内预测模式来基于空间相邻PU的视频块产生所述的预测数据(例如，预测样本)。或者，如果相邻未经帧内译码，那么帧内预测模块964可参考对应于相邻的基础层而非参考相邻本身来确定帧内预测模式。
[0130]重建模块958可使用与CU的TU相关联的残余视频块及CU的PU的预测视频块(例如，帧内预测数据或帧间预测数据，如果适用)来重建⑶的视频块。因此，视频解码器280可基于位流中的语法元素产生预测视频块及残余视频块，且可基于所述预测视频块及所述残余视频块产生视频块。
[0131 ] 在重建模块958重建⑶的视频块之后，滤波器模块959可执行解块操作以减小与所述CU相关联的成块假影。在滤波器模块959执行解块操作以减小与CU相关联的成块假影之后，视频解码器280可将所述CU的视频块存储在经解码图片缓冲器960中。经解码图片缓冲器960可提供参考图片以用于后续运动补偿、帧内预测和呈现在显示装置(例如图2的显示装置290)上。举例来说，视频解码器280可基于经解码图片缓冲器960中的视频块而执行对其它CU的PU的帧内预测或帧间预测操作。
[0132]在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果用软件实施，那么所述功能可以作为一或多个指令或代码在计算机可读媒体上存储或传输，并且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包含促进将计算机程序从一处传送到另一处的任何媒体(例如，根据通信协议)的通信媒体。以此方式，计算机可读媒体大体上可以对应于(I)非暂时性的有形计算机可读存储媒体，或(2)通信媒体，例如信号或载波。数据存储媒体可以是可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
[0133]借助于实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或任何其它可用来存储呈指令或数据结构的形式的所要程序代码并且可由计算机存取的媒体。而且，任何连接被恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源发射指令，那么同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波等无线技术包含在媒体的定义中。然而，应理解，所述计算机可读存储媒体及数据存储媒体并不包含连接、载波、信号或其它暂时媒体，而是实际上针对于非暂时性有形存储媒体。如本文所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式复制数据，而光盘使用激光以光学方式复制数据。以上各项的组合也应包含在计算机可读媒体的范围内。
[0134]指令可以由一或多个处理器执行，所述一或多个处理器例如是一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)、或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文所述的功能性可以在经配置用于编码及解码的专用硬件及/或软件模块内提供，或者并入在组合式编解码器中。而且，可将所述技术完全实施于一或多个电路或逻辑元件中。
[0135]本发明的技术可以在广泛多种装置或设备中实施，包括无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可以结合合适的软件及/或固件而组合在编解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
[0136]已描述各种实例。这些及其它实例在所附权利要求书的范围内。
【权利要求】
1.一种用于解码视频数据的方法，所述方法包括: 识别增强层中的第一视频分区中的第一视频单元，所述第一视频分区对应于基础层中的第二视频分区； 识别紧密地邻近于所述第一视频分区中的所述第一视频单元的第二视频单元，其中所述第二视频单元具有与所述第一视频单元的预测模式不同的预测模式；以及 使用定位在所述第二视频分区中的对应于所述第一视频分区中的所述第二视频单元的位置的位置处的基础层视频单元的预测信息来确定所述第一视频单元的预测信息，其中所述基础层视频单元具有与第一视频单元的所述预测模式相同的预测模式。
2.根据权利要求1所述的方法，其中所述基础层视频单元的所述预测信息包括帧内预测方向，及所述第一视频单元的所述预测信息也包括帧内预测方向。
3.根据权利要求2所述的方法，其中所述第二视频单元的所述预测模式为帧间模式，及所述第一视频单元的所述预测模式为帧内模式。
4.根据权利要求1所述的方法，其中所述基础层视频单元的所述预测信息及所述第一视频单元的所述预测信息两者包括运动信息。
5.根据权利要求4所述的方法，其中所述第二视频单元的所述预测模式为帧内模式，及所述第一视频单元的所述预测模式为帧间模式。
6.根据权利要求1所述的方法， 其中所述第二视频单元的所述预测模式为INTRA_BL ； 其中所述第一视频单元的所述预测模式为帧间模式或帧内模式；以及 其中所述基础层视频单元的所述预测信息为帧内预测方向或运动信息。
7.根据权利要求1所述的方法，其中包含所述基础层视频单元的所述预测信息作为用于所述第一视频单元的候选列表中的候选者，且其中确定所述第一视频单元的所述预测信息包括接收所述候选列表中的所述所包含候选者的索引。
8.根据权利要求1所述的方法， 其中所述增强层及所述基础层具有不同空间分辨率； 其中所述基础层视频单元的所述预测信息包括运动向量；以及 其中确定所述第一视频单元的所述预测信息包括缩放所述运动向量。
9.根据权利要求1所述的方法， 其中第一 POC距离包括当前图片与所述第一视频单元所关联的第一参考图片之间的图片次序计数的差异； 其中第二 POC距离包括所述当前图片与所述基础层视频单元所关联的第二参考图片之间的图片次序计数的差异；以及 其中确定所述第一视频单元的所述预测信息包括至少部分基于包括所述第一 POC距离及所述第二 POC距离的比率来缩放所述基础层视频单元的运动向量。
10.根据权利要求1所述的方法，其中确定所述第一视频单元的所述预测信息包括相对于所述增强层中的视频单元的预测信息而指派较低权重到所述基础层视频单元的所述预测信息。
11.一种用于编码视频数据的方法，所述方法包括: 识别增强层中的第一视频分区中的第一视频单元，所述第一视频分区对应于基础层中的第二视频分区； 确定紧密地邻近于所述第一视频分区中的所述第一视频单元的第二视频单元是否具有与所述第一视频单元的预测模式不同的预测模式；以及 响应于确定所述第二视频单元具有不同于所述第一视频单元的预测模式，使用定位在所述第二视频分区中的对应于所述第一视频分区中的所述第二视频单元的位置的位置处的基础层视频单元的预测信息来确定所述第一视频单元的预测信息，其中所述基础层视频单元具有与所述第一视频单元的所述预测模式相同的预测模式。
12.根据权利要求11所述的方法，其中所述基础层视频单元的所述预测信息包括帧内预测方向，及所述第一视频单元的所述预测信息也包括帧内预测方向。
13.根据权利要求12所述的方法，其中所述第二视频单元的所述预测模式为帧间模式，及所述第一视频单元的所述预测模式为帧内模式。
14.根据权利要求11所述的方法，其中所述基础层视频单元的所述预测信息及所述第一视频单元的所述预测信息两者包括运动信息。
15.根据权利要求14所述的方法，其中所述第二视频单元的所述预测模式为帧内模式，及所述第一视频单元的所述预测模式为帧间模式。
16.根据权利要求11所述的方法， 其中所述第二视频单元的所述预测模式为INTRA_BL ； 其中所述第一视频单元的所述预测模式为帧间模式或帧内模式；以及 其中所述基础层视频单元的所述预测信息为帧内预测方向或运动信息。
17.根据权利要求11所述的方法，其进一步包括输出索引，其中所述索引指示与所述第一视频单元相关联的候选列表中的基础层候选者，且其中所述基础层候选者包括所述基础层视频单元的所述预测信息。
18.根据权利要求11所述的方法， 其中所述增强层及所述基础层具有不同空间分辨率； 其中所述基础层视频单元的所述预测信息包括运动向量；以及 其中确定所述第一视频单元的所述预测信息包括缩放所述运动向量。
19.根据权利要求11所述的方法， 其中第一 POC距离包括当前图片与所述第一视频单元所关联的第一参考图片之间的图片次序计数的差异； 其中第二 POC距离包括所述当前图片与所述基础层视频单元所关联的第二参考图片之间的图片次序计数的差异；以及 其中确定所述第一视频单元的所述预测信息包括至少部分基于包括所述第一 POC距离及所述第二 POC距离的比率来缩放所述基础层视频单元的运动向量。
20.根据权利要求11所述的方法，其中确定所述第一视频单元的所述预测信息包括相对于所述增强层中的视频单元的预测信息而指派较低权重到所述基础层视频单元的所述预测信息。
21.一种用于译码视频数据的设备，所述设备包括: 存储器单元，其经配置以存储与增强层及基础层相关联的预测信息，所述增强层包含第一视频分区中的第一视频单元及紧密地邻近于所述第一视频分区中的所述第一视频单元的第二视频单元，所述基础层包含对应于所述第一视频分区的第二视频分区； 处理器，其与所述存储器单元通信，所述处理器经配置以使用定位在所述第二视频分区中的对应于所述第一视频分区中的所述第二视频单元的位置的位置处的基础层视频单元的预测信息来确定所述第一视频单元的预测信息； 其中所述第二视频单元具有与所述第一视频单元的预测模式不同的预测模式；以及 其中所述基础层视频单元具有与所述第一视频单元的所述预测模式相同的预测模式。
22.根据权利要求21所述的设备，其中所述基础层视频单元的所述预测信息包括帧内预测方向，及所述第一视频单元的所述预测信息也包括帧内预测方向。
23.根据权利要求22所述的设备，其中所述第二视频单元的所述预测模式为帧间模式，及所述第一视频单元的所述预测模式为帧内模式。
24.根据权利要求21所述的设备，其中所述基础层视频单元的所述预测信息及所述第一视频单元的所述预测信息两者为运动信息。
25.根据权利要求24所述的设备，其中所述第二视频单元的所述预测模式为帧内模式，及所述第一视频单元的所述预测模式为帧间模式。
26.根据权利要求21所述的设备， 其中所述第二视频单元的所述预测模式为INTRA_BL ； 其中所述第一视频单元的所述预测模式为帧间模式或帧内模式；以及 其中所述基础层视频单元的所述预测信息为帧内预测方向或运动信息。
27.根据权利要求21所述的设备，其中所述处理器经配置以将包括所述基础层视频单元的所述预测信息的候选者包含在所述第一视频单元的候选列表中。
28.根据权利要求27所述的设备，其中所述处理器经进一步配置以部分通过接收指定所述候选列表中的所述候选者的索引的输入而确定所述第一视频单元的所述预测信息。
29.根据权利要求27所述的设备，其中所述处理器经进一步配置以输出所述候选列表中的所述候选者的索引。
30.根据权利要求21所述的设备， 其中所述增强层及所述基础层具有不同空间分辨率， 其中所述基础层视频单元的所述预测信息包括运动向量，以及其中所述处理器经配置以通过缩放所述运动向量来确定所述第一视频单元的所述预测信息。
31.根据权利要求21所述的设备， 其中第一 POC距离包括当前图片与所述第一视频单元所关联的第一参考图片之间的图片次序计数的差异； 其中第二 POC距离包括所述当前图片与所述基础层视频单元所关联的第二参考图片之间的图片次序计数的差异；以及 其中确定所述第一视频单元的所述预测信息包括至少部分基于包括所述第一 POC距离及所述第二 POC距离的比率来缩放所述基础层视频单元的运动向量。
32.—种视频译码装置，其包括: 用于识别增强层中的第一视频分区中的第一视频单元的装置，所述第一视频分区对应于基础层中的第二视频分区； 用于识别紧密地邻近于所述第一视频分区中的所述第一视频单元的第二视频单元的装置，其中所述第二视频单元具有与所述第一视频单元的预测模式不同的预测模式；以及用于使用定位在所述第二视频分区中的对应于所述第一视频分区中的所述第二视频单元的位置的位置处的基础层视频单元的预测信息来确定所述第一视频单元的预测信息的装置，其中所述基础层视频单元具有与所述第一视频单元的所述预测模式相同的预测模式。
33.根据权利要求32所述的视频译码装置， 其中所述增强层及所述基础层具有不同空间分辨率； 其中所述基础层视频单元的所述预测信息包括运动向量；以及 其中确定所述第一视频单元的所述预测信息包括缩放所述运动向量。
34.根据权利要求32所述的视频译码装置， 其中第一 POC距离包括当前图片与所述第一视频单元所关联的第一参考图片之间的图片次序计数的差异； 其中第二 POC距离包括所述当前图片与所述基础层视频单元所关联的第二参考图片之间的图片次序计数的差异；以及 其中确定所述第一视频单元的所述预测信息包括至少部分基于包括所述第一 POC距离及所述第二 POC距离的比率来缩放所述基础层视频单元的运动向量。
35.根据权利要求32所述的视频译码装置，其中所述用于确定所述第一视频单元的所述预测信息的装置包括用于相对于所述增强层中的视频单元的预测信息而指派较低权重到所述基础层视频单元的所述预测信息的装置。
36.一种非暂时性计算机存储器，其上存储有指令，所述指令在由具有计算机存储器的计算机系统执行时致使所述计算机系统进行以下操作: 识别增强层中的第一视频分区中的第一视频单元，所述第一视频分区对应于基础层中的第二视频分区； 识别紧密地邻近于所述第一视频分区中的所述第一视频单元的第二视频单元，其中所述第二视频单元具有不同于所述第一视频单元的预测模式的预测模式；以及 使用定位在所述第二视频分区中的对应于所述第一视频分区中的所述第二视频单元的位置的位置处的基础层视频单元的预测信息来确定所述第一视频单元的预测信息，其中所述基础层视频单元具有与所述第一视频单元相同的预测模式。
37.根据权利要求36所述的非暂时性计算机存储器， 其中所述增强层及所述基础层具有不同空间分辨率； 其中所述基础层视频单元的所述预测信息包括运动向量；以及 其中确定所述第一视频单元的所述预测信息包括缩放所述运动向量。
38.根据权利要求36所述的非暂时性计算机存储器， 其中第一 POC距离包括当前图片与所述第一视频单元所关联的第一参考图片之间的图片次序计数的差异； 其中第二 POC距离包括所述当前图片与所述基础层视频单元所关联的第二参考图片之间的图片次序计数的差异；以及 其中确定所述第一视频单元的所述预测信息包括至少部分基于包括所述第一 POC距离及所述第二 POC距离的比率来缩放所述基础层视频单元的运动向量。
39.根据权利要求36所述的非暂时性计算机存储器，其进一步包括相对于所述增强层中的视频单元的预测信息而指派较低权重到所述基础层视频单元的所述预测信息的指令。
【文档编号】H04N19/159GK104205839SQ201380017543
【公开日】2014年12月10日 申请日期:2013年4月11日 优先权日:2012年4月12日
【发明者】涂承杰, 翔林·王, 马尔塔·卡切维奇 申请人:高通股份有限公司
相关技术
网友询问留言
已有0条留言
- 还没有人留言评论。精彩留言会获得点赞！
1