视频译码中的内部位深度增加的制作方法
【专利摘要】在一实例中，本发明的方面通常涉及译码视频数据的方法，其包含确定用于输出视频数据的第一位深度以及用于译码所述视频数据的第二位深度，其中所述第一位深度小于所述第二位深度。所述方法还包含确定在译码其它视频数据时是否将所述视频数据用作参考数据。所述方法还包含基于所述确定，在所述视频数据未用作参考数据时将所述视频数据存储在所述第一位深度处，并且在所述视频数据用作参考数据时将所述视频数据存储在所述第二位深度处。
【专利说明】视频译码中的内部位深度增加
[0001]本申请案主张2011年6月9日申请的第61/495，333号美国临时专利申请案、2011年10月28日申请的第61/552，876号美国临时专利申请案，以及2011年11月4日申请的第61/556，002号美国临时专利申请案的权益，所有所述临时专利申请案的内容特此以全文引用的方式并入本文中。
【技术领域】
[0002]本发明涉及视频译码技术。
【背景技术】
[0003]数字视频能力可并入到较宽范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、e书籍阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置等。数字视频装置实施视频压缩技术，例如由 MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4，第 10 部分，高级视频译码(AVC)界定的标准，或目前正在开发的高效视频译码(HEVC)标准或此类标准的扩展中所描述的那些技术。视频装置可通过实施此类视频压缩技术来更高效地发射、接收、编码、解码且/或存储数字视频信息。
[0004]视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频片(即，视频帧或视频帧的一部分)分割为视频块，其也可称为树块、译码单元(CU)和/或译码节点。相对于图片中的相邻块中的参考样本，使用空间预测来编码同一图片的经帧内译码(I)片中的视频块。图片的经帧间译码(P或B)片中的视频块可相对于同一图片中的相邻块中的参考样本使用空间预测，或相对于其它参考图片中的参考样本使用时间预测。图片可称为帧，且参考图片可称为参考中贞。
[0005]空间或时间预测得出待译码的块的预测块。残余数据表示待译码的原始块与预测块之间的像素差。根据指向形成所述预测块的参考样本块的运动向量以及指示经译码块与预测块之间的差的残余数据来编码经帧间译码的块。根据帧内译码模式和残余数据来编码经帧内译码的块。为了进一步压缩，可将残余数据从像素域变换到变换域，从而得出接着可量化的残余变换系数。可扫描经量化的变换系数，最初布置成二维阵列，以便产生变换系数的一维向量，且可应用熵译码来实现更多的压缩。
【发明内容】
[0006]一般来说，本发明的技术涉及视频译码以及视频译码中的内部位深度增加(IBDI)。举例来说，视频译码器可使用IBDI来增加正译码的样本的位深度，以减少内部计算中的舍入误差。本发明的技术通常涉及管理使用IBDI时的存储器利用率，以及确定输出位深度。就是说，例如，在一些实例中，本发明的技术包含在不将视频数据用作参考视频数据的情况下，在将视频数据存储到经解码图片缓冲器之前，将视频数据从较高位深度舍入到较低位深度。在另一实例中，本发明的技术涉及确定是否在IBDI (例如，增加的)位深度输出视频数据。
[0007]在本发明的实例方面中，通常涉及译码视频数据的方法，其包含确定用于输出视频数据的第一位深度以及用于译码所述视频数据的第二位深度，其中所述第一位深度小于所述第二位深度。所述方法还包含确定在译码其它视频数据时，是否将所述视频数据用作参考数据。所述方法还包含基于所述确定，在不将所述视频数据用作参考数据时将所述视频数据存储在所述第一位深度处，且在将所述视频数据用作参考数据时将所述视频数据存储在所述第二位深度处。
[0008]在另一实例中，本发明的方面通常涉及一种用于译码视频数据的设备，其包含一个或一个以上处理器，所述处理器经配置以:确定用于输出视频数据的第一位深度，以及用于译码所述视频数据的第二位深度，其中所述第一位深度小于所述第二位深度；确定在译码其它视频数据时，是否将所述视频数据用作参考数据；以及基于所述确定，在不将所述视频数据用作参考数据时，将所述视频数据存储在第一位深度处，且在将所述视频数据用作参考数据时，将所述视频数据存储在第二位深度处。
[0009]在另一实例中，本发明的方面通常涉及一种用于译码视频数据的设备，其包含:用于确定用于输出视频数据的第一位深度以及用于译码所述视频数据的第二位深度的装置，其中所述第一位深度小于所述第二位深度；用于确定在译码其它视频数据时是否将所述视频数据用作参考数据的装置；以及用于基于所述确定在不将所述视频数据用作参考数据时将所述视频数据存储在第一位深度处，且在将所述视频数据用作参考数据时将所述视频数据存储在第二位深度处的装置。
[0010]在另一实例中，本发明的方面通常涉及一种上面存储有指令的计算机可读存储媒体，所述指令在执行时致使一个或一个以上处理器:确定用于输出视频数据的第一位深度，以及用于译码所述视频数据的第二位深度，其中所述第一位深度小于所述第二位深度；确定在译码其它视频数据时，是否将所述视频数据用作参考数据；以及基于所述确定，在不将所述视频数据用作参考数据时，将所述视频数据存储在第一位深度处，且在将所述视频数据用作参考数据时，将所述视频数据存储在第二位深度处。
[0011]在附图及下文描述中陈述本发明的一个或一个以上方面的细节。将从描述和图式以及从所附权利要求书明白本发明中所描述的技术的其它特征、目标和优点。
【专利附图】
【附图说明】
[0012]图1是说明可利用本发明的技术的实例视频编码和解码系统的框图。
[0013]图2是说明视频译码中的实例内部位深度增加(IBDI)操作的框图。
[0014]图3是说明可实施本发明的任一或全部技术的视频编码器的实例的框图。
[0015]图4是说明可实施本发明的任一或全部技术的视频解码器的实例的框图。
[0016]图5是说明执行视频译码中的IBDI相关操作的实例方法的流程图。
【具体实施方式】
[0017]一般来说，本发明的技术涉及视频译码。举例来说，视频译码器可使用内部位深度增加(IBDI)操作来增加正译码的样本的位深度，以减少内部计算中的舍入误差。本发明的技术通常涉及管理使用IBDI时的存储器利用率，以及确定输出位深度。就是说，例如，在一些实例中，本发明的技术包含在不将视频数据用作参考视频数据的情况下，在将视频数据存储到经解码图片缓冲器之前，将视频数据从较高位深度舍入到较低位深度。在另一实例中，本发明的技术涉及确定是否以增加的位深度输出视频数据。
[0018]举例来说，位深度可通常指代用于视频数据的给定样本(例如，像素的亮度和/或色度值)的若干信息位。当执行IBDI时，视频译码器可将正译码的样本的位深度从第一数目个位(例如，“M”个位)扩展到第二增加的数目个位(例如，“N”个位)。较大的位深度意在减少内部计算中的舍入误差。举例来说，在执行内部计算时增加算术精度可有助于实现理想的结果。可受益于增加的位深度的实例过程可包含运动补偿、内插滤波、去块滤波以及经加权预测等等。
[0019]视频译码器可在译码期间将经解码的视频数据存储到经解码图片缓冲器(例如，以用作预测性译码的参考数据)。视频译码器还可在输出(例如，显示)之前将经解码的视频数据存储到经解码图片缓冲器。当在增加的位深度处(例如，使用IBDI)执行内部计算时，视频译码器可将视频数据存储在所述增加的位深度。因此，在从经解码图片缓冲器输出视频数据以供显示之前，视频译码器可执行舍入。
[0020]将视频数据存储在增加的位深度处可消耗相对较大量的存储器。然而，存储在经解码图片缓冲器中的视频数据(例如，视频图片)中的一些不可用作参考数据(例如，参考图片)。就是说，视频数据的某些图片不可用作参考数据，但在被输出(例如，以供显示)之前，仍可存储在经解码图片缓冲器中。此外，在译码过程期间，存储到经解码图片缓冲器的一些视频图片可由视频译码器标记为“不用于参考”。虽然本发明通常涉及“图片”、“视频图片”以及“参考图片”，但应理解，本发明的技术适用于其它大小的视频数据/视频数据的配置(例如，视频块、片、瓦片等)。
[0021]本发明的各方面大体上涉及管理在视频译码器中使用可高于用于显示的位深度的内部位深度时的存储器利用率。举例来说，本发明的技术包含:在将视频数据用作参考数据时，将视频数据存储在第一增加的位深度处；以及当不将经解码视频图片用作参考图片时，将视频数据存储在减小的位深度处。就是说，本发明的技术大体上涉及在不将视频数据用作参考视频数据时，在将视频数据存储到经解码图片缓冲器之前，将视频数据从增加的位深度舍入到较低位深度。举例来说，本发明的技术包含将具有增加的位深度的经解码视频图片转换为具有相对于所述增加的位深度来说较低的位深度的经解码视频图片。
[0022]一般来说，所述较低位深度可等于接收视频数据时的原始位深度。然而，所述较低位深度也可等于输出视频数据时的位深度(例如，在其中输出位深度小于所述增加的位深度的实例中)，或某一其它低于所述增加的位深度的位深度。另外，虽然相对于将视频数据舍入到较低位深度来描述本发明的各方面，但应理解，本发明的技术更一般地适用于减小视频数据样本的位深度，不管是通过舍入、截尾(无舍入)还是某一其它过程或减小位深度。
[0023]本发明的方面还涉及确定是以增加的位深度还是减小的位深度(例如，原始位深度)输出视频数据。在一些实例中，可根据与将输出(例如，由视频解码器输出)视频数据所处的位深度相关联的信令来作出此确定。此信令可例如包含于可由视频解码器解码的经编码视频数据位流中。就是说，本发明的技术包含用信号向视频解码器通知视频解码器应以减小的位深度(例如等于接收视频数据时的位深度(称为“原始”位深度))输出视频数据，还是以增加的位深度(例如，IBDI位深度)输出视频数据。在另一实例中，输出的位深度不是作为经解码视频位流的部分而存在，而是从在视频解码器外部的来源得出，例如通过呈现来自视频解码器的经解码视频数据的显示器的配置。
[0024]在一些实例中，视频译码器可用针对确定输出位深度的技术来实施本发明的存储器管理技术。在其中视频译码器将以原始(较低)位深度输出视频数据的实例中，视频译码器可实施上文所述的存储器管理技术，使得当将经解码图片用作参考图片时，经解码的图片仅存储在增加的(IBDI)位深度中。
[0025]本发明的方面可降低与编码和/或解码视频数据相关联的存储器要求。举例来说，在其中使用IBDI技术来增加用于内部译码操作的视频数据的位深度但不将所述视频数据用于参考的实例中，本发明的技术允许存储较少数据位。另外，所述技术可减少存储器带宽消耗。举例来说，多个模块可共享存储器总线来在译码期间存取存储器。在此类实例中，根据本发明的技术，将较少位存储到缓冲器可减少在缓冲器与视频译码装置之间传送的数据的量。
[0026]在一些实例中，减小存储器带宽在移动应用中(例如，在其中视频译码器并入到移动装置中的应用中)可为有用的。举例来说，如上文所述，对存储器的读取和写入可消耗存储器总线带宽，存储器总线带宽在移动应用中可相对有限。此外，对存储器的读取和写入可增加移动装置所消耗的电力量(例如，考虑到读取和写入各自需要为存储器总线和存储器供电)。因此，本发明的技术可部署在电力受限装置中，例如移动装置、膝上型计算机，以及任何其它类型的不具有恒定的专用电力供应的装置。
[0027]图1是说明实例视频编码和解码系统10的框图，视频编码和解码系统10可经配置以利用本发明中所描述的技术来管理在视频译码器中使用IBDI时的存储器利用率。如图1的实例中所示，系统10包含源装置12，其产生经编码视频供目的地装置14解码。源装置12可经由通信信道16将经编码视频发射到目的地装置14，或可将经编码视频存储在存储媒体34或文件服务器36上，使得经编码视频可由目的地装置14在需要时存取。源装置12和目的地装置14可包括各种各样的装置中的任一者，包含桌上型计算机、笔记本型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的智能电话)、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台等。
[0028]在许多情况下，此类装置可为无线通信而配备。因此，通信信道16可包括适合传输经编码视频数据的无线信道、有线信道或无线与有线信道的组合。举例来说，通信信道16可包括任何无线或有线通信媒体，例如，射频(RF)频谱或一个或一个以上物理传输线、或无线和有线媒体的任何组合。通信信道16可形成例如局域网、广域网或例如因特网等全局网络的基于包的网络的部分。通信信道16 —般表示用于将视频数据从源装置12发射到目的地装置14的任何合适的通信媒体或不同通信媒体的集合，包括有线或无线媒体的任何合适组合。通信信道16可包含可用于促进从源装置12到目的装置14的通信的路由器、交换器、基站或任何其它设备。
[0029]根据本发明的实例，本发明中所描述的用于管理在视频译码器中使用IBDI时的存储器利用率的技术可应用于支持多种多媒体应用(例如空中电视广播、有线电视发射、卫星电视发射、流式视频发射(例如经由因特网))中的任一者的视频译码，编码数字视频以供存储在数据存储媒体上、解码存储在数据存储媒体上的数字视频，或其它应用。在一些实例中，源装置10可经配置以支持单向或双向视频发射以支持例如视频流式传输、视频重放、视频广播和/或视频电话等应用。
[0030]如图1的实例中进一步展示，源装置12包含视频源18、视频编码器20、调制器/解调器22 (调制解调器22)以及发射器24。在源装置12中，视频源18可包含例如视频捕获装置等来源。举例来说，视频捕获装置可包含视频相机、含有先前捕获的视频的视频档案、用以从视频内容听着接收视频的视频馈送接口，和/或用于产生计算机图形数据作为源视频的计算机图形系统中的一者或一者以上。作为一个实例，如果视频源18为视频相机，那么源装置12及目的地装置14可形成所谓的相机电话或视频电话。然而，本发明的技术不一定限于无线应用或设置，且还可应用于包含视频编码和/或解码能力的无线装置。源装置12和目的地装置14仅为可支持本文所述的技术的译码装置的实例。
[0031]所捕获、预捕获或计算机产生的视频可由视频编码器20编码。经编码的视频信息可由调制解调器22根据通信标准(例如无线通信协议)来调制，且经由发射器24发射到目的地装置14。调制解调器22可包含经设计以用于信号调制的各种混频器、滤波器、放大器或其它组件。发射器24可包含经设计以用于发射数据的电路，包含放大器、滤波器及一个或一个以上天线。
[0032]由视频编码器20编码的所捕获、预捕获或计算机产生的视频还可存储到存储媒体34或文件服务器36上以供以后消耗。存储媒体34可包含蓝光光盘、DVD、⑶-ROM、快闪存储器，或任何其它用于存储经编码视频的合适数字存储媒体。存储在存储媒体34上的经编码视频可接着由目的地装置14存取，以用于解码和重放。
[0033]文件服务器36可为能够存储经编码视频且将所述经编码视频发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置、本地磁盘驱动器，或能够存储经编码视频数据并将其发射到目的地装置的任何其它类型的装置。通过目的地装置14可经由任何标准数据连接(包含因特网连接)接入文件服务器36。这可包含无线信道(例如，W1-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)，或两者的组合，其适合存取存储在文件服务器上的经编码视频数据。经编码视频数据从文件服务器36的发射可为流式发射、下载发射或两者的组合。
[0034]本发明通常还涉及视频编码器20将某些信息“用信号通知”给另一装置，例如视频解码器30。然而，应理解，视频编码器20可通过使某些语法元素与视频数据的各个经编码部分相关联来用信号通知信息。就是说，视频编码器20可通过将某些语法元素存储到视频数据的各个经编码部分的标头来“用信号通知”数据，例如输出位深度。在一些情况下，在视频解码器30接收并解码此类语法元素之前，可编码和存储此类语法元素(例如，存储到存储媒体34或文件服务器36上)。因此，术语“用信号通知”可一般指代用于解码经压缩视频数据的语法或其它数据的通信，不管此通信实时或近实时发生还是在一段时间内发生，例如可在编码时将语法元素存储到媒体上时发生，语法元素接着可在被存储到此媒体上之后的任何时间由解码装置检索。
[0035]在图1的实例中，目的地装置14包含接收器26、调制解调器28、视频解码器30以及显示装置32。目的地装置14的接收器26经由信道16接收信息，且调制解调器28解调所述信息以为视频解码器30产生经解调位流。经由信道16传送的信息可包含由视频编码器20产生的多种语法信息，以供视频解码器30在解码视频数据时使用。此语法还可与存储在存储媒体34或文件服务器36上的经编码视频数据包含在一起。视频编码器20和视频解码器30中的每一者可形成能够编码或解码视频数据的相应编码器-解码器(CODEC)的部分。
[0036]显示装置32可与目的地装置14集成或可在目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置，且还可经配置以与外部显示装置交互。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32向用户显示经解码的视频数据，且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
[0037]视频编码器20和视频解码器30可根据视频压缩标准来操作，例如目前在开发的高效视频译码01EVC)标准，且可符合HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可根据其它专有或行业标准来操作，例如ITU-T H.264标准，或者称为MPEG-4，部分10，高级视频译码(AVC)，或此类标准的扩展。然而，本发明的技术不限于任何特定译码标准。其它实例包括MPEG-2和ITU-T H.263。
[0038]HEVC标准涉及视频数据的块作为译码单元(CU)。一般来说，CU具有与根据H.264译码的宏块类似的目的，只是⑶不具有大小差别。因此，⑶可分割为若干子⑶。一般来说，本发明中对CU的参考可指代图片的最大译码单元(LCU)或LCU的子CU。举例来说，位流内的语法数据可界定LCU，依据像素数目，其为最大译码单元。可将LCU分割为若干子CU，且每一子CU可分割为若干子CU。用于位流的语法数据可界定LCU可分割的最大次数，称为最大CU深度。因此，位流还可界定最小译码单元(SCU)。
[0039]IXU可与分级四分树数据结构相关联。一般来说，四分树数据结构每⑶包含一个节点，其中根节点对应于IXU。如果⑶分割为四个子⑶，那么对应于⑶的节点包含四个叶节点，其各自对应于子CU中的一者。四分树数据结构的每一节点可提供用于对应CU的语法数据。举例来说，四分数中的节点可包含分割旗标，指示对应于所述节点的CU是否被分割为子⑶。⑶的语法元素可递归地界定，且可取决于⑶是否分割为子⑶。
[0040]未分割的⑶可包含一个或一个以上预测单元(PU)。一般来说，I3U表示对应⑶的全部或一部分，且包含用于检索PU的参考样本的数据。举例来说，当PU经帧内模式编码时，PU可包含描述的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含描述PU的运动向量的数据。界定运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量指向的参考图片，和/或运动向量的参考列表(例如，列表0或列表I)。界定PU的⑶的数据还可描述(例如)将⑶分为一个或一个以上PU。划分模式可在⑶未经译码、经帧内模式编码或经帧间预测模式编码之间不同。
[0041]具有一个或一个以上I3U的⑶还可包含一个或一个以上变换单元(TU)。遵循使用PU的预测，视频编码器可计算CU的对应于的部分的残余值。可变换、量化和扫描残余值。TU不一定限于PU的大小。因此，TU可大于或小于用于同一⑶的对应PU。在一些实例中，TU的最大大小可为对应CU的大小。本发明还使用术语“块”来指代CU、PU或TU中的任一者。[0042]一般来说，经编码视频数据可包含预测数据和残余数据。视频编码器20可在帧内预测模式或帧间预测模式期间产生预测数据。帧内预测通常涉及相对于图片的相邻先前译码块中的参考样本来预测同一图片(其也可称为帧)的块中的像素值。帧间预测通常涉及相对于先前译码图片的数据来预测图片的块中的像素值，例如亮度和色度值。
[0043]在帧内或帧间预测之后，视频编码器20可计算所述块的残余像素值。残余值通常对应于块的所预测像素值数据与所述块的真实像素值数据之间的差异。举例来说，残余值可包含指示经译码像素与预测性像素之间的差异的像素差异值。在一些实例中，经译码像素可与待译码像素块相关联，且预测性像素可与用以预测经译码块的一个或一个以上像素块相关联。
[0044]为了进一步压缩块的残余值，可将残余值变换为一组变换系数，其将尽可能多的数据(也称为“能量”)压到尽可能少的系数中。变换技术可包括离散余弦变换(DCT)过程或概念上类似的过程、整数变换、小波变换或其它类型的变换。所述变换将像素的残余值从空间域转换为变换域。变换系数对应于通常与原始块相同大小的二维系数矩阵。换句话说，仅存在与参数数据的原始块中的像素一样多的变换系数。然而，归因于变换，变换系数中的许多可具有等于零的值。
[0045]视频编码器20可接着量化变换系数的级以进一步压缩视频数据。量化通常涉及将相对较大范围内的值映射到相对较小范围内的值，从而减少表示经量化变换系数所需的数据量。更具体地说，可根据量化参数(QP)来应用量化，QP可根据在量化期间引用于变换系数的量化器步长大小而编索引。视频编码器20可通过调整QP来修改量化程度(例如，量化器步长大小)。
[0046]在量化之后，视频编码器20可扫描变换系数，从而从包含经量化变换系数的二维矩阵产生一维向量。视频编码器20可接着对所得阵列进行熵编码以更进一步压缩数据。一般来说，熵译码包括一个或一个以上过程，其共同压缩经量化变换系数和/或其它语法信息的序列。举例来说，例如增量QP、预测向量、译码模式、滤波器、偏移或其它信息等语法元素也可包含于经熵译码的位流中。接着将经扫描系数连同任何语法信息进行熵译码，例如经由内容自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)或另一熵译码过程。
[0047]为了执行CABAC，视频编码器20可选择上下文模型来应用于某一上下文以编码待发射的符号。所述上下文可与(例如)相邻值是非零还是零有关。视频编码器20还可对语法元素(例如在执行自适应扫描时产生的有效系数旗标和最后系数旗标)进行编码。
[0048]视频解码器30所执行的视频解码过程可通常包含与视频编码器20所执行的编码技术互逆的技术。尽管通常是互逆的，但在一些例子中，视频解码器30可执行与视频编码器20所执行的技术类似的技术。换句话说，视频解码器30可执行大体上与视频编码器20所执行的过程类似的过程。视频解码器30还可依靠接收到的位流中所含有的语法元素或其它数据，所接收到的位流包含相对于视频编码器20所描述的数据。
[0049]在一些例子中，视频编码器20可产生且视频解码器30可接收某些参数集合，其可在解码视频数据时使用。举例来说，在H.264/AVC (高级视频译码)标准中，将经译码视频区段组织成NAL单元，其提供“网络友好”视频表示寻址应用，例如视频电话、存储、广播或流式传输。可将NAL单元分类为视频译码层(VCL)NAL单元和非VCL NAL单元。VCL单元可含有核心压缩引擎，且可包含块、宏块和/或片级数据。其它NAL单元可为非VCL NAL单元。在一些实例中，在一个时间实例中，经译码图片(通常呈现为主要经译码图片)可被包含于存取单元(其可包含一个或一个以上NAL单元)中。
[0050]非VCL NAL单元可包含参数集合NAL单元和SEI NAL单元等。参数集合可含有序列级标头信息(在序列参数集合(SPS)中)，以及非频繁改变的图片级标头信息(在图片参数集合(PPS)中)。对于参数集合(例如，PPS和SPS)，无需针对每一序列或图片重复非频繁改变的信息，因此可改进译码效率。此外，参数集合的使用可实现重要标头信息的带外发射，从而不需要冗余发射来进行误差恢复。在带外发射实例中，可在与其它NAL单元(例如SEI NAL单元)不同的信道上发射参数集合NAL单元。
[0051]补充增强信息(SEI)可含有对解码来自VCL NAL单元的经译码图片样本来说不必要的信息，但可辅助与解码、显示、误差恢复和其它目的有关的过程。SEI消息可包含在非VCL NAL单元中。SEI消息是一些标准规范的标准部分，且因此对于符合标准的解码器实施方案来说，不总是强制性的。SEI消息可为序列级SEI消息或图片级SEI消息。一些序列级信息可包含于SEI消息中，例如SVC的实例中的可缩放性信息SEI消息，以及MVC中的视图可缩放性信息SEI消息。
[0052]另外，在一些实例中，视频解码器30可符合实施某一媒体格式的标准。举例来说，ISO基础媒体文件格式经设计以含有经计时的媒体信息，以供以灵活、可扩展格式呈现，此促进媒体的交换、管理、编辑和呈现。MPEG-4，部分12中指定ISO基础媒体文件格式(ISO/IEC14496-12:2004)，其界定基于时间的媒体文件的一般结构。基础格式可用作系列中的其它文件格式的基础，例如经界定以支持H.264/MPEG-4AVC视频压缩的高级视频译码(AVC)文件格式(IS0/IEC14496-15)、3GPP文件格式、SVC文件格式以及MVC文件格式，其为AVC文件格式的扩展。
[0053]一般来说，ISO基础媒体文件格式含有经定时媒体数据序列(例如音频-视觉呈现)的时序、结构和媒体信息。文件结构可为面向对象的。就是说，可非常简单地将文件分解为基础对象，且对象的结构可从其类型暗示。符合ISO基础媒体文件格式的文件可形成为一系列对象，称为“盒”。数据通常包含于盒中，且文件内通常不存在其它数据。因此，“盒”是由唯一类型识别符和长度界定的面向对象的构造块。
[0054]在另一实例中，AVC文件格式(也称为，MPEG-4，部分15)是ISO基础媒体文件格式的扩展。在AVC文件格式中，视频样本包含于“AVC样本”中，其含有AVCDecoderConfigurationRecord(AVC解码器配置记录)，以及同一存取单元的NAL单元。AVCDecoderConf igurationRecord 还可包含于 “AVCParameterSample (AVC 参数样本)，，中，其仅含有参数集合。AVO)ecoderConfigurationRecord的语法可包含如下:
[0055]
【权利要求】
1.一种译码视频数据的方法，其包括: 确定用于输出视频数据的第一位深度以及用于译码所述视频数据的第二位深度，其中所述第一位深度小于所述第二位深度； 确定在译码其它视频数据时是否将所述视频数据用作参考数据；以及 基于所述确定，在所述视频数据未用作参考数据时将所述视频数据存储在所述第一位深度处，且在所述视频数据用作参考数据时将所述视频数据存储在所述第二位深度处。
2.根据权利要求1所述的方法，其中存储包括当所述视频数据未用作参考数据时，将所述视频数据从所述第二位深度转换到所述第一位深度。
3.根据权利要求2所述的方法，其中转换所述视频数据包括对所述视频数据执行位移位操作，以将所述第二位深度转换为所述第一位深度。
4.根据权利要求1所述的方法，其中所述视频数据包括经解码图片，且其中存储所述视频数据包括将所述经解码图片存储到经解码图片缓冲器。
5.根据权利要求1所述的方法，其进一步包括在所述第一位深度处接收所述视频数据，以及在内部位深度增加IBDI过程期间译码所述视频数据之前，将所述第一位深度增加到所述第二位深度。
6.根据权利要求1所述的方法，其中译码所述视频数据包括对所述视频数据执行高准确性内部过程HAIP。
7.根据权利要求1所述的方法，其中所述第一位深度为八个位，且所述第二位深度等于或大于十位。
8.根据权利要求1所述的方法，其进一步包括编码是否以所述第一位深度和所述第二位深度之一显示所述视频数据的指示。
9.根据权利要求8所述的方法，其中编码所述指示包括将所述指示包含在经编码视频数据位流中的序列参数集合SPS和补充增强信息SEI消息之一中。
10.根据权利要求1所述的方法，其进一步包括译码文件格式和描述符的一者中输出位深度是否等于所述第二位深度的指示。
11.根据权利要求10所述的方法，其中所述指示包括输出位深度的指示。
12.根据权利要求10所述的方法，其中所述文件格式包括ISO基本媒体文件格式和输送流格式之一。
13.根据权利要求10所述的方法，其中所述描述符包括基于HTTP(DASH)媒体呈现描述MPD描述符的动态自适应流式传输。
14.根据权利要求10所述的方法，其中译码所述指示包括解码含有所述指示的所述文件格式，以及确定是否以所述第一位深度和所述第二位深度之一显示所述视频数据。
15.根据权利要求10所述的方法，其中译码所述指示包括解码含有所述指示的所述描述符，以及确定是否以所述第一位深度和所述第二位深度之一显示所述视频数据。
16.根据权利要求10所述的方法，其中译码所述指示包括解码含有所述指示的媒体呈现描述MPD，以及确定是否以所述第一位深度和所述第二位深度之一显示所述视频数据。
17.根据权利要求1所述的方法，其进一步包括基于显示装置的配置确定输出位深度是包括所述第一位深度还是所述第二位深度。
18.一种用于 译码视频数据的设备，其包括一个或一个以上处理器，所述处理器经配置以: 确定用于输出视频数据的第一位深度以及用于译码所述视频数据的第二位深度，其中所述第一位深度小于所述第二位深度； 确定在译码其它视频数据时是否将所述视频数据用作参考数据；以及 基于所述确定，在所述视频数据未用作参考数据时将所述视频数据存储在所述第一位深度处，且在所述视频数据用作参考数据时将所述视频数据存储在所述第二位深度处。
19.根据权利要求18所述的设备，其中为了存储所述视频数据，所述一个或一个以上处理器经配置以在所述视频数据未用作参考数据时将所述视频数据从所述第二位深度转换为所述第一位深度。
20.根据权利要求19所述的设备，其中为了转换所述视频数据，所述一个或一个以上处理器经配置以对所述视频数据执行位移位操作，以将所述第二位深度转换为所述第一位深度。
21.根据权利要求18所述的设备，其中所述视频数据包括经解码图片，且其中为了存储所述视频数据，所述一个或一个以上处理器经配置以将所述经解码图片存储到经解码图片缓冲器。
22.根据权利要求18所述的设备，所述一个或一个以上处理器经配置以在所述第一位深度处接收所述视频数据，以及在内部位深度增加IBDI过程期间译码所述视频数据之前，将所述第一位深度增加到所述第二位深度。
23.根据权利要求18所述的设备，其中为了译码所述视频数据，所述一个或一个以上处理器经配置以对所述视频数据执行高准确性内部过程HAIP。
24.根据权利要求18所述的设备，其中所述第一位深度为八个位，且所述第二位深度等于或大于十位。
25.根据权利要求18所述的设备，所述一个或一个以上处理器进一步经配置以编码是否以所述第一位深度和所述第二位深度之一显示所述视频数据的指示。
26.根据权利要求25所述的设备，其中为了编码所述指示，所述一个或一个以上处理器经配置以将所述指示包含在经编码视频数据位流中的序列参数集合SPS和补充增强信息SEI之一中。
27.根据权利要求18所述的设备，所述一个或一个以上处理器进一步经配置以译码文件格式和描述符之一中输出位深度是否等于所述第二位深度的指示。
28.根据权利要求27所述的设备，其中所述指示包括输出位深度的指示。
29.根据权利要求27所述的设备，其中所述文件格式包括ISO基本媒体文件格式和输送流格式之一。
30.根据权利要求27所述的设备，其中所述描述符包括基于HTTP(DASH)媒体呈现描述MPD描述符的动态自适应流式传输。
31.根据权利要求27所述的设备，其中为了译码所述指示，所述一个或一个以上处理器经配置以解码含有所述指示的所述文件格式，且确定是否以所述第一位深度和所述第二位深度之一显示所述视频数据。
32.根据权利要求27所述的设备，其中为了译码所述指示，所述一个或一个以上处理器经配置以解码含有所述指示的所述描述符，且确定是否以所述第一位深度和所述第二位深度之一显示所述视频数据。
33.根据权利要求27所述的设备，其中为了译码所述指示，所述一个或一个以上处理器经配置以解码含有所述指示的所述媒体呈现描述MPD，且确定是否以所述第一位深度和所述第二位深度之一显示所述视频数据。
34.根据权利要求18所述的设备，所述一个或一个以上处理器进一步经配置以基于显示装置的配置确定输出位深度是包括所述第一位深度还是所述第二位深度。
35.一种用于译码视频数据的设备，其包括: 用于确定用于输出视频数据的第一位深度以及用于译码所述视频数据的第二位深度的装置，其中所述第一位深度小于所述第二位深度； 用于确定在译码其它视频数据时是否将所述视频数据用作参考数据的装置；以及 用于基于所述确定在所述视频数据未用作参考数据时将所述视频数据存储在所述第一位深度处且在所述视频数据用作参考数据时将所述视频数据存储在所述第二位深度处的装置。
36.根据权利要求35所述的设备，其中用于存储的装置包括用于在所述视频数据未用作参考数据时将所述视频数据从所述第二位深度转换到所述第一位深度的装置。
37.根据权利要求36所述的设备，其中用于转换所述视频数据的装置包括用于对所述视频数据执行位移位操作以将所述第二位深度转换为所述第一位深度的装置。
38.根据权利要求35所述的设备，其进一步包括用于将是否以所述第一位深度和所述第二位深度之一显示所述视频数据的指示包含在所述视频数据的经编码位流中的装置。
39.根据权利要求35所述的设备,其进一步包括用于译码文件格式和描述符之一中输出位深度是否等于所述第二位深度的指示的装置。
40.一种其上存储有指令的计算机可读存储媒体，所述指令在被执行时致使一个或一个以上处理器: 确定用于输出视频数据的第一位深度以及用于译码所述视频数据的第二位深度，其中所述第一位深度小于所述第二位深度； 确定在译码其它视频数据时是否将所述视频数据用作参考数据；以及 基于所述确定，在所述视频数据未用作参考数据时将所述视频数据存储在所述第一位深度处，且在所述视频数据用作参考数据时将所述视频数据存储在所述第二位深度处。
41.根据权利要求40所述的计算机可读存储媒体，其中为了存储所述视频数据，所述指令致使所述一个或一个以上处理器在所述视频数据未用作参考数据时将所述视频数据从所述第二位深度转换为所述第一位深度。
42.根据权利要求41所述的计算机可读存储媒体，其中为了转换所述视频数据，所述指令致使所述一个或一个以上处理器对所述视频数据执行位移位操作，以将所述第二位深度转换为所述第一位深度。
43.根据权利要求40所述的计算机可读存储媒体，其进一步包括在被执行时致使所述一个或一个以上处理器将是否以所述第一位深度和所述第二位深度之一显示所述视频数据的指示包含在所述视频数据的经编码位流中的指令。
44.根据权利要求40所述的计算机可读存储媒体，其进一步包括在被执行时致使所述一个或一个以上处理器译码文件格式和描述符之一中输出位深度是否等于所述第二位深度的指示 的指令。
【文档编号】H04N19/159GK103609112SQ201280029510
【公开日】2014年2月26日 申请日期:2012年6月8日 优先权日:2011年6月9日
【发明者】陈盈, 陈培松, 马尔塔·卡切维奇 申请人:高通股份有限公司