压缩视频中属于互相关性层的图片的通知和抽取的制作方法

专利名称：压缩视频中属于互相关性层的图片的通知和抽取的制作方法
压缩视频中属于互相关性层的图片的通知和抽取
本申请的申请日为2009年5月18日，对除美国外的所有国家指定的申请人 是一家美国公司“思科技术公司”，仅对美国指定的申请人是均为美国公民的Arturo A. Rodriguez和Benjamin Μ. Cook，本申请要求申请日为2008年5月21日的美国专利申请 第12/1 ，779号的优先权。技术领域
特定实施例一般涉及在网络系统中处理视频流。
技术背景
预期利用先进视频压缩方法实现数字视频对于应用和网络系统扩展的可用性和 功能水平与已确立的压缩方法所扩展的相同。遍及网络系统的视频处理装置应当继续具备 现有的视频流操纵能力水平或更佳。
当提供用于根据先进视频编码(AVC)标准压缩和格式化的视频流(本文中称为 AVC流)的视频流操纵功能时，难以确定视频流是否适于特定的流操纵操作或适于扩展终 端用户功能(例如不同的视频回放模式)的操作。同样，位于遍及网络系统的若干位置中 任意位置的视频处理设备难以实现对AVC流的操纵操作。这是因为AVC标准通常具有一组 大量的压缩工具并可以较之先前的视频编码标准更精细和全面的方式利用图片间的时间 冗余。
AVC流的压缩较之利用先前的视频编码标准编码的视频流更加高效。然而，AVC流 往往表现出图片互相关性方面的更高复杂度，这使其难以实现流操纵操作。


图1的高级框图示出了一示例环境，其中实现了对压缩视频和标识各图片互相关 性层中图片的信息的处理的系统和方法的实施例。
图2是图1所示的数字家庭通信终端(DHCT)和相关设备的实施例，其中至少部分 地实现了对压缩视频和标识各图片互相关性层中图片的信息的处理的系统和方法的实施 例。
图3的框图示出了示例性传输流生成。
图4A和4B的框图示出了传输流生成器所提供的示例性压缩图片序列中的图片互 相关性。
图5的框图示出了图片互相关性层的层次结构。
图6是提供关于图片互相关性层的信息的各种方式的框图。
图7是示出包含多个字段的数据结构的实施例的框图，所述多个字段用于分别断 言关于一个或多个图片互相关性层的信息的存在。
图8的框图示出了图7的数据结构的示例性实施例。
图9A-9E的框图示出了基于图4A所示的示例性图片序列的各种位图构造。
具体实施方式
纖
在一个实施例中，一种方法包括提供视频流；以及提供标识所述视频流中与各 图片互相关性层相对应的压缩图片的信息。在另一实施例中，一种方法包括接收视频流； 接收表示所述视频流中与各图片互相关性层相对应的压缩图片的信息；以及从所述视频流 中抽取所标识的图片中的一个或多个图片。
示例实施例
在以下出版物中可以找到对MPEG-2视频编码标准的描述，该出版物在此被合 并参考(1)IS0/IEC 13818-2，(2000), “ Information Technology-Generic coding of moving pictures and associated audio-Video，，。在以下出版物中可以找到对AVC视频编 码标准的描述，该出版物在此被合并参考(2) ITU-T Rec. H. 264(2005)，"Advanced video coding for generic audiovisual services，，。在以下出版物中可以找到对用于以MPEG-2 传输分组传输AVC视频流的MPEG-2系统的描述，该出版物在此被合并参考(3) IS0/IEC 13818-1, (2000), “Information Technology-Generic coding of moving pictures and associated audio-Part 1 =Systems",和(4)ITU-T Rec. H. 222. 0|IS0/IEC 13818-1 2000/AMD. 3, (2004) ,"Transport of AVC video data over ITU-T Rec. H222. 0|IS0/IEC 13818-lstreams”。
注意，遍及本说明书使用的“位图相关信息”指与图片互相关性层相关或有关的断 言(assertion)和/或位图或其他信息。遍及本说明书，“层”(tier)应理解为指图片互相 关性层(picture interdependency tier)。
注意，遍及本说明书使用的“图片”指来自以多种形式中的一种构成视频或数字视 频的图片序列的图像部分或完整图像。遍及本说明书，“视频节目”或对可视内容的其他提 及应理解为包括电视节目、电影，或其他任何传达或定义诸如通过个人摄像机提供的可视 内容之类的可视内容的信号。这种视频节目当被传递时可以包括压缩数据流，该压缩数据 流对应于复用和分组化成诸如MPEG-2传输(MPEG-2 Transport)之类的传输流的图片和其 他元素的一个或多个序列构成的整体，所述其他元素包括视频、音频和/或其他数据。
视频流还可指与任何视频服务或数字视频应用相对应的压缩数字可视数据，所述 视频服务或数字视频应用包括但不限于视频节目、视频会议或视频电话会话、通过网络系 统中的通信信道发送或接收视频流的任何数字视频应用，或在存储装置或内存装置中存储 了视频流或从存储装置或内存装置检索视频流的任何数字视频应用。所公开的实施例可以 许多不同形式实现，不应解释为限于这里阐述的实施例；而是提供了这些实施例以使得本 公开将更全面和完整，并将会充分地将公开的范围传达给本领域的普通技术人员。虽然遍 及本说明书将数字家庭通信终端(DHCT)用作示例装置，但本文中描述的特定实施例扩展 到有能力接收和处理AVC流的其他类型的接收机。例如，特定实施例可应用于经由通信信 道耦合到网络系统的手持接收机和/或移动接收机。本文中描述的某些实施例还扩展到具 有接收和/或发送功能以及其他功能的网络装置(例如编码器、交换机等)。特定实施例还 可应用于任何视频服务使能接收机(VSER)，还可应用于诸如有能力处理AVC流的媒体播放 器之类的电子装置，而与这些电子装置是否耦合到网络系统无关。此外，本文中给出的所有4实施例、图示和示例都希望是非限制性的，并且是作为示例列表提供的，还有想到了但未示 出的其他示例。
图1是示出了示例环境的高级框图，在该示例环境中，系统和方法的实施例实现 了对压缩视频和标识各图片互相关性层中图片的信息的处理。具体而言，图1是示出了示 例性订户电视系统(STS) 100的框图。在此示例中，STS 100包括头端110和DHCT 200，它 们经由网络130耦合起来。DHCT 200通常位于用户的住所或办公场所，并可以是一单独单 元或集成到诸如显示装置140或个人计算机(未示出)以及其他装置之类的另一装置中。 DHCT 200通过网络130从头端110接收信号(视频、音频和/或其他数据)，该信号例如包 括数字化视频信号的压缩表示的数字视频信号，例如调制在载波信号上的AVC流，和/或调 制在载波信号上的模拟信息，等等，并将相反信息通过网络130提供给头端110。
网络130可以包括用于传送视频和电视服务数据的任何合适介质，例如包括有线 电视网络或卫星电视网络，等等。头端110可包括一个或多个服务器装置(未示出)，用于 向诸如DHCT 200之类的客户装置提供视频、音频和其他类型的媒体或数据。
头端110还包括一个或多个编码器或压缩引擎111，其在一个实施例中将图片互 相关性相关信息(例如与图片互相关性有关的位图、标志，和/或其他消息，和/或断言关 于一个或多个图片互相关性层的信息的存在的信息，如下文进一步描述的)提供或插入到 传输流中，以使能或帮助DHCT 200或其他网络装置从视频流中解码、分析和/或抽取顶层 的图片和/或丢弃底层的图片，如下文进一步说明的。虽然示为驻留在头端110中，但编码 器可位于网络中其他位置。例如，对与图片互相关性层相关的断言和位图或其他信息的插 入或提供可以在头端110的上游或外部实现。头端110和DHCT 200进行合作以给用户提 供电视服务，该电视服务例如包括广播视频节目、互动式节目指南(IPG)，和/或视频点播 (VOD)呈现，等等。电视服务经由显示装置140呈现，该显示装置通常是电视机，其被根据其 类型而利用隔行扫描视频号或逐行扫描视频信号驱动。然而，显示装置140也可以是能够 显示视频图像的其他任何装置，例如包括计算机监视器。虽然示为与显示装置140通信，但 DHCT 200可与接收、存储和/或处理来自DHCT 200的视频流或向DHCT 200提供或发送视 频流或未压缩视频信号的其他装置进行通信。
图2是图1所示的DHCT 200和相关设备的实施例的框图，其中系统和方法的实施 例至少部分地实现了对压缩视频和标识各图片互相关性层中图片的信息的处理。将理解图 2所示的DHCT 200仅仅是说明性的，不应解释为暗示对公开范围的任何限制。例如，在一 些实施例中，DHCT 200可以具有比图2所示的组件更少、更多和/或不同的组件。所描述 的DHCT 200和/或编码器111的子系统和方法中任一者都可包括用于实现逻辑功能的可 执行指令的有序列表，可以实现在任何计算机可读介质中以供指令执行系统、设备或装置 使用或与之协同，例如能从指令执行系统、设备或装置取得指令并执行指令的基于计算机 的系统、包含处理器的系统或其他系统。在本文档的上下文中，“计算机可读介质”可以是 能包含、存储、传送、传播或传输程序以供指令执行系统、设备或装置使用或与之协同的任 何装置。计算机可读介质例如可以是但不限于电、磁、光、电磁、红外或半导体系统、设备、装 置或传播介质。计算机可读介质的更具体的示例(非穷举列表)将会包括以下项具有一 条或多条导线的电连接(电子的)、便携式计算机盘(磁的)、随机存取存储器(RAM)(电子 的)、只读存储器(ROM)(电子的)、可擦除可编程只读存储器(EPR0M或闪存)(电子的)、光纤(光的)，以及便携式紧致盘只读存储器(CDROM)(光的)。
DHCT 200通常位于用户的住所或办公场所，并可以是一单独单元或集成到诸如电 视机或个人计算机之类的另一装置中。DHCT 200优选地包括用于通过网络130(图1)从头 端110 (图1)接收信号(视频、音频和/或其他数据)的通信接口 M2，并将相反信息提供 给头端110。
DHCT 200还可包括用于控制DHCT 200的操作的一个或多个处理器(示出了一个 处理器M4)、用于驱动电视显示器140(图1)的输出系统M8，以及用于调谐到特定电视频 道和/或频率并用于向/从头端110发送和接收各种类型的数据的调谐器系统M5。DHCT 200在一些实施例中可包括用于接收所下载(或所发送)数据的多个调谐器。调谐器系统 245可从订户电视系统100 (图1)所提供的多个发送信号中进行选择。调谐器系统245使 得DHCT 200能调谐到下游媒体和数据发送，从而允许用户经由订户电视系统100接收数字 媒体内容。在一个实施例中，模拟电视信号可以经过调谐器系统245接收。调谐器系统M5 在一种实现方式中包括用于双向数据通信的带外调谐器，和用于接收电视信号的一个或多 个调谐器(带内)。另外，接收机246接收来自诸如遥控装置(未示出)的输入装置的外部 生成的用户输入或命令。
DHCT 200可包括一个或多个也称为通信端口或接口 274的有线或无线接口，用于 向其他装置接收和/或发送数据或视频流。例如，DHCT 200可具有USB (通用串行总线)、 以太网、IEEE-1394、串行和/或并行端口，等等。DHCT 200可经由通信接口 274连接到家 庭网络或局部网络。DHCT 200还可包括用于接收模拟视频信号的模拟视频输入端口。可以 经由诸如手持遥控装置或键盘之类的输入装置提供用户输入。
DHCT 200包括至少一个存储装置273，用于存储DHCT 200接收的视频流。与操作 系统253和装置驱动器211合作的PVR应用277实现向/从存储装置273的读和/或写操 作，以及其他功能。处理器244可为操作系统253、装置驱动器211、应用(例如PVR 277)， 和数据输入及输出提供和/或帮助控制和程序执行。处理器244还可提供和/或帮助接收 和处理位图相关信息，识别和抽取分别属于一个或多个层的图片，识别和丢弃分别属于一 个或多个层的图片，以及在抽取或丢弃所识别的图片之后解码和输出视频流。处理器M4 还可为所接收的压缩视频流或DHCT 200所产生的压缩视频流帮助或提供位图相关信息。 这里，对针对存储装置273的写和/或读操作的提及可理解为包括对存储装置273的一个 或多个介质的操作。装置驱动器211 —般是与操作系统253相接口和/或驻留于操作系统 253中的软件模块。装置驱动器211在操作系统253的管理下与存储装置控制器279通信 以提供用于存储装置273的操作指令。由于传统的装置驱动器和装置控制器对于本领域普 通技术人员是公知的，因此这里就不进一步描述各自的详细工作的讨论了。
存储装置273可以位于DHCT 200内部并通过通信接口 275耦合到公共总线205。 通信接口 275可包括集成驱动电子装置(IDE)、小型计算机系统接口(SCSI)、IEEE-1394或 通用串行总线(USB)，等等。作为替换或补充，存储装置273可以经由通信端口 274，外部连 接到DHCT 200。通信端口 274例如可以是根据IEEE-1394、USB、SCSI或IDE规范的。在一 种实现方式中，视频流是经由通信接口 242接收到DHCT 200中并存储在临时存储器缓存 (未示出)中的。临时存储器缓存可以是DRAM 252的一指定部分，或者直接或作为DHCT 200中组件一部分而附接的独立存储器。临时缓存被实现和管理来使能向存储装置273的媒体内容传递。在一些实现方式中，存储装置273的快速存取时间和高数据传递速率特性 使得能够以足够快的方式从临时缓存读取媒体内容和将媒体内容写到存储装置273。可以 实现多个同时的数据传递操作，使得在将数据从临时缓存传递到存储装置273的同时，可 以接收另外的数据并将其存储在临时缓存中。
DHCT 200包括信号处理系统214，该信号处理系统包括解调系统210和传输解复 用和分析系统215(本文中称为解复用系统)，用于处理广播和/或点播媒体内容和/或数 据。信号处理系统214的一个或多个组件可以利用软件、软硬件组合，或硬件实现。解调系 统210包括用于解调模拟或数字发送信号的功能。
如上所述，编码器或压缩引擎可以驻留在头端110处(例如实现为编码器111)， DHCT 200中(例如实现为压缩引擎217)，或其他位置。压缩引擎217可以接收数字化未压 缩视频信号，例如由模拟视频解码器216提供的数字化未压缩视频信号，或由解压缩引擎 (例如解压缩引擎22 作为将压缩视频信号解压缩的结果而产生的解压缩视频信号。在一 个实施例中，模拟视频解码器216所输出的数字化图片和相应音频在压缩引擎217的输入 端提供，该压缩引擎根据视频压缩规范的句法和语义将未压缩数字化图片序列压缩。从而， 压缩引擎217实现了与诸如AVC标准之类相应的视频压缩规范相对应的视频压缩方法或算 法，以提供视频流。压缩引擎217还可提供用于所提供的视频流的位图相关信息。
本文中公开的系统和方法可应用于根据视频压缩规范执行的任何视频压缩方法， 所述视频压缩规范考虑了至少一种类型的压缩图片，该压缩图片可依赖于多个用于其解压 缩和重建的参考图片的相应解压缩版本。例如，压缩引擎217可根据AVC标准的规范来压缩 输入的视频，并产生包含不同类型压缩图片的AVC流，一些压缩图片可具有第一压缩部分 和第二压缩部分，该第一压缩部分依赖于用于压缩图片的解压缩和重建的第一参考图片， 同一图片的该第二压缩部分依赖于不同的第二参考图片。
在一些实施例中，具有诸如能产生AVC流的压缩能力的类似压缩能力的压缩引擎 例如作为家庭网络的一部分经由通信端口 274连接到DHCT 200。在另一实施例中，具有诸 如能产生AVC流的压缩能力的类似压缩能力的压缩引擎可位于头端110或网络130中的其 他位置。在各种实施例中的压缩引擎可包括提供用于所产生的视频流的位图相关信息的能 力。
除非以其他方式规定，否则本文中使用的压缩引擎可驻留在头端110处(例如作 为编码器111)，DHCT 200中(例如作为压缩引擎217)，经由通信端口 274连接到DHCT 200， 或其他位置。同样，本文中使用的视频处理装置可驻留在头端110处、DHCT 200中、经由通 信端口 274连接到DHCT 200，或其他位置。在一个实施例中，压缩引擎和视频处理装置驻留 在同一位置。在另一实施例中，他们驻留在不同位置。在又一实施例中，压缩引擎和视频处 理装置是同一装置。
根据诸如MPEG-2或AVC之类的指定的音频和视频编码方法的句法和语义，产生压 缩的视频和音频流，使得压缩的视频和音频流可以在未来时间被解压缩引擎222解释以用 于解压缩和重建。根据诸如MPEG-2系统中定义的MPEG-2传输之类的传输规范的句法和语 义，将每个AVC流分组化(packetize)成传输分组。每个传输分组包含头部，该头部具有与 相应的AVC流相关联的独特的分组标识码或PID。
解复用系统215可包括MPEG-2传输解复用能力。当被调节到承载数字发送信号的载波频率时，解复用系统215使得能够分离与所需的AVC流相对应的数据分组，以用于进 一步处理。同时，解复用系统215排除了对复用传输流中无关或不需要的分组，例如对应于 其他视频流的数据分组的进一步处理。解复用系统215的分析能力考虑了 DHCT 200对传 输分组中所承载的节目相关信息的吸收。解复用系统215的分析能力可以考虑DHCT 200 对位图相关信息的吸收，所述位图相关信息例如是与一个或多个图片互相关性层中图片的 识别相关或有关的断言和位图或其他信息。
在一个实施例中，可通过在诸如MPEG-2传输的传输流分组之类的传输流分组的 适配字段或其他字段的私有数据区段中规定显式信息，来提供位图相关信息。在一个实施 例中，这种信息的信号通知(signaling)和提供是位于视频节目的复用级，或传输层处的 (而非在视频层中)。位图信息可以例如经由在MPEG-2传输分组的适配字段中承载的私有 数据，作为未加密数据而承载。
例如，根据MPEG-2的传输分组结构包括188个字节，并包括一 4字节的头部，该头 部具有标识传输分组的对应流的独特分组标识符或PID。可选的适配字段可跟在传输分组 的头部之后。如果有适配字段的话，则包含对应流一部分的有效载荷跟在适配字段之后。如 果没有适配字段，则有效载荷跟在传输头部之后。与AVC流中压缩图片相对应的位图相关 信息在一个实施例中设在适配字段中，从而不被认为是视频层的一部分，这是因为适配字 段既不是传输分组有效载荷的一部分也不是AVC规范的一部分，而是根据MPEG-2系统标准 的MPEG-2传输的句法和语义的一部分。
传输流的头部可以包括同步(sync)字节，该同步字节设置传输流分组的开始并 允许发送同步。传输流的头部还可包括有效载荷单元起始指示符，当在承载视频流的分组 中将该有效载荷单元起始指示符设置为某个值(例如在MPEG-2传输中为lb)时，该有效载 荷单元起始指示符指示出该传输分组的有效载荷开始于分组化基本流(PES)的分组的首 个字节。PES中所承载的视频流可以被约束为每PES分组承载一个压缩图片，并且PES分组 必须始终作为传输流的分组有效载荷的首个字节而开始。从而，有效载荷单元起始指示符 提供了对传输流中所承载的视频流的每个相继图片的起始的标识。注意，承载视频流的传 输分组是由DHCT 200的分析能力(如上所述)从节目相关信息或节目专用信息(PSI)中 识别的。例如，在MPEG-2传输中，节目映射表识别节目映射表(PMT)中节目流的分组标识 符(PID)，该PMT又是经由节目关联表(PAT)识别的。
应当注意，位图相关信息是未经加密地设置在传输层中的，并使得位于网络中的 视频解码器或其他视频处理装置能够针对特定应用或操作而确定从视频流中抽取那些图 片和/或从视频流中丢弃哪些图片，而无须分析压缩视频层或视频流。
位图相关信息标识出视频流中分别属于一个或多个图片互相关性层的图片。这又 使得在视频节目存储在DHCT 200的硬盘驱动器中时，能够注释与各图片互相关性层相对 应的相继图片位置。视频节目可以作为传输流而存储。在一个替代实施例中，其可作为节 目流而存储。所注释的视频节目的图片位置可由处理器244在执行PVR应用277的同时处 理，以从一起始点开始抽取属于顶层的视频节目图片，或从同一起始点开始抽取属于各相 继顶部层的另外图片(即，升序编号的层，如下所述)，以提供技巧模式(trick mode)操作。
位于传输分组头部中或适配字段中的一个或多个标志可以标识可作为用于跟踪 位图相关信息的起始点的起始点或随机访问点。例如，MPEG-2传输分组中的适配字段包括随机访问指示符和基本流优先级指示符。
信号处理系统214的组件通常能够进行QAM解调、转发纠错、MPEG-2传输流的解 复用，以及对分组和流的分析。流分析可以包括对分组化基本流或基本流的分析。分组分 析可包括对递送与AVC流相对应的位图相关信息的字段的分析和处理。在一些实施例中， 由信号处理系统214执行的分析抽取位图相关信息，并且处理器244提供对位图相关信息 的处理和解释。在又一实施例中，处理器244执行对位图相关信息的分析、处理和解释。信 号处理系统214还经由DHCT 200的中断和消息发送能力与处理器244通信。处理器M4 注释视频流或传输流内图片的位置，以及与视频流相对应的其他有关信息。作为替代或补 充，注释可以是根据与视频流对应的位图相关信息，或者从位图相关信息得到的。由处理器 244进行的注释使得能够进行对所存储的视频节目实例的正常回放以及其他回放模式。常 称为“技巧模式”的其他回放模式可包括倒退或反向回放，快进回放，或暂停或静止。回放 模式可包括除了正常回放速度之外的一种或多种回放速度。在一些实施例中，位图相关信 息由处理器244提供给解压缩引擎222。在另一实施例中，在技巧模式的回放期间，由处理 器244将存储在存储装置中的注释提供给解压缩引擎222。在又一实施例中，仅在技巧模式 期间提供注释，其中处理器244编程了解压缩引擎222来执行技巧模式。
注释可以仅仅是位图相关信息。处理器244可以抽取来自顶层的图片和/或丢弃 来自底层的图片，如下文进一步描述的。
分组化压缩流还可由信号处理系统214输出，并作为对解压缩引擎222的输入而 提供，以用于音频和/或视频解压缩。信号处理系统214可以包括其他组件(未示出)，包 括存储器、解密器、采样器、数字化器(例如模数转换器)，和复用器，等等。解复用系统215 分析(例如读取并解释)传输分组，并将与对应于AVC流的一个或多个位图相对应的信息 存放到DRAM 252中。
在实现对传输流的解复用和分析时，处理器244解释信号处理系统214所输出的 数据，并根据与视频流相对应的位图相关信息，生成包括压缩视频流中某些图片的绝对开 始位置的表或数据结构(索引表20 形式的辅助数据。处理器244还处理与位图相关信 息相对应的信息，以做出用于PVR操作的注释。注释由处理器244存储在存储装置中。在 一个实施例中，位图相关信息由注释构成，并且其存储在硬盘驱动器中。这种辅助数据被用 来便利在未来的PVR操作期间对所需视频数据的检索。
解复用系统215可以分析接收到的传输流(或由压缩引擎217生成的流，该流在 一些实施例中可以是节目流)而不干扰其视频流内容，并将经分析的传输流(或所生成的 节目流)存放到DRAM 252中。即使视频节目是加密了的，处理器244也可生成注释，这是 因为AVC流的位图相关信息是未加密地承载的。处理器244使得DRAM 252中的传输流被 传递到存储装置273。可以存储另外的相关安全性、授权和/或加密信息。作为替代或补 充，与AVC流相对应的位图相关信息可以具有包括图片之间互相关性的表或数据结构的形 式，如下文进一步说明的。
注意，在一个实施例中，本文中对解码系统的提及包括解码功能和合作元件，例如 在解压缩引擎222、处理器M4、信号处理系统214和存储器的总的功能中找到的那些。在 一些实施例中，解码系统可包括更少、更多或不同的元件。而且，某些系统和方法实施例包 括来自头端的组件(例如编码器111等)和/或来自DHCT 200的组件，但在一些实施例中可找到更少或更多的组件。
AVC流或其他压缩视频流包括可根据图片互相关性层次结构或图片相关性层来编 码的图片。图片基于图片互相关性而与层的层次结构相关联。每个压缩图片属于至多一层。 层是从作为顶层的层编号1开始，从上到下顺序编号的。底层具有最高编号。一层中的图 片不依赖于任何更高编号层上的图片。从而，将向位图相关信息提供一致的标识，以使得与 一层相对应的任何所标识的图片不依赖于属于任何更高编号层的图片。层的层次结构的另 一方面在于，对一些图片的解码依赖于特定的其他图片。因此，如果一个图片用作其他图片 的参考图片，则它可被认为是比其他图片更重要。事实上，特定的一组图片可基于图片互相 关性而在重要性的层次结构中观看。
流生成器的一个实施例选择I和IDR图片以将其包括在顶层中。另一实施例还包 括在顶层中的前向预测图片。
锚图片可以是I图片、IDR图片、或仅依赖于过去的参考图片的FPP(前向预测图 片)。在一些实施例中，如果FPP仅依赖于最近解码的锚图片，则FPP是锚图片。
图片可被分类为术语特定的图片互相关性层或“级”，并且流生成器的某些实施例 可包括用于层次结构的某一层以上的层(例如顶部两层)的位图相关信息。在另一实施例 中，位图相关信息可以仅针对层次结构的特定层以下的层(例如底部两层)而提供。在又 一实施例中，位图相关信息可以仅针对层次结构的特定层以下的层、针对层次结构的某一 层以上的层，或针对顶部层和底部层的组合而提供。位图相关信息将始终从顶层开始，和/ 或从底层(最高编号)开始。图片的对应层可以理解为对其在解码其他图片时的重要性的 量度——一些参考图片比其他参考图片更重要，因为它们的解码后和重建后的信息传播通 过多级的参考。
本领域普通技术人员还应认识到，虽然在本公开中使用了 AVC图片类型，但本文 中所公开的系统和方法可应用于任何参考一个或多个图片来压缩另一图片的数字视频流。
图3是示出在包含诸如AVC流之类的视频流的传输流部分和对应的位图相关信息 的生成中选择的组件的框图。在一些实施例中，传输流的生成可以发生在头端110处，或头 端110的上游(或下游)。在一些实施例中，用于视频流的位图相关信息可以在DHCT 200 处生成，两者都在传输流中提供。在一个替代实施例中，两者都在节目流中提供。在另外一 些实施例中，可以在头端110和DHCT 200处生成传输流。压缩引擎310(其在一些实施例 中可以指图1的编码器111，或在一些实施例中可以指图2的压缩引擎217，等等)接收作 为输入的视频信号300，例如数字化未压缩视频信号或解压缩的视频信号。压缩引擎310输 出诸如AVC视频流之类的压缩视频流312和/或其他数据(例如位图相关信息)，其中这种 压缩图片是按发送顺序设在视频流中的。分组化器314将AVC视频流312分组化以输出分 组流。
遍及本说明书，用AVC流作为例子。但是，特定实施例也可应用于根据视频压缩规 范压缩的任何压缩视频流，所述视频压缩规范考虑到了 (1)任何要通过参考多个其他图 片而压缩的图片，和/或( 任何未确定性地从视频流中其对应的图片类型信息传达或暗 示其实际图片互相关性特性的压缩图片。这里，提及了与AVC压缩图片相对应的“图片类 型”，作为由AVC流中一个或可能多个各自的字段利用传达“图片类型”或“片段”(slice) 的类型的语义传达的信息。即，根据AVC标准，图片类型可以通过不同的方法在AVC流中传达。例如，图片类型可以由“访问单元定界符”(access unit delimiter)中的“primary— piC_type”字段来表达。或者，图片类型可以由分别与AVC压缩图片的一个或多个各自的 片段中的每一个片段相对应的一个或多个“slice_type”字段共同表达。AVC压缩图片的 每个片段的“slicejieader”包括其“sliCe_type”字段。AVC压缩图片可以仅具有一个片 段。虽然将图片类型信息描述为在标准格式的具体字段或部分中传递，但其他用于传达这 种信息的布置或方法也是可能的。位图相关信息可以包括在网络适配层中(如AVC规范中 所描述的)或其他任何层、结构、流、单元、位置或地点中。
AVC中有两种主要的压缩图片的方法帧内antra)和帧间Qnter)(或非帧内 (Non-Intra))压缩。帧内压缩是不参考其他图片而完成的，但通常表现出比帧间压缩更低 的压缩效率。帧间压缩通过参考一个或多个其他图片而利用了时间上的冗余和不相关性。 至少一个其他图片依赖于参考图片来进行其压缩。在由压缩引擎进行的AVC压缩期间使 用参考图片的解压缩版本，来预测依赖于该参考图片的图片的至少一部分。在由诸如DHCT 200中的解压缩引擎222之类的解压缩引擎进行的AVC流解压缩期间，也依赖于参考图片来 解压缩并重建至少一个其他图片的至少一部分。不是参考图片的图片(例如不被至少一个 其他图片依赖的图片)是非参考图片。
应当理解，遍及本说明书，在参考图片上下文中的术语“依赖”或“相关性”指“直 接”相关性。这些术语不指间接相关性，例如通过参考第一图片，第一图片又参考第二图片， 从而造成的第二图片的数据的传播。
图片的输出时间，或图片输出时间指其显示时间，该显示时间处于该图片被完全 解压缩并重建的时间，或在该图片被完全解压缩并重建之后。例如，图片的输出时间对应于 DHCT 200中的输出系统248将AVC图片的解压缩版本提供到显示装置140的时间。输出图 片通常指其希望的解压缩版本的输出。注意，在其所依赖的参考图片全部解压缩之前就被 解压缩并输出的图片很可能导致不完整的视觉信息，从而这种输出图片不代表希望的解压 缩版本。根据修改后的MPEG-2系统标准中用于传输AVC流的规范，解码时间戳(DTS)和呈 现时间戳(PTS)通常与AVC流中的图片相关联。图片的PTS，不管是设在传输流中还是由 DHCT 200中的解压缩引擎222得到的，都对应于其在AVC流正常回放模式的实行期间的假 定输出时间。图片的DTS对应于其解压缩时间，并且也可设在传输流中或由DHCT 200中的 解压缩引擎222得到。AVC流中的相继压缩图片由DHCT 200中的解压缩引擎222按其发送 顺序(即，也是接收顺序)解压缩，因而具有相继的解压缩时间。虽然本文中提供的公开的 某些实施例主要考虑和实现了根据位图相关信息来解码所抽取的图片和/或处理所丢弃 的图片方面的优势，但实施例也可关注呈现顺序的分析和优化。一般而言，位图相关信息可 由任何软件进程、硬件装置(或其组合)在任何时间用在创建、编码、分发、处理/解码和显 示链中以实现好处。
图片的发送顺序是根据各自具有相应优先级的若干排序规则确立的。最高优先级 的排序规则要求每个参考图片在AVC流中在所有参考它的图片之前发送。具有高优先级的 第二排序规则要求在其他情况下将会具有相同排序优先级的图片按其各自的输出时间从 早到晚发送。
视频编码标准通常假设一假定瞬时解码器，这意味着压缩图片可以在其DTS处被 瞬时解码。图片的PTS可以等于其DTS，从而假定瞬时解码器在这种情况下假设该图片被瞬11时解码并输出。
根据AVC流的图片速率或帧速率定义了图片输出间隔。例如，如果AVC流对应于一 60图片每秒的视频信号，则图片输出间隔约等于16. 66毫秒。每个接连的图片输出间隔开 始于图片输出时间，并且图片的输出遍及图片输出间隔。在一个实施例中，解压缩引擎222 所输出的每个图片的实际输出时间被从其假定输出时间或PTS延迟了一个图片输出间隔。 即，每个图片的实际输出时间等于该图片的PTS加上一个图片输出间隔。过去参考图片是 一先前解压缩的参考图片，它所具有的输出时间在参考它的图片之前。同样，未来参考图片 是一先前解压缩的参考图片，它所具有的输出时间在参考它的图片之后。
AVC帧内图片或I图片不参考其他图片，但通常被其他图片所参考。与MPEG-2视 频不同，AVC中的帧内压缩使得可将被压缩的图片的区域从同一图片的其他部分的解压缩 版本预测出来。AVC “瞬时解码刷新”图片或IDR图片是如下的图片，其使得正被用作参考 图片的所有先前解压缩的图片在该IDR图片的解压缩之后不再被用作参考图片。AVC中的 P图片和B图片被允许包含帧内压缩部分。与在MPEG-2视频中一样，AVC中的P图片和B 图片使得可将图片的任何部分或可能所有部分从“先前解压缩的”参考图片帧间预测出来。 还与MPEG-2视频类似的是，AVC中P图片任何部分的帧间预测限于每次最多使用一个参考 图片。然而，与MPEG-2不同的是，AVC P图片的每个不同的帧间预测部分可从若干不同参 考图片中的任何一个预测出来。与MPEG-2视频类似的是，AVC中B图片任何部分的帧间预 测限于最多使用两个参考图片。但尽管MPEG-2视频对于B图片的所有部分最多使用两个 参考图片，但允许对AVC B图片的每个不同的帧间预测部分使用若干不同参考图片中的任 何参考图片。
不同AVC P图片所依赖于的参考图片的总数可能各自不同。类似地，不同AVC B 图片所依赖于的参考图片的总数可能各自不同。根据AVC标准，AVC流中所允许的参考图 片的“最大数量”根据针对AVC流规定的“级别”(Level)和该AVC流中压缩图片的空间分 辨率而不同。此外，AVC参考图片不具有相对于以它们为参考的图片的预定位置。AVC标准 中的这些灵活性导致了更好的压缩效率。然而，它们妨碍了视频处理装置的流操纵能力，这 是因为关于AVC流中所具有的图片类型为P图片或B图片的压缩图片的图片互相关特性， 没有暗示任何推断。
因此，AVC标准通过使得图片的每个不同的帧间预测部分可从多个不同参考图片 (例如16个参考图片)中任何图片的“至多一个”预测出来而规定了 P图片。与将帧间预 测进一步限制为参考一个“预定的”过去参考图片的MPEG-2视频标准或其他视频压缩规范 不同的是，在AVC中没有这种限制。例如，AVC P图片的第一部分可以依赖于一个参考图片， 另一部分可依赖于不同的参考图片。事实上，AVC P图片的第一部分所参考的图片可以是 一过去参考图片，第二部分可依赖于一未来参考图片。作为AVC中所允许的精细且复杂的 图片互相关性的另一示例，第一AVC P图片可依赖于四个未来参考图片，第二AVC P图片可 依赖于三个过去参考图片，第三AVC P图片可既依赖于多个过去参考图片又依赖于多个未 来参考图片。
AVC标准对B图片的规定也不同于MPEG-2视频标准。MPEG-2视频将B图片规定 为双向图片，使得图片的任何部分可利用不多于两个参考图片——一个是“预定的”未来参 考图片，另一个是“预定的”过去参考图片——的相关性被压缩。相同的两个参考图片或它们中任意一个必须被用作用来预测该B图片的任何部分的参考图片。另一方面，AVC B图 片可依赖于多个参考图片，例如多达16个参考图片，只要该B图片的任何部分通过该多个 参考图片的至多两个区域来预测即可。当通过两个区域来预测B图片的区域时，将其称为 被双预测，而非双向预测。还与MPEG-2视频不同的是，AVC B图片可以被用作其他P图片 或B图片的参考图片。
作为AVC B图片中所允许的精细且复杂的图片互相关性的另一示例，AVC B图片 的第一区域可以从两个过去参考图片双预测出来，第二区域可以从两个未来参考图片双预 测出来，第三区域可以从过去参考图片和未来参考图片双预测出来，并且这三个区域依赖 于六个不同的参考图片。AVC流中第一 B图片所使用的这组参考图片可以不同于第二 B图 片所使用的这组参考图片，即使这两个B图片都处于连续的发送顺序或具有连续的输出时 间也是如此。如前所述，AVC参考图片相对于以它们为参考的图片没有预定位置。应当很 清楚的是，图片(或图片部分)相关性的许多类型和组合是可能的，并且可以创建不同类型 的辅助信息来描述图片之间的互相关性或关系，其向以后对图片信息的处理提供了好处。
增加的复杂性包括如下的事实不作为参考图片的I图片是非参考图片。此外，一 些I图片可能比其他I图片更重要，这依赖于AVC流中I图片的相对位置和/或依赖于多 少其他AVC压缩图片参考该I图片。
应当意识到，尽管一些视频压缩规范具有各自暗示具体图片互相关性特性的图片 类型，但AVC流中压缩图片的图片类型不能赖以暗示表现出某种特性的AVC压缩图片。此 外，即使图片类型能传达有用的信息，也存在其他方面使得难以容易地窥视和识别AVC流 中具有某一特性(包括互相关性在内的特性)的图片，例如当承载AVC流的传输分组的有 效载荷被加密或加扰的时候。在传输分组的有效载荷中找到slice_type (片段类型)和其 他所需数据字段以验证图片的某一特性可能是困难的且需要进入AVC流的大量遍历，尤其 是在所需数据字段相对于传输分组的有效载荷的起始或相对于其他某个可识别的定界符 的对准不同的情况下。
遍及本说明书，AVC流中连续图片的序列或AVC流中的连续图片指按其发送顺序 的连续压缩图片，或等同地指AVC流中具有相继解码时间戳的压缩图片的序列。
可丢弃图片是非参考图片。具有延迟了的输出时间的可丢弃图片是所具有的PTS 晚于其DTS的可丢弃图片。即，它是并非在其被压缩之后立即被输出的可丢弃图片，并且虽 然它未被其他任何图片所参考，但它进入了 AVC标准中规定的“解码图片缓冲器”(DPB)达 至少一个图片输出间隔。DPB驻留在DHCT 200的解压缩存储器四9中，虽然不限于驻留在 该特定位置。
现在将注意力转向图4A和图4B，它们是示出了传输流生成器所提供的示例压缩 图片序列中图片互相关性的框图。图4A的第一行402包括示例性GOP的输出顺序，例如在 解压缩引擎222处按解码顺序404(即，发送顺序)接收和解码。GOP包括压缩图片(由图 片类型指定，例如I、P或B)的序列。图片互相关性部分地由每个图片(在各个图片顶部 编号为1-25的图片)上方和下方的箭头示出。在一图片处示出的箭头尾部描绘出该图片 作为对示出了相应箭头头部的另一图片的参考图片。即，箭头传达了该另一图片是从该参 考图片预测出来的。例如，在图4A中，图3是从图片1和图片5预测出来的(因而依赖于 图片1和图片5)。虽然所示出和描述的具有边界之间(例如，图片1和9之间，以及图片9和17之间)类似的相关性模式，但本领域普通技术人员应意识到，不同界定群组之间可以 找到不同的模式和/或相关性，如图4B所示(例如，参见图片1和9所界定的模式内图片1 和4以及图片5和2之间所揭示的图片互相关性，以及它们的互相关性如何与图片9和17 所界定的模式中所示的图片互相关性不同)。
图4A的下面一行402是解码顺序404，其与解压缩引擎222处对图片进行解码以 用于重建的顺序相对应。由于需要在对图片进行解码之间先具有参考图片，图片的发送顺 序与输出或显示顺序不同。注意，P图片可以被前向预测或后向预测，并且通常，该事实直 到图片被解码才变得明显。例如，图片类型的知识(例如由头部所确定的)不一定传达了 如何采用的预测或图片互相关性。
在MPEG-2中，可丢弃图片可以立即输出(不需要保留)，虽然通常，出于实现的原 因，这种图片被临时存储达至少一图片周期或间隔。在AVC流中，即使对于可丢弃图片，也 存在将可丢弃的解码图片延迟并因而保留在解码图片缓冲器(DPB)中的情况。在一个实施 例中，如果一图片还未被输出或如果需要该图片作为还未被解压缩的另一图片的参考，则 将该图片保留在DPB中。
现在将注意力转向图5和图6中示出的层的说明。图5示出了图片互相关性层的 层次结构的示例。图片互相关性层的层次结构具有“T”个层，T是底层。视频流中的图片仅 可属于T个层中的一个。然而，流生成器可以选择不在其所提供的位图相关信息中标识属 于一些中间层的图片。顶层或层1 502包括视频流中可独立于层2到T中的图片而被解码 的图片。顶层是图片抽取的第一级。每个相继的层可独立于视频流中属于更高编号层的图 片而被解码。例如，从层次结构顶部开始的第二层，层2 504可独立于属于层3到T的图片 而被解码。顶层或层1 502标识图片可抽取性的第一级。图片可抽取性，即可从视频流中 抽取的图片的数量，是从顶部到底部增加的，而图片可丢弃性，即可从视频流丢弃的图片的 数量，是从底部到顶部增加的。相反，图片可丢弃性从顶部到底部减少，且图片可抽取性从 底部到顶部减少。层1 502包括图片可抽取性的第一级，和图片可丢弃性的最后一级。第T 层508(底层)包括图片可丢弃性的第一级，和图片可抽取性的最后一级。第(T-I)层506 包括图片可丢弃性的第二级和图片可抽取性的倒数第二级，等等。
总之，层1 502图片包括独立于层2 504到层T 508而可解码的图片。层2 504 图片是独立于层3到层T 508中的图片而可解码的图片，依此类推。
底层，层T 508中的图片可被丢弃而不影响与较低编号层相对应的视频流中其余 图片的可解码性。层T 508图片是可丢弃而不影响层1 502到层(T-l)506中的图片的可 解码性的图片。层(T-I)图片是可丢弃而不影响层1 502到层(T-2)(未示出)中的图片 的可解码性的图片。
第一层或层1 502包括视频流中如下的编码图片(即压缩图片)，所述编码图片 当从视频流中诸如随机访问点之类的起始点开始逐个地(progressively)被抽取时，可独 立于视频流中的其他编码图片而被解码并输出。第二层或层2 504包括视频流中如下的 编码图片，所述编码图片当从视频流中相同的起始点开始逐个地被抽取时，与利用属于层1 502的图片的逐个抽取相合作，增加了另一级的图片抽取。从而，层1 502和层2 504可独 立于视频流中“被确定为不属于”或“未被识别为”层1 502或层2 504编码图片的其他编 码图片而被解码和输出。更一般而言，对于从1到T的任意值K，被识别为或确定为属于从层1到层K的层的编码图片可以通过从一起始点开始逐个地抽取视频流中的所有编码图片 而被独立地解码和输出，如果它们被分类为或确定为属于层1到层K当中的一层的话。在 DHCT 200处，从所接收或所提供的位图相关信息，将属于层1到层K的图片识别为或确定为 属于层1到层K。从而，如果以逐个的方式，属于层1到层K的“所有”图片都(1)从一起 始点开始从视频流中被抽取，并且(2)被解码，则视频流中被分类为或属于层1到层K中一 层的下一图片可被抽取和解码，这是因为该下一图片针对时间预测和/或针对运动补偿而 依赖于的所有图片或该下一图片作为参考图片而参考的所有图片都将会已经(1)被从视 频流中抽取，⑵被解码和(3)可用于参考。
注意，遍及本说明书，对属于一层的图片或一层中的图片的提及应被理解为与一 层相关联的图片或与一层相对应的图片。一个图片最多与一个层相关联或对应。位图相关 信息标识出视频流中一个或多个分别的图片所关联或对应的单个层。位图相关信息可不标 识流中一个或多个图片所关联或对应的层。
视频流中一第K层编码图片可被抽取并保证解码成其希望的完整的全部重建，条 件是在该特定的层K编码图片的抽取之前，对所有紧接在前的层K编码图片的抽取和解码 已被逐个地执行达一有限时间量。这是因为视频编码可以执行跨GOP边界的时间参考。在 一个实施例中，视频流中一第K层编码图片可被抽取并解码成其希望的完整的全部重建， 条件是自从或针对视频流中紧接在该特定的层K编码图片之前的最后“η”个随机访问点 (RAP)，所有属于层1到层K的编码图片都已被逐个地抽取和解码。例如，如果诸如快进之 类的回放模式或技巧模式要从视频流的一特定或希望位置开始，则可能必须在视频流的该 特定位置之前的第二 RAP(即η = 2)处开始解码。RAP可利用MPEG-2传输层级或层的头 部和/或适配字段头部中的一个或多个具体标志来通知和标识。例如，诸如MPEG-2系统 (MPEG-2 Systems)之类的规范提供了用于通知RAP的传输流中的指示符，例如随机访问点 指示符和/或基本流优先级指示符。在一个实施例中，RAP指AVC比特流中的一个访问单 元(或图片)，在该访问单元(或图片)处接收机可开始对视频流的解码。访问单元还包括 用于将相关联图片解码的序列参数集(SPS)和图片参数集(PPS)，以及将视频流的图片解 码和输出所需的其他任何必需的参数或参数集。随机访问点可承载I图片或IDR图片。在 一个实施例中，GOP(其通常是一 MPEG-2术语)等同于在两个或更多个RAP之间找到的图 片序列和图片互相关性。
在替代实施例中，一第K层编码图片可被抽取并解码成其希望的完整的全部重 建，条件是自从或针对视频流中紧接在该特定的层K编码图片之前的最后“η”个图片群组 (GOP)的开始，所有属于层1到层K的编码图片都已被逐个地抽取和解码。
在又一实施例中，一第K层编码图片可被抽取并解码成其希望的完整的全部重 建，条件是至少在视频流中该特定的层K编码图片的位置之前该视频流中最后“η”个I图 片或IDR图片的解码之后，所有属于层1到层K的编码图片都已被逐个地抽取和解码。在 一个实施例中，“η”可对于连续的I图片具有第一值，并对连续的IDR图片具有第二值。
在又一实施例中，一第K层编码图片可被抽取并解码成其希望的完整的全部重 建，条件是在该视频流中该特定的层K编码图片的位置之前属于层1到层K当中的层的至 少G个连续的编码图片都已被逐个地抽取和解码。
将层应用于一 MPEG-2视频流中诸如PVR之类的一示例实现方式，该视频流编码了一普通G0P，其中按输出顺序的图片如下IBBPBBPBBPBB P依此类推，顶层，层 1 502可以是足够的。例如，可在快进或倒带操作中排他地利用I图片。但是假设针对技巧 模式需要更精细的粒度级别，或者为了提高技巧模式操作中图片的放置或移除的精度。可 以增加第二和/或第三层以在应对AVC的复杂性的同时允许该提高的功能。注意，根据所 需的技巧模式功能(例如速度、方向等)，一个实施例可以将顶层中的图片解码(例如1 技巧模式)。在一些实施例中，可以利用来自顶部两层的图片实现解码。
位图相关信息和/或层的识别可以根据多种方式实现，如图6所示。在一些实施 例中，可以实现自底向上方式602(例如经由解压缩引擎)，其中从最高编号层(即，第一可 丢弃性级图片)开始识别图片，然后进行到层的层次结构中相继降序编号层中一个或多个 层的图片。在一些实施例中，可以实现自顶向下方式604，其中从第一可抽取性级开始识别 图片，然后进行到层的层次结构中相继升序编号层中的图片。在一些实施例中，可基于自底 向上方式602和自顶向下方式604的组合，实现混合方式606。
提供了关于层次结构层的背景和属于各层的图片的属性，现在将注意力转向通过 提供位图相关信息显式地标识给定层中图片的系统和方法，所述位图相关信息可包括一个 或多个位图。位图被断言(assert)且被断言的位图被提供，其中每个位图的比特(或字 段)被相继排序以对应于视频流的发送顺序的相继图片的顺序。可以从诸如上述的随机访 问点之类的给定起始点开始对可抽取的或所抽取的图片进行解码。位图相关信息的其他目 的包括使能图片的放弃(dropping)(例如，网络流管理等)，可缩放性，等等。位图不是在每 个图片处提供的，但在一个实施例中，在每个随机访问点(RAP)处提供，有时在视频流的其 他位置提供，这将在下文中进一步说明。如果针对属于顶层的图片提供了位图，并且该位图 的比特被排序以对应于发送顺序的图片，则可以顺序地从RAP开始抽取图片并将其解码， 其中可保证所有图片能被解码并重建到其各自的希望的解压缩版本。
在一个实施例中，在传输流中通知与层和位图有关的位图相关信息的存在，并且 提供了包含标志的数据字段以指示或断言分别与一个或多个层相对应的一个或多个位图 的存在。对位图的处理可以使用“自顶向下”方式实现，从“顶层”(例如层1，图5)开始抽 取图片，或“自底向上”方式或“底层”图片(例如层T，图5)被丢弃。例如，数据字段或标志 可指示或断言与一个或多个层相对应的各位图的存在。各个位图标识属于相应层的图片。 图片可从与顶层或相继的顶部层相对应的位图识别出来，被抽取和解码。或者，图片可从与 底层或相继的底部层相对应的位图识别出来，被丢弃，并且视频流中其余的图片被解码。位 图的经排序的比特中单个比特的第一值(例如“1”)将单个图片断言为属于与该位图相对 应的层。断言标志字段中标志的第一标志值断言相应位图的存在。例如，可针对与底层相 对应的断言标志字段的标志或子字段设置第一标志值，以断言与该底层相对应的单个位图 的存在。关于底层的图片是可丢弃的，并且当被丢弃时，导致视频流中完全可重建到其希望 的解压缩版本而不依靠所丢弃图片的可解码图片。在一个实施例中，位图相关信息、断言标 志字段和被相应的断言标志断言为存在的位图被设置在传输流中与RAP和跟该RAP相关联 的图片相对应的位置。注意，不是对每个图片提供位图相关信息的，但至少在每个RAP(例 如，用于容许频道改变)和/或在视频流中如本文中所描述的可允许的其他位置设置之。
在一个实施例中，还在视频流中预先规定的图片增量处设置位图相关信息，例如 每16个图片，每32个图片等。
断言标志字段和/或位图的存在(即，位图相关信息)是在传输流中通知的。换 言之，一具体消息承载位图相关信息。也可以设置“通告”来警告在传输流中存在承载位图 相关信息的具体消息。例如，可以通过PMT的ES信息循环，利用相应的具体通告来通告承 载位图相关信息的具体消息。这种通告用于仅标识出该传输流包含承载位图相关信息的具 体消息。在一个实施例中，该具体消息的格式可以经由被指派的消息标识(例如描述符标 签)和相应的消息长度(例如标签长度)。例如，一描述符标签可向解码器传达特定类型 (例如对应于多个标签值之一)的信息存在于传输流中。在一个示例中，假设了用于标志断 言的一个字节，并且在消息中存在三个被断言存在的层，所断言的层分别对应于三个各16 比特O字节)的位图。因而，对应于位图的6个字节(3个位图X各2字节)加上对应于 断言标志的一个字节构成了总共7个字节，作为所指示的消息有效载荷的长度。消息的有 效载荷跟在用于描述符标签的第一字段和用于长度的第二字段之后。
图7示出了断言标志字段的示例，作为包含多个标志或子字段的数据结构700，揭 示了五个断言标志(例如各1比特)，其分别对应于五个层(从顶层Tl到底层TT或T5)。 数据结构可以是另一包含完整字节的字段的一子字段。应当理解在一些实现方式中可利用 更少或更多层，而且层优先级命名规则可以相反(例如Tl可以是底层，T5是顶层)。如上 所述，对图片的标识可以是根据一种或多种方式的，包括自顶向下、自底向上，或混合方式。 在此示例中，顶层断言标志702和底层断言标志704各自被设置，因而当数据结构的相应断 言比特中存在第一标志值时，提供了相应的位图706和708。
在一个实施例中，位图706和708的长度是固定的(例如以字节或比特为单位， 例如16比特，或8的倍数，仅作为一个示例)，并且每个位图与视频流中发送顺序的紧接在 前的图片相关，包括位于视频流中提供了位图相关信息的位置或与这样的位置相关联的图 片。在一些实施例中，位图对应于视频流的发送顺序的紧接在后的图片，包括位于视频流中 提供了位图相关信息的位置或与这样的位置相关联的图片。在一个实施例中，位图的长度 可以是预定的，例如每16个图片或其他所定义的周期。即，不需要给出长度字段，这是因为 位图长度是预定的(并且各自具有相同的预定长度)。例如，如果针对一给定层断言了一 比特，则相应位图的长度是预定长度。虽然上面描述了每16个图片的预定长度，但可使用 其他预定长度，例如每8个，M个，32个，以及其他数量的图片。在一些实施例中，可经由长 度字段(例如跟在数据结构700之后)显式提供位图的长度，或者作为数据700的用于位 图长度的指定子字段，并且在一个实施例中作为固定值提供，或者在其他实施例中长度可 以变化。例如，所提供的长度可应用于与所断言的标志相对应的每一个位图。传达长度的 单个值可应用于每个位图。在一些实施例中，可传达每个标志每个位图长度，作为数据结构 700的一部分。在一些实施例中，可利用一个或多个另外的数据结构，传达针对各位图的多 个长度。例如，如果可断言总共8个标志，并且这些标志中的三个被断言了，则在关于这三 个位图的断言标志字段之后提供三个长度。在一些实施例中，在断言标志字段之后提供长 度。
位图的长度(例如关于与所设置或断言的标志相对应的位图的长度)影响编码器 和解码器的性能。例如，如果针对可丢弃图片设置了位图，则要解决的一个问题是该位图是 否对应于流中先前的图片(例如最近32个图片)。如果编码器提供了针对先前32个图片 的位图，则编码器不需要造成延迟(虽然解码器需要，但解码器可以知道或被告知，针对这些图片的位图相关信息被提供在该流中将会跟随所接收图片之后很快到达的消息上)，这 是因为当图片被从编码器输出时，图片的类型被提示，并且可以在与从编码器输出32个图 片的结尾相对应的时间提供位图(例如四(4)字节位图)。另一方面，如果由编码器针对 接下来的32个图片提供位图，则位图将与第一图片的输出一起提供(或在与第一图片的输 出相对应的时间提供)，因而在编码器处造成了延迟(但是在解码器处没有或很少有延迟) 以处理32个图片来使能位图的提供。另外，给定MPEG-2传输分组中188个字节的约束，适 配字段表示非有效载荷数据，导致随着位图长度增加而增加的开销。因而，由于位图长度是 在编码器处造成的延迟与在解码器处造成的延迟之间的折中，并且给定固定大小传输分组 的约束，因此确定位图大小的方式是不在任一装置处施加不必要的延迟或消费不必要的分 组长度。
一种示例性的数据结构可包括针对与层数(例如用作标志的比特数，例如作为多 个示例中的一个示例，8的倍数)相对应的字节的无符号“char”的格式。在一些实施例中， 省略了层数，而代之以包含断言标志的一个或多个字节或数据字段。一旦设置了断言标志， 在一个实施例中就存在用于在承载位图相关信息的具体消息中提供相应位图的预定顺序。 例如，位图可在断言标志字段之后按从顶到底的层顺序排序。在一些实施例中，它们可从底 层到顶层排序。
在自顶向下方式中，例如由DHCT 200来抽取顶层图片以实现所抽取图片的视频 回放模式，解码和输出。在拥塞网络中也可从视频流抽取图片，例如在路由器或交换机处或 由其他网络处理元件来进行，从而以较低比特率提供视频流的字序列。
作为另一示例，参照图8，示出了数据结构800，其具有多个标志字段，其中设置了 (例如设为“1”或“开”)对应于顶层标志802、第二层标志804和最后层标志806的比特。 因此，提供三个位图(在此示例中，长度各为16比特，总共48比特)，即，对应于顶层标志 802的顶层位图808、对应于第二层标志804的第二层位图810，以及对应于底层标志806的 底层位图812。在一个实施例中，所建立的顺序是从最重要(顶层)到最不重要的图片(底 层)。从而，首先处理顶层位图808，然后是第二层位图810，然后是最后层位图812。中间 标志表示不关心状况(例如设为0)，虽然在一些实施例中可被设置或断言。
如图8所示，对于先前16个图片(或在一些实施例中对于后续16个图片)存在 三个位图(808、810和81 。如上所述，位图是与单个图片相关联地提供的(而非针对传输 流中每个图片提供)。然而，出现了一个恢复(resumption)的问题，例如对于接下来的16 个图片要做什么，这将在下文进一步描述。还要解决一个关联方面的问题——如何将接下 来的16个图片与位图相关联。如果用于接下来16个图片的位图在下一适配字段中提供， 则延迟可能是不可接受的，并且所提供的信息可能不对应于与用于先前16个图片相同的 标签。此外，编码器由于存在场景改变而改变了 I图片的位置(例如MPEG-2中的GOP改变 了)，并且存在从第一视频流到第二流的接合(splice)操作，正如当从视频节目进入广告 时一样。另外，适配字段是可选的，提供得太频繁可能导致低效的压缩。此外，如果在适配 字段中放置了用于太多图片的信息(以覆盖先前的16个图片及未来的图片或用于太多的 图片)则延迟太长了。
与解码器需要找到位图相关信息的能力的概念类似，解码器需要有能力识别或关 联与位图相关信息相对应的图片。在一个实施例中，该关联是以预定方式(例如使用现有18的传输流机制)完成的。在一个实施例中，可使用起始码来标识图片开始的地方。例如，PES 分组中图片的开始可与传输分组有效载荷的开始对准。因而，可标识图片的开始以使能图 片的抽取(以用于解码或丢弃)。在一些实施例中，在传输级可获得的信息使得能够标识 图片的开始。例如，对于承载视频流的MPEG-2传输流分组，有效载荷单元起始指示符可利 用MPEG-2 PES分组的首个字节来标识传输流分组有效载荷何时开始。一旦在RAP处识别 了首个图片的位置，则处理按发送顺序依次基于位图而继续(例如位图列表比特位置按发 送顺序对应于图片)。
参照图8，位图808对应于顶层图片，并且在此示例中具有16比特的长度。位图 810对应于层T2 (从顶部数的第二层)，并且也具有16比特的长度。位图812对应于底层 (可丢弃)图片，并且具有16比特的长度。各个位图808、810和812的16比特对应于给 定图片实例的16个图片。注意，在位图808中示出了 16个块以表示16个图片，其中虚线 代替了位图810和812中这些块当中的许多块以表示同样数量的块或图片。而且，注意仅 几个块被表示为设置了比特，理解为其他块将会要么被设置(例如1)或未设置(例如0)。 此外，注意如果在给定层中的比特被设置，则该比特将会对于相应位置在其他所有位图中 为零。换言之，在位图当中一个图片仅能让一个比特开启最多一次，这是因为一个图片仅能 对应于单个层。例如，位图808的比特位置814(对应于第一图片)被设置，而位图810和 812的比特位置814是零。由于位图808对应于顶层图片(例如I、IDR、前向预测图片)， 因此针对图片之一(例如比特位置814所标识的第一图片)设置的比特反映了如下事实 在其他层中未找到顶层图片。类似地，与序列中第二图片相对应的比特位置816针对位图 810被设置，但对于位图808和812中的相同位置是零。同样，比特位置818针对位图818 被设置，并且对于位图808和810是零。
图8还示出了在一些实施例中可以通过逻辑运算来完成对层图片的抽取。例如， 采用自顶向下方式，顶部两层808和810的比特位置可以经历逻辑或运算，所产生的所抽取 的图片具有如下的特性它们是可自解码的(例如，满足用于参考的所有图片互相关性)。
另外，如果采用自底向上方式，则也可以确定哪些图片是可自解码的，即使提供了 单个位图(例如位图812)。例如，如果对底层位图812的比特位置执行逻辑非，则结果是可 解码的图片(这是因为由底层位图812的比特位置标识的图片对应于可丢弃图片)。
此外，如果断言了对应于层次结构的倒数第二层的位图，则可对底层和倒数第二 层执行逻辑或运算，并且可对逻辑或运算的结果执行逻辑非运算以揭示可自解码图片。
图9A-9D是示出基于图4A中的压缩图片的序列的示例位图构造的框图。在图9A 中，顶层(Tl，使用图5所示的惯例)位图902被示为在与顶层图片P9、P17和、相对应的 位置设置了比特(例如“1”)。注意，比特设定对应于图片的发送顺序。在一个实施例中， 编码器(例如编码器111)可排他地提供层1图片。
图9B是示出提供了与第二层(T2)图片B5、B13和B21并设置了相应比特的另一位 图904的框图。注意，如上所述，在图片排他地与一个给定层相关联的情况下，比特不在不 同位图当中针对相同的图片被设置。
图9C增加了与第三层CH)相对应的另一位图906，在此示例中该T3也对应于倒 数第二重要的层(例如层(T-D)0如图所示，设置了对应于T3图片B3、B7、Bn、B15、B19和B23 的比特。
图9D增加了另一位图908，其中针对对应的可丢弃(层T)图片Iv b4、b6、b8、b10、 b12、b14、b16、b18、l32(l和b22设置了比特。如上所述，图片都没有在多个位图当中设置多于一个 的比特。
图9E示出了一个实施例，其中位图908是唯一所提供的位图，辅助了对图片的丢 弃(或如上所述，使用逻辑非运算辅助了对可解码图片的抽取)。
注意，虽然在AVC环境的上下文中说明了以上位图，但想到了 MPEG-2视频，具体而 言是MPEG-2视频GOP处于本文中所公开的实施例的范围之内。例如，与图8和图9中示出 的标志字段相似的标志字段可以断言(设置)与顶层位图和底层位图相对应的比特。顶层 位图可以针对I图片和P图片(按发送顺序)设置比特位置，而底层位图(可丢弃的B图 片)具有相反的比特设定(例如顶位图的异或)。
注意在一个实施例中，可以设置与顶层图片的位图相对应的一另外字段，该字段 表示在何点处(或在何点之后)图片完全达到其希望的解压缩版本。例如，如上所述，可在 适配字段中使用一字节来传达层数(数据结构或标志字段，例如图8中的800)，并且可以使 用另一字节来传达图片中的何点处(例如，对应于一示例位图的16个图片)在解码后人们 获得了完全重建。这种字段在如下情形中可能是有帮助的，例如在所述情形中，在达到完全 重建之前需要访问第二 RAP。
上述的一个问题是关于位图相关信息的恢复的。例如，由于位图相关信息不是对 每个图片提供的，而是关于一个图片序列，因此出现了如下的问题对于随后的图片如何传 播位图处理。为了后续讨论的目的，作出如下的假设位图是16比特长(因而对应于16个 图片)，但要理解可采用其他比特长度，固定或可变，预定或其他方式都可以。处理一般地 开始于RAP，因而在一个实施例中，在每个RAP处提供位图。在一个实施例中，位图总是在 RAP处提供。然而，这并不一定意味着SRAP将会每16个图片地出现(例如，RAPS可以相 隔5秒或其他值)。在一些实施例中，每16个图片地提供位图(而不管第16个图片是不 是RAP)，例如假设了 16比特的预定(或显式地提供的)位图长度对应于16个图片。在一 些实施例中，位图相关信息可以在先前的位图相关信息仍活动时被提供，例如在预定图片 长度期满之前(例如在第16个图片之前)设置了 RAP的时候。在一些实施例中，在先前的 位图相关信息仍活动时(即，在预定图片长度期满之前)对位图相关信息的提供导致“清 账”(clean-slate)。换言之，假设新提供的位图相关信息在与提供了上次位图相关信息的 视频流位置相关联的图片处生效。例如，如果位图相关信息在第12个图片处被提供，则与 比特位置12-16(或在一些实施例中，13-16)相对应的位图的所有比特被忽略，并且对于接 下来的16个图片(或在一些实施例中，对于其余图片)，采用最近到达的位图相关信息。
在一些实施例中，可以施加如下的要求期满前位图仅在与顶层图片相对应或关 联的视频流位置中提供，其中这种顶层图片在活动位图相关信息中用如下方式标识出来: 位图中与顶层相对应的比特具有指示出图片是顶层图片的第一值。在一个替代实施例中， 位图相关信息只有在与当前位图相关信息中所标识的顶层图片相对应的视频流位置处才 能取代活动或当前的位图相关信息。
在一个实施例中，对位图相关信息的恢复总是跟与顶层相对应的活动位图相关信 息中最后标识的图片同时发生。此外，在此实施例中，在当前位图相关信息期满之后的图片 处(在第16个图片之后)，下一位图相关信息可以变为活动的。在一些实施例中，一标志可以利用第一和第二值来指示针对下一位图相关信息的两个激活点之一，要么是在与当前位 图相关信息相对应的图片期满处，要么是在提供下一位图相关信息的图片(例如一顶层图 片)处。
在一些实施例中，处理可以恢复，或者在一些实施例中，恢复可以发生在一不同的 位置。在一些实施例中，可以在期满前引入(设置)一层。在这种情况下，一个实施例需要 聚合(aggregation)，而在一些实施例中，不采用聚合(例如，不随机地聚合层)。一个实施 例可能需要有如下的要求对所有图片的记账(accounting)保持一致。在一些实施例中， 期满前RAP导致位图处理的期满(例如，对间隙(gap)的容许)。因此，对位图处理的恢复 或继续可以根据这多种选项中的一种或多种而继续。
在一些实施例中，包含断言标志字段的数据结构还包含另外的比特或字段，用于 传达重复先前的(例如，刚刚期满的)位图，从而无须重传位图。例如，在一个实施例中，对 于层(例如5个层)使用了 5个比特，并且使用了第六比特用来表明重复功能。在一个实 施例中，采用了两个其他比特，以用于四个位图长度值(例如用于位图中的字节数)，例如 如下
00 缺省值(例如，用于16比特，虽然不限于此)
01 :8 比特
02 24 比特
03 32 比特
因此，存在缺省值(上面用16比特来描述，但要理解在一些实施例中可使用其他 值)和三个替代值，在一个实施例中它们各为8比特的倍数。
在一些实施例中，断言标志字段中N个连续比特被排序以表示针对可能的大于N 的层数，从顶层到底层的对应关系。当提供位图相关信息时，任何一次最多断言N-I个层。 这意味着N个比特中至少一个必须是不断言针对层的位图存在的第二值(例如等于“0”)。 根据层的层次结构属性，具有第二值的比特的位置和针对位图存在的断言受限于以下条 件
1.顶层(即，其位图的存在)仅在所有更低编号层也都被断言的情况下才能被断 言。因而，N比特当中对应于顶层的比特只有与所有更低编号层(如果有的话)相对应的 比特也具有第一值(例如，等于“1”)才能具有第一值。
2.底层仅在所有更高编号层也都被断言的情况下才能被断言。因而，N比特当中 对应于底层的比特只有与所有更高编号层(如果有的话)相对应的比特也具有第一值才能具有第一值。
3.由于层数大于N，因此必须总是有具有第二值的比特。如果断言了顶部层和底 部层的任意组合，则在N比特值的N-2个中间(或中心)比特内必须有至少一个具有第二 值的比特。
在一些实现方式中，将哪个比特的分配设为零依赖于用来提供位图相关信息的方 式。例如，在自顶向下方式中，除了底层比特之外，所有比特都可设置为1。类似地，如果实 现了自底向上方式，则除了顶层比特之外，所有比特都可设置为1。
在一些实施例中，用于通知重复在上一活动或所提供的位图相关信息期间使用的 位图相关信息的一种机制是使用未被允许的N比特的模式作为重复标志。例如，如果N =5比特，则N比特的中间或中心比特可被设为第一值。因此，在一些实施例中，重复功能可以 通过非法模式来通知，该非法模式例如是关于最重要和最不重要比特的“边缘”比特是零的 情况。
考虑如下的示例其中每个位图长度是16比特，并且仅断言(8个可能的层当中 的)5个层，其中N = 5。可以通过非法模式(例如00100，假设自底向上或自顶向下方式) 来通知重复功能。利用其他3比特，可以进行8种不同组合或排列。
在一些实施例中，位图的长度可以从在承载位图相关信息的具体消息中所传达的 长度字段的值暗示或得到。例如，可以通过如下方式得到位图长度从该消息的长度字段的 值减去一字节以计入断言标志，对断言标志字段值的比特数(“B”)进行计数，然后除以B。
在一些实施例中，关于图片互相关性的信息在无位图的情况下提供。例如，所提供 的信息仅仅是一层断言字段(或当使用了多个字节时的一层断言字段)，其包括分别对应 于M个层的M个比特，其中M小于等于8。M个比特被排序以分别表示从顶层到底层的M个 层。M个比特中仅一个比特被允许具有第一值(等于“1”)以断言针对对应图片的层，该对 应图片是视频流中与传输分组的断言标志字段的位置相关联的图片。例如，与上述类似，可 在MPEG-2传输分组的适配字段中设置层断言字段，并且包含对应图片的PES分组的头部的 开始可以位于同一传输分组的有效载荷的开始。从而，可以针对单个图片断言层，但并非视 频流中的所有图片需要被断言。例如，断言属于中间层的图片可能是不希望或不必要的。在 一些实施例中，与RAP相关联的图片不需要利用层断言字节被断言，这是因为它可被假设 为属于顶层，层1。在一些实施例中，当不需要层断言字节来断言RAP图片的层时，层断言字 节可表示与视频流中下一层1图片所位于的RAP图片相距的图片数。
在一些实施例中，指派层断言字节的一比特来传达顶层断言或底层断言。换言之， 第一值(例如“1”)断言顶层断言，第二值断言底层断言。M个已排序比特当中的单个比特 断言针对该图片的层。如果作出了顶层断言，则M个已排序比特分别对应于M个底部层，从 底层开始。如果作出了顶层断言，则M个已排序比特分别对应于M个顶部层，从顶层开始。
在另一实施例中，层断言字节包含(1)用于传达顶层或底层断言的比特，分别对 应于M个层的M个比特(刚才描述过)，以及下一图片字段。该下一图片字段标识视频流中 属于层次结构中与针对当前图片所断言的层相同层的图片的位置。如果下一图片字段等于 零，则其不标识图片的位置。下一图片字段中的非零值对应于视频流中按发送顺序与当前 图片相距的图片数，并且从而标识出与当前图片属于同一层的下一图片。
在一些实施例中，例如扩展到上面讨论层断言字节(或字段)的实施例的实施例 中，当隔行视频的图片被编码为两个单独的PES分组中的两个场时，层断言字节(或等同 地，层断言字段)的一比特可以分别利用两个值标识出该场是底部场还是顶部场。在一些 实施例中，另一字段可以标识出与正被断言为属于一层的当前图片相对应的场的相对位置 (例如，通过与当前场相距的场数)。
注意，本文中描述的某些实施例包括驻留于一个或多个位置，包括DHCT、网络装置 等的功能，后者可能由于网络拥塞而丢弃图片，因而保留(一个或多个)顶部层图片，如果 这种设备的逻辑“知道”如下事实保证非顶层图片可以被丢弃且保证顶层(无论它是哪个 层“η”)在所有层η及以上图片被保留的情况下是可自解码的。另外，在一些实施例中，这 种网络设备中的逻辑可以执行本文中描述的确定方法，因而不再需要DHCT中的编码功能来执行这种功能。
虽然关于“图片”描述了操作，但可以类似地使用其他任何数据集合，例如图片群 组，块，宏块，片段或其他图片部分，等等。
可使用任何合适的编程语言来实现特定实施例的例程，包括C、C++、Java、汇编语 言，等等。可采用不同编程技术，例如面向过程的或面向对象的。例程可以在单个处理装置 或多个处理器上执行。虽然可以按具体顺序提供步骤、操作或计算，但该顺序可以在一些实 施例中改变。在一些实施例中，在本说明书中示为顺序的多个步骤可以同时执行。本文中 描述的操作序列可被另一进程，例如操作系统，内核等中断、挂起，或以其他方式控制。例程 可以在操作系统环境中运行或作为单独例程运行，其占据系统处理的所有或重要部分。可 以在硬件、软件或二者组合中执行功能。
在本文中的描述中，提供了许多具体细节，例如组件和/或方法的示例，以提供对 特定实施例的透彻理解。但本领域普通技术人员将认识到，特定实施例没有这些具体细节 中的一个或多个，或利用其他设备、系统、组件、方法、部件、材料、部分等等来实现。在其他 实例中，没有具体详细示出或描述公知的结构、材料或操作，以免模糊特定实施例的方面。
特定实施例可以使用被编程的通用数字计算机、通过使用专用集成电路、可编程 逻辑器件、现场可编程门阵列、光、化学、生物、量子或纳米工程系统、组件和机构来实现。一 般而言，特定实施例的功能可通过本领域公知的任意手段来实现。可以使用分布式联网的 系统、组件和/或电路。数据的通信或传送可以是有线的、无线的，或通过其他任何手段。
所说明的特定实施例的前述描述，包括在摘要中所描述的内容不希望是穷举的或 将公开内容限制为本文中所公开的精确形式。各种等同修改的具体特定实施例在本领域技 术人员将会认识和明白的精神和范围内是可能的。如上所述，考虑到前述对所说明特定实 施例的描述可以对本发明的系统和方法进行这些修改，它们应包括在公开内容的范围内。
从而，尽管本文中参考特定实施例描述了各种系统和方法，但前述公开内容希望 包含多种修改、各种改变和替换，并且应认识到，在一些实例中，特定实施例的某些特征可 以被采用而没有相应的其他特征的采用，这不会脱离所阐述的公开内容的范围。因此，可以 作出许多修改以使特定情形或材料适用于公开内容的实质范围。希望各种实施例不限于所 附权利要求书中使用的特定术语和/或作为想到的实施系统和方法的最佳模式而公开的 特定实施例，而是某些实施例将包含落入所附权利要求范围内的任意和所有的特定实施例 和等同物。
权利要求
1.一种方法，包括提供视频流，其中该视频流中的相继图片是按发送顺序提供的；以及提供多个标志的第一实例，所述多个标志分别与多个图片互相关性层相关联，其中多 个所提供的所述标志中的任何标志的第一标志值断言对应于与该标志相关联的图片互相 关性层的字段的存在。
2.如权利要求1所述的方法，还包括提供第一组字段，其中所述第一组字段中所提供的字段的数量对应于所述第一实例中 具有所述第一标志值的多个所提供标志的数量，其中所述第一组字段与所述视频流中第一 组多个相继图片(FP0SPITVQ相关联，其中所述第一组字段中每个字段分别对应于一相应 的图片互相关性层，其中所述第一组字段的每个字段包括已排序的子字段，其中所述第一 组字段的每个字段中所述已排序的子字段中的第一子字段对应于所述FP0SPITVS按发送 顺序的第一图片，其中所述第一组字段的每个字段中所述第一子字段之后的每个相继的已 排序子字段分别对应于所述FP0SPITVS的第一图片之后按发送顺序的每个相继图片，并且 其中所述FP0SPITVS中的每个相继图片由所述第一组字段中至多一个相应的已排序子字 段标识。
3.如权利要求2所述的方法，还包括在所述FP0SPITVS之后，在所述视频流中提供第二组多个相继图片(SP0SPITVS)，其中 所述SP0SPITVS的第一所提供图片是在所述FP0SPITVS的最后所提供图片之后提供的。
4.如权利要求3所述的方法，还包括提供所述多个标志的第二实例。
5.如权利要求4所述的方法，还包括提供第二组字段，其中所述第二组字段中所提供 字段的数量对应于具有所述第一标志值的多个所提供标志的数量；提供与所述SP0SPITVS 相关联的第二组字段，其中所述第二组多个字段中的每个字段分别对应于一图片互相关性 层，其中所述第二组多个字段的每个字段包括已排序的子字段，其中所述第二组多个字段 的每个字段中所述已排序的子字段中的第一子字段对应于所述SP0SPITVS按发送顺序的 第一图片，其中所述第二组多个字段的每个字段中所述第一子字段之后的每个相继的已排 序子字段分别对应于所述SP0SPITVS的第一图片之后按发送顺序的每个相继图片，并且其 中所述SP0SPITVS中的每个相继图片由所述第二组多个字段中相应的多个已排序子字段 中至多一个子字段标识。
6.一种方法，包括接收视频流；以及处理压缩视频和标识与各互相关性层相对应的图片的信息。
7.如权利要求6所述的方法，其中接收视频流还包括接收标识所述视频流中图片的信 息，其中所述图片包括压缩图片。
8.如权利要求7所述的方法，还包括从所述视频流中抽取所标识的图片中的一个或多 个图片。
9.一种方法，包括提供视频流；以及提供标识与各图片互相关性层相对应的所述视频流中压缩图片的信息。
全文摘要
在一个实施例中，一种方法包括提供视频流；以及提供标识与各图片互相关性层相对应的所述视频流中压缩图片的信息。
文档编号H04N7/50GK102037731SQ200980118689
公开日2011年4月27日 申请日期2009年5月18日 优先权日2008年5月21日
发明者本杰明·M·库克, 阿图罗·A·罗德里谷兹 申请人:思科技术公司