用于可伸缩视频编码的有效解码图像缓存管理的制作方法

专利名称：：用于可伸缩视频编码的有效解码图像缓存管理的制作方法
技术领域：
：本发明涉及视频编码领域。更特别地，本发明涉及可伸缩—见频编码。
背景技术：
：视频编码标准包括ITU-TH.261、ISO/IECMPEG-l视频、ITU-TH.262或ISO/IECMPEG-2视频、ITU-TH.263、ISO/IECMPEG-4视频和ITU-TH.264(也称为ISO/IECMPEG-4AVC)。此外，目前正在努力开发新的视频编码标准。正在开发的此类标准之一是可伸缩^L频编码(SVC)标准，其将成为对H.264/AVC的可伸缩扩展。另一种此类标准涉及中国视频编码标准的开发。可伸缩视频编码可以提供可伸缩视频比特流。可伸缩视频比特流的一部分可以被提取并解码，其具有劣化的回放视觉质量。在当今的概念中，可伸缩视频比特流包含非可伸缩基本层和一个或多个增强层。增强层可以增强时间分辨率(即帧率)、空间分辨率或者仅仅是由较低层或其部分表示的视频内容的质量。在有些情况下，增强层的数据在特定位置之后、甚至在任意位置可以被截短，并且每个截短位置可以包括一些表示逐渐增强的视觉质量的附加数据。这种可伸缩性被称为精细颗粒(粒度)可伸缩性(FGS)。与FGS相对，由不提供精细颗粒可伸缩性的质量增强层提供的可伸缩性被称为粗颗粒可伸缩性(CGS)。基本层同样可以设计成FGS可伸缩；然而，目前还没有视频压缩标准或草案标准实现此概念。当前草案SVC标准中的可伸缩层结构的特征在于三个变量，称为时间—级别(temporal—level)、/人属—id(dependency—id)和质量—级别(quality—level),这些变量在比特流中用信号发送或者可以根据规范推导出。时间一级别用于指示时间可伸缩性或帧率。包含具有较d、时间_级别值的图像的层具有比包含具有较大时间—级别的图像的层更小的帧率。从属—id用于指示层间编码的从属层级。在任何时间位置，具有较小从属—id值的图像可以用于对具有较大从属—id值的图像编码的层间预测。质量—级别用于指示FGS层的层级。在任何时间位置并且具有相同的从属—id值的情况下，具有质量—级别值等于QL的FGS图像使用该FGS图像或具有质量_级别值等于QL-1的基本质量图像(也即当QL-1=0时的非FGS图像)来进行层间预测。图1示出了示例性可伸缩视频流的时间片段，显示了上述三个变量的值。应当注意到时间值是相对的，也即，时间=0不一定是指比特流中按显示顺序排在第一的图像的时间。图2示出了该示例的典型预测参考关系，其中实线箭头指示水平方向的帧间预测参考关系，虚线空心箭头指示层间预测参考关系。(箭头)所指向的实例使用另一方向的实例以用于预测参考。如此处所讨论的，层被定义为分别具有相同的时间—级别、从属—id和质量—级别的值的图像的集合。为了解码和回放增强层，通常包括基本层的较低层也应为可用的，因此较低层可以直接或间接地用于解码增强层中的层间预测。例如，在图l和图2中，(t，T，D,Q)等于(O，O，O，O)和(8，0，0，0)的图像属于基本层，它们可以独立于任何增强层而解码。(t，T，D,Q)等于(4,1,0,0)的图像属于双倍于基本层帧率的增强层；该层的解码需要存在基本层图像。(t,T，D，Q)等于(0,0,0,1)和(8,0，0，1)的图像属于以FGS方式增强基本层的质量和比特率的增强层；该层的解码也需要存在基本层图像。在当前的草案SVC标准中，在空间或CGS增强层编码的图像具有层间预测参考的指示(也即，片报头的基本—id—加1(base—id_plus1)语法元素)。层间预测包括编码模式、运动信息和采样残差预测。层间预领'j的使用可以显著提高增强层的编码效率。层间预测总是使用较低层作为预测的参考。换句话说，从不需要较高层来用于较低层的解码。在可伸缩视频比特流中，增强层图像可以自由地选择哪个较低层用于层间预测。例如，如果存在三个层，基本—层—0(base一layerj)),CGS—层—1(CGS—layer—I)和空间—层—2(spatial—layer—2)，并且它们具有相同的帧率，则增强层图像可以选择这些层中任一层以用于层间预测。图3中示出了典型的层间预测的从属层级。参考图3，用箭头表示层间预测，箭头指向从属的方向。被指向的对象需要指向来源的对象用于层间预测。仍然参考图3,每层右边的数值对表示当前草案SVC标准中所规定的从属一id和质量J及别的值。然而，在空间—层一2中的图像也可以选择基本—层—0用于层间预测，如图4所示。而且，在空间—层—2中的图像可以选择基本—层J)用于层间预测，而在同一时间位置，在CGS—层—1中的图像决定完全不用任何层间预测，如图5所示。当涉及到FGS层时，除了针对采样残差的层间预测之外，针对编码模式和运动信息的层间预测可以从基本层获得。例如如图6所示，对于空间—层—2图像，针对编码模式和运动信息的层间预测源自于CGS—层_1图像，而针对采样残差的层间预测从FGS—层—1_1图像获得。又例如如图7所示，对于空间—层_2图像，针对编码模式和运动的层间预测依然从CGS一层—1图像获得，而采样残差的层间预测源自于FGS—层J—0图像。上述关系可以更抽象地表示，使得针对编码模式、运行信息和采样残差的层间预测都可以从相同的FGS层获得，如图8和9中分别示出的。在视频编码标准中，当比特流可以被假定参考解码器解码时，其被定义为相容的，其中假定参考解码器概念上连接到编码器的输出并且至少包括预解码器緩存、解码器以及输出/显示单元。该虚拟的解码器在H.263、H.264中被称为假定参考解码器(HRD),在MPEG.PSS附录G中被称为视频緩存校验器(VBV)。3GPP分组交换流服务标准(3GPPTS26.234)的附录G规定了服务器緩存校验器，其也可被视为HRD，差别在于HRD是概念上连接到流服务器的输出。诸如虚拟解码器和緩存校验器的技术在此全文统称为假定参考解码器(HRD)。在緩存没有溢出或下溢的情况下，如果流能够被HRD解码，则流是相容的。如果当緩存已经满时，还有比特要放入该緩存中，则发生緩存溢出。如果在要从緩存中取出比特以用于解码/回放的时刻，该緩存是空的，则发生緩存下溢。HRD参数可以用于对图像的编码尺寸施加限制并且辅助决定所需要的緩存大小和启动延迟。在PSS附录G和H.264之前较早的HRD规范中，只规定了预解码緩存的操作。此緩存在H.264中通常被称为编码图像緩存CPB。PSS附录G中的HRD和H.264HRD也规定了后解码器緩存(在H.264中也称为解码图像緩存DBP)的操作。而且，较早的HRD规范只支持一个HRD操作点，而PSS附录G中的HRD和H.264的HRD允许多个HRD操作点。每个HRD操作点对应于一组HRD参数值。根据草案SVC标准，用于预测后续已编码图像以及用于将来输出的已解码图像被緩存在解码图像緩存(DPB)中。为了有效地利用緩存存储器，规定了DPB管理进程，包括将已解码图像存储入DPB的存储进程、参考图像的标记进程、已解码图像从DPB输出和移除进程。目前的草案SVC标准中规定的DPB管理进程不能有效地处理需要被緩存以用于层间预测的解码图像的管理，尤其是当这些图像是非参考图像时。这归应于DPB管理进程是针对传统的至多支持时间可伸缩性的单层编码的事实。在诸如H.264/AVC的传统单层编码中，当必须被緩存以用于帧间预测参考或将来的输出的已解码图像不再需要用于帧间预测参考和将来的输出时，可以将这些已解码图像从緩存中移除。为了能够在参考图像一旦变为不再需要用于帧间预测参考和将来的输出就将其移除，该参考图像标记进程被规定，使得参考图像一旦变为不再需要用于帧间预测参考就能够被得知。然而，对用于层间预测参考的图像而言，目前还没有帮助解码器尽可能快地获得关于图像变为不再需要用于层间预测参考的信息的可用机制。一种此类方法可涉及移除DPB中的所有图像，为此，在期望的可伸缩层解码每幅图像之后，从DPB看来以下所有条件都满足l)图像是非参考图像；2)图像与刚解码的图像位于同一存取单元；以及3)图像位于比所述期望的可伸缩层更低的层。从而，用于层间预测参考的图像可能没有必要缓存在DPB中，因为这会降低緩存存储器的使用效率。例如，所需要的DPB可能比技术上所必需的更大。此外，在可伸缩视频编码中，低于期望回放的可伸缩层的任何可伸缩层的已解码图像从来不被输出。当这种图形不需要用于帧间预测或层间预测时，其在DPB中的存储简直是浪费緩冲存储器。因此希望提供一种系统和方法，用于在已解码图像一旦不再需要用于预测(帧间预测或层间预测)参考和将来的输出时，就将这些已解码图像从DPB中移除。
发明内容本发明提供一种系统和方法，用于支持在已解码图像一旦不再需要用于帧间预测参考、层间预测参考和将来的输出时，就将这些已解码图像从DPB中移除。本发明的系统和方法包括在比特流中引入关于图像是否可能用于层间预测参考的指示，以及使用该指示的DPB管理方法。该DPB管理方法包括将图像标记为用于层间参考或不用于层间参考的进程，将已解码图像存储入DPB的存储进程，参考图像的标记进程以及将已解码图像从DPB输出和移除进程。为了能够将图像标记为不用于层间参考以使得在图像一旦变为不再需要用于层间预测参考时解码器就能够得知，定义了新的存储器管理控制操作(MMCO)，并且规定了比特流中相应的信令。本发明能够提供解码图像緩存管理进程，该进程能够节省用于解码可伸缩视频比特流的所需存储器。本发明可以在H.264/AVC视频编码标准的可伸缩扩展的环境中使用，同样可以在其他可伸缩视频编码方法中使用。本发明的这些和其他优点和特征及其构造和操作方式，将在下面结合附图的详细描述中变得很明显，其中下面描述的多个附图中相同的部件具有相同的附图标记。图1示出了示例性可伸缩视频流的时间片段，显示了三个变量时间—级别、从属—id和质量一级别的值；图2是针对图1所示的时间片段的典型的预测参考关系；图3是典型的层间预测从属层级的表示，其中箭头指示被指向的对象使用指向来源的对象以用于层间预测参考；图4是示出了空间—层一2中的图像如何还可以选择基本—层_0以用于层间预测的流程图5是空间—层_2中的图像选择基本—层一0以用于层间预测、而在同一时间位置CGS—层—1的图像决定不使用任何层间预测的示例的表示；图6是显示针对编码模式和运动信息的层间预测可以来源于与针对采用残差的层间预测不同的基本层的示例的表示；图7是显示对于空间—层一2图像，针对编码模式和运动的层间预测能够来源于CGS—层—1图像，而针对采样残差的层间预测来源于FGS—层—1—0图4象的示例；图8是针对编码模式、运动信息和采样残差的层间预测都来源于FGS—层—1—1图像的示例的表示，其中编码模式和运动信息继承自基本质量层；图9是针对编码模式、运动信息和采样残差的层间预测都来源于FGS—层—1—0图像的示例的表示，其中编码模式和运动信息继承自基本质量层；图10示出了根据传统已知系统的针对存取单元中多个已编码图像的状态演化进程的示例；图11示出了根据本发明的系统和方法的针对存取单元中多个已编码图像的状态演化进程的示例；图12是可以实现本发明的系统的纵览图；图13是可以体现本发明的原理的电子设备的透视图；图14是图13的电子设备电路的示意图；以及图15是可以应用本发明的可伸缩编码层级的通用多媒体数据流系统的图示。具体实施例方式参考图15,描述了用于应用本发明的过程的典型的多媒体流系统。多媒体数据流系统通常包括一个或多个多媒体源100,诸如视频照相机和麦克风，或者存储在存储器载体中的视频图像或计算机图形文件。从不同多媒体源100获得的原始数据在编码器102中组合成多媒体文件，该编码器也可以称为编辑单元。来自一个或多个多媒体源100的原始数据首先使用包含在编码器102中的捕获装置104进行捕获，该捕获装置通常可以实现为不同的接口卡、控制卡的功能的驱动软件或应用软件。例如，视频数据可以使用视频捕获卡及相关联的软件进行捕获。捕获装置104的输出通常是未压缩的或者轻度压缩的数据流，例如当涉及视频捕获卡时，为YUV4:2:0格式或运动-JPEG图像格式的未压缩视频帧。编辑器106将不同的媒体流链接在一起以同步将要如所期望地同时重现的视频流和音频流。编辑器106也可以对每个々某体流(诸如视频流)进行编辑，例如通过将帧率减半或者降低空间分辨率。分离的媒体流在压缩器108中进行压缩，尽管这些媒体流已经同步，但是在压缩器中每个媒体流使用适合于该媒体流的压缩器进行分别压缩。例如，YUV4:2:0格式的视频帧可以使用ITU-T推荐H.263或H.264进行压缩。分离的、已同步的且已压缩的媒体流通常在复用器110中交织，从编码器102获得的输出是单个、统一的比特流，其包括多个媒体流的数据，并且可以称为多媒体文件。应当注意，多媒体文件的形成不一定要求将多个媒体流复用为单个文件，不过流服务器可以在发送这些媒体流之前，对它们进行交织。多媒体文件被传送到流服务器112,因而流服务器112能够将其作为实时流进行执行或者以渐进式下载形式执行。在渐进式下载中，多媒体文件首先存储在服务器112的存储器中，当需要时可以从该存储器取回多媒体文件以进行传输。在实时流中，编辑单元102向流服务器112发送连续的多媒体文件的媒体流，并且服务器112将流直接转发给客户端114。作为另一选择，也可以这样执行实时流以使得多媒体文件存储在服务器112可访问的存储装置中，当需要时可以从该存储装置驱动实时流以及启动连续的多媒体文件的媒体流。在这种情况下，编辑器102不一定需要任何装置来控制流。流服务器112依照客户端114的可用带宽或最大解码和回放速率，执行多媒体数据的流量整形，流服务器112能够调整媒体流的比特速率，例如通过从传输中省去B-帧或者通过调整可伸缩层的数量。进一步，流服务器112可以修改复用媒体流的报头字段以减少其尺寸，并且将多媒体数据封装入适合于在所采用的通信网络中传输的数据分组中。客户端114通常可以通过使用合适的控制协议来调整(至少在一定程度上)服务器112的操作。客户端114至少能够以这种方式控制服务器112，即能够选择期望的多媒体文件以用于传输至客户端，此外，客户端114通常能够停止和中断多媒体文件的传输。以下文本以针对SVC标准的规范文本的形式描述了本发明的一个特定实施方式。在此实施方式中，如下为解码参考图像标记语法。已解码参考图像标记语法<table>tableseeoriginaldocumentpage16</column></row><table><table>tableseeoriginaldocumentpage17</column></row><table>如下为可伸缩扩展语法中的片报头。可伸缩扩展语法中的片报头<table>tableseeoriginaldocumentpage18</column></row><table><table>tableseeoriginaldocumentpage19</column></row><table><table>tableseeoriginaldocumentpage20</column></row><table>对于解码图像参考标记语义，"num—inter—layer—mmco"指示将DPB中的解码图像标记为"不用于层间预测"的memory—management—controloperation(存卡者器—管理—4空制才喿作)的数量。"dependency—id[i]"指示将要被标记为"不用于层间预测"的图像的dependency—id(从属—id)。dependency—id[i]小于或等于当前图像的dependency—id。"quality—level[i]"指示将要被标记为"不用于层间预测"的图像的quality_level(质量—级另'J)。当dependency—id[i]等于dependency—id时，quality—level[i]小于quality—level。与当前图像位于相同存取单元并且具有dependencyjd等于dependency—id[i]、quality—level等于quality—level[i]的解石马图寸象将具有等于1的inter—layer—ref—flag(层间参考标记)。当出现时，以下可伸缩扩展语法元素中的片报头的值在编码图像的所有片报头中都是相同的即pic—parameter_set—id,frame—num,inter—layer—ref—flag，field_pic—flag，bottom一field一flag，idr一pic—id，pic—order_cnt_lsb,delta—pic—ordercnt—bottom,delta—pic—order_cnt,delta—pic—order_cnt[1]以及slice—group—change—cycle。"frame—num"具有与当前草案SVC标准S.7.4.3小节中的frame—num相同的语义。"inter—layer—ref—flag"的值等于0指示当前图像不用于解码任何具有比当前图像的dependency—id的值更大的dependency—id值的图像的层间预测。"inter—layer—ref_flag"的值等于1指示当前图像可以用于解码具有比当前图像更大的dependency—id值的图像的层间预测参考。"filed_pic—flag"具有与当前草案SVC标准S.7.4.3小节中的field—pic—flag相同的语义。对于解码图像标记进程的才喿作顺序，当"interjayer—ref—flag"的值等于l时，当前图像被标记为"用于层间参考"。对于将图像标记为"不用于层间参考"的进程，当"numjnter—layer—mmco"的值不等于0时，调用该进程。由于以下所有条件均满足，DPB中的所有图像都被标记为"不用于层间参考"(1)图像属于与当前图像相同的存取单元；(2)图像的"inter—layer—ref—flag"的值等于1并且图像被标记为"用于层间参考，，；(3)图像的dependency—id和quality—level的值等于在当前图像的dec—ref_pic—marking()的语法中用信号发送的一对dependencyjd[i]和qualityjevel[i];以及(4)图像是非参考图像。为了操作解码图像緩存，解码图像緩存包含若干帧緩存。每个帧緩存可以包含解码帧，其中被标记为"用于参考，，(参考图像)的已解码补充字段对或者单个(不成对的)已解码字段被标记为"用于层间参考，，或者保留以为将来输出(重排序或延迟的图像)。在初始化之前，DPB是空的(即DPB的填充度设置为零)。此小节的各子小节接下来的步骤都是在Un)时刻并且按照所列出的顺序即时发生的。为了解码frame_num中的间隙(gap)以及存储"非存在"的帧，如果可应用，则通过解码进程;险测fmme_num中的间隙，并且标记生成的帧并插入进DPB中，如下面所^见定的。通过解码进程;险测framenum中的间隙，并且按照当前草案SVC标准8.2.5.2小节所头见定地标记生成的帧。在标记每个生成的帧之后，当每个图^象m^皮标记为"非存在"或者其DPB的输出时间小于或等于当前图像n的解码图像緩存(CPB)移除时间时，由"滑动窗"进程标记为"不用于参考，，的图像m从DPB中移除；也即，t。,dpb(m)<=tr(n)。当从DPB中移除了帧緩存中的帧或最后一个字段时，DPB的填充度减一。生成的"非存在，，的帧插入到DPB中，则DPB的填充度增加一。为了图像解码和输出，图像n被解码并临时存储(不在DPB中)。如果图像n位于期望的可伸缩层，则应用下列文本。图像n的DPB输出时间t。,dpb(n)由t。，dpb(n)=tr(n)+tc*dpb—output—delay(n)推导出。当前图像的输出如下规定。如果t。,一(n)=tr(n)，则输出当前图像。应当注意，若当前图像是参考图像，则其将存储在DPB中。如果t。，dpb(n>tr(n),则t。,dpb(n)>tr(n),稍后输出当前图像，并且当前图像将存储在DPB中(如当前草案SVC标准C.2.4小节所规定的)，并且在t。,dpb(n)时刻输出，除非在t。,dpb(n)之前的时刻通过解码或推断出no—output_of—prior—pics—flag等于l从而指示不要输出。使用针对序列设置的序列参数集合中指定的矩形裁剪对输出图像进行裁剪。当图像n是被输出的图像并且不是被输出的比特流中的最后一幅图像时，At。，dpb(n)的值被定义为At。,dpb(n)-t。,dpb(0-t。,dpb(n)，其中nn指示按照输出顺序跟在图像n之后的图像。在可能插入当前图像之前将图像从DPB中移除如下并按照所列出的顺序进行。如果已解码图像是IDR图像，那么应用下列处理。在DPB中的具有与当前图像分别相同的dependency—id和quality—level的值的所有参考图像被标记为"不用于参考，，，如当前草案SVC标准8.2.5.1小节所规定的。当该IDR图像不是第一个被解码的IDR图像，并且从有效(active)序列参数集合中得出的PicWidthlnMbs或FrameHeightlnMbs或max—dec—frame—buffering的值不同于从针对前一序列有效的序列参数集合中得出的PicWidthlnMbs或FrameHeightlnMbs或max—dec—frame—buffering的值时，其中该前一序列具有与当前已解码视频序列分别相同的dependency—id和quality—level<直，则由HRD4侓断出no—output—of_prior—pics—flag等于1,而不考虑no—output—of—prior—pics—flag的实际值。应当注意，在PicWidthlnMbs或FmmeHeightlnMbs中的变化方面，解码器实现可以尝试比HRD更为适度地处理帧或者DPB的大小变化。当no—output—of—prior_pics_flag等于1或者推断等于1时，则DPB中包含有具有与当前图<象分别相同的dependencyjd和qualityjevel值的已解码图像的所有帧緩存被清空，而不输出它们所包含的这些图像，并且DPB的填充度被减少所清空的帧緩存的数量。否则(也即，当已解码图像不是IDR图像时)，应用以下处理。如果当前图像的片报头包括其值等于5的memory—management—control—operation(存储器_管理—控制—操作),则在DPB中的具有与当前图像分别相同的dependency—id和quality—level值的所有参考图像被标记为"不用于参考"。否则(也即，当前图像的片报头不包括其值等于5的memory—management—control—operation)，则i周用当前草案SVC才示准8.2.5小节中规定的已解码参考图像标记进程。当前草案SVC标准8.2.5.5小节中规定的将图像标记为"不用于层间参考"的标记进程被调用。如果当前图像位于所期望的可伸缩层，则DPB中满足以下所有条件的所有已解码图像被标记为"不用于层间参考"。(1)图像属于与当前图像相同的存取单元；(2)图像的inter—layer_ref-flag的值等于l并且图像被标记为"用于层间参考，，；以及(3)图像具有比当前图像更小的dependency—id值，或者具有与当前图像相同的dependency—id、i"旦是比当前图4象更小的quality—level。由于满足下列所有条件，DPB中的所有图像m从DPB中移除。(1)图像m被标记为"不用于参考"或者图像m是非参考图像。当图像是参考帧时，只有在它的两个字段都已被标记为"不用于参考"时，该图像才被考虑标记为"不用于参考"。(2)图像m被标记为"不用于层间参考"或者图像m的inter—layer—ref—flag值等于0。(3)图像m被标记为"非存在"，其不在所期望的可伸缩层，或者图像m的DPB输出时间小于或等于当前图像n的CPB移除时间，也即，t。,dpb(m)<=tr(n)。当帧緩存中的帧或者最后一个字段从DPB中移除时，DPB的填充度减少一。下面讨论当前已解码图像标记和存储。对于标记参考已解码图像并将其存储入DPB中，若当前图像是参考图像，则如下将其存储在DPB中。如果当前已解码图像是补充参考字段对中的第二个字段(按解码顺序)，并且该字段对中的第一个字段仍然在DPB中时，则当前已解码图像存储在与该字段对的第一个字段相同的帧緩存中。否则，当前已解码图像存储在一个空的帧緩存中，并且DPB的填充度增力口一。对于将非参考图像存储入DPB中，若当前图像是非参考图像，则应用如下处理。如果当前图像不位于所期望的可伸缩层，或者如果当前图像位于所期望的可伸缩层并且其具有t。,dpb(n)〉tr(n)，则如下将其存储在DPB中。如果当前已解码图像是补充非参考字段对的第二个字段(按解码顺序)，并且该字段对的第一个字段仍然在DPB中时，则当前已解码图像存储在与该字段对的第一个字段相同的帧緩存中。否则，当前已解码图像存储在一个空的帧緩存中，并且DPB的填充度增加一。在上述实施方式中，告知图像是否可以用于层间预测参考的指示在片报头中用信号发送。这是作为语法元素inter—layer—ref—flag来发信号的。存在多种用信号发送该指示的可替换方式。例如，该指示可以在NAL单元报头中用信号发送或者以其他方式发送。存储器管理操作命令(MMCO)的信令也可以以各种可选方式执行，只要能够识别被标记为不用于层间参考的图像。例如，语法元素dependencyjd[i]可以被编码为相对于该片报头所属的当前图像的dependency—icH直的变量增量(delta)。上述实施方式与原始DPB管理进程之间的主要差别如下。(1)在上面讨论的实施方式中，当interjayer—ref—flag等于1时，已解码图像被标记为"用于层间参考"。(2)只有当图像位于所期望的可伸缩层时，才在上述实施方式中指定已解码图像输出进程。(3)在上述实施方式中，在可能插入当前图像之前将图像从DPB移除之前，调用将图像标记为"不用于层间参考"的进程。(4)在上述实施方式中，在可能插入当前图像之前将图像从DPB移除的条件是变化的，从而对图像是否被标记为"不用于层间参考"或者其inter—layer一ref—flag是否等于0，以及图像是否位于所期望的可伸缩层加以考虑。(5)在上述实施方式中，将图像存储到DPB的条件是变化的，从而考虑图像是否在所期望的可伸缩层。图IO示出了根据传统已知系统的发展针对一个存取单元中的多幅已解码图像的进程的状态示例，图11示出了根据本发明的同一示例。用于图10中绘出传统系统的DPB状态演化进程如下(假设层4是用于解码和回放所期望的可伸缩层)。来自较早的已解码存取单元的图像也可以存储在DPB中，不过仅仅是为了筒单起见下面未将这些图像计算在内。在解码层0图像以及相应的DPB管理进程之后，DPB仅包含来自层0的图像。在解码层1的图像以及相应的DPB管理进程之后，DPB包含分别来自层0和层1的2幅图像。在解码层2的图像以及相应的DPB管理进程之后，DPB包含分别来自层0-2的3幅图像。在解码层3的图像以及相应的DPB管理进程之后，DPB包含分别来自层0-3的4幅图像。在解码层4的图像以及相应的DPB管理进程之后，DPB包含分别来自层0和层4的2幅图像。如图11中绘出DPB状态演化进程如下(假设层4是用于解码和回放所期望的可伸缩层)。来自较早的已解码存取单元的图像也可以存储在DPB中，不过仅仅是为了简单起见下面未将这些图像计算在内。在解码层0的图像以及相应的DPB管理进程之后，DPB仅包含来自层0的图像。在解码层1的图像以及相应的DPB管理进程之后，DPB包含分别来自层0和层1的2幅图像。在解码层2的图像以及相应的DPB管理进程之后，DPB包含分别来自层0和层2的2幅图像。在解码层3的图像以及相应的DPB管理进程之后，DPB包含分别来自层0和层3的2幅图像。在解码层4的图像以及相应的DPB管理进程之后，DPB包含分别来自层0和层4的2幅图像。从图11中可以看出，本发明可以减少緩存存储器的需求。在图11绘出的示例中，可以节省用于2幅已解码图像的緩存存储器。图12示出了可以利用本发明的系统10，包括能够通过网络通信的多个通信设备。系统IO可以包括有线或无线网络的任意组合，其包括但不限于，移动电话网络、无线局域网(LAN)、蓝牙个域网、以太网LAN、令牌环LAN、广域网、互联网等。系统10可以包括有线和无线通信设备二者。例如，图12中示出的系统10包括移动电话网络11和互联网28.到互联网28的连接可以包括但不限于，长距离无线连接、短距离无线连接、以及各种包括但不限于电话线、电缆线、电力线等等的有线连接。系统10的示例性通信设备可以包括但不限于，移动电话12、PDA和移动电话的组合14、PDA16、集成消息发送设备(IMD)18、台式计算机20、以及笔记本计算机22。通信设备可以是静止的或移动的，如当其被正在移动的个体携带时。通信设备还可以处于运输工具模式中，这些运输工具包括但不限于，汽车、卡车、出租车、公共汽车、轮船、飞机、自行车、摩托车等。通信设备中的某些或全部可以发送和接收呼叫和消息，并且可以通过无线连接25连接到基站24与服务提供商通信。基站24可以连接到网络服务器26，该网络服务器26允许在移动电话网络11和互联网28之间通信。系统10可以包括另外的通信设备和不同类型的通信设备。通信设备可以使用各种传输技术进行通信，这些传输技术包括但不限于，码分多址(CDMA)、全球移动通信系统(GSM)、通用移动通信系统(UMTS)、时分多址(TDMA)、频分多址(FDMA)、传输控制协议/互联网协议(TCP/IP)、短消息服务(SMS)、多媒体消息服务(MMS)、电子邮件、即时消息服务(IMS)、蓝牙、IEEE802.11等等。通信设备可以使用各种介质通信，这些介质包括但不限于，无线电、红外、激光、电缆连接等等。图13和图14示出了一个可实施本发明的具有代表性的移动电话12。但是应当理解的是，本发明并不旨在局限于一种特定类型的移动电话12或者其它电子设备。图13和图14的移动电话12包括壳体30、液晶显示屏形式的显示器32、小键盘34、麦克风36、耳机38、电池40、红外端口42、天线44、根据本发明的一种实施方式的UICC形式的智能卡46、读卡器48、无线接口电路52、编解码器电路54、控制器56和存储器58。各个电路和元件都是本领域公知的类型，例如在诺基亚移动电话的范围内。本发明是以方法步骤的一般上下文方式描述的，这种方法步骤在一种实施方式中可以由程序产品来实施，该程序产品包含由联网环境中的计算机执行的例如程序代码的计算机可执行指令。通常，程序模块包括执行特定任务或实现特定抽象数据类型的例行程序、程序、对象、组件、数据结构等等。计算机可执行指令、相关联的数据结构以及程序模块表示用于执行本文所述方法步骤的程序代码的示例。这种可执行指令或相关联的数据结构的特定顺序表示用于实施这些步骤中所描述的功能的相应动作的示例。本发明的软件和web实现可以通过具有基于规则的逻辑以及其它用以完成各种数据库搜索步骤、相关步骤、比较步骤和决策步骤的逻辑的标准编程技术来完成。还应当指出的是，此处以及权利要求中使用的词语"组件"和"模块"意在包含使用一行或多行软件代码的实施和/或硬件实施和/或用于接收手动输入的装备。本发明实施方式的上述说明是为了说明和描述的目的。其并不意在穷举或是将本发明限制为所公开的精确形式，并且修改和变化可以参照上述教导作出，或者可以从本发明的实践中获得。选择和描述实施方式是为了解释本发明的原理及其实践应用，以便使本领域技适应于特定的预期应用。权利要求1.一种管理用于可伸缩视频编码的解码图像缓存的方法，包括将比特流中属于第一层的第一已解码图像接收到所述解码图像缓存中；接收属于第二层的第二已解码图像；根据对所述第二已解码图像的接收，确定所述第一已解码图像是否要求用于层间预测参考；以及如果所述第一已解码图像不再要求用于层间预测参考、帧间预测参考和将来的输出，则将所述第一已解码图像从所述解码图像缓存中移除。2.根据权利要求1所述的方法，还包括携带涉及在所述比特流中用信号发送的解码顺序中后续图像的可能层间预测参考的指示的信息。3.根据权利要求2所述的方法，其中所述可能层间预测参考的指示在片报头中用信号发送。4.根据权利要求2所述的方法，其中所述可能层间预测参考的指示在网络提取层(NAL)单元报头中用信号发送。5.根据权利要求2所述的方法，其中确定所述第一已解码图像是否要求用于层间预测参考包括选择性地将所述第一已解码图像标记为"不用于层间参考"。6.根据权利要求5所述的方法，其中如果所述第一图像属于与所述第二图像相同的存取单元，则将所述第一已解码图像标记为"不用于层间参考"。7.根据权利要求6所述的方法，其中根据所述比特流中的信令来确定所述第一已解码图像是否被标记为"不用于层间参考"。8.根据权利要求5所述的方法，其中如果所述第一图像的可能层间预测参考的指示为正并且被标记为"用于层间参考，，，则将所述第一已解码图像标记为"不用于层间参考，，。9.根据权利要求8所述的方法，其中根据所述比特流中的信令来确定所述第一已解码图像是否被标记为"不用于层间参考，，。10.根据权利要求5所述的方法，其中如果所述第一图像具有小于第二图像的dependency—id值，或者具有与所述第二图像相同的dependency—id值、但是比所述第二图像小的quality—level值，则所述第一已解码图像被标记为"不用于层间参考"。11.根据权利要求10所述的方法，其中根据所述比特流中的信令来确定所述第一已解码图像是否被标记为"不用于层间参考"。12.根据权利要求2所述的方法，其中如果所述第一图像被标记为"不用于参考"或者是非参考图像，如果所述第一图像被标记为"不用于层间参考"或者具有可能层间预测参考为负的指示，以及如果所述第一图像被标记为"非存在"、不在所期望的可伸缩层或者其解码图像緩存输出时间小于或等于所述第二图像的编码图像緩存移除时间，则所述第一已解码图像被确定为不再要求用于层间预测参考。13.根据权利要求12所述的方法，其中，如果所述第一已解码图像是参考帧，则仅当所述第一已解码图像的两个字段都被标记为"不用于参考"时，所述第一已解码图像才被考虑标记为"不用于参考"。14.根据权利要求1所述的方法，其中如果所述第一已解码图像不在用于回放的所期望的可伸缩层，则所述第一已解码图像不需要用于将来的输出。15.根据权利要求1所述的方法，其中所述比特流包括第一子比特流和第二子比特流，所述第一子比特流包括属于所述第一层的已编码图像，所述第二子比特流包括所述第二层的图像。16.—种用于解码多个图像的编码流的解码器，该多个图像被定义为参考图像或非参考图像，以及针对图像流的图像来定义涉及图像解码顺序和输出顺序的信息，该解码器配置为执行权利要求1所述的方法。17.—种用于管理用于可伸缩视频编码的解码图像緩存的计算机程序产品，包括用于将比特流中属于第一层的第一已解码图像接收到所述解码图像緩存中的计算机代码；用于接收属于第二层的第二已解码图像的计算机代码；用于根据对所述第二已解码图像的接收，确定所述第一已解码图像是否要求用于层间预测参考的计算机代码；以及用于如果所述第一已解码图像不再要求用于层间预测参考、帧间预测参考和将来的输出，则将所述第一已解码图像从所述解码图像緩存中移除的计算机代码。18.根据权利要求17所述的计算机程序产品，还包括用于携带涉及在所述比特流中用信号发送的解码顺序中后续图像的可能层间预测参考的指示的信息的计算机代码。19.根据权利要求18所述的计算机程序产品，其中所述可能层间预测参考的指示在片报头中用信号发送。20.根据权利要求18所述的计算机程序产品，其中所述可能层间预测参考的指示在网络提取层(NAL)单元报头中用信号发送。21.根据权利要求18所述的计算机程序产品，其中确定所述第一已解码图像是否要求用于层间预测参考包括选择性地将所述第一已解码图像标记为"不用于层间参考"。22.根据权利要求21所述的计算机程序产品，其中如果所述第一图像属于与所述第二图像相同的存取单元，则将所述第一已解码图像标记为"不用于层间参考"。23.根据权利要求22所述的计算机程序产品，其中根据所述比特流中的信令来确定所述第一已解码图像是否被标记为"不用于层间参考"。24.根据权利要求21所述的计算机程序产品，其中如果所述第一图像的可能层间预测参考的指示为正并且被标记为"用于层间参考"，则将所述第一已解码图像标记为"不用于层间参考"。25.根据权利要求24所述的计算机程序产品，其中根据所述比特流中的信令来确定所述第一已解码图像是否被标记为"不用于层间参考"。26.根据权利要求21所述的计算机程序产品，其中如果所述第一图像具有小于第二图像的dependency—id值，或者具有与所述第二图像相同的dependencyjd值、但是比所述第二图像小的quality—level值，则所述第一已解码图像被标记为"不用于层间参考"。27.根据权利要求26所述的计算机程序产品，其中根据所述比特流中的信令来确定所述第一已解码图像是否被标记为"不用于层间参考"。28.根据权利要求17所述的计算机程序产品，其中如果所述第一图像被标记为"不用于参考"或者是非参考图像，如果所述第一图像被标记为"不用于层间参考"或者其可能层间预测参考指示为负，以及如果所述第一图像被标记为"非存在，，、不在所期望的可伸缩层或者其解码图像缓存输出时间小于或等于所述第二图像的编码图像緩存移除时间，则所述第一已解码图像被确定为不再要求用于层间预测参考。29.根据权利要求28所述的计算机程序产品，其中，如果所述第一已解码图像是参考帧，则仅当在所述第一已解码图像的两个字段都被标记为"不用于参考，，时，所述第一已解码图像才被考虑标记为"不用于参考"。30.根据权利要求16所述的计算机程序产品，其中如果所述第一已解码图像不在用于回放所期望的可伸缩层，则所述第一已解码图像不需要用于将来的输出。31.根据权利要求16所述的计算机程序产品，其中所述比特流包括第一子比特流和第二子比特流，所述第一子比特流包括属于所述第一层的已编码图像，所述第二子比特流包括所述第二层的图像。32.—种电子设备，包括处理器；以及存储器单元，可操作地连接到所述处理器，并且包括用于管理用于可伸缩视频编码的解码图像緩存的计算机程序产品，包括用于将比特流中属于第一层的第一已解码图像接收到所述解码图像緩存中的计算机代码；用于接收属于第二层的第二已解码图像的计算机代码；用于根据对所述第二已解码图像的接收，确定所述第一已解码图像是否要求用于层间预测参考的计算机代码；以及用于如果所述第一已解码图像不再要求用于层间预测参考、帧间预测参考和将来的输出，则将所述第一已解码图像从所述解码图像緩存中移除的计算机代码。33.根据权利要求32所述的电子设备，其中所述存储器单元还包括用于携带涉及在所述比特流中用信号发送的解码顺序中后续的图像的可能层间预测参考的指示的信息的计算机代码。34.根据权利要求33所述的电子设备，其中所述可能层间预测参考的指示在片报头中用信号发送。35.根据权利要求33所述的电子设备，其中所述可能层间预测参考的指示在网络提取层(NAL)单元报头中用信号发送。36.根据权利要求33所述的电子设备，其中所述确定所述第一已解码图像是否要求用于层间预测参考包括选择性地将所述第一已解码图像标记为"不用于层间参考"。37.根据权利要求36所述的电子设备，其中如果所述第一图像属于与所述第二图像相同的存取单元，则将所述第一已解码图像标记为"不用于层间参考"。38.根据权利要求37所述的电子设备，其中根据所述比特流中的信令来确定所述第一已解码图像是否被标记为"不用于层间参考，，。39.根据权利要求36所述的电子设备，其中如果所述第一图像的可能层间预测参考的指示为正并且被标记为"用于层间参考"，则将所述第一已解码图像标记为"不用于层间参考"。40.根据权利要求39所述的电子设备，其中根据所述比特流中的信令来确定所述第一已解码图像是否被标记为"不用于层间参考，，。41.根据权利要求36所述的电子设备，其中如果所述第一图像具有小于第二图像的dependency—id值，或者具有与所述第二图像相同的dependency—id值、但是比所述第二图<象小的quality—level值，则所述第一已解码图像被标记为"不用于层间参考"。42.根据权利要求41所述的电子设备，其中根据所述比特流中的信令来确定所述第一已解码图像是否被标记为"不用于层间参考"。43.根据权利要求36所述的电子设备，其中如果所述第一图像被标记为"不用于参考"或者是非参考图像；如果所述第一图像被标记为"不用于层间参考"或者其可能层间预测参考指示为负；以及如果所述第一图像被标记为"非存在"、不在所期望的可伸缩层或者其解码图像緩存输出时间小于或等于所述第二图像的编码图像緩存移除时间，则所述第一已解码图像被确定为不再要求用于层间预测参考。44.根据权利要求43所述的电子设备，其中，如果所述第一已解码图像是参考帧，则仅当在所述第一已解码图像的两个字段都被标记为"不用于参考"时，所述第一已解码图像才被考虑标记为"不用于参考"。45.根据权利要求32所述的电子设备，其中如果所述第一已解码图像不在用于回放所期望的可伸缩层，则所述第一已解码图像不需要用于将来的输出。46.根据权利要求32所述的电子设备，其中所述比特流包括第一子比特流和第二子比特流，所述第一子比特流包括属于所述第一层的已编码图像，所述第二子比特流包括所述第二层的图像。47.根据权利要求32所述的电子设备，其中所述电子设备包括解码器，配置以从所述比特流中读取用于可能参考的指示和存储器管理控制操作的语法元素。48.—种用于形成图像的编码流的编码器，所述图像被定义为参考图像或非参考图像，并且针对所述流中的图像定义了涉及图像解码顺序和输出顺序的信息，其中所述编码器将用于可能参考的指示和存储器管理控制操作的语法元素放置在所述流中，所述语法元素由权利要求32所述的电子设备来生成。49.一种比特流，包括语法元素，根据第二层的第二已解码图像提供选择性地将第一层的第一已解码图像从解码图像緩存移除的指示。50.—种计算机设备，其实现根据权利要求48的生成比特流的编码器。51.—种比特流，包括语法元素，根据第二层的第二已解码图像提供选择性地将第一层的第一已解码图像从解码图像緩存移除的指示，其中所述语法元素根据权利要求1所述的方法进行设置。52.—种管理用于可伸缩视频编码的解码图像緩存的方法，包括将比特流中属于第一层的第一已解码图像接收到所述解码图像緩存中；接收属于第二层的第二已解码图像；根据对所述第二已解码图像的接收，确定所述第一已解码图像是否要求用于层间预测参考、帧间预测参考和将来的输出；以及如果所述第一已解码图像不再要求用于层间预测参考、帧间预测参考和将来的输出，则将所述第一已解码图像从所述解码图像緩存中移除。全文摘要一种系统和方法，用于使得在已解码图像一旦不再需要用于预测参考和将来的输出，就将该已解码图像从解码图像缓存中移除。在比特流中引入指示以指示图像是否用于层间预测参考，以及使用该指示的解码图像缓存管理方法。本发明包括将图像标记为用于层间参考或不用于层间参考的进程、将已解码图像存储入解码图像缓存的存储进程、参考图像的标记进程以及将已解码图像从解码图像缓存中输出和移除的进程。文档编号H04N7/26GK101317459SQ200680044486公开日2008年12月3日申请日期2006年10月11日优先权日2005年10月11日发明者M·安尼克塞拉,S·文格尔,Y-K·王申请人:诺基亚公司