专利名称：用于包含多视点视频编码的参考图像管理的方法
技术领域：
本发明涉及运动图像(moving pictures)领域,更具体地,涉及与多视点视频编码(multview video coding)相关联的运动图形的存储维护(memory maintenance)的课题。
背景技术：
许多巾贞间编码(interframe encoding)系统使用参考图像(reference picture),使用这种参考图像有助于降低编码比特流的大小。这样的结果就是编码效率比仅仅使用帧内编码(intraframe encoding)技术要高。因此,许多编码标准既包含巾贞内也包含巾贞间编码技术，以编码一系列移动图像的比特流。在现有技术中，不同类型的参考图像用于编码标准，例如“I”图像，其只使用图像自身内(巾贞内)的元素进行编码，又例如“B”图像，其通过使用来自图像自身内部的元素和/或来自两个先前参考图像(帧间)的元素进行编码，再例如“P”图像，其通过使用来自图像自身内部的元素和/或来自一个先前参考图像(巾贞间)的元素进行编码。“B”图像和“P”图像都可以使用多个参考图像，但是这两种类型的图像之间的区别在于，“B”图像每块可以使用至多两个运动补偿的预测信号的帧间预测，而“P”图像对于每个预测块只允许使用一个预测器。当“B”图像或“P”图像被编码和/或解码时，这种图像因而取决于其他参考帧，从而这种图像在解码过程中可以被正确编码或构建。编码/解码系统应当提供某种类型的存储单元(memory location),从而在其他图像在由参考图像编码或解码时可以存储这种参考图像。显而易见，不久以后，参考图像就不能被用于编码操作，因为不再有需要编码的图像在以后的编码操作中使用参考图像。虽然可以将全部参考图像永久地存储在存储装置中，但是这种方案将导致存储器资源的无效率使用。因此，现有技术中的存储技术，例如先入先出(FIFO)或后入后出(LIFO)存储操作，可以用于操作用来存储参考图像的存储器，从而(通过丢弃不需要的参考图像)协助降低用于存储这种参考图像的空间。但是当考虑使用多视点编码系统时(其中被编码和/或解码的图像既具有时间相互关系也具有视点相互关系)，这种存储操作就会产生不需要的结果。即，多视点编码系统会产生移动图像的多视点的问题，其中每个视点代表各个对象/场景的不同视点。现在，参考图像将被用于与两个不同视点相关联的图像的编码或者解码。因此，简单的存储技术不能被用于这种环境。
发明内容
本发明能够解决现有技术的上述缺点和不足。本发明涉及一种用于再利用可用的运动信息作为运动估计预测器以进行视频编码的方法和装置。根据本发明原理的一个方面，提出了一种编码器，其根据来自由解码器解码的图像的信息对存储在存储器中的参考图像进行存储管理操作，其中这种信息与关联于该参考图像的视点信息相关。根据本发明原理的另一方面，提供了一种用于多视点视频编码的参考图像的存储管理的方法，该方法包括以下步骤在存储器中存储第一参考图像，其中所述第一参考图像与存储状态和第一视点相关联，所述存储状态选自长期参考图像、短期参考图像、以及非用于参考图像；以及在对与第二视点相对应的图像执行了视频编码操作之后，通过分配存储改变指令以将所述存储状态改变为选自长期参考图像、短期参考图像、以及非用于参考图像的不同状态，来改变所述存储的第一参考画面的存储状态，所述改变取决于所述第一参 考图像的第一视点和所述图像的第二视点。通过下面结合附图对本发明的实施方式进行的详细说明，本发明的上述和其他方面以及特征和优点将变得显而易见。
根据参照下面附图的详细说明，本发明的原理将得到更好的理解。图I是根据本发明实施方式的不同时间的视频图像视点的多视点编码，其中这种视频图像使用参考图像按照图中所示的方式进行编码；图2是根据本发明原理的视频编码器的示例性实施方式；图3是在根据本发明实施方式所用的语法元素dec_ref_pic_marking()的伪代码的实施方式；图4是在根据本发明实施方式所用的语法元素seq_parameter_set_mvc_extension O的伪代码的实施方式；图5是在根据本发明实施方式所用的语法元素dec_ref_pic_marking_mvc_extension O的伪代码的实施方式；图6是在根据本发明实施方式所用的样本图像头部的实施方式；图7是在根据本发明实施方式所用的语法元素dec_ref_pic_marking_mvc_extension O的伪代码的实施方式；图8是在根据本发明实施方式所用的样本图像头部的实施方式； 图9是在根据本发明实施方式所用的语法元素dec_ref_pic_marking_mvc_extension O的伪代码的实施方式；图10是在根据本发明实施方式所用的语法元素dec_ref_pic_marking_mvc_extension O的伪代码的实施方式；图11是根据本发明实施方式的图像标记方法的流程图。
具体实施例方式本发明的原理可以适用于任何基于帧内和帧间的编码标准。本说明书中使用的术语“图像”是一个用于描述各种形式的视频图像信息的通用术语，所述视频图像信息在本领域中可以理解为“帧(frame)”、“场(field)”、“条(slice)”以及“图像(picture)”本身。并且，在对本发明的说明中，在附图中详细描述了使用C语言类型格式编写的各种指令(语法元素/syntax element),对这种指令中的描述符(descriptor)使用下列命名法。u(η):使用η比特的无符号整数。当η为语法表中的“V”时，比特数按照取决于其他语法元素的值的方式变化。对于此描述符的解析通过函数read_bits(n)的返回值(return value)来确定，其被解释为无符号整数的以最高有效位在先书写(mostsignificant bit written first)的二进制表不。ue(v):左位在先(left bit first)的无符号整数Exp-Golomb编码的语法元素。se (V):左位在先的带符号整数Exp-Golomb编码的语法元素。C表示语法元素所适用的类，即一个特定的场应当适用于那一级。本说明书解释了本发明的原理。虽然在本说明书中并未描述，但本领域普通技术人员在本发明的原理和范围之内能够设想出各种实施方式。本说明书中所采用的示例性和条件性的语言的目的在于帮助阅读者理解由发明人对现有技术进行改进的本发明的原理和概念，本发明并不局限于这种特定的实例和条件。并且，对于本发明原理、方面和实施方式以及特定实例的所有陈述都意在包括等同的结构和功能。另外，这种等同结构和功能包括当前已知和以后开发出来的结构和功能、即不论结构如何而用来执行相同功能的任何元件。因此，例如，本领域普通技术人员可以理解，说明书中的框图表示根据本发明原理的实施方式的示例性电路的概念性图示。类似地，可以理解，任何流程图、操作程序图、状态转换图、伪代码等都表示能够有计算机可读介质表示并因而由计算机或处理器执行的各种过程步骤，这种计算机或处理器是否明确示出并无关系。附图中所示各种元件的功能可以与适当的软件联合通过使用专用硬件以及能够执行软件的硬件来提供。当通过处理器提供时，该功能可以通过单个专用处理器、单个共享处理器或者多个处理器(某些可以共享)来提供。并且，术语“处理器”或者“控制器”的明确使用不应当被理解为专指能够执行软件的硬件，还可以非限制性地包括数字信号处理器(DSP)、用于存储软件的只读存储器(ROM)、随机访问存储器(RAM)以及非易失性存储器。其他普通和/或定制硬件也可以包括进来。类似地，图中所示的任何开关都是概念性的。其功能可以通过程序逻辑、专用逻辑、程序控制和专用逻辑的相互作用甚至手动操作来执行，实施者可以根据应用环境选择特定的技术。在权利要求中，任何被表达为用于执行特定功能的元件都包括执行该功能的任何方式，例如a)执行该功能的电路元件的组合；b)任何形式的软件，包括固件、微代码等，与适当的电路结合以执行该软件从而执行该功能。这些权利要求限定的本发明的原理基于的事实是，各个引用的装置所提供的功能型以权利要求要求的方式结合在一起。因此可以认为任何能够提供这些功能性的装置都等同于所述装置。说明书中所提到的本发明原理的“一个实施方式”或“实施方式”表示特定结合该实施方式描述的特征、结构、要素包括在本发明原理的至少一个实施方式中。因此，说明书、各个地方出现的表述“在一个实施方式中”或“在实施方式中”不一定指同一实施方式。图I是多视点编码系统中使用的参考图像结构的示例性实施方式。具体而言，所示结构涉及根据多视点编码(MVC)方案在时间(T0-T100)使用8个不同视点(S0-S7)，所述MVC 方案在 2006 年 7 月奥地利 Klagenfurt 的 JVT-T208. doc 的 A. Vetro, Y. Su、H. Kimata,A. Smolic 的“Joint Multiview Video Model (JMVM)1. 0”中提出。此多视点编码标准基于高级视频编码(AVC)标准(G. Sullivan、T. Wiegand、A. Luthra, “H. 264/AVC (ITU 推荐标准和 IS0/IEC 14496-10 (MPEG-4 % 10 部分)高级视频编码)”，Palma de Mallorca,ES18-22,2004年10月)。这两个标准的最大的区别在于AVC不解决对多视点图像的编码而MVC能够解决。请再参看图I，例如可以看出，当编码在时间Tl与视点SI相关联的图像时，需要编码的图像与来自相同视点(时间TO的SI和时间T2的SI)的图像(参考图像)相关联，并且需要编码的图像与来自不同视点(时间Tl的SO和时间Tl的S2)的图像相关联。因此，当编码与SI、Tl关联的图像时，重要的是要在存储装置(例如可以由硬件、软件或其组合实施的缓存器、寄存器、RAM等)中保存参考图像(时间TO的SI、时间T2的SI、时间Tl的SO和时间Tl的S2)。但是，当考虑在时间T98的图像S7的编码时，这种参考图像就不会起作用，因为时间T98的图像S7取决于使用与时间Tl的图像SI所用的不同的参考图像。用于编码操作的缓存器的有效存储管理的一个方案披露在与AVC视频标准相关的解码图像缓存器(DPB)的使用中。图2所示的简化的框图200显示了编码器205、编码缓存器210和解码图像缓存器215之间的操作。在编码操作(编码或者解码)过程中，由编码器205正在进行编码的图像存在于编码缓存器210中，而先前编码的参考图像存储在解码图像缓存器215中。AVC披露了使用称为存储管理控制运算(MMCO)的指令，能够让编码器205指明如何在解码图像缓存器215中保存参考图像。即，当图像被编码时，这种MMCO被输入至当前被编码的图像的头部以指明如何使用在该图像之前到达的参考图像。该操作被称为“标记(marking)”。这些指令随后可以由编码器205使用以确定如何使用存在于解码图像缓存器215中的参考图像。应当理解，虽然此处术语被用来表示各种元素视频信息，AVC指的是在这些参考图像可以使用来自相同图像的条作为“参考图像”时使用条，并且不论图像被如何再划分(sub-divided),本发明原理都适用。图3显示了用于执行MMCO指令的AVC中的指令(dec_ref_pic_marking)。具体而言，参考图像被标记为短期参考图像、长期参考图像，或者该图像被标记为非参考图像(在这种状况下，如果存储器需要，参考图像将被丢弃)。随着更多的图像被编码，参考图像的状态可以变化。例如，对于一个正被编码的图像指定的短期参考图像在第二图像被编码时可以被指定为长期参考图像。图3还显示了用于在两个不同模式之间执行图像头部(条头部)的标记的指令标志(adaptive_ref_pic_marking_flag)。当该标志被设定为“O”时,滑动窗口参考标记模式(sliding window reference marking mode)被启动,该模式为短期参考图像提供FIFO机制。当该标志被设定为“I”时，自适应参考图像标记模式(adaptive reference picturemarking mode)被启动，该模式提供语法元素以将参考图像标记为“非用于参考”并将长期帧索引赋值给参考图像等。通过AVC中使用的MMCO指令为参考帧进行的各种赋值示于下 面的表I中。
表I :
权利要求
1.一种用于多视点视频编码的参考图像的存储管理的方法，该方法包括以下步骤 在存储器中存储第一参考图像，其中所述第一参考图像与存储状态和第一视点相关联，所述存储状态选自长期参考图像、短期参考图像、以及非用于参考图像；以及 在对与第二视点相对应的图像执行了视频编码操作之后，通过分配存储改变指令以将所述存储状态改变为选自长期参考图像、短期参考图像、以及非用于参考图像的不同状态，来改变所述存储的第一参考画面的存储状态，所述改变取决于所述第一参考图像的第一视点和所述图像的第二视点。
2.如权利要求I所述的方法，其中，在随后的编码操作中不需要所述第一参考图像的情况下，所述第一参考图像的所述存储状态被改变为非用于参考图像。
3.如权利要求I所述的方法，其中，在执行了所述编码操作之后在所述第一视点与所述第二视点不同时，所述第一参考图像的所述存储状态被改变为非用于参考图像。
全文摘要
本发明描述了一种用于多视点视频编码的参考图像的存储管理的方法，该方法包括以下步骤在存储器中存储第一参考图像，其中所述第一参考图像与存储状态和第一视点相关联，所述存储状态选自长期参考图像、短期参考图像、以及非用于参考图像；以及在对与第二视点相对应的图像执行了视频编码操作之后，通过分配存储改变指令以将所述存储状态改变为选自长期参考图像、短期参考图像、以及非用于参考图像的不同状态，来改变所述存储的第一参考画面的存储状态，所述改变取决于所述第一参考图像的第一视点和所述图像的第二视点。
文档编号H04N7/36GK102780883SQ201210236780
公开日2012年11月14日 申请日期2007年10月12日 优先权日2006年10月13日
发明者尹鹏, 普尔温.比布哈斯.潘迪特, 苏野平 申请人:汤姆逊许可公司