专利名称：：在多视图视频编码中用信号通知视图可分级性的方法和装置的制作方法
技术领域：
：本原理一般地涉及视频编码和解码，更具体地涉及在多视图视频编码中用信号通知视图可分级性(viewscalability)的方法和装置。
背景技术：
：多视图视频编码(MVC)序列是一组从不同的视点捕捉相同场景的两个或更多个碎见频序列。在用于多视图视频编码(MVC)的联合模型中，提出对于NAL单元首部使用以下语法，如表1所示。表1<table>tableseeoriginaldocumentpage5</column></row><table><table>tableseeoriginaldocumentpage6</column></row><table>然而，这仅仅提供时间可分级性，而不提供视图可分级性，并且时间可分级性仅仅是可选的。此外，在用于多视图视频编码(MVC)的联合模型中，序列参数集(SPS)包括可用来导出信息的语法元素，该信息继而能够被用于视图可分级性。在下面在表2中示出这些语法元素。表2<table>tableseeoriginaldocumentpage6</column></row><table><formula>formulaseeoriginaldocumentpage7</formula>然而，这一方法需要递归调用并且可能成为简单路由器的负担。
发明内容本原理解决了现有技术的这些和其它缺点和劣势，本原理针对的是用于在多视图视频编码(MVC)中用信号通知视图可分级性的方法和装置。根据本原理的一个方面，提供了一种装置。该装置包括编码器，用于将与多视图视频内容相对应的至少一个视图的至少一个画面编码在所得到的比特流中。该编码器使用消息、字段、标志和语法元素中的至少一个而用信号通知用于支持至少一个视图的视图可分级性的视图方向和视图等级(level)中的至少一个。根据本发明的另一方面，提供了一种方法。该方法包括将与多视图视频内容相对应的至少一个^L图的至少一个画面编码在所得到的比特流中。该编码步骤包括使用消息、字段、标志和语法元素中的至少一个而用信号通知用于支持至少一个视图的视图可分级性的视图方向和视图等级中的至少一个。根据本发明的另一方面，提供了一种装置。该装置包括解码器，用于从所得到的比特流中将与多视图视频内容相对应的至少一个视图的至少一个画面解码。该解码器使用消息、字段、标志和语法元素中的至少一个确定用于支持至少一个视图的视图可分级性的视图方向和视图等级中的至少一个。根据本发明的另一方面，提供了一种方法。该方法包括从所得到的比特流中将与多视图视频内容相对应的至少一个视图的至少一个画面解码。该解码步骤包括使用消息、字段、标志和语法元素中的至少一个确定用于支持至少一个视图的视图可分级性的视图方向和视图等级中的至少一个。根据应当结合附图阅读的对示例实施例的以下详细描述，本原理的这些和其它方面、特征和优点将变得显而易见。根据以下示例图，将更好地理解本原理，在附图中图1是根据本原理实施例的可应用本原理的示例多视图视频编码(MVC)编码器的框图2是根据本原理实施例的可应用本原理的示例多视图视频编码(MVC)解码器的框图3是根据本原理实施例的可应用本原理的视图可分级性示例的图；图4是根据本原理实施例的、用于将多视图视频内容编码并用信号通知其视图可分级性的示例方法的流程图；以及图5是根据本原理实施例的、用于将多视图视频内容解码并且确定其视图可分级性的示例方法的流程图。具体实施例方式本原理针对用于在多视图视频编码(MVC)中用信号通知视图可分级性的方法和装置。本描述说明本原理。因此，将认识到，本领域技术人员将能够设计尽管在这里没有被明确描述或示出，但是能够实施本原理并且被包括在其精神和范围内的各种配置。在此阐述的所有示例和条件性语言意欲用于教导的目的，以便帮助读者理解本原理以及发明人为了促进本领域而贡献的构思，并且应当被解释为不限于这种具体阐述的示例和条件。此外，在此阐述本原理的原理、方面和实施例的所有陈述及其特定示例意在嚢括其结构和功能等价物。此外，意在这种等价物包括当前已知的等价物以及将来开发的等价物，即，所开发的执行相同功能的任何元件，而与结构无关。因此，例如，本领域技术人员将认识到，在此呈现的框图表示实施本原理的说明性电路的概念性视图。类似地，将认识到，任何流程图表、流程图、状态转移图、伪代码等表示基本上可以在计算机可读介质中表示出并且由此可以由计算机或处理器执行的各种处理，无论这种计算机或处理器是否被明确示出。可以通过使用专用硬件以及与适当软件相关联的能够执行软件的硬件来提供图中示出的各种元件的功能。当由处理器提供时，所述功能可由单个专用处理器、单个共享处理器、或者其中一些可被共享的多个单独的处理器来提供。此外，术语"处理器"或"控制器"的明确使用不应被解释为专指能够执行软件的硬件，而是可以不受限制地隐含地包括数字信号处理器("DSP，，)硬件、用于存储软件的只读存储器("ROM")、随机存取存储器("RAM")和非易失性存储装置。还可以包括其它传统的和/或定制的硬件。类似地，图中示出的任何开关仅仅是概念性的。它们的功能可以通过程序逻辑的操作、专用逻辑、程序控制和专用逻辑的交互、或者甚至手动地执行，如根据上下文更具体地理解的那样，可以由实施者选择具体技术。在这里的权利要求中，被表述为用于执行指定功能的部件的任何元素意在嚢括执行该功能的任何方式，例如包括a)执行该功能的电路元件的组合，或者b)与适当电路组合的、采用任何形式从而包括固件或微代码等的软件，所述适当电路用于执行该软件以执行所述功能。由这样的权利要求限定的本原理在于以下事实按照权利要求所要求的方式组合和集合由各种所述部件提供的功能性。因此，认为能够提供那些功能性的任何部件都等同于这里示出的那些。在本说明书中提到本原理的"一个实施例"或"实施例"是指结合该实施例描述的特定特征、结构、特性等被包括在本原理的至少一个实施例中。因此，在本说明书中各个地方出现的短语"在一个实施例中"或"在实施例中"的出现不一定都指的是相同的实施例。如在这里使用的那样，"高级(highlevel)语法，，是指存在于在等级上位于宏块层之上的比特流中的语法。例如，如在这里使用的那样，高级语法可以指但不限于片段首部等级、补充增强信息(SEI)等级、画面参数集(PPS)等级、序列参数集(SPS)等级和网络抽象层(NAL)单元首部等级上的语法。"I-视图"是指这样的视图该视图可以使用仅从相同视图内的解码样本进行的预测来解码，并且不依赖于任何其它视图，从而能够被独立解码。"P视图，，是指这样的视图该视图可以使用从相同视图内的解码样本进行的预测来解码，或者可以使用仅利用列表0放置先前解码的参考画面而从所述参考画面进行的视图间预测来解码。"B视图，，是指这样的视图该视图可以使用从相同视图内的解码样本进行的预测来解码，或者可以使用利用列表0和列表1放置先前解码的参考画面而从所述参考画面进行的视图间预测来解码。"视图等级，，表示特定NAL单元的视图可分级性的等级。"视图方向"表示相对于作为中心视图的I-视图的4个方向之一。可能的方向是左、右、上或下。转到图1,利用参考标号100来总地表示示例多视图视频编码(MVC)编码器。编码器100包括组合器105，该组合器105具有在信号通信上与变换器110的输入相连接的输出。变换器110的输出在信号通信上与量化器115的输入相连接。量化器115的输出在信号通信上与熵编码器120的输入以及逆量化器125的输入相连接。逆量化器125的输出在信号通信上与逆变换器130的输入相连接。逆变换器130的输出在信号通信上与组合器135的第一正相输入相连接。组合器135的输出在信号通信上与内预测器(intrapredictor)145的输入和去块滤波器150的输入相连接。去块滤波器150的输出在信号通信上与参考画面存储器155(用于视图i)的输入相连接。参考画面存储器155的输出在信号通信上与运动补偿器175的第一输入和运动估计器180的第一输入相连接。运动补偿器180的输出在信号通信上与运动补偿器175的第二输入相连接。参考画面存储器160(用于其它视图)的输出在信号通信上与差异(disparity)估计器170的第一输入和差异补偿器165的第一输入相连接。差异估计器170的输出在信号通信上与差异补偿器165的第二输入相连接。熵解码器120的输出可用作编码器100的输出。组合器105的正相输入可用作编码器100的输入，并且在信号通信上与差异估计器170的第二输入和运动估计器180的第二输入相连接。开关185的输出在信号通信上与组合器135的第二正相输入和组合器105的反相输入相连接。开关185包括在信号通信上与运动补偿器175的输出相连接的第一输入、在信号通信上与差异补偿器165的输出相连接的第二输入、以及在信号通信上与内预测器145的输出相连接的第三输入。转到图2,利用参考标号200来总地表示示例多视图视频编码(MVC)解码器。解码器200包括熵解码器205，其具有在信号通信上与逆量化器210的输入相连接的输出。逆量化器的输出在信号通信上与逆变换器215的输入相连接。逆变换器215的输出在信号通信上与组合器220的第一正相输入相连接。组合器220的输出在信号通信上与去块滤波器225的输入和内预测器230的输入相连接。去块滤波器225的输出在信号通信上与参考画面存储器240(用于i视图)的输入相连接。参考画面存储器240的输出在信号通信上与运动补偿器235的第一输入相连接。参考画面存储器245(用于其它视图)的输出在信号通信上与差异补偿器250的第一输入相连接。熵编码器205的输入可用作到解码器200的输入，用于接收残留的(residue)比特流。此外，开关255的控制输入也可用作到解码器200的输入，用于接收控制语法以便控制开关255选择哪个输入。另外，运动补偿器235的第二输入可用作解码器200的输入，用于接收运动向量。此外，差异补偿器250的第二输入可用作到解码器200的输入，用于接收差异向量。开关255的输出在信号通信上与组合器220的第二正相输入相连接。开关255的第一输入在信号通信上与差异补偿器250的输出相连接。开关255的第二输入在信号通信上与运动补偿器235的输出相连接。开关255的第三输入在信号通信上与内预测器230的输出相连接。模式模块260的输出在信号通信上与开关255相连接，用于控制开关255选择哪个输入。去块滤波器225的输出可用作解码器的输出。根据本原理，提供用于在多视图视频编码(MVC)中用信号通知视图可分级性的方法和装置。在实施例中，使用消息、字段、标志和语法元素中的至少一个来用信号通知和/或指示视图可分级性。在实施例中，通过高级语法元素来用信号通知视图可分级性。例如，在实施例中，通过在网络抽象层(NAL)单元首部内用信号通知视图可分级性来支持视图可分级性。如上所述，在多视图视频编码(MVC)的当前实现中，不存在支持视图可分级性的方法。在实施例中，我们通过修改NAL单元首部来解决该问题。也就是说，我们将足以支持视图可分级性的与视图可分级性有关的信息包括在NAL单元首部内。在其它实施例中，可以在包括但不限于序列参数集(SPS)、画面参数集(PPS)、补偿增强信息(SEI)消息、和片段首部中的语法的一个或多个其它高级语法中提供用于指示视图可分级性的高级语法。应当认识到，可以在带内或带外用信号通知视图可分级性信息。在NAL单元首部实施例的一个实现中，我们描述NAL单元首部中的现有比特的重新使用以便用信号通知视图可分级性信息。因此，我们提出用信号通知视图方向，并且对于每个视图，我们提出用信号通知可分级性。对于I-视图，可以使用后缀NAL单元来描述属于此视图的NAL单元，从而对于该视图不需要方向信息。对于所有其它视图，在实施例中，可以使用两比特来用信号通知方向。当然，也可以使用不同数目的比特，同时保持本原理的精神。在图3中并且使用表1的所提出的语法图示视图可分级性的实施例。转到图3,利用参考标号300来总地表示可应用本原理的视图可分级性示例。在图3中，我们有从中心I-视图起的4个方向。I-视图不需要方向信息，因为将利用与国际标准化组织/国际电工委员会(ISO/IEC)运动画面专家组-4(MPEG-4)第10部分高级视频编码(AVC)标准/国际电信联盟，电信部分(ITU-T)H.264推荐稿(以下称为"MPEG-4AVC标准，，)兼容的语法来对其进行编码，并且将使用后缀NAL单元来用信号通知该信息。使用两比特的view—direction语法元素来指示所有其它视图方向。这在图3中的前两个比特中示出。图3中的其它三个比特对应于view—level信息。4吏用这五个比特的组合，可以实现粗略的浮见图可分级性。例如，如果将目标佳/没置为view—direction<=01并且view—level=000,则在此情况下，将选择I-视图、方向0和方向1。在每个视图内，只有P-视图会被选择，并且所有B-视图将被丢弃。可能存在两比特不足以分配方向的情况。在这种情况下，一种解决方案是将照相机分组。该信息还用信号通知相关性信息，从而也可被用于粗略的随机访问。例如,如果我们需要方向2上的P-视图，则我们设置view—direction=10并且viewlevel==000。这样，我们可以实现方向2上的随机访问P-视图。表3<table>tableseeoriginaldocumentpage12</column></row><table><table>tableseeoriginaldocumentpage13</column></row><table>转到图4,利用参考标号400来总地表示用于将多视图视频内容编码并且用信号通知其视图可分级性的示例方法。方法400包括将控制传递到功能块405的开始块400。功能块405读取编码器配置文件，并且将控制传递到功能块415。功能块415将view—direction,view—level和viewjd设置为用户定义的值，并且将控制传递到功能块420。功能块420在序列参数集(SPS)、画面参数集(PPS)、视图参数集(VPS)、片段首部、和/或NAL单元首部中设置view—level、view—id和view—direction,并且将控制传递到功能块425。功能块425使视图数目等于变量N，使变量i(视图编号索引)和j(画面编号索引)等于0,并且将控制传递到判定块430。判定块430确定i是否小于N。如果是，则将控制传递到功能块435。否则，将控制传递到功能块470。功能块435确定j是否小于视图i中的画面数目。如果是，则将控制传递到功能块440。否则，将控制传递到功能块490。功能块440开始将当前宏块编码，并且将控制传递到功能块445。功能块445选择宏块模式，并且将控制传递到功能块450。功能块450将当前宏块编码，并且将控制传递到判定块455。判定块455确定是否所有宏块都已经被编码。如果是，则将控制传递到功能块460。否则，使控制返回功能块440。功能块460递增变量j,并且将控制传递到功能块465。功能块465递增frame—num和画面顺序计数(POC)值，并且4吏控制返回判定块435。判定块470确定是否在带内用信号通知序列参数集(SPS)、画面参数集(PPS)、和/或视图参数集(VPS)。如果是，则将控制传递到功能块475。否则，将控制传递到功能块480。功能块475将序列参数集(SPS)、画面参数集(PPS)、和/或视图参数集(VPS)写入文件(带内)，并且将控制传递到功能块485。功能块480在带外写入序列参数集(SPS)、画面参数集(PPS)、和/或视图参数集(VPS)，并且将控制传递到功能块485。功能块485将比特流写入文件或者经由网络流式传送该比特流，并且将控制传递到结束块499。功能块490递增变量i，重置frame—num和画面顺序计数(POC)值，并且使控制返回判定块430。转到图5，利用参考标号500来总地指示用于将多视图视频内容解码并且确定其视图可分级性的示例方法。方法500包括将控制传递到功能块510的开始块505。功能块510从序列参数集(SPS)、画面参数集、视图参数集、片段首部、和/或NAL单元首部分析view—id、view—direction和view—level，并且将控制传递到功能块515。功能块515使用view—direction、view—level和view—id来确定是否需要将当前画面解码(检查相关性)，并且将控制传递到判定块520。判定块520确定当前画面是否需要解码。如果是，则将控制传递到功能块530。否则，将控制传递到功能块525。功能块525获取下一个画面，并且将控制传递到功能块530。功能块530分析片段首部，并且将控制传递到功能块535。功能块535分析宏块模式、运动向量和refjdx，并且将控制传递到功能块540。功能块540将当前宏块解码，并且将控制传递到判定块545。判定块545确定是否已经将所有宏块解码。如果是，则将控制传递到功能块550。否则，使控制返回功能块535。功能块550将当前画面插入解码画面緩沖器，并且将控制传递到判定块555。判定块555确定是否已经将所有画面解码。如果是，则将控制传递到结束块599。否则，使控制返回功能块530。现在，将给出对于本发明的很多伴随的优点/特征中的一些的描述，所述优点/特征中的一些已经在上面提到过。例如，一个优点/特征是包括用于将与多视图视频内容相对应的至少一个视图的至少一个画面编码在所得到的比特流中的编码器的装置。该编码器使用消息、字段、标志和语法元素中的至少一个而用信号通知用于支持至少一个视图的视图可分级性的视图方向和视图等级中的至少一个。另一个优点/特征是具有如上所述的编码器的装置，其中，所述语法元素是高级语法元素。另一个优点/特征是具有所述编码器的所述装置，所述编码器使用如上所述的高级语法元素，其中，所述高级语法元素被包括在序列参数集、画面参数集、补充增强信息消息、片段首部、和网络抽象层单元首部的至少一个中。另一个优点/特征是具有如上所述的编码器的装置，其中，通过带内和带外的至少一种而用信号通知^L图方向和-现图等级中的至少一个。此外，另一个优点/特征是具有如上所述的编码器的装置，其中，使用视图方向和视图等级作为相关性信息。此外，另一个优点/特征是具有所述编码器的装置，其中，如上所述使用视图方向和视图等级作为相关性信息，其中所述相关性信息用于解码器对至少一个视图的随机访问。此外，另一个优点/特征是具有如上所述的编码器的装置，其中，使用后缀网络抽象层单元来指定紧接在前面的网络抽象层单元，并且其中，在后缀网络抽象层单元中用信号通知视图方向和视图等级。基于这里的教导，本相关领域普通技术人员可以容易地确定本原理的这些和其它特征和优点。应当理解的是，可以用硬件、软件、固件、专用处理器或其组合的各种形式来实现本原理的教导。最优选的是，作为硬件和软件的组合来实现本原理的教导。此外，可以序可以被上载到包括任何适当架构的机器并由其执行。优选地，在具有诸如一个或多个中央处理单元("CPU")、随机存取存储器("RAM")和输入/输出("I/O")接口的硬件的计算机平台上实现所述机器。该计算机平台还可以包括操作系统和微指令代码。在此描述的各种处理和功能可以是可由CPU执行的微指令代码的一部分或应用程序的一部分或者它们的任何组合。此外，诸如附加的数据存储单元和打印单元的各种其它外围单元可以连接到该计算机平台。还应当理解，因为优选地用软件来实现在附图中示出的一些组成系统组件和方法，所以这些系统组件或处理功能块之间的实际连接可以根据本原理被编排的方式而不同。给出这里的教导，相关领域的普通技术人员将能够想到本原理的这些和类似的实现或配置。尽管在这里参照附图描述了说明性实施例，但是应当理解，本原理不限变和修改，而不背离本原理的范围或精神。所有这样的改变和修改都意在被包括在如所附权利要求阐述的本原理的范围内。权利要求1.一种装置，包括编码器(100)，用于将与多视图视频内容相对应的至少一个视图的至少一个画面编码在所得到的比特流中，其中，所述编码器使用消息、字段、标志和语法元素中的至少一个用信号通知用于支持至少一个视图的视图可分级性的视图方向和视图等级中的至少一个。2.如权利要求l所述的装置，其中，所述语法元素是高级语法元素。3.如权利要求2所述的装置，其中，所述高级语法元素被包括在序列参数集、画面参数集、补充增强信息消息、片段首部、和网络抽象层单元首部的至少一个中。4.如权利要求l所述的装置，其中，通过带内和带外的至少一种用信号通知视图方向和视图等级中的至少一个。5.如权利要求l所述的装置，其中，使用视图方向和视图等级作为相关性信息。6.如权利要求5所述的装置，其中所述相关性信息用于解码器对至少一个一见图的随才几访问。7.如权利要求l所述的装置，其中，使用后缀网络抽象层单元来指定紧接在前面的网络抽象层单元，并且其中，在后缀网络抽象层单元中用信号通知视图方向和视图等级。8.—种方法，包括将与多视图视频内容相对应的至少一个视图的至少一个画面编码在所得到的比特流中，其中，所述编码步骤包括使用消息、字段、标志和语法元素中的至少一个用信号通知用于支持至少一个视图的视图可分级性的视图方向和浮见图等级中的至少一个(475，480)。9.如权利要求8所述的方法，其中，所述语法元素是高级语法元素(475，480)。10.如权利要求9所述的方法，其中，所述高级语法元素被包括在序列参数集、画面参数集、补充增强信息消息、片段首部、和网络抽象层单元首部中的至少一个中(475,480)。11.如权利要求8所述的方法，其中，通过带内(475)和带外(480)的至少一个用信号通知视图方向和视图等级中的至少一个。12.如权利要求8所述的方法，其中，使用视图方向和视图等级作为相关性信息。13.如权利要求12所述的方法，其中所述相关性信息用于解码器对至少一个视图的随机访问。14.如权利要求8所述的方法，其中，使用后缀网络抽象层单元来指定紧接在前面的网络抽象层单元，并且其中，在后缀网络抽象层单元中用信号通知视图方向和视图等级。15.—种装置，包括解码器(200),用于从所得到的比特流中将与多视图视频内容相对应的至少一个视图的至少一个画面解码，其中所述解码器使用消息、字段、标志和语法元素中的至少一个确定用于支持至少一个视图的视图可分级性的视图方向和视图等级中的至少一个。16.如权利要求15所述的装置，其中，所述语法元素是高级语法元素。17.如权利要求16所述的装置，其中，所述高级语法元素被包括在序列参数集、画面参数集、补充增强信息消息、片段首部、和网络抽象层单元首部中的至少一个中。18.如权利要求15所述的装置，其中，通过带内和带外的至少一种用信号通知视图方向和视图等级中的至少一个。19.如权利要求15所述的装置，其中，使用视图方向和视图等级作为相关性信息。20.如权利要求19所述的装置，其中所述相关性信息用于对所述至少一个视图的随机访问。21.如权利要求15所述的装置，其中，使用后缀网络抽象层单元来指定紧接在前面的网络抽象层单元，并且其中，在后缀网络抽象层单元中用信号通知视图方向和视图等级。22.—种方法，包括从所得到的比特流中将与多视图视频内容相对应的至少一个视图的至少一个画面解码，其中所述解码步骤包括使用消息、字段、标志和语法元素中的至少一个确定用于支持至少一个视图的视图可分级性的视图方向和视图等级中的至少一个(515)。23.如权利要求22所述的方法，其中，所述语法元素是高级语法元素(510)。24.如权利要求23所述的方法，其中，所述高级语法元素被包括在序列参数集(SPS)、画面参数集(PPS)、补充增强信息(SEI)消息、片段首部、和网络抽象层(NAL)单元首部中的至少一个中(510)。25.如权利要求22所述的方法，其中，通过带内和带外的至少一种用信号通知视图方向和视图等级中的至少一个。26.如权利要求22所述的方法，其中，使用视图方向和视图等级作为相关性信息。27.如权利要求26所述的方法，其中所述相关性信息用于对所述至少一个视图的随机访问。28.如权利要求22所述的方法，其中，使用后缀网络抽象层单元来指定紧接在前面的网络抽象层单元，并且其中，在后缀网络抽象层单元中用信号通知视图方向和视图等级。29.—种用于视频编码的视频信号结构，包括被编码在所得到的比特流中的、与多视图视频内容相对应的至少一个视图的至少一个画面，其中，使用消息、字段、标志和语法元素中的至少一个用信号通知用于支持至少一个视图的视图可分级性的视图方向和视图等级中的至少一个。30.—种存储介质，视频信号数据被编码在其上，该存储介质包括被编码在所得到的比特流中的、与多视图视频内容相对应的至少一个视图的至少一个画面，其中，使用消息、字段、标志和语法元素中的至少一个用信号通知用于支持至少一个视图的视图可分级性的视图方向和视图等级中的至少一个。全文摘要提供了用于在多视图视频编码中用信号通知视图可分级性的方法和装置。一种装置包括编码器(100)，用于将与多视图视频内容相对应的至少一个视图的至少一个画面编码在所得到的比特流中。所述编码器使用消息、字段、标志和语法元素中的至少一个而用信号通知用于支持至少一个视图的视图可分级性的视图方向和视图等级中的至少一个。文档编号H04N7/26GK101518086SQ200780035056公开日2009年8月26日申请日期2007年7月10日优先权日2006年7月20日发明者克里斯蒂娜·戈米勒,吉尔·M·博伊斯,澎尹,珀文·B·潘迪特,苏野平申请人:汤姆森特许公司