专利名称：一种用于对多个视频流进行联合编码的方法和装置的制作方法
技术领域：
本发明涉及一种用于对多个输入视频流进行联合编码的方法。
背景技术：
在一些应用中，多个视频流在传输和存储之前需要被同时压縮。一个明显的方案是对每个流独立进行编码。通常来说，这是一种很大的处理资源消耗，比如说大多数已有编码器或多或少都遵循着相似的參考架构，其中整套的处理操作包括对与编码相关的语法(syntax)元素进行计算。进ー步地，大多数传统编码器从所接收的输入视频数据以及从那些经过计算的编码相关的语法元素，来构造预测的像素块(pixel block)的序列。然后处理这些预测的像素块，通常包括从输入视频流的相应块中减去这些预测的像素块的步骤，或者是相反的步骤，从而获得剩余的像素块的序列。该处理进ー步包括利用随后的量化和结合了与编码相关的语法元素的熵编码，对该剰余的像素块的序列进行变换，以获得传统的编码视频流。 尽管该编码方法现在已广为使用，但其仍然需要大量的处理能力，这是因为编码器需要为每ー个输入流计算编码相关的语法元素。这需要进行大量的处理工作。尤其是当若干个输入流被联合编码时，这种处理的工作与要被编码的输入流的数目呈倍数增长。另ー方面，已经被开发出可选择的编码机制，例如对所有的输入流进行联合编码，其目标是使整个输入流的集合的压缩效率最大化。举例来说，“多视图视频编码(MultiviewVideo Coding)”，此后简称为MVC，扩展最近被标准化为H. 264/AVC视频编码标准的附录X部分。MVC的目标是通过利用输入视频流之间的相似性来为输入视频流的集合的联合编码提供较好的压缩性能。正如其名称所示的那样，ー种潜在的应用是对通过多个摄像机获取的给定场景的多个视图进行编码。这些摄像机之间的距离越短，使用MVC进行多视图的联合压缩将获得的压缩越好。但是，MVC方法的缺点在于，它使得编码流之间产生很强的编码相互依存(interdependent)。这些缺点特别地表现在当解码器ー侧为了对多个编码流中的一个视频流进行解码时，来自视图间(inter-view)的预测步骤所需的所有其它视图的数据也都要进行解码。类似地，根据该MVC编码方法，如果要想显示给定的视频流，解码器要解码该所要显示的流所依赖的所有编码流。
发明内容
因此，本发明的一个目标是描述一种用于编码多个视频流的可选择的编码和解码方法，在编码器侧和解码器侧只需要较少的处理功率。根据本发明，通过提供用于编码多个视频流的方法来实现该目标，所述方法包括以下步骤接收所述多个视频流；构造预测的像素块的多个序列；将所述多个视频流的相应块连同预测的像素块的所述多个序列的所述预测像素块进行处理和熵编码，以生成经过编码的剰余像素数据的多个序列；其中所述预测的像素块的多个序列是由所述多个视频流生成的编码结构数据构造而成的；并且其中提供了所述编码的剰余像素数据的多个序列与參考数据，该參考数据包括作为所述多个视频流的编码数据的所述编码结构数据。按这种方式，经过编码的剩余像素数据流的多个序列将与包括编码结构数据的參考数据一起被生成。由于编码结构数据只需要被确定一次而不再需要对多个流中的每ー独立流进行确定，这样使得联合编码处理自身更为容易。在一个实施例中，所述处理和熵编码包括从预测的像素块的所述多个序列的预测像素块和所述多个视频流的相应块之间的差别生成剰余像素块的多个序列，从而对所述各自的序列的所述剩余像素块进行变换、量化和熵编码以由此获得所述经过编码的剰余像素数据的多个序列。在另ー个实施例中，所述编码结构数据进一歩进行熵编码以提供经过编码的编码结构数据来作为所述參考数据。所述编码结构数据可以从中间流中生成，该中间流是从所述多个视频流中的至少一个视频流导出的。
该中间流可以通过例如对所述多个视频流中至少两个视频流进行平均来获得，但其还可以是对多个视频流中的一个是频率的选择。通过分析所述至少两个视频流的编码决策以及选择被包括在所述编码结构数据中的单个预测选择，所述编码结构数据还可以从所述多个视频流中至少两个视频流来生成。在一个实施例中，所述分析基于预定优化标准与所述编码决策的比较。本发明还涉及ー种用于解码至少一个编码视频流的方法，该编码视频流包括经过编码的剰余像素数据的至少ー个序列和包括输入编码结构数据的參考数据；所述方法包括接收经过编码的剰余像素块的多个序列和包括所述输入编码结构数据的多个參考数据的步骤；选择与所述至少一个编码视频流相关的经过编码的剰余像素数据中的至少ー个序列以及包括所述编码结构数据的所述參考数据，从而将所述编码结构数据和与所述至少一个编码视频流相关的经过编码的剰余像素数据中的所述至少ー个序列进行熵编码和处理，以提供解码像素块的至少ー个序列来作为至少一个解码视频流的步骤。按这种方式，接收到该多个经过编码的剰余像素块以及包含编码结构数据的參考流的解码器，只需要选取该參考流和与要被解码的视频相关的经过编码的剩余像素数据的合适序列。通过执行熵解码和处理(涉及例如预测构造)以最终得到解码的像素块的步骤，能够非常容易地完成解码或重建。在多个视频流需要进行解码的情况中，该方法的实施例甚至变得更加吸引人，这是因为对于所有要被解码的流来说，编码结构是相同的，并且涉及诸如预测构造的处理可暗示可以对每个流的经过编码的剩余像素块部分应用同样的操作。由于这些处理步骤对于将被解码的所有流都是相同的，利用例如单指令多数据方法(简称为SMD)，他们可以有效地完成并行实现。由于所有的流共享相同的编码结构并且该预测构造能够以联合并行处理方式被有效地执行，因此可以获得用于联合解码多个编码流的更加简易的解码器。在一个实施例中，将与所述至少一个编码视频流相关的经过编码的剰余像素数据中的所述至少ー个序列提交给反量化和逆变换，从而获取经过解码的剰余像素块的至少ー个序列，其中从所述编码结构数据以及从用于和所述至少一个经过解码的剩余像素块进行结合的缓冲的像素块，构建像素块的至少ー个预测，从而获取经过解码的像素块的所述至少ー个序列。在另ー个变型中，通过对从所述參数输入数据提取的经过编码的编码结构数据进行熵解码，从所述參考数据导出所述编码结构数据。本发明还涉及用于执行该主题方法的编码器和解码器。在从属权利要求中陈述进一步的实施例。应当注意到，当在权利要求中使用时，术语“耦接”不应当被解释 成仅仅限制于直接连接。因此，“与设备B耦接的设备A”表述的范围不应当限制于设备A的输出直接连接到设备B的输入这样的设备或系统。它指的是在A的输出和B的输入之间存在路径，该路径可以是包括其它设备或部件的路径。还应当注意到，当在权利要求中使用吋，术语“包括”不应当被解释成对其后列出的部件的限制。因此，“设备，包括部件A和B’”的表述的范围不应当限制为仅由组件A和B组成的设备。意味着就本发明而言，所述设备的唯一相关组件是A和B。
通过參考以下的实施例的描述及附图，本发明的上述以及其它的目标和特征将更加明确且发明自身也将得到最佳的理解，其中图Ia示出了现有技术编码器的一个实施例的基础方案；图Ib示出了现有技术MVC编码器的基础实施例；图2a示出了包括联合编码器、中间节点以及独立的或联合的解码器的端到端编码和传输方案；图2b示出了使用经典的AVC和MVC现有技术方法获得的编码相互依存的总览，以及符合根据本发明的实施例的方法；图3a示出了根据本发明的联合编码器的第一实施例JEl ；图3b示出了单个视频编码器模块El的实施例，其中El包含在图3a中的联合编码器JEl的第一实施例中；图3c示出了根据本发明的联合编码器的第二实施例JE2 ；图3d示出了另ー个单个视频编码器模块E2的实施例，其中E2包含在图3c的联合编码器JE2的第二实施例中；图4示出了根据本发明的联合编码器的第三实施例JE3 ；图5a示出了根据本发明的联合编码器的第四实施例JE4 ；图5b示出了图5a的“联合作出编码决策”模块JED的第一实施例JEDl的细节；图5c示出了图5a中的“联合作出编码决策”模块JED的第二实施例JED2的细节；图6a示出了根据本发明的解码器JDl的第一实施例；以及图6b示出了根据本发明的解码器JD2的第二实施例。
具体实施例方式应当注意，以下仅说明了本发明的原理。因此可知，本领域的普通技术人员能够设计出各种装置，其体现了本发明的原理，尽管在此没有明确描述或示出。另外，在此陈述的所有例子和条件语言主要意在仅是教导的目的以帮助读者理解本发明的原理和发明人所提出的概念以促进该领域，并且应被解释为不限于这些特定陈述的例子和条件。而且，在此陈述本发明的原理、方面和实施例及其特定的例子的所有语句都意在包含结构及其功能的等同物。另外，这样的等同物包括当前已知的等同物以及未来开发的等同物，即，所开发的实现相同功能的任何元件，而不考虑其结构。本领域技术人员应当认识到，这里呈现的框图表示了实现本发明原理的示意电路图的概念视图。类似地，可以认识到，任何流程图、流程表、状态转移图、伪代码和表示了这些过程的等同物，其可以被实质上表示在计算机可读介质中，并从而由计算机或处理器执行，而不论是否显式地示出了这样的计算机或处理器。还应当理解的是，贯穿本文的符号“输入视频流”和“输出视频流”指的是不但具有实际流视频的形式而且还可与数据文件(存储的)或这些的任意组合有关的输入和输出数据。因此，在说明书中陈述的实施例涉及这些视频数据的在线编码和离线编码，以及任何它们的组合。在许多应用中，表示相同内容的多个视频流，并非是逐个像素完全相同的，需要在传输和存储前进行同时压缩或编码。典型的例子是，当捕获到多个彼此间位置接近的摄像机的场景时，获得了视频流的集合，通常也被表示为多视图视频。对于这些应用来说，对应于处在距摄像机最远的物体的部分场景一般会非常相似。对于这些物体来说，不同摄像机之间的拍摄出的不一致之处通常很小。这种情况也会出现在如果有人想要对相同视频内容的多个变型同时进行编码时，该相同视频内容彼此间具有细微差別，举例来说，由于要将关于色彩值、照明值等不同的后处理应用在这些变型之上，或者由于已经对每个版本进行了P隹一地标识等。现有技术的解决方案既要对这些输入视频流中的每ー个独立地进行编码，且由此还要对要被编码的每个视频流使用标准编码器(诸如图Ia所示的编码器)。该图Ia示出了典型视频编码器ET的主要组件。尽管编码过程本身不是标准化的，但大多数现有编码器遵循了相同的參考架构，其中成批的处理包含了对编码相关的语法元素进行计算，该语法元 素在特定约束条件(通常是根据比特率或根据质量)下提供最佳的压缩。从要被编码的输入视频流中计算出这些语法元素。这些输入视频流可以包括像素视频数据(诸如像素色彩值)，也可以包含ー些附加输入数据。后者可包括例如由像素宽度和高度所表示的帧尺寸、帧速率、色彩空间、色度采样的类型，等等。一方面，将这种输入视频流转发给适于做出这些编码决策的模块，并且于是该模块生成这些编码相关的语法元素，典型地其包含类似于序列、图片參数集、片段(slice)、宏块报头的数据以及那些之后将用来向解码器解释如何基于已经解码的部分视频来构造像素数据的帧内预测和帧间预测的所有信息。以使用H. 264编码标准为例，在其中定义的类别2语法元素可以被看作与该编码相关语法元素相对应，也可能是连同其他ー些被称为非-VCL NAL元素(例如分别是类别O、类别I、分别是用于序列的语法元素、图片參数集)的其它语法元素一起。为了能够更好的理解本专利申请中所描述的一部分实施例，该具有数据分区特征的H. 264编码标准的简要解释将在下面给出根据该H. 264标准，每个视频帧被划分并在宏块级别上进行编码，其中每个宏块(macroblock)是 16x16 的像素块。宏块能够一起组成片段以允许进行并行化或错误恢复。对于每个宏块来说，编码的比特流包含首先是，用信号发送给解码器的数据，其用于指示如何基于已经解码的宏块来计算那些宏块的预测值；其次是，经过解码并且添加到预测值中的剰余数据，其用于重新构造宏块像素值。每个宏块或者在“帧内预测”模式中进行编码，其中基于当前片段中重新构建的宏块形成宏块的预测；或者在“帧间模式”中进行编码，其中基于已经解码的帧(称为參考帧)中的像素块形成宏块的预测。帧内预测编码模式在当前片段中应用空间预测，其中从当前片段的相邻样本预测编码的宏块，该当前片段已经在之前完成了编码、解码和重构。帧内预测模式编码的宏块被称为I型(I-type)宏块。帧间预测编码模式基于时间预测，其中从之前和/或将来的參考帧的样本来预测编码的宏块。如果从单个參考帧预测每个子块，帧内预测模式编码的宏块可以是P型(P-type)宏块；或者如果从ー或两个參考帧预测每个子块，帧内预测模式编码的宏块可以是B型(B-type)宏块。默认的H. 264行为是以光栅扫描顺序(即从左至右的扫描线)将宏块组成片段。然而，H. 264标准进ー步介绍了另外的特征,指的是灵活的宏块排序(flexible macroblock、ordering),以后以FMO作为简称。FMO将视频帧分割为多个片段组，其中每个片段组包含宏块的集合，宏块的集合可能处于不连续的位置或者是在帧中的任何位置。为了传输那些能够在网络抽象层(此后简称为NAL)传送的每个片段，NAL単元使用默认模式。然而，H. 264/AVC标准进一步描述了多个NAL単元上每个片段的数据分区的附加特征，以提高片段传输期间的错误恢复性能。根据多个分区上ー个片段的这种数据分区特征，一个片段的编码内容将被分布在3个NAL单元上NAL单元分区A, NAL单元分区B,以及NAL单元分区C。根据上述标准,NAL単元分区A将包含所述片段的类别2的语法元素，表示作为非剩余数据的所有片段相关的语法元素。这些类别2语法元素包括片段报头和片段内用于每个宏块的报头数据，包含了帧内预测模式，对于帧内编码分别是运动矢量，分别是帧间编码，宏块，等等。NAL単元分区B将包含类型3语法元素，即如果使用帧内预测编码，其指的是正在考虑的片段的宏块的经过帧内编码的剰余数据，并且NAL単元分区C将包含类型4语法元素，即如果该类型被使用的话，其指的是经过帧内编码的剩余数据。现在返回图la，还将输入视频流转发多个模块，所述多个模块适用于一起处理预测的像素块连同输入视频流的对应块。在图Ia的实施例中，第一模块适用于从输入视频的相应像素块里减去作为预测构造模块所提供的预测像素块，或者反之亦然。然后，对作为结果的剰余像素块进ー步进行变换和量化。在其它实施例中，它们可以经过过滤操作。在
H.264中作为结果的剰余像素数据对应于类型3和4语法元素。它们将与相关语法元素(例如H. 264中的类型2语法元素)一起经历组合的熵编码。注意的是，在组合步骤之前，可由第一熵编码来执行组合的熵编码，例如图Ia所示；或者可以是反过来执行，即在对其进行熵编码之前首先组合数据。“熵编码”可以理解为包括被应用于压缩语法元素的操作集，其包括例如帧内预测模式的预测编码或运动矢量，以及可变长度编码(Exp-GolombXAVLC)或者如标准中特指定的算木编码(CABAC)步骤。在大多数传统编码器中，块变换的计算和量化以前向形式完成，但是通常在反方向也有反馈步骤出现。添加这些反馈步骤通常是为了确保，编码器使用的与解码器相同的解码的帧集合以进行预测。与“开环”解码器相対的，将这种编码器称作“闭环”解码器，其中并不会出现这些反馈步骤。另ー方面，列举的编码器之间的主要区别在于他们定义编码相关语法元素的方式，所述定义编码相关语法元素暗示了对帧类型，分片，帧内相对于帧间预测的选择，帧内预测模式和运动矢量计算的选择。因此，这些步骤通常在“作出编码决策”块中执行，而且一般针对解码器在编码器中增加显著的额外复杂度。如上面所解释的，对多个视频流进行编码可以通过使用这种最接近的编码器对这些单独的视频流独立进行编码来实现，该编码器用于将要编码的每ー个视频序列。然而，这需要完成大量的处理工作。可替换的MVC编码被引入以改进压缩，并且也作为现有H. 264/AVC标准的补充扩展。图Ib中示例性的示出，MVC编码器可以通过重用那些与常规H. 264/AVC编码器ET (例如图Ia中的编码器)中出现的那些组件相同的组件。利 用MVC，来自多个输入视频的全部视频帧集合被视为单个的视频帧序列，并且帧重排序的步骤在常规的H. 264/AVC编码之前。对多个输入进行联合编码的这种MVC方法从而建立编码相互依存。这将通过如下的实例进行理解，该实例中通过3台摄像机捕获视频场景，这些摄像机生成各自的视频流视图-I (View-Ι)、视图-2 (View-2)和视图-3 (View-3)。为了有效地压缩和联合编码3个视图，典型的MVC编码结构将使用标准H. 264/AVC帧间预测机制将View-I作为常规的(单个的)视频流进行编码，将使用来自View-I的预测像素块并结合View-2内的标准帧间预测对View-2进行编码，以及使用来自View-I和View-2的预测并结合View-3内的标准巾贞间预测对View-3进行编码，如图2b (I)中所示，其中每个箭头从用作參考的帧中出来并指向使用用于帧间预测的所述參考帧的帧。因此，为了解码View-2，与View-I和View-2相关的数据需要被传送给解码器。为了解码View-3,与View-1、View-2和View-3相关的数据需要被传送给解码器。因此，需要用来显示单个视图或视频流的数据和处理资源可能是不同的，这极大地取决于请求哪ー个视图。因此，虽然MVC可提升压缩效率，但它仍具有计算相当密集的缺点。图2b (II)示出了使用常规的H. 264/AVC编码器对视图的单独编码的相互依存。在这种情况下，3个经过编码的视图没有示出编码的相互依存，但是如之前所述的，缺点在于每个视图不得不单独地进行压缩，从而导致较多的计算工作。现有技术方法的这些缺点将通过根据本发明的联合编码器和解码器的实施例来克服。图2a示出了一个高级别的方案，即联合编码器JE经由可选的中间节点IM耦接于多个解码器JD和JD’。在这些实施例中，3个输入流IV1-IV3被提供给联合编码器JE。这适用于从常用编码结构数据中提取它们。这样能够进行可选的熵编码，且被提供为经过编码的编码结构数据或未经编码的编码结构数据，被包括在參考数据IREF中，将该參考数据IREF提供给该联合编码器JE的表示为OUTREF的參考输出。联合编码器JE进ー步还适用于为输入视频流的每ー个确定经过编码的剰余像素数据的序列。这些经过编码的剰余像素数据的序列分别被表示为用于IVl的ERPD1、用于IV2的ERPD2和用于IV3的ERPD3。在所述实施例中，还将这些数据提供作为在各自输出端OUT I、0UT2和0UT3上的単独的输出流或数据。然而，在另外的实施例中，可以通过复用方式或时间共享方式传递这些各个输出数据，从而使得它们能够仅在ー个输出端上被提供。在这种情况下，可选的中间节点不得不提取它们并将适当的数据转发到正确的目的地，也可能是将它们再次合并为ー个流。在这种中间节点中执行的提取数据和进一歩封装和重传数据的处理对于本领域技术人员来说是众所周知的，并因此将不再进ー步讨论。
因此，中间节点IM进ー步适用于识别和提取适当的数据，用于进ー步转发到它们的目的地。这可以通过以下内容来实现过滤多个经过编码的剰余数据流以及对所需要的视频数据进行封装，将用于进ー步传输的流传送给它们的最終目的地，即通过图2a中的两个解码器JE和JD来实现。在该图2a中，解码器JD’只需要接收第三视频IV3的编码数据，所以中间节点頂将只需要提取具有涉及该视图的经过编码的剩余像素数据ERPD3的參考数据，并且将其连同通用參考数据IREF —起提供给解码器JD’。该解码器能够基于这些输入数据对第三视频流进行解码。将经过解码的视频流表示为DV3并在输出端DOUT上提供上述经过解码的视频流。解码器JD适于接收第一和第二视频流的编码数据，并且因此中间节点会提供经过编码的IVl的剩余像素数据ERPD1，相应的IV2的剩余像素数据ERPD2，连同參考编码结 构数据IREF。在该解码器JD中，所有这种信息将被用于解码以获取正确的解码视频数据，其目标是重新构造为与原始视频流IVl和IV2尽可能一祥好。解码流表示为DVl和DV2，并在各个输出端DOUTl和D0UT2上提供所述解码流。应当注意到，如果不存在中间节点，所有编码的剰余像素数据可以被直接传送和提供给解码器。然后，该解码器适用于从输入数据中提取參考编码结构数据和经过编码的剰余像素数据，该剩余像素数据与需要进行解码的视频相关。通过执行熵编码步骤和通常涉及预测构造的处理的步骤来轻松完成解码和重构，从而最終得到解码像素块。由于编码结构对于所有要被解码的流来说是一祥的，预测重构过程包含了对每个流的已经解码的部分应用相同的操作。由于这些处理步骤对于所有要被解码的流来说是一祥的，它们能够以并行实现方式有效执行，例如使用单指令、多数据方法，缩写为SMD。由于所有的流共享相同的编码结构并且预测构造能够以联合并行处理方式有效地实现，因而获得了用于联合解码多个编码流的更为简单的解码器。由于将通过公共编码结构IREF对所有的视图进行编码，编码的视图之间作为结果的相互依存保持为简单的，如图2b (III)所示。现在将介绍，这种联合编码器以及适于对通过这些联合编码器进行编码的编码视频流进行解码的解码器的多个实施例。在图3a中描述联合编码器JEl的第一实施例，其适用于接收两个输入视频流，在各自的输入端INl和IN2上表示为IVl和IV2。通过对两个视频流之ー进行第一传统编码，确定所述编码结构数据ESD，所述视频流被选择作为中间參考流。该选择发生在表示为S的选择模块中。该选择可以按多种方式完成。例如，输入流之一可以被随机选择作为中间流。可选地，可以根据ー些特定标准，或者以启发方式来选择输入流。这些标准可以是基于对来自所有输入流之中的平均像素值流的计算，使得可将最近似平均流的输入流选择作为中间流。这种选择/近似可再次基于使用如PSNR或SSIM值的ー些度量。在输入流对应于场景的多个视图视频捕获的情况下，如果摄像机线性对齐，那么可以将与最中心的视图(例如，中间视图)最佳对应的流选择作为中间流。在通过应用稍微不同的图像获得的输入流使用彼此相关的控制參数的多个值进行过滤时，可以选择中值控制參数值对应的流，或者是与最靠近所有控制參数值的平均值的控制參数值相对应的流，所述所有控制參数值用于创建输入流。这种过滤可以包含例如对色彩变换、照明、对比度、模糊度应用不同的值…，在这些情况下，多种多样的控制參数因此涉及这种色彩变换、照明、或对比度。计算这种控制參数的平均值，且然后选择与该平均值最佳对应的流，于是将得到中间流。
可选地，对于输入流的总体压缩来说，所获取的编码结构提供了用于输入视频的最佳的平均速率失真性能，还可以将输入视频选择成为參考流。本领域技术人员适于生成以实现前述的选择过程的详细实施例。因此，该选择模块S的详细实施例，诸如图3a所描述的，将不再进ー步详细描述。在图3a所描述的联合编码器JEl的实施例中，第一视频流被选择为中间流，并被提供在图3a的选择模块S的SREF输出端上。该中间流随后将通过传统编码器ET(诸如图Ia所描述的编码器)进行传统编码。编码流(表示为EV1T)，被进ー步提供给熵编码器以用于对编码数据进行熵编码，使得过滤器能够随后进行解析和分析并提取所有与编码结构自 身相关的语法元素。这将允许从剩余的像素数据RPDl中分离编码结构数据ESDI。分析通常是过滤操作本身的一部分，但是也可以通过一些专用模块执行。该过滤操作的结果是一方面得到编码结构数据或流ESDI，另ー方面得到剰余的像素数据(表示为RPD1)。对于编码器模块(例如，所描述的模块El)的实施例来说，于是可将ESDI用作输入參考数据，并且该编码器示出与相同申请人和发明人的共同未决专利申请(用于视频编码的方法和装置)中作为主题的编码器有着很强的相似性。该编码器模块的实施例El在图3b中示出。该实施例包括了用于接收输入视频流的第一输入端INE1，输入视频流因此可以是真实流，也可以是诸如之前解释的存储的文件。在图3a-b的实施例中，该输入视频是IV2。该实施例El进ー步适于构造预测的像素块(表示为PPB2)的序列，并且从预测的像素块和进入的视频流IV2的对应块，生成剰余像素块(表示为RPB2)的序列。与现有技术编码器的不同之处在于，该实施例El现在包括了附加输入端(表示为INRef)，用于接收由过滤器提供的包括编码结构数据(如ESDI)的參考数据。该输入编码结构数据ESDI目前用于IV2的预测像素块的构造。相比于之前所描述的图Ia中现有技术的El复杂度，这样的结果是获得了 El的更低复杂度。由于构建预测的像素块所基于的编码结构被作为附加输入，作为在现有技术的“作出编码决策”块中实现的视频序列也不再需要进行详细分析。通过El实现的编码过程的复杂度也因此被显著减小了。剩余像素块RPB2进ー步进行变换、量化和熵编码，在相似名称的模块中执行图3b的实施例中，在如同在现有技术的编码器中，获得编码的剩余像素数据(表示为ERPD2)。然而，在其它实施例中，所有处理都在一个单个处理器中完成，使得不同模块之间没有明显的区别。编码的剩余像素数据ERPD2作为输出数据被提供在图3b的模块El的第一输出端OUTEl上。在该实施例中，编码结构数据ESDI进ー步进行熵编码，例如在參考输出端OUTrefEl处提供经过编码的编码结构EESDl。现在回到图3a，过滤器提供的剩余像素数据RPD1，在相同名称的模块中再次进行熵编码。经过编码的剩余像素数据ERPDl被提供在联合编码器JEl的第一输出端OUTl处。由El提供且第二输入视频IV2的编码的剰余像素数据ERPD2进ー步被提供在该联合编码器JEl的第二输出端0UT2处。经过编码的编码结构数据EESDl作为參考数据IREF被提供在该联合编码器JEl的參考输出端OUTREF之上。在图3c中描绘另ー个可替换的实施例JE2。在该实施例中，选择模块S再一次将第一输入视频流选为要进行传统编码的中间流。现在，传统编码要根据具有NAL単元分区的H. 264标准，这意味着一个片段的编码内容将分布在3个NAL单元之上NAL单元分区A，NAL単元分区B和NAL単元分区C。根据该标准，NAL単元分区A将包含该片段的类别2语法元素，表示所有与片段相关的不属于剩余数据的语法元素，因此涉及编码结构数据。这些类别2语法元素包括片段(slice)头部(header)和片段内每个宏块的头部数据，包含了帧内预测模式，对于帧内编码是运动矢量，对于帧间编码是宏块，等等。NAL単元分区B将包含类型3语法元素，如果使用帧内预测编码，其指的是正在考虑的片段的宏块中的经过帧内编码的剰余数据，且NAL単元分区C将包含类型4语法元素，其指的是如果使用该类型编码，类型4语法元素是经过帧内编码的剩余数据。该传统编码器被表示为ETH，且经过编码的中间流被表示为EVlHh。由于其包含NAL単元中的分区，过滤器可容易地从包括编码的剩余数据ERPDl的其它分区B和C中分隔包含经过编码的编码结构数据EESDl的NAL单元分区A。两个分区都可以很容易地作为经过编码的剰余像素数据ERPDl被提供在联合编码器JE2的第一输出端OUTl处。EESDl将用作给另ー单个视频编码器模块E2的输入数据，其进一步适于使用EESDl作为參考输入，来确定EV2的剰余像素数据。所述模块E2的实施例在图3d中示出了更多细节。该实施例与图3b中示出的El的区别仅在于，其适用于接收经过编码的编码结构数据作为參考数据IREF，而不是未经编码的结构数据。因此，E2进ー步包括熵编码器 EDl，其适于从EESDl确定未经编码的编码结构数据ESDI。按与编码器El执行的方式类似的方式来使用该编码结构数据，用于确定IV2的剰余像素数据RPD2。这些被进ー步处理并经过熵编码以获得经过编码的剰余像素数据ERPD2，以提供给输出端0UTE2。由于联合编码器JE2已经在输出參考端OUTREF上提供了作为參考数据IREF的EESDl，这里不再需要用于熵编码ESDI的E2。然而，不同的联合编码器可以包含E2的这种变型，其中ESD再次进行熵编码以提供给JE2的输出端。因此，该联合编码器对于立体声视频或多视图视频的压缩是特别有用的。对于使用例如基于立体感(stereoscopy)的3D视频的应用或自由视点(viewpoint)视频的应用来说，通常需要对相同物体或场景的多个视图进行捕获。例如，在立体感中，典型地两个视频非常接近彼此。当捕获横跨了很宽视图范围的多个视频流时，典型地可以将按具有彼此接近的视点的流簇对各种视频流进行分组。为了存储或传送两个及多个具有彼此接近的视点的视频流，现有技术方法将是独立地压缩和存储/传输各种的视图。在现有技术的情况中，复杂度以及存储/传输的成本将与需要编码的视图的数目成线性比例。这种联合编码器JEl和JE2提供了仅对视频流中的一个进行第一编码以及使用如JE2中的具有NAL単元分区的H. 264标准编码方法进行编码的情况中对编码结构进行再使用的替代方式，该JE2涉及对其他相似视频流进行有效编码的所获取的流的分区A。如果在传统编码器中使用这种编码标准，这彻底地减小用于在后者流的编码复杂度并允许所有的流在存储/传输介质中共享相同的分区A。在图4中示出的联合编码器的第三实施例JE3中，从中间流(表示为IS)创建公共(common)编码结构数据EESD,从所有的或部分的输入流获取公共(common)编码结构数据EESD0这将以多种方式被再次完成。例如，通过对所有输入流的所有像素值求平均；或者仅对执行了依赖于应用的特定标准的流进行平均；或者还通过对流的像素数据进行其它操作，对于输入流的整体压缩来说，该操作优化了速率失真(rate-distortion)性能。在本实施例JE3中，通过在像素级别对输入流取平均值来创建所述中间流IS，基于这ー步骤，再次对该中间流应用传统编码(例如标准H. 264编码)。传统编码器再一次被表示为ΕΤΗ。将结果的编码中间流表示为EISTh。然后，该编码流可以再次进行过滤以滤出分区A，这是因为在输入数据流IVl和IV2的编码期间进一歩需要的只有它。包含了编码结构数据EESD的分区A于是被作为參考数据IREF提供在联合编码器JE3的參考输出端OUTREF上，而且其进ー步用在包含在JE3之内的两个单个编码模块E2中。已经參照图3d在之前的段落中描述过这些单个编码模块E2的操作。图4中最左边的编码器模块E2于是接收IVl和EEDS，并且适用于据此生成用于IVl的编码的剰余像素数据ERPDl。最右侧的编码器模块E2适用于接收IV2和EESD，并且适用于据此生成用于IV2的编码的剩余像素数据ERPD2。在JE3的各个输出端ロ 0UT1、0UT2和 OUTREF 上提供 ERPDl、ERPD2 和 EESD。
在图5a中描述的联合编码器JE4的另ー个实施例中，通过将编码算法联合地应用与所有的输入流，从输入数据流IVl和IV2两者来确定编码结构数据。该联合编码器JE4的架构示出了与图Ia的最接近技术的编码器ET的一部分相似之处，但最主要的区别在干“作出编码决策”块JED，其现在适用于联合处理多个输入视频流以及处理所缓冲的所有流的像素数据，从而输出单个联合编码结构数据流JESD。然而，从仅两个或者多个输入视频流导出该单个联合编码结构数据流的其它实施例是可行的，无需进一步考虑缓冲的像素数据。然后，该联合编码结构进一歩用在联合编码器JE4中，从而分别为IVl和IV2构造所预测的像素块PPBl和PPB2的序列。从所预测的像素块PPBl和PPB2的各个序列与来自各个输入视频流IVl和IV2中的对应块之间的差别，生成了剰余像素块RPBl和RPB2各个的序列。然后，剰余像素块的这些各个序列进ー步经过处理(诸如变换和量化)以获取量化后的剰余像素数据QRPDl和QRPD2的各自序列，随后再经过熵编码以获取编码后的剰余像素数据(表示为ERPDl和ERPD2)的各自序列，ERPD1和ERPD2被提供在联合编码器JE4各个的输出端OUTl和0UT2处。在该实施例中，编码结构数据JESD被传送之前还要经过熵编码步骤，这是因为编码后的编码结构数据EJESD被作为參考数据IREF提供在联合编码器JE4的參考输出端OUTREF之上。现在，将參考图5b和5c进行描述该“作出联合编码决策”块JED的两个实施例。应当注意到，还有许多其它的可能性。图5b示出的第一实施例JEDl包含了若干个已知的“单个作出编码决策”块，表示为用于IVl的“作出编码决策I”以及用于IV2的“作出编码决策2”。这些都适用于独立构造编码结构数据，表示为ESDI和ESD2，其来自相应的输入视频流IVl和IV2以及相应的缓冲像素数据I和缓冲像素数据2。然后，用所获得的编码结构数据ESDI和ESD2对它们关于所有输入视频流IVl和IV2的联合编码性能进行比较。该比较可以在片段的粒度级别上进行。但是本领域技术人员能够归纳出在其它粒度级别(如宏块级别或帧级别)上进行。为每个独立计算的编码结构数据ESDI和ESD2，通过将ESDI和ESD2中固有的相应预测和剰余量化步骤应用在输入视频IVl和IV2的特殊的片段上，可以在片段级别上计算联合编码数据结构JESD。然后通过使用ー些度量来评估各自的这种特定结构数据ESDI和ESD2的联合性能。这些度量值例如可以基于对速率失真质量的确定。得出关于该速率失真性能的最佳质量度量值的编码结构数据将被选取为联合编码结构数据JESD。该质量度量值可以例如包括对利用这种特定ESDI或ESD2进行编码的片段与原始片段之间的PSNR的所有输入流之和进行测量。在这用情况下，通过比较步骤可以探寻最大度量值。可选地，可以连同所有通过使用该特殊编码结构获取的输入视频的剩余一起来确定各自的特定ESDI和ESD2所需要的编码尺寸之和。在这种情况下，将选取得出用于该度量的最小值的ESD。在图5c中示出的第二实施例JED2中，对输入视频流IVl和IV2进行联合分析以生成单个联合编码结构数据流。对于每个宏块来说，诸如用于每个宏块的预测模式选择的编码决策是帧间预测或帧内预測，以及在帧内预测情况下的帧内编码模式的相应确定，以及作出帧间预测情况下的运动矢量。该编码决策是以联合优化编码器EJESD、ERPD2和ERPDl的所有编码的输出流的速率失真性能为目标的。该优化可以通过基于所给定的预算比特率之下，最大化编码器的所有输出流的解码的图像质量来完成。可选地，确保所有流要求的图像质量所需的比特率可以是最小的。作为示例，现在将介绍对所有输入视频的P分段中的给定宏块的联合处理过程。对于每个输入视频流IVl和IV2的每个宏块，以及来自可以用作參考的已经编码的像素值的缓冲区的相应块来说，计算使用帧内预测的预测块集合，以及可能的帧内编码模式(在图5c中通过i来索引)，或者，在帧间预测的情况下，计算可能的运动矢量对(X，y)的集合和參考帧(η)。用于输入视频IVl的可能的预测选择的集合通过 Predl来表示，i具有标引巾贞内编码模式的i，并且Predl, (x, . y) _η具有表示ニ维运动矢量的X，y，且η表示用于确定该运动矢量的參考帧数目。类似地，对于输入视频2，可能的预测选择的集合表示为Pred2，i具有标引帧内编码模式的i，并且有Pred2，(x，y)_n。然后，所有这些预测模式利用所有输入流上的联合度量进行比较。基于该比较来选择单个预测模式，且所选择的预测，在图5c中表示为所选择的Pred模式(Selected Pred Mode),将变成用于所述宏块的联合编码结构数据JESD的一部分。用于所述特殊宏块的相应预测块，表示为MBpredl和MBpred2，其分别用于然后可能连同输入流JVl和JV2的相应块一起被进ー步处理的每个输入视频流，从而确定量化參数QP，该QP包含在据此所获得的联合编码结构数据流JESD之中。关于其它实施例JED1，为了定义被应用于如比较预测模块所执行的预测的比较的度量，又存在很多可能性。例如，可能是以最小化所有剰余的总能量为目标。该总能量可以被计算为，所有输入视频的和，所有块的像素的和，原始像素值和预测像素值之间的平方差。量化參数QP本身的选择可以是例如基于固定选择或者可以被选择使得编码的宏块的总尺寸与给定的尺寸(按比特的)预算相适应。应当注意到，在实施例JED2中，预测模式的选择和量化參数QP的选择是去耦合的。在最接近技术的编码器中，本领域技术人员能够归纳出，基于编码回环的反馈(其可包含熵编码)选择预测模式和量化參QP数两者的方法，其中选择參数例如使得在总比特预算之下的编码宏块的总质量(基于所有输入视频流)最大化，或者在所要求的最小质量之下通过最小化用于所有输入视频流的编码MB的总尺寸，使得压缩达到最大化。另外，之前段落中所叙述的原理也可以改进对量化參数QP选择的优化。这样可以涉及使用如拉各朗日优化的最接近的技木，它允许对QP宏块的值进行优化从而对整个速率失真性能(在片段、帧或序列级别上)进行优化。所示的实施例JEl至JE4中的大多数因此利用如下事实，即编码流的编码结构(如果使用数据分区，则可能被封装在分区A中)包含了编码器做出的所有重要编码决策帧内预测模式和帧间预测模式，图片缓冲管理，运动矢量，···。一旦固定了这种编码结构，如果使用了数据分区，剰余数据(诸如分区B和C)的编码处理，就只包含应用所选择的预测模式，计算剩余数据，应用整数块变换和量化，以及最后对所获得结果进行熵编码。在最简单的形式中，N个输入流的编码从而导致包含公共分区A和N (未共享)个分区的输出，每ー个都与输入流的ー个相对应。通过利用公共分区对它的特定分段进行装配，可以从N+1个创建的分区中提取ー个给定的编码流。然后，解码器可以处理那两个分区以显示所需要的视图。由于本发明优选用例应用于具有很强相似性的输入 流，唯一的编码结构可以包含用于所有输入流的有效编码决策。因此，对于多个输入原始视频流的联合编码，提供了用于所有流的唯一编码结构的共享分区模式，以及组成它们的编码的剰余数据的每个单独流的专用分区提供了简单，且非常有效的方法。对于基于中间流的选择或创建的实施例，根据本发明所述的编码器的其它实施例可以结合利用參考如图Ia所描述的最接近技术的编码机制的之前所描述的实施例中的ー个。作为实例，该实施例可以适用于，对每个将使用中间流的编码结构被编码的输入流的每个片段，根据參考图3c所解释的方法首先计算该片段的剰余数据；并且在添加该片段的预测像素块之后，将所获得的通过反馈步骤计算的解码片段与输入视频中相同的片段进行比较。如果关于原始片段的解码片段且使用简称为PSNR的峰值信号噪声比(PeakSignal-to-Noise Ratio)测量的质量,低于特定的阈值,那么原始片段可以被重定向到如图Ia中编码器的先进编码器中，以计算产生了更好质量的编码片段的新的编码结构。在这种情况下，用于所包含的片段的经过计算的编码结构被添加到涉及相应输入流的编码流中。类似地，在解码过程期间，需要使用为该片段计算的编码机构，而不是公共编码结构。可以在编码过程期间选择视频图片本身的切片，使得跨越多个输入视频流的在它们的功能上相似的宏块以FMO片段的形式进行分组。然后，使用公共编码结构对跨越视图非常相似的宏块的片段进行编码，且在不同输入视频间具有较多区别的宏块的片段使用最接近技术的编码过程进行独立编码，该编码处理过程输出涉及用于每个视频输入的FMO片段的专用编码结构。可进ー步注意到，还可以在粗粒度级别(例如，在帧级别，或在序列级别)上作出在最接近技术的编码器和在先实施例中示出的编码器之间的这种切换决策。现在将參考图6a和6b描述用于利用前述联合编码器协同工作的解码器的两个实施例。图6a的解码器JDl适于接收编码的剰余像素数据的多个序列，其在各自的输入端INRLINR2和INR3上被表示为ERPDl，ERPD2和ERPD3。该实施例进ー步包含了用于接收包含输入编码结构数据ESD的參考输入数据IREF的參考输入端INE。该解码器进ー步适于选择与编码视频流相关的编码的剩余像素数据的ー个或多个序列，所述解码器需要连同包含ESD的參考编码结构数据IREF —起机型解码。在图6a的实施例中，解码器JDl只解码编码的视频流EVl和EV2 (在图中没有示出)，所以该解码器适用于从所有到达数据中提取或过滤參考编码结构数据ESD和编码的剰余像素数据ERPDl和ERPD2。该过滤和提取操作由图6a中的过滤模块F来执行，但是其它实施例也可以实现。在图6a的实施例中，參考输入数据IREF包含了未经编码的形式的编码结构数据ESD,因此该解码器不需要在IREF上执行附加操作步骤，以据此提取编码结构数据ESD。JDl进ー步适于对剰余像素数据ERPDl和ERPD2进行熵编码，并且处理编码的剰余像素数据的所述至少ー个序列从而获得用于解码的视频EVl和EV2的经过解码的剩余像素块(表示为DRPBl和DRPB2)的至少ー个序列。该处理可以包含执行反量化步骤，其后是图6a所示的反向块变换，但是执行其它的实施例也是可能的。解码器JDl进ー步适于从编码结构数据ESD和从各自的缓冲像素数据，构造像素块EPPBl，EPPB2各自的预测。这些各自的预测EDPBl、EDPB2与各自的解码剩余像素块DRPB1、DRPB2进行组合以生成解码像素块的各自序列。这些序列表示为DPBl和DPB2，且它们将作为各自的解码视频流DVl和DV2被提供在各自输出端DOUTl和D0UT2之上。图6b中描绘的实施例JD2与图6a中的JDl类似，区别在于參考数据将作为编码的编码结构数据来提供，进ー步在解码器JD2中进行熵解码。
上面已经描述了本发明的原理以及有关的特定装置，本领域技术人员应当清楚理解这些描述仅仅是为了示例，而不是在对本发明保护范围的进行限制，被看作是从属权利要求中的定义。
权利要求
1.一种用于对多个视频流(ivi，IV2，IV3)进行联合编码的方法，所述方法包括步骤 接收所述多个视频流(IVl，IV2，IV3)； 构造预测像素块(PPB1，PPB2, PPB3)的多个序列； 将所述多个视频流(IVl，IV2，IV3 )的相应块和预测像素块的所述多个序列的所述预测像素块(PPB1，PPB2，PPB3)进行处理和熵编码，以生成编码的剩余像素数据(ERPD1，ERPD2，ERPD3)的多个序列； 其中从生成自所述多个视频流(IV1，IV2，IV3)的编码结构数据(ESD，ESDI, JESD)构造所述预测像素块(PPB1，PPB2, PPB3)的多个序列，并且其中，所述编码的剩余像素数据(ERPD1，ERPD2，ERPD3)的多个序列连同包括所述编码结构数据(ESD，ESDI，JESD)的参考数据(IREF)—起被提供作为所述多个视频流的编码数据。
2.根据权利要求I或2所述的方法，其中将所述编码结构数据(ESD，JESD,ESDI)进行进一步熵编码以提供经编码的编码结构数据(EESD，EJESD, EESDl)来作为所述参考数据(IREF)。
3.根据权利要求I或2所述的方法，其中，从中间流生成所述编码结构数据(ESD，ESDI )，该中间流来自所述多个视频流中的至少一个视频流。
4.根据权利要求3所述的方法，其中通过对所述多个视频流中的至少二个取平均值来获得所述中间流，或者通过选择所述多个视频流中的一个流(IVl)来作为所述中间流。
5.根据权利要求I所述的方法，其中通过分析所述至少两个视频流的编码决策以及选取在所述编码结构数据中包括的单个预测选择，从所述多个视频流中的至少两个视频流生成所述编码结构数据(JESD)。
6.根据权利要求5所述的方法，其中所述分析基于所述编码决策与预定优化标准的比较。
7.用于解码至少一个编码视频流(EV1，EV2)的方法，该编码视频流包括经编码的剩余像素数据(ERPD1，ERPD2)的至少一个序列和包括输入编码结构数据(ESD)的参考数据(IREF)，所述方法包括接收经编码的剩余像素块(ERPD1，ERPD2，ERPD3)的多个序列和包括输入编码结构数据(ESD)的所述参考数据(IREF)的步骤；选择与所述至少一个编码视频流(EV1，EV2)相关的经编码的剩余像素数据(ERPD1，ERPD2)的至少一个序列以及包括所述编码结构数据(ESD)的所述参考数据的步骤，连同所述编码结构数据对与所述至少一个编码视频流(EV1，EV2)相关的经编码的剩余像素数据(ERPD1，ERPD2)的所述至少一个序列进行熵编码和处理，从而提供解码像素块(DPB1，DPB2)的至少一个序列来作为至少一个解码视频流(DVl，DV2)。
8.根据权利要求7所述的方法，将与所述至少一个编码视频流相关的经编码的剩余像素数据的所述至少一个序列提交给反量化和逆变换，从而获取经解码的剩余像素块(DRPBI, DRPB2)的至少一个序列，其中像素块的至少一个预测(EPPB1，EPPB2)构建自所述编码结构数据(ESD)以及缓冲的像素块，以用于和所述至少一个经解码的剩余像素块(DRPBI, DRPB2)进行结合，从而获取经解码的像素块(DPB1，DPB2)的所述至少一个序列。
9.用于对多个视频流(IV1，IV2，IV3)进行编码的编码器(JE，JEl,JE2，JE3，JE4)，所述编码器进一步适于接收所述视频流(IVl，IV2, IV3);生成预测像素块(PPB1，PPB2，PPB3)的多个序列；对预测像素块的所述多个序列和所述视频流(IV1，IV2，IV3)的相应块进行处理和熵编码，以生成编码的剩余像素数据(ERPD1，ERPD2，ERPD3)的多个序列； 其中所述编码器(JE，JEl, JE2，JE3，JE4)进一步适于从所述多个视频流(IV1，IV2,IV3)生成编码结构数据(ESD，ESDI, JESD),以从所述编码结构数据(ESD，ESDI, JESD)构造所述预测像素块(PPB1，PPB2, PPB3)的多个序列，并且在各自的输出端(0UT1，0UT2, 0UT3,OUTREF)上将所述编码的剩余像素数据(ERPD1，ERPD2，ERPD3)的多个序列和包括所述编码结构数据(EESD)参考数据(IREF)提供作为所述多个视频流的编码数据。
10.如权利要求9所述的编码器(JE，JEl,JE2，JE3，JE4)，进一步适于从所述预测像素块的多个序列的预测像素块(PPB1，PRB2, PPB2)和所述多个视频流(IV1，IV2，IV3)的相应块之间的差别，生成剩余像素块(RPB1，RPB2, RPB3)的多个序列，以对所述各自的序列的所述剩余像素块(RPB1，RPB2, RPB3)进行变换，量化和熵编码，由此获得经编码的剩余像素数据(ERPD1，ERPD2，ERPD3)的所述多个序列。
11.如权利要求10所述的编码器(JE，JEl,JE2，JE3，JE4)，进一步适于对所述编码结构数据(ESD)进行熵编码以提供所述参考数据作为经编码的编码结构数据(EESD)。
12.如权利要求10或11所述的编码器(JE，JEl,JE2，JE3)，进一步适于从中间流生成所述编码结构数据(ESD)，该中间流来自所述多个视频流(IV1，IV2)中的至少一个视频流。
13.如权利要求11所述的编码器(JE，JE3)，进一步适于通过对所述多个视频流中的至少二个视频流(IV1，IV2)取平均值来生成所述中间流，或者通过选择所述多个视频流中的一个流(IVl)来作为所述中间流。
14.如权利要求9所述的编码器(JE，JE4)，其中，通过分析用于所述至少两个视频流的编码决策以及选取在所述编码结构数据中包括的单个预测选择，从所述多个视频流中的至少两个视频流生成所述编码结构数据。
15.用于对至少一个编码视频流进行解码的解码器(JD，JDl,JD2)，该编码视频流包括经编码的剩余像素数据(ERPD1，ERPD2)的至少一个序列和包括输入编码结构数据(ESD)的参考数据(IREF)，所述解码器适于，接收经编码的剩余像素数据(ERPD1，ERPD2，ERPD3)的多个序列和包括输入编码结构数据(ESD)的参考数据(IREF),所述解码器进一步适于，选取与所述至少一个编码视频流(EV1，EV2)相关的经编码的剩余像素数据(ERPD1，ERPD2)的至少一个序列以及从所述参考输入数据(IREF)获得所述编码结构数据(ESD)，结合所述编码结构数据对经编码的剩余像素数据(ERPD1，ERPD2)的所述至少一个序列进行熵编码和处理，从而提供解码像素块(DPB1，DPB2)的至少一个序列来作为至少一个解码视频流(DV1，DV2)。
16.如权利要求15所述的解码器，进一步适于对与所述至少一个编码视频流相关的经编码的剩余像素数据中的所述至少一个序列进行反量化和逆变换，由此获取经解码的剩余像素块(DRPB1，DRPB2)的至少一个序列，其中像素块的至少一个预测(EPPB1，EPPB2)构建自所述编码结构数据(ESD)以及缓冲的像素块，以用于和所述至少一个经解码的剩余像素块(DRPBI，DRPB2)进行结合，从而获取经解码的像素块(DPBI，DPB2)的所述至少一个序列。
17.如权利要求15或16所述的解码器(JD2)，进一步适于通过对提取自所述参考输入数据(IREF)的经编码的编码结构数据(EESD)进行熵解码，获得所述编码结构数据(ESD)。
全文摘要
一种用于对多个视频流(IV1，IV2，IV3)进行联合编码的方法，包括步骤接收所述多个视频流(IV1，IV2，IV3)；构造预测像素块(PPB1，PPB2，PPB3)的多个序列；结合所述多个视频流(IV1，IV2，IV3)的相应块，对预测像素块的所述多个序列的所述预测像素块(PPB1，PPB2，PPB3)进行处理和熵编码，以生成经编码的剩余像素数据(ERPD1，ERPD2，ERPD3)的多个序列；其中从生成自所述多个视频流(IV1，IV2，IV3)的编码结构数据(ESD，ESD1，JESD)构造所述预测像素块(PPB1，PPB2，PPB3)的多个序列，并且其中，所述编码的剩余像素数据(ERPD1，ERPD2，ERPD3)的多个序列连同包括所述编码结构数据(ESD，ESD1，JESD)参考数据(IREF)一起被提供作为所述多个视频流的编码数据。还公开了一种用于解码的方法、编码器和解码器。
文档编号H04N7/26GK102668564SQ201080058491
公开日2012年9月12日 申请日期2010年12月20日 优先权日2009年12月21日
发明者J-F·麦克 申请人:阿尔卡特朗讯公司