处理多视图视频的制作方法

专利名称：处理多视图视频的制作方法
技术领域：
本发明涉及处理多视图视频。
背景技术：
多视图视频编码(MVC)涉及压缩通常由对应照相机获取的视频序列(例如，图像 或者“图像”序列)。视频序列或者“视图”能够根据标准例如MPEG编码。视频序列中的图 像能够表示全视频帧或者视频帧的场。条带(slice)是图像的独立编码部分，条带包括图 像中的一些或者所有的宏块，并且宏块包括图像元素(或者“像素”)的块。视频序列能够根据H. 264/AVC编解码器技术被编码成多视图视频序列，并且很多 研发者对标准的修订进行研究以适应多视图视频序列。在当前H. 264标准中规定了用于支持特定功能的三个简表(profile)。术语“简 表”表示用于视频编码/解码算法的技术元素的标准化。换言之，简表是为解码压缩序列的 比特流而规定的一组技术元素，并且可以被认为是子标准。上述三个简表是基线简表、主要 简表和扩展简表。在H. 264标准中定义了用于编码器和解码器的各种功能，从而编码器和 解码器能够分别地与基线简表、主要简表和扩展简表兼容。根据用于处理运动图像编码(即序列编码)的视频编码层(VCL)以及与能够发送 /存储编码信息的子系统相关联的网络提取层(NAL)，构造用于H. 264/AVC标准的比特流。 编码过程的输出数据是VCL数据，并且在它被发送或者存储之前被映射成NAL单元。每一 个NAL单元包括对应于压缩视频数据或者头部信息的原始字节序列载荷(RBSP)。NAL单元包括NAL头部和RBSP。NAL头部包括标志信息(例如，nal_ref_idc)和 标识(ID)信息(例如，nal_unit_type)。标志信息“nal_ref_idC”指示用作NAL单元参考 图像的条带是否存在。ID信息“nal_imit_type”指示NAL单元的简表型。RB SP存储压缩 后的原始数据。RBSP末位能够被添加到RBSP的最后部分，从而RBSP的长度能够由8比特 的倍数来表示。存在各种NAL单元，例如，即时解码刷新(IDR)图像、序列参数集(SPS)、图像参数 集(PPS)和补充增强信息(SEI)等。该标准通常使用各种简表和级来定义目标产品，从而能够以适当成本实现目标产 品。解码器满足在对应的简表和级处的预定约束。简表和级能够指示解码器的功能或者参数，从而它们指示解码器能够处理哪些压 缩图像。指示多个简表中的哪一个对应于比特流的特定信息能够利用简表ID信息来标识。 简表ID信息“profilejdc”提供用于标识与比特流相关联的简表的标志。H. 264/AVC标 准包括三个简表标识符(IDs)。如果简表ID信息“profile idc”被设为“66”，则比特流基于基线简表。如果简表ID信息“profilejdc”被设为“77”，则比特流基于主要简表。如 果简表ID信息“prof ile_idc”被设为“88”，则比特流基于扩展简表。上述“prof ile_idc” 信息可以例如被包含在SPS(序列参数集)中。

发明内容
在一个方面中，通常，一种用于解码视频信号的方法包括接收比特流，该比特流 包括根据第一简表编码的视频信号和标识该第一简表的简表信息，第一简表表示从包括用 于多视图视频信号的至少一个简表的一组多个简表中做出的选择；从该比特流提取简表信 息；以及根据确定的简表来解码视频信号。本发明的方面能够包括下面的特征中的一个或者多个。该方法还包括当确定的简表对应于多视图视频信号时，从比特流提取与多个视 图相关联的配置信息，其中，该配置信息包括如下信息中的至少一个表示在各个视图之间 的依赖关系的视图依赖信息、指示参考视图的视图标识信息、指示视图数目的视图数目信 息、用于提供视图缩放性的视图级信息，以及指示照相机布局的视图布局信息。例如，能够 响应于确定所述简表对应于多视图视频信号而提取所述配置信息。所述简表信息位于比特流的头部中。所述视图依赖信息以二维数据结构表示所述依赖关系。二维数据结构包括矩阵。视图级信息对应于在多视图视频信号的视图中根据分层视图预测结构被分配给 视图的多个级。给定视图的给定图像的多个部分与指示对应级的对应标识符相关联。该多个部分对应于给定图像的独立条带。每一个条带对应于全图像。被分配给定级的视图的图像利用分配比该给定级更低的级的视图的图像进行预 测。不从另一级的图像对分配最低级的单个视图的图像进行预测。分层视图预测结构包括单个基础视图和多个辅助视图，其中，基于基础视图中的 图像来预测第一级视图中的图像，并且在给定的更高级视图中的图像则基于比该给定更高 级视图的级更低的级中的视图进行预测。在另一个方面中，通常，一种用于解码多视图视频信号的方法包括接收比特流， 该比特流包括根据各个视图之间的依赖关系编码的多视图视频信号以及视频依赖信息，该 视频依赖信息利用二维数据结构表示该依赖关系；提取所述二维数据结构并且根据所提取 的数据结构来确定该依赖关系；并且根据确定的依赖关系来解码多视图视频信号。本发明的方面能够包括下面的特征中的一个或者多个。二维数据结构包括矩阵。该方法还包括从比特流提取配置信息，该配置信息包括如下信息中的至少一个 指示参考视图的视图标识信息、指示视图数目的视图数目信息、用于提供视图缩放性的视 图级信息，以及指示照相机布局的视图布局信息。视图级信息对应于在多视图视频信号的视图中根据分层视图预测结构被分配给视图的多个级。给定视图的给定图像的多个部分与指示对应级的对应标识符相关联。该多个部分对应于给定图像的独立条带。每一个条带对应于全图像。被分配给定级的视图的图像利用被分配比给定级更低的级的视图的图像进行预 测。不利用另一级的图像对分配最低级的单个视图的图像进行预测。分层视图预测结构包括单个基础视图和多个辅助视图，其中，基于基础视图中的 图像来预测第一级视图中的图像，并且在给定更高级视图中的图像则基于在比该给定更高 级视图的级更低的级中的视图进行预测。在另一方面，通常，对于各种解码方法来说，一种用于编码视频信号的方法包括 产生能够通过对应解码方法被解码成视频信号的比特流。例如，在另一方面，通常，一种用 于编码比特流的方法包括根据第一简表形成比特流，该第一简表表示从一组简表选择的 简表，该组简表包括用于单视图视频信号的多个简表以及用于多视图视频信号的至少一个 简表，以及形成标识该第一简表的简表信息。在另一方面，通常，一种用于编码比特流的方 法包括根据各个视图之间的依赖关系形成比特流，以及形成利用二维数据结构表示该依 赖关系的视频依赖信息。在另一方面，通常，对于各种解码方法来说，在计算机可读介质上存储的计算机程 序包括用于致使计算机执行对应的解码方法的指令。在另一方面，通常，对于各种解码方法来说，在机器可读信息载体上实现的图像数 据能够利用对应的解码方法被解码成视频信号。在另一方面，通常，对于各种解码方法来说，解码器包括用于执行对应的解码方法 的装置。在另一方面，通常，对于各种解码方法来说，编码器包括用于产生能够利用对应的 解码方法解码成视频信号的比特流的装置。在另一方面，通常，一种用于编码多视图序列的方法包括通过编码在数个视图 (即多视图)处获取的图像来产生比特流，其中如果多视图(m)的数目被设为ZlriCmSZn, 则该比特流包括单个基础视图比特流和N层辅助视图比特流。在另一方面，通常，提供一种用于编码多视图序列的方法，包括通过编码在数个 二维(2D)视图(即2D多视图)处获取的图像产生比特流，其中，如果2D多视图在水平轴上 的数目(m)被设为Zn-1Cm彡2n，并且2D多视图在垂直轴上的数目(ρ)被设为215-1 < ρ彡2k， 则该比特流包括单个基础视图比特流和(n+k)个分层辅助视图比特流。在又一方面，通常，提供一种用于解码多视图序列的方法，包括接收在数个视图 (即多视图)处获取的图像的编码比特流，其中如果多视图(m)的数目被设为ZlriSmSZn, 则该比特流包括单个基础视图比特流和N个分层辅助视图比特流，并且根据所接收的比特 流选择性地解码该基础视图比特流和/或该N个分层辅助视图比特流。在又一方面，通常，提供一种用于解码多视图序列的方法，包括通过对在数个二 维(2D)视图(即2D多视图)处获取的图像进行编码来接收比特流，其中，如果2D多视图 在水平轴上的数目(m)被设为2n_i <m^2n,并且2D多视图在垂直轴上的数目(ρ)被设为2k_i < ρ ( 2k，则该比特流包括单个基础视图比特流和(n+k)个分层辅助视图比特流，并且 根据所接收的比特流来选择性地解码该基础视图比特流和/或该(n+k)个分层辅助视图比 特流。在又一方面，通常，提供一种用于编码多视图序列的方法，包括通过对在m个视 图(即m的多视图)处获取的图像编码而产生比特流，其中，该比特流包括单个基础视图比 特流和至少一个辅助视图比特流，该多视图的两端被分别地设为第一视图，该多视图中的 中心视图被设为第二视图，基于第二视图沿着两个方向通过跳过至少一个视图而接连布局 的视图被分别地设为第三视图，除了第一到第三视图之外的其余视图被分别地设为第四视 图，并且第一到第三视图中的任何一个被设为用于独立编码的基础视图，且除了基础视图 之外的其余视图被设为用于预测编码的辅助视图。在又一方面，通常，提供一种用于编码多视图序列的方法，包括通过对在m个视 图(即m的多视图)处获取的图像编码而产生比特流，其中，该比特流包括单个基础视图 比特流和至少一个辅助视图比特流，基础视图的位置被设为位于多视图的中心部分处的视 图，第二辅助视图的位置被设为位于多视图的两端处的视图，并且通过基于基础视图沿着 两个方向跳过至少一个视图来接连布局第一辅助视图的位置。在又一方面，通常，提供一种用于解码多视图序列的方法，包括接收在m个视图 (即m的多视图)处获取的图像的编码比特流，其中，该比特流包括单个基础视图比特流和 至少一个辅助视图比特流，通过独立解码多视图中的中心视图的数据来恢复所接收比特流 中的基础视像，使用所接收的比特流中的基础视像来恢复第一辅助视图的图像， 第一辅助视图是通过基于基础视图沿着两个方向跳过至少一个视图而接连布局的视图，并 且使用所接收比特流中的基础视像来恢复第二辅助视图的图像，第二辅助视图是位于 多视图两端的视图。在又一方面，通常，提供一种用于解码多视图序列的方法，包括接收在m个视图 (即，m的多视图)处获取的图像的编码比特流，其中，该比特流包括单个基础视图比特流和 至少一个辅助视图比特流；从所接收的比特流读出基础视图的位置信息，通过该位置信息 标识基础视图和辅助视图的位置，并且恢复基础视图和辅助视图的图像，其中，基础视图的 位置信息表示位于多视图两端处的第一视图、位于多视图中心处的第二视图以及通过基于 第二视图沿着两个方向跳过至少一个视图而被接连布局的第三视图中的任何一个。在又一方面，通常，一种用于编码视频序列的方法包括当产生比特流时从数个简 表中选择至少一个简表；并且在所述简表中包括与视频序列相关联的至少一个配置信息。在又一方面，通常，提供一种用于解码视频序列的方法，包括从所接收的比特流 提取至少一个简表信息；基于所提取的简表信息提取在所述简表中包含的至少一个配置信 息；并且使用所提取的配置信息来解码该比特流。在又一方面，通常，提供一种用于编码视频序列的设备，包括用于当产生比特流 时从数个简表中选择至少一个简表的装置；和用于将所接收的视频序列的至少一个配置信 息包括在所选择简表中的装置。在又一方面，通常，提供一种用于解码视频序列的设备，包括用于从所接收的比 特流提取至少一个简表信息的装置；用于基于所提取的简表信息提取在该简表中包含的至 少一个配置信息的装置；和用于使用所提取的配置信息来解码该比特流的装置。
本发明还提供了一种用于对多视图视频信号进行解码的方法，包括接收比特流， 该比特流包括根据第一简表编码的多视图视频信号和标识所述第一简表的简表信息，其中 该第一简表表示从一组简表中选择的简表，该组简表包括用于单个视图视频信号的多个简 表和用于所述多视图视频信号的至少一个简表；从所述比特流中提取识别所述第一简表的 简表标识信息，所述简表标识信息表示用于解码所述多视图视频信号而规定的技术元素的 子集；基于所述简表标识信息从所述比特流中提取与多个视图相关联的配置信息，其中，该 配置信息包括如下信息中的至少一个表示在所述多个视图之间的依赖关系的视图依赖信 息、指示参考视图的视图标识信息、指示视图数目的视图数目信息以及用于提供视图缩放 性的视图级信息；并且根据所述配置信息来对所述视频信号进行解码。本发明的方面可以具有以下的一个或多个优点。用于编码/解码多视图序列的方法能够有效地编码多视图序列。在对多视图序列 进行解码期间，在解码多视图序列期间能够以分层方式显示各个视图。该方法在编码多视 图序列期间建立各个视像的预测结构。因此，虽然多视图数目增加并且阵列被扩展，该 方法能够以与上述优选实施例相同的方式扩展预测结构。另外，该方法使用分层结构执行 多视图的视图缩放性功能，从而它能够执行编码/解码过程以适用于在接受端中包含的各 种显示器，结果实现了一种有效的编码/解码系统。用于编码/解码视频序列的方法当处理由数个照相机捕获的多视图序列时，向编 码器和解码器发送指示视图数目的“num_ViewS”信息。该编码/解码方法能够指定用作整 个视图的基础的参考视图。能够彼此独立地编码参考视图序列而不参考另一视图序列。该 编码/解码方法能够通过参考"view—arrangement"信息而根据各个布局有效地执行编 码/解码过程。该编码/解码方法能够标识简表类型，能够添加与视频序列相关联的各种配置， 并且能够使用所添加的信息有效地执行编码/解码过程。从下面的说明以及从权利要求可以清楚其它特征和优点。




图1是示例性解码设备。 图2是示出序列参数集RBSP语法的结构图示。 图3A是示出包括仅仅一个序列的比特流的结构图示。 图3B是示出包括两个序列的比特流的结构图示。 图4A-4C是示出示例性GOP组(GGOP)结构的图示。 图5是示出用于解码视频序列的方法的流程图。 图6A-6B、7A-7B和8是示出多视图序列预测结构的实例的图示。 图9A-9B是示出在多视图序列数据的数个观点之间的分层预测结构的图示。 图10A-10B是示出二维(2D)多视图序列数据的预测结构的图示。 图11A-11C是示出多视图序列预测结构的图示。 图12是示出分层编码/解码系统的图示。
具体实施例方式为了有效处理多视图序列，输入比特流包括允许解码设备判定输入比特流是否与 多视图简表有关的信息。在确定输入比特流涉及多视图简表的情形中，根据语法将与多视 图序列相关联的补充信息添加到比特流并且发送到解码器。例如，多视图简表ID能够指示 用于根据H. 264/AVC标准的修订来处理多视图视频数据的简表模式。MVC (多视图视频编码)技术是H.264/AVC标准的修订技术。即，作为补充信息为 MVC模式添加特定语法。用于支持MVC技术的这种修订能够比其中使用无条件语法的备选 方案更加有效。例如，如果AVC技术的简表标识符指示多视图简表，则添加多视图序列信息 可以提高编码效率。H. 264/AVC比特流的序列参数集(SPS)指示包括与整个序列编码相关联的信息 (例如简表和级)的头部信息。全部压缩后的运动图像(即序列)能够以序列头部开始，从而对应于头部信息 的序列参数集(SPS)早于由参数集参考的数据到达解码器。结果，序列参数集RBSP在进 口 Sl处用作运动图像的压缩数据的头部信息(图2)。如果接收到比特流，则简表ID信息 “profilejdc”标识数个简表中哪一个简表对应于接收到的比特流。简表ID信息“prof ile_idc”能够被例如设为“MULTI_VIEW_ROFILE”，从而包括简 表ID信息的语法能够确定所接收的比特流是否涉及多视图简表。当所接收的比特流涉及 多视图简表时，能够添加下面的配置信息。图1是示出用于解码含有多视图视频序列的视频信号的多视图视频系统的示例性 解码设备(或者“解码器”)的框图。多视图视频系统包括对应的编码设备(或者“编码器”)， 以提供多视图视频序列作为比特流，该比特流包括在机器可读信息载体(例如机器可读存储 介质或者在发送器和接收器之间传播的机器可读能量信号)上实施的编码图像数据。参考图1，解码设备包括解析单元10、熵解码单元11、反量化/反变换单元12、帧 间预测单元13、帧内预测单元14、解块滤波器15和解码图像缓存器16。帧间预测单元13包括运动补偿单元17、亮度补偿单元18和亮度补偿偏移预测单 元19。解析单元10对在NAL单元中所接收的视频序列执行解析以解码所接收的视频序 列。一般地，在对条带头部和条带数据进行解码之前，一个或者多个序列参数集和图像参数 集被发送到解码器。在此情形中，NAL头部或者NAL头部的扩展区域可以包括各种配置信 息，例如时域级信息、视图级信息、锚图像ID信息和视图ID信息等。术语“时间级信息”表示用于从视频信号提供时域缩放性的分层结构信息，从而经 由上述时域级信息能够将各种时间区的序列提供给用户。术语“视图级信息”表示用于从视频信号提供视图缩放性的分层结构信息。多视 图视频序列能够限定时域级和视图级，从而根据所限定的时域级和视图级，能够将各种时 域序列和视图序列提供给用户。以此方式，如果如上所述限定级信息，则用户可以采用时域缩放性和视图缩放性。 因此，用户能够查看对应于所需时间和视图的序列，或者能够查看对应于另一限制的序列。 也可以根据参考条件以各种方式建立上述级信息。例如，可以根据照相机位置改变级信息， 并且也可以根据照相机布局类型来改变级信息。另外，也可以不加任何特定参考地任意建立级信息。术语“锚图像”表示其中所有条带仅仅指的是当前视图中的条带而非其它视图中 的条带的编码图像。在视图之间的随机访问能够被用于多视图序列解码。锚图像ID信息能够被用于执行随机访问过程，以访问特定视图的数据而无需解
码大量数据。术语“视图ID信息”表示用于区别当前视图的图像和另一视图的图像的特定信 息。当视频序列信号被编码时，为了将一个图像从其它图像区别开，能够使用图像序列号 (POC)和帧数信息(frame_num)。如果当前序列被确定为多视图视频序列，则能够执行帧间视图预测。标识符被用 于区别当前视图的图像与另一视图的图像。能够定义视图标识符以指示图像的视图。解码设备能够使用上述视图标识符来获 得不同于当前图像的视图的视图中的图像的信息，从而它能够使用图像的信息来解码视频 信号。上述视图标识符能够被应用于视频信号的全部编码/解码过程。而且，上述视图标 识符也能够被应用于考虑视图使用帧数信息“frame_nUm”的多视图视频编码过程。一般地，多视图序列具有大量数据，并且每一个视图的分层编码功能(也被称为 “视图缩放性”)能够被用于处理该大量数据。为了执行视图缩放性功能，可以定义考虑多 视图序列的视图的预测结构。可以通过结构化数个视图序列的预测次序或者方向来定义上述预测结构。例如， 如果给定要被编码的数个视图序列，则总体布局的中心位置被设为基础视图，从而能够分 层地选择要被编码的视图序列。总体布局的端部或者其它部分可以被设为基础视图。如果照相机视图的数目由“2”的指数幂表示，可以基于由“2”的指数幂表示的照 相机视图的上述情形，形成在数个视图序列之间的分层预测结构。否则，如果照相机视图的 数目不由“2”的指数幂表示，则能够使用虚拟视图，并且可以基于虚拟视图来形成预测结 构。如果照相机布局表示二维布局，则可以沿着水平或者垂直方向交替地形成预测次序。被解析的比特流由熵解码单元11进行熵解码，并且提取例如每一个宏块的系数、 运动矢量等的数据。反量化/反变换单元12用预定常数去乘所接收的量化值以获取变换 后的系数值，并且对所获取的系数值执行变换，从而它重构像素值。帧间预测单元13使用 重构的像素值由当前图像的解码样本来执行帧间预测功能。同时，解块滤波器15被应用于每一个解码的宏块以减少块失真程度。解块滤波器 15执行块边缘的平滑，从而它提高解码帧的图像质量。滤波过程的选择依赖于边界强度和 在边界附近布局的图像样本的梯度。已滤波图像被存储在解码图像缓存器16中，从而它们 能够被输出或者被用作参考图像。解码图像缓存器16存储或者输出预编码图像以执行帧间预测功能。在此情形中， 图像的帧数信息“framejum”和P0C(图像序列号)信息被用于存储或者输出预编码图像。 在MVC技术的情形中，其它视图的图像可以存在于上述预编码图像中。因此，为了使用上述 图像作为参考图像，可以根据需要不仅使用“framejum”和POC信息，而且使用指示图像视 图的视图标识符。帧间预测单元13使用在解码图像缓存器16中存储的参考图像来执行帧间预测。 帧间编码宏块可以被划分成宏块部分。每一个宏块部分能够利用一个或者两个参考图像预测。运动补偿单元17使用从熵解码单元11接收的信息来补偿当前块的运动。运动补 偿单元17从视频信号提取当前块的相邻块的运动矢量，并且获得当前块的运动矢量预测 器。运动补偿单元17使用从视频信号和所获得的运动矢量预测器提取的运动矢量和预测 器之间的差值来补偿当前块的运动。上述运动补偿可以利用仅仅一个参考图像执行，或者 也可以利用多个参考图像执行。因此，如果上述参考图像被确定为不同于当前视图的其它视图的图像，则可以根 据指示其它视图的视图标识符来执行运动补偿。直接模式表示用于基于被完全解码的块的运动信息来预测当前块的运动信息的 编码模式。上述直接模式能够减少用于编码运动信息所需要的位数，结果提高压缩效率。例如，时域直接模式使用时域方向的运动信息的相关性来预测当前块的运动信 息。类似于时域直接模式，解码器能够使用视图方向的运动信息的相关性来预测当前块的 运动信息。如果所接收的比特流对应于多视图序列，则可以分别地由不同照相机捕获视图序 列，从而由于照相机的内部或者外部因素导致可以发生亮度差异。为了减少与亮度差异相 关联的潜在的效率低下问题，亮度补偿单元18执行亮度补偿功能。在执行亮度补偿功能的情形中，标志信息可以用于指示是否执行在视频信号的特 定级处的亮度补偿。例如，亮度补偿单元18可以使用指示是否执行对应的条带或者宏块的 亮度补偿的标志信息来执行亮度补偿功能。而且，用于使用上述标志信息来执行亮度补偿 的上述方法可以被应用于各种宏块类型(例如16X16模式、B跳过(B-skip)模式、直接模 式等)ο当执行亮度补偿时，为了重构当前块，可以使用相邻块的信息或者不同于当前块 的视图的视图中的块的信息，并且也可以使用当前块的偏移值。在此情形中，当前块的偏移值表示在当前块的平均像素值与对应于当前块的参考 块的平均像素值之间的差值。作为用于使用上述偏移值的实例，可以通过使用当前块的相 邻块来获得当前块偏移值的预测器，并且可以使用在偏移值和预测器之间的残值。因此，解 码器能够使用残值和预测器来重构当前块的偏移值。为了获得当前块的预测器，可以根据需要使用相邻块的信息。例如，能够通过使用相邻块的偏移值来预测当前块的偏移数值。在预测当前块偏 移数值之前，判定当前块的参考索引是否等于相邻块的参考索引。根据判定结果，亮度补偿 单元18能够确定将使用哪一个相邻块或者使用哪个值。亮度补偿单元18可以使用当前块的预测类型来执行亮度补偿。如果利用两个参 考块对当前块进行预测编码，则亮度补偿单元18可以使用当前块的偏移值来获得对应于 每一个参考块的偏移值。如上所述，根据预测模式来选择通过亮度补偿和运动补偿所获取的帧间预测图像 或者帧内预测图像，并且重构当前图像。在该文献中将在以后描述用于重构当前图像的编码/解码方法的各种实例。图2 是示出序列参数集RB SP语法的结构图示。参考图2，序列参数集指示包括与全序列编码相关联的信息(例如简表和级)的头部信 息。全压缩的序列能够以序列头部开始，从而对应于头部信息的序列参数集早于参考 参数集的数据到达解码器。结果，在步骤Si，序列参数集(RBSP)用作与得到的压缩后的运 动图像的数据相关联的头部信息。在步骤S2，如果接收到比特流，“profilejdc”信息判定 数个简表中的哪一个简表对应于所接收比特流。例如，如果“profilejdc”被设为“66”，则 这指示所接收的比特流基于基线简表。如果“profilejdc”被设为“77”，则这指示所接收 的比特流基于主要简表。如果“profilejdc”被设为“88”，则这指示所接收的比特流基于 扩展简表。步骤S3使用语法“If (profilejdc) = = MULTI_VIEff_PROFILE)，，以判定所接 收的比特流是否涉及多视图简表。如果在步骤S3所接收的比特流涉及多视图简表，则多视图序列的各种信息能够 被添加到所接收的比特流。“referencejiew”信息表示全视图的参考视图，并且可以将与 参考视图相关联的信息添加到比特流。通常，MVC技术使用能够被用于单个序列的编码方 案(例如H.264/AVC编解码器)来编码或者解码参考视图序列。如果参考视图被添加到语 法，则语法指示数个视图中的哪一个视图将被设为参考视图。用作编码参考的基础视图用作上述参考视图。参考视图的图像被独立编码而不参 考另一视图的图像。视图数目(nUm_vieWS)可以添加指示由数个照相机捕获的多视图的数目的特定 信息。可以以各种方式设定每一个序列的视图数目(num_ViewS)。在步骤S5，“nUm_VieWS” 信息被发送到编码器和解码器，从而编码器和解码器能够自由地使用“num_ViewS”信息。照相机布局(View_arrangement)指示当获取到序列时照相机的布局类型。如果 “view—arrangement”信息被添加到语法，则编码过程能够有效执行从而适合于各个布局。 此后，如果开发出新的编码方法，能够使用不同的“view—arrangement”信息。帧数目“temp0ral_imitS_SiZe”指示每一个视图的接连编码/解码的帧的数目。 如果需要，也可以添加指示帧数的特定信息。更加详细地，如果当前第N个视图正在被编 码/解码，并且下一次将对第M个视图进行编码/解码，则“temp0ral_imitS_Size”信息指 示在第N个视图将首先处理然后在第M个视图将处理多少个帧。通过“temp0ral_imitS_ size”信息和“nUm_VieWS”信息，系统能够确定数个视图中的哪一个视图对应于每个帧。如 果从每一个视图序列的I条带到P条带的第一长度、在P条带之间的第二长度或者对应于 第一或者第二长度的倍数的长度被设为“temp0ral_imitS_Size”信息，则可以仅仅在一个 视图处处理“temporal_units_size”信息，并且可以进行到下一个视图。“temporal_units_ size”信息可以等于或者小于传统GOP长度。例如，图4B 4C示出用于解释“temporal units_size”概念的GGOP结构。在此情形中，在图4B中，“temporal_units_size”信息被 设为 “3”。在图 4C 中，“temporal_units_size” 信息被设为 “1”。在一些实例中，对应于“temporal_units_size”为“ 1 ”的情况，MVC方法在时间轴 和视图轴上布局数个帧，从而它可以在相同时间值处处理每个视图的单个帧，并且然后可 以在下一时间值处处理每个视图的单个帧。可替代地，对应于“temporalunitsjize”为 “N”的情况，MVC方法可以在相同视图处处理N个帧，并且然后可以在下一视图处处理N个 帧。因为通常处理至少一个帧，“temporal_units_size_minusl”可以被添加到语法以表 示处理多少另外的帧。因此，在步骤S7，上述实例可以分别地由“temporal_units_size_minusl = 0” 禾口 "temporal_units_size_minusl = N-1，，表不。传统编码方案的简表不具有公共简表，从而标志被进一步用于指示可兼容 性。“ constraint_set*_flag”信息指示哪一个简表能够使用解码器来解码比特流。 “constraint_set0_flag”信息指示比特流能够在步骤S8利用基线简表的解码器解码。 “COnstraint_setl_flag”信息指示比特流能够在步骤S9利用主要简表的解码器解码。 “COnstraint_set2_flag”信息指示比特流能够在步骤SlO利用扩展简表的解码器解码。因 此，需要定义“MULTI_VIEW_PROFILE”解码器，并且“MULTI_VIEW_PROFILE”解码器可以在步 骤 Sll 由 “constraint_set4_flag，，信息定义。“leveljdc”信息指示级标识符。“ level ”通常指示解码器的性能和比特流的复 杂度，并且在步骤S12涉及在上述简表中规定的技术元素。“Seq_parameter_Set_id”信息指示在SPS (序列参数集)中包含的SPS (序列参数 集)ID信息从而在步骤S13标识序列类型。图3A是示出包括仅仅一个序列的比特流的结构图示。参考图3A，序列参数集(SPS)指示包括与全序列编码相关联的信息(例如简表和 级)的头部信息。补充增强信息(SEI)指示补充信息，对于运动图像(即序列)编码层的 解码过程而言并不需要该补充信息。图像参数集(PPS)是指示全图像的编码模式的头部信 息。I条带仅仅执行帧内编码过程。P条带执行帧内编码过程或者帧间预测编码过程。图 像分隔符指示在视频图像之间的边界。系统向上述SPS应用SPS RBSP语法。因此，系统在 产生比特流期间采用上述语法，从而它能够向所需对象添加各种信息。图3B是示出包括两个序列的比特流的结构图示。参考图3B，H. 264/AVC技术能够使用单个比特流来处理各种序列。SPS包括SPS 中的SPS ID信息(seq_parameter_set_id)从而标识序列。在PPS (图像参数集)中规定 SPS ID信息，从而识别哪一个序列包括图像。而且，在条带头部中规定PPS ID信息(pic_ parameter_set_id)，从而 “pic_parameter_set_id” 信息能够标识将使用哪一个 PPS。例如，图3B的条带#1的头部包括将被参考的PPS ID信息(pic_parameter_set_ id)，如由①所表示。PPS#1包括所参考的SPS ID信息(SPS= 1)，如由②所表示。因此，能 够认识到条带#1属于序列#1。以此方式，也能够认识到条带#2属于序列#2，如由③和④ 所表示。实际上，基线简表和主要简表被添加和编辑以创建新的视频比特流。在此情形中， 两个比特流被分配不同的SPS ID信息。该两个比特流中的任何一个也可以根据需要被转 变为多视图简表。图4A示出示例性GOP组(GGOP)结构。图4B和图4C示出用于解释“temporal_ imitS_SiZe”概念的GGOP结构。GOP表示一些图像的数据组。为了有效执行编码过程，MVC 使用GGOP概念来执行空域预测和时域预测。如果在每一个视图序列的I条带和P条带之间的第一长度、在P条带之间的第 二长度或者对应于第一或者第二长度的倍数的第三长度被设为“temp0ral_imitS_Size” 信息，则可以在仅仅一个视图处处理“temp0ral_imitS_Size”信息，并且可以进行到下一 视图。“temporalunitsjize”信息可以等于或者小于传统GOP长度。例如，在图4B中， "temporal_units_size"信息被设为 “3”。在图 4C 中，“temporal_units_size” 信息被设 为 “1”。特别地，在图 4B 中，如果 “temporal_units_size” 信息由 “temporal_units_size> 1”表示，并且一个或者多个视图在I帧处开始，则能够处理(temp0ral_unitS_Size+l) 个帧。而且，通过参考上述“temporal_units_size”和“num_Views”信息，系统能够从数个 视图中识别出哪一个视图对应于全序列的每一个帧。在图4A中，在时间轴和视图轴上布局各个帧。Vl V8的图像分别指示G0P。用作 基础GOP的V4被用作其它GOP的参考G0P。如果“temp0ral_unitS_Size”信息被设为“ 1 ”， 则MVC方法在相同时间区处理各个视图的帧，并且然后能够在下一个时间区再次处理各个 视图的帧。Tl T4的图像指示在相同时间区的各个视图的帧。换言之，MVC方法能够首先 处理Tl的帧，并且然后能够以T4- > T2- > T3-，…的顺序处理多个帧。如果“temporal imitS_SiZe”信息被设为“N”，MVC方法可以首先在单个视图中沿着时间轴方向处理N个帧， 并且可以在下一个视图处处理该N个帧。换言之，如果“temporalimitsjize”信息被设 为“4”，则MVC方法可以首先处理在V4 GOP的Tl T4帧中包含的帧，并且然后可以按照顺 序Vl- > V2- > V3- > 处理多个帧。因此，在产生图4A中的比特流的情形中，视图数目(nUm_VieWS)被设为“8”，参 考视图被设为V4 G0P(图像组)。帧的数目(temporalimitsjize)指示每一个视图的 接连编码/解码帧的数目。因此，如果在图4A中的相同时间区处处理每一个视图的帧， 则“temporalimitsjize”信息被设为“1”。如果在单个视图中沿着时间轴方向处理帧， “temporalimitsjize”信息被设为“N”。上述信息被添加到比特流产生过程。图5是示出用于解码视频序列的方法的流程图。参考图8，从所接收的比特流中提取一个或者多个简表信息。在此情形中，所提取 的简表信息可以是数个简表(例如基线简表、主要简表和多视图简表)中的至少一个。在步 骤S51可以根据输入视频序列来改变上述简表信息。从所提取的简表信息中提取在上述简 表中包含的至少一个配置信息。例如，如果所提取的简表信息涉及多视图简表，在步骤S53 提取在多视图简表中包含的一个或者多个配置信息(即“referencejieWnunuviews”、 "view_arrangement"和“temporal_units_size，，信息)。以此方式，上述所提取的信息被 用于解码多视图编码的比特流。图6A-6B是示出根据第一实例的多视图序列预测结构的概念图示。参考图6A-6B，如果数个观点的数目(m)(即多视图数目)被设为2n(即，m = 2n)， 如果η = 0，则多视图数目(m)被设为“1”。如果η = 1，则多视图数目(m)被设为“2”。如 果η = 2，则多视图数目(m)被设为“4”。如果η = 3，则多视图数目(m)被设为“8”。因此， 如果多视图数目(m)被设为ZlriCm彡2n，则比特流包括单个基础视图比特流和η个分层 辅助视图比特流。特别地，术语“基础视图”表示数个观点(即多视图)中的参考视图。换言之，对应 于该基础视图的序列(即运动图像)利用普通视频编码方案(例如MPEG-2、MPEG-4、H. 263 和H. 264等)编码，从而它以独立比特流的形式产生。为了方便说明，该独立比特流被称为 “基础视图比特流”。术语“辅助视图”表示在数个观点(即多视图)中除了上述基础视图之外的剩余 视图。换言之，对应于辅助视图的序列通过执行基础视图序列的差异(disparity)估计而 形成比特流，并且该比特流被称为“辅助视图比特流”。当在数个观点(即多视图)之间执行分层编码过程(即视图缩放性过程)的情形中，上述辅助视图比特流被分类成第一辅助视图比特流、第二辅助视图比特流和第η辅助 视图比特流。术语“比特流”根据需要可以包括上述基础视图比特流和上述辅助视图比特流。例如，如果多视图数目(m)被设为“8” (η = 3),比特流包括单个基础视图和三层 辅助视图。如果比特流包括单个基础视图和η层辅助视图，优选利用普通规则定义成为多 视图中的基础视图的位置和成为每一个分层辅助视图的位置。作为参考，图6Α-6Β的正方 形区域表示各个观点。关于在正方形区域中包含的数字，数字“0”表示基础视图，数字“1” 表示第一层辅助视图，数字“2”表示第二层辅助视图，并且数字“3”表示第三层辅助视图。 在图6Α-6Β的这个实例中，作为多视图视频序列示例性地公开最多8个观点，然而，应该注 意，多视图数目不限于“8”并且根据需要任何多视图数目可以用于其它实例。参考图6Α，由下面的规则来确定对应的基础视图和对应的辅助视图。首先，基础视 图的位置被设为第个视图。例如，如果η = 3，基础视图被设为第四视图。图6Α-6Β示 出其中开始视图位于最右侧的示例性情形。对应于从最右视图61的第四次序的特定视图 被用作基础视图。优选地，基础视图位置可以位于多视图中的中心视图附近的特定位置处 或者可以被设为多视图中的中心视图，因为基础视图可以被用作参考以执行其它辅助视图 的预测编码过程。对于另一实例，最左视图总是被设为开始视图，并且观点的数目(m)(即多视图数 目)可以按照m = 0->m= l->m = 2->m = 3…的顺序布局。例如，如果η = 3，第 多视图数目(即m = 4)可以被设为基础视图。第一层辅助视图位置可以被设为从上述基础视图分开第2η_2量级的左侧视图，或 者从上述基础视图分开2η_2量级的右侧视图。例如，图6Α示出其中沿着左方向从基础视图 分开2η_2视图(即在η = 3的情形中两个观点)的观点被确定为第一层辅助视图的示例性 情形。在其它情形中，图6Β示出其中沿着右方向从基础视图分开2η_2视图(即在η = 3的 情形中两个观点)的观点被确定为第一层辅助视图的示例性情形。在上述实例中，第一层 辅助视图的数目被设为“1”。第二层辅助视图位置可以被设为从基础视图分开2η_2量级的左侧视图，或者从第 一层辅助视图分开2η_2量级的右侧视图。例如，上述图6Α的情形产生两个第二层辅助视图。 因为上述图6Β的情形不具有沿着右方向从第一层辅助视图分开2η_2量级的视图，所以沿着 左方向从基础视图分开2η_2量级的观点被确定为第二层辅助视图。沿着左方向从第二层辅助视图分开2η_2量级的也可以被确定为第二层辅助视图 63。然而，如果该观点对应于多视图的两端，则上述观点可以被确定为第三层辅助视图。在 图6Β的情形中可以产生一个或者两个第二层辅助视图。最后，第三层辅助视图位置被设为除了已被选择作为基础视图和第一以及第二层 辅助视图的上述观点之外的剩余观点。在图6Α中，产生四个第三层辅助视图。在图6Β中， 产生四个或者五个第三层辅助视图。图7Α-7Β是示出根据第二实例的多视图序列预测结构的概念图示。图7Α-7Β的第二实例在概念上类似于上述图6Α-6Β的第一实例，然而，应该注意， 不同于图6Α-6Β，图7Α-7Β示出用于选择基础视图的开始视图位于最左侧。换言之，从最左 侧65分开的第四视图被选择作为基础视图。在图7Α-7Β中，除了上述差异之外的其余部分
15与图6A-6B的那些相同。图8是示出根据第三实例的多视图序列预测结构的概念图示。图8的第三实例示出其中多视图数目(m)被设为211-1 < m ^ 2n的示例性情形。更 加详细地，图8示出由m = 5、m = 6、m = 7和m = 8表示的各种情形。如果m = 5、6、和7， 则多视图数目(m)并不满足m = 2n的条件，从而系统不做改变难以实现图6A-6B的上述第 一实例和图7A-7B的上述第二实例不做改变。为了解决上述问题，该系统应用虚拟视图概 念，从而利用虚拟视图概念来避免上述问题。例如，如果ZlriCmCZn，产生2n_m个虚拟视图。如果多视图数目(m)是奇数，在多 视图布局的左侧(或者右侧)产生(2n-m+l)/2个虚拟视图，并且在多视图布局的右侧(或 者左侧)产生(2n-m-l)/2个虚拟视图。如果多视图数目(m)是偶数，分别地在多视图布局 的左侧和右侧产生(2n-m)/2个虚拟视图。并且然后，能够以相同方式利用所得到的虚拟视 图应用上述预测结构。例如，如果多视图数目(m)被设为“5”，通过分别地向多视图的两端添加一个或者 两个虚拟视图而虚拟地形成m = 8的多视图，并且选择基础视图的位置和三层辅助视图的 位置。如从图8可见，两个虚拟视图被添加到左侧的端部，并且单个虚拟视图被添加到右侧 的端部，从而根据图6A的上述实例选择基础视图和第一到第三层辅助视图。例如，如果多视图数目(m)被设为“6”，通过向多视图的两端添加单个虚拟视图而 虚拟地形成m = 8的多视图，并且分别地选择基础视图的位置和三层辅助视图的位置。如 从图8可见，根据图6A的上述实例选择基础视图和第一到第三层辅助视图。例如，如果多视图数目(m)被设为“7”，通过向多视图两端的任何一个添加单个虚 拟视图而虚拟地形成m = 8的多视图，并且分别地选择基础视图的位置和三层辅助视图的 位置。例如，如图8所示，单个虚拟视图被添加到左侧端部，从而根据图6A的上述实例来选 择基础视图和第一到第三层辅助视图。图9A-9B是示出在多视图序列数据的数个观点之间的分层预测结构的概念图示。 例如，图9A示出图6A情形的实现实例，并且图9B示出图7A情形的实现实例。更加详细地， 如果多视图数目(m)被设为“8”，提供基础视图和三层辅助视图，从而在多视图序列的编码 期间能够实现在数个观点之间的分层编码(或者“视图缩放性”)。基于基础视图的图像和/或上层辅助视像的图像来估计/预测利用上述分层 辅助视图比特流实现的各个图像，从而对得到的图像执行编码。特别地，差异估计通常被用 作上述估计。例如，第一层辅助视图92通过参考基础视图91执行在观点之间的估计/编码过 程(即多视图的估计/编码过程)。第二层辅助视图(93a和93b)通过参考基础视图91和 /或第一层辅助视图92执行在观点之间的估计/编码过程。第三层辅助视图(94a、94b、94c 和94d)通过参考基础视图和第一层辅助视图92和/或第二层辅助视图(93a和93b)执行 在观点之间的估计/编码过程。与上述说明相关联地，图中箭头部指示上述多视图的估计 /编码过程的进度方向，并且可以理解，在相同层中包含的辅助流可以根据需要表示不同视 图。上述分层编码的比特流根据显示器特性在接受端中被选择性地解码，并且将参考图12 在以后描述其详细说明。通常，编码器的预测结构可以被改变为另一结构，从而通过发送指示各个视图的关系的信息，解码器能够容易地识别出各个视像的预测结构关系。而且，指示全视图分 层中的哪一个级包括各个视图的特定信息，也可以被发送到解码器。如果视图级(VieW_leVel)被分配给对应的图像(或者条带)，并且给定在视 像之间的依赖关系，即便预测结构被编码器以各种方式改变，解码器也能够容易地认出被 改变的预测结构。在此情形中，对应视图的预测结构/方向信息可以以矩阵的形式构造，从 而矩阵型预测结构/方向信息被发送到目的地。换言之，视图数目(ruim_view)被发送到解 码器，并且对应视图的依赖关系也可以由二维(2D)矩阵来表示。如果视图的依赖关系按时改变，例如，如果每一个GOP的第一帧的依赖关系不同 于其余时间区的其它帧的依赖关系，则可以发送与各个情形相关联的依赖关系矩阵信息。图10A-10B是示出根据第四实例的二维(2D)多视图序列的预测结构的概念图示。上述第一到第三实例已经作为实例公开了一维阵列的多视图。应该注意到，根据 需要它们也能够被应用于二维(2D)多视图序列。在图10A-10B中，正方形指示以2D的形式布局的各个视图，并且在正方形中包含 的数字指示分层视图的关系。例如，如果以“A-B”的形式构造正方形数目，“A”指示对应的分层辅助视图，并且 “B”指示在相同分层辅助视图中的优先权。关于在正方形区域中包含的数字，数目“0”指示基础视图，数字“1”指示第一层辅 助视图，数字“2-1”或者“2-2”指示第二层辅助视图，数字“3-1”或者“3-2”指示第三层辅 助视图，数字“4-1”、“4-2”或者“4-3”指示第四层辅助视图，以及数字“5-1”、“5-2”或者 “5-3”指示第五层辅助视图。总之，在对从二维(2D)多视图获取的图像进行编码来产生比特流的情形中，如果 在水平轴上的2D多视图数目(m)是2n_i <m^2n并且在垂直轴上的2D多视图数目(ρ)是 2k_i < ρ彡2k，上述比特流包括单个基础视图比特流和(n+k)个分层辅助视图比特流。更加详细地，在水平轴和垂直轴上交替地形成上述(n+k)层辅助视图。例如，在图 IOA中的(n+k)层辅助视图中的第一层辅助视图位于包括基础视图的垂直轴处。在图IOB 中的(n+k)层辅助视图中的第一层辅助视图位于包括基础视图的水平轴处。例如，如图IOA所示，如果水平轴的多视图数目(m)被设为“8” (即，η = 3)，并且 垂直轴的多视图数目(P)被设为“4”(即，k = 2)，则比特流包括单个基础视图和五层辅助 视图。与上述说明有关联地，图IOA示出按照“垂直轴->水平轴->垂直轴-〉…”的顺 序来选择分层辅助视图。将如下在下文中描述用于确定基础视图和辅助视图的位置的方 法。首先，以与上述一维阵列相同的方式确定基础视图位置。因此，基础视图位置被确 定为对应于沿着水平轴方向第2"-1个位置和沿着垂直轴方向第2k—1个位置的特定视图。第一层辅助视图位置被确定为沿着垂直轴方向从基础视图位置分开2k_2量级的顶 侧视图或者底侧视图，如由①所表示。第二层辅助视图位置被确定为，或者利用2k-2量级 沿着水平轴方向从基础视图位置和第一分层辅助视图分开2n_2量级的如由②所表示的左侧 视图以及右侧视图。第三层辅助视图位置被确定为在包括不仅第一和第二层辅助视图而且 还包括基础视图的垂直轴中包含的其余视图。第四层辅助视图位置被确定为沿着水平轴方 向从第一到第三层辅助视图和基础视图分开2n_2量级的左侧视图或者右侧视图。最后，第五层辅助视图位置被确定为除了基础视图和第一到第四层辅助视图之外的其余视图。例如，如从图IOB可见，如果水平轴的多视图数目(m)被设为“8”(即η = 3)并且 垂直轴的多视图数目(P)被设为“4”(即k = 2)，则比特流包括单个基础视图和五层辅助 视图。与上述说明相关联地，图IOB示出按照“水平轴->垂直轴->水平->…”的次序 选择分层辅助视图。将如下在下文中描述用于确定基础视图和辅助视图的位置的方法。首先，以与上述一维阵列相同的方式来确定基础视图位置。因此，基础视图位置 被确定为对应于沿着水平轴方向的第2"-1位置以及沿着垂直轴方向的第2k—1位置的特定视 图。第一层辅助视图位置被确定为沿着水平轴方向从基础视图位置分开2n_2量级的左 侧视图或者右侧视图，如由①所表示。第二层辅助视图位置被确定为沿着垂直轴方向从基 础视图和第一层辅助视图分开2H量级的如由②所示的顶侧视图或底侧视图。第三层辅助 视图位置被确定为沿着水平轴方向从基础视图和第一到第二层辅助视图分开2n_2量级的左 和右方向视图。第四层辅助视图位置被确定为在包括不仅第一到第三层辅助视图而且还包 括基础视图的垂直轴中包含的的其余视图。最后，第五层辅助视图位置被确定为除了基础 视图和第一到第四层辅助视图之外的其余视图。图11A-11C是示出根据第五实例的多视图序列预测结构的概念图示。图11A-11C 的第五实例具有不同于上述第一到第四实例的预测结构规则。例如，图11A-11C的正方形 区域指示各个视图，然而，在正方形区域中包含的数字指示视图预测的次序。换言之，关于 在正方形区域中包含的数字，数字“0”指示第一预测视图(或者第一视图)，数字“1”指示 第二预测视图(或者第二视图)，数字“2”指示第三预测视图(或者第三视图)，以及数字 “3”指示第四预测视图(或者第四视图)。例如，图IlA示出在多视图数目(m)由m = 1 m = 10表示的情形中第一到第四 视图的决定格式。第一到第四视图利用下面的规则确定。例如，多视图的两端被设为第一视图(0)，并且多视图中的中心视图被设为第二视 图(1)。分别地通过基于第二视图(1)沿着两个方向跳过至少一个视图而被接连布局的视 图被设为第三视图(2)。除了第一到第三视图之外的其余视图被分别地设为第四视图(3)。 如果如上所述确定第一到第四视图，则需要区分基础视图和辅助视图。例如，第一视图、第 二视图和第三视图中的任何一个被设为基础视图，并且除了基础视图之外的其余视图可以 被设为辅助视图。如果基础视图没有通过上述规定规则确定而是由编码器任意选择，则基础视图位 置的标识(ID)信息(即“base_view_p0siti0n”)可以被包含在比特流中。图IlB示出决定第二视图(1)的另一实例。更加详细地，图IlB示出不同于图IlA 的实例的另一实例，从而它示出其中除了第一视图(0)之外的其余视图被设为偶数的示例 性情形。换言之，如果m = 4、m = 6、m = 8或者m= 10，则图IlB的第二视图(1)可以根 据需要不同于图IlA的第二视图(1)。对于另一实例，在确定位于第二视图(1)之后的视图 的情形中，可以通过基于最左第一视图(0)顺序地跳过单个视图而确定上视图。与上述说明相关联地，图IlC示出一种例示情形，其中，多视图数目(m)为10(即m =10)，并且多视图中的基础视图由基础视图ID信息利用“base_view_p0siti0n =' 1' 视图”(对应于第六视图)表示。例如，如从图IlC可见，第一层辅助视图被设为第三视图(2)，第二层辅助视图被设为第一视图(0)，并且第三层辅助视图被设为第四视图(3)。与上述说明相关联地，在图11A-11B中，基础视图也可以被设为第一视图(1)，如 图IlC所示。原因在于，如果基础视图位于多视图的中心部分附近的特定位置处，或者位于 多视图的中心部分处，则其它辅助视图的估计/编码过程能够有效执行。因此，能够根据下 面的规则来确定基础视图位置和辅助视图位置。换言之，基础视图位置被设为多视图的中心视图(1)，第二辅助视图位置被设为多 视图的两端视图(0)，并且第一辅助视图位置被设为通过基于基础视图沿着两个方向跳过 至少一个视图而接连布局的视图(2)。除了上述视图之外的其余视图(3)都被设为第三辅 助视图。与上述说明相关联地，如果多视图数目(m)等于或者小于“7” (即，m彡7)，仅仅 两个或者更少视图被布局在基础视图(1)和第二辅助视图(0)之间，在基础视图(1)和第 二辅助视图(0)之间布局的所有的视图分别被设为第一辅助视图(2)。如果多视图数目(m)等于或者大于“8” (BP, m^ 8)并且仅仅两个或者更少视图 被布局在第二辅助视图(0)和第一辅助视图(2)之间，则在第二辅助视图(0)和第一辅助 视图⑵之间布局的所有的视图分别被设为第三辅助视图(3)。例如，如图IlA IlB所指示，如果m = 8、m = 9和m = 10，则能够认出位于第二
辅助视图(0)和第一辅助视图(2)之间的一个或者两个视图被分别地设为第三辅助视图 ⑶。对于另一实例，如果仅仅两个或者更少视图位于基础视图(1)和第二辅助视图 (0)之间，则在基础视图(1)和第二辅助视图(0)之间布局的所有的视图可以分别地被设为 第三辅助视图(3)。例如，如图IlA IlB所示，如果m = 8，则能够认出位于基础视图(1) 和第二辅助视图(0)之间的两个视图被分别地设为第三辅助视图(3)。使用由上述方法确定的基础视图和辅助视图，能够执行在视图(或观点)之间的 视图缩放性。例如，如果多视图数目(m)等于或者小于“7” (即，m彡7)，则产生单个基础视图 流和两个分层辅助视图比特流。例如，第二辅助视图(0)能够被设为第一层辅助视图，并且 第一辅助视图(2)也能够被设为第二层辅助视图。例如，如果多视图数目(m)等于或者高于“8”(即，m彡8)，S卩，如果m = 8、m = 9 或者m= 10，则产生单个基础视图比特流和三个分层辅助视图比特流。例如，第一辅助视图 (2)被选择作为第一层辅助视图，第二辅助视图(0)被选择作为第一层辅助视图，并且第三 辅助视图(3)被选择作为第三层辅助视图。图12是示出编码/解码多视图序列的分层方法的概念图示。参考图12，传输端的编码器使用可以由第一到第五实施例预测的修改方法和在第 一到第五实例中示出的方法来执行多视图序列的视图缩放性功能，以产生比特流，并且将 比特流发送到接受端。因此，解码方法或者设备接收由上述特性形成的比特流、解码所接收的比特流，并 且对于每一个分层产生解码数据。此后，根据用户或者显示器的选择，能够使用由每一个分 层解码的数据来实现各种显示。例如，用于仅仅再现基础视图的数据的基础层121适用于2D显示125。用于一起再现基础视图的数据和第一层辅助视图的数据的第一增强层#1(122)适用于通过组合两 个2D图像而形成的立体型显示126。用于一起地再现基础视图的数据、第一层辅助视图 的数据和第二层辅助视图的数据的第二增强层#2(123)适用于多视图序列的3D再现的低 多视图显示127。用于一起再现基础视图的数据和所有分层辅助视图的数据的第三增强层 #3(124)适用于多视图序列的3D再现的高多视图显示128。
权利要求
一种用于对多视图视频数据流中的多视图视频数据进行解码的方法，所述方法包括从多视图视频数据流中的序列头部获取锚图像的视图间预测结构信息；所述视图间预测结构信息包括数量信息和视图标识信息，所述数量信息表示所述多视图视频数据中的视图的总数量，并且所述视图标识信息提供所述多视图视频数据中的每个视图的视图标识符，其中所述锚图像中的所有条带仅参考所述多视图视频数据的具有相同时间位置并且位于不同视图的条带；通过利用所述锚图像的视图间预测结构信息，确定用于视图间预测的当前条带的参考图像列表；基于所述确定的用于视图间预测的参考图像列表，来确定所述当前条带中的宏块的预测值；以及通过使用所述预测值来解码所述当前条带中的宏块，其中所述多视图视频数据包括基础视图和辅助视图的视频数据，所述基础视图表示不使用视图间预测的独立于其他视图被解码的视图，所述辅助视图为除了基础视图以外的视图。
2.根据权利要求1所述的方法，其中，所述锚图像的视图间预测结构信息是通过考虑 预测方向而被获取的。
3.根据权利要求2所述的方法，其中，所述预测方向表示按照图像输出顺序的前向和 后向。
4.根据权利要求1所述的方法，其中，所述辅助视图是通过参考所述基础视图而被解 码的。
5.一种用于对多视图视频数据流中的多视图视频数据进行解码的装置，所述装置包括NAL解析单元，其被配置来从多视图视频数据流中的序列头部获取锚图像的视图间预 测结构信息；解码图像缓冲单元，其被配置来通过利用所述锚图像的视图间预测结构信息，确定用 于视图间预测的当前条带的参考图像列表；帧间预测单元，其被配置来基于所述确定的用于视图间预测的参考图像列表，来确定 所述当前条带中的宏块的预测值；以及解码单元，其被配置来通过使用所述预测值来解码所述当前条带中的宏块， 其中所述视图间预测结构信息包括数量信息和视图标识信息，所述数量信息表示所述 多视图视频数据中的视图的总数量，并且所述视图标识信息提供所述多视图视频数据中的 每个视图的视图标识符，其中所述锚图像中的所有条带仅参考所述多视图视频数据的具有相同时间位置并且 位于不同视图的条带，并且其中所述多视图视频数据包括基础视图和辅助视图的视频数据，所述基础视图表 示不使用视图间预测的独立于其他视图被解码的视图，所述辅助视图为除了基础视图以外 的视图。
6.根据权利要求5所述的装置，其中，所述锚图像的视图间预测结构信息是通过考虑预测方向而被获取的。
7.根据权利要求6所述的装置，其中，所述预测方向表示按照图像输出顺序的前向和 后向。
8.根据权利要求5所述的装置，其中，所述辅助视图是通过参考所述基础视图而被解 码的。
全文摘要
本发明涉及处理多视图视频。对视频信号进行解码包括接收比特流，该比特流包括根据第一简表编码的视频信号和简表信息，该第一简表表示从一组简表中选择的简表，该组简表包括用于单个视图视频信号的多个简表和用于多视图视频信号的至少一个简表，该简表信息标识该第一简表。从该比特流提取简表信息。根据所确定的简表来解码视频信号。
文档编号H04N7/26GK101895744SQ20101013598
公开日2010年11月24日 申请日期2007年1月12日 优先权日2006年1月12日
发明者梁正休 申请人:Lg电子株式会社