用于解码/编码视频信号的方法和装置的制作方法

专利名称：用于解码/编码视频信号的方法和装置的制作方法
技术领域：
本发明涉及视频信号的编码。
背景技术：
压縮编码意指用于经由通信电路发送数字化信息或以适合于贮存 介质的形式来存储数字化信息的一系列信号处理技术。作为压縮编码 的目标，存在音频、视频、符号等。具体而言，用于对视频执行压縮 编码的技术被称为视频序列压縮。视频序列的一般特征在于具有空间 冗余或时间冗余。

发明内容
技术问题 技术解决方案
因此，本发明针对一种用于解码/编码视频信号的方法和装置，它 们可以充分提高视频信号编码的效率。
本发明的一个目的是提供一种用于解码/编码视频信号的方法和 装置，通过该方法和装置，通过基于视点间图片的关系获得当前图片 的运动信息，可以执行运动补偿。
本发明的另一目的是提供一种用于解码/编码视频信号的方法和 装置，通过该方法和装置，使用与当前图片的运动信息具有高相似性 的参考视点的运动信息，可以提高当前图片的恢复速率。
本发明的另 一 目的是通过定义能够标识图片的视点的视点间信 息，对视频信号有效率地执行编码。本发明的另一目的是提供一种管理用于视点间预测的参考图片的 方法，通过该方法，可以有效率地编码视频图像。
本发明的另一目的是提供一种预测视频信号的运动信息的方法， 通过该方法，可以有效率地处理视频信号。
本发明的进一步目的是提供一种搜索与当前块相对应的块的方 法，通过该方法，可以有效率地处理视频信号。
有益效果
根据本发明，通过使用视频序列的时间和空间相关性来预测运动 信息，可以提高信号处理效率。通过使用与当前块具有高相关性的图 片的编码信息来预测当前块的编码信息，实现了更精确的预测，从而
减少发送错误，以执行有效率的编码。即使不发送当前块的运动信息， 也能够计算与当前块的运动信息非常相似的运动信息。因此，提高了 恢复速率。
此外，通过提供管理用于视点间预测的参考图片的方法，可以有 效率地执行编码。在通过本发明执行视点间预测的情形下，减少了施 加在DPB (解码图片缓冲器)上的负担。因此，可以提高编码速率，并 且实现了更准确的预测，以减少要发送的位数目。
此外，使用关于多视点序列的各种各样的配置信息，实现了更有 效的编码。


附图被包含在内以提供对本发明的进一步理解，并且被并入在本 说明书中并构成本说明书的一部分，附示了本发明的实施例，并 且与描述一起用于解释本发明的原理。
6在附图中
图l是根据本发明实施例的视频信号解码装置的示意性框图； 图2是根据本发明实施例的关于可以被添加到多视点序列编码位
流的多视点序列的配置信息的视图3是根据本发明实施例的多视点序列信号的整体预测结构的视
图，以解释视点间图片组的概念；
图4是用于解释根据本发明实施例的根据存在或不存在运动跳过 (Skip)来执行运动补偿的方法的视图5是解释根据本发明实施例的搜索相对应块的方法的框图； 图6是解释根据本发明实施例的使用边信息来搜索相对应块的方
法的视图7是解释根据本发明实施例的在至少一个参考视点可用的情形 下执行运动跳过的方法的视图8a至8d是根据本发明实施例的指示在至少一个参考视点可用的 情形下用于运动跳过的视点的各种示例的视图9a至10b是解释根据本发明实施例的在视点之间空间分辨率不 同的情形下执行视点间预测的方法的视图ll是解释根据本发明实施例的在执行运动跳过情形下推导出参 考索引的方法的视图12是解释根据本发明实施例的用于获得视点间预测使用的运动
矢量的各种方法的视图13a和图13b是根据本发明实施例的指示分级视点间参考信息的 语法的视图；以及
图14是解释根据本发明实施例的用于发送深度信息的各种方法的 视图。
具体实施例方式
本发明的另外特征和优点将在下面的描述中阐明，并且部分地将从该描述中显而易见，或者可以通过本发明的实施得知。通过在本书 面描述和其权利要求以及附图中特别指出的结果，将实现并获得本发
明的目标和其他优点。
为了实现这些和其他优点，以及根据本发明的目的，如所体现和 广义描述的，根据本发明的一种解码视频信号的方法包括使用边信 息搜索参考块，从参考块推导出当前块的运动信息，使用当前块的运 动信息解码当前块，其中，边信息包括指示在参考块和相对应块之间 的位置差的偏移信息，并且其中，相对应块是由指示在当前块视点和 参考块视点之间视差差异的全局运动矢量指示的块。
优选地，该方法进一步包括获得指示是否推导出当前块的运动信 息的第二标记信息，并且基于该第二标记信息来获得边信息。
更优选地，从宏块层获得第二标记信息。
在该情形下，该方法进一步包括获得指示当前片是否使用运动跳 过的第一标记信息，其中，基于该第一标记信息来获得第二标记信息。
并且，从片头部获得第一标记信息。
更优选地，基于视点间图片组标识信息来获得第一标记信息或第 二标记信息。
在该情形下，当根据视点间图片组标识信息，当前图片对应于非 视点间图片组时，获得第 一 标记信息或第二标记信息。
而且，基于指示视点间参考关系的视点间参考信息，获得第一标 记信息。
8在该情形下，从序列参数集合的扩展区域获得视点间参考信息。
而且，视点间参考信息包括非视点间图片组的视点间参考图片的 数目信息。
而且，在L0方向和/或L1方向上存在非视点间图片组的至少一个视 点间参考图片。
优选地，该方法进一步包括使用全局运动矢量和偏移信息来推导 出修改的全局运动矢量，其中使用该修改的全局运动矢量来推导出参 考块的位置信息。
优选地，基于指示视点间参考关系的视点间参考信息，获得全局 运动矢量。
更优选地，视点间参考信息包括非视点间图片组的视点间参考图 片的数目信息，并且获得与非视点间图片组的视点间参考图片的数目 信息一样多的全局运动矢量。
优选地，基于视点间图片组标识信息，获得全局运动矢量。
更优选地，如果根据视点间图片组标识信息，当前图片对应于视 点间图片组，则获得全局运动矢量。
优选地，视频信号被接收为广播信号。
优选地，视频信号经由数字介质被接收。
为了进一步实现这些和其他优点，以及根据本发明的目的， 一种 用于解码视频信号的装置包括使用边信息搜索参考块的相对应块搜索单元、从参考块推导当前块的运动信息的运动信息推导单元，以及 使用当前块的运动信息来解码当前块的运动补偿单元，其中，边信息 包括指示在参考块和相对应块之间的位置差的偏移信息，并且其中， 相对应块是由指示在当前块的视点和参考块的视点之间视差差异的全 局运动矢量指示的块。
应当理解的是，前述一般描述和下列详细描述都是示例性和解释 性的，并且意在提供对所请求保护的本发明的进一步的解释。
发明模式
现在将详细参考本发明的优选实施例，附图中图示了本发明的示例。
首先，视频信号数据的压縮编码考虑空间冗余、时间冗余、可分 级冗余和视点间冗余。并且，在压縮编码过程中通过考虑视点间存在 相互冗余，实现了压缩编码。考虑视点间冗余的压縮编码方案仅是本 发明的实施例。并且，本发明的技术思想可应用于时间冗余、可分级 冗余等。在本公开中，编码可以包括编码和解码的概念。并且，可以 灵活地解释编码，以对应于本发明的技术思想和范围。
观察视频信号的位序列配置，在处理活动图片编码处理本身的
VCL (视频编码层)和发送并存储编码信息的下层系统之间存在被称 为NAL (网络抽象层)的独立层结构。来自编码处理的输出是VCL数 据，并且在发送或存储之前，被NAL单元映射。每个NAL单元包括作 为与头部信息相对应的数据的压縮视频数据或RBSP (原始字节序列有 效负载活动图片压縮的结果数据)。
NAL单元基本上包括两部分NAL头部和RBSP。 NAL头部包括标 记信息(nal—ref—idc)，它指示是否包括作为NAL单元的参考图片的片； 以及标识符(nal—unit—type)，它指示NAL单元的类型。压縮的原始数据被存储在RBSP中。并且，RBSP尾部位被添加到RBSP的最后部分， 以表示作为8位乘数的RGSP的长度。作为NAL单元的类型，存在IDR(瞬 时解码刷新)图片、SPS (序列参数集合)、PPS (图片参数集合)、 SEI (补充增强信息)等。
在标准化过程中，设置各种类(profile)和级(level)的要求，以
使得能够利用适当的成本实现目标产品。在该情形下，解码器应当满 足根据相应类和级确定的要求。因此，定义两个概念"类"和"级" 以指示用于表示解码器可以应付压縮序列的范围的程度的函数或参 数。并且，类标识符(profileJdc)可以标识位流是基于指定类的。类 标识符意指指示位流所基于的类的标记。例如，在H.264/AVC中，如果 类标识符是66，则它意指位流是基于基线类的。如果类标识符是77， 则它意指位流是基于主类的。如果类标识符是88，则它意指位流是基 于扩展类的。而且，类标识符可以被包括在序列参数集合中。
因此，为了处理多视点序列，需要标识输入的位流是否是多视点 类。如果所输入的位流是多视点类，则有必要添加语法以使得能够发 送用于多视点的至少一个附加信息。在该情形下，多视点类指示用于 处理多视点视频的类模式作为H.264/AVC的附加技术。在MVC中，可 以更有效率的是，添加语法作为用于MVC模式的附加信息，而非无条 件的语法。例如，当AVC的类标识符指示多视点类时，如果添加了用 于多视点序列的信息，则它能够提高编码效率。
序列参数集合指示头部信息，该头部信息包含跨越诸如类、级等 的全部序列的编码的信息。整个压縮的活动图片，即序列，应当从序 列头部开始。因此，与头部信息相对应的序列参数集合应当在参考参 数集合的数据到达之前，到达解码器。S卩，序列参数集合RBSP作用为 用于活动图片压縮的结果数据的头部信息。 一旦输入了位流，类标识 符优先标识该输入位流是基于多个类的中的哪一个。因此，通过将用 于确定输入的位流是否涉及多视点类(例如，"If(profile—idc==MULTI—VIEW—PROFILE)")的部分添加至语法，确 定所输入的位流是否涉及多视点类。仅当证实所输入的位流涉及多视 点类时，才可以添加各种各样的配置信息。例如，能够添加视点的总 数、视点间参考图片的数目、视点间参考图标的视点标识编号等。并 且，解码的图片缓冲器可以使用关于视点间参考图片的各种各样的信 息以构造并管理参考图片列表。
图l是根据本发明的用于解码视频信号的装置的示意性框图。
参考图l，解码装置包括解析单元IOO、熵解码单元200、反量化/ 反变换单元300、帧内预测单元400、解块滤波器单元500、解码的图片 缓冲器单元600、帧间预测单元700等。并且，解码的图片缓冲器单元 600主要包括参考图片存储单元(图中未示出)、参考图片列表构建单 元(图中未示出)、参考图片管理单元(图中未示出)等。而且，帧 间预测单元700可以包括运动跳过确定单元710、相对应块搜索单元 720、运动信息推导单元730、运动补偿单元740和运动信息获得单元 750。
解析单元100通过NAL单元执行解析，以解码接收到的视频序列。 通常，在片头部和片数据被解码之前，将至少一个序列参数集合和至 少一个图片参数集合传输到解码器。在该情形下，可以将各种各样的 配置信息包括在NAL头部区域或NAL头部的扩展区域中。由于MVC是 用于常规AVC方案的附加方案，所以仅在MVC位流的情形下，添加各 种配置信息而非无条件添加可能是更有效率的。例如，能够在NAL头 部区域或者NAL头部的扩展区域中添加用于标识存在或不存在MVC位
流的标记信息。仅当根据标记信息输入的位流是多视点序列编码位流 时，才能够添加用于多视点序列的配置信息。例如，配置信息可以包 括视点标识信息、视点间图片组标识信息、视点间预测标记信息、时 间级信息、优先级标识信息、指示它是否是用于视点的瞬时解码的图 片的标识信息等。将参考图2对它们进行详细解释。
12熵解码单元200对解析的位流执行熵解码，并且然后提取每个宏块 的系数、运动矢量等。反量化/反变换单元300获得通过将接收到的量化 值乘以预定常数而变换的系数值，并且然后将系数值进行相反的变换
以重建像素值。使用所重建的像素值，帧内预测单元400从当前图片内 的解码的样本来执行屏幕内预测。同时，解块滤波器单元500被应用于 每个编码宏块，以减少块失真。滤波器使块边缘平滑，以增强解码的 帧的图像质量。滤波处理的选择取决于边界强度和在边界周围的图像 样本的梯度。通过滤波的图片被输出或存储在解码的图片缓冲器单元 600中，以被用作参考图片。
解码的图片缓冲器单元600作用于存储或打开先前编码的图片以
执行图片间预测。在该情形下，为了将图片存储在解码的图片缓冲器 单元600中，或者为了打开图片，使用每个图片的"frame—num"和POC
(图片顺序计数)。因此，在MVC中，由于存在与先前编码的图片中 存在的当前图片得视点不同的视点的图片，所以为了将这些图片用作 参考图片，用于标识图片的视点信息可以与"frame—num"禾nPOC—起 使用。解码的图片缓冲器单元600包括参考图片存储单元(图中未示 出)、参考图片列表构建单元(图中未示出)以及参考图片管理单元
(图中未示出)。
参考图片存储单元存储为了对当前图片进行编码而将被参考的图 片。参考图片列表构建单元构建用于图片间预测的参考图片的列表。 在多视点视频编码中，视点间预测是可能的。因此，如果当前图片参 考另一视点中的图片，则可能有必要构建用于视点间预测的参考图片 列表。
参考图片列表构建单元在构建用于视点间预测的参考图片列表中 可以使用关于视点的信息。例如，可以使用视点间参考信息。视点间 参考信息意指用于指示视点间依赖关系的信息。例如，可能存在视点的总数目、视点标识编号、视点间参考图片的数目、视点间参考图片 的视点标识编号等。
参考图片管理单元管理参考图片，以更灵活地执行图片间预测。 例如，存储器管理控制操作方法和滑动窗口方法是可用的。这用于通 过将存储器统一成一个存储器来管理参考图片存储器和非参考图片存 储器，并且利用较小的存储器来实现有效率的存储器管理。在多视点 视频编码中，由于在视点方向上的图片具有相同的图片顺序计数，所 以在标记它们的过程中，可以使用用于标识每个图片的视点的信息。 并且，以上述方法管理的参考图片可以由帧间预测单元700使用。
通过上述处理，根据预测模式来选择帧间预测图片和帧内预测图 片，以重建当前图片。
图2是根据本发明一个实施例的关于可添加到多视点序列编码的
位流的多视点序列的配置信息的视图。
图2示出了可以添加关于多视点序列的配置信息的NAL单元配置 的示例。NAL单元可以主要包括NAL单元头部和RBSP (原始字节序列 有效载荷活动图片压縮的结果数据)。并且，NAL单元头部可以包 括指示NAL单元是否包括参考图片的片的标识信息(nal一refjdc)以及 指示NAL单元的类型的信息(nal—unit_type)。并且，可以有限地包括 NAL单元头部的扩展区域。例如，如果指示NAL单元的类型的信息与 可分级视频编码相关联，或者指示前缀NAL单元，则NAL单元能够包 括NAL单元头部的扩展区域。具体而言，如果nal—unit—type二20或14， 则NAL单元能够包括NAL单元头部的扩展区域。并且，根据能够标识 它是否是MVC位流的标记信息(svc—mvc—flag)，可以将用于多视点序 列的配置信息添加到NAL单元头部的扩展区域。
又例如，如果指示NAL单元的类型的信息是指示序列参数集合的
14信息，则RBSP可以包括关于序列参数集合的信息。具体而言，如果
nal—unit—type=7，则RBSP可以包括关于序列参数集合的信息。如果 nal_unit—type=15，则RBSP可以包括关于子集序列参数集合的信息。在 该情形下，根据类信息，子集序列参数集合可以包括序列参数集合的 扩展区域。例如，如果类信息(profile—idc)是与多视点视频编码相关 的类，则子集序列参数集合可以包括序列参数集合的扩展区域。序列 参数集合的扩展区域可以包括指示视点间依赖型的视点间参考信息。
如下详细解释关于多视点序列的各种配置信息，例如，可以被包 括在NAL单元头部的扩展区域中的配置信息，或者可以被包括在序列 参数集合的扩展区域中的配置信息。
首先，视频标识信息意指用于区别当前视点中的图片与不同视点 中的图片的信息。在编码视频序列信号的过程中，POC(图片顺序计数) 和"frame—num"被用于标识每个图片。在多视点视频序列的情形下， 执行视点间预测。因此，需要用于将当前视点中图片与另一视点中图 片相区别的标识信息。因此，有必要定义用于标识图片的视点的视点 标识信息。可以从视频信号的头部区域获得视点标识信息。例如，头 部区域可以是NAL头部区域、NAL头部的扩展区域或片头部区域。使
用视点标识信息获得关于与当前图片的视点不同的视点中的图片的信 息，并且能够使用关于不同视点中的图片的信息来解码视频信号。
视点标识信息可应用于视频信号的整体编码/解码处理。例如，视 点标识信息可以被用于指示视点间依赖性。可能需要参考图片的计数 信息、视点间参考图片的视点标识信息等来指示视点间依赖性。与视 点间参考图片的计数信息和视点间参考图片的视点标识信息类似，用 于指示视点间依赖性的信息被称为视点间参考信息。在该情形下，视 点标识信息可以被用于指示视点间参考图片的视点标识信息。视点间 参考图片可以意指在对当前图片执行视点间预测过程中使用的参考图 片。并且，视点标识信息可以被完整应用于使用考虑视点而不是考虑
15特定视点标识符的"frame_num"的多视点视频编码。
视点间图片组标识信息意指能够标识当前N AL单元的编码的图片 是否是视点间图片组的信息。在该情形下，视点间图片组意指仅参考 所有片存在于在相同时区上的帧中的片的编码的图片。例如，它意指 仅参考在不同视点中的片而不参考在当前视点中的片的编码的图片。 在解码多视点序列中，视点间随机访问是可能的。对于视点间预测， 视点间参考信息是必要的。在获得视点间参考信息的过程中，视点间 图片组标识信息是可用的。例如，如果当前图片对应于视点间图片组， 则可以获得关于视点间图片组的视点间参考信息。如果当前图片对应 于非视点间图片组，则可以获得关于非视点间图片组的视点间参考信 息。下文将参考图3对此进行详细解释。
因此，在基于视点间图片组标识信息来获得视点间参考信息的情 形下，能够更有效率地执行视点间随机访问。这是因为在视点间图片 组中的图片之间的视点间参考关系可能不同于非视点间图片组中的图 片之间的视点间参考关系。并且，在视点间图片组的情形下，可以参 考多个视点中的图片。例如，从多个视点中的图片生成虚拟视点的图 片，并且然后，能够使用该虚拟视点的图片来预测当前图片。替代地， 能够通过参考多个视点中的多个图片来预测当前图片。
在构建参考图片列表的过程中，可以使用视点间图片组标识信息。 在该情形下，参考图片列表可以包括用于视点间预测的参考图片列表。 并且，可以将用于视点间预测的参考图片列表添加到参考图片列表。 例如，在初始化参考图片列表或者修改参考图片列表的情形下，可以 使用视点间图片组标识信息。并且，它还可以用于管理用于视点间预 测的所添加的参考图片。例如，通过将参考图片划分成视点间图片组 和非视点间图片组，能够进行标记，该标记指示不应当使用未能用于
执行视点间预测的参考图片。并且，视点间图片组标识信息可应用于 假设参考解码器。视点间预测标记信息意指指示当前NAL单元的编码的图片是否用 于视点间预测的信息。视点间预测标记信息可用于执行时间预测或视
点间预测的部分。在该情形下，可以一起使用指示NAL单元是否包括 参考图片的片的标识信息。例如，虽然根据标识信息，当前NAL单元 未能包括参考图片的片，但是如果它用于视点间预测，则当前NAL单 元可以是仅用于视点间预测的参考图片。根据标识信息，如果当前NAL 单元包括参考图片的片并且用于视点间预测，则当前NAL单元可以被 用于时间预测和视点间预测。如果根据标识信息，NAL单元未能包括 参考图片的片，则它可以被存储在解码的图片缓冲器中。这是因为， 根据视点间预测标记信息，在当前NAL单元的编码的图片用于视点间 预测的情形下，它需要被存储。
除了一起使用标记信息和标识信息的情形， 一个标识信息可以指 示当前NAL的编码的图片是否用于时间预测或/和视点间预测。
并且，视点间预测标记信息可以被用于单一循环解码处理。根据 视点间预测标记信息，在当前NAL单元的编码的图片没有用于视点间 预测的情形下，可以部分地执行解码。例如，完全解码帧内宏块，然 而仅解码帧间宏块的残留信息。因此，能够降低解码器的复杂性。如 果当用户正在观看仅在特定视点中的视点而不观看在全部视点中的序 列时，不必通过在不同视点中执行运动补偿来重建序列，则这可能是 有效的。
图3所示的视图用于解释本发明的一个实施例。
例如，考虑图3所示的视图的一部分，编码顺序可以对应于SO、 Sl 和S2。假定当前要编码的图片是在视点S1中的时区T2上的图片B3。在 该情形下，在视点S0中的时区T2上的图片B2和在视点S2中的时区T2上 的图片B2可以被用于视点间预测。如果在视点SO中的时区T2上的图片B2被用于视点间预测，则视点间预测标记信息可以被设置成l。如果在
视点S0中的时区T2上的图片B2没有用于视点间预测，则标记信息可以 被设置成O。在该情形下，如果在视点SO中所有片的视点间预测标记信 息是O，则可能不必解码在视点SO中的全部片。因此，可以提高编码效 率。
又例如，如果在视点SO中所有片的视点间预测标记信息不是O，艮口， 如果至少一个被设置成l，则解码是强制性的，即使一个片被设置为O。 由于在视点S0中的时区T2上的图片B2没有用于当前图片的解码，假定 通过将视点间预测信息设置成O而不执行解码，所以无法重建视点SO中 的时区T1上的图片B3，在解码在视点SO中的片的情形下，它使用在视 点S0中的时区T2上的图片B2和在视点S0中的时区T3上的图片B3。因此， 无论视点间预测标记信息如何，它们应当被重建。
再例如，视点间预测标记信息可用于解码的图片缓冲器(DPB)。 如果没有提供视点间预测标记信息，则在视点S 0中的时区T 2上的图片 B2应当被无条件存储在解码的图片缓冲器中。然而，如果能够知道视 点间预测标记信息是O，则在视点S0中时区T2上的图片B2可以不被存储 在解码的图片缓冲器中。因此，能够节省解码的图片缓冲器的存储。
时间级信息意指关于从视频信号提供时间可分级性的层次结构 (hierarchical structure)的信息。虽然是时间级信息，但是它能够向用
户提供在各种时区上的序列。
优先级标识信息意指能够标识NAL单元的优先级的信息。使用优 先级标识信息能够提供视点可分级性。例如，使用优先级标识信息能 够定义视点级信息。在该情形下，视点级信息意指关于用于从视频信 号提供视点可分级性的层次结构的信息。在多视点视频序列中，有必 要定义用于时间的级和用于视点的级以向用户提供各种时间和视点序 列。在定义以上级信息的情形下，能够使用时间可分级性和视点可分级性。因此，用户能够浏览仅在特定时间和视点的序列或者仅根据另 一限制条件的序列。级信息可以根据它的参考条件以各种方式不同地 设置。例如，根据相机位置或相机排列，可以将级信息设置为不同。 并且，通过考虑视点依赖性，可以确定级信息。例如，将用于具有I图 片的视点间图片组的视点的级设置成O，将用于具有P图片的视点间图 片组的视点的级设置成l，并且将具有图片B的视点间图片组的视点的 级设置成2。因此，级值可以被分配至优先级标识信息。而且，级信息 可以被随机设置，而非基于特别参考。
图3是根据本发明一个实施例的多视点序列信号的整体预测结构 的图以解释视点间图片组的概念。
参考图3，横轴上的T0至T100指示根据时间的帧，并且纵轴上的 S0至S7指示根据视点的帧。例如，在TO的图片意指通过在相同时区TO 上的不同相机捕获的序列，而在SO的图片意指通过在不同时区上的单 一相机捕获的序列。并且，图中的箭头指示各个图片的预测方向和顺 序。例如，在时区T0上的视点S2中的图片P0是从I0预测的图片，它变 成在时区T0上的视点S4中图片P0的参考图片。并且，它变成分别在视 点S2中的时区T4和T2上的图片B1和B2的参考图片。
对于多视点序列解码处理，可能需要视点间随机访问。因此，通 过最小化解码努力，访问随机视点应当是可能的。在该情形下，可能 需要视点间图片组的概念以执行有效率的访问。图2中提到了视点间图 片组的定义。例如，在图3中，如果在时区TO上的视点SO中的图片IO对 应于视点间图片组，则在相同时区(即，时区TO)上不同视点中的所 有图片可以对应于视点间图片组。又例如，如果在时区T8上的视点S0 中的图片IO对应于视点间图片组，则在相同时区(即，时区T8)上不同 视点中的所有图片，可以对应于视点间图片组。类似地，在T16，…， T96和T100中的所有图片也变成视点间图片组的示例。根据另一实施例，在MVC的总体预测结构中，GOP可以从I图片开始。并且，I图片与H.264/AVC兼容。因此，与H.264/AVC兼容的所有视点间图片组可以变成I图片。然而，在用P图片替换I图片的情形下，更有效率的编码是可能的。具体而言，使用使GOP从与H.264/AVC兼容
的P图片开始的预测结构，实现了更有效率的编码。在该情形下，如果视点间图片组被重新定义，则它变成能够参考在相同视点中的不同时区上的片以及所有片存在于相同时区上的帧中的片的编码的图片。然而，参考在相同视点中的不同时区上的片的情形可能仅限于与H.264/AVC兼容的视点间图片组的。
在已经解码视点间图片组之后，以没有帧间预测的输出顺序，将所有顺序编码的图片从在视点间图片组之前解码的图片解码。
因此，考虑图3中所示的多视点视频序列的总体编码结构，由于视点间图片组的视点间依赖性不同于非视点间图片组的视点间依赖性，所以有必要根据视点间图片组标识信息，将视点间图片组与非视点间图片组彼此区别开。
视点间参考信息意指指示何种结构被用于预测视点间序列的信息。这可以从视频信号的数据区获得。例如，它可以从序列参数设置区获得。并且，使用参考图片的数目和参考图片的视点信息，可以获得视点间参考信息。例如，在已经获得视点的总数目之后，能够基于视点的总数目获得用于标识每个视点的视点标识信息。并且，可以获得视点间参考图片的数目信息，该信息指示用于每个视点的参考方向的参考图片的数目。根据视点间参考图片的数目信息，能够获得每个视点间参考图片的视点标识信息。
通过该方法，可以获得视点间参考信息。并且，通过被分类成视点间图片组的情形和非视点间图片组的情形的方式，可以获得视点间参考信息。使用指示在当前NAL中的编码的片是否与视点间图片组相对应的视点间图片组标识信息，可以知道这一点。从NAL头部的扩展
区域或者片层区域可以获得视点间图片组标识信息。
而且，根据视点间图片组标识信息获得的视点间参考信息可用于参考图片列表的构建、管理等。
如下描述了用于提供有效率地解码视频信号的方法的各种实施例。
图4是用于解释根据本发明实施例的根据存在或不存在运动跳过
来执行运动补偿的方法的视图。
帧间预测单元700使用从熵解码单元200发送的信息来补偿当前块的运动。从视频信号提取与当前块相邻的块的运动矢量，并且然后获得当前块的运动矢量。并且，使用所获得的运动矢量预测值和从视频信号提取的差分矢量来补偿当前块的运动。并且，能够使用一个参考图片或多个参考图片来执行运动补偿。在多视点视频编码中，在当前图片参考在不同视点中的图片时，能够使用关于存储在解码的图片缓冲单元600中的视点预测参考图片列表的信息来执行运动补偿。并且，还能够使用用于标识相对应图片视点的视点的信息来执行运动补偿。
并且，直接预测模式是用于从编码的块的运动信息来预测当前块的运动信息的编码模式。由于该方法能够节省解码运动信息所需要的位的计数，所以提高了压缩效率。例如，时间直接模式使用在时间方向上的运动信息相关性来预测当前块的运动信息。当在包含不同运动的序列中的运动速度恒定时，时间直接模式是有效的。在将时间直接模式用于多视点视频编码的情形下，应当考虑多视点运动矢量。
对于直接预测模式的另一示例，空间直接模式使用空间方向上的运动信息相关性来预测当前块的运动信息。当在包含相同运动的序列中运动速度变化时，空间直接模式是有效的。在当前图片的反向参考图片列表(列表l)中具有最小参考编号的参考图片内，能够使用与当前块共处的块的运动信息来预测当前图片的运动信息。然而，在多视点视频编码中，参考图片可能存在于与当前图片的视点不同的视点中。在该情形下，在应用空间直接模式中，各种实施例是可用的。
如下解释了根据本发明实施例的用于根据存在或不存在运动跳过来执行运动补偿的示例。
运动跳过确定单元710确定是否推导当前块的运动信息。例如，能够使用指示是否执行运动跳过的标记信息(下文中称为运动跳过标记信息)。运动跳过标记信息可以被设置成分层次的。例如，可以在从由序列级、视点级、GOP (图片组)级、图片级、片级、宏块级和子块级所组成的组中选择的至少一个上设置运动跳过标记信息。
如果运动跳过标记信息是l，则执行运动跳过。即，可以从参考块的运动信息来推导当前块的运动信息。另一方面，如果运动跳过标记
信息是0，则运动跳过确定单元710不执行运动跳过，而是获得发送的
运动信息。在该情形下，运动信息可以包括运动矢量、参考索引、块类型等。
特别是，能够从片头部获得第 一 标记信息
(motion—skip—enable—flag)。在该情形下，第一标记信息可以指示当前片是否使用运动跳过。例如，如果第一标记信息是l，则当前片使用运动跳过。如果该标记信息是0，则当前片不使用运动跳过。如果第一标记信息不存在，则第一标记信息可以被推导为O。
而且，能够从宏块层获得第二标记信息(motion—skip—flag)。在该情形下，第二标记信息可以指示是否推导当前块的运动信息。例如，在根据第一标记信息在当前片中使用运动跳过的情形下，能够重新获得指示在宏块层中是否使用运动跳过的第二标记信息。例如，如果第二标记信息是l，则可以从在不同视点中的参考块推导当前宏块的运动信息。如果第二标记信息是0，则不从在不同视点中的参考块中推导当前块的运动信息。如果第二标记信息不存在，则可以从0推导第二标记信息。因此，运动跳过标记信息可以分层次控制是否以在至少两个级上分层次设置的方式来执行运动跳过。替代地，可以在单一级上独立设置运动跳过标记信息。
对于另一实施例，预定要求对于获得运动跳过标记信息可能是必要的。
对于第一示例，基于视点间图片组标识信息，可以获得运动跳过标记信息。如在前面描述中所提及的，参考图2详细解释了视点间图片组标识信息。在该情形下，运动跳过标记信息可以包含第一标记信息和/或第二标记信息。替代地，运动跳过标记信息可以包含在不同层中定义的另一标记信息。如果根据视点间图片组标识信息，当前图片对应于非视点间图片组，则可以获得运动跳过标记信息。
对于第二示例，基于视点间参考信息，可以获得运动跳过标记信息。如在前文描述中所提及的，参考图2详细解释了视点间参考信息。在该情形下，运动跳过标记信息可以包含第一标记信息和/或第二标记信息。例如，在视点间参考关系存在的情形下，可以获得运动跳过标记信息。视点间参考关系可以意指非视点间图片组的视点间参考关系。详细地，能够基于非视点间图片组的视点间参考图片的数目的信息来
获得运动跳过标记信息。如果用于非视点间图片组的LO方向的视点间参考图片的数目大于o，则可以获得运动跳过标记信息。如果用于非视点间图片组的L1方向的视点间参考图片数目大于0，可以获得运动跳过
标记信息。
如果视点间图片组的视点间参考关系存在，则可以将运动跳过标
23记信息设置成获得。替代地，无论存在或不存在视点间图片组，能够将运动跳过标记信息设置成获得。
对于第三示例，基于视点间图片组信息和视点间参考信息，可以获得运动跳过标记信息。在该情形下，运动跳过标记信息可以获得第一标记信息和/或第二标记信息。例如，如果当前图片不是视点间图片组，并且如果用于非视点间图片组的L0和/或L1方向的视点间参考图片的数目大于0，则能够获得运动跳过标记信息。
基于另一运动跳过标记信息，可以获得运动跳过标记信息。例如，基于第一标记信息，可以获得第二标记信息。s卩，如果当前片根据第一标记信息(motion—skip—enable—flag)执行运动跳过，则能够获得第二标记信息(motion—skip—flag)。替代地，如果当前图片不是视点间图片并且如果当前片执行运动跳过，则能够获得第二标记信息。
对于第四示例，基于当前视点是否是基视点，可以获得运动跳过标记信息。在该情形下，基视点可以意指可以独立于其他视点被编码的视点。替代地，基视点可以意指用于与常规解码器(例如，H.264/AVC、
MPEG-2、 MPEG-4等)兼容的至少一个视点。基视点可以变成在多视点中编码的基础。替代地，基视点可以对应于用于预测不同视点的参考视点。通过序列编解码方案(MPEG-2、 MPEG-4、 H.26L系列等)将与基视点相对应的序列编码，以形成为独立位流。与基视点相对应的序列可以或可以不与H.264/AVC兼容。然而，在与H.264/AVC兼容的视
点中的序列变成基视点。例如，如果当前片对应于基视点，则可以不解析当前片的运动跳过标记信息。特别地，如果当前片不对应于基视点，则可以获得当前片的运动跳过标记信息。
同时，可以以各种方式定义参考视点。首先，能够使用指示当前要编码的目标是否与基视点相对应的标记信息。例如，如果
base_view=l，则它可以意指当前视点对应于基视点。如果base—view=0，则它可以意指当前视点不对应于基视点。第二，能够使用级信息来定 义基视点。例如，在视点间图片组是帧内编码的情形下，可以将包括 视点间图片组的视点设置成最低级。并且，可以将具有最低级的视点 定义为基视点。第三，能够使用优先级标识信息来定义基视点。在前 文的描述中解释了优先级标识信息。例如，可以将优先级标识信息具 有最低值的视点定义为基视点。
对于第五示例，基于部分解码标记，可以获得运动跳过标记信息。 在该情形下，如果当前图片对应于非视点间图片组，则部分解码标记 指示在不完全重建视点间参考图片的情形下是否可以解码。例如，如 果部分解码标记是l，则可以使用部分解码的视点间参考图片来解码当 前图片。在该情形下，部分解码可以意指仅解码残余信息的情形。
因此，为了获得运动跳过标记，以上实施例可以作为独立要求或 其组合被应用。而且，在没有任何要求的情形下，可以获得运动跳过 标记。例如，可以从序列参数集合、图片、片头部、宏块层和/或其一 个扩展区域中获得运动跳过标记。
在通过运动跳过确定单元710执行运动跳过的情形下，相对应块搜
索单元720搜索相对应块。运动信息推导单元730能够使用相对应块的 运动信息来推导当前块的运动信息。然后，运动补偿单元740使用推导 出的运动信息来执行运动补偿。同时，如果未通过运动跳过确定单元 710执行运动跳过，则运动信息获得单元750获得发送的运动信息。然 后，运动补偿单元740使用所获得的运动信息来执行运动补偿。如下解 释了用于执行运动补偿的详细处理。
图5是解释根据本发明实施例的搜索相对应块的方法的框图。
根据本发明的实施例，能够使用在第一域块的第二域上的编码信 息来预测在当前块的第二域上的编码信息。在该情形下，能够获得作为编码信息的块信息以及运动信息。例如，在跳过模式中，在当前块 之前编码的块的信息被用于当前块的信息。在应用跳过模式中，在不 同域上存在的信息是可用的。参考详细示例对这一点解释如下。
对于第一示例，能够假定时间Ta中两个不同视点序列内的对象(或 者背景)的相对运动关系在与时间Ta充分接近的时间Tcurr中被类似地 保持。在该情形下，在时间Ta中的视点方向编码信息与在时间Tcurr中 的视点方向编码信息具有高度相关性。如果在同一视点中的不同时区 上的相对应块的运动信息被完整地使用，则能够获得较高编码效率。 并且，能够使用指示是否使用该方法的运动跳过信息。在根据运动跳 过信息执行运动跳过的情形下，能够从当前块的相对应块来预测诸如 块类型、运动矢量和参考索引的运动信息。因此，能够减少编码运动 信息所需要的位数量。
对于第二示例，与前面示例一样，相同的方法通过改变作为算法 应用轴的第一和第二域的方式可使用。具体而言，在相同时间Ta中的 视点Vn内的对象(或者背景)以及在与视点Vn相邻的视点Vm内的对象 (或背景)很可能具有类似运动信息。在该情形下，如果在不同视点 中的相同时区上的相对应块的运动信息被完整地带来，并且然后被使 用，则能够实现较高编码效率。并且，能够使用指示是否使用了这样 的方法的运动跳过信息。
使用与当前块相邻的块的运动信息，编码器预测当前块的运动信 息，并且然后发送在实际运动矢量和预测运动矢量之间的差值。类似 地，解码器确定当前宏块所参考的图片的参考索引是否与相邻块所参 考的图片的参考索引相同，并且然后，相应地获得运动矢量预测值。 例如，在相邻块中存在具有当前宏块的相同参考索引的单一块，相邻 块的运动矢量依原样被使用。在另一情形下，使用相邻块的运动矢量 的中值。在多视点视频编码中，参考图片可以不仅存在于时间轴上，而且 也在视点轴上。由于这个特性，所以如果当前块的参考图片索引不同 于邻近块的参考图片索引，则运动矢量之间将很可能不具有相关性。 如果是这样，则显著降低了运动矢量预测值的准确性。因此，提出了 一种根据本发明一个实施例的使用视点间相关性的新运动矢量预测方 法。
例如，在视点间生成的运动矢量可能依赖于每个对象的深度。如 果序列的深度在空间上没有显著变化，并且如果根据时间轴的变化的 序列的运动不显著，则将不会显著改变在每个宏块位置处的深度本身。 在该情形下，深度可以意指能够指示视点间视差差异的信息。由于全 局运动矢量的影响基本上存在于相机之间，所以虽然深度稍微改变， 但是如果全局运动矢量充分大于深度变化，则使用全局运动矢量比使 用不具有相关性的相邻块的时间方向运动矢量可能更有效率。
在该情形下，全局运动矢量可以意指可共同应用于预定区域的运 动矢量。例如，如果运动矢量对应于局部区域(例如，宏块、块、像 素等)，则全局运动矢量或全局视差矢量是对应于包括该局部区域的 整个区域的运动矢量。例如，该整个区域可以对应于单一片、单一图 片或整个序列。并且，该整个区域可以对应于在图片、背景或预定区 域内的至少一个对象。全局运动矢量可以是像素单位、1/4像素单位的 值，或者4x4单位、8x8单位或宏块单位的值。
根据本发明的实施例，能够使用共处块的视点间运动信息来预测 当前块的运动矢量。在该情形下，该共处块可以是与存在于相同图片 中的当前块相邻的块，或者对应于与包括在不同图片中的当前块共处 的块。例如，在不同视点中的不同图片的情形下，它可以是空间共处 的块。在相同视点中的不同图片的情形下，它可以是时间共处的块。
在多视点视频编码结构中，通过将图片仅用于具有预定时间间隔的视点方向中的预测，可以执行随机访问。因此，如果解码了用于预 测仅在视点方向上的运动信息的两个图片，则能够将新的运动矢量预 测方法应用于时间上存在于两个解码的图片之间的图片。例如，能够 从用于仅在视点方向上的预测的图片来获得视点方向运动矢量，并且 这可以按照4x4块单位来存储。在执行仅视点方向预测过程中照亮差异 显著的情形下，通过帧内预测来执行编码可能频繁发生。在该情形下， 运动矢量可以被设置成0。然而，如果由于显著照亮差异而主要通过帧 内预测来执行编码，则生成了许多宏块，这些宏块关于在视点方向上 的运动矢量的信息是未知的。为了补偿这一点，在帧内预测的情形下， 能够使用相邻块的运动矢量来计算虚拟视点间运动矢量。并且，能够 将虚拟视点间运动矢量设置成通过帧内预测编码的块的运动矢量。
在已经从两个解码的图片获得了视点间运动信息之后，能够编码 在解码的图片之间存在的层次B图片。在该情形下，这两个解码的图片 可以是视点间图片组。在该情形下，视点间图片组意指仅参考所有片 在相同时区上的帧中的片的编码的图片。例如，它意指仅参考在不同 视点中的片而不参考在当前视点中的片的编码的图片。
同时，在预测当前块的运动矢量的方法中，相对应块存在于与当前 块的视点不同的视点中，并且然后使用相对应块的编码信息可以预测 当前块的编码信息。首先，如下解释了找到存在于与当前块的视点不 同的视点中的相对应块的方法。
例如，相对应块可以是由当前块的视点方向运动矢量指示的块。 在该情形下，视点方向运动矢量意指指示视点间视差差异的矢量或全 局运动矢量。在该情形下，已经在前文描述中解释了全局运动矢量的 含义。并且，全局运动矢量可以指示在当前块的相同时刻上的相邻视
点的相对应宏块位置。参考图5，图片A和B存在于时间Ta中，图片C和 D存在于时间Tcurr中，并且图片E和F存在于时间Tb中。在该情形下， 在时间Ta中的图片A和B以及在时间Tb中的图片可以是视点间图片组。
28并且，在时间Tcurr中的图片C和D可以是非视点间图片组。图片A、 C 和E存在于相同视点Vn中。并且，图片B、 D和F存在于相同视点Vm中。 图片C是当前要被解码的图片。并且，图片D的相对应宏块(MB)是由 在视点方向上的当前块(当前MB)的全局运动矢量GDVcurr指示的块。 通过在当前图片和在相邻视点中的图片之间的宏块单元可以获得全局 运动矢量。在该情形下，通过指示视点间参考关系的信息，可以知道 关于相邻视点的信息。
指示视点间参考关系的信息是指示何种结构被用于预测视点间序 列的信息。这可以从视频信号的数据区获得。例如，它可以从序列参 数集合获得。并且，使用参考图片的数目信息和参考图片的视点信息， 可以识别视点间参考信息。例如，在已经获得了视点的总数目之后， 基于视点的总数目，能够识别用于区别每个视点的视点信息。并且， 能够获得用于每个视点的参考方向的参考图片的数目。根据参考图片 的数目，能够获得每个参考图片的视点信息。通过该处理，可以获得 视点间参考信息。并且，通过被分成视点间图片组的情形和非视点间 图片组的情形的方式，可以识别视点间参考信息。这可以使用视点间 图片组标识信息来指导，视点间图片组标识信息指示在当前N AL中的 编码的片是否对应于视点间图片组。
作为本发明的实施例，预定要求对于获得用于找出相对应块的视 点方向上的矢量可能是必要的。例如，如下解释了用于获得全局运动 矢量的要求。
对于第一示例，基于视点间图片组标识信息，可以获得全局运动 矢量。在前文的描述中，解释了视点间图片组标识信息和全局运动矢 量。例如，在根据视点间图片组标识信息，当前图片对应于视点间图 片组的情形下，能够获得全局运动矢量。在该情形下，全局运动矢量 可以包括在L0方向上的全局运动矢量和/或在L1方向上的全局运动矢
量。替代地，在根据视点间图片标识信息，当前图片对应于非视点间图片组的情形下，能够将全局运动矢量设置成被获得。替代地，无论 存在或不存在视点间图片组，能够将全局运动矢量设置成被获得。
对于第二示例，基于片类型，可以获得全局运动矢量。例如，如 果当前宏块的片类型是P片或B片，则可以获得全局运动矢量。在当前 块的片类型是P片的情形下，能够获得在LO方向上的全局运动矢量。在
当前块的片类型是B片的情形下，能够获得在LO方向上的全局运动矢量 以及在L1方向上的全局运动矢量。
对于第三示例，基于视点间参考信息，可以获得全局运动矢量。
参考图2详细解释了视点间参考信息。例如，如果存在视点间参考关系， 则可以获得全局运动矢量。在该情形下，视点间参考关系可以意指非 视点间图片组的视点间参考关系。具体地例如，基于关于非视点间图 片组的视点间参考图片的数目的信息，能够获得全局运动矢量。能够 获得与在非视点间图片组的LO方向上的视点间参考图片的数目一样多 的在LO方向上的全局运动矢量。替代地，能够获得与在非视点间图片 组的L1方向上的视点间参考图片的数目一样多的L1方向上的全局运动
对于第四示例，基于当前视点是否是基视点，可以获得全局运动 矢量。在该情形下，基视点可以意指可以独立于其他视点被编码的视 点。替代地，基视点可以意指用于与常规解码器(例如，H.264/AVC、 MPEG-2、 MPEG-4等)兼容的至少一个视点。该基视点可以成为在多 视点中编码的基础。替代地，基视点可以对应于用于不同视点的预测 的参考视点。通过序列编解码方案(MPEG-2、 MPEG-4、 H.26L系列等) 将与基视点相对应的序列编码，以形成为独立位流。与基视点相对应 的序列可以或可以不与H.264/AVC兼容。然而，在与H.264/AVC兼容的
视点中的序列成为基视点。例如，如果当前片对应于基视点，则可以 不解析当前片的全局运动矢量。特别地，如果当前片不对应于基视点， 则可以获得当前片的全局运动矢量。同时，可以以各种方式来定义参考视点。首先，能够使用指示当 前要编码的目标是否与基视点相对应的标记信息。例如，如果
base—view=l，则它可以意指当前视点对应于基视点。如果base一viewi， 则它可以意指当前视点不对应于基视点。第二，能够使用级信息来定 义基视点。例如，在视点间图片组是帧内编码的情形下，包括视点间 图片组的视点可以被设置成最低级。并且，具有最低级的视点可以被 定义为基视点。第三，能够使用优先级标识信息来定义基视点。在前 文的描述中解释了优先级标识信息。例如，可以将优先级标识信息具 有最低值的视点定义为基视点。
因此，为了获得全局运动矢量，上述示例可以作为独立的要求或 者其任何组合来应用。
根据本发明的另一实施例，如果当前图片对应于非视点间图片组， 则如下解释了推导当前图片的全局运动矢量的方法。
首先，在当前图片对应于非视点间图片组的情形下，当前图片的 全局运动矢量可以从视点间图片组的全局运动矢量推导出。例如，使 用在编码顺序中当前图片之前的编码的视点间图片组的全局运动矢 量，可以推导当前图片的全局运动矢量。在该情形下，视点间图片组 可以是在当前图片之前的编码的视点间图片组当中的最近编码的视点 间图片。然而，如果最近编码的视点间图片组不可用，则能够使用在 最近编码的视点间图片组之前的编码的视点间图片组的全局运动矢 量。具体地例如，假定在图5中视点Vn中的图片A、 C和E的编码顺序对 应于A、 E和C的顺序。并且，假定图片A和E对应于视点间图片组。而 且，图片C对应于非视点间图片组。在该情形下，当前图片C的全局运 动矢量可以从与最近编码的视点间图片组相对应的图片E的全局运动
矢量来推导出。这可以被表示为公式l。
31[公式l]
GDV,-GDVb
如果GDVb不可用，则能够使用图片A的全局运动矢量。这可以被 表示为公式2。
GDV,=GDVA
并且，能够获得与当前图片所参考图的视点的数目一样多的当前 图片的全局运动矢量。在该情形下，可以从视点间参考信息获得所参 考的视点的数目。并且，可以从序列参数集合的扩展区域获得该视点 间参考信息。例如，所参考的视点的数目可以意指用于非视点间图片 组的视点间参考图片的数目。这可以应用于列表0方向和/或列表l方向。
从视点间参考信息可以获得由当前图片参考的视点。例如，参考 视点的视点标识信息可以意指用于非视点间图片组的视点间参考图片
的视点标识信息。这可以应用于列表o方向和/或列表i方向。
根据本发明的另一实施例，如果当前图片对应于非视点间图片组， 则使用视点间图片组的全局运动矢量连同指示时间(或空间)距离的
信息，可以获得当前图片的全局运动矢量。例如，参考图5，假定图片 A的全局运动矢量被设置成GDVa，并且假定图片E的全局运动矢量被设 置成GDVb，则使用与视点间图片组相对应的图片A和E的全局运动矢量 和时间距离信息，可以获得与非视点间图片组相对应的当前图片C的全 局运动矢量。例如，时间距离信息可以包括指示图片输出顺序的POC (图片顺序计数)。因此，使用公式3，能够推导出当前图片的全局运 动矢量。观察公式3 ，使用在当前图片C和可用视点间图片组A和E之间的时 间距离，能够计算当前块的全局运动矢量。
因此，使用所获得的全局运动矢量，能够找出当前块所参考的相 对应块。并且，使用该相对应块，能够预测当前块的编码信息。然而， 根据应用的区域，可能降低全局运动矢量的准确性。因此，有必要更 详细地找出相对应的块。参考图6如下解释使用边信息准确找出相对应 块的方法。
图6是解释根据本发明实施例的使用边信息搜索相对应块的方法 的视图。
在预测当前块的运动矢量的方法中，通过找出存在于与当前块的 视点不同的视点中的相对应块的方式，使用该相对应块的编码信息， 能够预测当前块的编码信息。相对应块可以包括由当前块的视点方向 运动矢量所指示的块。并且，视点方向运动矢量可以意指全局运动矢 量。在前文描述中解释了全局运动矢量的含义。在该情形下，如果使 用边信息找出了与当前块最类似的块，则可以更高地提高编码效率。
根据本发明的实施例，如下解释了提高运动矢量的准确性的方法。 例如，能够使用边信息来提高运动矢量的准确性。并且，边信息可以 包括偏移信息。例如，偏移信息可以包括第一偏移信息offset—X，该信 息指示在由当前块的全局运动矢量指示的相对应块MB1和包含运动信 息的实际参考块MB2之间的位置差。在该情形下，相对应块MB1和参 考块MB2中的每个可以包括16"6宏块。并且，在执行运动跳过的情形 下，可以从宏块层获得第一偏移信息offset—X。在下列描述中，解释了
33使用第一偏移信息offset—X来推导指示参考块MB2的运动矢量的处理。
首先，能够推导第二偏移信息offset—Y,该信息指示在由当前块的 全局运动矢量指示的位置P1和包括前面位置P1的宏块MB1的位置P2之 间的差。在这种情形下，第二偏移信息offset一Y可以意指变量。例如， 基于由当前块的全局运动矢量指示的位置P1的值，可以推导第二偏移 信息offset一Y。具体地例如，如果从划分由当前块的全局运动矢量指示 的位置P1 (x，y)的水平和垂直分量得到的余数是(0， 0)，则第二偏 移信息offset—Y被设置成(0， 0)。如果余数是(0， 1)，则第二偏移 信息offset—Y可以被设置成(0， 1)。如果余数是(1， 0)，则第二偏 移信息offset—Y可以被设置成(1， 0)。如果余数是(1， 1)，则第二 偏移信息offset—Y可以被设置成(1， 1)。
使用第 一偏移信息offset—X和第二偏移信息offset_Y,能够推导出 第三偏移信息offset—Z，该信息指示在由当前块的全局运动矢量指示的 位置P1和包括在参考块MB2中的位置P3之间的差。这可以由公式4表示。
offset Z
=offset—X
-offset—Y
offset一Z[ 1 ]=offset—X[ 1 ]-offset一Y[ 1 ]
在该情形下，"0"和"1"可以分别意指水平和垂直方向。
同时，当前块的全局运动矢量GDV可以经由位流发送。因此，使 用发送的全局运动矢量GDV和上述推导的第三偏移信息offset—Z，能够
推导修改的运动矢量。例如，修改得运动矢量可以意指指示第二参考 块MB2的运动矢量accGDV。在该情形下，参考块MB2可以意指具有最 佳率失真的块，最佳率失真是通过编码器计算所有块的率失真的结果。 即，参考块MB2可以意指与当前块最类似的块。修改的运动矢量可以按照公式5推导出。
<formula>formula see original document page 35</formula>
使用修改的运动矢量accGDV，能够推导参考块MB2的位置信息。 例如，如果从划分由修改运动矢量指示的位置P3 (x,y)的水平和垂直 分量得到的余数是(0， 0)，则它可以被称为"模式0"。在该情形下， 模式0可以意指，参考块MB2的位置指示在按照8X8单位被划分成四个 相等部分的16X16宏块的左上端部分处的8X8块的位置。如果从划分 由修改运动矢量指示的位置P3 (x,y)的水平和垂直分量所得到的余数 是(1， 0)，则它被称为"模式l"。在该情形下，模式l可以意指， 参考块MB2的位置指示在按照8X8单位被划分成四个相等部分的16X 16宏块的右上端部分处的8X8块的位置。以相同方式，如果余数是(O， 1)，则它可以被称为"模式2"。以相同方式，如果余数是(1， 1)， 则它可以被称为"模式3"。模式2指示在左下端部分处的8X8块的位 置。并且，模式3指示在右下端部分处的8X8块的位置。
因此，推导出参考块MB2的位置信息，并且然后，根据参考块MB2 的位置信息，可以推导当前块的运动信息。在该情形下，运动信息可 以包括运动矢量、参考索引、块类型等。
图7是解释根据本发明实施例的在至少一个参考视点是可用的情 形下执行运动跳过的方法的视图。
关于参考视点的信息可以经由位流由编码器显式发送，或者可以 由编码器隐式和随机确定。在下列描述中解释了该显式方法和隐式方 法。首先，指示可以显式发送指示包括在参考视点列表中的视点中的 哪一个被设置成参考视点的信息，即，参考视点的视点标识信息。在 该情形下，参考视点列表可以意指基于视点间参考关系(视点依赖性) 构建的参考视点的列表。
例如，如果它被设置成检查从与当前视点最接近的一个的视点是 否可以是属于参考视点列表的视点当中的参考视点，则不必显式发送 参考视点的视点标识信息。然而，由于在L0和L1方向上的参考视点列 表可以存在于这样的情形中，所以能够显式发送指示将首先检查这两 个视点中的哪一个的标记信息。例如，根据该标记信息，能够确定首
先检查在L0方向上的参考视点列表还是在L1方向上的参考视点列表。
又例如，能够显式发送要被用于运动跳过的参考视点的数目信息。 在这种情形下，可以从序列参数集合获得参考视点的数目信息。并且， 能够显式发送具有由编码器计算的最佳效率的多个全局运动矢量。在 该情形下，从非视点间图片组的片头部，可以获得多个全局运动矢量。 因此，可以顺序地应用多个已发送的全局运动矢量。例如，在具有最 佳效率的全局运动矢量指示的块以帧内模式被编码或者不可使用时， 能够检査由具有第二最佳效率的全局运动矢量指示的块。并且，以同 样方式，能够检查由多个显式发送的全局运动矢量指示的所有块。
又例如，能够定义指示是否将运动跳过模式应用于序列中的标记
信息。例如，如果motion—skip—flag—sequence是l，则在序列中可应用运 动跳过模式。如果motion—skip—flag—sequence是0，则在序列中不应用运 动跳过模式。如果这样，则能够重新检查在片中或者宏块级上是否应 用运动跳过模式。
如果根据标记信息，在序列中应用运动跳过模式，则能够定义将 在运动跳过模式中使用的参考视点的总数目。例如， num—of—views—mi皿s 1—for—ms可以意指将在运动跳过模式中使用的参考视点的总数目。并且，可以从序列参数集合的扩展区域获得
num—of—views—minus 1—for—ms。能够获得总计达到参考视点的总数目 的全局运动矢量。在这种情形下，从片头部可以获得全局运动矢量。 并且，仅当前片对应于非视点间图片组时，才可以获得全局运动矢量。 因此，以上文所解释的方式，可以顺序地应用多个获得的全局运动矢
又例如，基于参考视点的总数目，可以从序列参数集合的扩展区 域获得全局运动矢量。例如，通过被划分成在LO方向上的全局运动矢 量和在L1方向上的全局运动矢量，可以获得全局运动矢量。在这种情 形下，从视点间参考信息可以确认参考视点的数目，并且通过被分成 在L0方向上的参考视点的数目和在L1方向上的参考视点的数目，可以 获得参考视点的数目。在该情形下，在片内的所有块使用从序列参数 集合的扩展区域获得的相同全局运动矢量。并且，不同全局运动矢量 可以被用在宏块层中。在该情形下，指示全局运动矢量的索引可能与 先前编码的视点间图片组的全局运动矢量的索引相同。并且，全局运 动矢量的视点标识编号可以与先前编码的视点间图片组的全局运动矢 量所指示的视点的标识编号相同。
又例如，能够发送具有由编码器计算的最佳效率的相对应块的视 点标识编号。即，选择的参考视点的视点标识编号可以在宏块级上被 编码。替代地，选择的参考视点的视点标识编号可以在片级上被编码。 替代地，使得能够选择片级或宏块级的标记信息可以在片级上被定义。 例如，如果该标记信息指示在宏块级上的使用，则可以在宏块级上解 析参考视点的视点标识编号。替代地，在该标记信息指示在片级上的 使用的情形下，在片级上解析参考视点的视点标识编号，而非在宏块 级上解析。
同时，可以不发送指示包括在L0和L1方向上的参考视点列表中的 参考视点中的哪一个将被选择作为参考视点的信息。如果这样，则通
37过检査存在于每个参考视点的相对应块中的运动信息，能够确定最终参考视点和相对应块。关于将最优先地检査属于L0和L1方向上的参考视点列表中的指定一个的参考视点的哪一个，可能存在各种实施例。如果运动信息不存在于参考视点中，则关于其后执行检查的顺序，可能存在各种实施例。
例如，在属于特定参考视点列表的参考视点之间的优先级中，首
先，能够以指示包括在LO方向上的参考视点列表(或者在L1方向上的
参考视点列表)中的参考视点当中的参考视点的较低索引的顺序，检査参考视点。在这种情形下，指示参考视点的索引可以是在编码器中编码位流过程中设置的参考视点的一系列编号。例如，在将序列扩展
信息(SPS扩展)中非视点间图片组的参考视点表示为non—anchor—ref—10[i]或者non—anchor—ref—ll[i]的过程中，"i"可以是指示参考视点的索引。在编码器中，能够以更接近当前视点的顺序分配较低索引，这不是对本发明的限制。如果索引"i"从0开始，则检查"1=0"的参考视点，检查"i=l"的参考视点，并且然后，可以检查"i=2"的参考视点。
参考图7，在第一参考列表RL1中，具有指示参考视点的最低索引的视点(Ve.^non—anchor—ref—10
)可以被确定为第一参考视点RV1 。并且，由在当前视点Vc和第一参考视点RVl之间的全局运动矢量(GDV一IO[O])指示的块可以被确定为第一相对应块CB1。在第一相对应块CB1不是帧内块的情形下，第一相对应块最终被确定为相对应块。并且然后，可以从该第一相对应块推导运动信息。
另一方面，如果第一相对应块CB1的块类型是帧内块，则在第二参考列表RL2中具有最低索引的视点(Vc+1=non—anchor—ref_ll[O])可以被确定为第二参考视点RV2。并且，基于相对应块的块类型，由在当前视点Vc和第二参考视点RV2之间的全局运动矢量(GDV一ll[O])指示的块可以被确定为第二相对应块CB2。与上述方法一样，能够顺序地检查第三参考视点RV3的第三相对应块CB3和第四参考视点RV4的第四相对应块CB4。 g卩，通过考虑指示参考视点的索引，通过交替LO方向的第一参考列表RL1和U方向的第二参考列表RL2的各个参考视点，检査是否存在运动信息。
又例如，能够以与包括在LO方向上的参考视点列表(或者在L1方向上的参考视点列表)中的参考视点中当前视点的接近性顺序来检查参考视点。
又例如，能够以与包括在LO方向上的参考视点列表(或者在L1方向上的参考视点列表)中的参考视点中当基视点的接近性顺序来检査参考视点。
而且，在L0方向上的参考视点列表和在L1方向上的参考视点列表之间的优先级中，属于在LO方向上的参考视点的参考视点可以被设置成在属于在L1方向上的参考视点列表的参考视点之前被检査。
图8A至8D是根据本发明实施例的在至少一个参考视点可用的情形下指示用于运动跳过的视点的各种示例的视图。
对于第一示例，能够使用用于运动跳过的参考视点的视点标识信息来执行运动跳过。编码器计算所有情形的率失真，并且然后可以找出具有最佳效率的相对应块。可以将相对应块的视点标识信息发送至解码器。例如，参考图8A，在对当前块执行运动跳过的情形下[S820]，能够获得相对应块的视点标识信息[S830]。在该情形下，相对应块的视点标识信息可以意指用于当前块视点的视点标识符。并且，仅当当前图片对应于非视点见图片组时，才可以获得参考视点的视点标识信息。并且，基于视点间参考信息，可以获得参考视点的视点标识信息。例如，如果视点间参考关系存在，则可以获得参考视点的标识信息。在该情形下，例如，视点间参考关系可以意指非视点间图片组的视点间参考关系。具体而言，基于非视点间图片组的视点间参考图片数目的 信息，能够获得参考视点的视点标识信息。如果在非视点间图片组的 LO方向上的视点间参考图片的数目大于0，或者如果在非视点间图片组 的L1方向上的视点间参考图片的数目大于0，则能够获得参考视点的视
点标识信息[S810]。在该情形下，从序列参数集合、序列参数集合的扩
展区域、片头部或者宏块层，可以获得参考视点的视点标识信息。 利用所获得的视点标识信息的相同视点标识符来执行视点间预
观IJ。然后，从具有当前图片的相同POC的图片的宏块，可以推导当前块
的运动信息。
对于第二示例，能够使用用于运动跳过的参考片的参考索引来执 行运动跳过。编码器计算所有情形的率失真，并且然后，以具有最佳 效率的图片(或片)的顺序来分配参考索引。可以将该参考索引发送
至解码器。例如，参考图8B，在对当前块执行运跳过的情形下[S850]，
能够获得包括当前块的片的参考索引[S860]。在该情形下，参考索引可
以意指用于当前块的运动跳过的片的参考索引。并且，仅当当前图片 对应于非视点间图片组时，才可以获得参考索引。并且，基于视点间
参考信息，可以获得参考索引。例如，如果视点间参考关系存在，则 可以获得参考索引。在该情形下，例如，视点间参考关系可以意指非 视点间图片组的视点间参考关系。具体而言，基于非视点间图片组的 视点间参考图片数目的信息，能够获得该参考索引。如果在非视点间 图片组的LO方向上的视点间参考图片的数目大于O，或者如果在非视点 间参考图片组的L1方向上的视点间参考图片的数目大于0，则能够获得 参考索引[S840]。在该情形下，从序列参数集合、序列参数集合的扩展 区域、片头部或者宏块层，可以获得参考索引。
利用由参考索引指示的参考图片(或片)的相同视点标识符来执 行视点间预测。然后，从具有当前图片的相同POC的图片的宏块，可以 推导当前块的运动信息。
40对于第三示例，能够使用用于运动跳过的视点的视点索引来执行 运动跳过。编码器计算所有情形的率失真，并且然后，以具有最佳效 率的图片(或片)的视点的顺序来分配视点索引。可以将该视点索引 发送至解码器。例如，参考图8C，在对当前块执行运跳过的情形下，能够获得用于当前块的运动跳过的视点的视点索引[S890]。并 且，仅当当前图片对应于非视点间图片组时，才可以获得该视点索弓l。 并且，基于视点间参考信息，可以获得视点索引。例如，如果视点间 参考关系存在，则可以获得视点索引。在该情形下，例如，视点间参 考关系可以意指非视点间图片组的视点间参考关系。具体而言，基于 非视点间图片组的视点间参考图片数目的信息，能够获得视点索引。 如果在非视点间图片组的LO方向上的视点间参考图片的数目大于O，或 者如果在非视点间参考图片组的L1方向上的视点间参考图片的数目大 于0，则能够获得视点索引[S870]。在该情形下，从序列参数集合、序 列参数集合的扩展区域、片头部或者宏块层，可以获得视点索引。
能够使用视点索引来推导用于执行运动跳过的参考块的全局运动 矢量和视点标识信息。例如，参考图8D，在视点索引除以2得到的余数 是O的情形下，能够将在LO方向上的全局运动矢量和在LO方向上的视点 标识信息用于运动跳过。然而，在视点索引除以2得到的余数是1的情 形下，能够将在L1方向上的全局运动矢量和在L1方向上的视点标识信 息用于运动跳过。而且，通过将视点索引除以2得到的商(整数)分配 给全局运动矢量索引，能够推导参考块的全局运动矢量和视点标识信 息。
最后，能够从在参考块的视点标识信息的相同视点中的全局运动 矢量所指示的宏块，推导出当前块的运动信息。
图9 A至10 B是解释根据本发明实施例的在视点间的空间分辨率不 同的情形下执行视点间预测的方法的视图。在当前视点和参考视点之间空间分辨率不同的情形下，执行视点 间预测的方法可以改变。
对于第一示例，使用参考图片的采样，可以执行视点间预测。例 如，参考图9A，如果参考图片的空间分辨率大于当前图片的空间分辨 率，则参考图片被下采样。然后，使用已下采样的参考图片来执行视 点间预测。如果参考图片的空间分辨率小于当前图片的空间分辨率， 则通过当前图片的上采样可以执行视点间预测。
对于第二示例，如果编码器不执行采样处理，则能够使用参考图 片的运动信息的分级来执行视点间预测。例如，参考图9B，如果参考 考图片的空间分辨率大于当前图片的空间分辨率，则将参考图片的运 动信息分级。然后，从已分级的运动信息推导当前块的运动信息。在 该情形下，运动信息可以意指运动矢量、全局运动矢量等。如果参考 图片的空间分辨率小于当前图片的空间分辨率，则这可以类似方式来 应用。
具体而言，在完成对当前图片分级之后，能够从参考图片推导运
动信息。这可以被表示为公式6。 [公式6]+GDV
在公式6中，MbX指示当前块的水平位置。这被分级成参考图片的 分辨率，并且然后向其添加GDV。因此，能够推导相对应块的位置。
例如，参考图10A，在当前宏块的水平位置是O、 l或2的情形下， 能够使用公式6来计算相对应块的水平位置。每个示例被表示为公式7。[公式7]+GDV=
+2=2 [MbX*(W0/Wl)]+GDV=[l*(3/2)]+2=3 [MbX*(W0/Wl)]+GDV=[2*(3/2)]+2=5
艮P，在当前宏块的水平位置是0、 l或2的情形下，相对应块的水平 位置对应于2、 3或5。
又例如，在完成参考图片的分级之后，能够从当前图片推导运动 信息。这可以表示为公式8。
同样，MBX指示当前块的水平位置。通过将GDV添加到当前块的
水平位置并且然后利用参考图片的分辨率来执行分级，能够推导相对 应块的水平位置。
例如，参考图10B，在当前宏块的水平位置是O、 l或2的情形下， 使用公式8，能够计算相对应块的水平位置。每个示例被表示为公式9。=[(0+1)*(3/2)]=1 [(MBX+GDV)*(W0/Wl)]=[(l + l)*(3/2)]=3 [(MBX+GDV)*(W0/Wl)]=[(2+l)*(3/2)]=4
艮P，在当前宏块的水平位置是O、 l或2的情形下，相对应块的水平 位置对应于l、 3或4。
使用在垂直方向上的信息，以同样方式，可以应用上述方法。
43而且，以上示例可以应用于完全重建在参考视点中的图片的情形。 并且，第二示例也可以应用于部分重建在参考视点中的图片的情形。 而且，上述示例可以应用于执行运动补偿的情形。
图ll是解释根据本发明实施例的在执行运动跳过的情形下推导参 考索引的方法的视图。
在执行运动跳过的情形下，当前块的运动信息可以从相对应块的 运动信息推导出。在该情形下，运动信息可以包括运动矢量、参考索 引、块类型等。在下文描述中，解释了用于推导参考索引的各种实施 例。
在视点间预测中，可能需要在视点方向上的运动矢量，以找出相 对应的块。在该情形下，运动矢量可以包括全局运动矢量。如在图4至 图6的前面描述中提及的，能够使用更精细的全局运动矢量以找到在使 用全局运动矢量中具有最佳效率的相对应块。例如，能够使用16像素、 8像素、4像素单位的全局运动矢量。因此，在使用精细单位的全局运
动矢量的情形下，相对应块的位置可以不与宏块的位置一致。因此， 存在用于推导参考索引的各种方法。
例如，参考图ll，在由全局运动矢量指示的相对应块与多个宏块 重叠的情形下，能够以各种方式推导参考索引。在该情形下，如果不 可使用的参考索引存在于重叠的宏块的参考索引间，则它可能不被使
用。例如，仅当refidx〉-l时，才可以使用参考索引。对于第一示例， 能够只使用在可用参考索引中最显著的参考索引。例如，能够使用最 多重叠区的参考索引。对于第二示例，能够使用在可用参考索引中最 小参考索引。对于第三示例，能够使用可用参考索引中最大参考索弓l。
又例如，在包括了重叠宏块中的帧内编码的分割的情形下，能够
44以各种方式推导运动信息。例如，在推导运动信息的情形下，可以不 使用帧内编码的分割。
又例如，在包括了重叠宏块中的帧内编码的分割的情形下，能够 使用在不同视点中的信息。替代地，能够从与帧内编码的分割相邻的8 X8宏块推导运动信息。
图12是解释根据本发明实施例的用于获得用于视点间预测的运动 矢量的各种方法的视图。
如在前文描述中所提及的，全局运动矢量可以意指可共同应用于 预定区域的运动矢量。例如，如果运动矢量对应于局部区域(例如， 宏块、块、像素等)，则全局运动矢量(或者视差矢量)可以意指与 包括该局部区域的整体区域相对应的运动矢量。例如，整体区域可以 对应于单一片、单一图片或整体序列。整体区域可以对应于在图片、 背景或预定区域中的至少一个对象。全局运动矢量可以具有l/4像素单 位的值，或者4x4单位、8x8或宏块单位的值
对于第一示例，在图片内的区域被划分成至少一个或多个区。然 后，可以获得对于每个所划分的区的全局运动矢量。例如，在图片被
划分成16个相等部分的情形下，能够获得与每个部分相对应的全局运 动矢量。在该情形下，可以将索引分配至16个相等部分中的每个。而 且，在当前图片对应于视点间图片组的情形下，可以获得全局运动矢 量。此外，在当前图片对应于非视点间图片组的情形下，可以将全局 运动矢量设置成被获得。在图5的描述中，详细解释了用于获得全局运 动矢量的要求。可以以同样方式应用这些要求。
对于第二示例，在图片内的区域被划分成至少两个区的情形下， 能够获得在所划分区域的全局运动矢量之间的差值。例如，能够获得 在索弓I0的区的全局运动矢量和索引1的区的全局运动矢量之间的差值。在该情形下，可以将差值的初始值设置成索弓10的区的全局运动矢 量。并且，从将索弓IO的区的全局运动矢量添加到发送的差值，可以推 导出索弓ll的区的全局运动矢量。
又例如，在索引值除以4所得到的余数为0的情形下，使用公式IO， 可以获得差值。
diff一va1—of—GDV—mb—lXfJHicbchGDV—mblXLnCidx-W-GDV—mb—lXLn [idx]
在该情形下，idx可以指示范围在0 (划分的区域数目-l )之间的 值。否则，可以使用公式ll来获得差值。
diff—val—of一GDV—mb—lX[j][idx]=GDV—mb—lX[j][idx墨l]-GDV—mb一lX[j][idx]
而且，如果当前图片对应于视点间图片组，则可以获得差值。替 代地，如果当前图片对应于非视点间图片组，则可以将差值设置成被 获得。以参考图5所描述的相同的方式，可以应用用于获得差值的要求。
对于第三示例，参考对象，将图片内的区域划分成至少一个或多 个区。然后，可以获得对于每个所划分区的全局运动矢量。在该情形 下，能够获得关于所划分区的数目的信息以及每个所划分区的位置信 息。例如，参考图12，能够参考两个对象将区域划分成三个区。在该 情形下，能够获得指示存在三个划分区的信息以及每个所划分区的位 置的信息。例如，位置信息可以包含左上部位置信息和右下部位置信 息。数目信息可以意指在片内的全部区的数目。数目信息可用于执行 运动跳过，并且可以从片头部获得。可以从序列级或图片级获得数目 信息。在该情形下，数目信息可以不存在于片级上。
又例如，如果当前块的位置存在于所划分区的左上位置和所划分 区的右下位置，则能够将索引分配至所划分区。否则，能够通过将索 引值递增l来重复执行以上处理。较低索引提供了较高优先级。在该情 形下，优先级可以意指在前文描述中参考图2所描述的先前优先级。
图13A和图13B是根据本发明实施例的指示分级的视点间参考信 息的语法的视图。
首先，能够定义用于分级技术的分级的视点间参考信息。例如， 能够新定义用于运动跳过的视点间参考信息。具体而言，能够定义用 于运动跳过的参考视点的数目的信息。在该情形下，数目信息可以定 义 为 例 如 num—motion—skip—refs—10[i] 或
num—motion—skip—refs—11 [i][ S1310、 S1330]。能够定义参考视点的视点
标识信息。例如，视点标识信息可以被定义为例如 motion—skip—refs—10[i][j]、 motion—skip—refs—11 [i][j][S1320、 S1340]。从
序列参数集合的扩展区域，可以获得用于运动跳过的视点间参考信息。
在定义了用于运动跳过的视点间参考信息的情形下，基于该视点 间参考信息，能够获得运动跳过标记信息和全局运动矢量[S1350]。参 考图4至6详细解释了用于获得它们的要求。并且，可以以类似方式来 应用这些要求。
因此，在定义了分级视点间参考信息的情形下，可以不使用原始 视点间参考信息。可以独立获得分级视点间参考信息。并且，也可以 与原始视点间参考信息一起，获得分级视点间参考信息。可以将分级视点间参考信息添加到序列参数集合的扩展区域。除 了视点间样本预测之外，运动跳过是可操作的。通过为不可用于视点 间样本预测的视点设置视点间参考关系，能够将运动跳过用于不可用 于视点间样本预测的视点。
又例如，能够设置标记信息，用于控制分级视点间参考信息。例 如，能够设置序列运动跳过标记信息，该信息指示运动跳过是否用于 当前序列。如果根据序列运动跳过标记信息，当前序列执行运动跳过， 则能够获得分级视点间参考信息。
又例如，能够设置标记信息，用于控制序列运动跳过标记信息。 例如，基于局部解码标记，可以获得序列运动跳过标记信息。在该情 形下，如果当前图片对应于非视点间图片组，则该局部解码标记指示 在未完全重建视点间参考图片的情况下是否可以解码当前图片。在图4 的前述描述中对此进行了详细解释。
因此，为了获得序列运动跳过标记，上述实施例可以作为独立要 求或其任何组合来应用。而且，在没有任何要求的情况下，可以获得 运动跳过标记。例如，从序列参数集合、图片、片头部、宏块层和/或 其一个扩展区域，能够获得运动跳过标记。
图14是解释根据本发明实施例的用于发送深度信息的各种方法的 视图。
在视频信号编码中，能够将深度信息用于特定应用或不同用途。 深度信息可以意指能够指示视点间视差差异的信息。例如，能够通过 视点间预测获得视差矢量。并且，应当将所获得的视差矢量发送到解 码设备，用于当前块的视差补偿。然而，在已经找出深度映射之后， 如果将深度映射发送到解码设备，则能够在不将视差矢量发送到解码 设备的情况下从深度映射(或视差映射)推导视差矢量。在该情形下，能够减少应该被发送到解码设备的深度信息的位数。并且，也能够与 深度映射一起发送运动矢量或视差矢量。因此，能够通过从深度映射 推导视差矢量来提供新的视差补偿方法。在从深度映射推导视差矢量 的期间使用不同视点中的图片的情形下，可以使用视点标识信息。在 下文的描述中，解释了发送深度信息的各种方法。
根据本发明的实施例，能够定义标记信息，该标记信息指示当前 NAL是包括深度信息的深度位流还是一般色彩位流。例如，如果
depth一flag是l，则它可以意指当前NAL是深度位流。如果depth一flag是O，
则它可以意指当前NAL是色彩位流。如果根据标记信息，当前NAL意 指深度流，则能够将配置信息用于多视点视频编码。这是因为，在深 度信息之间，视点间预测可能是必要的。例如，配置信息可以包括标 识信息、视点间图片组标识信息、视点间预测标记信息、时间级信息、 优先级标识信息、指示它是否是用于视点的瞬时解码的图片的标识等。 这在图2的描述中作了详细解释。
同时，属于当前NAL的深度映射可以表示在多个视点之间的深度。 并且，深度信息可以包括各种各样的信息。例如，深度信息可以包括 与深度映射相关的图片的视点标识信息(target—view_id—base 、 target—view—id一ref)。如果在色彩位流和深度位流之间存在空间分辨率 差异，则在水平和垂直方向上可能分别存在分级因子(scale一x， scale—y)。而且，可能存在指示在采样深度图片和采样色彩图片之间 的水平和垂直位置差的偏移信息(offset_x， offset—y)。作为用于偏移 信息的示例，可能存在指示在上采样深度图片和当前图片之间的上、 下、左和右位置差的偏移信息(left—offset、 top—offset、 right—offset、 bottom—offset)。并且，可能存在指示"图片之间远或近的程度"的深 度范围信息(nk—far、 nk—near)。
根据本发明的另一实施例，通过将深度信息输入NAL单元头部、 NAL单元RBSP或者序列参数集合可以发送深度信息。NAL单元可以包括NAL单元头部和RBSP (原始字节序列有效负 载运动图片压縮的结果数据)。并且，NAL单元头部可以包括 nal—ref—idc和nal一unit一type。而且，可以有限地包括NAL单元头部的扩 展区域。例如，如果指示NAL单元的类型的信息与可分级视频编码相 关或者指示前缀NAL单元，则NAL单元能够包括NAL单元头部的扩展 区域。这在图2的前述描述中进行了详细解释。此外，序列参数集合可 以包括序列参数集合的扩展区域、序列参数集合的多视点扩展区域、 序列参数集合的深度扩展区域等。如下解释了对此的详细实施例。
对于第一示例，在当前NAL对应于基视点的情形下，如下解释了 通过将深度信息放入NAL单元头部中来发送深度信息的方法。
基视点可以意指可以独立于其他视点被编码的视点。基视点可以 意指用于与常规解码器(例如，H.264/AVC、 MPEG-2、 MPEG-4等) 兼容的至少一个视点。因此，在当前NAL对应于基视点的情形下，由 于与常规解码器的兼容性而不能够解码深度信息。因此，能够将深度 信息插入前面的前缀NAL单元。在该情形下，前缀NAL单元可以意指 包括后面NAL单元的描述信息的NAL单元。前缀NAL单元可以不包括 RBSP信息。例如，在NAL单元类型指示前缀NAL单元的情形下，NAL 单元头部可以包括深度信息。具体而言，如果nal一unitjype二 14，贝ljNAL 单元头部可以包括可分级扩展信息或多视点扩展信息。并且，多视点 扩展信息可以包括深度信息。
而且，能够添加标记信息(svc一mvc—flag)，该标记信息能够标识 它是在NAL头部区域还是在NAL头部的扩展区域中的MVC流。根据标 记信息，在输入的位流是多视点序列编码位流的情形下，能够定义指 示深度相关信息是否存在于当前NAL单元中的标记信息。例如，如果 depth—flag=l,则可以观察到深度相关信息存在于当前NAL单元中。在 该情形下，可以在NAL单元头部的扩展区域中定义深度相关信息。替
50代地，可以在NAL单元头部的扩展区域的深度扩展区域内独立地定义 深度相关信息。
对于第二示例，在当前NAL未能对应于基视点的情形下，如下解 释了通过将深度信息放入NAL单元头部中来发送深度信息的方法。
在当前NAL未能对应于基视点的情形下，可以将深度信息插入多 视点扩展NAL单元。例如，如果NAL单元类型指示可分级扩展NAL单 元或多视点扩展NAL单元，则NAL单元头部可以包括深度信息。具体 而言，如果naLunit—type=20，则NAL单元头部可以包括可分级扩展信 息或多视点扩展信息。多视点扩展信息可以包括深度信息。在该情形 下，可以以与针对第一示例描述的方法相同的方式来应用定义深度信 息的详细方法。
对于第三示例，如果当前单元对应于基视点，则如下解释了通过 将深度信息插入NAL单元的RBSP中来发送深度信息的方法。
如在第一示例的前述描述中提及的，由于与常规解码器的兼容性 而可以将深度信息插入前缀NAL单元。在第一示例中，将深度信息插 入前缀NAL单元的头部中。然而，在第三示例中，可以将深度信息包 括在前缀NAL单元的RBSP中。在该情形下，能够在前缀NAL单元的头 部的扩展区域中定义deptl^flag。并且，能够基于该depthjlag信息从前 缀NAL单元的RBSP获得深度信息。
对于第四示例，如果当前NAL未能对应于基视点，则如下解释了 通过将深度信息插入NAL单元的RBSP中来发送深度信息的方法。
如在第二示例的前述描述中所提及的，可以将深度信息插入多视 点扩展NAL单元。在第二示例中，将深度信息包括在多视点扩展NAL 单元的头部中。然而，在第四示例中，可以将深度信息包括在多视点
51扩展NAL单元的RBSP中。在该情形下，能够在多视点扩展NAL单元的 头部的扩展区域中定义depth—flag。并且，能够基于该depth一flag信息从 多视点扩展NAL单元的RBSP获得深度信息。
对于第五示例，如果当前NAL对应于基参考，则如下解释了通过 将深度信息插入新NAL单元头部来发送深度信息的方法。
能够定义新NAL单元类型，以发送深度相关信息。例如，如果 nal—unit—type=21，则可以观察到深度相关信息存在于当前NAL单元中。
与第一示例类似，由于与常规解码器的兼容性而可以将深度信息插入 前缀NAL单元。仅当在NAL单元头部的扩展区域中的NAL单元类型是 前缀NAL单元时，才能够获得depth—flag信息。因此，能够基于depth—flag 和新NAL单元类型来获得深度信息。在该情形下，可以在NAL单元头 部的扩展区域的深度扩展区域内独立地定义深度相关信息。
对于第六示例，如果当前NAL未能对应于基参考，则如下解释了 通过将深度信息插入新NAL单元头部来发送深度信息的方法。
与第五示例类似，能够定义新NAL单元类型，以发送深度相关信 息。能够在新NAL单元类型的头部中定义深度相关信息。例如，如果 nal—unit—type=21，则能够解析在NAL头部的扩展区域中的信息。如果 svc—mVC_flag=l，则能够解析多视点序列的配置信息。在该情形下，如 果在NAL头部的扩展区域中的nal—unit—type=21 ，则能够解析NAL单元 头部的扩展区域的深度扩展区域。
在已经检査了新NAL单元类型之后，能够直接解析NAL单元头部 的深度扩展区域。在该情形下，可以在NAL单元头部的深度扩展区域 中定义在NAL单元头部的扩展区域内的多视点序列配置信息。
对于第七示例，如果当前NAL对应于基视点，则如下解释了通过将深度信息插入新NAL单元的RBSP中来发送深度信息的方法。
与第五示例类似，由于与常规解码器的兼容性而可以将深度信息 插入前缀NAL单元中。仅当在NAL头部的扩展区域中的NAL单元类型 是前缀NAL单元时，才能够获得depth—flag。在该情形下，它可以在NAL 单元头部的扩展区域的深度扩展区域中被独立地定义。能够基于 depth—flag从前缀NAL单元的RBSP获得深度信息。例如，如果 nal—unit—type=14，则能够解析在NAL头部的扩展区域中的信息。如果 svc—mvc—flag=l，则能够解析多视点序列的配置信息。在该情形下，如 果在NAL头部的扩展区域中的nal—unit_type= 14 ，则能够解析depth—flag 。 如果在前缀NAL单元的RBSP中的depthJlag^，则能够获得深度信息。
对于第八示例，如果当前NAL未能对应于基视点，则如下解释了 通过将深度信息插入新NAL单元的RBSP中来发送深度信息的方法。
与第六示例类似，能够定义新的NAL单元类型，以发送深度相关 信息。能够在新NAL单元类型的RBSP中定义深度相关信息。例如，如 果nal一unit—type=21，则能够解析在NAL头部的扩展区域中的信息。如 果svc一nwc一flag-l，则能够解析多视点序列的配置信息。在该情形下， 如果在NAL头部的扩展区域中的nal_unit_type=21 ，则能够解析NAL单 元头部的深度扩展区域。
在已经检查了新NAL单元类型之后，能够直接解析NAL单元头部 的深度扩展区域。在该情形下，可以在NAL单元头部的深度扩展区域 中定义在NAL单元头部的扩展区域内的多视点序列配置。
对于第九示例，能够定义关于在序列参数集合内的深度信息的视 点间参考信息。在下文中，当视点被命名用于深度信息时，它被命名 为深度视点。例如，可能存在编码深度视点的总数目 (num_views—minusl_depth)、具有编码顺序的深度视点的视点标识信息(view—id—depth [i])、重建深度视点所需要的色彩视频视点(基视 点、参考视点)的视点标识信息(target_view_id_base [i], target—view—id一ref [i])等。
在指示NAL单元的类型的信息是指示序列参数集合的信息的情形 下，RBSP可以包括关于序列参数集合的信息。具体而言，如果 nal—unit—type=7，则RBSP可以包括关于序列参数集合的信息。如果 nal—unit—type=15，则RBSP可以包括关于子集序列参数集合的信息。在 该情形下，根据类信息，子集序列参数集合可以包括序列参数集合的 扩展区域。
例如，如果类信息(profile一idc)是与多视点视频编码相关的类， 则子集序列参数集合可以包括序列参数集合的扩展区域。序列参数集 合的扩展区域可以包括指示深度视点间依赖性的深度视点间参考信 息。而且，序列参数集合的扩展区域可以包括在图14的描述中解释的
深度信息。
替代地，能够新定义用于深度相关信息的类信息(profile—idc)。 例如，如果类信息是与深度信息编码相关的类，则子集序列参数集合 可以包括序列参数集合的扩展区域。类似地，基于该新类信息，序列 参数集合的扩展区域可以包括深度视点间参考信息和/或深度信息。
替代地，基于新类信息(profile—idc)，能够新定义序列参数集合 的深度扩展区域。在该情形下，序列参数集合的深度扩展区域可以包 括深度视点间参考信息和/或深度信息。
替代地，能够新定义序列参数集合的深度扩展区域的NAL单元类 型。例如，根据新NAL单元类型，能够定义新序列参数集合的深度扩 展区域。并且，序列参数集合的扩展区域可以包括深度视点间参考信 息和/或深度信息。而且，序列参数集合的扩展区域可以包括解码的图片的水平长度信息和解码的帧/字段的片组映射单元的垂直长度信息。 可能需要该信息以补偿在色彩图片和深度图片之间的空间分辨率差升。
如在前述描述中所提及的，将应用本发明的解码/编码设备提供至
用于诸如DMB (数字多媒体广播)的多媒体广播的发送器/接收器，以 用于解码视频和数据信号等。并且，多媒体广播发送器/接收器可以包 括移动通信终端。
应用本发明的一种解码/编码方法配置有程序，该程序用于计算机 执行，并且然后被存储在计算机可读记录介质中。并且，可以将具有 本发明的数据结构的多媒体数据存储在计算机可读记录介质中。计算 机可读记录介质包括各种各样的存储设备，用于存储可以被计算机系 统读取的数据。计算机可读记录介质包括ROM、 RAM、 CD-ROM、磁 带、软盘、光学数据存储设备等，并且还包括利用载波(例如，经由 互联网发送)实现的设备。并且，通过本编码方法生成的位流被存储 在计算机可读记录介质中，或者经由有线/无线通信网络被发送。
工业应用性
因此，虽然已经参考本发明的优选实施例描述并图示了本发明， 但是对于本领域的技术人员显而易见的是，在不脱离本发明的精神和 范围的情况下，可以做出各种修改和变化。因此，本发明意在涵盖在 权利要求和其等同物范围内的对本发明的修改和变化。
5权利要求
1.一种解码视频信号的方法，包括使用边信息来搜索参考块；从所述参考块推导当前块的运动信息；使用所述当前块的所述运动信息来解码所述当前块，其中，所述边信息包括偏移信息，所述偏移信息指示在所述参考块和相对应块之间的位置差，以及其中，所述相对应块是由全局运动矢量指示的块，所述全局运动矢量指示在所述当前块的视点和所述参考块的视点之间的视差差异。
2. 根据权利要求l所述的方法，进一步包括获得指示是否推导出所述当前块的所述运动信息的第二标记信 息；以及基于所述第二标记信息，获得所述边信息。
3. 根据权利要求2所述的方法，其中，从宏块层获得所述第二标 记信息。
4. 根据权利要求2所述的方法，进一步包括获得第一标记信息， 所述第一标记信息指示当前片是否使用了运动跳过，其中，基于所述 第一标记信息获得所述第二标记信息。
5. 根据权利要求4所述的方法，其中，从片头部获得所述第一标 记信息。
6. 根据权利要求2或4所述的方法，其中，基于视点间图片组标 识信息获得所述第一标记信息或所述第二标记信息。
7. 根据权利要求6所述的方法，其中，当根据所述视点间图片组标识信息，当前图片对应于非视点间图片组时，获得所述第一标记信 息或所述第二标记信息。
8. 根据权利要求4所述的方法，其中，基于指示视点间参考关系 的视点间参考信息获得所述第一标记信息。
9. 根据权利要求8所述的方法，其中，从序列参数集合的扩展区 域获得所述视点间参考信息。
10. 根据权利要求8所述的方法，其中，所述视点间参考信息包 括非视点间图片组的视点间参考图片的数目信息。
11. 根据权利要求IO所述的方法，其中，所述非视点间图片组的 至少一个视点间参考图片存在于L0方向和/或Ll方向上。
12. 根据权利要求1所述的方法，进一步包括使用所述全局运动 矢量和所述偏移信息来推导修改的全局运动矢量，其中，使用所述修 改的全局运动矢量来推导所述参考块的位置信息。
13. 根据权利要求1所述的方法，其中，基于指示视点间参考关 系的视点间参考信息获得所述全局运动矢量。
14. 根据权利要求13所述的方法，其中，所述视点间参考信息包 括非视点间图片组的视点间参考图片的数目信息，并且获得与所述非 视点间图片组的视点间参考图片的所述数目信息一样多的所述全局运 动矢量。
15. 根据权利要求1所述的方法，其中，基于视点间图片组标识 信息获得所述全局运动矢量。
16.根据权利要求15所述的方法，其中，当根据所述视点间图片 组标识信息，当前图片对应于视点间图片组时，获得所述全局运动矢
17. 根据权利要求1所述的方法，其中，所述视频信号被接收为 广播信号。
18. 根据权利要求1所述的方法，其中，所述视频信号经由数字介质来接收。
19. 一种计算机可读介质，包括用于执行权利要求1所述的方法的程序，所述程序记录在所述计算机可读介质中。
20. —种用于解码视频信号的装置，包括相对应块搜索单元，所述相对应块搜索单元使用边信息来搜索参考块；运动信息推导单元；所述运动信息推导单元从所述参考块推导当 前块的运动信息；以及运动补偿单元，所述运动补偿单元使用所述当前块的所述运动信 息来解码所述当前块，其中，所述边信息包括偏移信息，所述偏移信息指示在所述参考 块和相对应块之间的位置差，以及其中，所述相对应块是由全局运动矢量指示的块，所述全局运动 矢量指示在所述当前块的视点和所述参考块的视点之间的视差差异。
全文摘要
公开了一种解码视频信号的方法。本发明包括利用边信息搜索参考块，从该参考块推导当前块的运动信息，使用当前块的运动信息解码该当前块，其中，边信息包括指示在在参考块和相对应块之间的位置差的偏移信息，并且其中，相对应块是全局运动矢量所指示的块，全局运动矢量指示在当前块的视点和参考块的视点之间的视差差异。
文档编号H04N7/24GK101690220SQ200880020724
公开日2010年3月31日 申请日期2008年4月25日 优先权日2007年4月25日
发明者全勇俊, 全柄文, 朴胜煜 申请人:Lg电子株式会社