专利名称：用于解码/编码视频信号的方法和装置的制作方法
技术领域：
本发明涉及一种用于解码/编码视频信号的方法及其装置。
背景技术：
压縮编码是指用于经由通信电路传送数字化信息或者以适于存储 介质的形式存储数字化信息的一系列信号处理技术。压縮编码的对象 包括音频、视频、文本等。具体地，用于对序列执行压縮编码的技术 被称为视频序列压縮。视频序列通常特征在于具有空间冗余和时间冗 余。
发明内容
技术目的
本发明的目的在于提高视频信号的编码效率。 技术方案
本发明的一个目的在于通过定义能够识别图片的视图的视图信息 来有效地编码视频信号。
本发明的另一个目的在于通过以指定的格式添加视图间图片组识 别信息来有效率地执行视频信号的随机访问。
本发明的另一个目的在于使用锚点图片识别信息来更有效地执行 视图间预测。
本发明的另一个目的在于使用锚点图片识别信息来更有效地管理 用于视图间预测的参考图片。有益效果
在编码视频信号中，根据多视图视频序列的总体编码结构，因为 视图间图片组的视图间信息不同于非视图间图片组的视图间信息，所 以如果通过根据视图间图片组识别信息将视图间图片组和非视图间图 片组彼此区分来执行编码，则能够更有效地进行编码。并且，通过新 定义使得传统的I图片能够成为P图片的视图间图片组，能够更有效 地进行编码。
图1是根据本发明的用于解码视频信号的装置的示意性框图。 图2是根据本发明的实施例的能够被添加到多视图视频编码位流
的关于多视图视频的配置信息的图表。
图3是根据本发明的实施例的参考图片列表构造单元620的内部框图。
图4是根据本发明的实施例的用于提供视频信号的视图可分级性 (scalability)的级别信息的分层结构的图表。
图5是根据本发明的一个实施例的在NAL报头的扩展区域中包 括级别信息的NAL单元配置的图表。
图6是根据本发明的实施例的多视图视频信号的总体预测性结构 的图表，用于解释视图间图片组的概念。
图7是根据本发明的实施例的预测性结构的图表，用于解释新定 义的视图间图片组的概念。
图8是根据本发明的实施例的用于使用视图间图片组识别信息来 解码多视图视频的装置的示意性框图。
图9是根据本发明的实施例的用于构造参考图片列表的过程的流 程图。
图IO是根据本发明的一个实施例的用于解释当当前片段(slice) 是P-片段(P-slice)时初始化参考图片列表的方法的图表。
图11是根据本发明的一个实施例的用于解释当当前片段是B-片段(B-slice)时初始化参考图片列表的方法的图表。
图12是根据本发明的实施例的参考图片列表重排单元630的内部框图。
图13是根据本发明的一个实施例的参考索引分配改变单元643B 或者645B的内部框图。
图14是根据本发明的一个实施例的用于解释使用视图信息来重 排参考图片列表的过程的图表。
图15是根据本发明的另一实施例的参考图片列表重排单元630的 内部框图。
图16是根据本发明的实施例的用于视图间预测的参考图片列表 重排单元970的内部框图。
图17和图18是根据本发明的一个实施例的用于参考图片列表重 排的句法的图表。
图19是根据本发明的另一实施例的用于参考图片列表重排的句 法的图表。
图20是根据本发明的一个实施例的用于获得当前块的亮度差值 的过程的图表。
图21是根据本发明的实施例的用于执行当前块的亮度补偿的过 程的流程图。
图22是根据本发明的一个实施例的用于使用关于相邻块的信息 来获得当前块的亮度差预测值的过程的图表。
图23是根据本发明的一个实施例的用于使用关于相邻块的信息 来执行亮度补偿的过程的流程图。
图24是根据本发明的另一实施例的用于使用关于相邻块的信息 来执行亮度补偿的过程的流程图。
图25是根据本发明的一个实施例的用于使用虚拟视图中的图片 来预测当前图片的过程的图表。
图26是根据本发明的实施例的用于在MVC中执行视图间预测期 间合成虚拟视图中的图片的过程的流程图。
图27是根据本发明的用于在视频信号编码中根据片段类型执行
6加权预测的方法的流程图。
图28是根据本发明的在视频信号编码中在片段类型中可允许的 宏块类型的图表。
图29和图30是根据本发明的一个实施例的用于根据新定义的片 段类型来执行加权预测的句法的图表。
图31是根据本发明的使用指示在视频信号编码中是否执行视图 间加权预测的标志信息来执行加权预测的方法的流程图。
图32是根据本发明的一个实施例的用于解释根据指示是否使用 关于与当前图片的视图不同的视图中的图片的信息来执行加权预测的 标志信息的加权预测方法的图表。
图33是根据本发明的一个实施例的用于根据新定义的标志信息 来执行加权预测的句法的图表。
图34是根据本发明的实施例的根据NAL (网络抽象层)单元类 型来执行加权预测的方法的流程图。
图35和图36是根据本发明的一个实施例的用于在NAL单元类型 是关于多视图视频编码的情形中执行加权预测的句法的图表。
图37是根据本发明的实施例的根据新定义的片段类型的视频信 号解码装置的局部框图。
图38是根据本发明的用于解释在图37所示装置中解码视频信号 的方法的流程图。
图39是根据本发明的一个实施例的宏块预测模式的图表。
图40和图41是根据本发明的向其应用了片段类型和宏块模式的 句法的图表。
图42是向其应用图41中的片段类型的实施例的图表。 图43是包括在图41所示的片段类型中的片段类型的各种实施例 的图表。
图44是根据本发明的一个实施例的按照两个混合预测的预测进 行的对于混合片段类型可允许的宏块的图表。
图45到47是根据本发明的一个实施例的在按照两个混合预测的 预测的混合片段中存在的宏块的宏块类型的图表。
7图48是根据本发明的实施例的根据新定义的片段类型的视频信
号编码装置的局部框图。
图49是根据本发明的在图48所示装置中编码视频信号的方法的
流程图。
具体实施例方式
为了实现如在这里体现和广泛描述的这些和其它优点并且根据本
发明的目的， 一种解码视频信号的方法包括以下步骤检查视频信号 的编码方案，读取关于视频信号的属性信息，以及使用属性信息解码 存在于同 一 时间区上的视图间图片组。
为了进一步实现这些和其它优点并且根据本发明的目的， 一种解 码视频信号的方法包括以下步骤获得指示存在或者不存在多视图序 列编码位流的标志信息，并且如果视频信号是多视图序列编码位流， 则获得指示当前NAL的编码图片是否是视图间图片组的识别信息，其 中根据识别信息来解码视图间图片组。
用于本发明的模式
现在将详细参考本发明的优选实施例，在附图中示出了其示例。
压縮和编码视频信号数据的技术考虑空间冗余、时间冗余、可分 级冗余以及视图间冗余。并且，还能够在压縮编码过程中通过考虑在 视图之间的相互冗余而执行压縮编码。考虑视图间冗余的用于压缩编 码的技术仅是本发明的一个实施例。并且，本发明的技术思想可应用 于时间冗余、可分级冗余等。
研究H.264/AVC中的位流的配置，在处理运动图片编码过程自身 的VCL (视频编码层)和传送并且存储编码信息的下层系统之间存在 被称为NAL (网络抽象层)的单独的层结构。来自编码过程的输出是 VCL数据并且其在被传送或者存储之前被NAL单元映射。每一个NAL
8单元包括压縮视频数据或者RBSP (原始字节序列载荷运动图片压縮
的结果数据)，RBSP是与报头信息对应的数据。
NAL单元基本上包括NAL报头和RBSP。 NAL报头包括指示是 否包括作为NAL单元的参考图片的片段的标志信息(nal—ref一uic)和 指示NAL单元的类型的标识符(nal—imit一type)。被压縮的原始数据 被存储在RBSP中。并且，RBSP末位被添加到RBSP的最后部分以表 示RBSP的长度为8-位乘法。作为NAL单元的类型，有IDR(即时解 码刷新instantaneous decoding refresh)图片、SPS(序列参数集 parameter set) 、 PPS (图片参数集:picture parameter set) 、 SEI (附 力口增强信息supplemental enhancement information)等。
在标准化中，设置了对于各种类(profile)和级别的限制，以使得 能够以适当成本实现目标产品。在这种情况下，解码器应该满足根据 相应的类和级别决定的限制。因此，定义了两个概念"类"和"级别" 来指示用于表示解码器能够将压縮序列的范围处理到何种程度的功能 或者参数。并且，类标识符(profile一idc)能够标识出位流是基于规定 的类的。类标识符是指指示位流所基于的类的标志。例如，在 H.264/AVC中，如果类标识符是66，则这表示位流基于基线类。如果 类标识符是77，则这表示位流基于主要类。如果类标识符是88，则这 表示位流基于扩展类。并且，类标识符能够被包括在序列参数集中。
所以，为了处理多视图视频，需要识别输入位流的类是否是多视 图类。如果输入位流的类是多视图类，则有必要添加句法以使得能够 传送关于多视图的至少一个附加信息。在这种情况下，多视图类指示 作为H.264/AVC的修订技术的处理多视图视频的类模式。在MVC中， 添加作为关于MVC模式的额外信息的句法可能比添加无条件句法更 加有效。例如，当AVC的类标识符指示多视图类时，如果添加关于多 视图视频的信息，则能够提高编码效率。
9序列参数集指示含有涵盖总体序列的编码的信息(例如类、级别 等)的报头信息。整个被压縮的运动图片、即序列应该以序列报头开 始。因此，与报头信息对应的序列参数集应该在参考该参数集的数据
到达之前到达解码器。即，序列参数集RBSP对于运动图片压缩的结果 数据扮演报头信息的角色。 一旦位流被输入，则类标识符优选地识别 输入位流是基于多个类中的哪一个。因此，通过向句法中添加用于决 定输入位流是否涉及多视图类的部分(例如，"If (profile—idc==MULTI—VIEW—PROFILE)")，决定输入位流是否涉 及多视图类。仅当确定输入位流涉及多视图类时，才能够添加各种配 置信息。例如，能够在视图间图片组的情况下添加所有视图的数目、 视图间参考图片的数目(ListO/1)，在非视图间图片组的情况下添加视 图间参考图片的数目(ListO/1)等。并且，关于视图的各种信息可用于 产生和管理解码图片缓冲器中的参考图片列表。
图1是根据本发明的用于解码视频信号的装置的示意性框图。
参考图1，根据本发明的用于解码视频信号的装置包括NAL解析 器100、熵解码单元200、反向量化/反向变换单元300、帧内预测单元 400、去块滤波单元500、解码图片缓冲器单元600、帧间预测单元700等。
解码图片缓冲器单元600包括参考图片存储单元610、参考图片 列表构造单元620、参考图片管理单元650等。并且，参考图片列表构 造单元620包括变量推导单元625、参考图片列表初始化单元630和参 考图片列表重排单元640。
并且，帧间预测单元700包括运动补偿单元710、亮度补偿单元 720、亮度差预测单元730、视图合成预测单元740等。
NAL解析器100通过NAL单元执行解析以解码所接收的视频序
10列。通常，在解码片段报头和片段数据之前，至少一个序列参数集和 至少一个图片参数集被传递到解码器。在这种情况下，各种配置信息
能够被包括在NAL报头区域或者NAL报头的扩展区域中。因为MVC 是对于传统的AVC技术的修订技术，所以在MVC位流的情形中仅仅 添加配置信息而非无条件添加可能更加有效。例如，可以在NAL报头 区域或者NAL报头的扩展区域中添加用于识别存在或者不存在MVC 位流的标志信息。仅当根据标志信息输入位流是多视图视频编码位流 时，才能够添加关于多视图视频的配置信息。例如，该配置信息可以 包括时间级别信息、视图级别信息、视图间图片组识别信息、视图识 别信息等。如下参考图2对其详细解释。
图2是根据本发明的一个实施例的可添加到多视图视频编码位流 的关于多视图视频的配置信息的图表。在下面的说明中解释关于多视 图视频的配置信息的细节。
首先，时间级别信息指示关于用于提供根据视频信号的时间可分 级性的分层结构的信息(①)。通过时间级别信息，能够为使用者提 供在各种时间区(zone)上的序列。
视图级别信息指示关于用于提供根据视频信号的视图可分级性的 分层结构的信息(②)。在多视图视频中，有必要定义关于时间的级 别以及关于视图的级别，从而为使用者提供各种时间和视图序列。在 定义以上的级别信息的情形下，可以使用时间可分级性和视图可分级 性。因此，使用者能够选择处于特定时间和视图处的序列，或者可以 通过条件来限制被选择的序列。
能够根据特定条件以各种方式来设置级别信息。例如，能够根据 照相机位置或者照相机校准而不同地设置级别信息。并且，能够通过 考虑视图依赖性(dependency)来确定级别信息。例如，关于视图间图 片组中的具有I-图片的视图的级别被设置为0，关于视图间图片组中的具有P-图片的视图的级别被设置为l，并且关于视图间图片组中的具有 B-图片的视图的级别被设置为2。而且，能够不基于特定条件而随机地 设置级别信息。将在随后参考图4和图5详细地解释视图级别信息。
视图间图片组识别信息指示用于标识当前NAL单元的编码图片 是否为视图间图片组的信息(③)。在这种情况下，视图间图片组是 指其中所有的片段仅仅参考具有相同图片序列号的片段的编码图片。 例如，视图间图片组是指仅仅参考不同视图中的片段而不参考当前视 图中的片段的编码图片。在多视图视频的解码过程中，可能需要视图 间随机访问。视图间图片组识别信息对于实现有效的随机访问而言可 能是必要的。并且，视图间参考信息对于视图间预测而言可能是必要 的。所以，视图间图片组识别信息可以被用于获得视图间参考信息。 而且，视图间图片组识别信息可以被用于在构造参考图片列表期间添 加用于视图间预测的参考图片。此外，视图间图片组识别信息可以被 用于管理所添加的用于视图间预测的参考图片。例如，参考图片可以 被分类成视图间图片组和非视图间图片组，并且所分类的参考图片然 后能够被标注，从而将不使用不能被用于视图间预测的参考图片。同 时，视图间图片组识别信息可应用于假想参考解码器。将在随后参考 图6解释视图间图片组识别信息的细节。
视图识别信息是指用于将当前视图中的图片与不同视图中的图片 相区别的信息( )。在编码视频信号期间，POC (图片次序号)或者 "frame—num (帧号)"可以被用于标识每一个图片。在多视图视频序
列的情况下，可以执行视图间预测。所以，需要用于将当前视图中的 图片与另一视图中的图片相区别的识别信息。所以，有必要定义用于
识别图片的视图的视图识别信息。能够从视频信号的报头区域中获得 该视图识别信息。例如，所述报头区域可以是NAL报头区域、NAL报 头的扩展区域、或者片段报头区域。使用视图识别信息来获得关于与 当前图片的视图不同的视图中的图片的信息，并且能够使用该不同视 图中的图片的信息来解码视频信号。视图识别信息可应用于视频信号
12的总体编码/解码过程。并且，使用考虑视图而不是考虑特定视图标识 符的"frame—num"，视图识别信息能够被应用于多视图视频编码。
同时，熵解码单元200对于所解析的位流执行熵解码，并且然后 提取每一个宏块的系数、运动矢量等。反向量化/反向变换单元300通 过将所接收的量化值乘以常数而获得经转换的系数值，并且然后反向 变换该系数值以重构像素值。使用重构的像素值，帧内预测单元400 根据当前图片中的解码采样来执行帧内预测。同时，去块滤波单元500 被应用于每一个编码宏块以减少块失真。滤波器平滑块边缘以提高解 码帧的图像质量。滤波过程的选择依赖于在边缘周围的图像采样的边 界强度和梯度。通过滤波的图片被输出或者被存储于解码图片缓冲器 单元600中，以被用作参考图片。
解码图片缓冲器单元600充当存储或者打开先前编码的图片以执 行帧间预测的角色。在这种情况下，为了在解码图片缓冲器单元600 中存储图片或者打开图片，使用每一个图片的"frame—num"和POC (图 片次序号)。所以，因为在先前编码的图片中存在在与当前图片的视 图不同的视图中的图片，所以用于识别图片的视图的视图信息可以与 "frame—num"和POC —起使用。解码图片缓冲器单元600包括参考 图片存储单元610、参考图片列表构造单元620以及参考图片管理单元 650。参考图片存储单元610存储为编码当前图片而将被参考的图片。 参考图片列表构造单元620构造用于图片间(inter-picture)预测的参 考图片的列表。在多视图视频编码中，可能需要视图间预测。所以， 如果当前图片参考另一视图中的图片，则可能有必要构造用于视图间 预测的参考图片列表。在这种情况下，参考图片列表构造单元620能 够在产生用于视图间预测的参考图片列表期间使用关于视图的信息。 将在随后参考图3解释参考图片列表构造单元620的细节。
图3是根据本发明的实施例的参考图片列表构造单元620的内部框图。
13参考图片列表构造单元620包括变量推导单元625、参考图片列 表初始化单元630和参考列表重排单元640。
变量推导单元625推导用于参考图片列表初始化的变量。例如， 能够使用指示图片识别号的"frame一mim"来推导变量。具体地，变量 FrameNum (帧号)禾tl FrameNumWrap (帧号换行)可以被用于每一个 短期参考图片。首先，变量FrameNum等于句法元素frame—num的值。 变量FrameNumWrap能够被用于解码图片缓冲器单元600以为每一个 参考图片分配较小的号。并且，能够从变量FrameNum来推导变量 FrameNumWrap。所以，能够使用推导出的变量FrameNumWrap来推 导变量PicNum (图片号)。在这种情况下，变量PicNum可以指解码 图片缓冲器单元600所使用的图片的识别号。在指示长期参考图片的 情况下，可以使用变量LongTermPicNum (长期图片号)。
为了构造用于视图间预测的参考图片列表，可以推导出第一变量 (例如，ViewNum (视图号))以构造用于视图间预测的参考图片列 表。例如，能够使用用于识别图片的视图的"view—id (视图标识符)" 来推导第二变量(例如，Viewld (视图标识符))。首先，第二变量 可以等于句法元素"viewjd"的值。并且，第三变量(例如，ViewIdWrap (视图标识符换行))可以被用于解码图片缓冲器单元600以向每一 个参考图片分配较小的视图识别号，并且可以从第二变量推导出。在 这种情况下，第一变量ViewNum可以指解码图片缓冲器单元600所使 用的图片的视图识别号。然而，因为在多视图视频编码中用于视图间 预测的参考图片的数目可能相对小于用于时间预测的参考图片的数 目，所以可以不定义用于指示长期参考图片的视图识别号的另一个变
参考图片列表初始化单元630使用上述变量初始化参考图片列 表。在这种情况下，用于参考图片列表的初始化过程可以根据片段类型而不同。例如，在解码P-片段的情况下，可以基于解码次序来分配
参考索引。在解码B-片段的情况下，可以基于图片输出次序来分配参 考索引。在初始化用于视图间预测的参考图片列表的情况下，可以基 于第一变量、即从视图信息推导的变量向参考图片分配索引。
参考图片列表重排单元640充当通过向被初始化的参考图片列表 中的被频繁地参考的图片分配更小的索引来提高压缩效率的角色。这 是因为，如果用于编码的参考索引变得更小则分配较小的位。
并且，参考图片列表重排单元640包括片段类型检查单元642、 参考图片列表0重排单元643以及参考图片列表1重排单元645。如果 输入被初始化的参考图片列表，则片段类型检查单元642检查将被解 码的片段的类型并且然后决定是重排参考图片列表0还是参考图片列 表l。所以，如果片段类型不是I-片段，则参考图片列表0/l重排单元 643、 645执行参考图片列表0的重排，并且如果片段类型是B-片段， 则还另外地执行参考图片列表1的重排。因此，在重排过程结束之后， 参考图片列表得以构造。
参考图片列表0/1重排单元643、 645分别包括识别信息获得单元 643A、 645A和参考索引分配改变单元643B、 645B。如果根据指示是 否执行参考图片列表的重排的标志信息来执行参考图片列表的重排， 则识别信息获得单元643A、645A接收指示参考索引的分配方法的识别 信息(reordering—of_pic—nums—idc )。并且，参考索引分配改变单元643B、 645B通过根据识别信息改变参考索引的分配而重排参考图片列表。
并且，可以利用另一种方法来操作参考图片列表重排单元640。 例如，可以通过检查在通过片段类型检查单元642之前传递的NAL单 元类型并且然后将NAL单元类型分类成MVC NAL情形和非MVC NAL情形而执行重排。
15参考图片管理单元650管理参考图片以更加灵活地执行帧间预 测。例如，可以使用存储器管理控制操作方法和滑动(sliding)窗口方 法。这是通过将存储器统一为一个存储器而管理参考图片存储器和非 参考图片存储器并且利用较小的存储器来实现有效的存储器管理。在 多视图视频编码期间，因为在视图方向中的图片具有相同的图片次序 号，所以用于标识每一个图片的视图的信息能够被用于沿着视图方向 标注图片。并且，帧间预测单元700可以使用按照以上方式管理的参 考图片。
帧间预测单元700使用在解码图片缓冲器单元600中存储的参考 图片来执行帧间预测。帧间编码宏块能够被划分成宏块划分(partition)。 并且，可以根据一个或者两个参考图片来预测每一个宏块划分。帧间 预测单元700包括运动补偿单元710、亮度补偿单元720、亮度差预测 单元730、视图合成预测单元740、加权预测单元750等。
运动补偿单元710使用从熵解码单元200传递的信息来补偿当前 块的运动。从视频信号中提取当前块的相邻块的运动矢量，并且然后 由相邻块的运动矢量推导当前块的运动矢量预测。并且，使用推导出 的运动矢量预测以及从视频信号中提取的差分运动矢量来补偿当前块 的运动。并且，可以使用一个参考图片或者多个图片来执行运动补偿。 在多视图视频编码期间，在当前图片参考不同视图中的图片的情形中， 可以使用在解码图片缓冲器单元600中存储的用于视图间预测的参考 图片列表信息来执行运动补偿。并且，还能够使用用于标识参考图片 的视图的视图信息执行运动补偿。直接模式是用于根据用于编码块的 运动信息来预测当前块的运动信息的编码模式。因为这种方法能够节 省用于编码运动信息所需要的位的数目，所以压縮效率得以提高。例 如，时间方向模式使用时间方向中的运动信息的相关性来预测关于当 前块的运动信息。使用类似于该方法的方法，本发明能够使用视图方 向中的运动信息的相关性来预测关于当前块的运动信息。
16同时，在输入位流对应于多视图视频的情况下，因为各个视图序 列是由不同照相机获得的，所以由于照相机的内部和外部因素而产生
亮度差。为了防止这点，亮度补偿单元720补偿亮度差。在执行亮度 补偿期间，可以使用指示是否在视频信号的特定层上执行亮度补偿的 标志信息。例如，可以使用指示是否对相应的片段或者宏块执行亮度 补偿的标志信息来执行亮度补偿。在使用标志信息执行亮度补偿期间， 亮度补偿可应用于各种宏块类型(例如，帧间16x16模式、B-跳跃 (B-skip)模式、直接模式等)。
在执行亮度补偿期间，能够使用关于相邻块的信息或者关于与当 前块的视图不同的视图中的块的信息来重构当前块。并且，还能够使 用当前块的亮度差值。在这种情况下，如果当前块参考不同视图中的 块，则能够使用在解码图片缓冲器单元600中存储的用于视图间预测 的参考图片列表信息来执行亮度补偿。在这种情况下，当前块的亮度 差值指示在当前块的平均像素值和相应于当前块的参考块的平均像素 值之间的差。作为使用亮度差值的示例，使用当前块的相邻块获得当 前块的亮度差预测值，并且使用在亮度差值和亮度差预测值之间的差 值(亮度差残值)。因此，解码单元能够使用该亮度差残值和亮度差 预测值来重构当前块的亮度差值。在获得当前块的亮度差预测值期间， 可以使用关于相邻块的信息。例如，可以使用相邻块的亮度差值来预 测当前块的亮度差值。在预测之前，检查当前块的参考索引是否等于 相邻块的参考索引。根据检查结果，然后决定将使用哪一种相邻块或 者值。
视图合成预测单元740被用于使用与当前图片的视图相邻的视图 中的图片来合成虚拟视图中的图片，并且使用虚拟视图中的合成图片 来预测当前图片。解码单元能够根据从编码单元传递的视图间合成预 测标识符来决定是否合成虚拟视图中的图片。例如，如果 view—synthesize_pred—flag=l或者view—synjpred—flag=l ，贝ll合成虚J以年见 图中的片段或者宏块。在这种情况下，当视图间合成预测标识符告知将产生虚拟视图时，可以使用用于识别图片的视图的视图信息来产生 虚拟视图中的图片。并且，在根据虚拟视图中的合成图片来预测当前 图片期间，可以使用视图信息来使用虚拟视图中的图片作为参考图片。
加权预测单元750被用于在编码其亮度暂时改变的序列的情况下 补偿该序列的图片质量显著降低的现象。在MVC中，可以执行加权预 测以补偿与不同视图中的序列的亮度差，以及对其亮度暂时改变的序 列执行加权预测。例如，加权预测方法可以被分类成显式加权预测方 法和隐式加权预测方法。
具体地，显式加权预测方法能够使用一个参考图片或者两个参考 图片。在使用一个参考图片的情况下，通过将相应于运动补偿的预测 信号乘以加权系数而产生预测信号。在使用两个参考图片的情况下， 通过将偏移值增加到将相应于运动补偿的预测信号乘以加权系数所得 到的值，从而产生预测信号。
并且，隐式加权预测使用离参考图片的距离执行加权预测。作为 获得离参考图片的距离的方法，可以例如使用指示图片输出次序的 POC (图片次序号)。在这种情况下，可以通过考虑每一个图片的视图 的标识而获得POC。在获得关于不同视图中的图片的加权系数期间， 可以使用用于识别图片的视图的视图信息以获得在各个图片的视图之 间的距离。
在视频信号编码期间，深度信息可用于特定应用或者另一目的。 在这种情况下，深度信息可以指能够指示视图间视差差异的信息。例 如，能够通过视图间预测获得视差矢量。并且，所获得的视差矢量应 该被传递到解码装置以用于当前块的视差补偿。然而，如果获得深度 映射并且然后其被传递到解码装置，则可以根据深度映射(或者视差 映射)推出视差矢量而不用将视差矢量传递到解码装置。在这种情况 下，其优势在于要被传递到解码装置的深度信息的位数能够被降低。所以，通过根据深度映射推导视差矢量，能够提供一种新的视差补偿方法。因此，在根据深度映射推导视差矢量期间使用不同视图中的图片的情况下，可以使用用于标识图片的视图的视图信息。
根据预测模式选择通过上面解释的过程的帧间预测或者帧内预测图片以重构当前图片。在下面的说明中，对提供有效的视频信号的解码方法的各种实施例进行解释。
图4是根据本发明的一个实施例的用于提供视频信号的视图可分级性的级别信息的分层结构的图表。
参考图4，可以通过考虑视图间参考信息来决定关于每一个视图的级别信息。例如，因为不可能没有I-图片地解码P-图片和B-图片，所以可以向其视图间图片组是I-图片的基础视图分配"levd=0"，向其视图间图片组是P-图片的基础视图分配"level=l"，并且向其视图间图片组是B-图片的基础视图分配"level-2"。然而，还能够根据特定标准随机地决定级别信息。
可以根据特定标准或者无需标准地随机地决定级别信息。例如，在基于视图决定级别信息的情况下，可以将作为基础视图的视图VO设置为视图级别0，将使用一个视图中的图片预测的图片的视图设置为视图级别1，并且将使用多个视图中的图片预测的图片的视图设置为视图级别2。在这种情况下，可能需要具有与传统的解码器(例如，H.264/AVC、 MPEG-2、 MPEG-4等)的兼容性的至少一个视图序列。这个基础视图成为多视图编码的基础，它可以对应于用于预测另一个视图的参考视图。在MVC (多视图视频编码)中对应于基础视图的序列可以通过利用传统的序列编码方案(MPEG-2、MPEG-4、H.263、H.264等)编码而被配置成独立位流。对应于基础视图的序列能够与H.264/AVC相兼容或者可以不相兼容。然而，在与H.264/AVC相兼容的视图中的序列对应于基础视图。
19如能够在图4中看到的，可以将使用视图VO中的图片预测的图片的视图V2、使用视图V2中的图片预测的图片的视图V4、使用视图V4中的图片预测的图片的视图V6以及使用视图V6中的图片预测的图片的视图V7设置为视图级别1。并且，可以将使用视图VO和V2中的图片预测的图片的视图VI和以相同方式预测的视图V3、以及以相同方式预测的视图V5设置为视图级别2。所以，在使用者的解码器不能观看多视图视频序列的情况下，其仅仅解码对应于视图级别0的视图中的序列。在使用者的解码器受到类信息限制的情况下，可以仅仅解码受限制的视图级别的信息。在这种情况下，类是指用于视频编码/解码过程中的算法的技术元素被标准化。具体地，类是用于解码压縮序列的位序列所需要的一组技术元素并且可以是一种子标准。
根据本发明的另一个实施例，级别信息可以根据照相机的位置而改变。例如，假设视图VO和Vl是由位于前面的照相机获得的序列，视图V2和V3是由位于后面的照相机获得的序列，视图V4和V5是由位于左侧的照相机获得的序列，并且视图V6和V7是由位于右侧的照相机获得的序列，则可以将视图VO和VI设置为视图级别0，将视图V2和V3设置为视图级别1，将视图V4和V5设置为视图级别2，并且将视图V6和V7设置为视图级别3。可替代地，级别信息可以根据照相机校准而改变。可替代地，级别信息可以不基于特定标准地被随机地决定。
图5是根据本发明的一个实施例的在NAL报头的扩展区域中包括级别信息的NAL单元配置的图表。
参考图5， NAL单元基本上包括NAL报头和RBSP。 NAL报头包括指示是否包括成为NAL单元的参考图片的片段的标志信息(nal—refjdc)和指示NAL单元的类型的标识符(nal—unit—type)。并
且，NAL报头还可包括指示关于分层结构以提供视图可分级性的信息
20的级别信息(view—level)。
压縮的原始数据被存储在RBSP中，并且RBSP末位被添加到 RBSP的最后部分以表示RBSP的长度为8-位乘法数。作为NAL单元 的类型，有IDR(即时解码刷新instantaneous decoding refresh) 、 SPS (序列参数集sequence parameter set) 、 PPS (图片参数集picture parameter set) 、 SEI (附加增强信息supplemental enhancement information)等。
NAL报头包括关于视图标识符的信息。并且，在根据视图级别执 行解码期间，参考视图标识符解码相应视图级别的视频序列。
NAL单元包括NAL报头51和片段层53。 NAL报头51包括NAL 报头扩展52。并且，片段层53包括片段报头54和片段数据55。
NAL报头51包括指示NAL单元的类型的标识符(nal一unit—type)。 例如，指示NAL单元类型的标识符可以是关于可分级编码和多视图视 频编码的标识符。在这种情况下，NAL报头扩展52可以包括区分当前 NAL是用于可分级视频编码的NAL还是用于多视图视频编码的NAL 的标志信息。并且，根据标志信息，NAL报头扩展52可以包括关于当 前NAL的扩展信息。例如，在根据标志信息当前NAL是用于多视图 视频编码的NAL的情况下，NAL报头扩展52可以包括指示关于分层 结构以提供视图可分级性的信息的级别信息(view—level)。
图6是根据本发明的一个实施例的多视图视频信号的总体预测结 构的图表，用于解释视图间图片组的概念。
参考图6，水平轴上的T0到T100指示根据时间的帧，并且垂直 轴上的S0到S7指示根据视图的帧。例如，在T0处的图片是指在同一 时间区TO由不同照相机捕捉的帧，而在SO处的图片是指在不同时间
21。并且，在图中的箭头指示各个图片的预 测方向和预测次序。例如，在时间区TO上的视图S2中的图片PO是从 10预测的图片，它成为在时间区TO上的视图S4中的图片PO的参考图 片。并且，它分别地成为在视图S2中的时间区T4和T2上的图片Bl 和B2的参考图片。
在多视图视频解码过程中，可能需要视图间随机访问。所以，通 过减少解码强度(effort)，对随机视图的访问应该是可能的。在这种 情况下，实现有效的访问可能需要视图间图片组的概念。视图间图片 组是指其中所有的片段仅仅参考具有相同图片次序号的片段的编码图 片。例如，视图间图片组是指仅仅参考不同视图中的片段而不参考当 前视图中的片段的编码图片。在图6中，如果在时间区T0上的视图S0 中的图片IO是视图间图片组，则在同一时间区、即时间区TO上的不 同视图中的所有的图片均成为视图间图片组。作为另一个例子，如果 时间区T8上的视图S0中的图片10是视图间图片组，则在同一时间区、 即时间区T8上的不同视图中的所有的图片均是视图间图片组。同样地， T16， ...， T96，和T100中所有的图片也成为视图间图片组。
图7是根据本发明的实施例的预测结构的图表，用于解释新定义 的视图间图片组的概念。
在MVC的总体预测结构中，GOP可以以I-图片开始。并且，I-图片与H.264/AVC相兼容。所以，与H.264/AVC相兼容的所有的视图 间图片组总是能够成为I-图片。然而，在用P-图片来代替I-图片的情 况下，可以进行更加有效的编码。具体地，使用使得GOP能够以与 H.264/AVC相兼容的P-图片开始的预测结构使得能够进行更加有效的 编码。
在这种情况下，如果视图间图片组被重新定义，则所有的片段成 为能够不仅参考在同一时间区上的帧中的片段而且参考在不同时间区
22上的同一视图中的片段的编码图片。然而，在参考同一视图中在不同
时间区上的片段的情形中，其可以被限制为仅仅与H.264/AVC相兼容 的视图间图片组。例如，在图6中的视图SO中的时序点T8上的P-图 片可以成为新定义的视图间图片组。同样地，在视图SO中的时序点T96 上的P-图片或者在视图SO中的时序点T100上的P-图片可以成为新定 义的视图间图片组。并且，能够仅当其是基础视图时定义视图间图片 组。
在视图间图片组已被解码之后，根据按照输出次序在该视图间图 片组之前被解码的图片来解码所有的顺序编码图片，而不进行帧间预
考虑图6和图7所示的多视图视频的总体编码结构，因为视图间 图片组的视图间参考信息不同于非视图间图片组的视图间参考信息， 所以有必要根据视图间图片组识别信息将视图间图片组和非视图间图 片组相互区分。
视图间参考信息是指能够识别出视图间图片之间的预测结构的信 息。这能够从视频信号的数据区域中获得。例如，可以从序列参数集 区域中获得。并且，可以使用参考图片的数目和关于参考图片的视图 信息来识别视图间参考信息。例如，获得全部视图的数目并且然后可 以基于所有视图的数目来获得用于识别每一个视图的视图信息。并且， 可以获得对于每一个视图的参考方向的参考图片的数目。根据参考图 片的数目，可以获得关于每一个参考图片的视图信息。以此方式，能 够获得视图间参考信息。并且，通过将视图间图片组和非视图间图片 组相区分，可以识别视图间参考信息。这能够使用指示当前NAL中的 编码片段是否为视图间图片组的视图间图片组识别信息而被获得。如 下参考图8解释视图间图片组识别信息的细节。
图8是根据本发明的一个实施例的用于使用视图间图片组识别信息来解码多视图视频的装置的示意性框图。
参考图8，根据本发明的一个实施例的解码装置包括位流决定单
元81、视图间图片组识别信息获得单元82以及多视图视频解码单元 83。
如果输入位流，则位流决定单元81决定输入位流是用于可分级视 频编码的编码位流还是用于多视图视频编码的编码位流。这能够通过 在位流中包括的标志信息而被决定。
如果作为决定结果，输入位流是用于多视图视频编码的位流，则 视图间图片组识别信息获得单元82能够获得视图间图片组识别信息。 如果所获得的视图间图片组识别信息是"tme (真)"，则其是指当前 NAL的编码片段是视图间图片组。如果所获得的视图间图片组识别信 息是"false (假)"，则其是指当前NAL的编码片段是非视图间图片 组。可以从NAL报头的扩展区域或者片段层区域中获得该视图间图片 组识别信息。
多视图视频解码单元83根据视图间图片组识别信息解码多视图 视频。根据多视图视频序列的总体编码结构，视图间图片组的视图间 参考信息不同于非视图间图片组的视图间参考信息。所以，例如在添 加用于视图间预测的参考图片期间，可以使用视图间图片组识别信息， 以产生参考图片列表。并且，还能够使用视图间图片组识别信息来管 理用于视图间预测的参考图片。而且，视图间图片组识别信息可以被 应用于假想参考解码器。
作为使用视图间图片组识别信息的另一个示例，在对于每一个解 码过程使用不同视图中的信息的情况下，可以使用在序列参数集中包 括的视图间参考信息。在这种情况下，可能需要用于区分当前图片是 视图间图片组还是非视图间图片组的信息，即，视图间图片组识别信
24息。所以，能够对于每一个解码过程使用不同的视图间参考信息。
图9是根据本发明的实施例的用于产生参考图片列表的过程的流程图。
参考图9，解码图片缓冲器单元600充当存储或者打开先前编码 图片以执行图片间预测的角色。
首先，在当前图片之前被编码的图片被存储在参考图片存储单元 610中，以被用作参考图片(S91)。
在多视图视频编码期间，因为先前编码图片中的一些位于与当前 图片的视图不同的视图中，因此用于识别图片的视图的视图信息可以 被用于利用这些图片作为参考图片。所以，解码器应该获得用于识别 图片的视图的视图信息(S92)。例如，视图信息可以包括用于识别图 片的视图的"view—id"。
解码图片缓冲器单元600需要推导在其中使用的变量以产生参考 图片列表。因为对于多视图视频编码可能需要视图间预测，所以如果 当前图片参考不同视图中的图片，则可能有必要产生用于视图间预测 的参考图片列表。在这种情况下，解码图片缓冲器单元600需要使用 所获得的视图信息来推导用来产生用于视图间预测的参考图片列表的 变量(S93)。
根据当前片段的片段类型，可以通过不同的方法来产生用于时间 预测的参考图片列表或者用于视图间预测的参考图片列表(S94)。例 如，如果片段类型是P/SP片段，则产生参考图片列表O (S95)。在片 段类型是B-片段的情形中，产生参考图片列表0和参考图片列表1 (S96)。在这种情况下，参考图片列表O或者l可以仅仅包括用于时 间预测的参考图片列表或者用于时间预测的参考图片列表和用于视图
25间预测的参考图片列表两者。这将在随后参考图8和图9详细解释。
被初始化的参考图片列表经历用于向被频繁地参考的图片分配更 小的号以进一步提高压縮速率的过程(S97)。并且，这可以被称为用 于参考图片列表的重排过程，这将在随后参考图12到19详细解释。 使用经重排的参考图片列表来解码当前图片，并且解码图片缓冲器单 元600需要管理解码的参考图片以更加有效地操作缓冲器(S98)。通 过以上过程管理的参考图片被帧间预测单元700读取出，以被用于帧 间预测。在多视图视频编码中，帧间预测可以包括视图间预测。在这 种情况下，可使用用于视图间预测的参考图片列表。
如下参考图10和图11解释用于根据片段类型产生参考图片列表 的方法的详细示例。
图10是根据本发明的一个实施例的用于解释当当前片段是P-片 段时初始化参考图片列表的方法的图表。
参考图10，时间由TO， Tl， ...TN指示，而视图由VO， VI，…， V4指示。例如，当前图片指示在视图V4中在时间T3的图片。并且， 当前图片的片段类型是P-片段。"PN"是变量PicNum的縮写，"LPN" 是变量LongTermPicNum的縮写，并且"VN"是变量ViewNum的缩 写。附加到每一个变量末端部分的数字指示每一个图片的时间(对于 PN或者LPN)或者每一个图片的视图(对于VN)的索引。这可以以 相同方式被应用于图11。
可以根据当前片段的片段类型以不同方式产生用于时间预测的参 考图片列表或者用于视图间预测的参考图片列表。例如，在图12中的 片段类型是P/SP片段。在这种情况下，产生参考图片列表O。具体地， 参考图片列表0可以包括用于时间预测的参考图片列表和/或用于视图 间预测的参考图片列表。在本实施例中，假设参考图片列表包括用于时间预测的参考图片列表和用于视图间预测的参考图片列表两者。
存在各种方法来排序参考图片。例如，可以根据解码或者图片输 出的次序排列参考图片。可替代地，可以基于使用视图信息推导的变 量排列参考图片。可替代地，可以根据指示视图间预测结构的视图间 参考信息排列参考图片。
在用于时间预测的参考图片列表的情形中，可以基于解码次序来 排列短期参考图片和长期参考图片。例如，可以根据从指示图片识别 号的值(例如，frame—num或者Longtermframeidx)推导的变量PicNum 或者LongTermPicNum的值来排列它们。首先，短期参考图片可以在 长期参考图片之前被初始化。可以从具有最高值的变量PicNum的参考 图片到具有最低变量值的参考图片来设置短期参考图片的排列次序。 例如，在PN0至ljPN2中，可以按照具有最高变量的PN1、具有中间变 量的PN2和具有最低变量的PN0的次序来排列短期参考图片。可以从 具有最低值的变量LongTermPicNum的参考图片到具有最高变量值的 参考图片来设置长期参考图片的排列次序。例如，可以按照具有最高 变量的LPN0和具有最低变量的LPN1的次序来排列长期参考图片。
在用于视图间预测的参考图片列表的情形中，可以基于使用视图 信息推导的第一变量ViewNiim来排列参考图片。具体地，可以按照具 有最高第一变量(ViewNum)值的参考图片到具有最低第 一 变量
(ViewNum)值的参考图片的次序来排列参考图片。例如，在VN0、 VN1、 VN2和VN3中，可以按照具有最高变量的VN3、 VN2、 VN1和 具有最低变量的VN0的次序来排列参考图片。
因此，可以作为一个参考图片列表来管理用于时间预测的参考图 片列表和用于视图间预测的参考图片列表两者。可替代地，可以作为 单独的参考图片列表分别地管理用于时间预测的参考图片列表和用于 视图间预测的参考图片列表。在作为一个参考图片列表管理用于时间
27预测的参考图片列表和用于视图间预测的参考图片列表两者的情形 中，可以按照次序或者同时地初始化它们。例如，在根据次序初始化 用于时间预测的参考图片列表和用于视图间预测的参考图片列表两者 的情形中，用于时间预测的参考图片列表被优先地初始化，并且用于 视图间预测的参考图片列表然后被附加地初始化。该概念也可应用于 图11。
如下参考图11解释当前图片的片段类型是B-片段的情形。
图11是根据本发明的一个实施例的用于解释当当前片段是B-片
段时初始化参考图片列表的方法的图表。
参考图9，在片段类型是B-片段的情形中，产生参考图片列表0 和参考图片列表l。在这种情况下，参考图片列表O或者参考图片列表 1可以包括仅仅用于时间预测的参考图片列表或者用于时间预测的参 考图片列表和用于视图间预测的参考图片列表两者。
在用于时间预测的参考图片列表的情形中，短期参考图片排列方 法可以不同于长期参考图片排列方法。例如，在短期参考图片的情形 中，可以根据图片次序号(在下文中简称POC)来排列参考图片。在 长期参考图片的情形中，可以根据变量(LongtermPicNum)值来排列 参考图片。并且，短期参考图片可以在长期参考图片之前被初始化。
在排列参考图片列表0的短期参考图片的次序中，在具有小于当 前图片的POC值的参考图片中，优先地从具有最高POC值的参考图片 到具有最低POC值的参考图片排列参考图片，并且然后在具有大于当 前图片的POC值的参考图片中，从具有最低POC值的参考图片到具有 最高POC值的参考图片进行排列。例如，可以优先地从在具有小于当 前图片的POC值的参考图片PNO和PN1中具有最高POC值的PN1 到PNO排列参考图片，并且然后从在具有小于当前图片的POC值的参
28考图片PN3和PN4中具有最低POC值的PN3到PN4排列。
在排列参考图片列表0的长期参考图片的次序中，从具有最低变 量LongtermPicNum的参考图片到具有最高变量的参考图片来排列参 考图片。例如，从在LPN0和LPN1中具有最低值的LPNO到具有第二 最低变量的LPN1来排列参考图片。
在用于视图间预测的参考图片列表的情形中，可以基于使用视图 信息推导的第一变量ViewNimi来排列参考图片。例如，在用于视图间 预测的参考图片列表0的情形中，可以从在具有比当前图片更低的第 一变量值的参考图片中具有最高的第一变量值的参考图片到具有最低 的第一变量值的参考图片来排列参考图片。然后从在具有大于当前图 片的第一变量值的参考图片中具有最低的第一变量值的参考图片到具 有最高的第一变量值的参考图片来排列参考图片。例如，优先地从在 具有小于当前图片的第一变量值的VNO和VN1中具有最高的第一变量 值的VN1到具有最低的第一变量值的VNO排列参考图片，并且然后 从在具有大于当前图片的第一变量值的VN3和VN4中具有最低的第一 变量值的VN3到具有最高的第一变量值的VN4进行排列。
在参考图片列表1的情形中，可以类似地应用在上面解释的排列 参考列表O的方法。
首先，在用于时间预测的参考图片列表的情形中，在排列参考图 片列表1的短期参考图片的次序中，优先地在具有大于当前图片的P0C 值的参考图片中从具有最低POC值的参考图片到具有最高POC值的参 考图片来排列参考图片，并且然后在具有小于当前图片的POC值的参 考图片中从具有最高POC值的参考图片到具有最低POC值的参考图片 进行排列。例如，可以优先地从在具有大于当前图片的POC值的参考 图片PN3和PN4中具有最低POC值的PN3到PN4来排列参考图片， 并且然后从在具有大于当前图片的POC值的参考图片PNO和PN1中
29具有最高POC值的PN1到PNO进行排列。
在排列参考图片列表1的长期参考图片的次序中，从具有最低变 量LongtermPicNum的参考图片到具有最高变量的参考图片来排列参 考图片。例如，从在LPN0和LPN1中具有最低值的LPNO到具有最低 变量的LPN1来排列参考图片。
在用于视图间预测的参考图片列表的情形中，可以基于使用视图 信息推导的第一变量ViewNum来排列参考图片。例如，在用于视图间 预测的参考图片列表1的情形中，可以在具有大于当前图片的第一变 量值的参考图片中从具有最低的第一变量值的参考图片到具有最高的 第一变量值的参考图片来排列参考图片。然后在具有小于当前图片的 第一变量值的参考图片中从具有最高的第一变量值的参考图片到具有 最低的第一变量值的参考图片来排列参考图片。例如，优先地在具有 大于当前图片的第一变量值的VN3和VN4中从具有最低的第一变量值 的VN3到具有最高的第一变量值的VN4来排列参考图片，并且然后在 具有小于当前图片的第一变量值的VN0和VN1中从具有最高的第一变 量值的VN1到具有最低的第一变量值的VNO进行排列。
通过以上过程被初始化的参考图片列表被传递到参考图片列表重 排单元640。初始化的参考图片列表然后被重排以更有效地进行编码。 重排过程用于通过操作解码图片缓冲器而通过向具有被选择为参考图 片的最高可能性的参考图片分配小号来降低位速率。如下参考图12到 19解释重排参考图片列表的各种方法。
图12是根据本发明的一个实施例的参考图片列表重排单元640的 内部框图。
参考图12，参考图片列表重排单元640基本上包括片段类型检查 单元642、参考图片列表0重排单元643和参考图片列表1重排单元645。
具体地，参考图片列表0重排单元643包括第一识别信息获得单 元643A和第一参考索引分配改变单元643B。并且，参考图片列表1 重排单元645包括第二识别获得单元645A和第二参考索引分配改变单 元645B。
片段类型检査单元642检查当前片段的片段类型。然后根据片段 类型决定是否重排参考图片列表0禾B/或参考图片列表1。例如，如果 当前片段的片段类型是I-片段，则参考图片列表0和参考图片列表1 均不被重排。如果当前片段的片段类型是P-片段，则仅仅重排参考图 片列表O。如果当前片段的片段类型是B-片段，则参考图片列表O和 参考图片列表1均被重排。
如果用于执行参考图片列表0的重排的标志信息是"真"并且如 果当前片段的片段类型不是I-片段，则激活参考图片列表0重排单元 643。第一识别信息获得单元643A获得指示参考索引分配方法的识别 信息。第一参考索引分配改变单元643B根据识别信息改变被分配给参 考图片列表O的每一个参考图片的参考索引。
同样地，如果用于执行参考图片列表1的重排的标志信息是"真" 并且如果当前片段的片段类型是B-片段，则激活参考图片列表1重排 单元645。第二识别信息获得单元645A获得指示参考索引分配方法的 识别信息。第二参考索引分配改变单元645B根据识别信息改变被分配 给参考图片列表1的每一个参考图片的参考索引。
所以，通过参考图片列表0重排单元643和参考图片列表1重排 单元645产生用于实际帧间预测的参考图片列表信息。
如下参考图13解释通过第一或者第二参考索引分配改变单元643B或者645B来改变被分配给每一个参考图片的参考索引的方法。
图13是根据本发明的一个实施例的参考索引分配改变单元643B 或者645B的内部框图。在下面的说明中， 一起解释在图12中所示的 参考图片列表0重排单元643和参考图片列表1重排单元645。
参考图13，第一和第二参考索引分配改变单元643B和645B的每 一个包括用于时间预测的参考索引分配改变单元644A、用于长期参考 图片的参考索引分配改变单元644B、用于视图间预测的参考索引分配 改变单元644C和参考索引分配改变终止单元644D。根据由第一和第 二识别信息获得单元643A和645A获得的识别信息，分别激活在第一 和第二参考索引分配改变单元643B和645B中的部件。并且，保持执 行重排过程，直至输入用于终止参考索引分配改变的识别信息。
例如，如果从第一或者第二识别信息获得单元643A或者645A接 收到用于改变用于时间预测的参考索引的分配的识别信息，则激活用 于时间预测的参考索引分配改变单元644A。用于时间预测的参考索引 分配改变单元644A根据所接收的识别信息获得图片号差。在这种情况 下，图片号差是指在当前图片的图片号和预测的图片号之间的差。并 且，预测的图片号可以指之前刚刚分配的参考图片的号。所以，能够 使用所获得的图片号差来改变参考索引的分配。在这种情况下，根据 识别信息，可以向/从预测的图片号增加/减去图片号差。
作为另一个实例，如果接收到用于将参考索引的分配改变为指定 的长期参考图片的识别信息，则激活用于长期参考图片的参考索引分 配改变单元644B。用于长期参考图片的参考索引分配改变单元644B 根据识别号获得指定图片的长期参考图片号。
作为另一个实例，如果接收到用于改变用于视图间预测的参考索 引的分配的识别信息，则激活用于视图间预测的参考索引分配改变单
32元644C。用于视图间预测的参考索引分配改变单元644C根据识别信 息获得视图信息差。在这种情况下，视图信息差是指在当前图片的视 图号和预测的视图号之间的差。并且，预测的视图号可以指示之前刚 刚分配的参考图片的视图号。所以，能够使用所获得的视图信息差改 变参考索引的分配。在这种情况下，根据识别信息，可以向/从预测的 视图号增加/减去视图信息差。
对于另一实例，如果接收到用于终止参考索引分配改变的识别信 息，则激活参考索引分配改变终止单元644D。参考索引分配改变终止 单元644D根据所接收的识别信息终止参考索引的分配改变。所以，参 考图片列表重排单元640产生参考图片列表信息。
因此，能够与用于时间预测的参考图片一起地管理用于视图间预 测的参考图片。可替代地，能够独立于用于时间预测的参考图片来管 理用于视图间预测的参考图片。为此，可能需要用于管理用于视图间 预测的参考图片的新信息。这将在随后参考图15到19解释。
如下参考图14解释用于视图间预测的参考索引分配改变单元 644C的细节。
图14是根据本发明的一个实施例的用于解释使用视图信息重排 参考图片列表的过程的图表。
参考图14，如果当前图片的视图号VN是3，如果解码图片缓冲 器的尺寸DPBsize是4，并且如果当前片段的片段类型是P-片段，则如 下解释用于参考图片列表0的重排过程。
首先，初始预测的视图号是"3"，它是当前图片的视图号。并且， 用于视图间预测的参考图片列表0的初始排列是"4， 5， 6， 2"(①)。 在这种情况下，如果接收到用于通过减去视图信息差而改变用于视图
33间预测的参考索引的分配的识别信息，则根据所接收的识别信息获得 "1"作为视图信息差。通过从预测的视图号(=3)减去视图信息差(=1) 计算出新预测的视图号(=2)。具体地，将用于视图间预测的参考图 片列表0的第一索引分配给具有视图号2的参考图片。并且，可以将 先前分配给第一索引的图片移动到参考图片列表O的最后部分。所以， 重排的参考图片列表0是"2， 5， 6， 4"(②)。随后，如果接收到 用于通过减去视图信息差而改变用于视图间预测的参考索引的分配的 识别信息，则根据识别信息获得"-2"作为视图信息差。然后通过从预 测的视图号(=2)减去视图信息差(=-2)计算出新预测的视图号(=4)。 具体地，将用于视图间预测的参考图片列表0的第二索引分配给具有 视图号4的参考图片。因此，重排的参考图片列表O是"2， 4， 6， 5"
(③)。随后，如果接收到用于终止参考索引分配改变的识别信息， 则根据所接收的识别信息产生最终具有重排的参考图片列表0的参考 图片列表0(④)。因此，最终产生的用于视图间预测的参考图片列表 0的次序是"2， 4， 6， 5"。
对于在已分配用于视图间预测的参考图片列表0的第一索引之后 重排其余图片的另一个实例，可以将分配给每一个索引的图片移动到 正好在相应的图片的后面的位置。具体地，将第二索引分配给具有视 图号4的图片，将第三索引分配给向其分配第二索引的图片(视图号5)， 并且将第四索引分配给向其分配第三索引的图片(视图号6)。因此， 重排的参考图片列表0变成"2， 4， 5， 6"。并且，可以以相同的方 式执行随后的重排过程。
通过以上解释的过程而产生的参考图片列表被用于帧间预测。可 以作为一个参考图片列表来管理用于视图间预测的参考图片列表和用 于时间预测的参考图片列表两者。可替代地，用于视图间预测的参考 图片列表和用于时间预测的参考图片列表中的每一个可以作为单独的 参考图片列表被管理。如下参考图15到19对此进行解释。
34图15是根据本发明的另一实施例的参考图片列表重排单元640的 内部框图。
参考图15，为了作为单独的参考图片列表来管理用于视图间预测 的参考图片列表，可能需要新的信息。例如，在一些情形中，用于时 间预测的参考图片列表被重排，并且然后用于视图间预测的参考图片 列表被重排。
参考图片列表重排单元640基本上包括用于时间预测的参考图片 列表重排单元910、 NAL类型检査单元960和用于视图间预测的参考 图片列表重排单元970。
用于时间预测的参考图片列表重排单元910包括片段类型检查单 元642、第三识别信息获得单元920、第三参考索引分配改变单元930、 第四识别信息获得单元940和第四参考索引分配改变单元950。第三参 考索引分配改变单元930包括用于时间预测的参考索引分配改变单元 930A、用于长期参考图片的参考索引分配改变单元930B和参考索引分 配改变终止单元930C。同样地，第四参考索引分配改变单元950包括 用于时间预测的参考索引分配改变单元950A、用于长期参考图片的参 考索引分配改变单元950B和参考索引分配改变终止单元950C。
用于时间预测的参考图片列表重排单元910重排用于时间预测的 参考图片。用于时间预测的参考图片列表重排单元910的操作除了用 于视图间预测的参考图片的信息外与图IO所示的前述参考图片列表重 排单元640的操作相同。所以，在下面的说明中省略了用于时间预测 的参考图片列表重排单元910的细节。
NAL类型检査单元960检查所接收的位流的NAL类型。如果NAL 类型是用于多视图视频编码的NAL，则通过用于时间预测的参考图片 列表重排单元970重排用于视图间预测的参考图片。所产生的用于视图间预测的参考图片列表与由用于时间预测的参考图片列表重排单元 910产生的参考图片列表一起被用于帧间预测。然而，如果NAL类型 不是用于多视图视频编码的NAL，则用于视图间预测的参考图片列表 不被重排。在这种情况下，仅仅产生用于时间预测的参考图片列表。 并且，视图间预测参考图片列表重排单元970重排用于视图间预测的 参考图片。如下参考图16对此进行详细解释。
图16是根据本发明的一个实施例的用于视图间预测的参考图片 列表重排单元970的内部框图。
参考图16，用于视图间预测的参考图片列表重排单元970包括片 段类型检查单元642、第五识别信息获得单元971、第五参考索引分配 改变单元972、第六识别信息获得单元973和第六参考索引分配改变单 元974。
片段类型检查单元642检查当前片段的片段类型。如果这样，然 后根据片段类型决定是否执行参考图片列表0和/或参考图片列表1的 重排。能够从图10推出片段类型检查单元642的细节，其在下面的说 明中被省略。
第五和第六识别信息获得单元971和973中的每一个获得指示参 考索引分配方法的识别信息。并且，第五和第六参考索引分配改变单 元972和974中的每一个改变被分配给参考图片列表0和/或1的每一 个参考图片的参考索引。在这种情况下，参考索引可以仅仅指参考图 片的视图号。并且，指示参考索引分配方法的识别信息可以是标志信 息。例如，如果标志信息为真，则改变视图号的分配。如果标志信息 为假，则可以终止视图号的重排过程。如果标志信息为真，则第五和 第六参考索引分配改变单元972和974中的每一个可以根据标志信息 获得视图号差。在这种情况下，视图号差是指在当前图片的视图号和 预测图片的视图号之间的差。并且，预测图片的视图号可以指之前刚
36刚分配的参考图片的视图号。然后能够使用视图号差来改变视图号分 配。在这种情况下，根据识别信息，可以向/从预测图片的视图号增加/ 减去视图号差。
因此，为了作为单独的参考图片列表来管理用于视图间预测的参 考图片列表，有必要新定义一种句法结构。作为在图15和图16中解 释的内容的一个实施例，如下参考图17、图18和图19对句法进行解释。
图17和图18是根据本发明的一个实施例的用于参考图片列表重 排的句法的图表。
参考图17，图15所示的用于时间预测的参考图片列表重排单元 910的操作被表示为句法。与图15所示的块相比较，片段类型检査单 元642对应于Sl和S6，并且第四识别信息获得单元940对应于S7。 第三参考索引分配改变单元930的内部块分别对应于S3、 S4和S5。并 且，第四参考索引分配改变单元950的内部块分别对应于S8、S9和S10。
参考图18， NAL类型检查单元960和视图间参考图片列表重排单 元970的操作被表示为句法。与图15和图16所示的各个块相比较， NAL类型检查单元960对应于Sll，片段类型检查单元642对应于S13 和S16，第五识别信息获得单元971对应于S14，并且第六识别信息获 得单元973对应于S17。第五参考索引分配改变单元972对应于S15， 并且第六参考索引分配改变单元974对应于S18。
图19是根据本发明的另一个实施例的用于参考图片列表重排的 句法的图表。
参考图19， NAL类型检查单元960和视图间参考图片列表重排单 元970的操作被表示为句法。与图15和图16所示的各个块相比较，
37NAL类型检査单元960对应于S21,片段类型检查单元642对应于S22 和S25，第五识别信息获得单元971对应于S23，并且第六识别信息获 得单元973对应于S26。第五参考索引分配改变单元972对应于S24， 并且第六参考索引分配改变单元974对应于S27。
如在前面的说明中所述，用于视图间预测的参考图片列表可以被 帧间预测单元700使用，并且也可以用于执行亮度补偿。在执行运动 估计/运动补偿期间可应用亮度补偿。在当前图片使用不同视图中的参 考图片的情形中，能够使用用于视图间预测的参考图片列表来更有效 率地执行亮度补偿。如下解释根据本发明的实施例的亮度补偿。
图20是根据本发明的一个实施例的用于获得当前块的亮度差值 的过程的图表。
亮度补偿是指用于根据亮度变化来解码自适应运动补偿视频信号 的过程。并且，它可应用于视频信号的预测结构，例如视图间预测、 视图内预测等。
亮度补偿是指用于使用亮度差残值和与将被解码的块对应的亮度 差预测值来解码视频信号的过程。在这种情况下，可以从当前块的相 邻块获得亮度差预测值。可以使用用于相邻块的参考信息来决定用于 从相邻块获得亮度差预测值的过程，并且在搜索相邻块期间序列和方 向能够被加以考虑。相邻块是指已经被解码的块并且还指通过考虑在 相同图片中关于视图或者时间的冗余而解码的块或者通过考虑不同图 片中的冗余而解码的序列。
在比较在当前块和候选参考块之间的类似性时，在两个块之间的 亮度差应该被加以考虑。为了补偿亮度差，执行新的运动估计/补偿。 可以使用公式1发现新的SAD。[公式1]
i一M /一m
在这种情况下，"Mcurr"指示当前块的平均像素值，而"Mref" 指示参考块的平均像素值。"f (i， j)"指示当前块的像素值，而"r (i+x， j+y)"指示参考块的像素值。通过基于根据公式2的新的SAD 执行运动估计，能够获得在当前块和参考块之间的平均像素差值。并 且，所获得的平均像素差值可以被称为亮度差值(IC—offset)。
在执行对其应用亮度补偿的运动估计的情形中，产生亮度差值和 运动矢量。并且，使用亮度差值和运动矢量根据公式3执行亮度补偿。
^fewi (i ，力=(/(i,力-Af^} — (, (i + x'， j+/) _ AT^ (附+,,"
={/(;,力—+ x' j +乂》-— ikf^ (w+x' ，" +_y')) =(/ (U) - K""十力HC—。,
在这种情况下，NewR (i， j)指示亮度补偿误差值(残值)，而 (x' ，y')指示运动矢量。
应该将亮度差值(Mcurr- Mref)传递到解码单元。解码单元以下 面的方式执行亮度补偿。
39[公式4]
在公式4中，NewR" G，j)指示重构的亮度补偿误差值(残值)， 而f' (i， j)指示重构的当前块的像素值。
为了重构当前块，应该将亮度差值传递到解码单元。并且，可以 从相邻块的信息来预测亮度差值。为了迸一步降低编码亮度差值的位 数，可以仅仅发送在当前块的亮度差值(IC一offset)和相邻块的亮度差 值(predIC—offset)之间的差值(RIC—offset)。这被表示成公式5。
RIC—offset = IC—offset - predIC—offset
图21是根据本发明的实施例的用于执行当前块的亮度补偿的过 程的流程图。
参考图21，首先，从视频信号提取相邻块的亮度差值，该亮度差 值指示在当前块的相邻块和被相邻块参考的块之间的平均像素差值 (S2110)。
随后，使用亮度差值获得用于当前块的亮度补偿的亮度差预测值 (S2120)。所以，能够使用所获得的亮度差预测值来重构当前块的亮 度差值。
在获得亮度差预测值中，可以使用各种方法。例如，在从相邻块 的亮度差值预测当前块的亮度差值之前，检查当前块的参考索引是否 等于相邻块的参考索引。然后能够根据检查结果决定使用哪种相邻块
40或者值。对于另一实例，在获得亮度差预测值中，可以使用指示是否 执行当前块的亮度补偿的标志信息(IC一flag)。并且，也可以使用相 邻块的信息来预测用于当前块的标志信息。对于另一实例，可以使用 参考索引检查方法和标志信息预测方法两者来获得亮度差预测值。如 下参考图22到24对此进行详细解释。
图22是根据本发明的一个实施例的用于使用关于相邻块的信息 来获得当前块的亮度差预测值的过程的框图。
参考图22，在获得当前块的亮度差预测值期间，可以使用关于相 邻块的信息。在本公开中，块可以包括宏块或者子宏块。例如，能够 使用相邻块的亮度差值来预测当前块的亮度差值。在这之前，检査当 前块的参考索引是否等于相邻块的参考索引。根据检查结果，然后能 够决定将使用哪种相邻块或者值。在图22中，"refldxLX"指示当前 块的参考索引，"refldxLXN"指示块-N的参考索引。在这种情况下， "N"是与当前块相邻的块的标记并且指示A、 B或者C。并且， "PredIC—offsetN"指示用于相邻块-N的亮度补偿的亮度差值。如果不 能使用位于当前块右上端处的块-C，则能够使用块-D而不是块-C。具 体地，关于块-D的信息可用作关于块-C的信息。如果不能使用块-B和 块-C两者，则能够替代地使用块-A。即，能够将关于块-A的信息用作 关于块-B或者块-C的信息。
对于另一实例，在获得亮度差预测值期间，可以使用指示是否执 行当前块的亮度补偿的标志信息(IC—flag)。可替代地，在获得亮度 差预测值期间可以使用参考索引检查方法和标志信息预测方法两者。 在这种情况下，如果关于相邻块的标志信息指示不执行亮度补偿，即 如果IC—falg==0，则将相邻块的亮度差值"PredlC—offsetN"设置为0。
图23是根据本发明的一个实施例的用于使用关于相邻块的信息 来执行亮度补偿的过程的流程图。参考图23，解码单元从视频信号提取参考块的平均像素值、当前 块的参考索引、参考块的参考索引等，并且然后能够使用所提取的信 息获得当前块的亮度差预测值。解码单元获得在当前块的亮度差值和 亮度差预测值之间的差值(亮度差残值)，并且然后能够使用所获得 的亮度差残值和亮度差预测值来重构当前块的亮度差值。在这种情况 下，能够使用关于相邻块的信息以获得当前块的亮度差预测值。例如， 能够使用相邻块的亮度差值预测当前块的亮度差值。在这之前，检查 当前块的参考索引是否等于相邻块的参考索引。根据检査结果，然后 能够决定将使用哪种相邻块或者值。
具体地，从视频信号提取相邻块的亮度差值，该亮度差值指示在 当前块的相邻块和被相邻块参考的块之间的平均像素差值(S2310)。
随后，检查当前块的参考索引是否等于多个相邻块中的一个的参 考索引(S2320)。
作为检查步骤S2320的结果，如果存在至少一个相邻块具有与当 前块相同的参考索引，则检查是否存在一个相应的相邻块(S2325)。
作为检查步骤S2325的结果，如果存在仅仅一个相邻块具有与当 前块相同的参考索引，则将具有与当前块相同的参考索引的相邻块的 亮度差值分配给当前块的亮度差预测值(S2330)。具体地，它是 "PredIC_offset =PredIC—offsetN，，。
如果作为检查步骤S2320的结果不存在具有与当前块相同的参考 索引的相邻块，或者如果作为检査步骤S2325的结果存在至少两个相 邻块具有与当前块相同的参考索引，则将相邻块的亮度差值
(PredIC—offsetN， N = A、 B或者C)的中值分配给当前块的亮度差 预测值(S650)。具体地，它是"PredlC—offset =Median(PredIC—offsetA，PredIC—offsetB， PredIC一offsetC)"。
图24是根据本发明的另一个实施例的用于使用关于相邻块的信 息来执行亮度补偿的过程的流程图。
参考图24，解码单元必须重构当前块的亮度差值以执行亮度补偿。 在这种情况下，可以使用关于相邻块的信息来获得当前块的亮度差预 测值。例如，可以使用相邻块的亮度差值来预测当前块的亮度差值。 在这之前，检查当前块的参考索引是否等于相邻块的参考索引。根据 检查结果，然后能够决定将使用哪种相邻块或者值。
具体地，从视频信号提取相邻块的亮度差值，该亮度差值指示在 当前块的相邻块和被相邻块参考的块之间的平均像素差值(S2410)。
随后，检查当前块的参考索引是否等于多个相邻块中的一个的参 考索引(S2420)。
作为检查步骤S720的结果，如果存在至少一个相邻块具有与当前 块相同的参考索引，则检查是否存在一个相应的相邻块(S2430)。
作为检查步骤S2430的结果，如果存在仅仅一个相邻块具有与当 前块相同的参考索引，则将具有与当前块相同的参考索引的相邻块的 亮度差值分配给当前块的亮度差预测值(S2440)。具体地，它是 "PredIC—offset =PredIC—offsetN"。
如果作为检查步骤S2420的结果不存在具有与当前块相同的参考 索引的相邻块，则将当前块的亮度差预测值设置为0 (S2460)。具体 地，它是"PredIC—offset =0"。
如果作为检查步骤S2430的结果存在至少两个相邻块具有与当前
43块相同的参考索引，则将具有不同于当前块的参考索引的相邻块设置 为0，并且将包括被设置为0的值的相邻块的亮度差值的中值分配给当 前块的亮度差预测值(S2450)。具体地，它是"PredIC—offset = Median (PredIC—offsetA， PredIC—offsetB， PredIC—offsetC)"。然而，在存 在具有不同于当前块的参考索引的相邻块的情形中，能够在 PredIC—offsetA、 PredIC—offsetB或者PredIC—offsetC中包括值"0"。
同时，用于识别图片的视图的视图信息和用于视图间预测的参考 图片列表可应用于合成虚拟视图中的图片。在用于合成虚拟视图中的 图片的过程中，可以参考在不同视图中的图片。所以，如果使用视图 信息和用于视图间预测的参考图片列表，则能够更有效率地合成虚拟 视图中的图片。在下面的说明中，解释根据本发明的实施例的合成虚 拟视图中的图片的方法。
图25是根据本发明的一个实施例的用于使用虚拟视图中的图片 来预测当前图片的过程的框图。
参考图25，在多视图视频编码中执行视图间预测期间，能够使用 不同于当前视图的视图中的图片作为参考图片来预测当前图片。然而， 使用与当前图片的视图相邻的视图中的图片来获得虚拟视图中的图 片，并且然后使用所获得的虚拟视图中的图片来预测当前图片。如果 这样，则能够更准确地执行预测。在这种情况下，可以使用指示图片 的视图的视图标识符来利用相邻视图中的图片或者特定视图中的图 片。在产生虚拟视图的情形中，必须存在用于指示是否产生虚拟视图 的特定句法。如果该句法指示应产生虚拟视图，则能够使用视图标识 符来产生虚拟视图。由视图合成预测单元740获得的虚拟视图中的图 片可被用作参考图片。在这种情况下，可以将视图标识符分配给虚拟 视图中的图片。在用于执行运动矢量预测来传递运动矢量的过程中， 当前块的相邻块可以参考由视图合成预测单元740获得的图片。在这 种情况下，为了将虚拟视图中的图片用作参考图片，可以利用指示图
44片的视图的视图标识符。
图26是根据本发明的实施例的用于在MVC中执行视图间预测期间合成虚拟视图的图片的过程的流程图。
参考图26，使用与当前图片的视图相邻的视图中的图片合成虚拟视图中的图片。然后使用所合成的虚拟视图中的图片预测当前图片。如果这样，则能够实现更加准确的预测。在合成虚拟视图中的图片的情形中，存在指示是否通过合成虚拟视图中的图片来执行当前图片的预测的特定句法。如果决定是否执行当前图片的预测，则可以更加有效地编码。该特定句法被定义为如下解释的视图间合成预测标识符。例如，通过片段层合成虚拟视图中的图片，以定义指示是否执行当前图片的预测的"view— synthesize_pred—flag"。并且，通过宏块层合成虚拟视图中的图片，以定义指示是否执行当前图片的预测的
"view—syn_pred—flag"。 如果"view—synthesize_pred—flag-1 "， 贝ll当前片段使用与当前片段的视图相邻的视图中的片段来合成虚拟视图中的片段。然后能够使用所合成的片段来预测当前片段。如果"view—synthesize_predjlag=0"，则不合成虚拟视图中的片段。同样地，如果
"view—Syn_pred_flag=l"，则当前宏块使用与当前宏块的视图相邻的视图中的宏块来合成虚拟视图中的宏块。然后能够使用所合成的宏块来预测当前宏块。如果"view—Syn_pred—flag=0"，则不合成虚拟视图中的宏块。因此，在本发明中，从视频信号提取指示是否获得虚拟视图中的图片的视图间合成预测标识符。然后能够使用视图间合成预测标识符获得虚拟视图中的图片。
如在前面的说明中所述，帧间预测单元700能够使用用于识别图片的视图的视图信息和用于视图间预测的参考图片列表。并且，它们也能够被用于执行加权预测。加权预测可应用于用于执行运动补偿的过程。这样，如果当前图片使用不同视图中的参考图片，则能够使用视图信息和用于视图间预测的参考图片列表更加有效率地执行加权预测。如下解释根据本发明的实施例的加权预测方法。
图27是根据本发明的在视频信号编码中根据片段类型执行加权 预测的方法的流程图。
参考图27，加权预测是在P-片段或者B-片段宏块中分级运动补偿 预测数据样本的方法。加权预测方法包括用于使用从关于参考图片的 信息获得的加权系数信息对当前图片执行加权预测的显式模式，和用 于使用从关于在当前图片和参考图片中的一个之间的距离的信息获得 的加权系数信息对当前图片执行加权预测的隐式模式。可以根据当前 宏块的片段类型不同地应用加权预测方法。例如，在显式模式中，可 以根据对其执行加权预测的当前宏块是P-片段的宏块还是B-片段的宏 块来改变加权系数信息。并且，显式模式的加权系数可以由编码器决 定并且可以通过被包括于片段报头中而被传递。另一方面，在隐式模 式中，可以基于列表0和列表1的相对时间位置获得加权系数。例如， 如果参考图片时间上靠近当前图片，则可以应用大的加权系数。如果 参考图片时间上远离当前图片，则可以应用小的加权系数。
首先，从视频信号提取出将向其应用加权预测的宏块的片段类型 (S2710)。
随后，可以根据所提取的片段类型对宏块执行加权预测(S2720)。
在这种情况下，片段类型可以包括对其应用视图间预测的宏块。 视图间预测是指使用关于与当前图片的视图不同的视图中的图片的信 息来预测当前图片。例如，片段类型可以包括对其应用时间预测以用 于使用关于与当前图片的视图相同的视图中的图片的信息执行预测的 宏块、对其应用视图间预测的宏块以及对其应用时间预测和视图间预 测两者的宏块。并且，片段类型可以包括对其仅仅应用时间预测的宏 块、对其仅仅应用视图间预测的宏块或者对其应用时间预测和视图间
46预测两者的宏块。此外，片段类型可以包括两种宏块类型或者所有的三种宏块类型。这将在随后参考图28详细解释。因此，在从视频信号提取包括应用视图间预测的宏块的片段类型的情形中，使用关于与当前图片的视图不同的视图中的图片的信息执行加权预测。这样，能够利用用于识别图片的视图的视图标识符来使用关于在不同视图中的图片的信息。
图28是根据本发明的一个实施例的在视频信号编码中在片段类
型中可容许的宏块类型的图表。
参考图28，如果将视图间预测的P-片段类型定义为VP (View—P)，则对于视图间预测的P-片段类型，可容许帧内宏块I、从当前视图中的一个图片预测的宏块P或者从不同视图中的一个图片预测的宏块VP (2810)。
在将视图间预测的B-片段类型定义为VB (View一B)的情形中，可容许从当前视图中的至少一个图片预测的宏块P或者B或者从不
同视图中的至少一个图片预测的宏块VP或者VB (2820)。
在将对其使用时间预测、视图间预测或者时间预测与视图间预测两者执行预测的片段类型定义为"Mixed (混合)"的情形中，对于混合片段类型，可容许帧内宏块I、从当前视图中的至少一个图片预测的宏块P或者B、从不同视图中的至少一个图片预测的宏块VP或者VB、或者使用当前视图中的图片与不同视图中的图片两者预测的宏块"Mixed (混合)"(2830)。在这种情况下，为了使用不同视图中的图片，可以使用用于识别图片的视图的视图标识符。
图29和图30是根据本发明的一个实施例的用于根据新定义的片段类型来执行加权预测的句法的图表。
47如在前面图28的说明中所述，如果将片段类型决定为VP、 VB 或者混合，则可以将用于执行传统的加权预测(例如，H.264)的句法 修改成图29或者图30。
例如，如果片段类型是时间预测的P-片段，则添加部分"if (slice—type != VP II slice—type != VB) " (2910)。
如果片段类型是时间预测的B-片段，则if-语句可以被修改成"if (slice—type == B || slice—type == Mixed) " (2920)。
通过新定义VP片段类型和VB片段类型，可以新添加类似于图 29的格式(2930， 2940)。在这种情况下，因为添加了关于视图的信 息，所以句法元素分别包括"view (视图)"部分。例如，有 " luma—log2—view—weight—denom ，
chroma—log2—view—weight—denom " 。
图31是根据本发明的在视频信号编码中使用指示是否执行视图 间加权预测的标志信息执行加权预测的方法的流程图。
参考图31，在对其应用本发明的视频信号编码中，在使用指示是 否将执行加权预测的标志信息的情形中，能够进行更加有效率的编码。
可以基于片段类型来定义标志信息。例如，可以存在指示加权预 测将被应用于P-片段还是SP-片段的标志信息或者指示加权预测是否 将被应用于B-片段的标志信息。
具体地，标志信息可以被定义为"weighted_pred—flag " 或者 "weighted—bipred一idc"。如果"weighted—pred—flag =0"，贝ll它指不不 向P-片段和SP-片段应用加权预测。如果"weighted_pred—flag=l"，则 它指示向P-片段和SP-片段应用加权预测。如果"weighted一bipred一idc
48=0 "，则它指示向B-片段应用默认加权预测。如果"weighted_bipred_idc =1 "，则它指示向B-片段应用显式加权预测。如果 "weighted—bipred—idc=2"，则它指示向B-片段应用隐式加权预测。
在多视图视频编码中，可以基于片段类型定义指示是否将使用关 于视图间图片的信息执行加权预测的标志信息。
首先，从视频信号提取片段类型和指示是否将执行视图间加权预 测的标志信息(S3110， S3120)。在这种情况下，片段类型可以包括 对其应用时间预测以用于使用关于与当前图片的视图相同的视图中的 图片的信息执行预测的宏块以及对其应用视图间预测以用于使用关于 与当前图片的视图不同的视图中的图片的信息执行预测的宏块。
然后可以基于所提取的片段类型和所提取的标志信息决定加权预 测模式(S3130)。
随后，可以根据所决定的加权预测模式执行加权预测(S3140)。 在这种情况下，标志信息可以包括指示是否将使用关于与当前图片的 视图不同的视图中的图片的信息执行加权预测的标志信息以及前述的 "weighted_pred—flag"禾fl "weighted—bipred—flag"。这将在随后参考 图32详细解释。
因此，在当前宏块的片段类型是包括对其应用视图间预测的宏块 的片段类型的情形中，与使用指示是否将使用关于不同视图中的图片 的信息执行加权预测的标志信息的情形相比，能够进行更加有效率的 编码。
图32是根据本发明的一个实施例的用于解释根据指示是否使用 关于与当前图片的视图不同的视图中的图片的信息执行加权预测的标 志信息的加权预测方法的图表。参考图32，例如，可以将指示是否将使用关于与当前图片的视图 不同的视图中的图片的信息执行加权预测的标志信息定义为 "view—weighted—pred—flag"或者"view—weighted—bipred—flag"。
如果"view—weighted_pred—flag=0"，则它指示不向VP-片段应用 加权预测。如果"view—weighted_pred—flag=l"，则向VP-片段应用显 式加权预测。如果"view—weighted—bipred—flag=0"，则它指示向VB-片段应用默认加权预测。如果"view—weighted—bipred—flag=r'，则它 指示向 VB-片段应用显式加权预测。如果 "view—weighted—bipred—flag=2"，则它指示向VB-片段应用隐式默认 加权预测。
在向VB-片段应用隐式加权预测的情形中，可以从在当前视图和 不同视图之间的相对距离获得加权系数。在向VB-片段应用隐式加权 预测的情形中，可以使用识别图片的视图的视图标识符或者通过考虑 每一个视图的区别而提供的图片次序号(POC)执行加权预测。
以上标志信息可以被包括在图片参数集(PPS)中。在这种情况下， 图片参数集(PPS)是指指示所有图片的编码模式(例如，熵编码模式、 按图片单元的量化参数初始值等)的报头信息。然而，图片参数集不 被附到所有的图片。如果不存在图片参数集，则将正好在这之前存在 的图片参数集用作报头信息。
图33是根据本发明的一个实施例的用于根据新定义的标志信息 执行加权预测的句法的图表。
参考图33，在对其应用本发明的多视图视频编码中，在定义包括 应用于视图间预测的宏块的片段类型和指示是否将使用关于与当前图 片的视图不同的视图中的图片的信息执行加权预测的标志信息的情形
50中，有必要根据片段类型决定将执行哪种加权预测。
例如，如果从视频信号提取的片段类型(如图33所示)是P-片段 或者SP-片段，则如果"weighted_predjlag=l"可以执行加权预测。在 片段类型是B-片段的情形中，如果"weighted_bipredjlag=l"，则可 以执行加权预测。在片段类型是VP-片段的情形中，如果 "view—weighted_pred_flag=r'，则可以执行加权预测。在片段类型是 VB-片段的情形中，如果"view—weighted—bipred—flag=l"，则可以执 行加权预测。
图34是根据本发明的实施例的根据NAL (网络抽象层)单元执 行加权预测的方法的流程图。
参考图34，首先，从视频信号提取NAL单元类型(nal—unit—type) (S910)。在这种情况下，NAL单元类型是指指示NAL单元的类型的 标识符。例如，如果"nal—unit—type=5"，则NAL单元是IDR图片的 片段。并且，IDR(即时解码刷新)图片是指视频序列的报头图片。
随后，检查所提取的NAL单元类型是否是用于多视图视频编码的 NAL单元类型(S3420)。
如果NAL单元类型是用于多视图视频编码的NAL单元类型，则
使用关于与当前图片的视图不同的视图中的图片的信息执行加权预测 (S3430) 。 NAL单元类型可以是可应用于可分级视频编码和多视图视 频编码两者的NAL单元类型或者仅仅用于多视图视频编码的NAL单 元类型。因此，如果NAL单元类型是用于多视图视频编码，则应使用 关于与当前图片的视图不同的视图中的图片的信息执行加权预测。所 以，有必要定义新的句法。这将如下参考图35和图36详细解释。
图35和图36是根据本发明的一个实施例的在NAL单元类型是用于多视图视频编码的情形中用于执行加权预测的句法的图表。
首先，如果NAL单元类型是用于多视图视频编码的NAL单元类 型，则可以将用于执行传统的加权预测^St ， H.264)的句法修改成 图35或者图36所示的句法。例如，引用数字3510指示用于执行传统 的加权预测的句法部分，而引用数字3520指示用于在多视图视频编码 中执行加权预测的句法部分。所以，如果NAL单元类型是用于多视图 视频编码的NAL单元类型，则仅通过句法部分3520执行加权预测。 在这种情况下，因为添加了关于视图的信息，所以每一个句法元素包 括"view (视图)"部分。例如，有"Iuma—view—log2—weight—denom， chroma—view—log2—weight—denom"等。并且，图36中的引用数字3530 指示用于执行传统的加权预测的句法部分，并且图36中的引用数字 3540指示用于在多视图视频编码中执行加权预测的句法部分。所以， 如果NAL单元类型是用于多视图视频编码的NAL单元类型，则仅通 过句法部分3540执行加权预测。同样地，因为添加了关于视图的信息， 所以每 一 个句法元素包括"view (视图)"部分。例如，有 "luma—view—weight—11—flag ， chroma—view—weight—11—flag "等。因此， 如果定义用于多视图视频编码的NAL单元类型，则能够以使用关于与
当前图片的视图不同的视图中的图片的信息执行加权预测的方式进行 更加有效率的编码。
图37是根据本发明的实施例的用于解码视频信号的装置的框图。
参考图37，根据本发明的用于解码视频信号的装置包括片段类型 提取单元3710、预测模式提取单元3720和解码单元3730。
图38是根据本发明的一个实施例的在图37中所示的解码装置中 解码视频信号的方法的流程图。
参考图38，根据本发明的一个实施例的解码视频信号的方法包括
52提取片段类型和宏块预测模式的步骤S3810,以及根据片段类型和/或 宏块预测模式解码当前宏块的步骤S3820。
首先，解释本发明的实施例使用的预测方案，以帮助理解本发明。 预测方案可以被分类成视图内预测(例如，在相同视图中的图片之间 的预测)和视图间预测(例如，在不同视图中的图片之间的预测)。 并且，视图内预测可以是与普通时间预测相同的预测方案。
根据本发明，片段类型提取单元3710提取包括当前宏块的片段的 片段类型(S3810)。
在这种情况下，可以将指示用于视图内预测的片段类型的片段类 型字段(slice—type)和/或指示用于视图间预测的片段类型的片段类型 字段(view—slice—type)提供为视频信号句法的一个部分以提供片段类 型。这将在下面关于图6 (a)和6 (b)更加详细地描述。并且，用 于视图内预测的片段类型(slice—type)和用于视图间预测的片段类型 (view—slice—type)中的每一个可以指示例如I-片段类型(I—SLICE)、 P-片段类型(P—SLICE)或者B-片段类型(B—SLICE)。
例如，如果特定片段的"slice—type "是B-片段并且 "view—slice—type"是P-片段，则以视图内方向(即，时间方向)通过 B-片段(B一SLICE)编码方案和/或以视图方向通过P-片段(P—SLICE) 编码方案来解码在该特定片段中的宏块。
同时，片段类型可以包括用于视图间预测的P-片段类型(VP)、 用于视图间预测的B-片段类型(VB)和利用混合两种预测类型得到的 预测的混合片段类型(Mixed)。即，混合片段类型提供使用视图内和 视图间预测的组合的预测。
在这种情况下，用于视图间预测的P-片段类型是指从当前视图中
53的一个图片或者不同视图中的一个图片预测包括在片段中的每一个宏 块或者宏块划分的情形。用于视图间预测的B-片段类型是指从"当前 视图中的一个或者两个图片"或者"分别地在不同视图中的一个图片 或者不同视图中的两个图片"预测包括在片段中的每一个宏块或者宏 块划分的情形。并且，用于从混合两种预测而得到的预测的混合片段 类型是指从"当前视图中的一个或者两个图片"、"分别地在不同视 图中的一个图片或者不同视图中的两个图片"或者"分别地在当前视 图中的一个或者两个图片和不同视图中的一个图片或者不同视图中的 两个图片"预测包括在片段中的每一个宏块或者宏块划分的情形。
换言之，被参考的图片和被允许的宏块类型在每一种片段类型中 不同，这将在随后参考图43和图44详细解释。
并且，将在随后参考图40和图41详细解释在片段类型的前述实 施例中的句法。
预测模式提取单元3720可以提取宏块预测模式标识符，其指示当 前宏块是否是视图内预测的宏块、视图间预测的宏块或者混合两种类 型的预测所得到的预测的宏块(S3820)。为此，本发明定义宏块预测 模式(mb_pred—mode)。将在随后参考图39、图40和图41详细解释 宏块预测模式的一个实施例。
解码单元3730根据接收/产生当前宏块的片段类型和/或宏块预测 模式解码当前宏块(S3820)。在这种情况下，可以根据从宏块类型信 息决定的当前宏块的宏块类型解码当前宏块。并且，可以根据宏块预 测模式和片段类型决定宏块类型。
在宏块预测模式是用于视图内预测的模式的情形中，根据用于视 图内预测的片段类型决定宏块类型，并且然后根据所决定的宏块类型 通过视图内预测解码当前宏块。在宏块预测模式是用于视图间预测的模式的情形中，根据用于视 图间预测的片段类型决定宏块类型，并且然后根据所决定的宏块类型 通过视图间预测解码当前宏块。
在宏块预测模式是用于从混合两种预测得到的预测的模式的情形 中，根据用于视图内预测的片段类型和用于视图间预测的片段类型决 定宏块类型，并且然后根据所决定的宏块类型的每一个通过从混合两 种预测得到的预测来解码当前宏块。
在这种情况下，宏块类型依赖于宏块预测模式和片段类型。具体 地，可以从宏块预测模式确定要用于宏块类型的预测方案，并且然后 根据预测方案通过片段类型从宏块类型信息决定宏块类型。即，基于 宏块预测模式选择所提取的slice—type和view—slice—type中的一个或者 两个。
例如，如果宏块预测模式是用于视图间预测的模式，则可以从与 用于视图间预测的片段类型(view—slice—type)相对应的片段类型(1， P， B)的宏块表格决定宏块类型。将在随后参考图39、图40和图41 详细解释在宏块预测模式和宏块类型之间的关系。
图39是根据本发明的示例实施例的宏块预测模式的图表。
在图39 (a)中，示出了与根据本发明的宏块预测模式 (mb—pred_mode)的 一个实施例相对应的表格。
在仅将视图内预测(即，时间预测)用于宏块的情形中，将"0" 分配给"mb_pred—m0de"的值。在仅将视图间预测用于宏块的情形中， 将"1"分配给"mb—pred一mode"的值。在将时间和视图间预测两者用 于宏块的情形中，将"2"分配给"mb—pred—mode"的值。
55在这种情况下，如果"mb_pred—m0de"的值是"1"，即，如果 "mb—pred—mode"指示视图间预测，则视图方向ListO (ViewListO) 或者视图方向Listl (ViewListl)被定义为用于视图间预测的参考图 片列表。
在图39 (b)中，示出了根据另一实施例的在宏块预测模式和宏 块类型之间的关系。
如果"mb_pred—mode"的值是"0"，则仅使用时间预测。并且， 根据用于视图内预测的片段类型(slice—type)决定宏块类型。
如果"mb—pred—mode"的值是"1"，则仅使用视图间预测。并 且，根据用于视图间预测的片段类型(view—slice—type)决定宏块类型。
如果"mb—pred—mode "的值是"2 "，则使用时间和视图内预测 的混合预测。并且，根据用于视图内预测的片段类型(slice—type)和 用于视图间预测的片段类型(view—slice—type)决定两种宏块类型。
基于宏块预测模式，基于如在下面的表格1-3所示的片段类型给 出宏块类型。[请在这里插入N6540中的表格7-12-7-14作为表格1-3]
换言之，在该实施例中，通过宏块预测模式决定用于宏块的预测 方案和要参考的片段类型。并且，根据片段类型决定宏块类型。
图40和图41是由用于解码视频信号的装置接收的一部分视频信
号的句法的示例实施例的图表。如所示，根据本发明的实施例，该句 法具有片段类型和宏块预测模式信息。
在图40中，示出了一个示例句法。在该句法中，字段"slice—type"和字段"view_slice_type"提供片段类型，并且字段"mb_pred—mode"
提供宏块预测模式。
根据本发明，"slice—type"字段提供用于视图内预测的片段类型 并且"view—slicejype"字段提供用于视图间预测的片段类型。每一种 片段类型可以成为I-片段类型、P-片段类型或者B-片段类型。如果 "mb_pred—mode"的值是"0"或者"1"，则决定一种宏块类型。然 而，在"mb_pred_m0de"的值是"2"的情形中，可以看出进一步决定 另一种宏块类型(或者两种类型)。换言之，在图40的(a)中所示 的句法指示添加"view—slice—type"，以进一步将传统的片段类型(1， P,B)应用于多视图视频编码。
在图41中，示出了另一个示例句法。在该句法中，使用"slice—type" 字段来提供片段类型并且使用"mb—pred一mode"字段来提供宏块预测 模式。
根据本发明，"slice—type"字段可以包括其他中的用于视图间预 测的片段类型(VP)、用于视图间预测的片段类型-B (VB)和用于从 混合视图内和视图间预测得到的预测的混合片段类型(Mixed)。
如果"mb—pred—mode"字段的值是"0"或者"1"，则决定一种 宏块类型。然而，在"mb_pred—mode"字段的值是"2"的情形中，可 以看出决定另外的(即，总共两种)宏块类型。在该实施例中，片段 类型信息存在于片段报头中，这将关于图42详细解释。换言之，在图 41中所示的句法指示将VP、 VB和混合片段类型添加到传统的片段类 型(slice—type)。
图42是用于应用图41中所示的片段类型的示例的图表。
图42 (a)中的图表示出，在片段报头中，除了其它片段类型，可
57以存在用于视图间预测的P-片段类型(VP)、用于视图间预测的B-
片段类型(VB)和用于从混合两种预测得到的预测的混合片段类型 (Mixed)作为片段类型。具体地，将根据一个示例实施例的片段类型 VP、 VB和Mixed添加到可以在普通片段报头中存在的片段类型。
图42 (b)中的图表示出，在用于多视图视频编码(MVC)的片 段报头中，可以存在用于视图间预测的P-片段类型(VP)、用于视图 间预测的B-片段类型(VB)和用于从混合两种预测得到的预测的混合 片段类型(Mixed)作为片段类型。具体地，在用于多视图视频编码的 片段报头中定义根据示例实施例的片段类型。
图42 (c)中的图表示出，在用于可分级视频编码(SVC)的片段 报头中，除了用于可分级视频编码的现有片段类型，可以存在用于视 图间预测的片段类型(VP)、用于视图间预测的B-片段类型(VB)以 及用于从混合两种预测得到的预测的混合片段类型(IVHxed)作为片段 类型。具体地，将根据示例实施例的片段类型VP、 VB和Mixed添加 到可以在可分级视频编码(SVC)标准的片段报头中存在的片段类型。
图43是在图41中所示的片段类型中包括的各种片段类型示例的 图表。
在图43(a)中，示出了从不同视图中的一个图片预测片段类型的 情形。所以，片段类型变为用于视图间预测的片段类型(VP)。
在图43 (b)中，示出了分别从不同视图中的两个图片预测片段 类型的情形。所以，片段类型变为用于视图间预测的B-片段类型(VB)。
在图43 (c)和43 (f)中，示出了从当前视图中的一个或者两个 图片和不同视图中的一个图片预测片段类型的情形。所以，片段类型 变为用于从混合两种预测得到的预测的混合片段类型(Mixed)。而且，
58在图43 (d)和43 (e)中，示出了从当前视图中的一个或者两个图片 和不同视图中的两个图片预测片段类型的情形。所以，片段类型也变 为混合片段类型(Mixed)。
图44是图41中所示的片段类型容许的宏块的图表。
参考图44，视图间预测的P-片段类型(VP)容许帧内宏块(I)、 从当前视图中的一个图片预测的宏块(P)或者从不同视图中的一个图 片预测的宏块(VP)。
视图间预测的B-片段类型(VB)容许帧内宏块(I)、从当前视 图中的一个或者两个图片预测的宏块(P或者B)或者分别从不同视 图中的一个图片或者不同视图中的两个图片预测的宏块VP或者VB。
并且，混合片段类型(Mixed)容许帧内宏块(I);从当前视图 中的一个或者两个图片预测的宏块(P或者B);分别从不同视图中 的一个图片或者不同视图中的两个图片预测的宏块(VP或者VB)， 或者分别从从当前视图中的一个或者两个图片、不同视图中的一个图 片或者不同视图中的两个图片预测的宏块(Mixed)。
图45-47是根据本发明的实施例的在混合片段类型(Mixed)中存 在的宏块的宏块类型的图表。
在图45 (a)和45 (b)中，分别地示出了用于在混合片段中存在 的宏块的宏块类型(mbjype)和子宏块类型(sub一mb—type)的配置方 案。
在图46和47中，分别地示出了在混合片段中存在的宏块的预测 方向和混合片段的实际预测方向的二进制表示。根据本发明的实施例，通过考虑宏块划分的尺寸(Partition—Size) 和宏块划分的预测方向(Direction)两者来准备宏块类型(mb—type)。
并且，通过考虑子宏块划分的尺寸(Sub—Partition—Size)和每一 个子宏块划分的预测方向(Sub—Direction)两者来准备子宏块类型 (sub—mb一type )。
参考图45 (a) ， "DirectionO"和"Directionl"分别指示第一 宏块划分的预测方向和第二宏块划分的预测方向。具体地，在8xl6宏 块的情形中，"DirectkmO"指示用于左8x16宏块划分的预测方向， 而"Directionl"指示用于右8x16宏块划分的预测方向。如下详细解释 宏块类型(mb—type)的配置原理。首先，前两个位指示相应宏块的划 分尺寸(Partition—Size)并且值0~3可用于前两个位。并且，在宏块被 划分成划分的情形中，在前两个位后面的四个位指示预测方向 (Direction)。
例如，在16x16宏块的情形中，指示宏块的预测方向的四个位被 附到前两个位的后面。在16x8宏块的情形中，在前两个位后面的四个 位指示第一划分的预测方向(DirectkmO)并且另四个位被附到前四个 位以指示第二划分的预测方向(Directionl)。同样地，在8x16宏块的 情形中，八个位附到前两个位的后面。在这种情况下，附到前两个位 的该八个位中的前四个位指示第一划分的预测方向并且后面的四个位 指示第二划分的预测方向。
参考图45 (b),以与图45 (a)所示的宏块划分的预测方向 (Direction)相同的方式使用子宏块的预测方向(Sub—Direction)。如 下详细解释子宏块类型(sub—mb—type)的配置原理。
首先，前两个位指示相应宏块的划分尺寸(Partition—Size)并且在 该前两个位后面的后两个位指示相应宏块的子宏块的划分尺寸
60(Sub—Partition—Size)。值0-3可用于所述的前和后两个位中的每一个。 随后，在宏块被划分成子宏块划分的情形中，附在所述后两个位后面 的四个位指示预测方向(Sub—Direction)。例如，如果宏块的划分的尺 寸(Partition—Size )是8x8并且如果子宏块的划分的尺寸
(Sub—Partition—Size)是4x8，则前两个位具有值3，后两个位具有值 2，在该后两个位后面的前四个位指示用于两个4x8块的左4x8块的预 测方向，并且在该前四个位后面的后四个位指示用于右4x8块的预测 方向。
参考图46,利用四个位构造宏块的预测方向。并且，可以看出， 根据参考当前图片的左(L)、上(T)、右(R)或者下(B)位置处 的图片的情形，每一个二进制表示均变为"1"。
参考图47，例如，在预测方向是上(T)的情形中，参考位于当 前图片的视图方向的上部处的图片。在预测方向对应于所有的方向 (LTRB)的情形中，可以看出，参考当前图片的所有方向(LTRB) 中的图片。
图48是根据本发明的实施例的用于编码视频信号的装置的框图。
参考图48，描述根据本发明的实施例的用于编码视频信号的装置。 该装置包括宏块类型决定单元4810、宏块产生单元4820和编码单元 4830。
图49是根据本发明的实施例的在图48中所示的编码装置中编码 视频信号的方法的流程图。
参考图49，根据本发明的实施例的编码视频信号的方法包括决定 用于视图内预测的第一宏块类型和用于视图间预测的第二宏块类型的 步骤S4910、产生具有第一宏块类型的第一宏块和具有第二宏块类型的
61第二宏块的步骤S4920、使用第一和第二宏块产生第三宏块的步骤 S4930以及编码当前宏块的宏块类型和宏块预测模式的步骤S4940。
根据本发明，宏块类型决定单元4810如在上面详细描述地决定用 于视图内预测的第一宏块类型和用于视图间预测的第二宏块类型 (S4910)。
随后，宏块产生单元4820使用已知的预测技术产生具有第一宏块 类型的第一宏块和具有第二宏块类型的第二宏块(S4920)，并且然后 使用第一和第二宏块产生第三宏块(S4930)。在这种情况下，根据在 第一和第二宏块之间的平均值产生第三宏块。
最终，编码单元4830通过比较第一到第三宏块的编码效率来编码 当前宏块的宏块类型(mb一type)和当前宏块的宏块预测模式 (mb_pred—mode) (S4940)。
在这种情况下，有各种方法用于测量编码效率。具体地，在本发 明的这个实施例中使用用RD(率失真)成本的方法。如所己知的那样， 在RD成本方法中，利用两个组成部分计算相应的成本从编码相应 的块产生的编码位数以及指示与实际序列的误差的失真值。
可以以选择具有在上面解释的RD成本的最小值的宏块类型的方 式决定第一和第二宏块类型。例如，将在视图内预测的宏块类型中具 有RD成本的最小值的宏块类型决定为第一宏块类型。并且，将在视图 间预测的宏块类型中具有RD成本的最小值的宏块类型决定为第二宏 块类型。
在编码宏块类型和宏块预测模式的步骤中，可以选择与具有较小 RD成本的第一和第二宏块中的一个相关联的宏块类型和预测模式。随 后，确定第三宏块的RD成本。最终，通过相互比较所选择的第一或者第二宏块的RD成本和第三宏块的RD成本而编码当前宏块的宏块类 型和宏块预测模式。
如果所选择的第一或者第二宏块的RD成本等于或者大于第三宏 块的RD成本，则宏块类型变为与所选择的第一或者第二宏块相应的宏 块类型。
例如，如果第一宏块的RD成本小于第二和第三宏块的RD成本， 则将当前宏块设置为第一宏块类型。并且，宏块预测模式(即，视图 内)变为与该RD成本相应的宏块的预测方案。
例如，如果第二宏块的RD成本小于第一和第三宏块的RD成本， 则作为第二宏块的预测方案的视图间预测方案变为当前宏块的宏块预 测模式。
同时，如果第三宏块的RD成本小于第一和第二宏块的RD成本， 则宏块类型对应于第一和第二宏块类型。具体地，视图内预测和视图 间预测宏块类型成为当前宏块的宏块类型。并且，宏块预测模式成为 从混合视图内和视图间预测得至U的混合预测方案。
因此，本发明提供至少下面的效果或者优点。
由于在视图之间的各种预测方案以及诸如片段类型、宏块类型和 宏块预测模式的信息，本发明能够排除在视图之间的冗余信息；由此 提高编码/解码效率性能。
工业适用性
虽然在此已经参考其优选实施例描述并且说明了本发明，但是对 于本领域技术人员明显地，能够在不背离本发明的精神和范围的情况 下对其作出各种修改和变化。因此，本发明旨在涵盖本发明的落入所
附权利要求及其等价物的范围中的修改和变化。
6权利要求
1. 一种解码视频信号的方法，包括下列步骤检查所述视频信号的编码方案；读取关于所述视频信号的属性信息；以及使用所述属性信息对存在于同一时间区上的视图间图片组进行解码。
2. 根据权利要求1所述的方法，进一步包括步骤 获得关于所述视图间图片组的参考信息； 识别要被解码的全部视图；以及对于所述全部视图，获得要被所述视图间图片组引用的视图间图 片信息。
3. 根据权利要求l所述的方法，进一步包括步骤 获得指示存在或者不存在多视图序列编码位流的标志信息；以及 如果所述视频信号是所述多视图序列编码位流，则获得指示当前N A L的编码图片是否是所述视图间图片组的识别信息， 其中根据所述识别信息来解码所述视图间图片组。
4. 根据权利要求2所述的方法，所述获得关于所述视图间图片组 的所述参考信息的步骤进一步包括步骤对于要被解码的全部视图，获得用于区分每一个视图的视图信息；以及对于所述每一个视图，获得关于参考方向的所述参考信息。
5. 根据权利要求4所述的方法，其中所述参考信息包括用于所述 参考方向的参考图片的数目和用于识别所述参考图片的所述视图的视 图信息。
6. 根据权利要求5的方法，其中使用1-维阵列获得所述参考图片 的所述数目，并且其中使用2-维阵列获得所述视图信息。
7. 根据权利要求2所述的方法，进一步包括步骤如果根据指示 存在或者不存在所述视图间图片组的所述识别信息，当前NAL的编码 图片是非视图间图片组，则在解码所述视图间图片组之后解码所述非 视图间图片组。
8. 根据权利要求2所述的方法，其中从所述视频信号的NAL报 头的扩展区域获得指示存在或者不存在所述视图间图片组的所述识别 梓阜
9. 根据权利要求1所述的方法，其中如果所述视图间图片组是参 考视图，则它是使得能够从在同一视图中的不同时间区上的图片进行 时间预测的图片。
10. 根据权利要求9所述的方法，其中如果当前图片对应于所述 视图间图片组，则在所述当前图片的同一时间区上的不同视图中的所 有图片对应于所述视图间图片组。
全文摘要
本发明提供了一种视频信号解码方法，包括以下步骤检查视频信号的编码方案，读取关于视频信号的属性信息，以及使用属性信息解码存在于同一时间区上的视图间图片组。
文档编号H04N7/24GK101491095SQ200780019790
公开日2009年7月22日 申请日期2007年3月30日 优先权日2006年3月30日
发明者全勇俊, 全炳文, 具汉书, 朴胜煜 申请人:Lg电子株式会社