用于解码/编码视频信号的方法和装置的制作方法

专利名称：用于解码/编码视频信号的方法和装置的制作方法
技术领域：
本发明涉及视频信号的码处理(coding)。
背景技术：
压縮码处理指用于经由通信电路传输数字化信息或者以适于存储 介质的形式存储数字化信息的一系列信号处理技术。作为压縮码处理 的对象，存在音频、视频、字符等等。具体地，用于对视频执行压縮 码处理的技术被称为视频序列压缩。视频序列通常特征在于具有空间 冗余或者时间冗余
发明内容
技术问题
因此，本发明涉及用于解码/编码视频信号的方法和装置，其能够 本质上增强码处理视频信号的效率。
技术方案
本发明的目标在于使用块间或视点间相关性来有效率地增强视频 序列的码处理效率。
本发明的另 一 目标在于有效率地补偿多视点序列中的视点之间的 亮度差异。
本发明的另 一 目标在于有效率地传输指示视点间依赖'性的视点间 参考信息。
本发明的另一目标在于使用深度信息增强视频信号的码处理效率。
本发明的另一目标在于使用照相机信息为用户提供各种服务或者 增强视频信号的码处理效率。
本发明的进一步目标在于提供一种解码方法和装置，通过该解码 方法和装置能够有效率地解码视频序列数据。
有益效果
根据本发明，能够通过使用视频序列的时间和空间相关性预测运 动信息来增强信号处理效率。通过使用与当前块具有高相关性的图片 的码处理信息预测当前块的码处理信息来使能更高精度的预测，从而 传输的错误被减小以进行高效的码处理。即使当前块的运动信息没有 被传输，也能够计算与当前块的运动信息非常类似的运动信息。因此， 重构率得以增强。能够使用深度信息改进码处理效率和序列重建率。 能够使用照相机信息增强码处理效率。而且，还能够向用户提供各种 服务。
在本发明中，使用相邻块的信息预测当前块的偏移值，并且传输 相应的差异值。因此，能够最小化应被传输用于亮度补偿(以下简写 为IC)的信息。在使用至少两个参考块预测码处理的情况下，通过用 各种方法中的至少一种来应用偏移值和标志信息，从而使得能够进行 更高效的码处理。当预测当前块的偏移值时，能够通过检査当前块的 参考索引是否与相邻块的参考索引相同来执行更准确的预测。能够以 下述方式最小化应被传输的信息，即预测指示是否执行当前块的亮度 补偿的标志信息并且然后仅传输相应的差异值。类似地，能够通过检 査当前块的参考索引是否与相邻块的参考索引相同来执行更准确的预


被包括以提供本发明的进一步理解并且并入并且构成本说明书一 部分的附图示出了本发明的实施例，并且与说明一起用于解释本发明 的原理。
在附图中
图l是根据本发明的实施例的视频信号解码装置的示意框图2是根据本发明的实施例的关于能够被添加到多视点序列码处 理比特流的多视点序列的构造信息的图3是解释根据本发明的一个实施例的用于获得当前块的IC差异 信息的过程的图4和图5是解释根据本发明的实施例的通过考虑亮度补偿的运动
矢量预测方法的图6是解释根据本发明的实施例的使用深度图的码处理方法的图； 图7至14是根据本发明的实施例的使用照相机信息的用于描述各
种应用示例的句法的图15是根据本发明的实施例的多视点序列信号的整体预测结构的
图，用于解释视点间图片组的概念；以及
图16至20是根据本发明的实施例的用于描述视点间参考信息的各 种句法的图。
具体实施例方式
在下面的描述中将阐述本发明的额外的特征和优点，并且其将从 说明中变得更加明显，或者可以通过本发明的实践来学习。将通过在 给出的描述和其权利要求以及附图中特别指出的结构来实现并且获得 本发明的目标和其他优点。
为了获得这些和其他优点并且根据本发明的目的，如所示例并且 广泛描述的， 一种解码视频信号的方法包括当与对于当前块的亮度 补偿相关联的信息在比特流中不可用时，获得当前块的相邻块的IC差 异信息；使用相邻块的IC差异信息推导当前块的IC差异信息；基于当前块的IC差异信息推导指示是否对当前块执行亮度补偿的IC标志；以 及基于当前块的IC差异信息和IC标志，执行对当前块的亮度补偿。
优选地，当当前块的IC差异信息为O时，当前块的IC标志被推导为
优选地，当当前块的IC差异信息不为O时，当前块的IC标志被推导为l。
优选地，基于当前块的参考索引是否与相邻块的参考索引相同来
推导出当前块的IC差异信息。
更优选地，当存在一个具有与当前块的参考索引相同的参考索引
的相邻块时，当前块的IC差异信息被设置为相邻块的IC差异信息。
在该情况下，按照当前块的上、左、右上、左上块的顺序检查相 邻块。
更优选地，当存在每个具有与当前块的参考索引相同的参考索引
的三个相邻块时，当前块的ic差异信息被设置为三个相邻块的ic差异
信息的中间值。
优选地，视频信号被接收为广播信号。
优选地，经由数字媒介接收视频信号。
为了进一步获得这些以及其它优点并且根据本发明的目的，计算 机可读介质包括用于执行本发明的程序。并且该程序被记录在计算机 可读介质中。为了进一步获得这些以及其它优点并且根据本发明的目的， 一种用于解码视频信号的装置包括IC差异预测单元，当与对于当前块的
亮度补偿相关联的信息在比特流中不可用时，该ic差异预测单元使用
获得的相邻块的IC差异信息推导当前块的IC差异信息；以及
IC单元，该IC单元基于当前块的IC差异信息推导指示是否对当前块执行亮度补偿的IC标志，并且基于当前块的IC差异信息和IC标志对当前块执行亮度补偿。
应理解的是，前述一般性描述以及下面的详细描述都是示例性的和说明性的，并且意在提供所要求保护的本发明的进一步说明。
本发明的实施模式
现在将详细地参考本发明的优选实施例，在附图中示出了其示例。
首先，视频信号数据的压縮码处理考虑空间冗余、时间冗余、可分级冗余以及视点间冗余。并且，在压缩码处理的过程中，通过考虑视点间存在的相互冗余使得能够进行压缩码处理。考虑视点间冗余的压缩码处理方案正是本发明的实施例。而且，本发明的技术思想可应用于时间冗余、可分级冗余等等。在该公开中，码处理能够包括编码和解码两者的概念。并且，码处理能够灵活地解释为与本发明的技术思想和范围对应。
观察视频信号的比特序列构造，在处理移动图片编码过程本身的
VCL (视频码处理层)与传输并且存储编码的信息的下级系统(lowersystem)之间存在被称为NAL (网络抽象层)的单独的层结构。从编码过程输出的是VCL数据并且在传输或存储之前通过NAL单元映射。每个NAL单元包括是对应于首部(header)信息的数据的RBSP (原始字节序列载荷移动图片压縮的结果数据)或压缩的视频数据。NAL单元基本上包括两部分，NAL首部和RBSP。 NAL首部包括标志信息(rial—ref—idc)，其指示是否包括作为NAL单元的参考图片的片段；以及识别符(nal—unit_type)，其指示NAL单元的类型。压縮的原始数据被存储在RBSP中。并且，RBSP结尾比特被添加到RBSP的最后部分以将RBSP的长度表示为8-比特乘法(multiplication)。作为NAL单元的类型，有IDR (即时解码刷新)图片、SPS (序列参数集)、PPS (图片参数集)、SEI (补充增强信息)等等。
在标准中，需要设置各种简档(profile)和等级(level)以使得能够实施具有适合的成本的目标产品。在该情况下，解码器应满足根据相应的简档和等级确定的要求。因此，两个概念"简档"和"等级"
被定义为指示用于表示解码器能够处理多大范围的压縮序列的功能或参数。并且，简档标示符(profile—idc)能够识别比特流是基于规定的简档。简档标示符指指示比特流所基于的简档的标志。例如，在_!1.264/7^^中，如果简档标示符为66，则其意味着比特流是基于基线(baseline)简档。如果简档标示符是77，则其意味着比特流是基于主简档。如果简档标示符是88，则其意味着比特流是基于扩展简档。然而，简档标示符能够被包括在序列参数集中。
因此，为了处理多视点序列，需要识别输入的比特流是否是多视点简档。如果输入的比特流是多视点简档，则需要添加句法以使得至少一个用于多视点的附加信息能够被传输。在该情况下，多视点简档指示用于处理多视点视频的简档模式作为H.264/AVC的附加技术。在MVC中，添加句法作为用于MVC模式的附加信息可能比无条件句法更有效率。例如，当AVC的简档识别符指示多视点简档时，如果用于多视点序列的信息被添加，则能够增强编码效率。
序列参数集指示包含诸如简档、等级等等的跨过整个序列的编码的信息的首部信息。整个压縮的移动图片，即序列应该从序列首部开始。因此，对应于首部信息的序列参数集应在参考参数集的数据到达之前到达解码器。BP,序列参数集RBSP对于移动图片压縮的结果数据
起到首部信息的作用。 一旦比特流被输入，简档标示符优选地标识被输入的比特流是基于多个简档中的哪一个。因此，通过将用于确定输
入的比特流是否与多视点简档相关的部分(例如，"if (profilejdc==MULTI_VIEW—PROFILE)")添加到句法中，确定输入的比特流是否与多视点简档有关。各种类型的构造信息能够被添加，只要输入的比特流被确认为与多视点简档有关。例如，能够添加视点的总数、视点间参考图片的数目、视点间参考图片的视点识别编号等等。并且，解码图片缓冲器能够使用各种类型的与视点间参考图片有关的信息来构造和管理参考图片列表。
图1是根据本发明的用于解码视频信号的装置的示意框图。
参考图l，解码装置包括解析单元100、熵解码单元200、反量化/反变换单元300、帧内预测单元400、去块过滤器单元500、解码图片缓冲单元600、帧间预测单元700等等。并且，帧间预测单元700能够包括IC差异预测单元710、 IC (亮度补偿)单元720、运动补偿单元730等等。
解析单元100通过NAL单元进行解析以解码接收到的视频序列。一般来说，在解码片段首部和片段数据之前，至少一个序列参数集以及至少一个图片参数集被传输到解码器。在该情况下，各种类型的构造信息能够被包括在NAL首部区域中或者NAL首部的扩展区域中。由于MVC是用于传统的AVC方案的附加方案，因此，在MVC比特流的情况下，添加各种构造信息可能比无条件的添加更有效率。例如，能够添加标志信息以识别在NAL首部区域或者NAL首部的扩展区域中的MVC比特流的存在还是不存在。只有根据标志信息，输入的比特流是多视点序列编码的比特流，才能够添加用于多视点序列的构造信息。例如，构造信息能够包括视点识别信息、视点间图片组识别信息、视点间预测标志信息、时间等级信息、优先级识别信息、指示是否是用于视点的即时解码图片的识别信息等等。将参考图2详细地对其进行说明。
熵解码单元200对解析后的比特流进行熵解码，并且然后提取每
个宏块的系数、运动矢量等等。反量化/反变换单元300获得通过将接
收到的量化值乘以预定常数变换的系数值并且然后将系数值反变换以
重建像素值。使用重建的像素值，帧内预测单元400从解码的采样在当前图片内进行画面内预测。同时，去块过滤器单元500被应用于每个码处理后的宏块以减少块失真。过滤器平滑块边缘以增强解码的帧的图像质量。过滤过程的选择取决于边界强度和边界周围的图像采样的梯度。通过过滤的图片被输出或者被存储在解码图片缓冲单元600中以用作参考图片。
解码图片缓冲单元600起到存储或者打开预先码处理的图片以执行图片间预测的作用。在该情况下，为了将图片存储在解码图片缓冲单元600中或者为了打开图片，使用每个图片的"frame_num"和PCO(图片次序号)。因此，在MVC中，由于在先前码处理的图片当中存在与当前图片存在的视点不同的视点上的图片，因此，为了使用这些图片作为参考图片，可以与"frame—num"和POC —起使用用于识别图片的视点信息。
解码图片缓冲单元600能够在构建用于视点间预测的参考图片列表中使用关于视点的信息。例如，能够使用视点间参考信息。视点间参考信息指用于指示视点间依赖关系的信息。例如，能够有视点的总数、视点识别编号、视点间参考图片的数目、视点间参考图片的视点识别编号等等。
解码图片缓冲单元600管理参考图片以更灵活地实现图片间预测。例如，可以使用存储器管理控制操作方法和滑动窗口方法。这是通过将存储器统一为一个存储器来管理参考图片存储器和非参考图片存储器并且以较小的存储器来实现有效率的存储器管理。在多视点视 频码处理中，由于视点方向上的图片具有相同的图片次序号，因此， 在对其进行标记中可使用用于识别图片中的每一个的视点的信息。并 且，以上述方式管理的参考图片能够由帧间预测单元700使用。
帧间码处理的宏块能够被划分为宏块分区(partition)。并且每个 宏块分区能够从一个或两个参考图片来预测。帧间预测单元700包括 IC差异预测单元710、 IC单元720、运动补偿单元730等等。
在输入的比特流对应于多视点序列的情况下，由于各视点序列是 分别通过不同的照相机捕捉的，因此由于照相机的内部和外部因素导 致产生亮度差异。为了防止该差异，IC单元720执行亮度补偿(IC)。 在执行亮度补偿中，能够使用指示是否对视频信号的规定层执行亮度 补偿的标志信息。例如，能够使用指示是否对相应的片段或宏块执行 亮度补偿的标志信息来执行亮度补偿。在使用标志信息执行亮度补偿 中，可应用于各种宏块类型(例如，帧间16X16模式、B跳过模式、 直接模式等等)。
在执行亮度补偿中，能够使用相邻块的信息、在与当前块的视点 不同的视点中的块的信息或当前块的IC差异信息来重建当前块。在当 前块参考不同视点中的相邻块的情况下，能够使用关于被存储在解码 图片缓冲单元600中的用于视点间预测的参考图片列表的信息来执行 亮度补偿。在该情况下，当前块的OC差异值可以指当前块的平均像素 值与相应的参考块的平均像素值之间的差。例如使用IC差异信息的情 况下，使用当前块的相邻块来获得当前块的IC差异预测值并且能够使 用是IC差异信息和IC差异预测值之间的差异值的IC差异残余(IC偏 移残余)。因此，解码器能够使用IC差异残余和IC差异预测值来重 建当前块的IC差异信息。
在获得当前块的IC差异预测值中，能够使用相邻块的信息。例如，能够使用相邻块的IC差异信息来预测当前块的IC差异信息。在此之 前，检查当前块的参考索引是否与相邻块的参考索引相同。根据检査 的结果，能够确定使用规定块还是规定值。
能够使用视点方向的码处理信息相关性来预测当前块的码处理信 息。例如，码处理信息能够包括亮度补偿信息、预测方向信息、分区 信息等等。具体地，为了预测当前块的亮度补偿信息，能够使用与当 前块相邻的块的亮度补偿。并且，还能够使用对应于当前块并且在当 前块的同一视点中存在的图片的块的亮度补偿信息。
运动补偿单元730使用从熵解码单元200传输的信息补偿当前块 的运动。从视频信号提取与当前块邻近的块的运动矢量并且然后获得 当前块的运动矢量。并且，使用获得的运动矢量预测值和从视频信号 提取的差分矢量补偿当前块的运动。并且，能够使用一个参考图片或 者-多个图片来执行运动补偿。在多视点视频码处理中，在当前图片参 考不同视点中的图片的情况下，能够使用用于被存储在解码图片缓冲 单元600中的视点间预测参考图片列表的信息来执行运动补偿。并且， 还能够使用用于识别相应图片的视点的视点信息来执行运动补偿。
直接预测模式是用于从编码块的运动信息预测当前块的运动信息 的编码模式。由于该方法能够节省解码运动信息所要求的比特数，因 此补偿效率得以增强。例如，时间直接模式使用在时间方向上的运动 信息相关性来预测当前块的运动信息。当包含不同运动的序列中的运 动的速度恒定时，该时间直接模式是有效的。在时间直接模式用于多 视点视频码处理的情况下，应考虑视点间运动矢量。
对于直接预测模式的另一示例，空间直接模式使用空间方向上的 运动信息相关性预测当前块的运动信息。当运动的速度在包含相同运 动的序列中变化时，该空间直接模式是有效的。在当前图片的反方向 参考图片列表(列表1)中具有最小参考编号的参考图片中，能够使用与当前块同地的块的运动信息来预测当前图片的运动信息。然而，在 多视点视频码处理中，参考图片可能存在于与当前图片的视点不同的 视点中。在该情况下，可以在应用空间直接模式中使用各种实施例。
在视频信号码处理中，对特定应用或其它目的能够使用深度信息。 深度信息可以指能够指示视点间视差差异的信息。例如，能够通过视 点间预测获得视差矢量。并且，获得的视差矢量应被传输到解码设备 用于当前块的视差补偿。然而，在找到深度图并且然后将其传输至解 码设备的情况下，能够在不将视差矢量传输到解码设备的情况下从深 度图(或视差图)推导视差矢量。深度图能够与运动矢量或视差矢量 一起传输。在该情况下，深度图可以指用于每个预定单元的深度信息。 例如，预定单元可以对应于像素单元或者块单元。如果这样，有利的 是，能够降低应该传输到解码设备的深度信息的比特数。能够使用深 度图来重建两个彼此相邻的视点间的虚视点。通过从深度图推导视差 矢量，能够提供新的视差补偿方法。因此，在从深度图推导视差矢量 的过程中使用不同视点的图片的情况下，能够使用用于识别图片的视 点的视点信息。这将在后面参考图6进行详细解释。
根据预测模式选择上述过程的帧间预测图片和帧内预测图片来重 建当前图片。
图2是根据本发明的一个实施例的关于可添加到多视点序列码处 理比特流的多视点序列的构造信息的图。
图2示出多视点序列的构造信息能够被添加到的NAL单元构造的 示例。NAL单元能够主要包括NAL单元首部和RBSP (原始字节序列 载荷移动图片压縮的结果数据)。并且，NAL单元首部能够包括指 示NAL单元是否包括参考图片的片段的识别信息(nal—ref一idc)以及 指示NAL单元的类型的信息(nal一unit一type)。并且，NAL单元首部 的扩展区域能够被限制地包括。例如，如果指示NAL单元的类型的信息与可分级视频码处理相关联或者指示前缀NAL单元，则NAL单元 能够包括NAL单元首部的扩展区域。具体地，如果nal—unit—type=20 或14，则NAL单元能够包括NAL单元首部的扩展区域。并且，根据 能够识别是否是MVC比特流的标志信息(svc—mvc—flag)，用于多视 点序列的构造信息能够被添加到NAL单元首部的扩展区域。
对于另一个示例，如果指示NAL单元的类型的信息是指示序列参 数集的信息，则RBSP能够包括关于序列参数集的信息。具体地，如果 nal—Unit—type=7，则RBSP能够包括用于序列参数集的信息。在该情况 下，根据简档信息，序列参数集能够包括序列参数集的扩展区域。例 如，如果简档信息(profile—idc)是与多视点视频码处理有关的简档， 则序列参数集能够包括序列参数集的扩展区域。替代地，根据简档信 息，子集序列参数集能够包括序列参数集的扩展区域。序列参数集的 扩展区域能够包括指示视点间依赖性的视点间参考信息。
在下面详细解释关于多视点序列的各种构造信息，例如能够被包 括在NAL单元首部的扩展区域中的构造信息或者能够被包括在序列参 数集的扩展区域中的构造信息。
首先，视点识别信息指用于将当前视点中的图片与不同视点中的 图片区分的信息。在对视频序列信号进行码处理，POC (图片次序号) 和"fmme一num"用于识别每个图片。在多视点视频序列的情况下，执 行视点间预测。因此，需要将当前视点的图片与另一视点的图片进行 区分的识别信息。因此，需要限定用于识别图片的视点的视点识别信 息。能够从视频信号的首部区域获得视点识别信息。例如，首部区域 能够是NAL首部区域、NAL首部的扩展区域、或者片段首部区域。使 用视点识别信息获得与当前图片的视点不同的视点的图片的信息，并 且能够使用关于不同视点中的图片的信息解码视频信号。
视点识别信息可应用于视频信号的整个解码/编码过程。例如，能够使用视点识别信息来指示视点间依赖性。可能需要视点间参考图片 的编号信息、视点间参考图片的视点识别信息等等来指示视点间依赖 性。类似于视点间参考图片的编号信息或者视点间参考图片的视点识 别信息，用于指示视点间依赖性的信息应被命名为视点间参考信息。 在该情况下，视点识别信息能够用于指示视点间参考图片的视点识别 信息。视点间参考图片可以指在对当前图片执行视点间预测中使用的 参考图片。并且，视点识别信息能够使用考虑视点来代替考虑特定视
点识别符的"frame_num"完整地应用于多视点视频码处理。
视点间图片组识别信息指能够识别当前NAL单元的码处理图片 是否是视点间图片组的信息。在该情况下，视点间图片组指仅参考所 有片段都存在于同一时区中的帧内的片段的码处理图片。例如，其指 仅参考不同视点的片段而不参考当前视点的片段的码处理图片。在解 码多视点序列中，视点间随机访问可以是可能的。对于视点间预测，
视点间参考信i、是必须的。在获得视点间参考信息中，可以使用视点
间图片组识别信息。例如，如果当前图片对应于视点间图片组，则能 够获得关于视点间图片组的视点间参考信息。如果当前图片对应于非 视点间图片组，则能够获得关于非视点间图片组的视点间参考信息。
因此，在基于视点间图片组识别信息获得视点间参考信息的情况 下，能够更有效率地执行视点间随机访问。这是因为视点间图片组中 的图片之间的视点间参考关系能够与非视点间图片组中的不同。并且， 在视点间图片组的情况下，多个视点中的图片能够被参考。例如，从 多个视点中的图片产生虚视点的图片，并且然后能够使用虚视点的图 片预测当前图片。
在构建参考图片列表中，能够使用视点间图片组识别信息。在该 情况下，参考图片列表能够包括用于视点间预测的参考图片列表。并 且，用于视点间预测的参考图片列表能够被添加到参考图片列表。例 如，在初始化参考图片列表或者修改参考图片列表的情况下，能够使用视点间图片组识别信息。并且，视点间图片组识别信息还能够用于 管理添加的用于视点间预测的参考图片。例如，通过将参考图片划分 为视点间图片组和非视点间图片组，能够做出指示不应该使用在执行 视点间预测中未能被使用的参考图片的标记。并且，视点间图片组识
别信息能够应用于假设的(hypothetical)参考解码器。
视点间预测标志信息指指示当前NAL单元的码处理图片是否被 用于视点间预测的信息。视点间预测标志信息可用于执行时间预测或 者视点间预测的部分。在该情况下，能够一起使用指示NAL单元是否 包括参考图片的片段的识别信息。例如，虽然根据识别信息当前NAL 单元未能包括参考图片的片段，但是如果其用于视点间预测，则当前 NAL单元能够是仅用于视点间预测的参考图片。根据识别信息，如果 当前NAL单元包括参考图片的片段，并且被用于视点间预测，则当前 NAL单元能够被用于时间预测和视点间预测。如果根据识别信息NAL 单元未能包括参考图片的片段，则其能够被存储在解码图片缓冲器中。 这是因为，在根据视点间预测标志信息当前NAL单元的码处理图片被 用于视点间预测的情况下，其需要被存储。
除了 一起使用标志信息和识别信息的情况之外， 一 个识别信息能 够指示当前NAL单元的码处理图片是否被用于时间预测和/或视点间 预测。
时间等级信息指关于分层结构的信息以从视频信号提供时间分 级。通过时间等级信息，能够向用户提供各种时区的序列。
优先级识别信息指能够识别NAL单元的优先级的信息。能够使用 优先级识别信息提供视点分级。例如，能够使用优先级识别信息定义 视点等级信息。在该情况下，视点等级信息指关于分层结构的信息用 于从视频信号提供视点分级。在多视点视频序列中，需要定义用于时 间的等级和用于视点的等级以向用户提供各种时间和视点序列。在定义上述等级信息的情况下，能够使用时间分级和视点分级。因此，用 户能够仅观看特定时间和视点的序列，或仅观看根据用于限制的另一 条件的序列。等级信息能够根据其参考条件以各种方式不同地设置。 例如，等级信息能够根据照相机位置或照相机对准而不同地设置。并 且，能够通过考虑视点依赖性而确定等级信息。例如，用于具有I图片 的视点间图片组的视点的等级被设置为0，用于具有P图片的视点间图 片组的视点的等级被设置为l，并且用于具有B图片的视点间图片组的 视点的等级被设置为2。因此，等级值能够被分配给优先级识别信息。 而且，等级信息能够随机地设置而不基于特殊的基准。
在下面的说明中，解释了用于提供视频信号的有效率的解码方法 的各种实施例。
图3是解释根据本发明的一个实施例的用于获得当前块的IC差异 信息的过程的图。
在比较当前块和候选参考块之间的相似性中，应该考虑两个块之 间的亮度差异。为了补偿亮度差异(亮度变化)，执行新的运动估算 和运动补偿。能够使用公式1找到新的SAD。<formula>formula see original document page 18</formula>
<formula>formula see original document page 18</formula>
在该情况下，Me,表示当前块的平均像素值，M^表示参考块的平均像素值，f(i，j)表示当前块的像素值，并且r(i+x,j+y)表示参考块的 像素值。通过基于公式2中所示的新SAD执行运动估算，能够获得当 前块和参考块之间的平均像素值差。并且，获得的平均像素值差被命 名为IC差异信息(IC—offset)。
在执行对其应用了亮度补偿的运动估算的情况下，获得IC差异信 息和运动矢量。并且，使用IC差异信息和运动矢量通过公式3执行亮 度补偿。
=(脸w/ "(;c'，;/"',力+ W + + /)} + {M。,r, -Mre/(w + +力} ={iVevw '' O'，少'，/,_/) + /*0' + , _/' + /)} + —
在公式4中，NewR"(i,j)表示重建的并且亮度补偿后的残余值并 且f(i, j)表示重建的当前块的像素值。
为了重建当前块，IC差异信息必须被传输到解码单元。并且，能 够从相邻块的信息预测IC差异信息。为了进一步减少对IC差异信息 进行码处理的比特数，能够仅发送IC差异残余(亮度补偿后的残余信 号)(RIC—offset)。这能够如公式5所示。<formula>formula see original document page 20</formula>
图4和图5是解释根据本发明的实施例的通过考虑亮度补偿的运 动矢量预测方法的图。
如下解释根据本发明的实施例的用于使用指示是否执行当前块的 亮度补偿的标志信息和当前块的IC差异信息来执行亮度补偿的过程。
首先，为了执行亮度补偿，解码单元从视频信号提取当前块的相 邻块的标志信息和IC差异信息、当前块和相邻块的对应参考块的参考 索引等等，并且然后能够使用该信息获得当前块的IC差异预测值。并 且，获得指示当前块的IC差异信息与IC差异预测值之间的差值的IC 差异残余。能够使用IC差异残余值和IC差异预测值来重建当前块的 IC差异信息。在该情况下，在重建当前块的IC差异信息中，能够使用 指示是否对当前块执行亮度补偿的IC标志(IC—flag)。
首先，能够从视频信号获得指示是否对当前块执行亮度补偿的IC 标志。当根据标志信息执行亮度补偿时，能够重建指示当前块的平均 像素值和参考块的平均像素值之间的差的当前块的IC差异信息。类似 地，亮度补偿技术对属于不同图片的块的平均像素值进行码处理。在 指示是否应用亮度补偿技术的标志被用于每个块的情况下，当对应的 块属于P片段时，仅编码/解码单独的标志信息和单独的IC差异信息。 然而，当对应的块属于B片段时，可以使用若干方法。
在图4中，"C"表示当前块(C) ， "N"表示与当前块C邻近 的块，"R"表示由当前块C参考的块，并且"S"表示由与当前块C 邻近的块N参考的块。此外，"m/'表示当前块的平均像素值，并且 "m,."表示由当前块参考的块的平均像素值。假定当前块C的IC差异信息被设置为"IC—offset"，其导致"IC—0ffSet=mc-mr"。类似地，假 定相邻块N的IC差异信息被设置为"IC—offset_pred"，编码单元能够 发送指示当前块的IC差异信息(IC一offset)与相邻块的IC差异信息 (IC—offsetjpred)之间的差值的IC差异残余(RIC—offset)来代替发 送完整用于重建当前块C的IC差异信息"IC一offset"的值。在该情况 下，IC差异残余(RIC一offset)能够如公式5所表示。在从相邻块的IC 差异信息或标志信息生成当前块的IC差异预测值中，可以应用各种方 法。例如，能够使用单个相邻块的信息或者至少两个相邻块的信息。 在使用至少两个相邻块的信息的情况下，能够使用平均值或者中间值。 因此，如果仅使用单个参考块来码处理当前块，则能够使用单个IC差 异信息和单个标志信息来执行亮度补偿。
然而，在相应块属于B片段的情况下，目卩，如果使用至少两个参 考块来码处理当前块，则各种方法是可用的。例如，在图5中，假定 "C"表示当前块C， "N"表示与当前块C邻近的块，"R0"表示由 当前块参考的列表0的参考图片1中的参考块，并且"SO"表示由相 邻块参考的列表0的参考图片列表1中的参考块。假定"Rl"表示由 当前块参考的列表1的参考图片3中的参考块并且"SO"表示由相邻 块参考的列表1的参考图片3中的参考块。在该情况下，由于对于每 个参考块存在当前块的IC差异信息和标志信息，因此对于每个存在两 个值，在使用标志信息和IC差异信息中，能够每个使用它们中的至少 一个。
如下解释根据本发明的实施例的用于对当前块执行亮度补偿的过程。
在当前块的IC标志为0的情况下，不执行对当前块的亮度补偿。 在IC标志为l的情况下，执行用于重建当前块的IC差异信息的过程。
在该情况下，在获得当前块的预测值中，可以使用相邻块的信息。前块的IC差异信息。 在此之前，检查当前块的参考索引是否与相邻快的参考索引相同。根 据检查的结果，能够确定哪个相邻块将被使用或者哪个值将被使用。 检查相邻块的标志信息为真还是假。根据检查结果，能够确定是否使 用相邻块。
根据本发明的另一实施例，如下地解释用于基于宏块类型执行亮 度补偿的过程。用于推导IC标志和IC差异信息的过程可以根据宏块 类型而不同。
例如，在宏块类型为P一Skip (P一跳过)的情况下，能够优选地检 査相邻块是否可用以及是否执行亮度补偿。如果所有相邻块都可用并 且如果执行亮度补偿，则当前块的IC差异信息和IC标志能够以下述
方式推导。首先，如果相邻块的IC差异信息的平均值不为0，则当前 块的IC标志被设置为1并且当前块的IC差异信息能够被设置为相邻 块的IC差异信息的平均值。例如，相邻块能够为当前块的右和左块。 另外，如果相邻块的IC差异信息的平均值为0，当前块的IC标志和当
前块的ic差异信息中的每一个能够被设置为0。
在相邻块中的规定的一个可用并且执行亮度补偿的情况下，当前
块的IC标志被设置为1并且当前块的IC差异信息能够被设置为相邻 块的IC差异信息。例如，相邻块能够为当前块的左或上块。替代地，
相邻块能够为右上块或左上块。在该情况下，在检查相邻块中的规定 的一个时，能够在检查上块之后检査左块。
在其它情况中，当前块的ic差异信息和IC标志能够每个被设置
为0。例如，包括使用两个块，即当前块的上和左块的情况；仅使用当 前块的上块的情况；以及使用当前块的左块的情况的三种情况被排除
在所述情况之外。同时，在宏块类型为B一Skip (B—跳过)的情况下，当前块的IC 差异信息能够以下述方式推导。首先，能够确定当前块的参考索引是 否与相邻块的参考索引相同。基于确定结果，能够获得用于当前块的
亮度补偿的预测值。使用获得的预测值，能够重建当前块的IC差异信
息。如下地详细解释确定当前和相邻块的参考索引是否彼此相同的步 骤以及基于确定结果获得预测值的步骤。
例如，能够确定是否存在具有与当前块的参考索引相同的参考索 引的相邻块。在该情况中，假定要被使用的相邻块为使用亮度补偿编 码的块。作为确定的结果，当存在具有与当前块的参考索引相同的参
考索引的单个相邻块时，能够分配具有与当前块的IC差异预测值相同 的参考索引的相邻块的IC差异信息。例如，当当前块的上块是使用亮
度补偿编码的块时并且当上块具有与当前块的参考索引相同的参考索
引时，能够将上块的IC差异信息设置为当前块的IC差异预测信息。 另外，能够对当前块的左上块执行相同的过程。另外，能够对当前块 的右上块执行相同的过程。另外，如果当前块的上、左、和右上侧的 三个相邻块是使用亮度补偿的块，则能够将当前块的IC差异预测值设 置为三个相邻块的IC差异信息之间的中间值。另外，能够将当前块的 IC差异预测值设置为0。
如果存在具有与当前块的参考索引相同的参考索引的两个相邻 块，则能够将当前块的IC差异预测值设置为两个相邻块的IC差异信 息之间的平均值。
IC差异预测值推导方法可以同样地应用于用于预测IC标志的过程。
同时，在宏块类型为B一Skip (B—跳过)的情况下，当前块的IC 标志能够以下述方式推导。能够基于当前块的IC差异信息推导当前块 的IC标志。例如，当当前块的IC差异信息为O时，当前块的IC标志能够被 设置为0。否则，当前块的IC标志能够被设置为1。在该情况中，当
前块的ic差异信息能够是与根据用于推导IC差异预测值的各种实施 例中的 一 个设置的I c差异预测值相同的值。
同时，当宏块类型为B—Direct—16X16 (B—直接—16X16)时，能 够如下地推导当前块的IC差异信息。例如，当当前块的类型为 B_Direct—16X16并且当前块的IC标志被设置为1时，能够根据传输的 IC差异残余值与推导的IC差异预测值的和推导当前块的IC差异信息。 在该情况下，能够根据上述各种实施例推导所推导的IC差异预测值。
如下地解释根据本发明的另一实施的使用指示相应块的亮度补偿 的执行的存在或者不存在的标志信息来执行亮度补偿的方法。
当重建当前块的IC差异信息时，能够使用指示相应块的亮度补偿 的执行的存在或者不存在的前述IC标志(IC—flag)。替代地，能够使 用检査参考索引的上述方法以及预测IC标志的上述方法两者来获得IC
差异预测值。
首先，能够确定是否存在具有与当前块的参考索引相同的参考索 引的相邻块。基于确定结果，能够获得用于当前块的亮度补偿的IC差 异预测值。在该情况下，能够基于相邻块的IC标志是否为1来获得IC 差异预测值。并且，能够基于结果预测当前块的IC标志。因此，能够 通过使用获得的IC差异预测值和预测的IC标志来重建当前块的IC差 异信息来执行亮度补偿。
如下地解释根据本发明的另一实施例的基于当前块的参考索引是 否与相邻块的参考索引相同来预测当前块的IC标志的方法。首先，能够确定是否存在具有与当前块的参考索引相同的参考索 引的相邻块。作为确定结果，当存在具有与当前块的参考索引相同的
参考索引的单个相邻块时，能够从具有相同参考索引的相邻块的ic标
志预测当前块的IC标志。根据确定结果，当存在两个具有与当前块的 参考索引相同的参考索引的相邻块时，能够从具有相同的参考索引的 两个相邻块的IC标志中的一个预测当前块的IC标志。根据确定结果， 当存在三个具有与当前块的参考索引相同的参考索引的相邻块时，能 够从具有相同的参考索引的三个相邻块的IC标志的中间值预测当前块 的IC标志。当不存在具有与当前块的参考索引相同的参考索引的相邻 块时，不执行当前块的IC标志预测。
根据本发明的另一实施例，能够对于施加了亮度补偿的宏块类型
执行不同于16X16帧间模式的情况的上下文建模。对于标志信息，能 够根据相邻块(例如，当前块的左和上块)的标志值考虑三个上下文。 标志值"真"的情况被转换为1并且标志值"假"的情况被转换为0。 如果对用于各情况的两个值求和，则导致三种情况。因此，使用这三 个上下文编码/解码标志信息。例如，能够使用两个上下文模型用于IC 残余，类似于变换系数等级码处理。具体地，通过UEGO(imary/0th order Exp-Golomb (—元第0阶指数哥伦布码))执行二进制化，单个上下 文模型被应用于第一二进制(bin)值，并且单个模型上下文被应用于 一元前缀部分的其余二进制值。符号位能够以旁路(bypass)模式编码 /解码。作为标志信息的另一实施例，能够根据预测标志信息的值考虑 三个上下文。使用此，能够执行编码/解码。
本公开中的上述描述能够应用于宏块单元。并且，本公开中的上 述描述也能够应用于较小块。
图6是解释根据本发明的实施例的使用深度图的码处理方法的图。在视频信号码处理中，对特定应用或者不同的目的能够使用深度 信息。深度信息可以指能够指示视点间视差的信息。例如，能够通过 视点间预测获得视差矢量。并且，获得的视差矢量应被传输到解码设 备用于当前块的视差补偿。然而，如果深度图被传输到解码设备，则 能够在不将视差矢量传输到解码设备的情况下从深度图(或者视差图) 推导视差矢量。并且，还能够将运动矢量或者视差矢量与深度图一起 传输。在该情况下，深度图可以指为每个预定单元指示深度信息。例 如，预定单元可以对应于像素单元或者块单元。
根据本发明的实施例，如下地解释对深度图和色彩分量一起进行 码处理的情况。
首先，指示^度图是否当前被用于视频序列的信息。例如，能够
从序列参数集的扩展区域获得depth—coding一flag(深度一码处理j示志)。 如果depth—coding—flag为0，则能够仅码处理色彩分量，例如，YUV 分量。如果depth—coding—flag为1，则深度图被与色彩分量一起进行码 处理并且然后被使用。
根据本发明的另 一实施例，能够在使用深度图中应用各种方案。 例如，根据空间分辨率能够使用各种深度图。具体地，如果 depth—map—mode (深度—图—模式)为0，则可以意味着不使用深度图。 如果depth—map—mode为1，则可以意味着使用全分辨率的深度图。如 果depth—map—mode为2，则可以意味着使用在水平方向上1/2下采样 的深度图。如果depth—map—mode为3，则可以意味着使用在竖直方向 上1/2下采样的深度图。这些值仅是实施例并且能够设定其它值。此外， 各种空间分辨率的深度图与1/2下釆样一样都是可以使用的。
同时，在输入的深度图具有全分辨率的情况下，如果 depth_map—mode指示不同分辨率的深度图，则下采样过程应通过编码 器执行并且上采样过程应通过解码器执行。这样，如果输入的深度图，如图5中所示，己经以低分辨率进行了下采样，那么解码器可以以全 分辨率执行上采样过程。此外，能够使用指示色彩图片和上采样的深 度图片之间的位置差异的偏移值来重建当前图片。偏移可以包括左偏 移、右偏移、顶偏移和底偏移。
能够从序列参数集、子序列参数集的扩展区域、图片参数集、片
段首部或宏块层获得depth_coding—flag禾B depth—mode_map。
图7至14是根据本发明的实施例的用于描述使用照相机信息的各 种应用示例的句法的图。
首先，照相机信息是关于产生对应于一系列图片的序列的照相机 的信息。由单个照相机捕获的一系列图片构造单视点。即使照相机的 位置变化，也能够构造新的视点。同时，作为照相机信息的类型，能 够有照相机参数。照相机参数能够被分类为固有的照相机参数和外在 的照相机参数。固有的照相机参数能够包括焦距长度、纵横比、倾斜、 主点等等。并且外在的照相机参数能够包括在世界坐标体系中的照相 机的位置信息、旋转矩阵、平移矢量等等。并且能够使用外在的照相 机参数中包括的信息精确地找到照相机之间的几何关系。
并且，能够利照用相机之间的拓扑关系。例如，如果照相机布置 为1维或水平/竖直2维构造，则能够使用关于照相机布置的信息观察 拓扑关系。因此，能够选择直观指定的视点并且然后进行显示。在这 样做时，关于照相机布置的信息能够作为边信息(side information)被传输。
例如，根据线性或对应于维度的1或2维构造的存在或者不存在， 关于照相机布置的信息能够对应于直线或者弧形构造。在照相机布置 对应于2维布置的情况下，根据每行视点的不同数目或者正规性的存 在或者不存在，能够存在每行相同数目的视点。因此，当应用各种参考时，可以改变传输的句法结构。为此，如下地解释详细的实施例。
首先，能够定义指示照相机布置的规定构造的标志。例如，如果
linear—configuration—flag (直线—构造—标志)为1,则可以意味着照相 机布置为直线。如果linear—configuration_flag为0，则可以意味着相机 布置为弧形。此外，标志能够包括各种类型并且能够根据定义来改变。
假定照相机布置对应于2维构造，能够定义指示在每个结点是否 实际存在照相机的标志。例如，如果camera_present—flag (相机一存在—
标志)[i]0]为l，则可以意味着在第i行第j列的结点存在照相机。如 果camerajresenLflag[i][j]为0，则可以意味着在第i行第j列的结点不
存在照相机。
假定照相机布置对应于2维构造，能够定义分别指示水平和竖直 方向上的最大视点数目的信息。例如，max一num一view一hor一minusl可 以指7夂平方向上最大视点数1。并且，max—num—view—ver—minus 1可以 指竖直方向上最大视点数-1。此外，num一view一hor一minusl[i]可以指第 j列的水平方向上的最大视点数-I。
并且，view—id[i][j]可以指第i行第j列的结点的视点识别编号。
能够定义指示照相机布置的规定维度的信息。例如，如果 one一dimension一flag为1，则可以意味着照相机仅布置在水平方向上。 如果one一dimension一flag为0，则可以意味着照相机被二维地布置在竖 直和水平方向上。此外，标志能够包括各种维度并且可以根据如何定 义来改变。例如，如果regular—two—dimension—flag为1，则可以意味着 每行上的视点的数目在水平方向或竖直方向上相同。如果 regular—two—dimension—flag为0，则可以意味着每行上的视点的数目在 水平方向上或者竖直方向上不相同。上述信息能够通过结合到各种形状中而产生各种应用示例。在以 下描述中解释若干实施例。
在图7中所示的实施例，示出了指示照相机是否在2维照相机布 置中的每个结点处存在的句法结构。首先，能够根据
linear—configuration—flag的信息检查照相机是以直线还是弧形构造布 置的。并且，能够获得水平/竖直方向上的最大视点的数目。根据 camera_present_flag[i][j]，能够检查照相机是否在每个结点处存在。如 果照相机存在，则能够知道照相机存在的位置的视点识别编号。
图8示出便于在1维构造的情况下检查照相机布置的句法结构。 与图7不同，图8示出1维构造，不需要检査每个结点处照相机的存 在或者不存在。因此，能够通过直接检査视点识别编号来知道照相机 布置。在其它句法下，能够确认类似图6的2维照相机布置。
图9示出使得照相机布置能够根据指示维度布置的类型的标志而 被适当地检查的句法结构。首先，在根据one—dimension—flag指示2维 构造的情况下，能够通过获得竖直方向上每列上的视点的数目来检查 每个视点识别编号。同时，在指示1维构造的情况下，能够通过获得 水平方向上的最大视点的数目来检査每个视点识别编号。
图10示出将图7和图9的实施例结合在一起获得的实施例。在该 实施例中，能够根据指示规定维度布置的one—dimension—flag检査照相 机的存在或者不存在。
在图11中所示的实施例中，在1维布置的情况下使用水平方向上 的最大视点数目直接检查视点识别编号。在2维布置的情况下，附加 地使用竖直方向上的最大视点数检查视点识别编号。
在图12中所示的实施例中，能够使用指示水平方向或者竖直方向上每列上的视点的数目是否相同的信息来检査照相机布置。首先，如 果水平方向或竖直方向上每列上的视点的数目不相同，则能够通过检 査竖直方向上每列上的水平方向上的视点数目来检查照相机布置。另 一方面，在水平方向或竖直方向上每列上的视点的数目相同的情况下， 能够根据水平/竖直方向上的最大视点的数目检査每个视点识别信息。
图13示出将图12和图7的实施例结合在一起获得的实施例。首 先，如果水平或竖直方向上每列上的视点的数目不相同，则能够根据 水平/竖直方向上的最大视点的数目检查照相机的存在或者不存在。另 一方面，如果水平方向或竖直方向上每列上的视点的数目相同，则能 够根据水平/竖直方向上的最大视点的数目检查每个视点识别编号。
图14示出将图12和图9的实施例结合在一起获得的实施例。首 先，仅在根据指示布置的固定维度的标志的2维布置的情况下，能够 获得指示水平方向或竖直方向上每列上的视点的数目是否相同的信 息。并且，还能获得指示竖直方向上最大视点的数目的信息。另外， 两个信息中的每个能够被设置为0。在图12中所示的实施例的前面描 述中解释了句法的其余部分。
图15是根据本发明的实施例的多视点序列信号的整个预测结构 的图以解释视点间图片组的概念。
参考图15，水平轴上的T0至T100指示根据时间的帧并且竖直轴 上的S0至S7指示根据视点的帧。例如，T0处的图片指同一时区TO 上由不同照相机捕获的序列，而SO处的图片指不同时区上由单个照相 机捕获的序列。并且，附图中的箭头指示预测的方向以及各图片的次 序。例如，时区T0上视点S2中的图片P0是从I0预测的图片，其在 时区T0上视点S4中成为图片P0的参考图片。并且其在视点S2中时 区T4和T2上分别成为图片Bl和B2的参考图片。对于多视点序列解码过程，可能要求视点间随机访问。因此，应 通过最小化解码过程使得能够进行对随机视点的访问。在该情况下， 可能需要视点间图片组的概念来执行有效率的随机访问。在图2中提
到了视点间图片组的定义。例如，在图3中，如果时区T0上视点SO 中的图片10对应于视点间图片组，则同一时区即时区TO上不同视点 中的所有图片能够对应于视点间图片组。对于另一示例，如果时区T8 上视点SO中的图片IO对应于视点间图片组，则同一时区即时区T8上 不同视点中的所有图片能够对应于视点间图片组。类似地，T16、、 T96以及T100中的所有图片也成为视点间图片组的示例。根据另一实 施例，在MVC的整个预测结构中，GOP能够从I图片开始。并且，I 图片与H.264/AVC兼容。因此，与H.264/AVC兼容的所有视点间图片 组能够成为I图片。然而，在用P图片替换图片I的情况下，能够进行 更有效率的码处理。具体地，使用GOP被使得从与H.264/AVC兼容的 P图片开始的预测结构使得能够进行更有效率的码处理。
在该情况下，如果重新定义视点间图片组，则其变成能够参考同 一视点中不同时区上的片段以及所有片段在同一时区上的帧中存在的 片段的码处理图片。然而，参考同一视点中不同时区上的片段的情况 可以被限制到仅与H.264/AVC兼容的视点间图片组。
在已经解码视点间图片组之后，在输出次序中从在视点间图片组 之前解码的图片开始解码所有顺序地码处理的图片而不进行帧间预
考虑图15中所示的多视点视频序列的整个码处理结构，由于视点 间图片组的视点间依赖性不同于非视点间图片组的视点间依赖性，因 此，需要根据视点间图片组识别信息彼此区分视点间图片组和非视点 间图片组。
视点间参考信息指指示哪种结构被用于预测视点间序列的信息。这能够从视频信号的数据区域获得。例如，其能够从序列参数集区域 获得。并且，能够使用参考图片的数目和参考图片的视点信息获得视 点间参考信息。例如，在已经获得视点的总数之后，能够基于视点的 总数获得用于识别每个视点的视点识别信息。并且，能够获得视点间 参考图片的数目信息，其指示用于每个视点的参考方向的参考图片的 数目。根据视点间参考图片的数目信息，能够获得每个视点间参考图 片的视点识别信息。
通过该方法，能够获得视点间参考信息。并且，能够以分类为视 点间图片组的情况和非视点间图片组的情况的方式获得视点间参考信 息。这能够使用指示当前NAL中的码处理片段是否对应于视点间图片
组的视点间图片组识别信息来知道。能够从片段层区域或NAL首部的
扩展区域获得视点间图片组识别信息。
根据视点间图片组识别信息获得的视点间参考信息可用于参考图 片列表的构建、管理等等。
在下面的描述中，解释用于指示视点间参考信息的各种方法。
图16至20根据本发明的实施例的用于描述视点间参考信息的各 种句法的图。
如图16的前面描述所述，能够通过分类为视点间图片组的情况和 非视点间图片组的情况来独立地理解视点间参考信息。
图16示出能够估算在获得视点间参考信息中冗余的数据的句法 结构。
参考图16，能够根据总视点数获得每个视点间参考图片的视点识 别信息。在该情况下，具有viewjd
的视点可以对应于基本视点或独立视点。如果这样，在视点间参考图片的数目信息中，LO方向上的数 目变为O，其等于在Ll方向上的数目。这可以以相同方式应用于视点 间或非视点间图片组的情况。例如，在视点间图片组的情况下，能够
建立"num—anchor—refs—10
= num—anchor—refs—11
=0， " [S1620、 S1630]。在非视点间图片组的情况下，能够建立 "num—non—anchor一refs—IO[O] — num一non—anchor一refs—11
=0，"[S1650、 S1660]。因此，如果i=0，则冗余数据可以不被传输[S1610、 S1640〗。 并且，在"i=0"的情况下的L0/L1方向上的视点间参考图片的数目信 息能够每个都被设置为0。这可以以相同方式应用于视点间或非视点间 图片组的情况。
根据本发明的另一实施例，能够将视点识别信息定义为具有不同 的含义。例如，视点识别信息可以指根据码处理次序分配给每个视点 的视点识别编号。替代地，视点识别信息(view一id[i])可以指根据随 机次序分配给每个视点的视点识别编号。替代地，视点识别信息 (view—id[i])可以指根据照相机布置信息分配给每个视点的视点识别 编号。
图17示出根据本发明的实施例的使用视点间图片组的预测结构 和非视点间图片组的预测结构之间的相似性指示视点间参考信息的句 法。
非视点间图片组的预测结构可以具有依赖于视点间图片组的预测 结构的结构。因此，视点间图片组的视点间参考关系能够使用非视点 间图片组的视点间参考关系来指示。
参考图17，能够获得非视点间图片组的视点间参考信息[S1710]。 例如，能够获得num—non—anchor—refsJO[i]、 non—anchor—refs—10[i][j]、 num—non—anchor—refs—11 [i]以及non—anchor—refs—11 [i][j]。信息。首先，通过设置用于anchor—refs—10[i][j]的non—anchor—refs」0[i〗(j〗 的值，能够知道非视点间参考组的参考关系[S1720]。通过获得与视点 间参考图片和非视点间参考图片之间的数目差 一 样多的 anchor_refs_10[i][j]，能够理解视点间图片组的其余预测结构[SI730]。 这可以以相同方式应用于L1方向[S1740、 S1750]。
如果这样，能够建立公式6中所示的下面的关系。
wwm — Gf/ chor — r^/i 一 /0[/] "画—— 0"c/20r — re/s — /0[/] — o"c/7or — — S w謂—wow 一 awc/zor — /^/i _
当指示视点间参考关系时，视点间图片组的预测结构能够代表性 地指示整个序列的预测结构。如果从视点间图片组推导非视点间图片 组之间的预测关系所需要的信息，则使得能够进行更有效率的码处理。 例如，在运动跳过模式的情况下，能够当非视点间图片组中的当前块 使用相邻视点中的图片的运动信息时，使用视点间图片组的预测结构。 具体地，能够使用从视点间图片组的预测结构中的对应图片获得的运 动^言息。
图18示出根据本发明的实施例的使用视点间图片组的预测结构 与非视点间图片组的预测结构之间的相似性来指示视点间参考信息的 句法。
图18中所示的句法结构与图17中所示的类似。然而，在图18中， 能够获得指示视点间参考图片的数目和非视点间参考图片的数目之间 的 差 的 信 息 (num—diff—anchor一non—anchor—refs—10[i] 、 num—diff—anchor—non一anchor一refs—11 [i]) [SI810、 SI830]。通过使用指 示视点间参考图片的数目和非视点间参考图片的数目之间的差的信息获得anchor_refs—10[i][j]，能够理解视点间图片组的其余预测结构 [S1820、 S1840]。在该情况下，其余预测结构可以指仅不同于非视点间 图片组的结构的视点间图片组的预测结构。
图19示出根据本发明的实施例的以更简单的方式指示视点间参 考关系的句法结构。
如果非视点间图片组的预测结构变为视点间图片组的预测结构的 子集，则可以更加有效率。这是因为视点方向上的视点间预测仅在视 点间图片组中是可能的，而在时间方向上的时间预测是不可能的。因 此，可参考的是，在估算视点间序列的冗余方面最大地利用视点间预 湖'J。另一方面，在非视点间图片组中，视点方向预测和时间方向预测 都是可能的。然而，通过时间方向预测的码处理增益可以比通过视点 方向预测的更大。因此，可能更有效率的结构是非视点间图片组中的 视点间预测关系属于视点间图片组中的视点间预测结构。
因此，非视点间图片组的预测结构可以具有依赖于视点间图片组 的预测结构的结构。因此，视点间图片组的视点间参考关系能够使用 非视点间图片组的视点间参考关系来表示。这在随机访问和视点分级 方面同样可以是有效率的。例如，在不属于非视点间图片组的预测结 构但是属于视点间图片组的预测结构的图片的情况下，由于图片不需 要被解码从而其可以是有效率的。
同时，可以存在下述情况，即不存在视点间或非视点间图片组中 的任何视点间预测关系。因此，视点间图片组中的视点间预测关系的 缺少可以对于快速随机访问和并行处理是更有效的。并且，其可以被 引入到非视点间图片组以降低复杂度。
因此，根据本发明的实施例，能够以单个格式"multiview一refjx" 表示视点间参考关系来代替通过区分anchor一ref—IX和non_anchor_ref_lX来表示视点间参考关系[S1920、 S1940]。
例如，在缺少视点间图片组中的视点间预测关系的情况下，为了 包括num—anchor一refs一10[i] = num—anchor一refs—11 [i]=0的情况，可以 <吏 用公式7 [S1910、 S1930〗。
max(w扁—tmc/ or — /^/i — /jc[/']，"謡—wo" — a"c/ o/' — — /x[/])
在该情况中，第i个视点中的视点间参考能够被表示为单个句法 (multiview—ref一lx[i])。 此夕卜， "从0至U min(num—anchor—refs—lx[i], num—non一anchor一refs一lx[i]-1)"能够表示对于视点间图片组和非视点间
图片组来说共同的参考关系。
图20示出能够估算在获得视点间参考信息中冗余的数据的句法结构。
在图19中，能够根据max(num—anchor—refsjx[i], num一non—anchor—refs—lx [i])的值获得视点间参考图片的视点识别信息。 在该情况下，具有view一id[O]的视点可以对应于基本视点或独立视点。 如果这样，在视点间参考图片的数目信息中，L0方向上的数目变为0, 其等于Ll方向上的数目。这也可以以相同方式应用于视点间或非视点 间图片组的情况。例如，在视点间图片组的情况下，能够建立 "num—anchor_refs_10
= num—anchor—refs—11
= 0"。在非视点间图 片组的情况下，能够建立 "num—non—anchor—refsJO[O]= num—non—anchor—refs—ll
=0"。因此，如果i=0，则冗余数据可以不 被传输[S2010]。并且，在"i=0"的情况下的L0/L1方向上的视点间参 考图片的数目信息能够每个都被设置为0。
如前述中提到的，应用了本发明的解码/编码设备被提供给要在解码音频和数据信号中使用的诸如DMB(数字多媒体广播)的用于多媒 体广播的发送机/接收机等等。并且，多媒体广播发送机/接收机能够包 括移动通信终端。
利用用于计算机执行的程序构造应用了本发明的解码/编码方法， 并且然后将其存储在计算机可读记录介质中。并且，具有本发明的数 据结构的多媒体数据能够被存储在计算机可读记录介质中。计算机可 读记录介质包括用于存储能够由计算机系统读取的数据的所有种类的
存储设备。计算机可读记录介质包括ROM、 RAM、 CD-ROM、磁带、 软盘、光学数据存储设备等等，并且还包括以载波(例如，经由因特 网传输)实施的设备。并且，由编码方法生成的比特流被存储在计算 机可读记录介质或者经由有线/无线通信网络传输。
工业应用性
因此，虽然已经参考其优选实施例描述并且示出了本发明，但是 对于本领域技术人员来说，显而易见的是，在不偏离本发明的精神和
范围的情况下能够进行各种修改和变化。因此，意在本发明涵盖所附 权利要求及其等价物的范围内的本发明的修改和变化。
权利要求
1.一种解码视频信号的方法，包括当与对于当前块的亮度补偿相关联的信息在比特流中不可用时，获得所述当前块的相邻块的IC(亮度补偿)差异信息；使用所述相邻块的所述IC差异信息推导所述当前块的IC差异信息；基于所述当前块的所述IC差异信息，推导指示是否对所述当前块执行亮度补偿的IC标志；以及基于所述当前块的所述IC差异信息和所述IC标志，对所述当前块执行所述亮度补偿。
2. 根据权利要求l所述的方法，其中，当所述当前块的所述IC差 异信葛为0时，所述当前块的所述IC标志被推导为O。
3. 根据权利要求l所述的方法，其中，当所述当前块的所述IC差 异信息不为O时，所述当前块的所述IC标志被推导为1。
4. 根据权利要求l所述的方法，其中，基于所述当前块的参考索 引是否与所述相邻块的参考索引相同来推导所述当前块的所述IC差异{曰息。
5. 根据权利要求4所述的方法，其中，当存在具有与所述当前块 的参考索引相同的参考索引的一个相邻块时，所述当前块的所述IC差 异信息被设置为所述相邻块的所述IC差异信息。
6. 根据权利要求5所述的方法，其中，以所述当前块的上、左、 右上和左上块的顺序检查所述相邻块。
7. 根据权利要求4所述的方法，其中，当存在每个都具有与所述当前块的参考索引相同的参考索引的三个相邻块时，所述当前块的所 述IC差异信息被设置为所述三个相邻块的IC差异信息的中间值。
8. 根据权利要求l所述的方法，其中，所述视频信号被接收为广 播信号。
9. 根据权利要求l所述的方法，其中，经由数字媒介接收所述视 频信号。
10. —种包括用于执行权利要求l所述的方法的程序的计算机可 读介质，所述程序被记录在所述计算机可读介质中。
11. 一种用于解码视频信号的装置，包括IC差异预测单元，当与对于当前块的亮度补偿相关联的信息在比特流中不可用时，所述IC差异预测单元使用获得的相邻块的IC差异信息推导所述当前块的IC差异信息；以及IC单元，所述IC单元基于所述当前块的所述IC差异信息推导指 示是否对所述当前块执行亮度补偿的IC标志，并且基于所述当前块的 所述ic差异信息和所述IC标志对所述当前块执行亮度补偿。
全文摘要
公开了一种解码视频信号的方法。本发明包括当与对于当前块的亮度补偿相关联的信息在比特流中不可用时，获得当前块的相邻块的IC(亮度补偿)差异信息；使用相邻块的IC差异信息推导当前块的IC差异信息；基于当前块的IC差异信息，推导指示是否对当前块执行亮度补偿的IC标志；以及基于当前块的IC差异信息和IC标志对当前块执行亮度补偿。
文档编号H04N7/24GK101641954SQ200880009506
公开日2010年2月3日 申请日期2008年3月24日 优先权日2007年3月23日
发明者梁正休 申请人:Lg电子株式会社