处理视频信号的方法和设备的制作方法
【专利摘要】本发明涉及视图间残留预测，并且其特征在于：通过使用邻近块的运动矢量获得第一参考块的残留数据，通过使用参考视图运动矢量或者视差矢量获得第二参考块的残留数据，通过使用第一参考块的残留数据和第二参考块的残留数据获得残留数据预测值，以及通过使用残留数据预测值编译当前纹理块。本发明可以通过使用属于相同时间范围的另一个视点的编译数据获得的预测值执行视图间残留预测，以通过使用在视点之间的相关性提高视频数据预测的精度，并且减小要发送的残留数据量，从而改善编译效率。此外，在编译过程中的复杂度可以通过增加用于应用视图间残留预测的条件而减小。
【专利说明】处理视频信号的方法和设备
【技术领域】
[0001] 本发明涉及用于处理视频信号的方法和设备。
【背景技术】
[0002] 压缩指的是用于经由通信线路发送数字信息，或者以应用于存储介质的形式存储 数字信息的信号处理技术。压缩的对象包括音频、视频和文字信息。特别地，压缩图像的技 术称作视频压缩。多视图视频具有空间冗余、时间冗余和视图间冗余的特征。
【发明内容】
[0003] 技术问题
[0004] 本发明的一个目的是改善视频信号编译效率。
[0005] 技术方案
[0006] 本发明涉及视图间残留预测，并且从邻近块获得运动矢量。
[0007] 本发明通过使用邻近块的运动矢量获得第一参考块的残留数据，并且通过使用参 考视图运动矢量或者视差矢量获得第二参考块的残留数据。
[0008] 本发明通过使用第一参考块的残留数据和第二参考块的残留数据获得当前纹理 块的残留数据预测值，并且通过使用当前纹理块的残留数据预测值编译当前纹理块。
[0009] 当使用参考视图运动矢量检测的第二参考块位于图片内的时候，本发明应用视图 间残留预测。
[0010] 当相应块对应于中间预测的时候，本发明应用视图间残留预测。
[0011] 本发明使用对应于当前纹理块的深度数据将用于检测相应块的视图间运动矢量 与视差矢量比较，并且当在视图间运动矢量和视差矢量之间的差值小于阈值的时候，应用 视图间残留预测。
[0012] 本发明将邻近块的时间运动矢量与用于检测相应块的视图间运动矢量比较，并且 当在时间运动矢量和视图间运动矢量之间的差值小于阈值的时候，应用视图间残留预测。
[0013] 有益效果
[0014] 通过使用当前纹理块的残留数据预测值，其是使用属于相同时间段的不同的视图 的编译数据获得的，来执行视图间残留预测，本发明可以使用在视图之间的相关性改善视 频数据预测精度，并且通过减小发送的残留数据量提高编译效率。此外，本发明可以从当前 纹理块的邻近块获得用于检测第一参考块和第二参考块的运动矢量，从而改善视图间残留 预测精度和视频编译效率。此外，本发明可以通过增加用于应用视图间残留预测的条件减 小在编译过程中的复杂度。
【专利附图】
【附图说明】
[0015] 图1是根据本发明应用于的一个实施例的视频解码器的方框图。
[0016] 图2图示根据本发明应用于的一个实施例示例性空间邻近块。
[0017] 图3图示根据本发明应用于的一个实施例示例性时间邻近块。
[0018] 图4图示根据本发明应用于的一个实施例的时间中间预测和视图间中间预测的 示例。
[0019] 图5是图示根据本发明应用于的一个实施例使用深度数据推导当前纹理块的视 差矢量方法的流程图。
[0020] 图6图示根据本发明应用于的一个实施例的视图间残留预测的示例。
[0021] 图7是图示根据本发明应用于的一个实施例示例性视图间残留预测的流程图。
[0022] 图8图示根据本发明应用于的一个实施例的对应于图7的流程图的视图间残留预 测的示例。
[0023] 图9是图示根据本发明应用于的一个实施例示例性视图间残留预测的流程图。
[0024] 图10图示根据本发明应用于的一个实施例的对应于图9的流程图的视图间残留 预测的示例。
[0025] 图11图示根据使用参考视图运动矢量搜索的第一参考块的位置的示例性视图间 残留预测条件。
[0026] 最佳实施方式
[0027] 为了实现本发明的目的，根据本发明用于处理视频信号的方法可以从当前纹理块 的邻近块获得视图间运动矢量，邻近块被根据视图间中间预测被编译，使用视图间运动矢 量获得相应块的参考视图运动矢量，使用相应块的参考视图运动矢量获得第一参考块的残 留数据，获得相应块的参考视图运动矢量作为当前纹理块的参考视图运动矢量，使用当前 纹理块的参考视图运动矢量获得第二参考块的残留数据，使用第一参考块的残留数据和第 二参考块的残留数据获得残留数据预测值，以及使用残留数据预测值解码当前纹理块。
[0028] 当第二参考块不位于第二参考图片中的时候，第二参考块的残留数据可以被推导 为〇。
[0029] 根据本发明用于处理视频信号的方法可以使用当前纹理块的深度值获得视差矢 量，将视图间运动矢量与视差矢量比较，以及当在视图间运动矢量和视差矢量之间的差值 小于阈值的时候，获得第一参考块的残留数据和第二参考块的残留数据。
[0030] 根据本发明用于处理视频信号的方法可以从当前纹理块的邻近块获得时间运动 矢量，邻近块通过时间中间预测被编译，以及将时间运动矢量与参考视图运动矢量比较，其 中当在时间运动矢量和参考视图运动矢量之间的差值小于阈值的时候，获得第一参考块的 残留数据和第二参考块的残留数据。
[0031] 视图间运动矢量可以从空间邻近块的视图间运动矢量、时间邻近块的视图间运动 矢量和参考视图间运动矢量的至少一个中推导出。
[0032] 空间邻近块的视图间运动矢量可以具有比时间邻近块的视图间运动矢量更高的 优先级，并且时间邻近块的视图间运动矢量可以具有比参考视图间运动矢量更高的优先 级。
[0033] 参考视图间运动矢量可以是当空间邻近块和时间邻近块的至少一个被使用参考 视图运动矢量推导的时候与参考视图运动矢量相对应的视图间运动矢量。
【具体实施方式】
[0034] 压缩或者解码多视图视频信号数据的技术考虑空间冗余、时间冗余和视图间冗 余。在多视图图像的情况下，在两个或更多个视图处获得的多视图纹理图像可以被编译以 便产生三维图像。此外，对应于多视图纹理图像的深度数据可以根据需要被编译。深度数据 可以考虑到空间冗余、时间冗余或者视图间冗余被压缩。深度数据是有关在相机和相应的 像素之间距离的信息。在本说明书中，深度数据可以被灵活地解释为深度相关的信息，诸如 深度信息、深度图像、深度图片、深度序列和深度比特流。此外，在本说明书中编译（coding) 可以包括编码（encoding)和解码（decoding),并且可以在本发明的技术精神和技术范围 中灵活地解释。
[0035] 图1是根据本发明应用于的一个实施例的视频解码器的方框图。
[0036] 参考图1，视频解码器可以包括NAL分析单元100、熵解码单元200、反量化/反变 换单元300、内部预测单元400、环内滤波单元500、解码图片缓存单元600和中间预测单元 700。NAL分析单元100可以接收包括多视图纹理数据的比特流。此外，当深度数据是为纹 理数据编译所必需的时候，NAL分析单元100可以进一步接收包括编码的深度数据的比特 流。输入纹理数据和深度数据可以作为一个比特流，或者作为单独的比特流发送。NAL分 析单元100可以在NAL基础上执行分析以便解码输入的比特流。当输入的比特流是多视图 相关的数据（例如，3维视频）的时候，输入的比特流可以进一步包括相机参数。相机参数 可以包括内在相机参数和外在相机参数，并且内在相机参数可以包括焦距、长宽比、主点等 等，并且外在相机参数可以包括在全球坐标系统中的相机位置信息等等。
[0037] 熵解码单元200可以经由熵解码提取量化的变换系数、用于纹理图片预测的编译 信息等等。
[0038] 反量化/反变换单元300可以通过将量化参数应用于量化的变换系数来获得变换 系数，并且通过反向地变换该变换系数来解码纹理数据或者深度数据。在这里，解码的纹理 数据或者深度数据可以包括根据预测的残留数据。此外，可以考虑到纹理数据的复杂度来 获得用于深度块的量化参数。例如，当对应于深度块的纹理块具有高的复杂度的时候，可以 设置低的量化参数，并且当纹理块具有低的复杂度的时候，可以设置高的量化参数。
[0039] 内部预测单元400可以使用在当前纹理图片中重建的纹理数据执行内部预测。内 部预测可以以与对于纹理图片相同的方式对于深度图片执行。例如，用于纹理图片的中间 预测的编译信息可以同样地用于深度图片。用于中间预测的编译信息可以包括内部预测模 式和内部预测的分割信息。
[0040] 环内滤波单元500可以将环内滤波器应用于每个编译块以便减小块失真。滤波器 可以平滑块的边缘以便改善解码的图片的质量。滤除的纹理图片或者深度图片可以输出或 者存储在解码图片缓存单元600中以用作参考图片。
[0041] 解码图片缓存单元600可以存储或者开放先前编译的纹理图片或者深度图片以 便执行中间预测。为了在解码图片缓存单元600存储先前编译的纹理图片或者深度图片或 者开放该图片，可以使用每个图片的图片顺序计数（POC)和frame_num(帧编号）。此外，由 于先前编译的图片包括与在深度编译时当前的深度图片的视图所不同的视图相对应的深 度图片，所以可以使用用于标识深度图片视图的视图标识信息，以便将对应于不同视图的 深度图片用作参考图片。在深度编译时，深度图片可以被标记以与在解码图片缓存单元中 的纹理图片区别，并且在标记过程期间可以使用用于标识每个深度图片的信息。
[0042] 中间预测单元700可以使用存储在解码图片缓存单元600中的参考图片和运动信 息执行当前块的运动补偿。在本说明书中，从广义来说，运动信息可以包括运动矢量和参考 索引信息。此外，中间预测单元700可以执行用于运动补偿的时间中间预测。
[0043] 在本发明中，邻近块可以包括空间邻近块和时间邻近块。应用于本发明的空间邻 近块和时间邻近块在下文中定义。
[0044] 图2图示根据本发明应用于的一个实施例示例性空间邻近块。
[0045] 参考图2 (a)空间邻近块可以包括左下邻近块Atl、左侧邻近块A1、右上邻近块Btl、上 侧邻近块B1和左上邻近块B2的至少一个。前面提到的空间邻近块可以搜索用于推导运动 矢量的块，并且搜索到的邻近块的运动矢量可以作为当前纹理块的运动矢量获得。空间邻 近块可以考虑到其优先级来搜索。因此，空间邻近块可以以左侧邻近块、上侧邻近块、右上 邻近块、左下邻近块和左上邻近块的顺序搜索。例如，在当前纹理块的视图间运动矢量从邻 近块推导出的时候，如果左侧邻近块是根据视图间中间预测编译的块，那么，左侧邻近块的 视图间运动矢量可以被获得作为当前纹理块的视图间运动矢量，并且搜索可以结束。但是， 当左侧邻近块没有根据视图间中间预测编译的时候，其可以检查是否上侧邻近块已经根据 视图间中间预测编译。做为选择，对于根据视图间中间预测编译的块，空间邻近块可以以左 下邻近块、左侧邻近块、右上邻近块、上侧邻近块和左上邻近块的顺序搜索。但是，空间邻近 块的优先级不局限于以上描述的实施例。
[0046] 图2(b)图示空间邻近块候选者的扩展。当左侧邻近块A1的尺寸小于当前纹理块 的尺寸的时候，当前纹理块可以进一步具有至少一个左侧邻近块。例如，根据本发明的空间 邻近块可以进一步包括位于左侧邻近块A1和左上邻近块B4之间的左侧邻近块A2和A3，如 图2(b)所示。以相同的方式，当上侧邻近块B1的尺寸小于当前纹理块的尺寸的时候，根据 本发明的空间邻近块可以进一步包括位于上侧邻近块B1和左上邻近块B4之间的上侧邻近 块B2和B3。在这种情况下，也可以考虑到空间邻近块的优先级（例如 X^OC1ODtl-M1)来检测根据视图间中间预测编译的块。如上所述，有可能提高通过扩展用 于推导当前纹理块的视图间运动矢量的空间邻近块候选者可以获得当前纹理块的视图间 运动矢量的概率。
[0047] 图3图示根据本发明应用于的一个实施例示例性时间邻近块。
[0048] 参考图3,时间邻近块可以指的是在当前纹理块的参考图片内与当前纹理块相同 的位置中的块（在下文中，称为并置块）。在这里，参考图片可以指的是在对应于不同的时 间时对应于与包括当前纹理块的当前图片相同的视图的图片。根据本发明的并置块可以经 由如图4所示的两种方法定义。
[0049] 参考图3 (a)，并置块可以定义为在参考图片中包括位置C的块，该参考图片对应 于当前纹理块的中心像素的位置C。参考图3(b)，并置块可以定义为在参考图片中包括位 置X的块，该参考图片对应于当前纹理块的左上像素的位置X。本发明的时间邻近块不局 限于并置块，并且可以指的是邻近于并置块的邻近块。如图3(a)所示，左下邻近块Atl、左侧 块A1、右上邻近块Btl、上侧块B1和左上邻近块B2的至少一个可以用作邻近于并置块的邻近 块。此外，由于参考图片在当前的图片之前已经被解码，所以并置块的下侧邻近块和右侧邻 近块也可以用作时间邻近块。例如，右下邻近块Ctl、下侧邻近块C1和右侧邻近块C2可以用 作时间邻近块，如图3 (a)所示。可以考虑到优先级搜索用于时间邻近块的a)并置块，和b) 邻近于并置块的邻近块，其被认为是时间邻近块候选者。
[0050] 图4图示根据本发明应用于的一个实施例的运动补偿预测和视差补偿的预测的 示例。
[0051] 时间中间预测（运动补偿的预测（MCP))可以指的是使用参考图片和当前纹理块 的运动信息的中间预测，参考图片对应于与当前纹理块相同的视图同时位于不同于当前纹 理块的时间段。在使用多个相机获得的多视图图像的情况下，除了运动补偿的预测之外，还 可以执行视图间中间预测。视图间中间预测或者视差补偿预测（DCP)可以指的是使用对应 于不同于当前纹理块的视图的参考图片和当前纹理块的运动信息的中间预测。为了方便起 见，用于运动补偿预测的运动信息称为时间运动矢量和时间参考索引信息，并且用于视差 补偿预测的运动信息称为视图间运动矢量和视图间参考索引信息。因此，运动矢量可以灵 活地解释为包括时间运动矢量、时间参考索引信息、视图间运动矢量和视图间参考索引信 息的概念。
[0052] 残留预测可以是使用参考图片的残留数据用于预测当前纹理块的残留数据的方 法。视图间残留预测可以是使用在参考视图内的参考块的残留数据用于预测当前纹理块的 残留数据的方法。视图间残留预测将参考图6详细描述。
[0053] 将给出用于确定是否邻近块已经根据时间中间预测或者视图间中间预测编译的 方法的描述。
[0054] 现在将描述用于确定是否邻近块已经根据时间中间预测编译的方法。在一个实施 例中，是否邻近块已经根据时间中间预测编译可以基于邻近块的运动矢量标识信息确定。 当运动矢量标识信息表示使用时间中间预测的运动矢量的时候，可以确定邻近块已经根据 时间中间预测编译。
[0055] 将给出用于确定是否以上定义的空间邻近块和时间邻近块根据视图间中间预测 编译的方法的描述。在一个实施例中，能够基于是否相应的邻近块使用视图间参考图片列 表，来确定是否邻近块根据视图间中间预测被编译。视图间参考图片列表可以指的是由位 于不同于相应邻近块的视图的视图处的参考图片组成的列表。做为选择，可以基于相应的 邻近块的参考索引信息确定是否邻近块根据视图间中间预测被编译。例如，当相应的邻近 块的参考索引信息指定位于不同于相应的邻近块的视图处的参考图片的时候，可以指定相 应的邻近块根据视图间中间预测被编译。做为选择，基于是否包括相应的邻近块的图片的 POC与相应的邻近块的参考图片的POC相同，可以确定是否邻近块根据视图间中间预测被 编译。POC是输出序列信息，并且在相同的接入单元中的图片可以具有相同的P0C。因此，当 两个POC相同的时候，这指的是包括相应的邻近块的图片和参考图片位于不同的视图。在 这种情况下，可以指定相应的邻近块根据视图间中间预测被编译。
[0056] 当空间邻近块和时间邻近块两者没有根据视图间中间预测编译的时候，视图间运 动矢量可以使用根据时间中间预测编译的邻近块推导出。当邻近块使用参考视图运动矢量 根据时间中间预测被编译的时候，用于确定参考视图运动矢量的视图间运动矢量（在下文 中，称为参考视图间运动矢量）可以被设置为当前纹理块的视图间运动矢量。
[0057] 图5是图示根据本发明应用于的一个实施例的使用深度数据推导当前纹理块的 视差矢量方法的流程图。
[0058] 参考图5,在对应于当前图片的当前纹理块的深度图片中的深度块（在下文中，称 为当前的深度块）的位置信息可以基于当前图片的当前纹理块的位置信息获得（S500)。当 前深度块的位置可以考虑到深度图片和当前图片的空间分辨率来确定。例如，当深度图片 和当前图片被以相同的空间分辨率编译的时候，当前深度块的位置可以确定为与当前图片 的当前纹理块相同的位置。就表示在相机和对象之间距离的深度信息的特征而言，甚至当 深度信息以减小的空间分辨率编译时，由于编译效率没有显著地恶化，所以当前图片和深 度图片可以以不同的空间分辨率编译。因此，当深度图片被以低于当前图片的空间分辨率 编译的时候，在获得当前深度块的位置信息之前，解码器可以上采样深度图片。此外，当上 采样的深度图片的长宽比与当前图片的长宽比不一致的时候，当获得在上采样的深度图片 内的当前深度块的位置信息的时候，可以另外考虑偏移信息。在这里，该偏移信息可以包括 上偏移?目息、左偏移?目息、右偏移?目息和下偏移?目息的至少一个。上偏移?目息可以指的是在 位于上采样的深度图片的顶端上的至少一个像素和位于当前图片的顶端上的至少一个像 素之间的位置差值。左偏移?目息、右偏移?目息和下偏移?目息可以以相同的方式定义。
[0059] 可以获得对应于当前的深度块的位置信息的深度数据（S510)。在当前深度块包括 多个像素的时候，可以使用对应于当前深度块的角部像素的深度数据。否则，可以使用对应 于当前深度块的中心像素的深度数据。做为选择，在对应于多个像素的多个深度数据片之 中的最大值、最小值和模式中的一个可以有选择地使用，并且可以使用多个深度数据片的 干均值。当前纹理块的视差矢量可以使用获得的深度数据和相机参数推导出（S520)。现在 将参考公式1和2描述推导当前纹理块的视差矢量的方法。
[0060] [公式 1]
【权利要求】
1. 一种用于处理视频信号的方法，包括： 从当前纹理块的邻近块获得视图间运动矢量，所述邻近块根据视图间中间预测被编 译； 使用所述视图间运动矢量获得相应块的参考视图运动矢量； 使用所述相应块的所述参考视图运动矢量获得第一参考块的残留数据，所述第一参考 块位于与所述相应块相同的视图的第一参考图片中； 使用所述当前纹理块的参考视图运动矢量获得所述相应块的所述参考视图运动矢 量； 使用所述当前纹理块的所述参考视图运动矢量获得第二参考块的残留数据，所述第二 参考块位于与所述当前纹理块相同的视图的第二参考图片中； 使用所述第一参考块的残留数据和所述第二参考块的残留数据获得残留数据预测值； 以及 使用所述残留数据预测值解码所述当前纹理块。
2. 根据权利要求1所述的方法，其中，当所述第二参考块不位于所述第二参考图片中 时，所述第二参考块的残留数据被推导为0。
3. 根据权利要求1所述的方法，进一步包括： 使用所述当前纹理块的深度值获得视差矢量；和以及 将所述视图间运动矢量与所述视差矢量比较， 其中，当在所述视图间运动矢量和所述视差矢量之间的差值小于阈值时，获得所述第 一参考块的残留数据和所述第二参考块的残留数据。
4. 根据权利要求1所述的方法，进一步包括： 从所述当前纹理块的邻近块获得时间运动矢量，所述邻近块通过时间中间预测来编 译；以及 将所述时间运动矢量与所述参考视图运动矢量比较， 其中，当在所述时间运动矢量和所述参考视图运动矢量之间的差值小于阈值时，获得 所述第一参考块的残留数据和所述第二参考块的残留数据。
5. 根据权利要求1所述的方法，其中，从空间邻近块的视图间运动矢量、时间邻近块的 视图间运动矢量和参考视图间运动矢量的至少一个中推导出所述视图间运动矢量。
6. 根据权利要求5所述的方法，其中，所述空间邻近块的视图间运动矢量具有比所述 时间邻近块的视图间运动矢量更高的优先级，并且所述时间邻近块的视图间运动矢量具有 比所述参考视图间运动矢量更高的优先级。
7. 根据权利要求6所述的方法，其中，当所述空间邻近块和所述时间邻近块的至少一 个使用所述参考视图运动矢量来推导时，所述参考视图间运动矢量是对应于参考视图运动 矢量的视图间运动矢量。
8. -种用于处理视频信号的设备，包括： 中间预测单元，所述中间预测单元被配置为：从当前纹理块的邻近块获得视图间运动 矢量，所述邻近块根据视图间中间预测被编译；使用所述视图间运动矢量获得相应块的参 考视图运动矢量；使用所述相应块的所述参考视图运动矢量获得第一参考块的残留数据， 所述第一参考块位于与所述相应块相同的视图的第一参考图片中；使用所述当前纹理块的 参考视图运动矢量获得所述相应块的所述参考视图运动矢量；使用所述当前纹理块的所述 参考视图运动矢量获得第二参考块的残留数据，所述第二参考块位于与所述当前纹理块相 同的视图的第二参考图片中；使用所述第一参考块的残留数据和所述第二参考块的残留数 据获得残留数据预测值；以及使用所述残留数据预测值解码所述当前纹理块。
9. 根据权利要求8所述的设备，其中，当所述第二参考块不位于所述第二参考图片中 时，所述第二参考块的残留数据被推导为0。
10. 根据权利要求8所述的设备，其中，所述中间预测单元被配置为：使用所述当前纹 理块的深度值获得视差矢量；以及将所述视图间运动矢量与所述视差矢量比较， 其中，当在所述视图间运动矢量和所述视差矢量之间的差值小于阈值时，获得所述第 一参考块的残留数据和所述第二参考块的残留数据。
11. 根据权利要求8所述的设备，其中，所述中间预测单元被配置为：从所述当前纹理 块的邻近块获得时间运动矢量，所述邻近块通过时间中间预测被编译；以及将所述时间运 动矢量与所述参考视图运动矢量比较， 其中，当在所述时间运动矢量和所述参考视图运动矢量之间的差值小于阈值时，获得 所述第一参考块的残留数据和所述第二参考块的残留数据。
12. 根据权利要求8所述的设备，其中，从空间邻近块的视图间运动矢量、时间邻近块 的视图间运动矢量和参考视图间运动矢量的至少一个中推导出所述视图间运动矢量。
13. 根据权利要求12所述的设备，其中，所述空间邻近块的视图间运动矢量具有比所 述时间邻近块的视图间运动矢量更高的优先级，并且所述时间邻近块的视图间运动矢量具 有比所述参考视图间运动矢量更高的优先级。
14. 根据权利要求13所述的设备，其中，当所述空间邻近块和所述时间邻近块的至少 一个使用所述参考视图运动矢量来推导时，所述参考视图间运动矢量是对应于参考视图运 动矢量的视图间运动矢量。
【文档编号】H04N19/597GK104380744SQ201380032501
【公开日】2015年2月25日 申请日期:2013年6月18日 优先权日:2012年6月19日
【发明者】孙银庸, 郑志旭, 芮世薰, 具文模, 许镇, 金兑燮, 成宰源 申请人:Lg电子株式会社