用于处理视频信号的方法和设备的制作方法
【专利摘要】本发明涉及用于处理视频信号的方法和设备。根据本发明的用于处理视频信号的方法通过在当前纹理块的邻近块中搜索对于参考视图运动矢量编译的块，在候选者列表中存储与空间邻近块的检索的参考视图运动矢量相对应的参考视图间运动矢量，通过使用存储在候选者列表中的参考视图间运动矢量的任何一个产生当前纹理块的视图间运动矢量，并且使用产生的视图间运动矢量，来对于当前纹理块执行视图间帧间预测。本发明可以通过允许对在各种视图间运动矢量候选者之中的视图间运动矢量更加精确的预测，从而减少要发送的残留数据量，来改善编译效率。
【专利说明】用于处理视频信号的方法和设备
【技术领域】
[0001] 本发明涉及一种用于处理视频信号的方法和设备。
【背景技术】
[0002] 压缩指的是用于经由通信线路发送数字信息，或者以适用于存储介质的形式存储 数字信息的信号处理技术。压缩的对象包括音频、视频和文本信息。特别地，压缩图像的技 术称作视频压缩。多视图视频具有空间冗余、时间冗余和视图间冗余的特征。
【发明内容】
[0003] 技术问题
[0004] 本发明的目的是改善视频信号编译效率。
[0005] 技术方案
[0006] 本发明基于空间/时间邻近块的视图间运动矢量和参考视图间运动矢量的至少 一个推导当前纹理块的视图间运动矢量。
[0007] 本发明考虑到包括空间/时间邻近块和参考视图间运动矢量中的至少一个的候 选者的优先级推导视图间运动矢量。
[0008] 本发明在邻近块中搜索使用参考视图运动矢量编译的块，并且在候选者列表中存 储与搜索的邻近块的参考视图运动矢量相对应的参考视图间运动矢量。本发明使用存储在 候选者列表中的参考视图间运动矢量推导当前纹理块的视图间运动矢量。
[0009] 有益效果
[0010] 本发明可以通过使用视图间运动矢量执行视图间帧间预测，使用在视图之间的相 关性改善视频数据预测精度。
[0011] 此外，可以通过有选择地使用空间邻近块、时间邻近块和参考视图间运动矢量中 的一个推导正确的视图间运动矢量，以便改善视图间帧间预测精度，并且可以通过减小发 送的残留数据量提高编译效率。
[0012] 此外，甚至在空间/时间邻近块之中根据时间帧间预测编译的块以及根据视图间 帧间预测编译的块的情况下，与参考视图运动矢量相对应的参考视图间运动矢量被用作候 选者，从而预测精确的视图间运动矢量。
[0013] 另外，搜索根据空间/时间邻近块的视图间帧间预测编译的块，并且当该块不存 在的时候，使用参考视图间运动矢量推导视图间运动矢量，使得不在其它的邻近块中搜索 根据视图间帧间预测编译的块，从而改善编译速率。
【专利附图】
【附图说明】
[0014] 图1是根据本发明被应用到的实施例的视频解码器的框图。
[0015] 图2图示根据本发明被应用到的实施例的运动矢量列表生成器的配置。
[0016] 图3是图示根据本发明被应用到的实施例的用于帧间预测多视图纹理图像方法 的图。
[0017] 图4是图示根据本发明被应用到的实施例的视图间运动矢量和参考视图运动矢 量的图。
[0018] 图5是图示根据本发明被应用到的实施例的使用深度数据推导当前纹理块的视 差矢量的方法的流程图。
[0019] 图6是图示根据本发明被应用到的实施例的推导视图间运动矢量的方法的流程 图。
[0020] 图7是图示根据本发明被应用到的实施例的空间邻近块的图。
[0021] 图8是图示根据本发明被应用到的实施例的时间邻近块的图。
[0022] 图9是图示根据本发明被应用到的实施例的使用参考视图间运动矢量信息的方 法的流程图。
[0023] 图10是图示根据本发明被应用到的实施例基于预测模式推导视图间运动矢量的 方法的流程图。
【具体实施方式】
[0024] 根据本发明的一个方面，提供了一种用于处理视频信号的方法，包括：在当前纹理 块的空间邻近块中搜索使用参考视图运动矢量编译的块；在候选者列表中存储与搜索的空 间邻近块的参考视图运动矢量相对应的参考视图间运动矢量；在当前纹理块的时间邻近块 中搜索使用参考视图运动矢量编译的块；在候选者列表中存储与搜索的时间邻近块的参考 视图运动矢量相对应的参考视图间运动矢量；使用存储在候选者列表中的参考视图间运动 矢量的一个推导当前纹理块的视图间运动矢量；以及使用推导的视图间运动矢量对当前纹 理块执行视图间帧间预测。
[0025] 根据本发明的另一个方面，提供了一种用于处理视频信号的设备，包括：视图间运 动矢量确定单元，其被配置成在当前纹理块的空间邻近块中搜索使用参考视图运动矢量编 译的块，在候选者列表中存储与搜索的空间邻近块的参考视图运动矢量相对应的参考视图 间运动矢量，在当前纹理块的时间邻近块中搜索使用参考视图运动矢量编译的块，以及在 候选者列表中存储与搜索的时间邻近块的参考视图运动矢量相对应的参考视图间运动矢 量，其中视图间运动矢量确定单元被配置成使用存储在候选者列表中的参考视图间运动矢 量的一个推导当前纹理块的视图间运动矢量，以及使用推导的视图间运动矢量对当前纹理 块执行视图间帧间预测。
[0026] 本发明的模式
[0027] 压缩或者解码多视图视频信号数据的技术考虑空间冗余、时间冗余和视图间冗 余。在多视图图像的情况下，在两个或更多个视图处捕获的多视图纹理图像可以被编译以 便产生三维图像。此外，对应于多视图纹理图像的深度数据可以根据需要被编译。可以考 虑到空间冗余、时间冗余或者视图间冗余压缩深度数据。深度数据是有关在相机和相应的 像素之间距离的信息。在本说明书中深度数据可以灵活地解释为深度相关的信息，诸如深 度信息、深度图像、深度图片、深度序列和深度比特流。此外，在本说明书中编译可以包括编 码和解码，并且可以在本发明的技术精神和技术范围中灵活地解释。
[0028] 图1是根据本发明被应用到的实施例的视频解码器的框图。
[0029] 参考图1，视频解码器可以包括NAL解析单元100、熵解码单元200、逆量化/逆变 换单元300、帧内预测单元400、环内滤波器单元500、解码图片缓存单元600和帧间预测单 元700。NAL解析单元100可以接收包括多视图纹理数据的比特流。此外，当深度数据是纹 理数据编译所必需的时候，NAL解析单元100可以进一步接收包括编码的深度数据的比特 流。输入纹理数据和深度数据可以作为一个比特流或者作为单独的比特流发送。
[0030] NAL解析单元100可以在NAL基础上执行解析以便解码输入的比特流。当输入的 比特流是多视图相关的数据（例如，3维视频）的时候，输入的比特流可以进一步包括相机 参数。相机参数可以包括内在相机参数和外在相机参数，并且内在相机参数可以包括焦距、 长宽比、主点等等，以及外在相机参数可以包括在全局坐标系中的相机位置信息等等。
[0031] 熵解码单元200可以经由熵解码提取量化的变换系数、用于纹理图片预测的编译 f目息等等。
[0032] 逆量化/逆变换单元300可以通过将量化参数应用于量化的变换系数获得变换系 数，并且通过逆变换该变换系数来解码纹理数据或者深度数据。在这里，根据预测，解码的 纹理数据或者深度数据可以包括残留数据。
[0033] 帧内预测单元400可以使用在当前的纹理图片中重建的纹理数据执行帧内预测。 用于帧间预测的编译信息可以包括帧内预测模式和帧内预测的分割信息。
[0034] 环内滤波器单元500可以将环内滤波器适用于每个编译块以便减小块失真。滤波 器可以平滑块的边缘以便改善解码的图片的质量。滤波的纹理图片可以输出或者存储在解 码图片缓存单元600中以用作参考图片。
[0035] 解码图片缓存单元600可以存储或者开放先前编译的纹理图片或者深度图片以 便执行帧间预测。为了在解码图片缓存单元600存储先前编译的纹理图片或者深度图片或 者开放该图片，可以使用每个图片的frame_num和图片顺序计数（POC)。
[0036] 帧间预测单元700可以使用存储在解码图片缓存单元600中的参考图片和运动信 息执行当前块的运动补偿。在本说明书中，从广义来说，运动信息可以包括运动矢量和参考 索引信息。此外，帧间预测单元700可以执行用于运动补偿的时间帧间预测。时间帧间预 测可以指的是使用参考图片和当前纹理块的运动信息的帧间预测，参考图片对应于与当前 纹理块相同的视图，同时对应于不同于当前纹理块的时间段。在通过多个相机捕获的多视 图图像的情况下，除了时间帧间预测之外，还可以执行视图间帧间预测。视图间帧间预测可 以指的是使用对应于不同于当前纹理块的视图的参考图片和当前纹理块的运动信息的帧 间预测。这将参考图3详细描述。
[0037] 为了方便起见，用于视图间预测的运动信息称为视图间运动矢量和视图间参考索 引信息。因此，在本说明书中运动信息可以灵活地解释为包括视图间运动矢量的信息和视 图间参考索引信息。将给出用于在帧间预测单元700中推导当前纹理块的运动信息，特别 地，运动矢量方法的描述。
[0038] 图2图示根据本发明被应用到的实施例的运动矢量列表生成器的配置。
[0039] 运动矢量列表生成器710可以被包括在解码器的帧间预测单元700中。运动矢量 列表生成器710可以包括列表初始化单元720、列表修正单元730和列表存储单元780。
[0040] 列表初始化单元720可以产生包括运动矢量候选者的运动矢量列表。在这里，运 动矢量候选者可以指的是当前纹理块的运动矢量集合，或者可以用作预测的运动矢量的运 动矢量。根据本发明的运动矢量候选者可以包括空间运动矢量、时间运动矢量和参考视图 运动矢量以及视图间运动矢量的至少一个。包括在运动矢量候选者中的空间运动矢量、 时间运动矢量、参考视图运动矢量和视图间运动矢量分别通过在运动矢量列表初始化单元 720中包括的空间运动矢量确定单元740、时间运动矢量确定单元750、参考视图运动矢量 确定单元760和视图间运动矢量确定单元770获取。
[0041] 空间运动矢量确定单元740可以从空间上邻近于当前纹理块的邻近块的运动矢 量推导空间运动矢量。例如，空间上相邻的邻近块可以对应于当前纹理块的左侧块、上侧 块、左下块、左上块和右上块的一个。当确定当前纹理块和邻近块具有相同的参考图片的时 候，具有相同参考图片的邻近块的运动矢量可以被添加到运动矢量列表。
[0042] 时间运动矢量确定单元750可以从时间上邻近于当前纹理块的邻近块的运动矢 量推导时间运动矢量。例如，时间上相邻的邻近块可以对应于并置块，或者邻近于当前纹理 块的并置块的块，并置块在与当前纹理块相同的视图相对应的参考图片内与当前纹理块在 相同的位置，并且位于不同于当前纹理块的时间段。在这里，包括时间邻近块的图片可以由 索引信息指定。
[0043] 参考视图运动矢量确定单元760可以从位于不同于当前纹理块的视图处的相应 块的运动矢量推导参考视图运动矢量。在这里，相应块可以是由当前纹理块的视图间运动 矢量表示的块。例如，在视图内的对应块可以使用当前纹理块的视图间运动矢量指定，并且 指定的块的运动矢量可以被设置为当前纹理块的参考视图运动矢量。
[0044] 视图间运动矢量确定单元770可以从a)当前纹理块的空间邻近块或者时间邻近 块的视图间运动矢量，b)在使用参考视图运动矢量的当前纹理块的邻近块的时间帧间预测 情况下，用于确定参考视图运动矢量的视图间运动矢量，和c)从与根据视图间帧间预测编 译的当前纹理块相对应的深度数据推导的视差矢量来推导表示当前纹理块的参考块的视 图间运动矢量。将参考图5至10描述根据本发明的推导视图间运动矢量的方法。
[0045] 由列表初始化单元720产生的运动矢量列表可以用作用于推导当前纹理块的运 动矢量最终运动矢量列表，并且可以经由列表修正单元730修正以除去运动矢量候选者的 冗余。例如，列表修正单元730可以检查在由列表初始化单元720产生的运动矢量列表中 的空间运动矢量是否是相同的。当相同的空间运动矢量存在的时候，列表修正单元730可 以从运动矢量列表中去除相同空间运动矢量的一个。此外，当在运动矢量列表中去除运动 矢量候选者的冗余之后，在运动矢量列表中剩余的运动矢量候选者的数目小于2的时候， 列表修正单元730可以添加零运动矢量。
[0046] 相反地，当在去除冗余运动矢量候选者之后，在运动矢量列表中剩余的运动矢量 候选者的数目大于2的时候，列表修正单元730可以从运动矢量列表中去除除了 2个运动 矢量候选者之外的运动矢量候选者。
[0047] 在这里，在运动矢量列表中剩余的2个运动矢量候选者可以是在运动矢量列表中 具有较低的列表标识索引的候选者。在这种情况下，分配给在运动矢量列表中包括的每个 运动矢量候选者的列表标识索引可以指的是用于标识每个运动矢量候选者的信息。
[0048] 列表存储单元780可以临时地存储由列表初始化单元720产生的运动矢量列表。 根据本发明的实施例，列表存储单元780可以存储由视图间运动矢量确定单元770确定的 参考视图间运动矢量的候选者列表。在这里，候选者列表可以包括对应于参考视图运动矢 量的参考视图间运动矢量。将参考图4详细描述候选者列表。列表存储单元780是一个选 项，而不是运动矢量列表生成器710的必要要素，并且可以包括在列表初始化单元720,或 者诸如空间运动矢量确定单元740的每个运动矢量确定单元中。
[0049] 将给出用于从在帧间预测单元700中的运动矢量列表中推导当前纹理块的运动 矢量方法的描述。
[0050] 有关当前纹理块的运动矢量标识信息可以从比特流中提取。运动矢量标识信息可 以是指定用作当前纹理块的运动矢量或者预测的运动矢量的运动矢量候选者的信息。也就 是说，与提取的运动矢量标识信息相对应的运动矢量候选者可以从运动矢量列表中提取， 并且被设置为当前纹理块的运动矢量或者预测的运动矢量。当与运动矢量标识信息相对应 的运动矢量候选者被设置为当前纹理块的预测的运动矢量的时候，运动矢量差分值可用于 重建当前纹理块的运动矢量。在这里，运动矢量差分值可以表示在解码的运动矢量和预测 的运动矢量之间的差分矢量。因此，当前纹理块的运动矢量可以使用从运动矢量列表获得 的预测的运动矢量和从比特流提取的运动矢量差分值解码。
[0051] 当前纹理块的像素值可以使用解码的运动矢量和参考图片列表预测。参考图片列 表不仅可以包括用于时间帧间预测的参考图片，而且可以包括用于视图间帧间预测的参考 图片。现在将参考图3描述用于时间帧间预测的参考图片和用于视图间帧间预测的参考图 片。
[0052] 参考图3,当编译多视图视频图像的时候，先前恢复的图像可以由与当前编译的图 像相同视图的图像和对应于不同的视图的图像（VptJ组成。在这种情况 下，被参考以便于预测当前纹理块的参考图片的视图与当前处理的图像的视图（％，相 同的情形被称为运动补偿的预测，而参考图片的视图（％，不同于当前处理的图像的视 图的情况被称为视差补偿的预测。可以对于多视图视频执行DCP和MCP。
[0053] 返回参考图2,视图间运动矢量可以从空间视图间运动矢量、时间视图间运动矢 量、视差矢量和参考视图间运动矢量选择出来的一个中推导。
[0054] 将参考图4给出关于视图间预测的视图间运动矢量和参考视图运动矢量的描述。
[0055] 参考图4,在多视图视频的帧间预测中，在不同于当前编译的图像㈧，的当前 纹理块（x，y)的视图中包括的图像（VptD中的相应的块（x'，y'）可以用于帧间预测。在 这里，在当前纹理块（x，y)中表示不同的视图Vl的相应的块（x'，y'）的矢量410可以定 义为视图间运动矢量。由视图间运动矢量表示的不同的视图的相应的块（x'，y'）的运动 矢量420可以被设置为当前纹理块的参考视图运动矢量430,并且用于帧间预测。
[0056] 将给出用于推导用于视图间帧间预测的视图间运动矢量方法的详细描述。首先， 现在将描述用于推导空间视图间运动矢量、时间视图间运动矢量、视差矢量和参考视图间 运动矢量的方法。
[0057] 第一，根据本发明的空间视图间运动矢量可以从在当前纹理块的空间邻近块之中 根据视图间帧间预测编译的邻近块的运动矢量推导。换句话说，空间视图间运动矢量可以 使用在当前纹理块的空间邻近块之中具有视图间运动矢量的邻近块推导。
[0058] 第二，本发明的时间视图间运动矢量可以从在当前纹理块的时间邻近块之中根据 视图间帧间预测编译的邻近块的运动矢量推导。换句话说，时间视图间运动矢量可以使用 在当前纹理块的时间邻近块之中具有视图间运动矢量的邻近块推导。在这里，时间邻近块 可以指的是在具有与包括当前纹理块的当前的图片相同视图的参考图片中当前纹理块的 并置块，和/或邻近于当前纹理块的块。
[0059] 第三，本发明的视差矢量可以表示在多视图图像中的视图间视差。在多视图图像 的情况下，根据相机位置的视图间视差可以被产生，并且视差矢量可以补偿视图间视差。推 导视差矢量的方法参考图3描述。
[0060] 第四，本发明的参考视图间运动矢量可以从用于确定参考视图运动矢量的视图间 运动矢量推导。换句话说，在使用参考视图运动矢量的当前纹理块的空间邻近块或者时间 邻近块的时间帧间预测的情况下，对应于参考视图运动矢量的视图间运动矢量可以被认为 是参考视图间运动矢量。
[0061] 图5是图示根据本发明被应用到的实施例的使用深度数据用于推导当前纹理块 的视差矢量方法的流程图。
[0062] 参考图5,可以获得当前纹理块的深度数据，其表示有关在相机和对象之间距离的 信息（S510)。特别地，像深度比特流、深度序列、深度图片等等的深度数据可以分别从纹理 图像发送，或者随着相应的纹理图像被编译和发送。因此，当前纹理块的深度数据可以根据 传输方案获得。在当前的深度块包括多个像素的时候，可以使用对应于当前纹理块的角部 像素的深度数据。否则，可以使用对应于当前纹理块的中心像素的深度数据。可替选地，在 对应于多个像素的多条深度数据之中的最大值、最小值和模式的一个可以有选择地使用， 并且可以使用多条深度数据的平均值。当前纹理块的视差矢量可以使用获得的深度数据和 相机参数推导出（S520)。现在将参考公式1和2描述推导当前纹理块的视差矢量的方法。
[0063] [公式 1]
【权利要求】
1. 一种用于处理视频信号的方法，包括： 在当前纹理块的空间邻近块中搜索使用参考视图运动矢量编译的块； 在候选者列表中，存储与所述搜索的空间邻近块的参考视图运动矢量相对应的参考视 图间运动矢量； 在所述当前纹理块的时间邻近块中搜索使用参考视图运动矢量编译的块； 在所述候选者列表中，存储与所述搜索的时间邻近块的参考视图运动矢量相对应的参 考视图间运动矢量； 使用存储在所述候选者列表中的参考视图间运动矢量的一个推导所述当前纹理块的 视图间运动矢量；以及 使用所述推导的视图间运动矢量对所述当前纹理块执行视图间帧间预测。
2. 根据权利要求1所述的方法，其中，仅当根据视图间帧间预测编译的块在所述空间 邻近块和所述时间邻近块中不存在时，执行使用存储在所述候选者列表中的参考视图间运 动矢量的一个推导所述当前纹理块的所述视图间运动矢量。
3. 根据权利要求1所述的方法，其中，使用存储在所述候选者列表中的参考视图间运 动矢量的一个推导所述当前纹理块的所述视图间运动矢量包括：使用最初存储在所述候选 者列表中的参考视图间运动矢量推导所述当前纹理块的所述视图间运动矢量。
4. 根据权利要求1所述的方法，进一步包括： 检查所述当前纹理块的预测模式；以及 当所述预测模式是跳过模式时，存储所述推导的视图间运动矢量， 其中，所述存储的视图间运动矢量被重用以推导另一个纹理块的视图间运动矢量。
5. 根据权利要求1所述的方法，其中，所述空间邻近块包括所述当前纹理块的左下邻 近块、左侧邻近块、右上邻近块、上侧邻近块和左上邻近块的至少一个。
6. 根据权利要求1所述的方法，其中，所述时间邻近块包括所述当前纹理块的并置块 和包括与所述并置块相邻的邻近块的编译块中的至少一个。
7. 根据权利要求1所述的方法，其中，所述参考视图间运动矢量是当使用所述参考视 图运动矢量推导所述空间邻近块和所述时间邻近块的至少一个时与参考视图运动矢量相 对应的视图间运动矢量。
8. -种用于处理视频信号的设备，包括： 视图间运动矢量确定单元，所述视图间运动矢量确定单元被配置成在当前纹理块的空 间邻近块中搜索使用参考视图运动矢量编译的块，在候选者列表中存储与所述搜索的空间 邻近块的参考视图运动矢量相对应的参考视图间运动矢量，在所述当前纹理块的时间邻近 块中搜索使用参考视图运动矢量编译的块，以及在所述候选者列表中存储与所述搜索的时 间邻近块的参考视图运动矢量相对应的参考视图间运动矢量， 其中，所述视图间运动矢量确定单元被配置成使用存储在所述候选者列表中的参考视 图间运动矢量的一个推导所述当前纹理块的视图间运动矢量，以及使用所述推导的视图间 运动矢量对所述当前纹理块执行视图间帧间预测。
9. 根据权利要求8所述的设备，其中，仅当根据视图间帧间预测编译的块在所述空间 邻近块和所述时间邻近块中不存在时，所述视图间运动矢量确定单元推导所述当前纹理块 的所述视图间运动矢量。
10. 根据权利要求8所述的设备，其中，所述视图间运动矢量确定单元使用最初存储在 所述候选者列表中的参考视图间运动矢量推导所述当前纹理块的所述视图间运动矢量。
11. 根据权利要求8所述的设备，其中，所述视图间运动矢量确定单元被配置成检查所 述当前纹理块的预测模式，并且当所述预测模式是跳过模式时，存储所述推导的视图间运 动矢量， 其中，所述存储的视图间运动矢量被重用以推导另一个纹理块的视图间运动矢量。
12. 根据权利要求8所述的设备，其中，所述空间邻近块包括所述当前纹理块的左下邻 近块、左侧邻近块、右上邻近块、上侧邻近块和左上邻近块中的至少一个。
13. 根据权利要求8所述的设备，其中，所述时间邻近块包括所述当前纹理块的并置块 和包括与所述并置块相邻的邻近块的编译块中的至少一个。
14. 根据权利要求8所述的设备，其中，所述参考视图间运动矢量是当使用所述参考视 图运动矢量推导所述空间邻近块和所述时间邻近块中的至少一个时与参考视图运动矢量 相对应的视图间运动矢量。
15. -种非临时计算机可读记录介质，所述非临时计算机可读记录介质存储权利要求 1的用于处理视频信号的方法。
【文档编号】H04N19/52GK104429078SQ201380036652
【公开日】2015年3月18日 申请日期:2013年7月9日 优先权日:2012年7月10日
【发明者】具文模, 郑志旭, 芮世薰, 许镇, 金兑燮, 成宰源, 孙银庸 申请人:Lg 电子株式会社