视频信号处理方法和设备的制造方法_2

文档序号:9402451阅读:来源:国知局
首先,为了解码接收的深度比特流200,按照NAL来解析深度比特流200。在这里, 可将关于深度的各种类型的属性信息包括在NAR报头区、NAL报头的扩展区、序列报头区 (例如序列参数集)、序列报头的扩展区、图片报头区(例如图片参数集)、图片报头的扩展 区、片报头区、片报头的扩展区、片数据区或宏块区中。虽然可使用单独的编解码器来执行 深度编译,但如果实现与现有编解码器的兼容,则仅在深度比特流的情况下添加关于深度 的属性信息可能更加高效。例如,可以将用于识别深度比特流的深度识别信息添加到序列 报头区(或序列参数集)或序列报头的扩展区。根据深度识别信息,只有当输入比特流是 深度编译比特流时,才能添加关于深度序列的属性信息。
[0041] 通过熵解码单元210对已解析的深度比特流200进行熵解码,并提取每个宏块的 系数、运动向量等。逆量化单元220将接收到的量化值乘以预定常数,从而获得变换系数, 并且逆变换单元230对该系数进行逆变换以恢复深度图片的深度信息。帧内预测单元270 使用当前深度图片的已恢复的深度信息来执行帧内预测。去块滤波器单元240对每个编译 的宏块应用去块滤波以便减少块失真。去块滤波单元通过对块的边缘进行平滑化来改善解 码的帧的纹理。根据边界强度和关于边界的图像样本梯度来选择滤波过程。输出滤波的深 度图片或存储在解码图片缓冲单元250中以用作参考图片。
[0042] 解码图片缓冲单元250存储或打开先前编译的深度图片以用于帧间预测。在这 里,为了将已编译的深度图片存储在解码图片缓冲单元250中或者打开存储的编码的深度 图片,使用每个图片的frame_n Um(帧_编号)和P0C(图片顺序计数)。由于先前编译的图 片可包括不同于当前深度图片的与视图相对应的深度图片,所以可以使用用于识别深度图 片的视图的深度视图信息以及frame_n Um和POC以便在深度编译中使用先前编译的图片作 为参考图像。
[0043] 另外,解码图片缓冲单元250可使用深度视图信息以便生成用于深度图片的视图 间预测的参考图像列表。例如,解码图片缓冲单元250可以使用深度视图参考信息。深度 视图参考信息指的是用来指示深度图片的视图之间的相关性的信息。例如,深度视图参考 信息可包括深度视图的数目、深度视图识别号、深度视图参考图片的数目、深度视图参考图 片的深度视图识别号等。
[0044] 解码图片缓冲单元250管理参考图片以便实现更灵活的帧间预测。例如,可以使 用存储器管理控制操作法和滑动窗口法。参考图片管理将参考图片存储器和非参考图片存 储器统一到一个存储器中并管理该统一存储器,从而用小容量存储器实现高效的管理。在 深度编译中,可以将深度图片单独地标记以与解码图片缓冲单元中的彩色图片区别开,并 且可以在标记过程中使用用于识别每个深度图片的信息。可以将通过上述程序管理的参考 图片用于帧间预测单元260中的深度编译。
[0045] 参考图2,帧间预测单元260可包括运动补偿单元261、虚拟视图合成单元262和 深度图片生成单元263。
[0046] 运动补偿单元261使用从熵解码单元210发送的信息来补偿当前块的运动。运动 补偿单元261从视频信号提取当前块的相邻块的运动向量并获取当前块的运动向量预测 值。运动补偿单元261使用运动向量预测值和从视频信号提取的差分向量来补偿当前块的 运动。可以使用一个参考图片或多个图片来执行运动补偿。在深度编译中,在当前深度图 片指代不同视图的深度图片时,可以使用关于用于存储在解码图片缓冲单元250中的深度 图片的视图间预测的参考图片列表的信息来执行运动补偿。此外,可使用用于识别深度图 片的视图的深度视图信息来执行运动补偿。
[0047] 虚拟视图合成单元262使用当前彩色图片的视图的相邻视图的彩色图片来合成 虚拟视图的彩色图片。为了使用相邻视图的彩色图片或使用期望的特定视图的彩色图片, 可以使用指示彩色图片的视图的视图识别信息。当生成虚拟视图的彩色图片时,可以定义 指示是否生成虚拟视图的彩色图片的标志信息。当该标志信息指示虚拟视图的彩色图片的 生成时,可以使用视图识别信息来生成虚拟视图的彩色图片。可使用通过虚拟视图合成单 元262获取的虚拟视图的彩色图片作为参考图片。在这种情况下,可以向虚拟视图的彩色 图片分配视图识别信息。
[0048] 在另一实施例中,虚拟视图合成单元262可以使用与当前深度图片的视图的相邻 视图相对应的深度图片来合成虚拟视图的深度图片。在这种情况下,可以使用指示深度图 片的视图的深度视图识别信息。在这里,可以从相应彩色图片的视图识别信息导出深度视 图识别信息。例如,相应的彩色图片可以具有与当前深度图片相同的图片输出顺序信息和 相同的视图识别信息。
[0049] 深度图片生成单元263可以使用深度编译信息来生成当前深度图片。在这里,深 度编译信息可包括指示相机与对象之间的距离的距离参数(例如相机坐标系上的Z坐标值 等)、用于深度编译的宏块类型信息、用于识别深度图片中的边界的信息、指示RBSP中的数 据是否包括深度编译数据的信息、指示数据类型是否是深度图片数据的信息、彩色图片数 据或视差数据等。另外,可使用深度编译信息来预测当前深度图片。也就是说,可以执行使 用当前深度图片的相邻深度图片的帧间预测,并且可以执行使用当前深度图片中的解码的 深度信息的帧内预测。
[0050] 本发明提出了一种获得视图间运动向量以用于解码当前块的方法。将参考图3给 出使用视图间运动向量解码当前块的过程的描述。
[0051] 图3是图示出根据本发明被应用于的实施例的对当前块进行解码的示例性方法 的流程图。
[0052] 可获得当前块的视图间运动向量(S310)。视图间运动向量可以指代指示参考视图 中的参考块的运动向量,参考块由当前视图中的当前块参考。可从相邻块导出或使用深度 值来获得视图间运动向量。稍后将参考图4至11来描述获得视图间运动向量的方法。
[0053] 可获得当前块的运动向量候选列表,其包括视图间运动向量(S320)。该运动向量 候选列表可包括至少一个运动向量。运动向量候选是可以用来获得当前块的运动向量且可 以使用当前块的时间和空间相关来获得的运动向量。运动向量候选可包括用于使用对应于 与当前块相同的视图和与当前块不同的时间的参考图片对当前块进行编译的时间运动向 量,以及用于使用对应于与当前块不同的视图并且与当前块相同的时间的参考图片对当前 块进行编译的视图间运动向量。运动向量候选可以包括在步骤S310中获得的视图间运动 向量。
[0054] 可通过获取运动向量候选并且从获取的运动向量候选消除相同的运动向量候选 来获得运动向量候选列表。当运动向量候选的数目小于运动向量候选列表的可用运动向量 候选的预定最大数目时,可以通过向其添加零向量或预定运动向量候选来获得运动向量候 选列表。
[0055] 可使用运动向量候选列表中的运动向量中的一个对当前块进行解码(S330)。例 如,可以使用运动向量索引来获得运动向量候选列表中的运动向量中的一个作为当前块的 运动向量。
[0056] 可使用当前块的运动向量来获得当前块的参考视图块。可使用参考视图块的像素 值来获得当前块的预测值。
[0057] 可以将在步骤S310中获得的视图间运动向量包括在关于图3描述的运动向量候 选列表中以不仅用于对当前块进行编码,而且用于残差预测和视图合成预测(VSP)。
[0058] 例如,使用残差预测解码当前块,并且可以对其使用视图间运动向量。残差预测用 于使用参考块的残差来获得当前块的残差。可以使用由视图间运动向量所指示的参考块的 残差来获得当前块的残差。
[0059] 替换地,使用视图合成预测来解码当前块,并且可以对其使用视图间运动向量。视 图合成预测指代使用参考视图的纹理图片和当前视图或参考视图的深度图片来生成虚拟 参考图片,以便获得当前块的预测值的预测方法。可以使用视图间运动向量来生成虚拟参 考图片。
[0060] 将参考图4至6给出获得被用来解码当前块的视图间运动向量的第一和第二实施 例的描述。
[0061] 图4是图示出根据本发明的获得视图间运动向量的第一和第二实施例的流程图。
[0062] 可以检查是否可以使用当前深度块的深度值来获得视图间运动向量(S311-1)。在 这里,当前深度块是对应于当前块的深度块。例如,可以通过检查是否可以使用当前深度块 的深度值来确定是否使用当前深度块的深度值来获得视图间运动向量。在当前深度块已被 编译且因此可以使用当前深度块时,可以确定通过第一实施例使用当前深度块的深度值来 获得视图间运动向量。相反地,在当前深度未被编译且因此不能使用当前深度块时,可以确 定不使用当前深度块的深度值获得视图间运动向量。当不
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1