视频数据解码方法和视频数据解码设备的制造方法
【技术领域】
[0001] 本发明涉及用于解码视频数据的方法和设备。
【背景技术】
[0002] 3D视频向用户提供3D效果，以便通过3D立体显示装置看到和感觉到真实性。在 该关系中，由关于3D视频编码扩展开发的联合协作组（其是IS0/IEC的运动画面专家组 (MPEG)和ITU-T的视频编码专家组（VCEG)的联合标准化组）对3D视频标准的研宄正在进 行中。3D视频标准包括支持使用真实图像及其深度图的裸眼立体（autostereoscopic)图 像以及立体图像的再现的先进数据格式的标准、以及与其相关的技术。
【发明内容】
[0003] 技术问题
[0004] 本发明的目的是提供可容易地从3D视频数据产生运动数据的用于解码视频数据 的方法和设备。
[0005] 本发明的另一目的是提供可在视频数据的编码或解码中增加数据处理效率的、用 于解码视频数据的方法和设备。
[0006] 本发明的另一目的是提供可在视频数据的编码或解码中增加存储效率并降低复 杂度的、用于解码视频数据的方法和设备。
[0007] 技术方案
[0008] 在本发明的一个实施例中，一种用于解码视频数据的方法包括：接收包括多视图 视频数据和与该视频数据对应的深度数据的编码后视频数据；从深度数据获取用于编码后 视频数据的编码单元的视图间预测的运动数据，并基于该运动数据执行视图间预测；和基 于该运动预测根据包括编码单元的多视图视频数据和深度数据来恢复视频数据。
[0009] 该运动数据可基于编码单元所参考的深度图画面、以及编码单元的最左上样本、 最右上样本、最左下样本和最右下样本的位置信息的至少一个来计算。
[0010] 该运动数据可进一步使用深度图画面的视图标识符或包括编码单元的画面的视 图标识符来计算。
[0011] 该运动数据可使用该编码单元所参考的深度图画面中的深度值的最大视差来计 算。
[0012] 所述视频数据的恢复可包括根据视频数据和与该视频数据对应的深度数据输出 解码样本。
[0013] 该编码单元可包括宏块，或者包括高效视频编码（HEVC)中定义的编码单元、预测 单元和变换单元之一。
[0014] 所述运动数据的获取可包括使用该编码单元所参考的深度图画面中包括的深度 值来计算与该编码单元相邻的编码单元的运动数据。
[0015] 在本发明的另一实施例中，一种用于解码视频数据的系统包括：接收单元，用于接 收并解析包括多视图视频数据和与该视频数据对应的深度数据的编码后视频数据；预测单 元，用于从深度数据获取用于编码后视频数据的编码单元的视图间预测的运动数据，并基 于该运动数据执行视图间预测；和恢复单元，用于基于该运动预测根据包括编码单元的多 视图视频数据和深度数据来恢复视频数据。
[0016] 有利效果
[0017] 根据本发明，可从视频数据容易地计算运动数据。
[0018] 根据本发明，提供可在视频数据的编码或解码中增加视频数据处理效率的、用于 解码视频数据的方法和设备。
[0019] 根据本发明，在视频数据的编码或解码中可增加存储效率并可降低复杂度。
[0020] 根据本发明，当使用基于深度的运动向量预测（DMVP)方法时，随机区域中的多个 块共同使用一个深度值以便导出运动数据，并由此可大大降低对于深度图块的深度值的访 问次数，由此大大增加存储效率并降低复杂度。
【附图说明】
[0021] 图1是图示了 3D视频系统的基本结构和数据格式的图；
[0022] 图2 (a)和2 (b)是图示了在ISO的MPEG的3D视频编码标准中使用的"气球"图 像及其深度图的图；
[0023] 图3是图示了 H. 264的编码结构的一个示例的图；
[0024] 图4是图示了 H. 264的解码结构的一个示例的图；
[0025] 图5是图示了根据一个实施例的3D视频编码器/解码器的图；
[0026] 图6是示例性图示了视频数据和深度数据之间的参考关系的图；
[0027] 图7是图示了根据一个实施例的通过与当前块相邻的周围块的运动数据的类推 (analogy)的图；
[0028] 图8是图示了根据本发明一个实施例的16X16块的图；
[0029] 图9是图示了将16X16块划分为8X8块的一个示例的图；
[0030] 图10是图示了将16X 16块划分为4X4块的一个示例的图；
[0031] 图11是图示了根据一个实施例的增强图像数据的存储效率的方法的图；
[0032] 图12是图示了根据一个实施例的使用深度值推导运动数据的处理的图；
[0033] 图13是图示了根据一个实施例的从与当前块（真实图像中的块）对应的深度图 块获取深度值的位置的图；
[0034] 图14是图示了将16X 16块划分为4X4块的一个示例的图；
[0035] 图15是图示了将16X16块划分为4X4块的另一示例的图；
[0036] 图16是图不了将16X 16块划分为具有随机不同形状的多个块的一个不例的图；
[0037] 图17是图示了将16X16块划分为具有相同形状的多个块的一个示例的图；
[0038] 图18是图示了根据一个实施例的当前块X所执行的视图间预测的图；
[0039] 图19是图示了画面单元中的代表性深度值的一个示例的图；
[0040] 图20是图示了如果给定CU(或TU)深度是2、根据本发明实施例的应用范围确定 方法的一个不例的表格；
[0041] 图21是示例性图示了根据本发明一个实施例的视频数据解码方法的图；
[0042] 图22是示例性图示了根据本发明一个实施例的解码系统的图；
[0043] 图23是示例性图示了根据本发明一个实施例的编码方法的图；和
[0044]图24是示例性图示了根据本发明一个实施例的编码系统的图。
【具体实施方式】
[0045]其后，将参考附图来描述本发明的实施例。
[0046] 图1是图示了3D视频系统的基本结构和数据格式的图。
[0047] 图1中示出了 3D视频标准中考虑的基本3D视频系统。发射器方使用立体相机、 深度信息相机和其他相机、以及2D图像到3D图像的转换，来获取N视点图像内容（N多2)。 获取的图像内容可包括N视点视频信息、其深度图信息、以及与相机相关的附加信息。使用 视频编码方法来压缩N视点图像内容，并且将压缩的比特流通过网络传送到终端。
[0048]接收器方通过使用视频解码方法解码所接收的比特流，来恢复N视点图像。所恢 复的N视点图像通过基于深度图像的渲染（DIBR)来生成N视点或更多的虚拟视点图像。生 成的N视点或更多的虚拟视点图像根据各种立体显示系统再现，由此向用户提供具有3D效 果的图像。
[0049]在虚拟视点图像的生成中使用的深度图将相机和真实图像之间的真实距离（在 和真实图像相同的分辨率处的与每一像素对应的深度信息）表达为指定的比特数。
[0050]作为深度图的一个示例，图2(a)和2 (b)图示了在ISO的MPEG的3D视频编码标 准中使用的"气球"图像及其深度图。图2(b)的深度图可将其中示出的深度信息表达为每 像素8个比特。
[0051] 图2(a)图示了"气球"图像的真实图像，而图2(b)分别图示了"气球"图像的深 度图。
[0052]作为编码真实图像及其深度图的一种方法，可使用MPEG-4部分10先进视频编码 (H. 264/AVC)(即，已向数据开发的视频编码标准之中的、具有最高编码效率的视频编码方 法），并且图3中示出了 H. 264的编码结构的一个示例。
[0053] 图3是图示了 H. 264的编码结构的一个示例的图。
[0054] 在H. 264的编码结构中，处理数据的单元可以是具有16X16像素的尺寸的宏块， 并接收数据，按照帧内模式或帧间模式执行编码，并输出比特流。
[0055]在帧内模式中，将开关变换为帧内模式，而在帧间模式中，将开关变换为帧间模 式。作为编码处理的主流，首先生成输入块图像的预测块，计算输入块和预测块之间的差 另1J，并编码该差别。
[0056]首先，根据帧内模式和帧间模式执行预测块的生成。在帧内模式中，使用在帧内预 测处理期间已预先编码的周围像素值通过空间预测来生成预测块，并且在帧间模式中，通 过在移动预测处理期间搜索参考图像缓冲器中存储的与输入块最佳匹配的参考图像的区 域而计算运动向量、并使用计算的运动向量执行运动补偿，来生成预测块。然后，按照相同 方式，通过计算输入块和预测块之间的差别来生成残差块，并然后执行残差块的编码。一般 将块编码划分为帧内模式和帧间模式。根据预测块的尺寸，帧内模式可被划分为16X 16、 8X8、和4X4帧内模式，帧间模式可被划分为16X16、16X8、8X 16、和8X8帧间模式，并且 8X8帧间模式可被划分为8X8、8X4、4X8、和4X4子帧间模式。
[0057] 按照变换、量化和熵编码的顺序来执行残差块的编码。首先，按照16X16帧内 模式编码的块执行残差块的变换、输出变换系数，执行输出变换系数之中的仅DC系数的 Hadamard变换，并输出Hadamard变换系数。在按照除了 16 X 16帧内模式之外的其他编码 模式编码的块的情况下，接收输入残差块，执行该块的变换，并输出变换系数。然后，在量化 处理中，根据量化参数来量化输入变换系数，并然后输出量化的系数。此外，在熵编码处理 中，执行根据概率分布的输入量化后系数的熵编码，并输出编码的系数作为比特流。
[