深度信令数据的制作方法
【技术领域】
[0001]本发明涉及用于提供三维[3D]视频信号以供传送到3D目的地设备的3D源设备。3D视频信号包括表示3D显示器上的左眼视图的第一视频信息和表示3D显示器上的右眼视图的第二视频信息。3D目的地设备包括用于接收3D视频信号的接收机和用于提供目的地深度图以使得能够形变(warp)用于3D显示器的视图的目的地深度处理器。3D源设备包括用于生成3D视频信号和用于将3D视频信号传送到3D目的地设备的输出单元。
[0002]本发明还涉及提供3D视频信号以供传送到3D目的地设备的方法。
[0003]本发明涉及在源设备(例如广播方、互联网网站服务器、创作系统、蓝光盘制造商，等等)处生成3D视频信号并将其传送到需要深度图以用于呈现多个视图的3D目的地设备(例如蓝光盘播放器、3D电视机、3D显示器、移动计算设备，等等)的领域。
【背景技术】
[0004]文献“Real-time free-viewpoint viewer from multiview video plus depthrepresentat1n coded by H.264/AVC MVC extens1n (来自根据 H.264/AVC MVC 扩展编码的多视图视频加深度表示的实时自由视点观看器)，by Shinya Shimizu, HideakiKimata, andYoshimitsu Ohtani, NTT Cyber Space Labortories, NTT corporat1n(NTT网络空间实验室，NTT公司)，3DTV-C0N, IEEE 2009”除了描述MPEG编码视频传送信号，还描述了 3D视频技术，尤其是用于将深度图纳入视频格式中的多视图编码(MVC)扩展。用于纳入深度图视频编码的MVC扩展允许构建表示具有相关的多个补充视图(即深度图视图)的多个视图的比特流。根据该文献，可以将深度图添加到具有表示3D显示器上的左眼视图的第一视频信息和表示3D显示器上的右眼视图的第二视频信息的3D视频数据流。在解码器侧的深度图使得能够生成除了左右视图以外的、例如用于自动立体感显示的另外的视图。
【发明内容】
[0005]视频材料可以被提供有深度图。另外，有许多现有3D视频材料并不具有深度图数据。对于这样的材料，目的地设备可以具有用于基于第一和第二视频信息来生成所生成的深度图的立体到深度转换器。
[0006]本发明的目的是提供用于提供深度信息并传送该深度信息的、对于增强3D视频呈现来说更为灵活的系统。
[0007]为此目的，根据本发明的第一方面，如开头段落中描述的源设备包括用于提供深度信令数据的源深度处理器，该深度信令数据表示用于使目的地深度图或视图的形变适配于3D显示器的处理条件，并且输出单元布置用于将该深度信令数据包括在3D视频信号中。
[0008]该方法包括:生成3D视频信号；提供深度信令数据，该深度信令数据表示用于使目的地深度图或视图的形变适配于3D显示器的处理条件；以及将深度信令数据包括在3D视频信号中。
[0009]3D视频信号包括深度信令数据，该深度信令数据表示用于使目的地深度图或视图的形变适配于3D显示器的处理条件。
[0010]在目的地设备中，接收机布置用于从3D视频信号获取深度信令数据。目的地深度处理器布置用于根据该深度信令数据而使目的地深度图或视图的形变适配于3D显示器。
[0011]这些措施具有以下效果:使得目的地设备能够使用3D视频信号中的深度信令数据而使目的地深度图或视图的形变适配于3D显示器。因此，在可用之时和可用之处，深度信令数据被应用来增强目的地深度图或形变。有效地，在源的控制之下向目的地设备提供附加深度信令数据，例如处理参数或指令，该数据使得源能够控制和增强在3D显示器中基于目的地深度图形变视图。
[0012]有利地，在处理资源可用并且离线生成被允许的源处，生成深度信令数据。因为针对相应的显示器优化了深度图和视图的形变，所以降低了目的地侧的处理要求并且增强了3D效果。
[0013]本发明还基于以下认识。发明人已经看到，在目的地侧的深度图处理或生成以及后续的视图形变通常提供非常令人愉快的结果。然而，鉴于3D显示器的能力(诸如在不同深度处的图像的锐度)，在一些时刻或位置，可以通过操纵深度(例如通过向目的地深度图应用偏移量)来将实际视频内容更好地展现给观众。可以在源处预见用于在特定3D显示器处的这样的操纵的需求、量和/或参数，并且将所述深度信令数据添加作为处理条件使得能够在目的地侧增强深度图或视图形变，同时限制必须传送的深度信令数据的量。
[0014]可选地，在3D源设备中，源深度处理器布置用于提供深度信令数据作为处理条件，该深度信令数据包括以下各项中的至少一个:偏移量、增益、缩放的类型、边缘的类型。当该偏移量应用于目的地深度图时，相对于显示器的平面向后或向前有效地移动对象。有利地，发信号通知该偏移量使得源侧能够将重要对象移动到靠近3D显示器平面的位置。当该增益应用于目的地深度图时，离开或朝向3D显示器的平面有效地移动对象。有利地，发信号通知该增益使得源侧能够控制重要对象相对于3D显示器平面的移动，即图片中深度的量。该缩放的类型指示深度图中的值将如何转换成当形变视图时将要使用的实际值(例如双线性缩放、双三次缩放)或如何适配视角锥(viewing cone)。深度信息中的该边缘的类型指示3D视频中对象的属性，比如，例如来自从计算机生成的内容推导的深度的锐利边缘、例如来自自然源的软边缘、例如来自经处理的视频材料的模糊边缘、等等。有利地，当处理目的地深度数据以用于形变视图时可以使用3D视频的属性。
[0015]可选地，源深度处理器布置用于根据3D视频信号中的镜头来提供针对一段时间的深度信令数据。有效地，深度信令数据应用于具有相同的3D配置(例如特定摄像机和缩小放大(zoom)配置)的一段时间的3D视频信号。通常该配置在视频节目的一个镜头期间基本上稳定。镜头边界可以是已知的或者可以容易地在源侧检测到，并且有利地，针对对应于该镜头的时间段来装配一组深度信令数据。
[0016]可选地，源深度处理器布置用于提供包括感兴趣区域的区域数据的深度信令数据作为处理条件，以使得能够在3D显示器的优选深度范围内显示该感兴趣区域。有效地，该感兴趣区域由被假定成吸引了观众注意力的3D视频材料中的元素或对象构成。感兴趣区域可以是已知的或者可以容易地在源侧检测到，并且有利地，装配一组深度信令数据以用于指示对应于该感兴趣区域的位置、区块或深度范围，这使得视图的形变能够适配于靠近3D显示器的最优深度范围(例如靠近显示器平面)而显示感兴趣区域。
[0017]可选地，源深度处理器还可以布置用于根据感兴趣区域的变化超过预定阈值(诸如面部的深度位置的实质性变化)来更新区域数据。此外，源深度处理器还可以布置用于提供指示感兴趣区域的深度范围的区域深度数据，作为区域数据。区域深度数据使得目的地设备能够形变视图同时将这样的深度范围中的对象移动到3D显示器设备的优选深度范围。源深度处理器还可以布置用于提供指示与3D视频信号中的至少一个宏块对齐的感兴趣区域区块的面积的区域面积数据，作为区域数据，该宏块表示压缩视频数据的预定块。这样的区域面积数据将被高效地编码和处理。
[0018]可选地，3D视频信号包括深度数据。源深度处理器还可以布置用于提供包括深度数据类型的深度信令数据作为处理条件，该处理条件被应用于目的地深度图以用于调整视图的形变。深度数据类型可以包括以下各项中的至少一个:
-指示基于聚焦数据生成的深度数据的聚焦指示符；
-指示基于透视数据生成的深度数据的透视指示符；
-指示基于运动数据生成的深度数据的运动指示符；
-指示源自特定源的深度数据的源指示符；
-指示由特定算法处理的深度数据的算法指示符；
-指示在深度数据中的对象的边界处使用的扩张的量的扩张指示符。各个指示符使得在目的地侧的深度处理器能够相应地解释和处理3D视频信号中包括的深度数据。
[0019]在所附的权利要求中给出了根据本发明的设备和方法的另外的优选实施例，其公开内容通过引用合并于此。
【附图说明】
[0020]根据在下面的描述中作为示例描述的实施例和附图，本发明的这些和其他方面将是显而易见的，并且进一步参考在下面的描述中作为示例描述的实施例以及参考附图，本发明的这些和其他方面被阐明，在附图中:
图1示出用于处理3D视频数据和显示该3D视频数据的系统；
图2示出使用深度信令数据的3D解码器；
图3示出提供深度信令数据的3D编码器；
图4示出自动立体显示设备和形变多个视图；
图5不出双视图立体显不设备和形变增强的视图；
图6示出3D视频信号中的深度信令数据；
图7示出3D视频信号中的感兴趣区域深度信令数据；
图8示出用于多个3D显示器的深度信令数据；以及图9示出用于适配视角锥的缩放。
[0021]这些图纯粹是概略的并且未按比例绘制。在这些图中，对应于已经描述的元素的元素可以具有相同的参考数字。
【具体实施方式】
[0022]存在许多不同的方式，其中3D视频信号可以根据所谓的3D视频格式而被格式化和传送。一些格式基于使用2D信道来另外携带立体信息。在3D视频信号中，图像由二维像素阵列中的图像值表示。例如，左右视图可以交错或者可以并排或顶-底(彼此上下)放置在帧中。此外，深度图可以被传送，可能地另外的3D数据，像遮掩(occlus1n)或透明数据可以被传送。在本文中，视差图也被认为是一种类型的深度图。深度图具有同样在对应于图像的二维阵列