用于处理3d服务的方法和装置制造方法
用于处理3d服务的方法和装置制造方法
【专利摘要】本说明书公开了用于处理3D服务的方法和装置。这里，根据本发明的一个示例的一种3D服务装置包括：接收单元，其被配置成接收含有3D服务的广播信号；服务信息SI处理单元，其从所述广播信号提取关于所述3D服务的SI信息并且解码所提取的信息；第一处理单元，其解码3D视图数据和深度数据；第二处理单元，其使用从所述第一处理单元输出的经解码信号作为输入并基于经解码的所述SI信息产生特定时间点的虚拟视图；以及输出格式化器，其基于所述第二处理单元产生的特定时间点的虚拟视图来产生并输出3D服务数据。
【专利说明】用于处理3D服务的方法和装置
【技术领域】
[0001]本发明涉及3D (三维)服务，更具体地，涉及处理包括信令的3D服务以支持随机视图的虚拟3D视图的方法及其装置。
【背景技术】
[0002]随着三维电视(3DTV)的普及正在盛行，激发了对3D服务的需求或关注以及对3D服务的研究。
[0003]通常，三维视频使用双眼的立体视觉原理提供3D效果。由于人通过双眼的视差感到立体感，换句话讲，由于彼此相隔大约65mm的双眼之间的间隔导致的双眼像差，因此3D视频可以按分别提供使左眼和右眼看到相关平面视频的视频的方式来提供3D效果和立体感。
[0004]3D视频显示方法包括立体技术、容量技术(volumetric technique)、全息技术等。就立体技术而言，它提供了假定将被左眼观看的左视图图像和假定将被右眼观看的右视图图像。立体技术使得能够以使左眼和右眼分别使用其自身的偏光眼镜或显示装置观看左视图图像和右视图图像的方式来识别3D视频效果。
[0005]如以上描述中提到的，3D广播分别传递左视图图像和右视图图像。并且，广播接收器以正确处理左视图图像和右视图图像的方式形成3D视频。因此，必须具有用于处理3D广播信号的信令信息。
[0006]同时，可以通过传统的3DTV接收器接收固定视图中的受限3D视频。因此，观众难以自由地选择偏好的视图。这种问题会造成多视图广播以及自动立体3DTV中出现。
【发明内容】
[0007]技术任务
[0008]创造本本发明来解决上述问题。在观看3D视频的同时控制3D效果的情况下，本发明的技术任务之一是以在接收器中产生并组合新的左视图图像和右视图图像的方式控制期望的3D效果。
[0009]本发明的另一个任务是使用2D视频(L、R)中的每个的深度图和相机参数恢复关于视频(L、R)中的每个的3D信息并且通过执行几何投影产生随机视图的视频。
[0010]本发明的其它任务是提供用于产生随机视图的3D视图必需的信令信息的方法、处理3D服务的方法及其装置。
[0011]技术方案
[0012]为了实现这些和其它优点并且根据本发明的目的，如实施和广义描述的，根据一个实施方式，一种3D服务装置包括:接收单元，其被配置成接收含有3D服务的广播信号；服务信息SI处理单元，其被配置成从所述广播信号提取关于所述3D服务的SI信息并且解码所述SI信息；第一处理单元，其被配置成解码3D视图数据和深度数据；第二处理单元，其被配置成基于经解码的所述SI信息通过所述第一处理单元的经解码信号的输入来产生随机视图的虚拟视图；以及输出格式化器，其被配置成基于所述第二处理单元产生的所述随机视图的虚拟视图来产生并输出3D服务数据。
[0013]为了进一步实现这些和其它优点并且根据本发明的目的，根据不同实施方式，一种处理3D服务的方法，所述方法包括以下步骤:接收包含3D服务的广播信号；从所述广播信号提取关于所述3D服务的SI信息并且解码所述SI信息；解码3D视图数据和深度数据；基于经解码的所述SI信息通过输入经解码信号来产生随机视图的虚拟视图；以及基于所产生的所述随机视图的虚拟视图来产生并输出3D服务数据。
[0014]有益效果
[0015]根据本发明，
[0016]第一，观众可以在观看3D视频的同时使用随机视图的3D视图来控制期望的3D效
果O
[0017]第二，可以通过使用2D视频(L、R)中的每个的深度图和相机参数恢复关于视频(L、R)中的每个的3D信息。并且，可以通过执行几何投影产生随机视图的视频。
[0018]第三，可以提供产生随机视图的3D视图必需的信令信息的方法、处理3D装置的方法及其装置。
【专利附图】
【附图说明】
[0019]图1是用于说明根据本发明的3D广播接收器的示例的示图；
[0020]图2是图1中示出的第二处理单元160中的视图合成模块162的详细配置框图；
[0021]图3是用于说明与虚拟视图合成相关的视频和深度元件的配置的示图；
[0022]图4是用于说明视图合成描述符的示例的示图；
[0023]图5是用于说明相机参数的示例的示图；
[0024]图6是用于说明包括视图合成描述符的PMT配置的示例的示图；
[0025]图7是用于说明包括视图合成描述符的TVCT配置的示例的示图；
[0026]图8是用于说明包括视图合成描述符的SDT配置的示例的示图；
[0027]图9是用于说明发送view_synthesis_infor_data的方法的示例的示图；
[0028]图10是用于说明视图合成信息SEI消息的示例的示图；
[0029]图11是视图合成SEI描述符的示例的示图；
[0030]图12是用于说明图2中示出的视图合成模块162中产生随机视图的视频的示例的示图；
[0031]图13是用于说明图12中示出的通用卷曲(warping)的示图；
[0032]图14是用于说明图12中示出的ID并列卷曲的示图；
[0033]图15是用于说明深度类型的示例的示图；
[0034]图16是用于更具体地说明ID并列卷曲处理的示图；
[0035]图17是用于说明相机布置和Z值测量的示例的示图；以及
[0036]图18是用于说明图7中的第i个相机的参数细节的示图。
【具体实施方式】
[0037]现在，将详细参照本发明的优选实施方式，在附图中示出优选实施方式的示例。然而，本发明可以不受实施方式的局限或限制。
[0038]尽管本说明书中使用的术语是在考虑到功能的情况下从当前广泛使用的通用术语中选择的，但它们可以根据从事对应领域的技术人员的意图、惯例、新技术的到来等而变化。偶尔，可以由 申请人:任意选择某些术语。在这种情况下，任意选择的术语的含义应该在说明书的【具体实施方式】的对应部分中描述。因此，本说明书中使用的术语需要基于对应术语的实质含义和本说明书中公开的整体问题来理解，而不以术语的简单名称来理解。
[0039]在3D系统中，通常，以发送方提供关于预定视图的视频和信息并且接收方基于对应的视频和信息提供固定视图的3D视频的方式形成3D服务。换句话讲，大多数接收器向用户提供基于相同视频和信息的相同或固定视图的3D视频。
[0040]这种3D服务是根据内容提供商或服务提供商的意图单向执行的，而没有考虑个体的口味、年龄、环境、接收器的性能等。因此，3D服务会降低消费内容的用户的满意度或者会以服务没有正确实现的方式使用户感到不便。
[0041]因此，用户或接收器必须选择随机视图来合适地控制3D效果。同时，上述内容也可以应用于多视图广播或自动立体3D服务。
[0042]本说明书描述了在随机视图中提供3D视图的内容。例如，可以使用2D视频(L、R)中的每个的相机参数和深度图来恢复关于视频(L、R)中的每个的3D信息并且可以通过几何投影产生随机视图的视频。为此目的，本说明书提供了将在随机视图中产生3D视图所必须的信息以信号发送的方法、处理3D服务的方法及其装置。举例来说，本说明书定义信令信息或服务信息(下文中，信令信息)以在对应部分中执行视图合成并且具体说明发送/接收(即以信号化)信令信息的方法的示例。然而，描述所述方法是为了帮助理解本发明以及易于说明本发明。因此，本发明的技术思想可以不限于上述实施方式。
[0043]如上述描述中提到的，本说明书定义产生3D视图所需的各种变量和数据并且意图使用它们。
[0044]在下面的描述中，本说明书的信令信息主要用于随机视图的虚拟3D视图的3D服务。例如，信令信息可以在与广播服务相关使用的这种信息中定义或使用(或互锁)，成为PSI/PSIP (节目特定信息/节目和系统信息协议)、DVB-SI (数字视频广播-服务信息)等。
[0045]同时，在本说明书中，装置可以指示所有数字装置通过与外部连接来直接或间接地处理3D服务。然而，为了清晰起见，本说明书将广播接收器作为例子来说明。数字装置包括诸如智能TV、IPTV等的固定装置、诸如智能电话、平板PC、笔记本等的移动装置。并且，数字装置包括处理和/或输出蓝光、视频CD、游戏、应用、软件以及包括3D服务的信号或内容。除此之外，如有必要，数字装置可以通过网络与不同的数字装置互锁。并且，在数字装置中还可以安装单独的OS。
[0046]图1是用于说明根据本发明的3D广播接收器的示例的示图。
[0047]参照图1，3D广播接收器可以包括接收单元110、解调单元120、解复用单元130、SI处理器140、第一处理单兀150、第二处理单兀160和输出格式化器170。
[0048]接收单元110经由RF信道接收包括3D服务的视图图像数据和3D服务的信令信息的3DTV广播信号。
[0049]解调单元120解调接收到的3DTV广播信号。
[0050]解复用单元130将来自经解调的3DTV广播信号的视频数据、音频数据和包括视图图像数据的信令数据解复用并且将其发送到对应的组件。
[0051]SI处理器140接收经解复用的信令数据并且处理信号数据。经处理的信令数据被发送到第一处理单元150、视图合成模块162、输出格式化器170等并且用于处理对应的组件。或者，尽管在附图中未示出，但经处理的信令数据被暂时存储在3D广播接收器的内部或外部安装的SI数据库(DB)中。例如，在经处理的信令数据之中，SI处理器140将底层和增强层的适配数据的信令数据发送到第一处理单元150并且将3D虚拟视图的信令数据发送到第二处理单元160。
[0052]第一处理单元150可以包括第一视图处理单元和第二视图处理单元。同时，第一视图处理单元包括第一解码器152和第二解码器154并且第二视图处理单元包括第三解码器156和第四解码器158。第一处理单元主要被配置成处理上述由发送方预定的固定视图。
[0053]可以根据3D服务的类型通过自适应性配置以不同方式实现第一处理单元150的配置。然而，为了清晰起见，本说明书举例说明底层和增强层的3D服务数据处理的配置。分别在第一视图处理单元和第二视图处理单元中处理底层的3D服务数据和增强层的3D服务数据。
[0054]第一视图处理单元的第二解码器154解码底层的视图图像数据并且第一解码器152解码关于经第二解码器154解码的底层的视图图像数据的深度信息。在这种情况下，底层可以指示视图图像数据被从AVC层进行AVC编码。
[0055]第二视图处理单元的第三解码器156解码增强层的视图图像数据并且第四解码器158解码关于经第三解码器156解码的增强层的视图图像数据的深度信息。在这种情况下，增强层可以指示视图图像数据被从MVC扩展层进行MVC编码。
[0056]如以上描述中提到的，第一视图图像数据/深度信息、第二图像数据/深度信息是借助第一处理单元150产生的并且可以被发送到第二处理单元160或输出格式化器170。同时，第一视图图像数据/深度信息和第二图像数据/深度信息可以分别被定义为左视图图像数据和右视图图像数据，第一视图图像数据/深度信息和第二图像数据/深度信息可以分别被定义为右视图图像数据和左视图图像数据。
[0057]并且，第二处理单元160可以包括视图合成模块162、第一虚拟视图处理单元164、第二虚拟视图处理单元166。关于此，将在图2中进行详细描述。
[0058]输出格式化器170借助通过第一处理单元150和第二处理单元160接收的左视图图像和右视图图像，产生并输出根据输出频率合成的3D视图数据。
[0059]在以上的描述中，构成3D广播接收器的组件可以在考虑到组件的功能、性能等的情况下以多个组件被模块化的方式被实现为单个组件，反之亦然。
[0060]并且，尽管在图1中未示出，但在3D广播接收器中还可以包括与OSD生成相关的OSD引擎、混合器等。并且，包括显示器和扬声器的输出单元可以被包括在3D广播接收器的内部或外部。输出单元可以经由HDMI接口等与3D广播接收器连接。
[0061]图2是图1中示出的第二处理单元160中的视图合成模块162的详细配置框图。
[0062]第二处理单元160可以基于经由第一处理单元150接收的左视图图像/右视图图像和信令信息从用户和/或接收器选择随机视图。第二处理单元被配置成产生/处理所选择的随机视图中的3D虚拟视图图像数据。
[0063]在上述图1中，尽管第二处理单元160包括视图合成模块162、第一虚拟视图处理单元164和第二虚拟视图处理单元166，但图2只示出视图合成模块162和输出格式化器170。然而，明显的是，第一虚拟视图处理单元164和第二虚拟视图处理单元166存在于视图合成模块和输出格式化器之间。
[0064]视图合成模块162包括对应于第一虚拟视图处理单元164的第一合成单元和对应于第二虚拟视图处理单元166的第二合成单元。
[0065]第一合成单元包括第一卷曲单元212、第一合并单元214、第一空洞填充单元216和第一边界噪声消除单元218。同时，第二合成单元包括第二卷曲单元222、第二合并单元224、第一空洞填充单元226和第二边界噪声消除单元228。然而，为了清晰说明本发明，只示出所需的配置。如有必要，可以添加或省略配置的一部分。
[0066]参照图2，在视图合成模块162中产生随机3D虚拟视图的过程如下。首先，卷曲单元对输入的左视图图像数据(L_view&L_depth)和右视图图像数据(R_view&R_depth)执行卷曲处理并且产生由左视图图像数据卷曲得到的数据和由右视图图像数据卷曲得到的数据。合并单元将由左视图图像数据卷曲得到的数据和由右视图图像数据卷曲得到的数据合并。空洞填充单元填充空洞。然后，边界噪声消除单元消除边界的噪声。最后，产生经合成的左视图和经合成的右视图。
[0067]在这种情况下，卷曲单元基于随后描述的视图合成信息中的相机参数、深度类型、depth_near、depth_far等中的至少一个对视图图像数据中的每个执行卷曲处理。
[0068]并且，卷曲单元向合并单元、空洞填充单元和边界噪声消除单元提供深度信息和空洞信息并且使它们在执行合并和空洞填充的情况下使用深度信息和空洞信息。
[0069]所产生的经合成的左视图和经合成的右视图分别经受第一虚拟视图处理单元164和第二虚拟视图处理单元166处理。然后，视图经受输出格式化器170处理。通过这样做，提供了随机视图的经合成的3D视图。
[0070]同时，在图2中说明了在随机视图中形成经合成的3D视图的过程。与此相关，参照下面描述中描述的附图更详细地说明在上述过程中使用的卷曲、合并、空洞填充和边界噪声消除处理。
[0071]图3是用于说明与虚拟视图合成相关的视频和深度元件的配置的示图。
[0072]例如，图3示出与本发明相关的用于视图合成的广播服务结构的示例。在这种情况下，例如3D节目/服务/频道可以只由视频数据和深度数据构成。
[0073]图3示出用于第一(虚拟)视图的视频元件、用于第一(虚拟)视图的深度元件、用于第二 (虚拟)视图的视频元件和用于第二 (虚拟)视图的深度元件。
[0074]然而，图3中示出的广播服务结构只是示例，本发明可以不受其限制。明显的是，图3中示出的广播服务结构可以应用于根据技术增强添加的广播服务结构以及已经公开宣布的广播服务结构。
[0075]图4是用于说明视图合成描述符的示例的示图。
[0076]图4定义了根据本发明的产生随机3D虚拟视图所需的信令信息。在下面的描述中，该信令信息被称为视图合成信息。例如，视图合成信息可以按与预先配置的SI信息具有兼容性的方式来定义和发送。
[0077]同时，视图合成信息可以被定义为诸如一般在SI中定义的表格、描述符、字段等各种形式。然而，举例来说，本说明书以描述符形式定义视图合成信息并且通过将其命名为视图合成描述符来说明视图合成信息。
[0078]例如，视图合成描述符被包括在PMT (节目映射表)、TVCT (地面虚拟频道表)、SDT(服务描述表)、EIT (事件信息表)等中。视频合成信息告知关于被包括在当前节目、频道或服务中的视频流或深度流的3D视频获取信息。随后将对此进行描述。
[0079]例如，视图合成描述符提供与左视图和右视图中的每个的3D获取相关的信息并且3D接收器提供产生随机3D视图的虚拟视图所需的信息。
[0080]同时，如果视图合成描述符指示关于各视图的信息，则N对应于I。在这种情况下，视图合成描述符只提供关于对应视图的信息。
[0081]视图合成描述符可以指示关于被包括在节目、频道或服务中的所有视图的信息。在这种情况下，N意味着实际发送的视图的数量。
[0082]在下面的描述中，参照图4更详细地说明构成视图合成描述符的各字段或元件。
[0083]descriptor_tag字段和descriptor_length字段指不本描述符对应于视图合成描述符。并且，这些字段告知本描述符的长度。
[0084]left_view_flag 字段指不应用了下面的 depth_type、filter_coefficient 等的视图。作为参考，就立体视频服务(N等于或小于2)而言，本字段指示左视图和右视图。如果N大于2，则本字段应该大于I位并且可以扩展成指示视图的相对位置。例如，O可以指示最左边的视图并且随着数字增大可以指示右视图。
[0085]depth_type字段指示所发送的深度图的类型。接收器处理深度图的方法可以根据本字段而变化。
[0086]同时，depth_type字段下面的字段对应于循环结构并且根据滤波器的数量提供滤波器相关信息。
[0087]filter_type字段指示诸如双线性、双三次等的滤波器类型。
[0088]filter_usage字段指示使用对应滤波器的情况。例如，本字段的值可以指示字段是用于从整个插值成半像素还是用于从半像素插值成四分之一像素。
[0089]Num_filter_tap字段指示用于实现滤波器的系数的数量。系数I (coeffl)和系数2可以被定义成与滤波器抽头的数量一样多。在这种情况下，例如，可以用与所定义的系数I和系数2相关的“coeff l/coeff2”计算实际系数值。同时，可以用系数值的十进制点单元表示滤波器系数。
[0090]上述系数I和系数2的filter_coefficient字段是被推荐用于在用于视图合成的像素映射过程中执行整个、半个、四分之一个像素插值的情况下实现滤波器的系数。
[0091]同时，根据上述N, left_view_flag字段和depth_type以下的字段可以具有循环结构。
[0092]nearest_depth值字段和farthest_depth_value字段指示为深度图中的指定的标称值(例如，O?255)提供有物理意义的Z值的深度范围。
[0093]synthesis_mode字段通常意味着诸如通用模式、ID并列模式等的接收器的视图合成算法。然而，在这种情况下，它可以被定义为所发送的参数集的分布概念。例如，本字段可以指示必要的旋转矩阵系数等没有以通用模式发送。这个字段可以被表示为完整版、简易版等。
[0094]可以根据synthesisjnode字段利用多视图获取信息SEI消息。并且，可以根据synthesis_mode字段确定下面的字段和值。例如，如果synthesis_mode字段的值对应于O X 00,则定义图5 (a)中不出的camera_instrinsic_info ()字段和图5(b)中不出的camera_extrinstic_info O字段。如果synthesis_mode字段的值对应于O X 01或者不是 O X 00,则可以定义 focal_length 字段、base I ine_di stance 字段、principal_point_offset_distance 字段等。
[0095]camera_intrinsic_info ()字段和 camera_extrinsic_info ()是与相机参数相关的字段。当synthesisjnode字段对应于0X00时，这些字段是有意义的并且发送完整参数集合。如果synthesis_mode字段对应于0X01,则发送部分集合。关于所述部分集合,关于差异(主点偏移差异)等的信息可以从焦距、基线距离、主点偏移等发送。
[0096]在这种情况下，camera_parameter_id被分配给 camera_intrinsic_info 和camera_extrinsic_info。并且,对应组合被存储在接收器中并且可以随后使用它。通过这样做，由于不重复发送参数，因此可以减少带宽浪费。
[0097]merge_option_included_flag字段与执行视图合成处理所需的选项相关。例如，本字段可以定义提供视图合成处理中使用的参数的depth_threshold字段和hole_count_threshold字段作为能够由接收器根据对应的选项值进行选择性参考的信息。
[0098]同时，如在以上描述中提到的，图6至图8示出根据本发明的包括视图合成描述符的SI的示例。各【专利附图】
【附图说明】包括视图合成描述符的内容。
[0099]图6是用于说明包括视图合成描述符的PMT配置的示例的示图。
[0100]在这种情况下，图6只公开了根据本发明的视图合成描述符所必须的配置或字段。然而，通用内容、配置、PMT的字段和对PMT的详细说明可以参考已经公开宣布的内容和标准。在本说明书中省略了对PMT的详细说明。
[0101]如果视图合成描述符设置在PMT，则作为第一种选择，可以对应于深度流以基本流级执行信令。或者，作为第二种选择，可以对应于与深度对应的视频基本流以基本流级循环执行信令。
[0102]参照图6，关于诸如视图的视频流和深度流的各种视图流的信息可以被包括在节目中，尤其是包括对应于O X 0002的program_number的节目中。
[0103]如果stream_type字段值对应于OX IB,则这指示经AVC编码视频流。这个值指示底层，即，第一视图的流类型。这个视频流的elementary_PID对应于0X0090并且视图合成描述符可以被包括在视频流中。
[0104]如果81:^31]1_17卩6字段值对应于0\2(),则这指示经靈(]编码视频流。这个值指示增强层，即，第二视图的流类型。这个视频流的elementary_PID对应于0Χ00Α0并且视图合成描述符可以被包括在视频流中。
[0105]如果stream_type字段值对应于0X26,则这指示底层，即，上述第一视图的深度流。这个视频流的elementary_PID对应于0X0091并且视图合成描述符可以被包括在视
频流中。
[0106]如果8廿册!1^7?6字段值对应于0\26，则它还指示深度流。然而，在这种情况下，它可以指示增强层，即，第二视图的深度流。因此，这个视频流的elementary_PID对应于O X 0091并且视图合成描述符可以被包括在视频流中。
[0107]如以上描述中提到的，视图合成描述符可以设置根据streamjype和elementary_PID设置在视频流和深度流中的至少一个中。具体地，视图合成描述符可以按视图单元或流单元定义和发送。
[0108]图7是用于说明包括视图合成描述符的TVCT配置的示例的示图。
[0109]参照已经公开宣布的内容和标准在图7中省略了构成通用TVCT部分的各配置字段。图7只说明与本发明相关的内容。
[0110]如果视图合成描述符以被包括在TVCT中的方式发送,则作为第一种选择,可以按频道级描述符循环来设置视图合成描述符。或者，作为第二种选择，视图合成描述符的字段可以设置在传统组件列表描述符中。或者，作为第三种选择，视图合成描述符的字段可以按扩展服务位置描述符的方式被包括在服务位置描述符中。
[0111]然而，如果视图合成描述符被包括在TVCT中，则视图合成描述符以关于所有视图的信息都被包括在TVCT中的方式配置。
[0112]TVCT 部分借助 ma jor_channel_number 字段和 minor_channel_number 字段提供虚拟频道的频道号。TVCT部分借助channel_TSID字段与频道的传输流ID连接。TVCT部分经由program_number字段与PSI中的PAT (节目关联表)和/或PMT的节目连接，TVCT部分经由servicejype字段提供对应频道的服务类型信息。
[0113]在这种情况下，根据本发明的TVCT中的service_type字段包括3D装置的服务类型。例如，如果service_type字段的值对应于O X 07或O X 09，则它可以指示经由对应频道发送的服务类型是3DTV服务。同时，servicejype字段的值只是示例并且可以不限于上述字段值。
[0114]如在以上描述中提到的，根据本发明的视图合成描述符可以由图7中的TVCT的描述符之一定义。举例来说，根据servicejype字段的值判定视图合成描述符是否被包括(定义)在TVCT部分中。具体地，当servicejype字段值指示服务类型对应于3DTV服务时，视图合成描述符可以被包括在TVCT部分中。或者，当只定义诸如3D虚拟服务的单独服务类型时，视图合成描述符可以按被包括作为TVCT部分的描述符的方式发送。除此之外，可以根据频道单元和/或progranuiumber而非服务单元判定是否包括(发送)视图合成描述符。
[0115]图8是用于说明包括视图合成描述符的SDT配置的示例的示图。
[0116]图8示出与DVB方案的服务相关的SDT部分。类似于图7，视图合成描述符可以被包括在SDT部分中。
[0117]如果视图合成描述符被发送到SDT，则视图合成描述符以服务级描述符循环进行设置并且以关于所有视图的信息被包括在视图合成描述符中的方式配置。
[0118]同时，如在以上描述中提到的，当servidid字段所标识的服务只对应于3D服务时，视图合成描述符可以包括在SDT中。或者，定义单独的3D虚拟服务的service_id并且当只发送所定义的3D虚拟服务的标识符时可以包括视图合成描述符。或者，可以不顾及service_id,按被包括在SDT中的方式发送视图合成描述符。
[0119]同时，图8中示出的剩余配置字段可以指已经公开宣布的内容和标准。因此，省略对剩余字段的详细说明。
[0120]然而，service_id、视图合成描述符等的内容可以遵循通过新近标准和/或本说明书定义的内容。[0121]图9是用于说明发送view_synthesis_infor_data的方法的示例的示图。图10是用于说明视图合成信息SEI消息的示例的示图。
[0122]不同于以上描述，在下面的描述中描述了发送用于视图合成的信息所需的视频级信令。为此目的，在下面描述了使用视频流或视频数据报头的SEI消息(视频合成信息SEI消息)而非描述符形式的PSI/PSIP/DVB-SI。视图合成信息SEI消息意图指示视频级的视图合成相关信息。
[0123]参照图9，在H.264 (或AVC)视频的情况下，对应信息被发送到SEI (补充增强信息)区域。user」dentifier 和 user_structure 被发送至丨J user_data_registered_itu_t_135 O ,以使 user_data_registered_itu_t_135 O 包括 user」dent ifier 和 user_structure。具体地,对应信息被发送到SEI载荷而非user_data()。
[0124]SEI起到MPEG-2的用户数据和图片扩展的作用并且也可以类似地限制位置。
[0125]具体地，图9指示在AVC/H.264下发送视图合成信息数据的方法。
[0126]图10是用于说明视图合成信息SEI消息的示例的示图。
[0127]如下详细说明图10中的视图合成信息SEI消息的各配置字段。
[0128]view_synthesis_info_id字段包括用于指示视图合成信息SEI消息中包括的信息组合的标识号。
[0129]如果view_synthesis_info_cancel_flag对应于I,则这指示应用于前一图片的视图合成信息不再被应用。
[0130]由于剩余配置字段的内容与图4的上述配置字段相同，因此这里调用上述内容并且省略重复说明。
[0131]同时，发送view_synthesis_info_data以告知上述视图合成信息SEI消息(具体地，视频级的视图合成相关信息)的方法如下。
[0132]在视图合成信息SEI消息被包括在特定视图的视频数据或深度流中的情况下，借助view_synthesis_info_data将对应流视图的3D信息等以信号形式发送。借助SEIRBSP(原始字节序列载荷)接收view_synthesis_info_data()。在解析AVC NAL单元之后，如果 nal_unit_type 值对应于 6,则这指示 SEI 数据。以读取 user_data_registered_itu_t_t35SEI消息的方式检查user_identifier,其中,payloadType对应于4。以读取其中user_identifier 值对应于 O X 47413934 的 user_structure O 的方式提取其中 user_data_type_code对应于OX 12的数据。以解析view_synthesis_info_dataO的方式得到3D获取信息和被配置成随后产生虚拟视图的信息。
[0133]图11是视图合成SEI描述符的示例的示图。
[0134]例如，图11是在上述图10中以视频级被信号化的以信号形式发送视图合成信息SEI消息是否以系统级存在的示例的示图。
[0135]类似于图6，可以以PMT的ES级等设置视图合成SEI描述符。为了让接收器知道视图合成信息SEI消息是否被包括在预先系统级的对应视频中，提供了信令信息。
[0136]参照图11，本描述符包括如下的配置字段。
[0137]view_synthesis_info_SEI_message_exist_f lag 字段指不能够具体标识视图合成相关信息的视图合成SEI消息是否被包括在接收到的视频流中。
[0138]同时，full_synthesis_mode_supported_flag字段可以指示以上描述中提到的synthesis_mode 值。
[0139]此外，还能够预先知道包括在视图合成信息SEI消息中的信息是否完全或部分地提供了与3D获取相关的几何信息。
[0140]如在以上描述中提到的，为了用广播站发送的流产生随机视图中的3D虚拟视图，可以经历以下步骤。
[0141]图12是用于说明图12中示出的视图合成模块162中产生随机视图的视频的示例的框图。
[0142]首先，说明卷曲步骤。
[0143]在这个步骤中，分别对构成3D视图的左视频和右视频中的每个应用卷曲并且针对新视图的视频执行像素单元的映射。
[0144]存在两种类型的卷曲。一种是能够针对所有相机配置执行的通用卷曲模式。另一种是只针对ID并列相机配置情况执行的卷曲模式（ID并列卷曲模式)。
[0145]同时，以经受第一处理单元150处理以执行卷曲的方式输入的数据对应于左视图(L视频图像)、左深度图（L深度图)、右视图（R视频图像）和右深度图（R深度图)。
[0146]随后，当进行卷曲步骤时，执行合并。
[0147]这个步骤是以将由左视图卷曲得到的新视图的视频（L’）和由右视图卷曲得到的新视图的视频（R’ )组合在一起的方式由之前得到的两个经卷曲视频形成视频的过程。
[0148]在这种情况下，在执行合并的情况下，当在L’视频或R’视频中存在经映射的像素值并且另一方对应于空洞时，可以用现有的像素值填充对应像素。
[0149]并且，L’视频和R’视频都对应于空洞，合并视图的像素可以被保持为空洞。
[0150]然后，如果经映射的像素值既存在于L’视频又存在于R’视频中，则从两个值之中选择一方的值或者两个值以被合成为一个值的方式使用。在这种情况下，可能存在多种选择/合成方法。
[0151]可能存在使用对应像素的深度值的方法、当像素被映射时使用相机基线距离[像素]的方法、通过测量像素附近的空洞的数量来计算可靠性的方法等。
[0152]随后，当进行合并时，执行空洞填充步骤。
[0153]这个步骤将以填充之前产生的合并视图中保留的空洞的方式产生其中不存在空洞的视图。
[0154]可以按全面考虑到空洞的位置、像素附近的空洞的数量、空洞附近的像素的位置、各像素的值和对应像素的深度值中的至少一个的方式分配合适的值。存在各种算法。
[0155]最后，当进行空洞填充时，执行边界噪声消除处理。
[0156]很有可能以直至空洞填充步骤都经受的方式产生视频中的边界噪声。因此，必须执行消除噪声的处理。为此目的，设计边界噪声消除处理。
[0157]图13是用于说明图12中示出的通用卷曲的示图。
[0158]图13示出作为图12中示出的卷曲方法中的一种的通用卷曲处理。
[0159]参照图13(a)，通用模式卷曲是以使用对应像素的深度值和相机拍摄的对应视频的几何信息将2D空间中的像素投影到3D空间然后将经投影的像素再投影到新的随机2D空间的方式来产生视频的方法。
[0160]在这种情况下，M指示3D全局坐标上的点。m和m’指示图像平面上的M的投影。并且，t和t’指示相机的中心。
[0161]图13(b)指示用于将2D空间中的点转换成3D空间中的点的公式。
[0162]相反，图13(c)指示用于将3D空间中的点转换成2D空间中的点的公式。
[0163]在上述公式中，P对应于归一化的立体投影矩阵，s和S，对应于标量。
[0164]如果将两个公式彼此组合，则可以推导出图13(d)中示出的交互公式(interaction formula)。
[0165]图14是用于说明图12中示出的ID并列卷曲的示图。
[0166]图14示出与图13的通用卷曲方法不同的作为图12中示出的卷曲方法中的一种的ID并列模式卷曲方法。
[0167]参照图14(a)，ID并列模式卷曲方法是只有当满足了相机布置被排列成ID方向的限制条件时才可用的方法。ID并列模式卷曲方法比通用模式卷曲简单并且基于下面的三个变量进行处理。
[0168]f，焦距
[0169]I，基线间隔
[0170]du，主点的差异
[0171]并且,参照图14(b)和图14(c),可以用给定深度图、Z_near值和Z_far值计算实际深度值z，并且可以利用实际深度值z。
[0172]参照图14(d)，可以用这三个变量值计算视差值。基于视差值执行像素映射。
[0173]图15是用于说明深度类型的示例的示图。图16是用于更具体地说明ID并列卷曲处理的示图。图17是用于说明相机布置和Z值测量的示例的示图。并且，图18是用于说明图17中的第一个相机的参数细节的示图。
[0174]同时，图15至图18更具体地说明根据本发明的上述图12中的各步骤中使用的参数。
[0175]首先，说明设置处理。
[0176]SynthesisMode字段是说明视图合成模式的字段。视图合成模式包括通用模式、ID并列模式和混合模式。可以用本字段指示视图合成模式中的至少一种。同时，本字段可以指示完整版以及轻(简易）版。
[0177]DepthType字段是说明深度类型的字段。
[0178]图15示出根据本字段值、Z值的范围、用于深度和强度的方程（z-v)、用于强度和视差的方程（v-d)的各特性。图16示意性示出根据深度类型执行ID并列卷曲的方法。在这种情况下，例如，图16(a)示出depth_type对应于O的情况并且图16(b)示出depth_type对应于I的情况。
[0179]如图15和图16(a)中示出的，如果cbpth_type字段值对应于0，则这意味着使用来自相机的深度的视图合成模式。在这种情况下，深度值取与3D空间的原点相距负值以及正值。这可应用于任何ID并列图像。
[0180]如图15和图16(b)中所示，如果d印th_type字段值对应于I，则这也意味着使用来自相机的深度的视图合成模式。在这种情况下，深度值只取与3D空间的原点相距正值。这只可应用于任何对象与3D空间的原点相距正深度的图像。
[0181]同时，图17不出与本发明相关的相机布置和Z值测量。[0182]参照图17,可以在 filter_usage、filter_type 和 filter_coefficient 字段之中进行至少一种组合。具体地，filter_usage字段指示应用对应滤波器的时间。
[0183]filter_usage字段是指示应用对应滤波器的时间。这个字段用于指示诸如执行将半像素区升采样成四分之一像素区的情况、将整像素区升采样成四分之一像素区的情况等的各种使用情况。
[0184]filter_type字段指示用于在子像素位置产生图像信号的升采样滤波器。如果本字段的值对应于0，则这意味着(双)线性滤波器。如果本字段的值对应于1，则这意味着(双）三次滤波器。如果本字段的值对应于2，则这意味着MPEC-4AVC中使用的滤波器。
[0185]filter_coefficient字段指示用于滤波器的滤波器系数。
[0186]在设置处理之后，更详细地说明卷曲处理。
[0187]NearestDepthValue字段指明左图像与相机或3D空间的原点相距的最近深度值。
[0188]FarestDepthValue字段指明左图像与相机或3D空间的原点相距的最远深度值。
[0189]在执行卷曲处理的情况下，通用模式需要所有相关的相机参数信息。以文件形式提供相机参数。优选相机的参数可以按基于文件内的优选相机的名称(标识符)产生的方式来使用。
[0190]通过从由图18(a)的旋转矩阵R、图18(b)的平移矢量t、图18(c)的内部矩阵A等组成的组中选择的至少一种配置相机参数。
[0191]CameraParameterFi Ie字段指明包括所有相机的按真实视图和虚拟视图的内在和外在参数的文件的文件名（带有.txt)。
[0192]LeftCameraName字段指明特定虚拟视点相机的左手侧的真实相机的名称。
[0193]VirtualCameraName字段指明将被产生视图图像的虚拟视点相机的名称。
[0194]RightCameraName字段指明特定虚拟视点相机的左手侧的真实相机的名称。
[0195]在执行卷曲处理的情况下，ID并列模式需要左视频和右视频中的每个的下列信
肩、O
[0196]focal_length字段指明相机的焦距。
[0197]baseline_spacing字段指明相机之间的距离（即，所具有的L或R视频的视图和将产生的视频的视图之间的距离)。
[0198]difference_in_principal_point_offset字段指明基于所具有的L或R相机的主点偏移和将要产生的视频相机的主点偏移值之差。
[0199]在卷曲处理之后，更详细地说明合并处理。
[0200]下列字段对应于能够被广播站选择性发送以使接收器能够在执行合并处理的情况下参考的值。
[0201]DepthThreshold字段是只有当MergingOption被设置为2时才有效的参数。它用于启发式混合算法。较大的值意味着更多像素被求平均。通常，期望较大的值对应于差质量的深度图。关于这个的更多细节，参考MPEG文件M15883。
[0202]HoleCountThreshold字段是只有当MergingOption被设置为2时才有效的参数。它用于启发式混合算法。较大的值意味着更少像素被求平均。关于这个的更多细节，参考MPEG 文件 Ml5883。
[0203]同时，在执行合并的情况下，下列方法是可用的。当对于左参考视图和右参考视图而言像素都被映射时，需要应用混合方法来决定最终像素值。
[0204]在与Z-缓冲器进行比较之后分配较靠近相机的像素的值。
[0205]针对邻近像素执行空洞计数，然后分配包括较少空洞的像素的值(很有可能较少空洞)。
[0206]在比较基线距离之后，分配较靠近距离的像素的值。如果虚拟视点靠近左视点，则使用左视点图像，反之亦然。
[0207]在这种情况下，主要使用左视图图像或右视图图像并且用其它图像填充空洞。
[0208]使用通过将两个像素值彼此组合形成的新像素值。作为代表性方法，可以使用求平均等。
[0209]本发明的实施方式
[0210]如在以上描述中提到的，在上述最优实施方式中说明了本发明的各种实施方式。
[0211]工业可应用性
[0212]本发明可以在工业上以部分或全部应用于数字系统的方式来利用。
【权利要求】
1.一种3D服务装置，所述3D服务装置包括: 接收单元，其被配置成接收含有3D服务的广播信号； 服务信息SI处理单元，其被配置成从所述广播信号提取关于所述3D服务的SI信息并且解码所述SI信息； 第一处理单元，其被配置成解码3D视图数据和深度数据； 第二处理单元，其被配置成基于经解码的所述SI信息通过所述第一处理单元的经解码信号的输入来产生随机视图的虚拟视图；以及 输出格式化器，其被配置成基于所述第二处理单元产生的所述随机视图的虚拟视图来产生并输出3D服务数据。
2.根据权利要求1所述的装置，其中所述第二处理单元被配置成包含产生经合成的左视图和右视图的视图合成模块。
3.根据权利要求2所述的装置，其中所述视图合成模块包括: 卷曲单元，其被配置成以向所述左视图和所述右视图中的每个应用卷曲的方式以像素为单位执行与新视图的映射； 合并单元，其被配 置成以将经卷曲的视图组合在一起的方式将经卷曲的视图合并成一个视图； 空洞填充单元，其被配置成填充经合并视图中留下的空洞；以及 边界噪声消除单元，其被配置成消除已填充空洞的视图的边界噪声。
4.根据权利要求3所述的装置，其中所述SI信息包括视图合成信息，所述视图合成信息包含能够以包含与各视图的3D获取相关的信息的方式形成随机3D视图的虚拟视频的信息，并且其中所述视图合成信息被定义为系统级的描述符形式或者被定义为视频级的SEI消息形式。
5.根据权利要求4所述的装置，其中所述视图合成信息包括从指示所发送的深度图的类型的深度类型信息、指示滤波器类型的滤波器类型信息、指示根据所述滤波器类型使用对应滤波器的情况的滤波器使用信息、关于用于滤波器的滤波器系数的滤波器系数信息、指明深度范围以将具有物理意义的Z值分配给深度图中指定的标称值的深度值信息、与所发送的作为视图合成算法的各算法的参数集合的分布概念对应的合成模式信息、以根据合成模式判定是整个参数集合还是部分参数集合的方式发送的相机信息、以及指示应用上述信息的视图的左视图标志信息组成的组中选择的至少一个。
6.根据权利要求5所述的装置，其中所述视图合成算法包括通用模式和ID并行模式。
7.根据权利要求6所述的装置，其中所述视图合成信息被定义为视频级的SEI消息形式，如果关于标识所述SEI消息中包含的信息的组合的标识符的标识信息对应于特定值，则还包括指示应用于前一图片的SEI消息的视图合成信息不再被应用的标志信息。
8.根据权利要求7所述的装置，其中以所述视频级定义的所述视图合成信息定义指示是否包含所述视图合成信息的所述SEI消息的存在标志信息和包含系统级的合成模式值的支持标志信息。
9.一种处理3D服务的方法，所述方法包括以下步骤: 接收包含3D服务的广播信号； 从所述广播信号提取关于所述3D服务的SI信息并且解码所述SI信息；解码3D视图数据和深度数据； 基于经解码的所述SI信息通过输入经解码信号来产生随机视图的虚拟视图；以及 基于所产生的所述随机视图的虚拟视图来产生并输出3D服务数据。
10.根据权利要求9所述的方法，其中随机视图的虚拟视图产生步骤对应于用视图合成方法来产生经合成的左视图和右视图的方法。
11.根据权利要求10所述的方法，其中所述视图合成方法包括以下步骤: 以对所述左视图和所述右视图中的每个应用卷曲的方式进行卷曲从而以像素为单位执行与新视图的映射； 以将经卷曲的视图彼此组合的方式将经卷曲的视图合并成一个视图； 进行空洞填充以填充经合并视图中留下的空洞；以及 消除已填充空洞的视图的边界噪声。
12.根据权利要求11所述的方法，其中所述SI信息包括视图合成信息，所述视图合成信息包含能够以包含与各视图的3D获取相关的信息的方式形成随机3D视图的虚拟视频的信息，并且其中所述视图合成信息被定义为系统级的描述符形式或者被定义为视频级的SEI消息形式。
13.根据权利要求12所述的方法，其中所述视图合成信息包括从指示所发送的深度图的类型的深度类型信息、指示滤波器类型的滤波器类型信息、指示根据所述滤波器类型使用对应滤波器的情况的滤波器使用信息、关于用于滤波器的滤波器系数的滤波器系数信息、指明深度范围以将具有物理意义的Z值分配给深度图中指定的标称值的深度值信息、与所发送的作为视图合成算法的各算法的参数集合的分布概念对应的合成模式信息、以根据合成模式判定是整个参数集合还是部分参数集合的方式发送的相机信息、指示应用上述信息的视图的左视图标志信息组成的组中选择的至少一个。
14.根据权利要求13所述的方法，其中所述视图合成算法包括通用模式和ID并行模式。
15.根据权利要求14所述的方法，其中所述视图合成信息被定义为视频级的SEI消息形式，如果关于标识所述SEI消息中包含的信息的组合的标识符的标识信息对应于特定值，则还包括指示应用于前一图片的SEI消息的视图合成信息不再被应用的标志信息，并且其中以所述视频级定义的所述视图合成信息定义指示是否包含所述视图合成信息的所述SEI消息的存在标志信息和包含系统级的合成模式值的支持标志信息。
【文档编号】H04N21/81GK103650492SQ201280035132
【公开日】2014年3月19日 申请日期:2012年7月16日 优先权日:2011年7月15日
【发明者】徐琮烈, 崔智铉 申请人:Lg电子株式会社
【专利摘要】本说明书公开了用于处理3D服务的方法和装置。这里，根据本发明的一个示例的一种3D服务装置包括：接收单元，其被配置成接收含有3D服务的广播信号；服务信息SI处理单元，其从所述广播信号提取关于所述3D服务的SI信息并且解码所提取的信息；第一处理单元，其解码3D视图数据和深度数据；第二处理单元，其使用从所述第一处理单元输出的经解码信号作为输入并基于经解码的所述SI信息产生特定时间点的虚拟视图；以及输出格式化器，其基于所述第二处理单元产生的特定时间点的虚拟视图来产生并输出3D服务数据。
【专利说明】用于处理3D服务的方法和装置
【技术领域】
[0001]本发明涉及3D (三维)服务，更具体地，涉及处理包括信令的3D服务以支持随机视图的虚拟3D视图的方法及其装置。
【背景技术】
[0002]随着三维电视(3DTV)的普及正在盛行，激发了对3D服务的需求或关注以及对3D服务的研究。
[0003]通常，三维视频使用双眼的立体视觉原理提供3D效果。由于人通过双眼的视差感到立体感，换句话讲，由于彼此相隔大约65mm的双眼之间的间隔导致的双眼像差，因此3D视频可以按分别提供使左眼和右眼看到相关平面视频的视频的方式来提供3D效果和立体感。
[0004]3D视频显示方法包括立体技术、容量技术(volumetric technique)、全息技术等。就立体技术而言，它提供了假定将被左眼观看的左视图图像和假定将被右眼观看的右视图图像。立体技术使得能够以使左眼和右眼分别使用其自身的偏光眼镜或显示装置观看左视图图像和右视图图像的方式来识别3D视频效果。
[0005]如以上描述中提到的，3D广播分别传递左视图图像和右视图图像。并且，广播接收器以正确处理左视图图像和右视图图像的方式形成3D视频。因此，必须具有用于处理3D广播信号的信令信息。
[0006]同时，可以通过传统的3DTV接收器接收固定视图中的受限3D视频。因此，观众难以自由地选择偏好的视图。这种问题会造成多视图广播以及自动立体3DTV中出现。
【发明内容】
[0007]技术任务
[0008]创造本本发明来解决上述问题。在观看3D视频的同时控制3D效果的情况下，本发明的技术任务之一是以在接收器中产生并组合新的左视图图像和右视图图像的方式控制期望的3D效果。
[0009]本发明的另一个任务是使用2D视频(L、R)中的每个的深度图和相机参数恢复关于视频(L、R)中的每个的3D信息并且通过执行几何投影产生随机视图的视频。
[0010]本发明的其它任务是提供用于产生随机视图的3D视图必需的信令信息的方法、处理3D服务的方法及其装置。
[0011]技术方案
[0012]为了实现这些和其它优点并且根据本发明的目的，如实施和广义描述的，根据一个实施方式，一种3D服务装置包括:接收单元，其被配置成接收含有3D服务的广播信号；服务信息SI处理单元，其被配置成从所述广播信号提取关于所述3D服务的SI信息并且解码所述SI信息；第一处理单元，其被配置成解码3D视图数据和深度数据；第二处理单元，其被配置成基于经解码的所述SI信息通过所述第一处理单元的经解码信号的输入来产生随机视图的虚拟视图；以及输出格式化器，其被配置成基于所述第二处理单元产生的所述随机视图的虚拟视图来产生并输出3D服务数据。
[0013]为了进一步实现这些和其它优点并且根据本发明的目的，根据不同实施方式，一种处理3D服务的方法，所述方法包括以下步骤:接收包含3D服务的广播信号；从所述广播信号提取关于所述3D服务的SI信息并且解码所述SI信息；解码3D视图数据和深度数据；基于经解码的所述SI信息通过输入经解码信号来产生随机视图的虚拟视图；以及基于所产生的所述随机视图的虚拟视图来产生并输出3D服务数据。
[0014]有益效果
[0015]根据本发明，
[0016]第一，观众可以在观看3D视频的同时使用随机视图的3D视图来控制期望的3D效
果O
[0017]第二，可以通过使用2D视频(L、R)中的每个的深度图和相机参数恢复关于视频(L、R)中的每个的3D信息。并且，可以通过执行几何投影产生随机视图的视频。
[0018]第三，可以提供产生随机视图的3D视图必需的信令信息的方法、处理3D装置的方法及其装置。
【专利附图】
【附图说明】
[0019]图1是用于说明根据本发明的3D广播接收器的示例的示图；
[0020]图2是图1中示出的第二处理单元160中的视图合成模块162的详细配置框图；
[0021]图3是用于说明与虚拟视图合成相关的视频和深度元件的配置的示图；
[0022]图4是用于说明视图合成描述符的示例的示图；
[0023]图5是用于说明相机参数的示例的示图；
[0024]图6是用于说明包括视图合成描述符的PMT配置的示例的示图；
[0025]图7是用于说明包括视图合成描述符的TVCT配置的示例的示图；
[0026]图8是用于说明包括视图合成描述符的SDT配置的示例的示图；
[0027]图9是用于说明发送view_synthesis_infor_data的方法的示例的示图；
[0028]图10是用于说明视图合成信息SEI消息的示例的示图；
[0029]图11是视图合成SEI描述符的示例的示图；
[0030]图12是用于说明图2中示出的视图合成模块162中产生随机视图的视频的示例的示图；
[0031]图13是用于说明图12中示出的通用卷曲(warping)的示图；
[0032]图14是用于说明图12中示出的ID并列卷曲的示图；
[0033]图15是用于说明深度类型的示例的示图；
[0034]图16是用于更具体地说明ID并列卷曲处理的示图；
[0035]图17是用于说明相机布置和Z值测量的示例的示图；以及
[0036]图18是用于说明图7中的第i个相机的参数细节的示图。
【具体实施方式】
[0037]现在，将详细参照本发明的优选实施方式，在附图中示出优选实施方式的示例。然而，本发明可以不受实施方式的局限或限制。
[0038]尽管本说明书中使用的术语是在考虑到功能的情况下从当前广泛使用的通用术语中选择的，但它们可以根据从事对应领域的技术人员的意图、惯例、新技术的到来等而变化。偶尔，可以由 申请人:任意选择某些术语。在这种情况下，任意选择的术语的含义应该在说明书的【具体实施方式】的对应部分中描述。因此，本说明书中使用的术语需要基于对应术语的实质含义和本说明书中公开的整体问题来理解，而不以术语的简单名称来理解。
[0039]在3D系统中，通常，以发送方提供关于预定视图的视频和信息并且接收方基于对应的视频和信息提供固定视图的3D视频的方式形成3D服务。换句话讲，大多数接收器向用户提供基于相同视频和信息的相同或固定视图的3D视频。
[0040]这种3D服务是根据内容提供商或服务提供商的意图单向执行的，而没有考虑个体的口味、年龄、环境、接收器的性能等。因此，3D服务会降低消费内容的用户的满意度或者会以服务没有正确实现的方式使用户感到不便。
[0041]因此，用户或接收器必须选择随机视图来合适地控制3D效果。同时，上述内容也可以应用于多视图广播或自动立体3D服务。
[0042]本说明书描述了在随机视图中提供3D视图的内容。例如，可以使用2D视频(L、R)中的每个的相机参数和深度图来恢复关于视频(L、R)中的每个的3D信息并且可以通过几何投影产生随机视图的视频。为此目的，本说明书提供了将在随机视图中产生3D视图所必须的信息以信号发送的方法、处理3D服务的方法及其装置。举例来说，本说明书定义信令信息或服务信息(下文中，信令信息)以在对应部分中执行视图合成并且具体说明发送/接收(即以信号化)信令信息的方法的示例。然而，描述所述方法是为了帮助理解本发明以及易于说明本发明。因此，本发明的技术思想可以不限于上述实施方式。
[0043]如上述描述中提到的，本说明书定义产生3D视图所需的各种变量和数据并且意图使用它们。
[0044]在下面的描述中，本说明书的信令信息主要用于随机视图的虚拟3D视图的3D服务。例如，信令信息可以在与广播服务相关使用的这种信息中定义或使用(或互锁)，成为PSI/PSIP (节目特定信息/节目和系统信息协议)、DVB-SI (数字视频广播-服务信息)等。
[0045]同时，在本说明书中，装置可以指示所有数字装置通过与外部连接来直接或间接地处理3D服务。然而，为了清晰起见，本说明书将广播接收器作为例子来说明。数字装置包括诸如智能TV、IPTV等的固定装置、诸如智能电话、平板PC、笔记本等的移动装置。并且，数字装置包括处理和/或输出蓝光、视频CD、游戏、应用、软件以及包括3D服务的信号或内容。除此之外，如有必要，数字装置可以通过网络与不同的数字装置互锁。并且，在数字装置中还可以安装单独的OS。
[0046]图1是用于说明根据本发明的3D广播接收器的示例的示图。
[0047]参照图1，3D广播接收器可以包括接收单元110、解调单元120、解复用单元130、SI处理器140、第一处理单兀150、第二处理单兀160和输出格式化器170。
[0048]接收单元110经由RF信道接收包括3D服务的视图图像数据和3D服务的信令信息的3DTV广播信号。
[0049]解调单元120解调接收到的3DTV广播信号。
[0050]解复用单元130将来自经解调的3DTV广播信号的视频数据、音频数据和包括视图图像数据的信令数据解复用并且将其发送到对应的组件。
[0051]SI处理器140接收经解复用的信令数据并且处理信号数据。经处理的信令数据被发送到第一处理单元150、视图合成模块162、输出格式化器170等并且用于处理对应的组件。或者，尽管在附图中未示出，但经处理的信令数据被暂时存储在3D广播接收器的内部或外部安装的SI数据库(DB)中。例如，在经处理的信令数据之中，SI处理器140将底层和增强层的适配数据的信令数据发送到第一处理单元150并且将3D虚拟视图的信令数据发送到第二处理单元160。
[0052]第一处理单元150可以包括第一视图处理单元和第二视图处理单元。同时，第一视图处理单元包括第一解码器152和第二解码器154并且第二视图处理单元包括第三解码器156和第四解码器158。第一处理单元主要被配置成处理上述由发送方预定的固定视图。
[0053]可以根据3D服务的类型通过自适应性配置以不同方式实现第一处理单元150的配置。然而，为了清晰起见，本说明书举例说明底层和增强层的3D服务数据处理的配置。分别在第一视图处理单元和第二视图处理单元中处理底层的3D服务数据和增强层的3D服务数据。
[0054]第一视图处理单元的第二解码器154解码底层的视图图像数据并且第一解码器152解码关于经第二解码器154解码的底层的视图图像数据的深度信息。在这种情况下，底层可以指示视图图像数据被从AVC层进行AVC编码。
[0055]第二视图处理单元的第三解码器156解码增强层的视图图像数据并且第四解码器158解码关于经第三解码器156解码的增强层的视图图像数据的深度信息。在这种情况下，增强层可以指示视图图像数据被从MVC扩展层进行MVC编码。
[0056]如以上描述中提到的，第一视图图像数据/深度信息、第二图像数据/深度信息是借助第一处理单元150产生的并且可以被发送到第二处理单元160或输出格式化器170。同时，第一视图图像数据/深度信息和第二图像数据/深度信息可以分别被定义为左视图图像数据和右视图图像数据，第一视图图像数据/深度信息和第二图像数据/深度信息可以分别被定义为右视图图像数据和左视图图像数据。
[0057]并且，第二处理单元160可以包括视图合成模块162、第一虚拟视图处理单元164、第二虚拟视图处理单元166。关于此，将在图2中进行详细描述。
[0058]输出格式化器170借助通过第一处理单元150和第二处理单元160接收的左视图图像和右视图图像，产生并输出根据输出频率合成的3D视图数据。
[0059]在以上的描述中，构成3D广播接收器的组件可以在考虑到组件的功能、性能等的情况下以多个组件被模块化的方式被实现为单个组件，反之亦然。
[0060]并且，尽管在图1中未示出，但在3D广播接收器中还可以包括与OSD生成相关的OSD引擎、混合器等。并且，包括显示器和扬声器的输出单元可以被包括在3D广播接收器的内部或外部。输出单元可以经由HDMI接口等与3D广播接收器连接。
[0061]图2是图1中示出的第二处理单元160中的视图合成模块162的详细配置框图。
[0062]第二处理单元160可以基于经由第一处理单元150接收的左视图图像/右视图图像和信令信息从用户和/或接收器选择随机视图。第二处理单元被配置成产生/处理所选择的随机视图中的3D虚拟视图图像数据。
[0063]在上述图1中，尽管第二处理单元160包括视图合成模块162、第一虚拟视图处理单元164和第二虚拟视图处理单元166，但图2只示出视图合成模块162和输出格式化器170。然而，明显的是，第一虚拟视图处理单元164和第二虚拟视图处理单元166存在于视图合成模块和输出格式化器之间。
[0064]视图合成模块162包括对应于第一虚拟视图处理单元164的第一合成单元和对应于第二虚拟视图处理单元166的第二合成单元。
[0065]第一合成单元包括第一卷曲单元212、第一合并单元214、第一空洞填充单元216和第一边界噪声消除单元218。同时，第二合成单元包括第二卷曲单元222、第二合并单元224、第一空洞填充单元226和第二边界噪声消除单元228。然而，为了清晰说明本发明，只示出所需的配置。如有必要，可以添加或省略配置的一部分。
[0066]参照图2，在视图合成模块162中产生随机3D虚拟视图的过程如下。首先，卷曲单元对输入的左视图图像数据(L_view&L_depth)和右视图图像数据(R_view&R_depth)执行卷曲处理并且产生由左视图图像数据卷曲得到的数据和由右视图图像数据卷曲得到的数据。合并单元将由左视图图像数据卷曲得到的数据和由右视图图像数据卷曲得到的数据合并。空洞填充单元填充空洞。然后，边界噪声消除单元消除边界的噪声。最后，产生经合成的左视图和经合成的右视图。
[0067]在这种情况下，卷曲单元基于随后描述的视图合成信息中的相机参数、深度类型、depth_near、depth_far等中的至少一个对视图图像数据中的每个执行卷曲处理。
[0068]并且，卷曲单元向合并单元、空洞填充单元和边界噪声消除单元提供深度信息和空洞信息并且使它们在执行合并和空洞填充的情况下使用深度信息和空洞信息。
[0069]所产生的经合成的左视图和经合成的右视图分别经受第一虚拟视图处理单元164和第二虚拟视图处理单元166处理。然后，视图经受输出格式化器170处理。通过这样做，提供了随机视图的经合成的3D视图。
[0070]同时，在图2中说明了在随机视图中形成经合成的3D视图的过程。与此相关，参照下面描述中描述的附图更详细地说明在上述过程中使用的卷曲、合并、空洞填充和边界噪声消除处理。
[0071]图3是用于说明与虚拟视图合成相关的视频和深度元件的配置的示图。
[0072]例如，图3示出与本发明相关的用于视图合成的广播服务结构的示例。在这种情况下，例如3D节目/服务/频道可以只由视频数据和深度数据构成。
[0073]图3示出用于第一(虚拟)视图的视频元件、用于第一(虚拟)视图的深度元件、用于第二 (虚拟)视图的视频元件和用于第二 (虚拟)视图的深度元件。
[0074]然而，图3中示出的广播服务结构只是示例，本发明可以不受其限制。明显的是，图3中示出的广播服务结构可以应用于根据技术增强添加的广播服务结构以及已经公开宣布的广播服务结构。
[0075]图4是用于说明视图合成描述符的示例的示图。
[0076]图4定义了根据本发明的产生随机3D虚拟视图所需的信令信息。在下面的描述中，该信令信息被称为视图合成信息。例如，视图合成信息可以按与预先配置的SI信息具有兼容性的方式来定义和发送。
[0077]同时，视图合成信息可以被定义为诸如一般在SI中定义的表格、描述符、字段等各种形式。然而，举例来说，本说明书以描述符形式定义视图合成信息并且通过将其命名为视图合成描述符来说明视图合成信息。
[0078]例如，视图合成描述符被包括在PMT (节目映射表)、TVCT (地面虚拟频道表)、SDT(服务描述表)、EIT (事件信息表)等中。视频合成信息告知关于被包括在当前节目、频道或服务中的视频流或深度流的3D视频获取信息。随后将对此进行描述。
[0079]例如，视图合成描述符提供与左视图和右视图中的每个的3D获取相关的信息并且3D接收器提供产生随机3D视图的虚拟视图所需的信息。
[0080]同时，如果视图合成描述符指示关于各视图的信息，则N对应于I。在这种情况下，视图合成描述符只提供关于对应视图的信息。
[0081]视图合成描述符可以指示关于被包括在节目、频道或服务中的所有视图的信息。在这种情况下，N意味着实际发送的视图的数量。
[0082]在下面的描述中，参照图4更详细地说明构成视图合成描述符的各字段或元件。
[0083]descriptor_tag字段和descriptor_length字段指不本描述符对应于视图合成描述符。并且，这些字段告知本描述符的长度。
[0084]left_view_flag 字段指不应用了下面的 depth_type、filter_coefficient 等的视图。作为参考，就立体视频服务(N等于或小于2)而言，本字段指示左视图和右视图。如果N大于2，则本字段应该大于I位并且可以扩展成指示视图的相对位置。例如，O可以指示最左边的视图并且随着数字增大可以指示右视图。
[0085]depth_type字段指示所发送的深度图的类型。接收器处理深度图的方法可以根据本字段而变化。
[0086]同时，depth_type字段下面的字段对应于循环结构并且根据滤波器的数量提供滤波器相关信息。
[0087]filter_type字段指示诸如双线性、双三次等的滤波器类型。
[0088]filter_usage字段指示使用对应滤波器的情况。例如，本字段的值可以指示字段是用于从整个插值成半像素还是用于从半像素插值成四分之一像素。
[0089]Num_filter_tap字段指示用于实现滤波器的系数的数量。系数I (coeffl)和系数2可以被定义成与滤波器抽头的数量一样多。在这种情况下，例如，可以用与所定义的系数I和系数2相关的“coeff l/coeff2”计算实际系数值。同时，可以用系数值的十进制点单元表示滤波器系数。
[0090]上述系数I和系数2的filter_coefficient字段是被推荐用于在用于视图合成的像素映射过程中执行整个、半个、四分之一个像素插值的情况下实现滤波器的系数。
[0091]同时，根据上述N, left_view_flag字段和depth_type以下的字段可以具有循环结构。
[0092]nearest_depth值字段和farthest_depth_value字段指示为深度图中的指定的标称值(例如，O?255)提供有物理意义的Z值的深度范围。
[0093]synthesis_mode字段通常意味着诸如通用模式、ID并列模式等的接收器的视图合成算法。然而，在这种情况下，它可以被定义为所发送的参数集的分布概念。例如，本字段可以指示必要的旋转矩阵系数等没有以通用模式发送。这个字段可以被表示为完整版、简易版等。
[0094]可以根据synthesisjnode字段利用多视图获取信息SEI消息。并且，可以根据synthesis_mode字段确定下面的字段和值。例如，如果synthesis_mode字段的值对应于O X 00,则定义图5 (a)中不出的camera_instrinsic_info ()字段和图5(b)中不出的camera_extrinstic_info O字段。如果synthesis_mode字段的值对应于O X 01或者不是 O X 00,则可以定义 focal_length 字段、base I ine_di stance 字段、principal_point_offset_distance 字段等。
[0095]camera_intrinsic_info ()字段和 camera_extrinsic_info ()是与相机参数相关的字段。当synthesisjnode字段对应于0X00时，这些字段是有意义的并且发送完整参数集合。如果synthesis_mode字段对应于0X01,则发送部分集合。关于所述部分集合,关于差异(主点偏移差异)等的信息可以从焦距、基线距离、主点偏移等发送。
[0096]在这种情况下，camera_parameter_id被分配给 camera_intrinsic_info 和camera_extrinsic_info。并且,对应组合被存储在接收器中并且可以随后使用它。通过这样做，由于不重复发送参数，因此可以减少带宽浪费。
[0097]merge_option_included_flag字段与执行视图合成处理所需的选项相关。例如，本字段可以定义提供视图合成处理中使用的参数的depth_threshold字段和hole_count_threshold字段作为能够由接收器根据对应的选项值进行选择性参考的信息。
[0098]同时，如在以上描述中提到的，图6至图8示出根据本发明的包括视图合成描述符的SI的示例。各【专利附图】
【附图说明】包括视图合成描述符的内容。
[0099]图6是用于说明包括视图合成描述符的PMT配置的示例的示图。
[0100]在这种情况下，图6只公开了根据本发明的视图合成描述符所必须的配置或字段。然而，通用内容、配置、PMT的字段和对PMT的详细说明可以参考已经公开宣布的内容和标准。在本说明书中省略了对PMT的详细说明。
[0101]如果视图合成描述符设置在PMT，则作为第一种选择，可以对应于深度流以基本流级执行信令。或者，作为第二种选择，可以对应于与深度对应的视频基本流以基本流级循环执行信令。
[0102]参照图6，关于诸如视图的视频流和深度流的各种视图流的信息可以被包括在节目中，尤其是包括对应于O X 0002的program_number的节目中。
[0103]如果stream_type字段值对应于OX IB,则这指示经AVC编码视频流。这个值指示底层，即，第一视图的流类型。这个视频流的elementary_PID对应于0X0090并且视图合成描述符可以被包括在视频流中。
[0104]如果81:^31]1_17卩6字段值对应于0\2(),则这指示经靈(]编码视频流。这个值指示增强层，即，第二视图的流类型。这个视频流的elementary_PID对应于0Χ00Α0并且视图合成描述符可以被包括在视频流中。
[0105]如果stream_type字段值对应于0X26,则这指示底层，即，上述第一视图的深度流。这个视频流的elementary_PID对应于0X0091并且视图合成描述符可以被包括在视
频流中。
[0106]如果8廿册!1^7?6字段值对应于0\26，则它还指示深度流。然而，在这种情况下，它可以指示增强层，即，第二视图的深度流。因此，这个视频流的elementary_PID对应于O X 0091并且视图合成描述符可以被包括在视频流中。
[0107]如以上描述中提到的，视图合成描述符可以设置根据streamjype和elementary_PID设置在视频流和深度流中的至少一个中。具体地，视图合成描述符可以按视图单元或流单元定义和发送。
[0108]图7是用于说明包括视图合成描述符的TVCT配置的示例的示图。
[0109]参照已经公开宣布的内容和标准在图7中省略了构成通用TVCT部分的各配置字段。图7只说明与本发明相关的内容。
[0110]如果视图合成描述符以被包括在TVCT中的方式发送,则作为第一种选择,可以按频道级描述符循环来设置视图合成描述符。或者，作为第二种选择，视图合成描述符的字段可以设置在传统组件列表描述符中。或者，作为第三种选择，视图合成描述符的字段可以按扩展服务位置描述符的方式被包括在服务位置描述符中。
[0111]然而，如果视图合成描述符被包括在TVCT中，则视图合成描述符以关于所有视图的信息都被包括在TVCT中的方式配置。
[0112]TVCT 部分借助 ma jor_channel_number 字段和 minor_channel_number 字段提供虚拟频道的频道号。TVCT部分借助channel_TSID字段与频道的传输流ID连接。TVCT部分经由program_number字段与PSI中的PAT (节目关联表)和/或PMT的节目连接，TVCT部分经由servicejype字段提供对应频道的服务类型信息。
[0113]在这种情况下，根据本发明的TVCT中的service_type字段包括3D装置的服务类型。例如，如果service_type字段的值对应于O X 07或O X 09，则它可以指示经由对应频道发送的服务类型是3DTV服务。同时，servicejype字段的值只是示例并且可以不限于上述字段值。
[0114]如在以上描述中提到的，根据本发明的视图合成描述符可以由图7中的TVCT的描述符之一定义。举例来说，根据servicejype字段的值判定视图合成描述符是否被包括(定义)在TVCT部分中。具体地，当servicejype字段值指示服务类型对应于3DTV服务时，视图合成描述符可以被包括在TVCT部分中。或者，当只定义诸如3D虚拟服务的单独服务类型时，视图合成描述符可以按被包括作为TVCT部分的描述符的方式发送。除此之外，可以根据频道单元和/或progranuiumber而非服务单元判定是否包括(发送)视图合成描述符。
[0115]图8是用于说明包括视图合成描述符的SDT配置的示例的示图。
[0116]图8示出与DVB方案的服务相关的SDT部分。类似于图7，视图合成描述符可以被包括在SDT部分中。
[0117]如果视图合成描述符被发送到SDT，则视图合成描述符以服务级描述符循环进行设置并且以关于所有视图的信息被包括在视图合成描述符中的方式配置。
[0118]同时，如在以上描述中提到的，当servidid字段所标识的服务只对应于3D服务时，视图合成描述符可以包括在SDT中。或者，定义单独的3D虚拟服务的service_id并且当只发送所定义的3D虚拟服务的标识符时可以包括视图合成描述符。或者，可以不顾及service_id,按被包括在SDT中的方式发送视图合成描述符。
[0119]同时，图8中示出的剩余配置字段可以指已经公开宣布的内容和标准。因此，省略对剩余字段的详细说明。
[0120]然而，service_id、视图合成描述符等的内容可以遵循通过新近标准和/或本说明书定义的内容。[0121]图9是用于说明发送view_synthesis_infor_data的方法的示例的示图。图10是用于说明视图合成信息SEI消息的示例的示图。
[0122]不同于以上描述，在下面的描述中描述了发送用于视图合成的信息所需的视频级信令。为此目的，在下面描述了使用视频流或视频数据报头的SEI消息(视频合成信息SEI消息)而非描述符形式的PSI/PSIP/DVB-SI。视图合成信息SEI消息意图指示视频级的视图合成相关信息。
[0123]参照图9，在H.264 (或AVC)视频的情况下，对应信息被发送到SEI (补充增强信息)区域。user」dentifier 和 user_structure 被发送至丨J user_data_registered_itu_t_135 O ,以使 user_data_registered_itu_t_135 O 包括 user」dent ifier 和 user_structure。具体地,对应信息被发送到SEI载荷而非user_data()。
[0124]SEI起到MPEG-2的用户数据和图片扩展的作用并且也可以类似地限制位置。
[0125]具体地，图9指示在AVC/H.264下发送视图合成信息数据的方法。
[0126]图10是用于说明视图合成信息SEI消息的示例的示图。
[0127]如下详细说明图10中的视图合成信息SEI消息的各配置字段。
[0128]view_synthesis_info_id字段包括用于指示视图合成信息SEI消息中包括的信息组合的标识号。
[0129]如果view_synthesis_info_cancel_flag对应于I,则这指示应用于前一图片的视图合成信息不再被应用。
[0130]由于剩余配置字段的内容与图4的上述配置字段相同，因此这里调用上述内容并且省略重复说明。
[0131]同时，发送view_synthesis_info_data以告知上述视图合成信息SEI消息(具体地，视频级的视图合成相关信息)的方法如下。
[0132]在视图合成信息SEI消息被包括在特定视图的视频数据或深度流中的情况下，借助view_synthesis_info_data将对应流视图的3D信息等以信号形式发送。借助SEIRBSP(原始字节序列载荷)接收view_synthesis_info_data()。在解析AVC NAL单元之后，如果 nal_unit_type 值对应于 6,则这指示 SEI 数据。以读取 user_data_registered_itu_t_t35SEI消息的方式检查user_identifier,其中,payloadType对应于4。以读取其中user_identifier 值对应于 O X 47413934 的 user_structure O 的方式提取其中 user_data_type_code对应于OX 12的数据。以解析view_synthesis_info_dataO的方式得到3D获取信息和被配置成随后产生虚拟视图的信息。
[0133]图11是视图合成SEI描述符的示例的示图。
[0134]例如，图11是在上述图10中以视频级被信号化的以信号形式发送视图合成信息SEI消息是否以系统级存在的示例的示图。
[0135]类似于图6，可以以PMT的ES级等设置视图合成SEI描述符。为了让接收器知道视图合成信息SEI消息是否被包括在预先系统级的对应视频中，提供了信令信息。
[0136]参照图11，本描述符包括如下的配置字段。
[0137]view_synthesis_info_SEI_message_exist_f lag 字段指不能够具体标识视图合成相关信息的视图合成SEI消息是否被包括在接收到的视频流中。
[0138]同时，full_synthesis_mode_supported_flag字段可以指示以上描述中提到的synthesis_mode 值。
[0139]此外，还能够预先知道包括在视图合成信息SEI消息中的信息是否完全或部分地提供了与3D获取相关的几何信息。
[0140]如在以上描述中提到的，为了用广播站发送的流产生随机视图中的3D虚拟视图，可以经历以下步骤。
[0141]图12是用于说明图12中示出的视图合成模块162中产生随机视图的视频的示例的框图。
[0142]首先，说明卷曲步骤。
[0143]在这个步骤中，分别对构成3D视图的左视频和右视频中的每个应用卷曲并且针对新视图的视频执行像素单元的映射。
[0144]存在两种类型的卷曲。一种是能够针对所有相机配置执行的通用卷曲模式。另一种是只针对ID并列相机配置情况执行的卷曲模式（ID并列卷曲模式)。
[0145]同时，以经受第一处理单元150处理以执行卷曲的方式输入的数据对应于左视图(L视频图像)、左深度图（L深度图)、右视图（R视频图像）和右深度图（R深度图)。
[0146]随后，当进行卷曲步骤时，执行合并。
[0147]这个步骤是以将由左视图卷曲得到的新视图的视频（L’）和由右视图卷曲得到的新视图的视频（R’ )组合在一起的方式由之前得到的两个经卷曲视频形成视频的过程。
[0148]在这种情况下，在执行合并的情况下，当在L’视频或R’视频中存在经映射的像素值并且另一方对应于空洞时，可以用现有的像素值填充对应像素。
[0149]并且，L’视频和R’视频都对应于空洞，合并视图的像素可以被保持为空洞。
[0150]然后，如果经映射的像素值既存在于L’视频又存在于R’视频中，则从两个值之中选择一方的值或者两个值以被合成为一个值的方式使用。在这种情况下，可能存在多种选择/合成方法。
[0151]可能存在使用对应像素的深度值的方法、当像素被映射时使用相机基线距离[像素]的方法、通过测量像素附近的空洞的数量来计算可靠性的方法等。
[0152]随后，当进行合并时，执行空洞填充步骤。
[0153]这个步骤将以填充之前产生的合并视图中保留的空洞的方式产生其中不存在空洞的视图。
[0154]可以按全面考虑到空洞的位置、像素附近的空洞的数量、空洞附近的像素的位置、各像素的值和对应像素的深度值中的至少一个的方式分配合适的值。存在各种算法。
[0155]最后，当进行空洞填充时，执行边界噪声消除处理。
[0156]很有可能以直至空洞填充步骤都经受的方式产生视频中的边界噪声。因此，必须执行消除噪声的处理。为此目的，设计边界噪声消除处理。
[0157]图13是用于说明图12中示出的通用卷曲的示图。
[0158]图13示出作为图12中示出的卷曲方法中的一种的通用卷曲处理。
[0159]参照图13(a)，通用模式卷曲是以使用对应像素的深度值和相机拍摄的对应视频的几何信息将2D空间中的像素投影到3D空间然后将经投影的像素再投影到新的随机2D空间的方式来产生视频的方法。
[0160]在这种情况下，M指示3D全局坐标上的点。m和m’指示图像平面上的M的投影。并且，t和t’指示相机的中心。
[0161]图13(b)指示用于将2D空间中的点转换成3D空间中的点的公式。
[0162]相反，图13(c)指示用于将3D空间中的点转换成2D空间中的点的公式。
[0163]在上述公式中，P对应于归一化的立体投影矩阵，s和S，对应于标量。
[0164]如果将两个公式彼此组合，则可以推导出图13(d)中示出的交互公式(interaction formula)。
[0165]图14是用于说明图12中示出的ID并列卷曲的示图。
[0166]图14示出与图13的通用卷曲方法不同的作为图12中示出的卷曲方法中的一种的ID并列模式卷曲方法。
[0167]参照图14(a)，ID并列模式卷曲方法是只有当满足了相机布置被排列成ID方向的限制条件时才可用的方法。ID并列模式卷曲方法比通用模式卷曲简单并且基于下面的三个变量进行处理。
[0168]f，焦距
[0169]I，基线间隔
[0170]du，主点的差异
[0171]并且,参照图14(b)和图14(c),可以用给定深度图、Z_near值和Z_far值计算实际深度值z，并且可以利用实际深度值z。
[0172]参照图14(d)，可以用这三个变量值计算视差值。基于视差值执行像素映射。
[0173]图15是用于说明深度类型的示例的示图。图16是用于更具体地说明ID并列卷曲处理的示图。图17是用于说明相机布置和Z值测量的示例的示图。并且，图18是用于说明图17中的第一个相机的参数细节的示图。
[0174]同时，图15至图18更具体地说明根据本发明的上述图12中的各步骤中使用的参数。
[0175]首先，说明设置处理。
[0176]SynthesisMode字段是说明视图合成模式的字段。视图合成模式包括通用模式、ID并列模式和混合模式。可以用本字段指示视图合成模式中的至少一种。同时，本字段可以指示完整版以及轻(简易）版。
[0177]DepthType字段是说明深度类型的字段。
[0178]图15示出根据本字段值、Z值的范围、用于深度和强度的方程（z-v)、用于强度和视差的方程（v-d)的各特性。图16示意性示出根据深度类型执行ID并列卷曲的方法。在这种情况下，例如，图16(a)示出depth_type对应于O的情况并且图16(b)示出depth_type对应于I的情况。
[0179]如图15和图16(a)中示出的，如果cbpth_type字段值对应于0，则这意味着使用来自相机的深度的视图合成模式。在这种情况下，深度值取与3D空间的原点相距负值以及正值。这可应用于任何ID并列图像。
[0180]如图15和图16(b)中所示，如果d印th_type字段值对应于I，则这也意味着使用来自相机的深度的视图合成模式。在这种情况下，深度值只取与3D空间的原点相距正值。这只可应用于任何对象与3D空间的原点相距正深度的图像。
[0181]同时，图17不出与本发明相关的相机布置和Z值测量。[0182]参照图17,可以在 filter_usage、filter_type 和 filter_coefficient 字段之中进行至少一种组合。具体地，filter_usage字段指示应用对应滤波器的时间。
[0183]filter_usage字段是指示应用对应滤波器的时间。这个字段用于指示诸如执行将半像素区升采样成四分之一像素区的情况、将整像素区升采样成四分之一像素区的情况等的各种使用情况。
[0184]filter_type字段指示用于在子像素位置产生图像信号的升采样滤波器。如果本字段的值对应于0，则这意味着(双)线性滤波器。如果本字段的值对应于1，则这意味着(双）三次滤波器。如果本字段的值对应于2，则这意味着MPEC-4AVC中使用的滤波器。
[0185]filter_coefficient字段指示用于滤波器的滤波器系数。
[0186]在设置处理之后，更详细地说明卷曲处理。
[0187]NearestDepthValue字段指明左图像与相机或3D空间的原点相距的最近深度值。
[0188]FarestDepthValue字段指明左图像与相机或3D空间的原点相距的最远深度值。
[0189]在执行卷曲处理的情况下，通用模式需要所有相关的相机参数信息。以文件形式提供相机参数。优选相机的参数可以按基于文件内的优选相机的名称(标识符)产生的方式来使用。
[0190]通过从由图18(a)的旋转矩阵R、图18(b)的平移矢量t、图18(c)的内部矩阵A等组成的组中选择的至少一种配置相机参数。
[0191]CameraParameterFi Ie字段指明包括所有相机的按真实视图和虚拟视图的内在和外在参数的文件的文件名（带有.txt)。
[0192]LeftCameraName字段指明特定虚拟视点相机的左手侧的真实相机的名称。
[0193]VirtualCameraName字段指明将被产生视图图像的虚拟视点相机的名称。
[0194]RightCameraName字段指明特定虚拟视点相机的左手侧的真实相机的名称。
[0195]在执行卷曲处理的情况下，ID并列模式需要左视频和右视频中的每个的下列信
肩、O
[0196]focal_length字段指明相机的焦距。
[0197]baseline_spacing字段指明相机之间的距离（即，所具有的L或R视频的视图和将产生的视频的视图之间的距离)。
[0198]difference_in_principal_point_offset字段指明基于所具有的L或R相机的主点偏移和将要产生的视频相机的主点偏移值之差。
[0199]在卷曲处理之后，更详细地说明合并处理。
[0200]下列字段对应于能够被广播站选择性发送以使接收器能够在执行合并处理的情况下参考的值。
[0201]DepthThreshold字段是只有当MergingOption被设置为2时才有效的参数。它用于启发式混合算法。较大的值意味着更多像素被求平均。通常，期望较大的值对应于差质量的深度图。关于这个的更多细节，参考MPEG文件M15883。
[0202]HoleCountThreshold字段是只有当MergingOption被设置为2时才有效的参数。它用于启发式混合算法。较大的值意味着更少像素被求平均。关于这个的更多细节，参考MPEG 文件 Ml5883。
[0203]同时，在执行合并的情况下，下列方法是可用的。当对于左参考视图和右参考视图而言像素都被映射时，需要应用混合方法来决定最终像素值。
[0204]在与Z-缓冲器进行比较之后分配较靠近相机的像素的值。
[0205]针对邻近像素执行空洞计数，然后分配包括较少空洞的像素的值(很有可能较少空洞)。
[0206]在比较基线距离之后，分配较靠近距离的像素的值。如果虚拟视点靠近左视点，则使用左视点图像，反之亦然。
[0207]在这种情况下，主要使用左视图图像或右视图图像并且用其它图像填充空洞。
[0208]使用通过将两个像素值彼此组合形成的新像素值。作为代表性方法，可以使用求平均等。
[0209]本发明的实施方式
[0210]如在以上描述中提到的，在上述最优实施方式中说明了本发明的各种实施方式。
[0211]工业可应用性
[0212]本发明可以在工业上以部分或全部应用于数字系统的方式来利用。
【权利要求】
1.一种3D服务装置，所述3D服务装置包括: 接收单元，其被配置成接收含有3D服务的广播信号； 服务信息SI处理单元，其被配置成从所述广播信号提取关于所述3D服务的SI信息并且解码所述SI信息； 第一处理单元，其被配置成解码3D视图数据和深度数据； 第二处理单元，其被配置成基于经解码的所述SI信息通过所述第一处理单元的经解码信号的输入来产生随机视图的虚拟视图；以及 输出格式化器，其被配置成基于所述第二处理单元产生的所述随机视图的虚拟视图来产生并输出3D服务数据。
2.根据权利要求1所述的装置，其中所述第二处理单元被配置成包含产生经合成的左视图和右视图的视图合成模块。
3.根据权利要求2所述的装置，其中所述视图合成模块包括: 卷曲单元，其被配置成以向所述左视图和所述右视图中的每个应用卷曲的方式以像素为单位执行与新视图的映射； 合并单元，其被配 置成以将经卷曲的视图组合在一起的方式将经卷曲的视图合并成一个视图； 空洞填充单元，其被配置成填充经合并视图中留下的空洞；以及 边界噪声消除单元，其被配置成消除已填充空洞的视图的边界噪声。
4.根据权利要求3所述的装置，其中所述SI信息包括视图合成信息，所述视图合成信息包含能够以包含与各视图的3D获取相关的信息的方式形成随机3D视图的虚拟视频的信息，并且其中所述视图合成信息被定义为系统级的描述符形式或者被定义为视频级的SEI消息形式。
5.根据权利要求4所述的装置，其中所述视图合成信息包括从指示所发送的深度图的类型的深度类型信息、指示滤波器类型的滤波器类型信息、指示根据所述滤波器类型使用对应滤波器的情况的滤波器使用信息、关于用于滤波器的滤波器系数的滤波器系数信息、指明深度范围以将具有物理意义的Z值分配给深度图中指定的标称值的深度值信息、与所发送的作为视图合成算法的各算法的参数集合的分布概念对应的合成模式信息、以根据合成模式判定是整个参数集合还是部分参数集合的方式发送的相机信息、以及指示应用上述信息的视图的左视图标志信息组成的组中选择的至少一个。
6.根据权利要求5所述的装置，其中所述视图合成算法包括通用模式和ID并行模式。
7.根据权利要求6所述的装置，其中所述视图合成信息被定义为视频级的SEI消息形式，如果关于标识所述SEI消息中包含的信息的组合的标识符的标识信息对应于特定值，则还包括指示应用于前一图片的SEI消息的视图合成信息不再被应用的标志信息。
8.根据权利要求7所述的装置，其中以所述视频级定义的所述视图合成信息定义指示是否包含所述视图合成信息的所述SEI消息的存在标志信息和包含系统级的合成模式值的支持标志信息。
9.一种处理3D服务的方法，所述方法包括以下步骤: 接收包含3D服务的广播信号； 从所述广播信号提取关于所述3D服务的SI信息并且解码所述SI信息；解码3D视图数据和深度数据； 基于经解码的所述SI信息通过输入经解码信号来产生随机视图的虚拟视图；以及 基于所产生的所述随机视图的虚拟视图来产生并输出3D服务数据。
10.根据权利要求9所述的方法，其中随机视图的虚拟视图产生步骤对应于用视图合成方法来产生经合成的左视图和右视图的方法。
11.根据权利要求10所述的方法，其中所述视图合成方法包括以下步骤: 以对所述左视图和所述右视图中的每个应用卷曲的方式进行卷曲从而以像素为单位执行与新视图的映射； 以将经卷曲的视图彼此组合的方式将经卷曲的视图合并成一个视图； 进行空洞填充以填充经合并视图中留下的空洞；以及 消除已填充空洞的视图的边界噪声。
12.根据权利要求11所述的方法，其中所述SI信息包括视图合成信息，所述视图合成信息包含能够以包含与各视图的3D获取相关的信息的方式形成随机3D视图的虚拟视频的信息，并且其中所述视图合成信息被定义为系统级的描述符形式或者被定义为视频级的SEI消息形式。
13.根据权利要求12所述的方法，其中所述视图合成信息包括从指示所发送的深度图的类型的深度类型信息、指示滤波器类型的滤波器类型信息、指示根据所述滤波器类型使用对应滤波器的情况的滤波器使用信息、关于用于滤波器的滤波器系数的滤波器系数信息、指明深度范围以将具有物理意义的Z值分配给深度图中指定的标称值的深度值信息、与所发送的作为视图合成算法的各算法的参数集合的分布概念对应的合成模式信息、以根据合成模式判定是整个参数集合还是部分参数集合的方式发送的相机信息、指示应用上述信息的视图的左视图标志信息组成的组中选择的至少一个。
14.根据权利要求13所述的方法，其中所述视图合成算法包括通用模式和ID并行模式。
15.根据权利要求14所述的方法，其中所述视图合成信息被定义为视频级的SEI消息形式，如果关于标识所述SEI消息中包含的信息的组合的标识符的标识信息对应于特定值，则还包括指示应用于前一图片的SEI消息的视图合成信息不再被应用的标志信息，并且其中以所述视频级定义的所述视图合成信息定义指示是否包含所述视图合成信息的所述SEI消息的存在标志信息和包含系统级的合成模式值的支持标志信息。
【文档编号】H04N21/81GK103650492SQ201280035132
【公开日】2014年3月19日 申请日期:2012年7月16日 优先权日:2011年7月15日
【发明者】徐琮烈, 崔智铉 申请人:Lg电子株式会社
相关技术
网友询问留言
已有0条留言
- 还没有人留言评论。精彩留言会获得点赞！
1