处理和接收用于3维字幕的数字广播信号的方法和装置的制造方法

处理和接收用于3维字幕的数字广播信号的方法和装置的制造方法
【专利说明】处理和接收用于3维字幕的数字广播信号的方法和装置
[0001]本申请是原案申请号为201180027085.7的发明专利申请(国际申请号:PCT/KR2011/003905，申请日:2011年5月27日，发明名称:处理和接收用于3维字幕的数字广播信号的方法和装置)的分案申请。
技术领域
[0002]本发明涉及用于在网络上传输三维(3D)图像的方法以及用于处理包括3D图像的广播信号的广播接收器，更具体而言，涉及用于向与3D图像一同显示的字幕提供3D效果的广播信号处理方法以及用于接收使用该广播信号处理方法处理的广播信号的广播接收器。
【背景技术】
[0003]—般而言，三维(3D)图像(或立体图像)使用立体感知原理为用户眼睛提供立体效果。人通过彼此分离约65mm的双眼间距导致的双眼视差感觉近和远，所以3D图像使得右眼和左眼分别观看相关的平面图像，导致立体效果和透视效果。
[0004]上述3D图像显示方法可以分类为立体方案、体积方案、全息方案等。在使用立体方案的情况中，3D图像显示方法提供通过左眼观看的左视图图像和通过右眼观看的右视图图像，使得通过偏振眼镜或显示设备，用户的左眼观看左视图图像且用户的右眼观看右视图图像，导致3D图像效果的识别。

【发明内容】

[0005]技术问题
[0006]本发明的目的被设计为解决与广播信号的3D内容一同显示的3D字幕的有效传输中出现的问题。
[0007]本发明的目的被设计为，在广播接收器在3D广播环境中接收字幕数据的情形中，通过考虑3D视频显示设备的显示条件和在制造过程中设置的内容的3D效果来处理和显示接收到的3D字幕数据，解决在向用户提供有效和方便的广播环境中存在的问题。
[0008]技术方案
[0009]为了实现这些和其他优点，按照本发明的目的，作为具体和广义的描述，提出了一种用于处理包括3维即3D内容的数字广播信号的方法。该方法包括以下步骤:对用于所述3D内容的3D视频数据进行编码，所述3D视频数据包括用于3D图像的左视图的左画面和用于右视图的右画面；生成包括字幕片段的信令数据，所述字幕片段具有用于以信号方式告知用于所述3D内容的3D字幕的信息，其中，所述字幕片段包括子区域视差信息，所述子区域视差信息指示应用于所述3D图像的针对所述3D字幕的区域的至少一个子区域的视差的值，所述视差是在所述3D图像的所述右视图和所述左视图中表达相同空间点的像素的水平位置之间的差异；以及发送包括编码的3D视频数据和生成的信令数据的数字广播信号。
[0010]在本发明的另一方面中，此处提供一种用于接收包括3维即3D内容的数字广播信号的装置，该装置包括:接收单元，所述接收单元被构造为接收包括用于所述3D内容的3D视频数据和信令数据的数字广播信号；解复用器，所述解复用器被构造为从接收到的所述数字广播信号解复用所述3D视频数据和所述信令数据，所述3D视频数据包括用于3D图像的左视图的左画面和右视图的右画面；提取单元，所述提取单元被构造为从解复用的信令数据提取字幕片段，所述字幕片段具有用于以信号方式告知用于所述3D内容的3D字幕的信息，其中，所述字幕片段包括子区域视差信息，所述子区域视差信息指示应用于所述3D图像的针对所述3D字幕的区域的至少一个子区域的视差的值，所述视差是在所述3D图像的所述右视图和所述左视图中表达相同空间点的像素的水平位置之间的差异；以及控制单元，所述控制单元被构造为基于提取的字幕片段控制用于所述3D内容的所述3D字幕的显不O
[0011]在本发明的另一方面中，所述视差的值被对称地应用到所述区域或子区域的每个视图。
[0012]在本发明的另一方面中，所述字幕片段还包括指示在所述3D图像的所述区域中的子区域的存在的信息，并且其中，当所述信息指示在所述区域中不存在子区域时，由所述子区域视差信息指示的所述视差的值被应用于所述区域。
[0013]在本发明的另一方面中，所述字幕片段还包括缺省视差信息，所述缺省视差信息指定当数字广播接收器不能向每个区域应用各自的视差值时应用于在所述3D图像中的所有区域的缺省视差值。
[0014]在本发明的另一方面中，所述子区域视差信息包括指定所述视差的值的整部部分的整数部分信息和指定所述视差的值的小数部分的小数部分信息。
[0015]在本发明的另一方面中，所述字幕片段还包括指定所述至少一个子区域的水平位置的子区域水平信息和指定所述至少一个子区域的水平宽度的子区域宽度信息。
[0016]在本发明的另一方面中，对于所述3D字幕，所述字幕片段还包括指定所述视差的值应用于所述左视图和所述右视图中的哪个视图的偏移类型信息。
[0017]发明的有利效果
[0018]根据本发明，可以有效地通过广播信号连同3D内容一起发送3D字幕。
[0019]另外，根据本发明，可以有效地在广播接收器中处理3D字幕。
[0020]再者，根据本发明，可以根据广播接收器的性能处理3D字幕。
[0021]另外，根据本发明的实施方式，3D字幕数据处理方法维持与2D遗留广播接收器兼容，并且同时通过能够显示3D视频数据的广播接收器显示具有3D效果的字幕数据。
【附图说明】
[0022]附图被包括在本说明书中以提供对本发明的进一步理解，附图示出了本发明的实施方式，且与说明书一起用于解释本发明的原理。
[0023]图1是示出根据本发明的实施方式的扩展显示定义片段的句法的图示。
[0024]图2是示出根据本发明的实施方式的扩展页面构成片段的句法的图示。
[0025]图3是示出根据本发明的实施方式根据display_shift_type字段的字幕的显示位置的图示。
[0026]图4是示出根据本发明的实施方式reg1n_shift_type的字幕的显示位置的图不O
[0027]图5是示出根据本发明的实施方式的扩展对象视差片段的句法的图示。
[0028]图6示出根据本发明的一个实施方式用作扩展字幕显示信息的扩展显示定义片段(DDS)的句法结构。
[0029]图7示出根据本发明的一个实施方式用作扩展字幕显示信息的扩展页面构成片段(PCS)的句法结构。
[0030]图8是示出根据本发明的另一实施方式的扩展对象定义片段的句法的图示。
[0031]图9是示出根据本发明的一个实施方式的用于接收和处理3D字幕数据的广播接收器中的解码块的框图。
[0032]图10是示出根据本发明的一个实施方式的用于接收数字广播信号的接收器的框图。
[0033]图11是例示根据本发明的一个实施方式的处理将要传输的3D字幕的方法的流程图。
【具体实施方式】
[0034]现在将详细描述本发明的优选实施方式，在附图中例示出了其示例。下面将参考附图给出的详细说明旨在解释本发明的示例性实施方式，而不是示出可以根据本发明实施的仅有实施方式。
[0035]在描述本发明之前，应当注意，在本发明中公开的大多数术语考虑本发明的功能来被定义且对应于本领域中公知的一般术语，且可以根据本领域技术人员的发明、通常实践或新技术的引入被不同地确定。在一些情况中，少数术语在必要时被申请人选择且此后在本发明的下文描述中公开。因此，优选地，在本发明中基于其意义理解申请人定义的术语。
[0036]3D图像显示方法包括考虑两个视点的立体成像方案和考虑三个或更多个视点的多视图成像方案。对照地，现有技术中示出的单视图成像方案可以被称为单视场图像方案。
[0037]立体成像方案被设计为使用在彼此分开预定距离的左侧照相机和右侧照相机捕获相同目标对象时获取的一对右和左视图图像。多视图成像方案使用分开预定距离或角度的三个或更多个照相机捕获的三个或更多个图像。尽管下面的描述使用立体成像方案作为示例来公开本发明的实施方式，但是本发明的发明思想也可以应用于多视图成像方案。
[0038]立体图像和多视图图像可以根据包括移动图像专家组(MPEG)方案的各种方法来压缩和编码，并且被传输到目的地。
[0039]例如，立体图像或多视图图像可以根据H.264/高级视频编码(AVC)方案来压缩和编码并且被传输。在这种情形中，接收系统可以按照H.264/AVC编码方案的相反顺序对接收的图像进行解码，使得可以获得3D图像。
[0040]另外，立体图像的左视图图像和右视图图像其中一个或者多视图图像其中之一可以分配给基本层的图像，且剩余一个可以分配给扩展层的图像。基本层图像可以使用与单视场成像方法相同的方法来编码。与扩展层图像相关，仅基本层图像和扩展层图像之间的关系的信息可以被编码和传输。作为用于基本层图像的示例性压缩编码方案，可以使用JPEG、MPEG-2、MPEG-4或H.264/AVC方案。为方便说明，H.264/AVC方案可以在本发明的一个实施方式中示例性地使用。在本发明的一个实施方式中，用于上层或较高层的图像的压缩编码方案可以设置为H.264/多视图视频编码(MVC)方案。
[0041]当MVC方案另外地应用于AVC方案或仅使用AVC方案编码右/左图像序列从而实施立体显示时，在广播相应3D内容数据时需要充分考虑的一点是与相关2D广播接收器兼容。对于不能支持3D图像显示的相关广播接收器，如果右和左视图图像其中之一根据后向兼容方法编码和传输，则2D广播接收器仅识别且输出相应的信号，使得用户可以通过相关设备查看相应内容数据。在下文描述中，传送用于遗留广播接收器的内容数据的时间点的基本层图像可以被称为基本视图视频数据(或基本视频)，并且被传送用于显示3D图像的扩展层图像可以被称为扩展视图视频数据(或扩展视频)。
[0042]在如上所述传送基本视图视频数据和扩展视图视频数据的情形中，遗留2D广播接收器接收基本视频数据，使得它可以显示2D图像，且3D广播接收器接收基本视图视频数据和扩展视图视频数据，使得它可以显示3D图像。
[0043]在显示3D内容的情况中，根据3D内容的特征或字幕的用途可以在屏幕上显示多个字幕。在这种情形中，多个字幕可以在广播屏幕上具有相同的深度或可以具有不同的深度以有效地产生3D效果。
[0044]例如，在其中在3D内容中多个演员出现且多个演员同时表演其角色的情形中，角色可以显示为3D字幕，从而提供不同于2D环境的效果。S卩，可以根据演员在一个屏幕上的深度不同地设置表示演员角色的字幕的深度。
[0045]作为另一示例，尽管与表达3D效果的3D内容的深度相比，诸如在广播屏幕的右上方显示的广播站标志这样的字幕可以以更靠近观看者的深度显示，与3D内容相关联的字幕可以以相对远离观察者的深度显示。
[0046]在下文描述中，术语“字幕”不仅可以包括字幕，而且还包括另外地显示到基本视频数据的显示图像、文本数据、图形图像、标志等。
[0047]广播系统传输作为各种字幕信息的字幕数据。此时，字幕数据不仅可以包括字幕显示信息(包括显示字幕所需的配置、尺寸、位置等)，而且还包括字幕的显示颜色的信息。字幕显示信息包括与用于显示字幕所需的显示窗口结构相关联的显示定义信息、页面构成信息、区域构成信息、对象数据信息等。从数据传输的句法结构的视点，显示定义信息可以被称为显示定义片段，页面构成信息可以被称为页面构成片段，区域构成信息可以被称为区域构成片段，并且对象数据信息可以被称为对象数据片段。
[0048]相关广播信号仅提供基本字幕显示信息。因此，当3D广播接收器希望显示基本字幕显示信息时，基本字幕显示信息可以通过2D广播信号表达或可以不显示。因此，必须传输能够允许甚至以3D格式显示字幕显示信息的信息，并且需要能够使用上述信息以3D格式显示字幕数据的广播接收器及其数据处理方法。
[0049]在显示立体图像的情形中，左视图视频数据和右视图视频数据水平偏移预定距离从而实施3D效果，并且然后被显示。此时，可以使用能够指示3D效果的各种表达值(诸如偏移距离)。根据本发明的实施方式，此后视差值用作3D效果的这种表达值。
[0050]在视觉感知中可以从处理获得3D效果，导