数据结构、再现设备、再现方法和程序的制作方法

专利名称：数据结构、再现设备、再现方法和程序的制作方法
技术领域：
本发明涉及数据结构、再现设备、再现方法和程序。本发明具体地涉及这样的数据 结构、再现设备、再现方法和程序，它们适用于常用的采用LR图像显示方式(偏光式、液晶 快门式，等等)的显示器及使用从至少三个视点(多视角)观看的图像(双凸透镜方式) 的显示器，并且能够提供使显示器中执行的信号处理变得容易的3D视频格式。
背景技术：
一般而言，具有显示3D (三维)视频图像功能的各种类型的显示设备(下文中称 为“3D显示设备”)已经得到使用。此外，用于3D显示的各种类型的视频格式(下文中称 为3D视频格式)已经得到使用。因此，理论上可以采用一种3D显示设备和3D视频格式的大量组合方式。然而，应 当采用有助于并且优化视频显示的信号处理的最优组合方式。例如，使用左眼用图像(下文中称为“L图像”)和右眼用图像(下文中称为“R图 像”)的3D视频格式适合于采用偏光式的3D显示设备和采用液晶快门式的3D显示设备。 注意，下文中，这种3D显示设备被称为“采用LR图像显示方式的3D显示设备”。此外，例如，使用二维图像和深度图像的3D视频格式适合于采用使用从三个或更 多个视点(多视角)观看的图像的方式的3D显示设备，即，采用所谓的双凸透镜方式的3D 显示设备(例如参见非专利文献1)。引用列表非专利文献NPL 1 :web site of Royal Philips Electronics (皇家飞利 甫电子公司的网站) >home page(±M) > 3D solutions > About, " searchedin 7 July, 2008" ，〃 http:// www.business-sites, philips. com/3dsolutions/about/Index. html"

发明内容
技术问题然而，尚未开发出适用于常用的不同类型的3D显示器并且使显示所需的信号处 理变得容易的3D视频格式。例如，如上所述，已被一般人使用的采用LR图像显示方式的3D显示设备基本采用 使用L图像和R图像的3D视频格式。因此，如果要在采用LR图像显示方式的3D显示设备 中显示使用二维图像和深度图像的3D视频格式的3D视频图像，则需要基于该3D视频格式 生成L图像和R图像的功能。然而，该功能的额外实现是不现实的(因为这种实现的负担 很大)。即，使用二维图像和深度图像的3D视频格式不适合于采用LR图像显示方式的3D 显不设备。另一方面，例如，当要在采用双凸透镜方式的3D显示设备中显示使用L图像和R 图像的3D视频格式的3D视频图像时，需要基于该视频格式生成二维图像和深度图像的功能。然而，实现这种功能在技术上是困难的。即，使用L图像和R图像的3D视频格式不适 合于采用双凸透镜方式的显示器。类似地，使用L图像和R图像的3D视频格式不适合于采 用除双凸透镜方式以外的其他使用从三个或更多个视点(多视角)观看的图像的方式的显不器。因此，需要实现一种3D视频格式，其可用于常用的LR图像显示方式(偏光式、液 晶快门式，等等)和使用从三个或更多个视点(多视角)观看的图像的方式，并且使显示所 需的信号处理变得容易。然而，这一需要还未得到充分满足。鉴于该情形作出了本发明，本发明提供了一种3D视频格式，其可用在常用的采用 LR图像显示方式(偏光式、液晶快门式，等等)的显示器和采用使用从三个或更多个视点 (多视角)观看的图像的方式的显示器中，并且使显示所需的信号处理变得容易。解决方案根据本发明的一个实施例，提供了一种数据结构，包括用在第一 3D(三维)视频图 像显示方式中的第一数据结构和用在第二 3D视频图像显示方式中的第二数据结构，在第 一 3D视频图像显示方式中使用左眼用的L图像和右眼用的R图像，并且第一数据结构包括 用于显示的与L图像相对应的图像数据及与R图像相对应的图像数据，在第二 3D视频图像 显示方式中至少利用二维图像和深度图像生成从三个或更多个视点观看的图像，并且第二 数据结构在第一数据结构的L图像或R图像被用作二维图像时至少包括与深度图像相对应 的图像数据。第二数据结构可包括隐藏在二维图像中包含的物体后面的图像和该隐藏在物体 后面的图像的深度图像。根据本发明的另一实施例，提供了一种数据结构，包括用在第一 3D(三维)视频图 像显示方式中的第一数据结构和用在第二 3D视频图像显示方式中的第二数据结构，在第 一 3D视频图像显示方式中使用左眼用的L图像和右眼用的R图像，并且第一数据结构包括 用于显示的与L图像相对应的图像数据及与R图像相对应的图像数据，在第二 3D视频图像 显示方式中利用至少二维图像和深度图像生成从三个或更多个视点观看的图像，并且第二 数据结构在第一数据结构的L图像或R图像被用作二维图像时至少包括与深度图像相对应 的图像数据。根据本发明的另一实施例，提供了一种再现设备，再现设备再现具有以下数据结 构的图像数据，该数据结构包括用在第一 3D(三维)视频图像显示方式中的第一数据结构 和用在第二 3D视频图像显示方式中的第二数据结构，在第一 3D视频图像显示方式中使用 左眼用的L图像和右眼用的R图像，并且第一数据结构包括用于显示的与L图像相对应的 图像数据及与R图像相对应的图像数据，在第二 3D视频图像显示方式中至少利用二维图像 和深度图像生成从三个或更多个视点观看的图像，并且第二数据结构在第一数据结构的L 图像或R图像被用作二维图像时至少包括与深度图像相对应的图像数据，当要再现具有上 述数据结构的图像数据时，在使用采用第一 3D视频图像显示方式的显示单元的情况下，从 第一数据结构的图像数据中获得的、与L图像相对应的图像数据及与R图像相对应的图像 数据被再现，并且在使用采用第二 3D视频图像显示方式的显示单元的情况下，第一数据结 构的与L图像或R图像相对应的图像数据被再现并且第二数据结构的深度图像被再现。第二数据结构还可包括隐藏在二维图像中包含的物体后面的图像和该隐藏在物体后面的图像的深度图像，并且当使用采用第二 3D视频图像显示方式的显示单元时，再现 设备除了再现深度图像以外，还再现与第二数据结构的图像数据相对应的、隐藏在物体后 面的图像及隐藏在物体后面的图像的深度图像。根据本发明又一实施例的再现方法和程序对应于上述根据本发明实施例的再现 设备。根据所述再现设备、再现方法和程序，具有以下数据结构的图像数据按下述方式 被再现，该数据结构包括用在第一 3D(三维)视频图像显示方式中的第一数据结构和用在 第二 3D视频图像显示方式中的第二数据结构，在第一 3D视频图像显示方式中使用左眼用 的L图像和右眼用的R图像，并且第一数据结构包括用于显示的与L图像相对应的图像数 据及与R图像相对应的图像数据，在第二 3D视频图像显示方式中至少利用二维图像和深度 图像生成从三个或更多个视点观看的图像，并且第二数据结构在第一数据结构的L图像或 R图像被用作二维图像时至少包括与深度图像相对应的图像数据。即，在使用采用第一 3D 视频图像显示方式的显示单元的情况下，从第一数据结构的图像数据中获得的、与L图像 相对应的图像数据和与R图像相对应的图像数据被再现，并且在使用采用第二 3D视频图像 显示方式的显示单元的情况下，第一数据结构的与L图像或R图像相对应的图像数据被再 现，并且第二数据结构的深度图像被再现。本发明的有利效果根据本发明，本发明可适用于常用的采用LR图像显示方式(偏光式、液晶快门式， 等等)的显示器和使用从至少三个视点(多视角)观看的图像(双凸透镜式)的显示器。 此外，使显示所需的信号处理变得容易。此外，可以提供实现这些功能的3D视频格式。


图1是图示根据相关技术的使用L图像和R图像的3D视频格式的示意图。图2是图示根据相关技术的使用二维图像和深度图像的3D视频格式的示意图。图3是图示根据相关技术的使用二维图像和深度图像的3D视频格式的示意图。图4是图示根据相关技术的使用二维图像和深度图像的3D视频格式的示意图。图5是图示根据相关技术的使用二维图像和深度图像的3D视频格式的示意图。图6是图示根据本发明的3D视频格式的例子的示意图。图7是图示根据本发明的另一 3D视频格式的示意图。图8是图示根据图7中所示的本发明的3D格式配置的再现设备，即，应用了本发 明的再现设备的配置的框图。图9是图示图8中所示的再现设备的再现处理的流程图。图10是图示根据本发明的另一 3D视频格式的示意图。图11是图示根据图10中所示的本发明的3D格式配置的另一再现设备，S卩，应用 了本发明的再现设备的配置的框图。图12是图示由图11中所示的再现设备执行的再现处理的例子的流程图。图13是图示根据图10中所示的本发明的3D格式配置的又一再现设备，S卩，应用 了本发明的再现设备的配置的框图。图14是图示由图13中所示的再现设备执行的再现处理的流程图。
图15是图示用作根据本发明的3D视频格式的元数据的例子的角度θ的示意图。
图16是图示介质中存储有图15中所示的角度θ的部分的示意图。
图17是图示介质中存储有图15中所示的角度θ的另一部分的示意图。
图18是图示图15中所示的角度θ的使用的示意图。
图19是图示用作应用本发明的再现设备的计算机的配置的框图。
附图标记列表
21 再现设备
22 介质
23 采用LR图像显示方式的3D显示器
24 采用双凸透镜方式的3D显示器
31 主控制器
32 读取单元
33 基本信号(base signal)解码器
34 可选信号(optional signal)解码器
35 :48Hz 逐行信号(progressive signal)生成器
41 再现设备
42 介质
43 采用LR图像显示方式的3D显示器
44 采用双凸透镜方式的3D显示器
51 主控制器
52 读取单元
53 =L基本信号解码器
54 =R基本信号解码器
55 可选信号解码器
56 :48Hz逐行信号生成器
57 并排信号生成器
58 :48Hz逐行信号生成器
201= CPU
202=ROM
203 =RAM
208存储单元
211可移动介质
具体实施例方式首先，将描述传统的3D视频格式以帮助对本发明的理解。如图1所示，例如，在使用L图像和R图像的3D视频格式中，通过将水平方向上L 图像LP的像素数目减半而获得的图像和通过将水平方向上R图像RP的像素数目减半而获 得的图像被布置在水平方向上，从而获得单个图像SbSP，并且使用图像SbSP的视频信号。 注意，图像^SP在下文中被称为并排(side-by-side)图像釙SP。
采用LR图像显示方式(偏光式、液晶快门式，等等)的3D显示设备通过对并排图 像SbSP的视频信号执行信号处理来显示L图像LP和R图像RP。在这种情况下，当佩戴特殊眼镜的用户观看3D显示设备时，右眼看见L图像LP且 左眼看见R图像RP。结果，用户看见了 3D图像。另一方面，在使用二维图像和深度图像的3D视频格式中，使用如图2所示的二维 图像2DP的视频信号和如图3所示的深度图像DeP的视频信号。二维图像2DP可以在一般的显示设备以及3D显示设备中显示。深度图像DeP是这样一个图像，其中关于二维图像2DP的深度的信息由灰度级表 示。深度图像DeP具有这样一种特性，其中在一区域具有较亮的灰度级时，该区域看起来在 3D显示设备中位于前侧。例如，在图2和3的例子中，足球看起来位于前侧。注意，深度图 像DeP的编码方式由MPEG-C(IS0/IEC 23002)标准化。此外，在根据非专利文献1的双凸透镜方式的3D视频格式中，除了二维图像2DP 和深度图像DeP的视频信号以外，还使用图4中所示的“隐藏在物体后面的图像BP”和图5 中所示的“图像BP的深度图像BD印”的视频信号。“隐藏在物体后面的图像BP”是当要基于二维图像2DP和深度图像DeP生成从三个 或更多个视点(多视角)观看的图像时、用于呈现从某一视点看到的物体(二维图像2DP中 包括的图像，即，图2和4所示的例子中的足球)的背景图像(图4所示的例子中的房子) 所需的二维图像。“图像BP的深度图像BD印”是用灰度级表示关于“隐藏在物体后面的图像BP”的 深度的信息的图像。采用双凸透镜方式的3D显示设备基于二维图像2DP和深度图像DeP生成从三个 或更多个视点(多视角)观看的图像并显示该图像。采用双凸透镜方式的3D显示设备在 生成从三个或更多个视点(多视角)观看的图像时使用“隐藏在物体后面的图像BP”和“图 像BP的深度图像BD印”。采用双凸透镜方式的3D显示设备能够允许用户在无需佩戴眼镜的情况下观看三 维图像。即，3D显示设备的表面由大致U形的透镜构成。因此，右眼看到的图像和左眼看到 的图像根据观看3D显示设备表面的用户的眼睛的位置而改变。结果，用户可以看到并识别 从不同的三个或更多个视点获得的不同图像。上面已参考图1至5描述了传统的3D视频格式。接下来，参考图6，将描述应用本发明的3D视频格式(下文中称为“根据本发明的 3D视频格式”)的例子。在图6所示的根据本发明的3D视频格式的例子中，除了并排图像SbSP的视频信 号以外，还使用通过收集以下三个关于并排图像SbSP的L图像LP的图像而获得的图像 Sup(下文中称为“子图像SuP”)的视频信号L图像的深度图像、隐藏在L图像中包含的物 体后面的图像、以及隐藏在物体后面的图像的深度图像。在这种情况下，排列这些图像的方 式不受限制。在图6所示的例子中，通过将L图像水平方向上的像素数目减半且垂直方向 上的像素数目减半而获得的隐藏在L图像中包含的物体后面的图像以及该图像的深度图 像被按照该顺序从上至下垂直排列，并且通过将L图像水平方向上的像素数目减半而获得 的L图像的深度图像被排列在这些图像的左侧，从而构成子图像SuP。
注意，由采用LR图像显示方式(偏光式、液晶快门式，等等)的3D显示设备执行 的3D显示所需的视频信号在下文中被称为“基本信号BS”。另一视频信号，即，在使用从三 个或更多个视点(多视角)(双凸透镜方式)观看的图像的3D显示设备的情况下所需的视 频信号被称为“可选信号OS”。具体而言，在图6所示的例子中，并排图像SbSP的视频信号用作基本信号BS。子 图像SuP的视频信号用作可选信号OS。因此，利用这些信号名，根据本发明的3D视频格式使用基本信号BS和可选信号 OS。在这种情况下，采用LR图像显示方式(偏光式、液晶快门式，等等)的3D显示设 备可以通过对基本信号BS执行信号处理来显示L图像LP和R图像RP。因此，当佩戴特殊 眼镜的用户观看3D显示设备时，右眼观看L图像LP且左眼观看R图像RP，因此，用户识别 出3D图像。换句话说，基本信号BS并不限于图6中所示的例子，只要使用能够在采用LR图像 显示方式(偏光式、液晶快门式，等等)的3D显示设备中分别显示L图像LP和R图像RP 的格式即可。注意，基本信号BS的另一例子将在下面参考图10描述。此外，采用双凸透镜方式的3D显示设备使用基本信号BS的L图像LP作为二维 图像2DP、可选信号OS的L图像的深度图像作为深度图像DeP来生成从三个或更多个视点 (多视角)观看的图像，并显示该图像。采用双凸透镜方式的3D显示设备在生成从三个或 更多个视点(多视角)观看的图像时使用隐藏在L图像中包括的物体后面的图像和隐藏在 物体后面的图像的深度图像。换句话说，可选信号OS并不限于图6中所示的例子，只要使用采用双凸透镜方式 的3D显示设备可用于生成从三个或更多个视点(多视角)观看的图像的图像格式即可。例如，基本信号BS的R图像RP可以用作二维图像2DP。在这种情况下，如图7所 示，通过收集以下三个关于并排图像SbSP的R图像RP的图像而获得的图像可以用作可选 信号OS的子图像SuP:R图像的深度图像、隐藏在R图像中包含的物体后面的图像、以及隐 藏在R图像的物体后面的图像的深度图像。在这种情况下，排列这些图像的方式不受限制。 在图7所示的例子中(还参考图6中所示的例子)，通过将R图像水平方向上的像素数目减 半且垂直方向上的像素数目减半而获得的隐藏在R图像中包含的物体后面的图像以及该 图像的深度图像被按照该顺序从上至下垂直排列，并且通过将R图像水平方向上的像素数 目减半而获得的R图像的深度图像被排列在这些图像的左侧，从而构成子图像SuP。图8是图示根据本发明根据图6和7中所示的例子的3D格式而配置的再现设备 的示意图。即，图8中所示的再现设备21是应用了本发明的再现设备的实施例。图8中所示的例子的再现设备21包括主控制器31、读取单元32、基本信号解码器 33、可选信号解码器34和48Hz逐行信号生成器35。介质22记录通过对根据本发明的3D视频格式的两种视频信号(基本信号BS和 可选信号0 进行编码而获得的流。假定视频信号是根据MHz逐行式记录的。此外，采用LR图像显示方式(偏光式、液晶快门式，等等)的3D显示设备23和采 用双凸透镜方式的3D显示设备M可连接到再现设备21。主控制器31控制再现设备21的整体操作。即，主控制器31控制包括读取单元32。基本信号解码器33、可选信号解码器34和48Hz逐行信号生成器35在内的各个块的操 作。注意，没有示出表示从主控制器31到各个块的连接的箭头以改善图像的可视性，而代 之以示出了白色的箭头。白色箭头的含义在其他图中是相同的。读取单元32从介质22读取基本信号BS并将基本信号BS送至基本信号解码器
33。此外，读取单元32从介质22读取可选信号OS并将可选信号OS送至可选信号解码器34。注意，基本信号BS和可选信号OS可以作为不同的流被记录在介质22中，或者可 以作为单个复用流被记录在介质22中。在后一情况下，读取单元32从介质22读取复用流， 将复用流分割为基本信号BS和可选信号0S，并将信号送至下一级中的相应信号处理器。基本信号解码器33对已编码的基本信号BS进行解码以获得MHz逐行基本信号 BS。之后，基本信号解码器33将MHz逐行基本信号BS送至采用LR图像显示方式的3D显 示设备23和48Hz逐行信号生成器35。采用LR图像显示方式的3D显示设备23对MHz逐行基本信号BS执行信号处理 以显示L图像LP和R图像RP。可选信号解码器34对已编码的可选信号OS进行解码以获得MHz逐行可选信号 OS。之后，可选信号解码器34将MHz逐行可选信号OS送至48Hz逐行信号生成器35。48Hz逐行信号生成器35逐个帧地交替排列MHz逐行基本信号BS和MHz逐行可 选信号0S，以生成要提供给采用双凸透镜方式的3D显示设备M的48Hz逐行信号。采用双凸透镜方式的3D显示设备M使用与从48Hz逐行信号生成器35输出的 48Hz逐行信号相对应的图像中的L图像LP作为二维图像2DP，并且使用L图像的深度图像 作为深度图像DeP，以生成从三个或更多个视点(多视角)观看的图像并显示该图像。采用 双凸透镜方式的3D显示设备M在生成从三个或更多个视点(多视角)观看的图像时使用 隐藏在与从48Hz逐行信号生成器35输出的48Hz逐行信号相对应的图像中的L图像中所 包含的物体后面的图像并且使用该图像的深度信号。图9是图示由图8中所示的再现设备21执行的处理(下文中称为“再现处理”) 的流程图。在步骤Sl中，再现设备21的主控制器31判断输出目的地是否对应于采用双凸透 镜方式的3D显示设备M。当输出目的地对应于采用LR图像显示方式的3D显示设备23时，在步骤Sl中判 断结果是否定的。然后，读取单元32从介质22读取基本信号BS并将基本信号BS提供给 基本信号解码器33。之后，处理进行到步骤S2。在步骤S2中，基本信号解码器33对已编码的基本信号BS进行解码以生成MHz 逐行信号(基本信号BS)。在步骤S6中，基本信号解码器33将信号输出到采用LR图像显 示方式的3D显示设备23。这样，再现处理终止。另一方面，当输出目的地对应于采用双凸透镜方式的3D显示设备M时，在步骤Sl 中判断结果是肯定的。然后，读取单元32从介质22读取基本信号BS并将基本信号BS提 供给基本信号解码器33。此外，读取单元32从介质22读取可选信号OS并将可选信号OS 提供给可选信号解码器34。之后，处理进行到步骤S3。在步骤S3中，基本信号解码器33对已编码的基本信号BS进行解码以生成第一24Hz逐行信号(基本信号BQ。第一 MHz逐行信号(基本信号BQ被提供给48Hz逐行信 号生成器35。在步骤S4中，可选信号解码器34对已编码的可选信号OS进行解码以生成第二 24Hz逐行信号(可选信号0 。第二 MHz逐行信号(可选信号0 被提供给48Hz逐行信 号生成器35。注意，步骤S3和步骤S4的处理顺序并不特别限于图9中所示的顺序。具体而言， 步骤S4中的处理可以在步骤S3中的处理执行之前执行，或者步骤S3中的处理和步骤S4 中的处理可以基本上同时执行。在任一种情况下，在步骤S3中的处理和步骤S4中的处理 终止之后，处理进行到步骤S5。在步骤S5中，48Hz逐行信号生成器35逐帧地交替排列第一 MHz逐行信号(基本 信号BS)和第二 MHz逐行信号(可选信号OS)，以生成用作输出信号的48Hz逐行信号。在步骤S6中，48Hz逐行信号生成器35将信号输出到采用双凸透镜方式的3D显示 设备对。这样，再现处理终止。上面已描述了图6和7中所示的例子作为根据本发明的3D格式。之后，上面已描 述了根据图6和7中所示本发明的3D格式配置的再现设备的实施例。注意，本发明并不特别限于该实施例，而是可以采用各种实施例。例如，图10是图示不同于图6和7中所示例子的根据本发明的3D视频格式的例 子的示意图。在图10所示的根据本发明的3D视频格式中，取代并排图像SbSP，使用了原始L图 像LP和原始R图像RP。具体而言，L图像LP和R图像RP的视频信号被用作基本信号。下 文中，前一图像的基本信号，即，L图像LP的视频信号被称为“L基本信号LBS”。此外，后一 图像的基本信号，即，R图像RP的视频信号被称为“R基本信号RBS”。具体而言，在图10所示的根据本发明的3D视频格式的例子中，使用了基本信号BS 和可选信号Os。在图10所示的例子中，具有与图6所示相同格式的子图像SuP的视频信号被用作 可选信号OS。注意，可选信号OS并不限于图6中所示的例子，例如，可以使用具有与图7所 示相同格式的子图像SuP的视频信号。图11是图示根据图10中所示本发明的3D格式配置的另一再现设备的配置的框 图。即，再现设备41是不同于再现设备21的再现设备的实施例。图11中所示的再现设备41包括主控制器51、读取单元52、L基本信号解码器53、 R基本信号解码器M、可选信号解码器55、48Hz逐行信号生成器56、并排信号生成器57和 48Hz逐行信号生成器58。介质42记录通过对根据本发明的3D视频格式的三种视频信号(即，L基本信号 LBS、R基本信号RBS和可选信号0 进行编码而获得的流。视频信号是根据MHz逐行方 式记录的。此外，采用LR图像显示方式(偏光式、液晶快门式，等等)的3D显示设备43和采 用双凸透镜方式的3D显示设备44可连接到再现设备41。主控制器51控制再现设备41的整体操作。即，主控制器51控制包括读取单元 52、L基本信号解码器53、R基本信号解码器M、可选信号解码器55、48Hz逐行信号生成器56、并排信号生成器57和48Hz逐行信号生成器58在内的各个块的操作。读取单元52从介质42读取L基本信号LBS并将L基本信号LBS送至L基本信号 解码器53。读取单元52从介质42读取R基本信号RBS并将R基本信号RBS送至R基本信 号解码器M。此外，读取单元52从介质42读取可选信号OS并将可选信号OS送至可选信 号解码器阳。注意，L基本信号LBS、R基本信号RBS和可选信号OS可以作为不同的流被记 录在介质中，或者可以作为单个复用流被记录在介质中。在后一情况下，读取单元52从介 质读取单个复用流，将复用流分割为L基本信号LBS、R基本信号RBS和可选信号0S，并将 这些信号送至下一级中的信号处理单元。L基本信号解码器53对已编码的L基本信号LBS进行解码以获得MHz逐行L基 本信号LBS，并将MHz逐行L基本信号LBS送至48Hz逐行信号生成器56和并排信号生成 器57。R基本信号解码器M对已编码的R基本信号RBS进行解码以获得MHz逐行R基 本信号RBS，并将MHz逐行R基本信号RBS送至48Hz逐行信号生成器56和并排信号生成 器57。48Hz逐行信号生成器56逐帧地交替排列MHz逐行L基本信号LBS和MHz逐行 R基本信号RBS以生成48Hz逐行信号，并将该48Hz逐行信号送至采用LR图像显示方式的 3D显示设备43。采用LR图像显示方式的3D显示设备43对48Hz逐行信号执行信号处理以显示L 图像LP和R图像RP。可选信号解码器55对已编码的可选信号OS进行解码以获得MHz逐行可选信号 OS,并将该MHz逐行可选信号OS送至48Hz逐行信号生成器58。并排信号生成器57利用MHz逐行L基本信号LBS和MHz逐行R基本信号RBS 生成并排图像SbSP的视频信号(下文中称为“并排信号”)，并将该并排信号送至48HZ逐 行信号生成器58。具体而言，并排信号具有与从图8中所示的基本信号解码器33输出的 24Hz逐行基本信号BS相同的格式。48Hz逐行信号生成器58逐帧地交替排列MHz逐行并排信号和MHz逐行可选信 号OS以生成48Hz逐行信号，并将该48Hz逐行信号送至采用双凸透镜方式的3D显示设备 44。采用双凸透镜方式的3D显示设备44使用与从48Hz逐行信号生成器58输出的 48Hz逐行信号相对应的图像中的L图像LP作为二维图像2DP，并且使用L图像的深度图像 作为深度图像DeP，以生成从三个或更多个视点(多视角)观看的图像。然后，采用双凸透 镜方式的3D显示设备44显示该图像。采用双凸透镜方式的3D显示设备44在生成从三个 或更多个视点(多视角)观看的图像时使用与从48Hz逐行信号生成器58输出的48Hz逐 行信号相对应的图像中、隐藏在L图像中包含的物体后面的图像和隐藏在物体后面的图像 的深度图像。图12是图示由图11中所示的再现设备41执行的再现处理的例子的流程图。在步骤S21中，再现设备41的主控制器51判断输出目的地是否对应于采用双凸 透镜方式的3D显示设备44。当输出目的地对应于采用LR图像显示方式的3D显示设备43时，在步骤S21中判断结果是否定的。然后，读取单元52从介质42读取L基本信号LBS并将L基本信号LBS 提供给L基本信号解码器53。此外，读取单元52从介质42读取R基本信号RBS并将R基 本信号RBS提供给R基本信号解码器M。之后，处理进行到步骤S22。在步骤S22中，L基本信号解码器53对已编码的L基本信号LBS进行解码以生 成第一 MHz逐行信号(L基本信号LBQ。第一 MHz逐行信号(L基本信号LBQ被提供给 48Hz逐行信号生成器56。在步骤S23中，R基本信号解码器M对已编码的R基本信号RBS进行解码以生 成第二 MHz逐行信号(R基本信号RBQ。第二 MHz逐行信号(R基本信号RBQ被提供给 48Hz逐行信号生成器56。注意，步骤S22和步骤S23的处理顺序并不特别限于图12中所示的顺序。即，步 骤S23中的处理可以在步骤S22中的处理执行之前执行，或者步骤S22中的处理和步骤S23 中的处理可以基本上同时执行。在任一种情况下，在步骤S22和步骤S23中的处理终止之 后，处理进行到步骤S24。在步骤SM中，48Hz逐行信号生成器56逐帧地交替排列第一 MHz逐行信号(L基 本信号LBS)和第二 MHz逐行信号(R基本信号RBS)，以生成用作输出信号的48Hz逐行信号。在步骤S30中，48Hz逐行信号生成器56将信号输出到采用LR图像显示方式的3D 显示设备43。这样，再现处理终止。另一方面，当输出目的地对应于采用双凸透镜方式的3D显示设备44时，在步骤 S21中判断结果是肯定的。然后，读取单元52从介质42读取L基本信号LBS并将L基本 信号LBS提供给L基本信号解码器53。读取单元52从介质42读取R基本信号RBS并将R 基本信号RBS提供给R基本信号解码器M。此外，读取单元52从介质42读取可选信号OS 并将可选信号OS提供给可选信号解码器55。这样，处理进行到步骤S25。在步骤S25中，L基本信号解码器53对已编码的L基本信号LBS进行解码以生成 第一 MHz逐行信号(L基本信号LBQ。第一 MHz逐行信号(L基本信号LBQ被提供给并 排信号生成器57。在步骤S26中，R基本信号解码器M对已编码的R基本信号RBS进行解码以生成 第二 MHz逐行信号(R基本信号RBQ。第二 MHz逐行信号(R基本信号RBQ被提供给并 排信号生成器57。注意，步骤S25和步骤S26的处理顺序并不特别限于图12中所示的顺序。即，步 骤S^中的处理可以在步骤S25中的处理执行之前执行，或者步骤S25中的处理和步骤S^ 中的处理可以基本上同时执行。在任一种情况下，在步骤S25和步骤S26中的处理终止之 后，处理进行到步骤S27。在步骤S27中，并排信号生成器57利用第一 MHz逐行信号(L基本信号LBS)和 第二 MHz逐行信号(R基本信号RBQ生成关于第三MHz逐行信号的并排信号。第三MHz 逐行信号被提供给48Hz逐行信号生成器58。在步骤S28中，可选信号解码器55对已编码的可选信号OS进行解码以生成第四 24Hz逐行信号(可选信号OS)。第四MHz逐行信号(可选信号0 被提供给48Hz逐行信 号生成器58。
注意，步骤S27和步骤S28的处理顺序并不特别限于图12中所示的顺序。即，步 骤S28中的处理可以在步骤S27中的处理执行之前执行，或者步骤S27中的处理和步骤S28 中的处理可以基本上同时执行。在任一种情况下，在步骤S27和步骤S28中的处理终止之 后，处理进行到步骤S29。在步骤S29中，48Hz逐行信号生成器58逐帧地交替排列第三MHz逐行信号(并 排信号)和第四MHz逐行信号(可选信号OS)，以生成用作输出信号的48Hz逐行信号。在步骤S30中，48Hz逐行信号生成器58将信号输出到采用双凸透镜方式的3D显 示设备44。这样，再现处理终止。在图12和13所示的例子中，假定采用双凸透镜方式的3D显示设备44的类型与 图8中所示示例的采用双凸透镜方式的3D显示设备M的类型相同。因此，在再现设备41 中利用L基本信号LBS和R基本信号RBS生成并排信号，从而使得要提供给采用双凸透镜 方式的3D显示设备44的信号类型与提供给采用双凸透镜方式的3D显示设备M的信号类 型相同。然而，用于生成从三个或更多个视点(多视角)观看的图像所需的二维图像2DP 并不对应于并排图像SbSP，而是对应于L图像LP或R图像RP。例如，当采用图10所示的 例子中的子图像SuP时，L图像LP被用作二维图像2DP。因此，当采用双凸透镜方式的3D显示设备44具有处理通过逐帧地交替排列L基 本信号LBS或R基本信号RBS及可选信号OS而生成的48Hz逐行信号的功能时，再现设备 不需要生成并排信号。在这种情况下，例如，可以配置图13中所示的再现设备41。换句话说，图13示出 了根据图10所示的本发明的3D格式配置的再现设备的例子，并且该配置不同于图11中所 示的例子的配置。即，图13中所示的再现设备41是应用了本发明的再现设备的实施例，并 且不同于图8和11中所示的实施例。在图13所示的再现设备41中，省略了图11所示的配置例中包含的并排信号生成 器57。具体而言，48Hz逐行信号生成器58逐帧地交替排列第一 MHz逐行信号(L基本信 号LBQ和MHz逐行可选信号OS以生成48Hz逐行信号，并将该48Hz逐行信号提供给采用 双凸透镜方式的3D显示设备44。注意，再现设备41的其他配置与图11中所示的例子相 同，因此省略了对其的描述。注意，图14中示出了由图13所示的例子中的再现设备41执行的再现处理的例子。步骤S41至步骤S44中的处理基本与图12所示的步骤S22至步骤S24中的处理 相同。具体而言，在输出目的地对应于采用LR图像显示方式的3D显示设备43的情况下执 行的处理基本与图12中所示的例子的处理相同。因此，省略了对这些处理的描述。具体而言，下面将描述在输出目的地对应于采用双凸透镜方式的3D显示设备44 的情况下执行的处理。在这种情况下，在步骤S41中判断结果是肯定的。然后，读取单元52从介质42读 取L基本信号LBS并将L基本信号LBS提供给L基本信号解码器53。此外，读取单元52从 介质42读取可选信号OS并将该可选信号OS提供给可选信号解码器55。之后，处理进行到 步骤S45。
在步骤S45中，L基本信号解码器53对已编码的L基本信号LBS进行解码以生 成第一 MHz逐行信号(L基本信号LBQ。第一 MHz逐行信号(L基本信号LBQ被提供给 48Hz逐行信号生成器58。在步骤S46中，可选信号解码器55对已编码的可选信号OS进行解码以生成第二 24Hz逐行信号(可选信号0 。第二 MHz逐行信号(可选信号0 被提供给48Hz逐行信 号生成器58。注意，步骤S45中的处理和步骤S46中的处理的处理顺序并不特别限于图14中所 示的顺序。即，步骤S46中的处理可以在步骤S45中的处理执行之前执行，或者步骤S45中 的处理和步骤S46中的处理可以基本上同时执行。在任一种情况下，在步骤S45和步骤S46 中的处理终止之后，处理进行到步骤S47。在步骤S47中，48Hz逐行信号生成器58逐帧地交替排列第一 MHz逐行信号(L基 本信号LBS)和第二 MHz逐行信号(可选信号OS)，以生成用作输出信号的48Hz逐行信号。在步骤S48中，48Hz逐行信号生成器58将信号输出到采用双凸透镜方式的3D显 示设备44。这样，再现处理终止。注意，当不用图10所示例子的子图像SuP，而用与图7所示的例子具有相同格式的 子图像SuP的视频信号作为可选信号OS时，上述L基本信号LBS被R基本信号RBS代替。注意，除上述各种图像的视频信号以外，关于各种图像的信息项(下文中称为“元 数据”)也可以被定义为上述根据本发明的3D视频格式。例如，如图15所示，作为一种元数据，可以使用在L图像LP的视点和正前方之间 以及在R图像RP的视点和正前方之间定义的角度Θ。在图15中，相机71L拍摄L图像LP 并且相机71R捕获R图像RP。角度θ可以被记录在介质中与记录有编码流不同的区域中。注意，当使用图8中 所示的介质22时，“编码流”对应于基本信号BS和可选信号0S，而当使用图11和13中所 示的介质42时，“编码流”对应于L基本信号LBS、R基本信号RBS和可选信号OS。例如，当介质对应于蓝光盘时，角度θ可以例如被记录在由蓝光盘的格式定义的 剪辑信息文件的“ExtensionData(扩展数据)”中。具体而言，图16示出了例如由“蓝光盘只读格式第3部分”定义的管理结构，并且 示出了要记录在蓝光盘中的文件的管理结构的例子。如图16所示，文件以分层方式通过目 录结构加以管理。在介质中，首先，生成一目录(在图16所示的例子中是根目录(root))。 该目录下的目录被包含在由单个记录/再现系统所管理的范围中。目录“BDMV”和目录“CERTIFICATE”被设在根目录下。作为目录“BDMV”的下一级目录之一，设有包含剪辑的数据库的目录“CLIPINF”。 具体而言，目录“CLIPINF”包括“zzzzz. clpi”文件，这些文件是用作剪辑AV流文件的剪辑 信息文件。在文件名中，点“.”之前的部分“zzzzz”由五位数字构成，而点“.”之后的部分 “clpi”是这一类文件的固定扩展名。例如，在图16所示的例子中，角度θ可被记录在剪辑信息文件的ExtensionData 中。图17示出了表示这种剪辑信息文件81的结构例子的语法。字段typejndicator具有32比特(四字节)的数据长度并且表示该文件是剪辑信息文件。字段versiorunumber具有32比特(四字节)的数据长度并且表示剪辑信息文 件的版本。剪辑信息文件包括CliphfoO SequenceInfo ()块、Progran^nfo () ±夬、CPI() 块、ClipMark()块和ExtensionDataO块。各自具有32比特数据长度的SequenceInfo_ start_address ^f j^；、ProgramInfo_start_address ^f j^；、CPI_start_address ^f j^；、 ClipMark_start_address 字段禾口 ExtensionData_start_address 字段表示相应块的起女台 地址。"ExtensionData_start_address"字段表示 ExtensionDataO 块 82 的起女台地 址，其以从剪辑信息文件的第一字节起的相对字节数表示。相对字节数从“O”开始。或 者，当 “ExtensionData_start_address” 字段的值为 “O” 时，“index, bdmv” 文件不包括 ExtensionData()双820ClipInfoO块从被预留以供将来使用的区域之后的部分开始，该预留区域具有 96比特的数据长度并且跟在表示起始地址的字段之后。在CliphfoO块中，描述了关于 由剪辑信息文件管理的剪辑AV流的信息。例如，在Clip^ifoO块中管理着由剪辑信息文 件管理的剪辑AV流中包含的源包数、表示剪辑AV流的类型的信息、表示最大记录速率的信
自 AjVAjV 尼、，寸寸ο在^^仙！！⑶^^乂)块中，描述了用于统一管理具有连续的STC和ATC(到达时间 基准)的序列的信息。在f^rogramhfoO块中，描述了表示用于记录剪辑信息文件中管理 的剪辑AV流的编解码器的类型(例如MPEG2方式或者MPEG4AVC方式)的信息以及关于剪 辑AV流中包含的视频数据的纵横比的信息。CPI ()块存储关于特征点信息CPI的信息，该特征点信息CPI表示AV流的特征部 分，例如随机访问起始点。在ClipMark ()块中，描述了指派给剪辑的用作提示的索引点(跳 跃点)(例如章节位置)。在ExtensionDataO块82中，描述了根据本发明实施例的数据， 即角度θ。注意，当角度θ的状况被正规化(标准化)时，不需要在介质中进行记录。在这种情况下，图8中所示的再现设备21以及图11和13中所示的再现设备 41 (下文中总称为“根据本发明的再现设备”)从介质22和介质42 (下文中总称为“根据 本发明的介质”)读取角度θ并将角度θ发送给采用双凸透镜方式的3D显示设备M和 44 (下文中总称为“3D双凸透镜显示器”)。注意，发送的方法并不受特别限制。例如，可以采用通过HDMI (高清晰度多媒体接 口)等的发送方法。注意，当角度θ的状况被正规化(标准化)时，不需要发送。根据本发明采用双凸透镜方式的3D显示设备通过利用角度θ对L图像LP执行 转换(映射变换)来生成并显示从三个或更多个视点(多视角)观看的图像。在这种情况 下，在适当情况下还使用L图像的深度图像、隐藏在L图像中包含的物体后面的图像、以及 隐藏在物体后面的图像的深度图像。在图18所示的例子中，R图像RP被生成作为第一视 点的图像，图像Μ2Ρ被生成作为第二视点的图像，图像Μ3Ρ被生成作为第三视点的图像，并 且图像Μ4Ρ被生成作为第四视点的图像。此外，不仅3D显示设备而且一般显示设备都可以通过利用角度θ对L图像LP执 行转换(映射变换)来生成并显示图15中所示的正面图像DP。在这种情况下，在适当情况下还使用L图像的深度图像、隐藏在L图像中包含的物体后面的图像、以及隐藏在物体后面 的图像的深度图像。这里，上述处理序列可以通过软件及硬件执行。在这种情况下，图19中所示的个人计算机可以用作上述信息处理系统的至少一 部分。在图19中，CPU(中央处理单元)201根据记录在R0M(只读存储器)202中的程序 或者从存储单元208加载到RAM(随机访问存储器)203的程序执行各种处理。RAM 203适 当地存储CPU 201执行各种程序所需的数据。CPU 20UROM 202和RAM 203通过总线204彼此连接。输入/输出接口 205也连 接到总线204。包括键盘和鼠标的输入单元206、包括显示器的输出单元207、包括硬盘的存储单 元208、以及包括调制解调器和终端适配器的通信单元209连接到输入/输出接口 205。通 信单元209控制通过网络(包括因特网)与另一设备(未示出)的通信。此外，适当地附接有可移动介质211(例如磁盘、光盘、磁光盘或半导体存储器)的 驱动器210连接到输入/输出接口 205。从可移动介质读取的计算机程序被适当地存储在 存储单元208中。当要利用软件执行处理序列时，软件中包含的程序通过网络或记录介质被安装在 专用硬件中所含的计算机中，或者被安装在能够通过安装各种程序执行各种功能的通用个 人计算机中。如图19所示，记录介质的例子包括可移动介质(封装介质)211，例如磁盘(包括 软盘)、光盘(包括⑶_R0M(致密盘-只读存储器)、DVD(数字多功能盘)和蓝光盘)、磁 光盘(包括MD(迷你盘))或半导体存储器，除此之外，记录介质的例子还包括记录程序的 R0M202或存储单元208中包含的硬盘，ROM 202或硬盘以预先结合在设备主体中的状态被 提供给用户。注意，在说明书中，记录介质中记录的程序的步骤不仅包括按时序以所述顺序执 行的处理，还包括并行执行的处理和分开执行的处理。此外，在该说明书中，系统代表包括多个处理设备和处理器的整个设备。注意，本发明可适用于区分显示方式、将视频信号转换为适合于显示方式的视频 信号并输出转换后的视频信号的再现设备，并且该再现设备还包括不与3D显示兼容的显 示设备。
权利要求
1.一种数据结构，包括用在第一 3D(三维)视频图像显示方式中的第一数据结构，在所述第一 3D视频图像显 示方式中使用左眼用的L图像和右眼用的R图像，并且所述第一数据结构包括用于显示的 与所述L图像相对应的图像数据及与所述R图像相对应的图像数据；以及用在第二 3D视频图像显示方式中的第二数据结构，在所述第二 3D视频图像显示方式 中至少利用二维图像和深度图像生成从三个或更多个视点观看的图像，并且所述第二数据 结构在所述第一数据结构的L图像或R图像被用作所述二维图像时至少包括与所述深度图 像相对应的图像数据。
2.如权利要求1所述的数据结构，其中所述第二数据结构包括隐藏在所述二维图像中包含的物体后面的图像和该隐藏 在物体后面的图像的深度图像。
3.一种再现设备，其中，该再现设备再现具有以下数据结构的图像数据，所述数据结构包括用在第一 3D(三 维)视频图像显示方式中的第一数据结构和用在第二 3D视频图像显示方式中的第二数据 结构，在所述第一 3D视频图像显示方式中使用左眼用的L图像和右眼用的R图像，并且所 述第一数据结构包括用于显示的与所述L图像相对应的图像数据及与所述R图像相对应的 图像数据，在所述第二 3D视频图像显示方式中至少利用二维图像和深度图像生成从三个 或更多个视点观看的图像，并且所述第二数据结构在所述第一数据结构的L图像或R图像 被用作所述二维图像时至少包括与所述深度图像相对应的图像数据，当要再现具有所述数据结构的图像数据时，在使用采用所述第一 3D视频图像显示方式的显示单元的情况下，从所述第一数据结 构的图像数据中获得的、与所述L图像相对应的图像数据及与所述R图像相对应的图像数 据被再现，并且在使用采用所述第二 3D视频图像显示方式的显示单元的情况下，所述第一数据结构 的与所述L图像或R图像相对应的图像数据被再现并且所述第二数据结构的深度图像被再 现。
4.如权利要求3所述的再现设备，其中所述第二数据结构还包括隐藏在所述二维图像 中包含的物体后面的图像和该隐藏在物体后面的图像的深度图像，并且当使用采用所述第二 3D视频图像显示方式的显示单元时，所述再现设备除了再现所 述深度图像以外，还再现与所述第二数据结构的图像数据相对应的、隐藏在所述物体后面 的图像及隐藏在所述物体后面的图像的深度图像。
5.一种用在再现设备中的再现方法，所述再现设备再现具有以下数据结构的图像数 据，所述数据结构包括用在第一 3D (三维)视频图像显示方式中的第一数据结构和用在第 二 3D视频图像显示方式中的第二数据结构，在所述第一 3D视频图像显示方式中使用左眼 用的L图像和右眼用的R图像，并且所述第一数据结构包括用于显示的与所述L图像相对 应的图像数据及与所述R图像相对应的图像数据，在所述第二 3D视频图像显示方式中至少 利用二维图像和深度图像生成从三个或更多个视点观看的图像，并且所述第二数据结构在 所述第一数据结构的L图像或R图像被用作所述二维图像时至少包括与所述深度图像相对 应的图像数据，所述再现方法包括以下步骤在使用采用所述第一 3D视频图像显示方式的显示单元的情况下，再现从所述第一数 据结构的图像数据中获得的、与所述L图像相对应的图像数据及与所述R图像相对应的图 像数据，以及在使用采用所述第二 3D视频图像显示方式的显示单元的情况下，再现所述第一数据 结构的与所述L图像或R图像相对应的图像数据并且再现所述第二数据结构的深度图像。
6. 一种使计算机执行控制具有以下数据结构的图像数据的再现的处理的程序，所述数 据结构包括用在第一 3D(三维)视频图像显示方式中的第一数据结构和用在第二 3D视频 图像显示方式中的第二数据结构，在所述第一 3D视频图像显示方式中使用左眼用的L图像 和右眼用的R图像，并且所述第一数据结构包括用于显示的与所述L图像相对应的图像数 据及与所述R图像相对应的图像数据，在所述第二 3D视频图像显示方式中至少利用二维图 像和深度图像生成从三个或更多个视点观看的图像，并且所述第二数据结构在所述第一数 据结构的L图像或R图像被用作所述二维图像时至少包括与所述深度图像相对应的图像数 据，所述处理包括以下步骤在使用采用所述第一 3D视频图像显示方式的显示单元的情况下，再现从所述第一数 据结构的图像数据中获得的、与所述L图像相对应的图像数据及与所述R图像相对应的图 像数据，以及在使用采用所述第二 3D视频图像显示方式的显示单元的情况下，再现所述第一数据 结构的与所述L图像或R图像相对应的图像数据并且再现所述第二数据结构的深度图像。
全文摘要
本发明公开了数据结构、再现设备、再现方法和程序，其可适用于各种类型的显示器并且使在显示器中执行的信号处理变得容易。在根据本发明的3D视频格式中，使用并排图像SbSP的基本信号BS及子图像SuP的可选信号OS，其中子图像SuP是通过将下面描述的关于并排图像SbSP的L图像LP的三种图像排列在一起而获得的。即，子图像SbP包括L图像的深度图像、隐藏在L图像中包含的物体后面的图像以及隐藏在物体后面的图像的深度图像。本发明适用于3D显示器。
文档编号H04N13/04GK102090071SQ20098012676
公开日2011年6月8日 申请日期2009年7月17日 优先权日2008年7月18日
发明者加藤元树, 米满润, 绪形昌美 申请人:索尼公司