通用3-d画面格式的制作方法

专利名称：通用3-d画面格式的制作方法
技术领域：
本发明的一方面涉及一种提供包括一对图像的3-D画面的方法，其中一个画面意 在用于观看者的一只眼睛，另一个画面意在用于观看者的另一只眼睛。所述3-D画面可以 形成例如具有类似格式的3-D画面的序列的一部分，以便构成视频。本发明的其它方面涉 及一种3-D画面提供系统、一种传送3-D画面的信号、一种呈现3-D画面的方法、一种3-D 画面呈现系统以及一种用于可编程处理器的计算机程序产品。
背景技术：
可以基于包括以下一对画面的信号来获得视觉3-D呈现分别意在用于观看者的 左眼和右眼的左画面和右画面。在视频的情况下，信号将包括这种画面配对的序列。包含 在其中的左画面和右画面可以直接在立体显示设备上呈现，所述立体显示设备可能需要观 看者佩戴一副眼镜。左眼镜片将所呈现的左画面传递给左眼。右眼镜片将所呈现的右画面 传递给右眼。例如，所述显示设备可以交替地显示所呈现的左画面和所呈现的右画面。在 此情况下，当显示所呈现的左画面时使得左眼镜片透明，在其它情况下左眼镜片不透明。类 似地，当显示所呈现的右画面时使得右眼镜片透明，在其它情况下右眼镜片不透明。如上面的段落中描述的包括构成3-D视频的一对画面或者画面配对的序列的信 号典型地对于关于例如屏幕尺寸和观看距离的特定呈现环境而生成。所述特定呈现环境可 以例如是具有12米宽的屏幕并且其中观看者典型地坐在距屏幕18米的距离处的电影院。 如果呈现环境不同于已经为其生成了信号的呈现环境，则3-D视频将看起来不同。例如，如 果已经为电影院生成的3-D视频在家用视频机上呈现，则观看者将体验与在电影院中的视 觉印象不同的视觉印象。深度效应将典型地更小，此外，在看起来在电影院中的屏幕后面很 远的对象看起来几乎在家用视频机的屏幕的前面的意义上，可能存在明显的深度移位。在诸如家里之类的私人环境中观看3-D视频的观看者可能希望调整深度效应，以 便获得用户体验最舒适的呈现。原理上，可以依靠内插或者外插来实现这点，所述内插或者 外插基于在3-D视频中包括的每对图像。实际上，左画面和右画面被比较以便获得所谓的 视差图，其表示这些画面之间的差异，特别是在水平位移方面的这些画面之间的差异。可以 以经过修改的视差图的形式来表示深度效应调整，所述经过修改的视差图被用于生成一对 新的图像。这种内插或者外插的过程相对复杂，并且因此相对昂贵。此外，这种过程可能引 入可感知的伪像，其对于观看者来说可能是较不舒适的。公开号为2005/0190180的美国专利申请描述了一种用于对于给定的立体显示器 根据用户或者一组用户来自定义场景内容的方法。获得了关于用户的自定义信息。还获得 了用于一对给定的立体图像的场景视差图。确定了用于用户的目标视差范围。生成与给定 立体显示器的用户融合能力相关的自定义视差图。为随后的显示呈现或者再次呈现立体图像。

发明内容
存在对于允许在许多种显示设备上的令人满意的呈现的通用3-D视频信号的需 要。附于说明书的独立权利要求限定了本发明中更好地解决此需要的各个方面。从属权利 要求限定了用于有利地实现本发明的附加特征。根据本发明的一个方面，如下地提供3-D画面。提供包括意在用于观看者的一只 眼睛的第一画面以及意在用于观看者的另一只眼睛的第二画面的一对画面。另外，提供特 别地专用于第一画面的深度图。该深度图包括深度指示值。深度指示值与第一画面的特定 部分有关，并且指示至少部分地由第一画面的该部分表示的对象与观看者之间的距离。该对画面典型地表示根据不同视点的场景。在呈现结束时，可以根据第一画面以 及深度图来生成经过移位的视点画面。该经过移位的视点画面表示根据不同于第一画面 的视点的视点的场景。该经过移位的视点画面以及第二画面联合构成新的画面对，其允许 不同于通过像这样显示第一画面和第二画面来获得的视觉3-D呈现的视觉3-D呈现。可以 通过关于第一画面在视点方面调整经过移位的视点画面的移位的量来获得适当的呈现。移 位的量将典型地依赖于呈现环境可以通过适当的移位量来适应较大的屏幕或者较小的屏 幕。重要的是，可以根据第一画面和深度图而以相对精确且简单的方式生成经过移位的视 点画面，所述深度图特别地专用于第一画面。相应地，可以以成本有效的方式在许多种显示 设备上获得令人满意的视觉3-D呈现。应当注意已经根据本发明而提供的3-D画面或者其序列还特别适于依靠自动立 体显示设备来进行呈现。这种呈现典型地包含生成多个经过移位的视点画面，每个视点画 面表示根据特定视点考虑的场景。可以以相对简单的方式根据第一画面和深度图来生成这 些个经过移位的视点画面，所述深度图特别地专用于第一画面。为了自动立体呈现的目的， 可以有效地省略第二画面。相应地，可以为了两个目的有效地使用深度图第一，为了适于 特定的呈现环境的目的；第二，为了在依靠自动立体显示设备进行呈现的情况下生成多个 经过移位的视点画面的目的。还应当注意与仅包括一对画面的基本3-D画面相比，已经根据本发明而提供的 3-D画面或者其序列将典型地包括适量的附加数据。这是因为与构成场景的视觉表现的画 面相比，深度图将典型地包括适量的数据。深度图可以具有比深度图所属的画面低的分辨 率。此外，深度图对于一定像素或者一组像素仅需要包括单个值，而画面典型地对于一定像 素包括各种值亮度值以及两个色度值。相应地，提供用于存储基本3-D视频的足够容量的 诸如DVD盘之类的存储介质也将典型地提供用于存储已经根据本发明提供的3-D视频的足 够容量。类似地，允许传输基本3-D视频的传输信道也将典型地允许传输已经根据本发明 提供的3-D视频。由此，在存储容量或带宽或者两者方面，可以仅利用相对较小的投入来获 得上述优点。本发明的一个实现方式有利地包括下面的附加特征中的一个或者更多个，在与各 个从属权利要求对应的独立的段落中描述所述附加特征。优选地，呈现指导数据指定用于相应的呈现环境的相应的参数。所述相应的参数涉 及根据第一画面和深度图来生成经过移位的视点画面，所述深度图特别地专用于第一画面。呈现指导数据优选地包括用于第一立体模式的一组参数以及用于第二立体模式 的一组参数。在第一立体模式下，根据第一画面和深度图生成的经过移位的视点画面构成所呈现的第一画面，第二画面构成所呈现的第二画面。在第二立体模式下，第一画面构成所 呈现的第一画面，根据第一画面和深度图生成的经过移位的视点画面构成所呈现的第二画优选地为上述相应组的参数提供其中第一立体模式应当应用的第一立体强度范 围以及其中第二立体模式应当应用的第二立体强度范围的定义。呈现指导数据可以定义用于相应的深度指示值的相应的最大视差移位值。呈现指导数据可以定义用于相应的屏幕尺寸的相应的视差补偿值。呈现指导数据可以包括深度图精确度的指示。优选地，提供特别地专用于第一画面的背景画面。另外，优选地提供特别地专用于第一画面的阿尔法图。该阿尔法图定义可以根据 左画面、深度图以及背景画面生成的经过移位的视点画面中的逐步过渡。本发明还体现在如权利要求1所述的方法中，其中以被调谐到用于传送信号的预 定带宽的分辨率提供第一画面、第二画面以及深度图，并且其中编码额外的帧，从而提供用 于基于图像和深度分量来进行呈现的另外的数据。隐含的思想是可以以被调谐到用于传送原始分辨率的第一画面和第二画面的可 用带宽的分辨率提供第一画面、第二画面以及深度图。依次提供额外的帧，以便提供用于基 于图像和深度分量来进行呈现的另外的数据。本发明还体现在以被调谐到用于传送信号的预定带宽的分辨率来提供根据第一 画面、第二画面以及深度图的3-D画面提供系统，并且其中编码额外的帧，从而提供用于基 于图像和深度分量来进行呈现的另外的数据。本发明还体现在传递3-D画面的信号，该信号包括一对画面，其包括意在用于观 看者的一只眼睛的第一画面(LP)以及意在用于观看者的另一只眼睛的第二画面(RP);特别 地专用于第一画面(LP)的深度图(DM)，所述深度图包括深度指示值，深度指示值与第一画 面的特定部分有关并且指示至少部分地由第一画面的该部分表示的对象与观看者之间的 距离，并且其中以被调谐到用于传送信号的预定带宽的分辨率提供第一画面、第二画面以 及深度图，并且其中编码额外的帧，从而提供用于基于图像和深度分量来进行呈现的另外 的数据。本发明还体现在包括根据权利要求19的信号的存储介质。参照附图的详细描述例示上面总结的本发明以及附加的特征。


图1是图示3-D视频生成系统的框图。图2是图示3-D视频生成系统提供的通用3-D视频信号的概念图。图3是图示可能具有通用3-D视频信号的第一立体模式的概念图。图4是图示可能具有通用3-D视频信号的第二立体模式的概念图。图5是图示补充通用3-D视频信号的概念图。图6是图示可以被包括在补充通用3-D视频信号中的呈现指导数据的实例的数据 图。图7是图示可以被包括在补充通用3-D视频信号中的呈现指导数据的另一实例的数据图。图8是图示可以被包括在补充通用3-D视频信号中的呈现指导数据的又一实例的 数据图。图9是图示能够提供补充通用3-D视频信号的3-D视频补充系统的框图。图10是图示3-D视频信号补充系统可以执行的一系列步骤的流程图。图11是图示允许基于通用3-D视频信号来进行立体呈现的视频呈现系统的框图。图12是图示包括自动立体显示设备的替代视频呈现系统的框图。图13示出了用于30Hz逐行或者60Hz隔行的单视场(monoscopic)视频的BD播 放机的概况。图14示出了关于如何可以使用具有与单视场1080p MHz单信号所需的比特率近 似相同的比特率的AVC/H264或者MVC来有效地编码L’ R’ D’信号的实例。图15示出了用于新的3D蓝光应用的各种模式和选项。图16示出了一种在比特率和存储器方面有效的LRD (2:1:1帧速率比)的联合 编码(利用AVC/H264)的实例。图17示出了其中以12Hz编码深度和透明度分量并且其中深度和透明度涉及不同 的相位的编码实例。图18示出了具有混合的12Hz和MHz深度分量的编码实例。图19示出了 LRDD’模式下的交织和压缩，并且示出了 D和D’帧的相应内容。图20示出了用于建立用于深度和透明度的空间的各种子采样方法。
具体实施例方式图1图示了 S-D视频生成系统GSY。该3-D视频生成系统GSY包括一对摄像机_ 右摄像机RCAM和左摄像机LCAM、记录处理器RPR以及存储介质STM。深度扫描器DS与左摄 像机LCAM相关联。该对摄像机RCAM、LCAM指向场景SCN，以捕捉该场景SCN的3-D视频。 该场景SCN包括各种对象，诸如人、树、房子以及天上的太阳。每个对象相对于该对摄像机 具有给定的距离，该对摄像机可以被看作观看场景SCN的虚拟观察者。右摄像机RCAM和左摄像机LCAM每个可以是传统的摄像机。记录处理器RPR可以 包括例如指令执行设备以及已经将一组指令载入的程序存储器，该组指令定义将在下文描 述的记录处理器RPR的操作。存储介质STM可以是例如硬盘、可写光盘或者固态存储器的 形式。深度扫描器DS可以包括例如可以被向各个方向引导的激光束以及检测激光束的反 射的传感器。作为另一实例，深度扫描器DS可以包括雷达成像模块。作为又一实例，深度 扫描器甚至可以是离线建立深度图的人的形式。3-D视频生成系统GSY基本上如下操作。该对摄像机RCAM、LCAM提供场景SCN的 基本3-D视频，其由画面配对的序列形成。画面配对包括右画面和左画面。由右摄像机RCAM 捕捉的右画面意在用于人类观察者的右眼。由左摄像机LCAM捕捉的左画面意在用于人类 观察者的左眼。右摄像机RCAM和左摄像机LCAM相对于彼此具有特定的位置关系。此位置关系可 以通过在例如屏幕尺寸和观看距离方面的典型呈现环境来定义。例如，包括被交织的右画 面的序列和左画面的序列的基本3-D视频可以意在用于在具有12米的典型屏幕尺寸和18米的典型观看距离的电影院中进行显示。 深度扫描器DS执行用于左画面的一系列深度测量，而左摄像机LCAM捕捉左画面。 深度测量提供用于所涉及的左画面的特定部分的深度指示值。这种特定部分可以包括单个 像素或者可以构成块的一组像素。例如，左画面可以被有效地分为各个像素块，由此深度扫 描器DS提供用于相应的像素块的相应的深度指示值。对于部分表示场景SCN中的人的像素 块，深度扫描器DS可以提供表示场景SCN中的人与虚拟观察者之间的距离的深度指示值。
记录处理器RPR可以由此生成用于左画面的深度图，其包括深度扫描器DS为此左 画面提供的相应的深度指示值。这种深度图可以被看作左画面的扩展，其增加从2-D到3-D 的额外的维度。换言之，深度图向左画面的像素添加深度指示值，其包括所涉及的像素的亮 度值以及一对色度值。深度图特别地专用于左画面深度指示值与左画面中的至少一个像 素相关联，而可能不可以将深度指示值与右画面中的任何像素相关联。深度图可以具有比 左画面低的分辨率。在该情况下，相邻的像素共享相同的深度指示值，其适用于一组像素。应当注意可以以许多不同的形式来提供深度指示值。例如，深度指示值可以是视 差值的形式，其对于典型的屏幕宽度、典型的观看距离以及典型的眼距离而定义。这种视差 值可以被转换为距离值。记录处理器RI3R还可以生成用于左画面的背景画面。背景画面表示在左画面中被 具有前景位置的其它对象遮蔽的对象或者对象的部分。也就是说，背景画面提供有关在左 画面中具有前景位置的对象后面是什么的信息。此信息可以被有利地用于基于深度图来生 成左图像的3-D表示。参照图1，房子具有背景位置，而人具有前景位置并且因此可以在左 画面中遮蔽房子的一部分。背景画面可以由此至少部分地包括在左画面中房子被人遮蔽的 部分。应当注意背景画面还可以包括特别地专用于其的深度图。除非另外声明，背景画面 可以包括纹理信息以及深度信息，该深度信息提供被遮蔽的对象的3-D表示。记录处理器 RI3R可以基于例如在右画面中包括的信息来生成用于左画面的背景画面。记录处理器RI3R还可以生成阿尔法图，其特别地专用于左画面。阿尔法图可以有 利地用于提供根据左画面、深度图以及背景画面生成的经过移位的视点画面中的逐步过 渡。这对所感知的图像质量做出贡献。阿尔法图可以被看作一组总加权系数，其可以对于 经过移位的视点画面的特定部分确定来自左画面的贡献的程度以及来自背景画面的贡献 程度。这种阿尔法图可以定义不同的画面部分的不同的混合参数，这允许平滑过渡。记录处理器RPR通过向右摄像机RCAM和左摄像机LCAM提供的基本3-D视频添加 元素来生成通用3-D视频信号。这些元素包括深度图，并且可选地包括背景画面和可以如 上所述地生成的阿尔法图。存储介质STM存储通用3-D视频信号VS。通用3-D视频信号VS 可以经受进一步的处理，其对于在许多种显示器上进行令人满意的3-D呈现做出贡献。这 将在下文中更详细地描述。图2图示了通用3-D视频信号VS。通用3-D视频信号VS包括通用3-D画面…， VPlri，VPn, VPnl, VPn_2，…的序列。通用3-D画面构成在给定时刻图1中图示的场景SCN 的3-D表示。图2图示任意通用3-D画面VPn的细节。通用3-D画面VPn包括右画面RP和 左画面LP，它们联合构成基本3-D画面。右画面RP提供意在用于人类观察者的右眼的场景 SCN的综合表示，而左画面LP提供意在用于人类观察者的左眼的场景的综合表示。通用3-D画面还包括深度图DM，并且优选地包括背景画面BG以及未在图2中表示的阿尔法图。深度图DM特别地专用于上面解释的左画面LP。深度图DM可以被看作灰 度图像，其中灰度值对应于左图像中与特定像素或者特定组的像素有关的深度指示值。相 对较低的深度指示值可以对应于指示相对邻近的对象的明亮色调(bright tone)，而相对 较高的深度指示值可以对应于指示相对较远的对象的暗色调(dark tone)，或者反之亦然。 背景画面BG也优选地特别地专用于左画面LP。实际上，在被部分或者整体遮蔽的对象在背 景画面BG中表示的意义上，背景画面BG构成左画面LP的扩展。阿尔法图(如果存在的话) 也特别地专用于左画面LP。通用3-D视频信号VS由此包括对应于上文提及的基本3-D视频的基本3-D画面 的序列。另外，通用3-D视频信号VS包括伴随的深度图的序列，并且优选地包括伴随的背 景画面的序列以及伴随的阿尔法图的序列。如上文所解释的，这些附加的元素特别地专用 于在基本3-D视频中包括的左画面。在通用3-D视频信号VS中包括的基本3-D视频可以在立体显示设备上显示，由此 左画面和右画面被分别应用于观看者的左眼和右眼。立体显示器具有给定的屏幕尺寸，并 且观看者处于距立体显示设备给定的距离处。这定义给定的呈现环境。实际的呈现环境可以类似于基本3-D视频意在用于的典型呈现环境。在该情况 下，获得令人满意的场景SCN的3-D表示。例如，假定基本3-D视频意在用于如在上文提及 的具有12米的典型屏幕尺寸和18米的典型观看距离的电影院中进行显示。如果在这种电 影院中呈现基本3-D视频，则获得令人满意的场景的3-D表示。然而，如果实际呈现环境不同于基本3-D视频意在用于的典型呈现环境，则这可 能造成较不令人满意的场景SCN的3-D表示。例如，如果基本3-D视频意在用于在如上文 描述的电影院中进行显示，而基本3-D视频在具有1米的屏幕尺寸和2. 5米的典型观看距 离的家用视频机上呈现，情况可能就是这样。在观看者将体验比在电影院中程度低的深度 的意义上，这可能导致减小的深度效应。此外，在看起来在电影院中的屏幕后面很远的对象 看起来几乎在家用设备的屏幕的前面的意义上，这也可能导致向观看者的深度移位。简而 言之，当在家中观看意在用于电影院的3-D视频时，3-D视频将看起来与在电影院中相比相 当不同。如果呈现环境不同于所述呈现环境，则可以提供某种形式的校正。可以依靠内插 或者外插来基于所捕捉的画面配对来生成新的画面配对。然而，这种校正相对复杂，并且因 此是昂贵的，其涉及复杂的硬件或软件或两者。更有甚者，这种校正可能引入由内插误差或 者外插误差(无论哪个适用时)导致的可感知的伪像。在图2中图示的通用3-D视频信号VS允许在许多种呈现环境中的令人满意的3-D 表示。在上述实例方面，意在用于电影院的3-D视频可能看起来与在家里类似。这归功于 深度图DM的添加而被实现，该深度图特别地专用于所捕捉的画面配对中的一个画面-在 此情况下是左画面LP。深度图DM允许以相对简单和精确的方式基于左画面LP来生成新的画面。此新的 画面表示根据略微不同于左画面LP的视点的视点的场景SCN。所述视点可以从左画面LP 的视点稍微向右移位或者稍微向左移位。新的画面在下文中将因此被称为经过移位的视点 画面。原理上，经过移位的视点画面可以表示根据与右画面RP的视点相同的视点的场景 SCN。在该特定情况下，经过移位的视点画面应当理想地与右画面RP匹配。
图3和图4图示了两种不同的立体模式，它们可能具有图2中图示的通用3-D视 频信号VS。这些立体模式将被分别称为立体模式A和立体模式B。在每种立体模式下，基 于通用3-D画面提供一对所呈现的画面，以用于在显示设备上显示。该对所呈现的画面包 括所呈现的左画面LR以及所呈现的右画面RR，它们被分别应用于观看者的左眼和右眼。图 3和图4每个包括表示屏幕视差的水平轴。屏幕视差是由视点的改变导致的显示上的移位。 因此，如上文所定义的经过移位的视点画面中的对象可以相对于左画面LP中的相同对象 移位。图3图示了立体模式A。在此立体模式下，通用3-D画面中包括的右画面RP构成 所呈现的右画面RR。也就是说，所呈现的右画面RR是右画面RP的简单副本。如上文所提 及的基于左画面LP和深度图DM生成的经过移位的视点画面构成所呈现的左画面LR。图3图示了两个不同的经过移位的视点画面经过左移位的视点画面LP+S以及经 过右移位的视点画面LP-S。经过左移位的视点画面LP+S表示根据在左画面LP的视点的左 侧的视点的场景SCN。此经过移位的视点画面具有相对于左画面LP的正视差移位 。经 过右移位的视点画面LP-S表示根据在左画面LP的视点的右侧的视点的场景SCN。此经过 移位的视点画面具有相对于左画面LP的负视差移位P_2。图3还图示了一种特定的情况， 其中左画面LP构成所呈现的左画面LR，所呈现的左画面LR是左画面LP的简单副本。如果经过左移位的视点画面LP+S构成所呈现的左画面LR，则观看者体验比当左 画面LP构成所呈现的左画面LR时更大的深度效应。存在立体强度上的增加。相反，如果 经过右移位的视点画面LP-S构成所呈现的左画面LR，则观看者体验比当左画面LP构成所 呈现的左画面LR时更小的深度效应。存在立体强度上的减少。着重说明，左移位增加立体 强度，而右移位减少立体强度。可以在视差方面评估立体强度。例如，标准的立体强度可以对应于图3中指示的 视差P8,其是当左画面LP构成所呈现的左画面LR时获得的。最大立体强度可以对应于图 3中指示的视差Pltl,其是当经过左移位的视点画面LP+S构成所呈现的左画面LR时获得的。 视差Pltl对应于正视差移位所应用的视差p8。中等立体强度可以对应于图3中指示的视 差P6,其是当经过右移位的视点画面LP-S构成所呈现的右画面RR时获得的。视差P6对应 于负视差移位P_2所应用的视差P8。图4图示了立体模式B。在此立体模式下，通用3-D画面中包括的左画面LP构成 所呈现的左画面LR。也就是说，所呈现的左画面LR是左画面LP的简单副本。如上文所提 及的基于左画面LP和深度图DM生成的经过右移位的视点画面LP-S构成所呈现的右画面 RR。经过右移位的视点画面LP-S具有相对于左画面LP的负视差移位P_4。立体强度全部 由此负视差移位确定。在立体模式B下，右画面RP不需要起任何特定作用。也就是说，在 立体模式B下，右画面RP可以被有效地省略。立体模式A优选地用于在最大立体强度与中等立体强度之间包括的立体强度范 围中。标准立体强度被包括在此范围中。立体模式B优选地用于在中等立体强度与最小立 体强度之间包括的立体强度范围中。也就是说，当期望相对较小的深度效应时，可以使用立 体模式B。最小立体强度可以对应于不存在任何深度效应，也就是说纯二维表示。在此极端 情况下，视差等于0 所呈现的左画面LR和所呈现的右画面RR是相同的。可以由此通过生成经过移位的视点画面并且分别取决于应用立体模式A还是立体模式B来将经过移位的视点画面与右画面RP或者左画面LP组合，来获得期望的立体强 度。可以基于左画面LP以及与其相关联的深度图DM根据预定义的通用规则来生成经过移 位的视点画面。此预定义的通用规则可以基于几何关系并且可以对于所有不同的视点应 用。在这种方式中，将左画面LP中的像素在某种程度上(as it were)移位由以下三个因 素专门确定的量期望的立体强度、如上文所解释的深度图DM为像素提供的深度指示值以 及预定义的通用公式。由此移位的像素构成经过移位的视点画面的像素。然而，如果以取决于环境的方式来生成经过移位的视点画面，则可以获得更有利 的呈现结果，所述方式考虑一个或者更多个呈现参数，诸如屏幕尺寸。此外，创作者或者另 一个人可能希望定义在给定的呈现环境中给定的3-D视频应当看起来如何。也就是说，作 者可以表示偏好的3-D呈现，其不需要一定对应于基于物理对象之间的几何关系的3-D呈 现。3-D呈现可以包含艺术偏好。图5图示了补充通用3-D视频信号SVS，其处理在前面的段落中提及的几点。补充 通用3-D视频信号SVS包括呈现指导数据⑶，其伴随着通用3-D画面…，VPlri，VPn, VPnl, VPn_2，…的序列。补充通用3-D视频信号SVS可以由此通过向图2中图示的通用3-D视频 信号VS添加呈现指导数据GD来获得。呈现指导数据⑶包括涉及基于左画面和特别地专用于此左画面的深度图来生成 经过移位的视点画面的参数。呈现指导数据GD可以根据定义生成经过移位的视点画面的 默认方法的预定义的通用规则来指定例如一个或者更多个偏移。例如，可以为不同的立体 强度指定相对于默认方法的不同的偏移。类似地，可以为不同的屏幕尺寸指定不同的偏移。 更有甚者，偏移不需要一定应用于感兴趣的整个3-D视频。可以为感兴趣的3-D视频中的相 应的场景或者甚至为相应的3-D画面来指定相应的偏移。由此，呈现指导数据⑶被优选地 组织为各个段，其中段与3-D画面的特定子序列有关，所述特定子序列可以构成场景SCN。 段也可以与特定3-D画面有关。图6图示了可以形成呈现指导数据⑶的一部分的参数组的实例。该参数组以包 括三列的表格的形式表示，所述三列中的每一列涉及表示为整数值(即10、6和5)的特定立 体强度，其中10表示最大立体强度。每一列具有带有阴影底色的标题，其指示立体强度以 及要用于该立体强度的立体方法。该表格指示图3中图示的立体模式A应当用于在10与6之间包括的立体强度。该 表格还指示图3中图示的立体模式B应当用于在5与0之间包括的立体强度。该表格还包 括表示相应的深度指示值的相应的行。相应的深度指示值在表格的最左一列中列出，其具 有阴影底色。该表格对于上述三个立体强度10、6以及5中的每一个指定用于相应的深度指示 值DV的相应的最大视差移位Pmax。可以以像素单位表示的相应的最大视差移位Pmax在所 涉及的列的白色区域中列出。最大视差移位定义经过移位的视点画面中的像素与根据其生 成经过移位的视点画面的左画面中的对应的像素之间的最大位移。图6中图示的表格可以 由此在功能上被看作经过移位的视点画面生成器中的限制模块。表格中指定的最大视差移位Pmax可以防止容易被感知为不自然的效应或者可以 导致眼睛疲劳的效应或者这两者。如上文所解释的，生成经过移位的视点画面涉及移位所 考虑的左画面的像素。移位的量典型地取决于深度指示值以及立体强度。相对较大的移位可能产生不自然的效应，或者导致眼睛疲劳，或者其它不利的效应。在图6中图示的表格中 指定的最大视差移位Pmax通过确保移位的量保持在可接受的限度内来允许防止这种不利 的效应。对于在10和6之间以及5和0之间的立体强度的适合的最大视差移位Pmax可以 依靠例如内插来获得。为该目的，这是足够的该表格指定用于立体模式A下的两个不同的 立体强度(诸如图6中的10和6)以及用于立体模式B下的单个立体强度(诸如5)的相应 的最大视差移位Pmax。在立体模式B下不需要指定用于两个不同的立体强度的最大视差移 位Pmax，因为用于立体强度0的所有最大视差移位Pmax可以典型地被视为等于0。立体强 度0对应于单视场呈现，也就是说，无任何深度效应的纯二维表示。图7图示了可以形成呈现指导数据⑶的一部分的参数组的另一实例。该参数组 以包括若干列的表格的形式表示，所述若干列中的每一列涉及表示为整数值(即10、8、6、5、 3和1)的特定立体强度STS。每一列具有带有阴影底色的标题，其指示立体强度STS。该表 格还包括表示各种不同的屏幕尺寸SZ (30、40、50英寸)的各行，所述屏幕尺寸SZ在表格中 具有阴影底色的最左一列中指示。该表格对于上述三个立体强度10、8、6、5、3和1中的每一个指定用于各种屏幕尺 寸的相应的视差补偿Poff。可以以像素单位表示的相应的视差补偿Poff在所涉及的列的 白色区域中列出。视差补偿定义经过移位的视点画面中的相应的像素相对于根据其生成经 过移位的视点画面的左画面中的相应的对应像素的附加的位移。也就是说，视差补偿定义 整体位移，其要被添加到对于给定的像素通过应用通用预定义规则而获得的特定的移位， 以生成经过移位的视点画面。图7中图示的表格可以在功能上被看作经过移位的视点画面 生成器中的输出补偿模块。视差补偿可以补偿向观看者的深度移位，其可以当在具有小于感兴趣的3-D视频 意在用于的屏幕的尺寸的尺寸的屏幕上呈现感兴趣的3-D视频时出现。例如，看起来在电 影院中的屏幕后面很远的对象可以看起来几乎在家用设备的屏幕的前面，如上文所提及 的。图7中图示的表格中指定的视差补偿Poff提供合适的校正。可以依靠例如内插来获 得用于不同于图7中图示的表格中的屏幕尺寸和立体强度的屏幕尺寸和立体强度的适合 的视差补偿。图8图示了可以形成呈现指导数据⑶的一部分的参数组的又一实例。该参数组 以包括三列的表格的形式表示，每一列具有指示列标题的带有阴影底色的标题。题为STS 的列指定相应的立体强度。题为Poff的另一列指定相应的视差补偿Poff。该表格还包括 表示各种不同的屏幕尺寸SZ (30,40以及50英寸)的各行，所述屏幕尺寸SZ在表格中带有 标题的最左一列中指示。该表格指定用于各种不同的屏幕尺寸的立体强度STS和视差补偿Poff的优选的 组合OPT。立体强度STS依靠整数值指示，像图6和图7中图示的表格中那样。视差补偿 Poff可以以像素单位或者其它单位表示。每个优选的组合提供用于可能不同于感兴趣的 3-D视频意在用于的典型屏幕尺寸的所涉及的屏幕尺寸的令人满意的呈现。创作者可以定 义令人满意的呈现。也就是说，创作者可以依靠图8中图示的表格来表示当在具有感兴趣 的屏幕尺寸的显示器上呈现时感兴趣的3-D视频应当看起来如何。可以依靠例如内插来获 得不同于图8中图示的表格中的屏幕尺寸的屏幕尺寸的优选的组合。
呈现指导数据⑶还可以明确地或者隐含地包括深度图精确度以及深度图分辨率 的指示。优选地，与当生成经过移位的视点画面时相对精确的深度图不同地应用相对不精 确的深度图DM。例如，当基于相对不精确的深度图来生成经过移位的视点画面时，存在相对 较大的引入失真的概率。在这种情况下，像素应当仅移位相对较小的量，以便确保任何失真 都相对较弱。因此，在3-D呈现过程中，可以有利地使用深度图精确度以及深度图分辨率的 指示。这种指示还可以在某种程度上被嵌入像图7中图示的表格那样的指定最大视差移位 Pmax的表格中。如果例如仅基于存在于二维画面中的信息来估计深度指示值，则深度图可能相对 不精确。机器或者人或者两者的组合可以基于例如有关所涉及的画面中的对象的先验知 识、特别是关于所述对象的相应的典型尺寸的先验知识来生成这种所估计的深度图。典型 地尺寸相对较大，但在画面中看起来相对较小的对象可能较远。依靠这种估计技术来向画 面添加深度可以与向黑白画面添加色彩相比。深度指示值可能或者可能不能充分地近似 将获得的值，已经例如基于距离测量或者立体画面配对的分析来使用精确的深度图生成技 术。图9图示了可以生成呈现指导数据⑶的3-D视频补充系统XSY。该3-D视频补 充系统XSY可以另外向通用3-D视频信号VS添加呈现指导数据⑶，以便获得补充通用3-D 视频信号SVS。该3-D视频补充系统XSY包括呈现指导处理器RGP、显示设备DPL以及操作 者接口 0IF。3-D视频补充系统XSY还包括存储介质STM，其中存储通用3-D视频信号VS， 如图1中所图示的。呈现指导处理器RGP可以例如包括指令执行设备以及程序存储器。在显示设备 DPL可以模拟可以例如在屏幕尺寸方面不同的各种类型的显示设备的意义上，显示设备 DPL优选地是通用的。可替代地，可以与图5中图示的3-D视频补充系统XSY相关联地使用 各种不同类型的显示设备。操作者接口 OIF可以例如包括键盘、触摸板、鼠标或轨迹球、各 种按钮或者它们的任何组合。图10图示了呈现指导处理器RGP可以为了生成呈现指导数据⑶的目的而执行的 一系列步骤S1-S7的实例。图10可以被看作一组指令的流程图表示，该组指令可以被载入 到上述程序存储器中，以便使得参考指导处理器能够执行下文参照图10描述的各种操作。在步骤Sl中，呈现指导处理器RGP提示系统操作者选择通用3-D视频信号VS的 特定部分(SEL_VS)，如果需要的话，系统操作者可以选择通用3-D视频信号VS其整体。所 选择的特定部分可以对应于特定的场景，诸如图1中图示的场景SCN。如上文所解释的，对 于一个场景可以被视为最优的3-D呈现对于另一个场景可能不是最优的。因此，以逐场景 为基础评估和调整3-D呈现可能是有利的。在步骤S2中，呈现指导处理器RGP还可以提示系统操作者指定指示深度图精确 度和深度图分辨率的数据(DM_PRC= )。可替代地，呈现指导处理器RGP还可以包括检测模 块，用于自动检测深度图精确度和深度图分辨率。如上文所解释的，深度图精确度和深度图 分辨率的指示可以被有利地用于3-D呈现过程。也可以考虑这种指示以生成呈现指导数据 GD0例如，如果深度图精确度相对较低或者深度图分辨率相对较低或者两者均相对较低，则 在图6中图示的最大视差移位Pmax可以被设置为较低的值。在步骤S3中，呈现指导处理器RGP提示系统操作者指定呈现环境(RND_CXT= )。可以例如在屏幕尺寸、典型的观看者距离以及其它的与呈现有关的参数方面表示呈现环境。 屏幕尺寸可以对应于图10中图示的显示设备DPL的屏幕尺寸，或者可以对应于显示设备 DPL如上文所提及的那样可以模拟的另一屏幕尺寸。在步骤S4中，呈现指导处理器RGP提示系统操作者指定立体强度并且可选地指 定立体模式(STS= )。立体强度可以为在0和10之间的范围内的整数值的形式。整数值0 可以对应于纯二维表示，其意味着不存在任何深度效应。整数值10可以对应于最大立体强 度，其提供最高程度的深度印象。整数值8可以例如对应于提供默认程度的深度印象的标 准立体强度，所述默认程度的深度印象与场景的可靠的三维再现相关联。系统操作者可以 在上文描述的立体模式A与B之间进行选择。立体模式可以被预定义为立体强度的函数。 在该情况下，呈现指导处理器RGP提示系统操作者仅指定立体强度。在步骤S5中，呈现指导处理器RGP提示系统操作者指定潜在地可以形成呈现指导 数据⑶的一部分的一组或者多组参数(SEL_PAR)。可以从菜单中选择一组参数，或者可以 以常规方式指定一组参数。所指定的各组参数涉及基于左画面以及专用于此左画面的深度 图来生成经过移位的视点画面，所述左画面和深度图存在于通用3-D视频信号VS中。所述 参数典型地与视差有关，如在图6、图7以及图8中所图示的，并且所述参数可以修改深度印 象。当在通用3-D视频信号VS中考虑各组参数时，所涉及的场景中的特定对象可能看起来 更近或者远离。在步骤S6中，呈现指导处理器RGP使得显示设备DPL显示通用3-D视频中系统操 作者已经根据系统操作者已经定义的呈现环境和立体强度而选择的部分(DPL_VS_SEL)。也 就是说，对于所涉及的部分中的每个通用3-D画面，呈现指导处理器RGP分别取决于立体模 式是A还是B而生成如图3或图4中图示的所呈现的左画面LR和所呈现的右画面RR。在 这样做时，呈现处理器考虑系统操作者已经指定的各组参数。这构成通用3-D视频的所涉 及的部分的特定呈现。该系统操作者可以由此评估此特定呈现是否令人满意。在步骤S7中，呈现处理器确定已经根据其执行了呈现的各组参数是否应当被包 括在呈现指导数据⑶中(PAR-⑶？)。呈现指导处理器RGP可以许多不同的方式来这样做。例如，在基本的方式中，呈现指 导处理器RGP可以提示系统操作者指示呈现是否令人满意。如果系统操作者指示呈现令人 满意，则呈现处理器可以包括在呈现指导数据⑶中涉及的各组参数。另外，呈现处理器可 以随后执行步骤S3以及其后面的步骤，以用于确定用于另一呈现环境的合适的参数组的 目的。在更复杂的方式中，呈现指导处理器RGP可以请求系统操作者指定对于所涉及的 特定呈现的满意程度。满意程度可以是分数的形式。在此方式中，呈现指导处理器RGP可 以执行步骤S5-S7若干次，每次针对不同组的参数。相应地，对于相应的不同组的参数获得 相应的分数。如果感兴趣的所有组的参数已经被给出了分数，则呈现指导处理器RGP可以 选择具有最高分数的一组参数或者各组参数(无论哪个适用时)。这些所选择的组的参数可 以被包括在呈现指导数据GD中。呈现处理器可以随后执行步骤S3以及其后面的各步骤， 以用于确定用于另一呈现环境的合适的参数组的目的。相应地，呈现指导处理器RGP可以通过执行图10中图示的一系列步骤S1-S7来确 定图6、图7以及图8中图示的各组参数中的任一个或者这些参数的任意组合。呈现指导处理器RGP可以接管来自系统操作者的特定任务或者决定。也就是说，与仅通过实例的方式 给出的上文参照图10进行的描述相比，可以有更高程度的自动化。更有甚者，由该系统操 作者做出的一个或者更多个决定可以代之由表示典型观看者的专门小组(panel)做出。在 这种情况下，呈现指导处理器RGP可以配备有例如确定是否多数的专门小组成员觉得所涉 及的呈现令人满意的多数投票模块，或者可以配备有确定由专门小组成员给出的平均值的 平均分数模块。一旦如上文所述地或者以其他方式获得了图5中图示的补充通用3-D视频信号 SVS,补充通用3-D视频信号SVS就可以被分发和销售或者许可给终端用户。存在许多不同 的方式来这样做。例如，可以依靠可以是无线或者有线或者它们的组合的网络来广播补充 通用3-D视频信号SVS。作为另一实例，补充通用3-D视频信号SVS可以被上传到服务器 中，终端用户可以从该服务器下载该补充通用3-D视频信号SVS。作为又一实例，可以产生 许多存储介质，在所述存储介质上记录补充通用3-D视频信号SVS。在上述实例中的任一个 中，优选地为了数据压缩和差错复原的目的编码该补充通用3-D视频信号SVS。图11图示了一种可以安装在终端用户的家中的视频呈现系统RSY。视频呈现系统 RSY包括立体类型的显示设备DPL，其可能需要观看者佩戴一副眼镜。左眼镜片将所呈现的 左画面LR或者更确切地说是所呈现的左画面LR的序列传递给左眼。右眼镜片将所呈现的 右画面RR或者更确切地说是所呈现的右画面RR的序列传递给右眼。为该目的，显示设备 DPL可以交替地显示所呈现的左画面以及所呈现的右画面。当显示所呈现的左画面LR时， 使得左眼镜片透明，在其它情况下左眼镜片不透明。类似地，当显示所呈现的右画面RR时 使得右眼镜片透明，在其它情况下右眼镜片不透明。作为另一实例，显示设备DPL可以以给 定的极化显示所呈现的左画面并且以相反的极化来显示所呈现的右画面。于是，左眼镜片 和右眼镜片可以具有对应的相反的极化。视频呈现系统RSY还包括各种功能实体存储介质播放器PLY、解码器DEC、解多路 复用器DMX、经过移位的视点画面生成器SHG、选择器SEL、控制器CTRL以及用户接口 UIF。 所有上述功能实体可以形成例如家庭影院设备的一部分。解码器DEC、解多路复用器DMX、 经过移位的视点画面生成器SHG以及选择器SEL可以依靠指令执行设备和程序存储器来实 现。在这种实现方式中，被载入到程序存储器中的一组指令可以导致指令执行设备执行对 应于一个或者更多个功能实体的操作，其将在下文中更详细地描述。控制器CTRL和用户接 口 UIF可以至少部分地也被以此方式实现，并且此外与上述功能实体共享相同的指令执行 设备。视频呈现系统RSY基本上如下地操作。假定存储介质播放器PLY读取包括图5 中图示的补充通用3-D视频信号SVS的编码的版本CV的存储介质。解码器DEC接收此编 码的版本CV，并且作为响应而提供补充通用3-D视频信号SVS。解多路复用器DMX有效地 提取并且分离在此信号中包括的各个分量。呈现指导数据GD是控制器CTRL接收的一个这 样的分量。经过移位的视点画面生成器SHG接收在通用3-D画面中包括的各个其他分量 左画面LP、深度图DM以及背景画面BG。经过移位的视点画面生成器SHG还可以接收阿尔 法图，其可以包括在通用3-D画面中。右画面RP被直接应用于选择器SEL。控制器CTRL基于可以预先存储在视频呈现系统RSY中的呈现指导数据⑶以及呈 现环境数据来确定一组经过移位的视点生成参数GP以及选择器控制信号SC。呈现环境数据定义在例如显示设备DPL的屏幕尺寸以及典型的观看距离的方面的呈现环境。控制器 CTRL还可以考虑期望的立体强度STD (如果有的话)，以用于确定该组经过移位的视图生成 参数的目的。观看者可以依靠用户接口 UIF来定义期望的立体强度STD。如果观看者未定 义任何期望的立体强度STD，则控制器CTRL可以基于默认立体强度来操作。该组经过移位 的视点生成参数GP可以例如包括考虑适用于图10中图示的视频呈现系统RSY的呈现环 境、基于图6、图7以及图8中图示的表格中的任一个而建立的参数。经过移位的视点画面生成器SHG根据该组经过移位的视点生成参数GP，基于左画 面LP、深度图DM、背景画面BG而生成经过移位的视点画面LP+/-S。如果专用于左画面LP 的阿尔法图可用，则经过移位的视点画面生成器SHG可以有利地利用这种阿尔法图。经过 移位的视点画面生成器SHG在分别在图3和图4中图示的立体模式A或者立体模式B下操 作。经过移位的视点生成参数GP定义移位的程度，其可以是如图3和图4中图示的向右或 者向左。选择器控制信号SC表示适用的立体模式。如果立体模式A适用，则选择器控制信 号SC导致选择器SEL选择经过移位的视点画面LP+/-S以构成所呈现的左画面LR。在该情 况下，选择器SEL选择右画面RP以构成所呈现的右画面RR。相反，如果立体模式B适用，则 选择器控制信号SC导致选择器SEL选择经过移位的视点画面LP+/-S以构成所呈现的右画 面RR。在该情况下，选择器SEL选择左画面LP以构成所呈现的左画面LR。在任一情况下， 显示设备DPL基于所呈现的左画面LR和所呈现的右画面RR提供3-D呈现。图12图示了一种替代视频呈现系统ARSY或者更确切地说是其部分。替代视频呈 现系统ARSY包括自动立体类型的显示设备ADPL，其不需要观看者佩戴一副眼镜。这种显示 设备典型地显示一组不同的视图MVS，其中每个视图在某种程度上被以特定方向发出。相应 地，显示设备ADPL将不同的视图投射到左眼和右眼，其导致观看者体验深度效应。该替代视频呈现系统ARSY包括多视图生成器MVG，其接收与图11中图示的经过移 位的视点画面生成器SHG相同的分量左画面LP、深度图DM以及背景画面BG。这些分量可 以由类似于也在图11中图示的存储介质播放器PLY、解码器DEC以及解多路复用器DMX的 功能实体提供。多视图生成器MVG还可以接收特别地专用于左画面LP的阿尔法图。多视图生成器MVG生成在自动立体类型的显示设备DPL上显示的该组不同的视图 MVS。实际上，多视图生成器MVG可以被看作包括多个经过移位的视点画面生成器，其中每 个可以类似于图11中图示的经过移位的视点画面生成器SHG。这些相应的视点画面生成器 生成表示根据不同的相应的视点的场景的相应的经过移位的视点画面。也就是说，在类似 于图3和图4的示图中，每个相应的经过移位的视点画面具有在水平轴上的特定位置。应 当注意多视图生成器MVG完全不需要利用与左画面LP相关联的右画面RP。也就是说，为 了 3-D呈现的目的，不需要使用在补充通用3-D视频信号SVS中存在的右画面。在上文中，描述了组合立体格式和所谓的图像+深度格式的优点的3D格式。以 下的实施例对于以下内容进行详细说明这种立体+深度格式如何可以在实践中被实现以 用于现有的以及将来的蓝光播放机。隐含的思想是使用深度分量(其在下文中也被称为 “D”)的空间和时间子采样(并且可选地使用诸如遮蔽数据之类的另外的信息)，并且将其格 式化为2:2:1的LRD帧速率比的包括立体和深度两者的三维视频信号。本发明的特别有利的实施例针对利用视频信号的较低分辨率的表示，以便生成适应原始立体信号的带宽需要的立体加深度信号。隐含的思想是利用常规的 1280*720i60Hz的视频流，以便编码1920*1080船4Hz的立体(LR)加深度(D)信号。通过另外利用2 1，2 2 1交织，可以实现可以包含多个时刻(例如Dt=1和Dt=2)的各 种分量(诸如深度分量或者透明度分量)的额外的帧插入。如前面提出的LRD格式通常需要比蓝光播放机中当前可用的更多的(解码)资源。 而且，这种蓝光播放机缺少用于立体信号和深度信号的附加的接口端口。还应注意当前使用的棋盘立体图案具有若干缺点，因为其不允许使用典型的自 动立体显示器，并且3-D感知高度取决于屏幕尺寸。而且，由于棋盘图案的性质，比特率要求相对较高(至少是1080p，MHz，单视场视 频所需要的比特率的两倍)。提出了通过使用具有L’ R’ D’帧的1280*720p的时间交织的格式来克服解码资源 和接口问题两者，其中
-L，=空间子采样左图像(1920*1080 -> 1280*720)，
-R，=空间子采样右图像(1920*1080 1280*720)，并且 -D’ =空间深度。典型地，尽管不是强制地，D’包括时间和空间深度、遮蔽纹理、遮蔽深度以及透明 度信息。以因子2对D’进行时间子采样，这意味着L’ + R’ + D’ = 24 + 24 + 12 Hz = 60Hz。典型地，蓝光播放机可以解码诸如使用MPEG编码的720p的图像流之类的视频信 号。此外，720p图像信号是在像HDMI/CEA之类的已知接口上被支持的视频格式。所提出的 空间和时间子采样以及将L、R和D交织为一个1280*720@60Hz L，R，D，的流允许在每个现 有的BD播放机上实现本发明。图13例示对于现有的单视场BD播放机解码以及以兆像素/秒的接口(IF)信息 通过量的要求。为了支持上面的L’ R’ D’编码，对于现有的播放机不需要进行特别的修改。 应注意在图13中，D帧包括深度信息(D)、透明度信息(T)、背景纹理(BG)以及背景深度 (BD)。仅剩的问题是解决同步问题。如果流被如图14所描述的那样编码，则可以解决同步问题。这里示出了 优选地， L、R和D帧被交织以便形成L、R、D、L、R帧的重复的序列。此外，图14示出了编码图像的优 选方式。HDMI标准具有以下选项在所谓的信息帧中指示在接口上存在的图像是原始编码 帧，并且具体地是I、P和B指示符存在。另外，需要向监视器或者显示器用信号通知L’R’D’ 编码，从而指示在接口上的信号不是常规的单视场720p信号，而是根据本发明的3D-720p 信号。这可能需要在HDMI/CEA中被标准化，然而同样接口规范提供用于指示这些的足够的 空间。由于上面的L’ R’ D’信号具有常规720p 60Hz单视场信号的所有特性，其可以由 蓝光播放机解码并且也可以被输出到蓝光播放机的HDMI输出接口。如上面所指示的，D’分量的内容典型地不限于深度，而是也可以包括背景纹理 (BG)、透明度(T)以及附加元数据信息。元数据可以是用于提高3D感知质量的附加图像信 息，但是也可以是与内容有关的信息(例如信令等等)。
典型的分量是D ((前景)深度)、BG (背景纹理)、BD (背景深度)以及T (透明度 图)。原理上，利用所提出的格式，这些分量在12 Hz而不是M Hz下可用。它们可以利用已 知的或者新颖的上采样算法来在时间上进行上采样。然而，对于某些应用，不需要上采样。 例如，当在视频上面合成图形(字幕、OSD等等)时，使深度信息可用是有用的，以使得可以在 正确的位置处合成所述图形，即在相对于深度的正确位置处合成所述图形。上面的内容可以通过如在图17中所看到的那样对于深度(D)和透明度(T)具有不 同的(即交替的)相位来实现。该图示出了包括深度信息Dl以及透明度信息T2的1280x720 的帧。1280x720的帧的分量Dl基于来自时刻T=l/M秒处1920x1080帧的Dl分量。1280x720 的帧的分量T2基于来自时刻T=2/M秒处另外的1920x1080帧的Τ2分量。使Dl和Τ2根据不同的时刻而可用的优点在于其通过利用来自相邻的时刻的透 明度而允许改进的深度的时间重构，参见图17。应注意不是D帧中的所有分量都同等重要。这给略过(总是或者动态地取决于内 容并且以某些标志来标记的)一个分量留下了空间，从而为另一分量处于完整的M Hz留 下了空间。此构思在图18中图示，在图18中，在单个1280x720帧内组合来自T=l/M以及 T=2/24的透明度信息。由此，图17指示了其中所有分量被时间子采样的实例，图18指示其中T (透明度) 仅被空间子采样而未被时间子采样(Tl，Τ2)的解决方案。新 3D BD
而且，对于新的要定义的3D蓝光播放机/规范，根据本发明的LRD类型的格式可以变 得有关。有可能将来的BD播放机系统的信息通过量由于兼容性和成本的原因将近似为2 * 1080pi30 (or 2*1080i@60Hz)。当应用上面的LRD原理(即添加附加信息)时，需要多出 11%的附加的信息通过量。这接近于2 * 1080ρ@30。取决于所述优点，将最大信息通过量 增加为高出11%的值对于将来的系统可以是可接受的。对于将来的3D蓝光播放机，质量是非常重要的。实验已经显示特别地，以因子 2:1进行的深度和透明度分量两者的空间子采样(即水平和垂直子采样)可以过多地降低质 量(也参见图21)。改善此情况的一个选择是应用基于如图21中图示的对角滤波的所谓的 quinqunx子采样。例如，1920*1080的像素可以首先被垂直子采样为1920*540，然后被对角 滤波和quinqunx子采样，此后我们得到的结果是960祁40 (quinqunx)样本。然而，这些样 本在水平方向上保持完整的1920的分辨率。另一方式将是仅在垂直方向上对于深度和透明度进行子采样。图19示出了这可 以如何使用L、R、D、L、R、D、D’帧的重复序列来实现。在底部，指示D帧的内容，即随后的 D、D和D’帧。图中的箭头指示在帧的编码中使用的预测的方向。在D帧内，提供以1920*540像素的分辨率交替的深度(Dl，D2，D3)以及透明度 (T1，T2)。同时，以960*540像素提供背景纹理(BG)以及背景深度(BD)。应注意在此特定的编码方案中，D帧和D’帧具有不同的内容和速率。D’类型的 帧以L和D的帧速率一半的帧速率而提供。D，帧可被用于分配深度和透明度(这里是D2和 Τ2)的丢失的时刻。请注意(其中一些)分量也可以被quinqunx (也参见附录1)子采样。随后，通过连续编码LRD-LRDD，-LRD-LRDD，，可以利用如在图19中的GOP (画面 组)编码结构中指示的LRD流中的LRD信息来交织D’帧。
图19还示出了在LRD D’模式下如何可以通过使用Dl来预测D3并且通过使用 Dl和D3两者来预测D2来有效地压缩深度信息D以及深度信息D’。图15示出了用于编码视频以用于3D蓝光系统的选项中的一些。如我们可以从图 15中看到的，本发明允许对于全高清的电影以及对于高清的体育两者而编码LRD(立体+深 度)。最后，图20示出了在选项1下本发明的实施例，其中用于上述LRDD’模式的D帧 被交织。图20还示出了在选项2下本发明的实施例，其中来自4个时刻的信息被组合，而 之前的选项仅组合来自2个时刻的信息。在后者的实施例中，视频信号的Y、U和V分量被 用于携带不同的信息，例如，在D2帧中，对于T=l，U分量携带背景深度，而对于T=2，V分量 携带背景深度。各个分量Y、U和V对于相应的D帧进行描述。此第二选项的相应的D帧的内容Ο1』2』3』4』5』6在交织实例的下面进行描述。在此实施例中，用于四个时刻(BGl1, BGl2, BGl3, BGl4)的背景纹理被打包到一个 帧(用于4个时刻)中，因此D帧可以被更有效地使用。此实施例有效地利用深度分量通常 具有与由UV分量提供的尺寸类似的尺寸的事实。这甚至允许对于12Hz，2 D或者T之一 为完整的1920*1080的分辨率，其中其它的时刻处于1920*540。如可以在图20中看到的， 甚至可能剩下一些剩余空间。结束语
参照附图的上文的详细描述仅是在权利要求中限定的本发明以及附加特征的例示。本 发明可以以许多不同的方式实现。为了例示这点，简要地指出一些替代方案。本发明可以被有利地应用于与3-D视觉表示有关的许多类型的产品或者方法。 3-D视频仅为一个实例。本发明可以等同地应用于3-D静止画面，即3-D照片。根据本发明，存在许多提供3-D视频画面的方式。图1图示了包括一对摄像机 RCAM、LCAM的实现方式。在此实例中，该对摄像机捕捉真实的画面。在另一种实现方式中， 虚拟的画面配对可以依靠例如适当编程的处理器来生成。深度图不需要一定依靠深度扫描 器或者类似的测量设备来获得。深度图可以基于估计而建立，如上文在详细描述中提及的。 要紧的是深度图特别地专用于同样构成3-D视觉表示的一对画面中的一个画面。深度图可以如在上文中的详细描述中那样特别地专用于左画面，或者可以专用于 右画面。也就是说，在图2中图示的通用3-D视频信号VS的不同版本中，深度图DM可以特 别地专用于右画面RP。在这种变型中，根据右画面RP和特别地专用于此画面的深度图DM 来生成经过移位的视点画面。于是，背景画面BG也将专用于右画面RP。为了例如数据减少 或者带宽减少的目的，背景画面BG可以省略。存在许多不同的提供呈现指导数据的方式。上文的详细描述提供了参照图10的 实例。在此实例中，执行一系列步骤，其中一些步骤涉及与系统操作者交互。这些交互中的 一个或者更多个可以有效地被自动决策代替。还可以以全自动的方式生成呈现指导数据。 还应当注意图10中图示的系列步骤不需要一定以这些步骤被示出的顺序来执行。此外， 各个步骤可以被组合为一个步骤，或者可以省略一定步骤。术语“画面”应当被广义地理解。该术语包括允许视觉呈现的任何实体，诸如图像、 帧或者场。从广义上说，存在许多依靠硬件或者软件或者它们的组合来实现功能实体的方式。在此方面，附图是非常概略的。尽管附图将不同的功能实体示为不同的块，但这绝不排 除其中单个实体执行若干功能的实现方式，或者其中若干实体执行单个功能的实现方式。 例如，参照图11，解码器DEC、解多路复用器DMX、经过移位的视点画面生成器SHG、选择器 SEL以及控制器CTRL可以依靠包括所有这些功能实体的集成电路的形式的适当编程的处 理器或者专用处理器来实现。存在许多存储和分发一组指令(即软件)的方式，该组指令允许可编程电路根据本 发明来操作。例如，软件可以被存储在诸如光盘或者存储器电路之类的适当的介质中。其 中存储软件的介质可以被提供为单独的产品或者与可以执行软件的另一产品一起提供。这 种介质也可以是使得软件能够被执行的产品的一部分。软件也可以经由通信网络来分发， 所述通信网络可以是有线的、无线的或者混合的。例如，软件可以经由因特网来分发。可以 使得软件可用于依靠服务器下载。下载可能需要付费。上文进行的结语表明参照附图的详细描述例示而非限制了本发明。存在落入所附 权利要求的范围内的许多替代方案。权利要求中的任何附图标记不应当解释为限制权利要 求。词语“包括”不排除除了权利要求中所列出的元件或步骤之外的其它元件或步骤的存 在。元件或步骤前面的词语“一”不排除存在多个这种元件或步骤。仅仅是相应的从属权利 要求限定相应的附加特征这一事实不排除对应于从属权利要求的组合的附加特征的组合。
权利要求
1.一种提供3-D画面的方法，包括-画面提供步骤，其中提供一对画面(LP，RP)，其包括意在用于观看者的一只眼睛的 第一画面(LP)以及意在用于观看者的另一只眼睛的第二画面(RP)；-深度图提供步骤，其中提供特别地专用于所述第一画面的深度图(DM)，所述深度图 包括深度指示值，深度指示值与所述第一画面的特定部分有关并且指示至少部分地由所述 第一画面的该部分表示的对象与所述观看者之间的距离。
2.根据权利要求1所述的方法，包括-呈现指导数据提供步骤，其中提供呈现指导数据(GD)，所述呈现指导数据指定用于 相应的呈现环境的相应的参数，其中所述相应的参数涉及根据所述第一画面(LP)和所述深 度图(DM)来生成经过移位的视点画面(LP+/-S)，所述深度图(DM)特别地专用于所述第一 画面。
3.根据权利要求1所述的方法，所述呈现指导数据提供步骤包括子步骤，其中-为第一立体模式(A)定义一组参数，在所述第一立体模式(A)下，根据所述第一画 面(LP)和所述深度图(DM)生成的经过移位的视点画面(LP+/-S)构成所呈现的第一画面 (LR)，并且在所述第一立体模式(A)下，所述第二画面(RP)构成所呈现的第二画面(RR);以 及-为第二立体模式(B)定义一组参数，在所述第二立体模式(B)下，所述第一画面(LP) 构成所呈现的第一画面(LR)，并且在所述第二立体模式(B)下，根据所述第一画面(LP)和 所述深度图(DM)生成的经过移位的视点画面(LP+/-S)构成所呈现的第二画面(RR)。
4.根据权利要求3所述的方法，所述呈现指导数据提供步骤包括子步骤，其中为相 应组的参数(Pmax)提供其中所述第一立体模式(A)应当应用的第一立体强度范围(10-6) 以及其中所述第二立体模式(B)应当应用的第二立体强度范围(5-0)的定义。
5.根据权利要求2所述的方法，所述呈现指导数据(GD)定义用于相应的深度指示值 (DV)的相应的最大视差移位值(Pmax)。
6.根据权利要求2所述的方法，所述呈现指导数据(GD)定义用于相应的屏幕尺寸 (SZ)的相应的视差补偿值(Poff)。
7.根据权利要求1所述的方法，所述呈现指导数据(GD)包括深度图精确度的指示。
8.根据权利要求1所述的方法，包括-背景画面提供步骤，其中提供特别地专用于所述第一画面(LP)的背景画面(BG)。
9.根据权利要求8所述的方法，包括-阿尔法图提供步骤，其中提供特别地专用于所述第一画面(LP)的阿尔法图，所述阿 尔法图定义能够根据左画面、所述深度图(DM)以及所述背景画面(BG)生成的经过移位的 视点画面中的逐步过渡。
10.一种3-D画面提供系统，包括-画面提供装置(LCAM，RCAM)，用于提供一对画面(LP，RP)，其包括意在用于观看者 的一只眼睛的第一画面(LP)以及意在用于观看者的另一只眼睛的第二画面(RP)；-深度图提供器(DS，RPR)，用于提供特别地专用于所述第一画面(LP)的深度图 (DM)，所述深度图包括深度指示值，深度指示值与所述第一画面的特定部分有关并且指示 至少部分地由所述第一画面的该部分表示的对象与所述观看者之间的距离。
11.一种传递3-D画面的信号，包括-一对画面，包括意在用于观看者的一只眼睛的第一画面(LP)以及意在用于观看者的 另一只眼睛的第二画面(RP);-特别地专用于所述第一画面(LP)的深度图(DM)，所述深度图包括深度指示值，深度 指示值与所述第一画面的特定部分有关并且指示至少部分地由所述第一画面的该部分表 示的对象与所述观看者之间的距离。
12.—种存储介质，包括根据权利要求11的信号。
13.一种基于根据权利要求10的信号呈现3-D画面的方法，所述方法包括-经过移位的视点画面生成步骤，其中根据所述第一画面(LP)和所述深度图(DM)生 成经过移位的视点画面(LP+/-S)，所述深度图(DM)特别地专用于所述第一画面；以及-呈现步骤，用于根据下面两个立体模式中的至少一个来呈现所述3-D画面-第一立体模式(A)，其中所述经过移位的视点画面(LP+/-S)构成所呈现的第一 画面(LR)，并且其中在所述信号中包括的所述第二画面(RP)构成所呈现的第二画面(RR); 以及-第二立体模式(B)，其中包括在所述信号中的所述第一画面(LP)构成所呈现的 第一画面(LR)，并且其中所述经过移位的视点画面(LP+/-S)构成所呈现的第二画面(RR)。
14.一种用于基于根据权利要求10的信号呈现3-D画面的3-D画面呈现系统，所述系 统包括-经过移位的视点生成器(SHG)，用于根据所述第一画面(LP)和所述深度图(DM)生成 经过移位的视点画面(LP+/-S)，所述深度图(DM)特别地专用于所述第一画面(LP)；以及-选择器(SEL)，用于根据下面两个立体模式中的至少一个来呈现所述3-D画面-第一立体模式(A)，其中所述经过移位的视点画面(LP+/-S)构成所呈现的第一 画面(LR)，并且其中在所述信号中包括的所述第二画面(RP)构成所呈现的第二画面(RR)； 以及-第二立体模式(B)，其中包括在所述信号中的所述第一画面(LP)构成所呈现的 第一画面(LR)，并且其中所述经过移位的视点画面(LP+/-S)构成所呈现的第二画面(RR)。
15.一种计算机程序产品，其包括一组指令，当其被载入可编程处理器中时，其导致所 述可编程处理器执行如权利要求1-9中的任一项或者权利要求13所述的方法。
16.如权利要求1所述的方法，其中以被调谐到用于传送信号的预定带宽的分辨率提 供所述第一画面、所述第二画面以及所述深度图，并且其中编码额外的帧，从而提供用于基 于图像和深度分量来进行呈现的另外的数据。
17.如权利要求16所述的方法，其中所述额外的帧包括多个时刻的分量。
18.根据权利要求10所述的3-D画面提供系统，其中以被调谐到用于传送信号的预定 带宽的分辨率提供所述第一画面、所述第二画面以及所述深度图，并且其中编码额外的帧， 从而提供用于基于图像和深度分量来进行呈现的另外的数据。
19.一种传递3-D画面的信号，包括-一对画面，包括意在用于观看者的一只眼睛的第一画面(LP)以及意在用于观看者的 另一只眼睛的第二画面(RP);-特别地专用于所述第一画面(LP)的深度图(DM)，所述深度图包括深度指示值，深度指示值与所述第一画面的特定部分有关并且指示至少部分地由所述第一画面的该部分表 示的对象与所述观看者之间的距离，并且其中以被调谐到用于传送信号的预定带宽的分辨 率提供所述第一画面、所述第二画面以及所述深度图，并且其中编码额外的帧，从而提供用 于基于图像和深度分量来进行呈现的另外的数据。
20. 一种存储介质，包括根据权利要求19的信号。
全文摘要
提供如下的3-D画面。提供一对画面(LP,RP)，其包括意在用于观看者的一只眼睛的第一画面(LP)以及意在用于观看者的另一只眼睛的第二画面(RP)。另外，提供特别地专用于所述第一画面(LP)的深度图(DM)。所述深度图(DM)包括深度指示值。深度指示值与所述第一画面(LP)的特定部分有关并且指示至少部分地由所述第一画面的该部分表示的对象与所述观看者之间的距离。这种3-D画面允许在许多种显示设备上进行令人满意的3-D视觉呈现。优选地，为3-D画面补充呈现指导数据(GD)，其指定用于相应的呈现环境的相应的参数。这些相应的参数优选地涉及根据所述第一画面(LP)和所述深度图(DM)来生成经过移位的视点画面。
文档编号H04N13/02GK102106152SQ200980128855
公开日2011年6月22日 申请日期2009年7月22日 优先权日2008年7月24日
发明者W. T. 范德海登 G., S. 牛顿 P., B. M. 克莱因古内韦克 R., H. A. 布鲁尔斯 W. 申请人:皇家飞利浦电子股份有限公司