字幕的3d显示处理的制作方法

专利名称：字幕的3d显示处理的制作方法
技术领域：
本发明涉及三维(3D)图像信号的创建和再现。在一个实施例中，本发明提供字幕 在3D显示器上的自动最优定位，这使得观看者的疲劳减弱。
背景技术：
当前，出现了对3D电视的兴趣的复苏，这与显示技术最近的突破有关，该突破允 许为多个观看者良好地再现3D视频。这些突破之一是自动立体3D透镜状显示器，但是 还存在其他类型的显示器，比如基于自动立体屏障的显示器和基于背投技术的时分复用立 体显示器。典型地，这些类型的显示器使用两种基本视频格式中的一种作为输入以便为 观看者创建3D印象。基于立体的显示器使用时序交错和眼镜来显示两个分离的视图，每 只眼睛一个，并且因此期待立体视频作为输入。这些显示器的实例是基于时分复用的背 投影的立体显示器，并且该类型的系统也被用在3D电影院中，其主要可替代方案是多视 图自动立体显示器，其不需要眼镜并且经常使用被称为图像+深度的输入格式作为输入 以生成3D印象。关于3D显示技术的更多信息可以在Oliver Sireer等人的“3D video communication-Algorithms concepts and real time systems in human centered communication” (Wiley 2005)的第 13 章中找到。所述立体视频格式是简明的，因为它提供两个图像，每只眼睛一个。典型地，这两 个图像在空间上或以时序方式交错并且随后被送入显示器。被称为图像+深度的可替代格 式的不同之处在于它是2D图像与所谓的“深度”(或视差图)的组合。这典型地是灰度图 像，由此像素的灰度值指示针对相关联的2D图像中的对应像素的视差(或在深度图的情况 下的深度)的量。当显示器再现3D图像时，该显示器使用视差或深度图来计算将2D图像作 为输入的附加视图。这可以通过多种方式来完成，在最简单的形式中，其实就是根据与像素 相关联的视差值将那些像素向左或向右移位的问题。Christoph Fen的题为“D印th image based rendering, compression and transmission for a new approach on 3D TV，，的论 文给出了该技术的概要。自动立体的和(基于时序的)立体3D显示器的问题是，被称为调节-集合 (accommodation-convergence)失配的问题。这是这样的一个问题观看者的眼睛集中在正 被显示的对象的虚拟位置上，同时眼睛在显示器的表面上调节自身(以看到图像锐化)。该 失配可能引起头痛和其他与运动病相关联的症状。此外，针对左眼和右眼的视图之间的任 何几何的(特别是任何纵视差)以及电气的差异(亮度、对比度等)可以另外引起视觉疲劳。 然而，如果视差的量保持较小(其小于一度)，则这些问题不太严重并且用户可以观看内容 而没有任何明显的问题。更详细的描述参见Sumio Yano等人的“Two factors in visual fatigue caused by stereoscopic HDTV images，，，Displays 2004 pages 141 to 151 Elsevier。当再现设备正在显示诸如字幕或隐藏式字幕之类的文本时，可能会发生与上述问 题相似的问题。如果依赖于显示器的类型和设置文本被不适当地定位在屏幕上，则例如由于左眼视图和右眼视图之间的串扰使得该文本可能出现模糊，并且观看者可能感觉疲劳。 而且所述模糊可能影响文本的可读性也是事实。根据E. Legge (参见Gordon Ε. Legge等 人的"Psychophysics of Reading: I. Normal Vision，，，Vision Research, Vol 25, No. 2, pages 239 to 252，1985)，如果文本的带宽低于每字符两个循环，则阅读受损。模 糊是自动立体显示器的一个问题，因为典型地牺牲分辨率以生成多个视图，并且对于立体 显示器而言，通常在两个视图之间存在次优分离的问题，这可能增加了图像的模糊。而且， 根据Yano (上文所引用的)，深度运动增加了视觉疲劳。被预见的另一个问题是，观看者可以(通过例如他们的遥控器上的一些按钮)调节 3D电视中的视差量和深度平面的相对位置。这些调节装置意味着当文本远离深度中性位置 或增加“深度”时，文本可能变得模糊，从而引起视觉疲劳。美国专利申请公布US 2005/0140676公开了一种用于在三维图中显示多级文本 数据的方法。在该公布所描述的系统中，三维图被显示在屏幕上，并且具有不同密度级的文 本数据根据从所显示的三维图的视点到将显示文本数据的各节点的距离而被显示，从而改 进了文本数据的可读性。而且，可以通过局部地调节屏幕上文本数据的密度来显示文本数 据。通过借助透视投影方法将具有二维坐标的图数据转换为具有三维坐标的图数据来在显 示面板的屏幕上显示三维图。要被显示的文本数据连同三维图被转换为具有由三维图的视 点定义的原点的三维坐标系统中的文本数据和三维图。转换后的文本数据被投影在二维平 面上以被转换为具有屏幕坐标的文本数据。随后，从被显示的三维图的视点到将显示文本 数据的各节点的距离被分类。针对被转换的具有屏幕坐标的文本数据确定分类的这些距 离。对应于所确定的距离的各级文本数据被显示在显示面板的屏幕上，其上显示了三维图。尽管在三维图在二维显示设备上的表示的上下文中，根据该公布的文本数据的处 理以对用户有意义的方式被定位和缩放(scaled)，但是它没有解决上文确定的、涉及在三 维显示设备中显示文本的任何问题。

发明内容
因此，本发明的一个目的是改进已知的技术。根据本发明的第一方面，提供一种 创建三维图像信号的方法，该方法包括接收第一图像成分；接收用于与第一图像成分组 合来创建三维图像的第二成分；接收用于包含在所述三维图像中的文本成分；接收数据成 分，其包括描述文本成分在所述三维图像内的位置的位置信息；以及创建三维图像信号，其 包括第一图像成分、第二成分、文本成分和数据成分。根据本发明的第二方面，提供一种用于创建三维图像信号的设备，该设备包括被 布置为接收第一图像成分、用于与第一图像成分组合来创建三维图像的第二成分、用于包 含在所述三维图像中的文本成分以及包括描述文本成分在所述三维图像内的位置的位置 信息的数据成分的接收器；以及被布置为创建包括第一图像成分、第二成分、文本成分和数 据成分的三维图像信号的复用器。根据本发明的第三方面，提供一种再现三维图像信号的方法，该方法包括接收三 维图像信号，该信号包括第一图像成分、用于与第一图像成分组合来创建三维图像的第二 成分、用于包含在所述三维图像中的文本成分和包括描述文本成分在三维图像内的位置的 位置信息的数据成分；从第一图像成分和第二成分再现三维图像，该再现包括再现三维图像中的文本成分，文本成分的再现包括调节在再现的文本成分的位置中三维图像的三维参数。根据本发明的第四方面，提供一种用于再现三维图像信号的设备，该设备包括接 收器，其被布置为接收三维图像信号，该信号包括第一图像成分、用于与第一图像成分组合 来创建三维图像的第二成分、用于包含在所述三维图像中的文本成分和包括描述文本成分 在三维图像内的位置的位置信息的数据成分；显示器，其被布置为从第一图像成分和第二 成分再现三维图像，该再现包括再现三维图像中的文本成分，文本成分的再现包括调节在 再现的文本成分的位置中三维图像的三维参数。根据本发明的第五方面，提供一种三维图像信号，该三维图像信号包括第一图像 成分；用于与第一图像成分组合来创建三维图像的第二成分；用于包含在所述三维图像中 的文本成分；和包括描述文本成分在三维图像内的位置的位置信息的数据成分。根据本发明的第六方面，提供一种在计算机可读介质上用于创建三维图像信号的 计算机程序产品，该产品包括多个指令，其用于接收第一图像成分；接收用于与第一图像 成分组合来创建三维图像的第二成分，接收用于包含在所述三维图像中的文本成分；接收 包括描述文本成分在三维图像内的位置的位置信息的数据成分；以及创建包括第一图像成 分、第二成分、文本成分和数据成分的三维图像信号。根据本发明的第七方面，提供一种在计算机可读介质上用于再现三维图像信号的 计算机程序产品，该产品包括多个指令，其用于接收三维图像信号，该信号包括第一图像 成分、用于与第一图像成分组合来创建三维图像的第二成分、用于包含在所述三维图像中 的文本成分和包括描述文本成分在三维图像内的位置的位置信息的数据成分；从第一图像 成分和第二成分再现三维图像，该再现包括再现三维图像中的文本成分，文本成分的再现 包括调节在再现的文本成分的位置中三维图像的三维参数。根据本发明，可以改进3D显示器上诸如字幕之类的文本的可读性。该改进的可读 性基于以下事实附加的参数被发送到3D显示器，从而使得显示器可以处理图像的包含字 幕的部分，该处理不同于对图像的其余部分的处理。显示器随后可以确保字幕在文本的深 度、锐度和总体可读性方面以最佳方式自动定位。本发明的应用适用于比如连接到3D显示 器并且正在显示3D内容和相关联的字幕的蓝光光盘播放器和DVD或HD-DVD播放器之类的 系统。本领域技术人员将清楚，图像信号可以进一步通过比如因特网或内联网之类的数字 网络部分地或完整地获得。文本、特别是字幕应当在离屏幕的有限深度范围内被显示并且在整个呈现期间它 们不必改变深度。如果文本的深度必须保持恒定，则这也会造成定位的问题，因为视频的深 度可能改变并且因此在某些场景期间可能遮蔽文本的多个部分。总之，当在3D立体显示器 上显示字幕或隐藏式字幕时必须考虑下列因素视差的量应当小于一度；文本的带宽应当 保持高于每字符两个循环；文本必须保持在相对于屏幕的恒定深度处；以及文本不应当被 视频对象模糊。这些条件可以通过根据本发明的改进的系统来满足。可以通过调节“深度”图的、 涉及字幕或隐藏式字幕的位置的部分来完成对视差量的控制。一些显示器需要立体输入， 在这些情况下将更难以控制播放器中的视差量，但是这仍然是可能的。为了满足带宽约束，播放器必须确保文本的分辨率足够高、重影(ghosting)保持最小并且移动文本的速度不太高。为了满足这些因素，回放设备必须发送针对显示器分辨 率足够的字幕或隐藏式字幕，并且必须调节深度以使得重影被最小化。这典型地意味着文 本的深度应当保持中性(尽可能靠近屏幕)。然而，这可能造成一个问题当视频的深度动态 地变化时，视频的多个部分可能遮蔽文本的多个部分。该问题通过动态地调节文本的深度 以确保它保持在前面来解决。然而，这意味着文本将改变深度，根据Yano，这可能引起视觉 疲劳。通过发送关于文本位置的信息并且调节文本位置中3D图像的3D参数，这些问题被 克服。尽管优选地文本的深度应当在更长的时间周期内被固定，但是可以允许改变，例 如以便实现特定的3D效果。有利地，创建三维图像信号的步骤包括在第一图像成分中包含文本成分。该文本 成分(例如字幕)可以直接包含在第一图像成分中，并且不需要作为分离的成分来转送。将 要再现3D图像的接收装置仍然可以控制字幕区域中的3D显示参数，即使该字幕被嵌入到 信号的第一图像成分中。优选地，创建三维图像信号的步骤包括创建包括第一图像成分、第二成分、文本成 分和数据成分的单个图像帧。信号中的所有这些成分可以被组合成单个图像帧，其中信号 的不同成分占据图像帧的不同部分。这是组合构成信号的元素的便利的方法，并且可以用 于利用现有标准，例如HDTV，其支持相对较高的帧分辨率。一种成分，比如定义了最终信号 内文本成分的位置的数据成分，可以包含在图像帧的头部中而不是包含在帧的实际图像数 据内。理想地，创建三维图像信号的步骤包括包含用于第一图像成分和第二成分中每 个成分的背景信息。如果再现设备的输出也包含背景信息，则可以改进最终结果的质量。这 允许基于背景信息中的数据定位待调节的字幕以将字幕放置在3D显示器区域的、具有相 对较低关注度的部分中。优选地，调节在再现的文本成分的位置中三维图像的三维参数的步骤包括减小 所感知的在再现的文本的位置中三维图像的深度。该再现设备可以调节3D图像在字幕的 位置中的感知的深度使之超越例如深度图中规定的所请求的深度。在3D显示设备的要实 际包含字幕的特定区域中，随后可以减小显示内容的感知的深度以便减弱观看者眼睛上的 任何紧张。有利地，调节在再现的文本成分的位置中三维图像的三维参数的步骤包括减少 三维图像在再现的文本的位置中的视图的数量。通过减少由3D显示设备显示的视图的数 量，可以减少文本的重影或模糊。而且，在具有局部可开关透镜配置的透镜状显示器中，可 以在显示器的字幕所在的部分中关闭各透镜。这可能导致包含字幕的3D图像的所述部分 中正在显示的图像更清楚，对应地降低了观看者眼睛的紧张。理想地，调节在再现的文本成分的位置中三维图像的三维参数的步骤包括保持 三维图像的视差低于再现的文本的位置中的预定阈值。诸如一度的特定阈值可以被设置为 包含字幕的3D图像的区域中所允许的视差量的极限。这将辅助观看者感知字幕而不过度 地使这些观看者的眼睛紧张，因为视差的减少将使得3D显示设备的观看者观看更加舒适。



现在将仅仅通过实例并参照附图描述本发明的实施例，在附图中相似的数字被用 于指示相似的元件或功能 图1是说明3D图像的创建的示意图， 图2是3D回放系统的示意图， 图3是示出在3D回放系统中内容和数据流的示意图， 图4是3D回放系统的回放设备的示意图， 图5是示出在创建输出时平面的使用的示意图， 图6是3D图像信号的示意图， 图7是增强的3D图像信号的示意图， 图8是另一增强的3D图像信号的示意图， 图9是与图4相似的回放设备的第二实施例的示意图。
图10是置于3D图像中的文本的示意图。
具体实施方式

在图1中示意性说明了三维图像的创建。基本上，无论最后的再现显示设备是自 动立体的还是在立体像对上运行(需要用户佩戴特殊的眼镜)，所述过程是相同的。第一图 像成分10和第二成分12被提供用于创建三维图像14。第二成分12与第一图像成分10的 组合被一起处理以产生最后的输出14。在所有系统中，第一图像成分10是任何适当标准的 常规二维图像帧。在立体像对系统中，第二成分12也是图像，并且在自动立体系统中，第二 成分12是深度图或视差图。
重要的是理解最后的输出14不必是单个帧。例如，在立体像对系统中(其中图像 10用于左眼，而图像12用于右眼)，随后这两个成分10和12可以顺序地被示出。在非时 序自动立体系统中，图像10和深度图12被用于从图像10创建多个相似的视图，其中深度 图被用于生成产生各个视图所必需的对图像10的改变。这些视图随后被并入到单个帧14 中。例如，最终的再现显示设备可以被控制以示出四个个别视图，所有这四个视图都是从相 同的图像10生成的。这些视图随后被分条拼接在一起，每个视图的分辨率是显示设备的分 辨率的四分之一。
第一图像成分10可以包括例如包括表示场景的视图的例如RGB或YUV信息的像 素单元的二维阵列/图像，如用于立体视图内容、多视图内容或图像+深度内容的情况。如 上所述，第二成分12可以是像素单元的二维阵列/图像。在立体视图内容或多视图内容的 情况下，这可以是相同场景的另一视图，然而在图像+深度内容的情况下，这可能是所谓的 包括视差或深度信息的视差/深度图。图像输出14可以包括例如使用表示随时间变化的 一个或多个场景的多个帧的视频图像信号。
图2说明了 3D回放系统，其中例如提供了承载针对3D影片的第一和第二成分10 和12的盘16。盘16例如可以是蓝光标准DVD。盘16由诸如蓝光DVD播放器之类的回放 设备18来播放。视频接口 20用于将成分10和12传送到3D电视22。电视22包括再现级 对，其实时处理成分10和12以生成3D输出14 (如上按照图1所讨论的)。用户沈正在观 看再现显示设备22，并且可以经由适当的用户接口和遥控设备(未示出)向设备22提供用户设置沘。在这样的系统中，回放设备18支持字幕(或事实上任何文本，例如菜单)的使用。 例如，对于盘16而言，常规在盘16上所存储的信息的数据部分内包括比如外语字幕之类的 字幕。在盘16上的实际影片内容开始回放之前，这些字幕可以由用户经由屏幕上菜单来选 择。这些字幕随后被显示设备22显示，从而覆盖了正在再现的3D内容。如上所讨论的，回顾 现有技术，在许多情形中，3D显示系统中字幕的显示可能引起观看者眼睛紧张和劳累。本发 明的系统提供一种以将改进现有技术的问题的方式显示字幕(或事实上任何文本)的方法。所提供的解决方案是，允许显示器22识别到来的视频流中的文本(例如字幕)并且 因此处理该文本，其处理方式不同于视频信号的其余部分的处理方式。显示器22可以例如 确保文本保持在视频的前面，或压缩和回推视频信号的深度以确保文本不突出(如国际专 利申请公布WO 2008/038205中所述)。此外，显示器22可以例如通过成为可开关的具有不 同的透镜配置(在透镜状显示器的情况下)或通过支持更少的视图来提供特定地被设计用 于显示文本的屏幕的部分。由于在3D自动立体显示器上文本的可读性对自动立体显示器 技术而言几乎是固有的问题，所以进一步期望在显示器方面可以受益于能够识别到来的视 频信号中的字幕当前无法预测的改进。将用于字幕的文本单独发送到显示器的一种方式是通过传输作为隐藏式字幕信 息的文本，其包含在用于用在Ceefax或Teletext的欧洲(PAL)中的NTSC的模拟视频的线 21中。然而，在通过HDMI传输高清晰度视频时，隐藏式字幕信息当前不被支持。当前为了 解决这个问题，诸如DVD或蓝光光盘播放器之类的回放设备解码位于MPEG流中的隐藏式字 幕信息并且将该隐藏式字幕信息在传送到显示器之前覆盖在视频上面。所以，要使用该解 决方案将需要将HDMI规范扩展为包括隐藏式字幕信息的传输。本领域技术人员将清楚上 述解决方案也可以应用于其他数字显示器接口。另一种解决方案是，在回放设备18与显示器22之间提供双向通信链路，从而使得 当用户调节显示器22中的深度设置时，回放设备18被告知该变化。作为结果，回放设备18 可以调节字幕的定位。优选的实施例是，允许回放设备18处理字幕的定位和到视频上的覆 盖并且向显示器22指示存在字幕以及字幕定位在哪里。显示器22随后可以确信与字幕相 关联的“深度”值被映射到对于那个特定显示器22和相关联的用户设置观而言最优的深 度。这具有附加的优点显示器22在再现级中不需要字幕或隐藏式字幕解码器。在一个实施例中，实现了系统的改进，其中如图2所示的播放器设备18调节字幕 的定位从而使得文本在视频前面，同时使视差量保持低于一度。优选地，播放设备18在输 出流内插入元数据信息，其向显示设备22标识字幕是否关于χ、y和ζ (“深度”)位置被定 位在显示器的投影容积中以及定位在什么地方。在这种情况下，显示设备22中的再现级M 依赖于前述元数据信息和用户优选的设置观(关于视差量和相对位置)调节显示器的投影 容积中字幕的定位，同时保持该定位以使得重影保持最小并且视差量保持低于一度。此外， 显示器22 (如果如此配备)将字幕定位在显示器表面的特殊部分上，该特殊部分可以在2D 与3D之间切换或者(例如通过支持更少的视图或有限的视差量)支持更少的重影和更高的 光学分辨率。在一个实施例中，文本成分30基本上是平坦的，并且/或者当深度范围与文本30 相关联时，则该深度范围受限于阈值，从而使得各个视图之间的视差受限于特定的范围，该特定范围可以是预定的范围，比如一到两个像素。在文本成分30基本上是平坦的优选实施 例中，文本成分是基于文本的文本成分，而不是基于位图的文本成分；由此实现了文本成分 30的特别紧凑的表示。在图3中说明了图2的系统中的内容和数据流。盘16包括第一图像分量10和第 二分量12，加上作为字幕的文本分量30。用户指令32被回放设备18接收，该用户指令表 明用户希望将字幕30随同他们打算观看的3D影片一起显示。回放设备18将分量10和12 连同字幕30和包括描述文本分量30在最终3D图像14内的位置的位置信息的数据分量34 提供给再现器对。回放设备包括用于从各种成分各自的源接收这些成分的接收器和用于将 这四个元素10、12、30和34组合为被再现器M接收的三维图像信号36的复用器。字幕信息34可以与图像数据10和12分离地发送到再现器对，即也许不在活动图 像区域中而是在头部中，或者在数据岛中、或者在帧的不包含图像数据的部分中。例如可以 以正常帧速率的两倍发送视频流，其中一个帧包括图像数据10和12，而另一个帧包括深度 (可选地也包括解除遮蔽)信息并且还包括用于字幕30和位置信息34的特别区域。再现器M随后被布置为根据第一图像成分10和第二成分12再现三维图像14， 该再现(包括再现三维图像14中的文本成分30)，文本成分30的再现包括调节在再现的文 本成分30的位置中三维图像14的一个或多个三维参数。通过再现器M所进行的调节，文 本成分30本身可以完全未被改变。重要的因素是，再现器将调节正在文本30的位置中显 示的图像14的多个部分的参数。这可以包括减小在图像14的该区域处3D图像的感知的 深度，或者可以包括减少(自动立体显示设备中)视图的数量或两个或更多调节的组合。对 于再现器M而言，还可以不仅包括改变要在其中显示字幕30的区域的深度，而且包括偏移 (offset)以便向前或向后移动整个深度范围。该偏移可以针对字幕30独立于图像数据14 的剩余部分而被控制。在使用自动立体显示器的实施例中，第二成分12包括深度图，而再现3D图像14 的方法可以进一步包括在再现三维图像14之前缩放(scaling)第二成分12，以便使得文本 成分30放置在如由数据成分34指定的位置处。在这种情况下，再现器可以进一步接收包 括第二成分12的推荐的缩放的推荐者成分，以使得位置信息对于多个连续的图像而言可 以保持相同。作为使用该推荐者成分的结果，使得在字幕/图形被关闭时以及当字幕/图 形被打开时最大化场景的深度成为可能，以使用调节到图像信号的预定缩放成分来再现包 括字幕/图形的内容。图4中示出回放设备18的实例，其为示出解码和呈现平面的使用的蓝光光盘解码 器18。ROM驱动38接收盘16并读取由组件40解调和解码的内容。一组并行缓冲器42存 储解码的信号的不同成分，并且这些成分经过一组并行解码器44以提供将由显示器22显 示的输出，该输出是标准的视频46和覆盖的内容(为字幕和菜单等等)。在蓝光系统中，盘字幕可以是基于位图的或基于文本和相关字体的，此外播放器 18提供对隐藏式字幕信息的支持。技术上，两种系统有点相似，尽管隐藏式字幕经常提供更 多的信息并且被特别地针对听力受损提供。基于文本以及基于位图的字幕和隐藏式字幕二 者都被解码并被呈现在蓝光光盘中的呈现平面之一上。图4示出解码器18和多个平面，其 示出与视频结合的文本的实例。文本总是被呈现在呈现图形(PG)平面上；该平面在回放设 备18中被覆盖到视频(平面)上并且作为一个组合的呈现而被呈现到输出上。图5示出组合的呈现50的实例。该输出50根据主电影平面52、呈现平面M和交互式平面56来构造。 如图5所示的输出50通过视频接口 20 (如图2所示)被发送到显示器22。在优选实施例 中，除了输出50之外，回放设备18能够将包含3D数据34的附加信息发送到显示器22。这 使得3D显示器22能够显示回放设备18的组合的视频、文本和图形输出的3D表示。图6示出这种用于发送到3D显示器22的组合输出的实例。正在使用的3D系统 是图像和深度输出的实例。第一图像成分10和第二成分12 (为深度图)将通过显示设备 22而被组合以制造3D图像。文本成分30包含在第一成分10内，并且事实上完整的内容 (三个成分10、12和30)可以被构造为单个高清晰度帧。图7示出指示字幕30的位置的附加头部。该头部包括数据成分34，其包括描述文 本成分在三维图像内的位置的位置信息58，这里该位置信息被示出为χ和y坐标，尽管根据 深度图12的内容也将呈现ζ分量。所述头部允许最终的再现设备对3D输出进行调节以考 虑字幕30的存在性。被传输的附加参数可以包含在图像数据之上的头部中，如描述于“3D interface Specifications-white paper", Philips 3D 角军决方案，http://www. business-sites, philips, com/assets/Downloadablefile/ Philips-3D-Interface-ffhite-Paper-13725. pdf,其符合国际专利申请公布WO 2006/137000A1，或例如在HDMI标准的数据岛中。这些参 数由关于字幕是否存在以及它们在如图7所示的输入视频中的位置的指示构成。显示设备 22随后可以确保位于该位置处的图像部分的视差不超过一度并且保持恒定，即使用户通过 输入命令增加了由显示设备22显示的视差量。如果播放器18的输出还包括遮蔽(occlusion)或背景信息，则可以改进最后结果 的质量。图8中示出了这一点。为了避免伪影，字幕30应当定位在图像的最活跃的部分之 外，例如在顶部或底部。图8示出图像、深度和背景输出格式。背景成分60和62分别被提 供用于第一图像成分10和第二成分12。最后的图像14内的字幕30的位置可以包括字幕的Z位置的引用。例如，可以利 用Z位置扩展蓝光光盘文本字幕解码器模型和相关联的组分信息(特别是对话风格设定， 9. 15. 4. 2. 2节)，从而使得原始内容作者可以指示在3D显示器的Z方向投影空间中应当将 字幕定位在什么地方。在蓝光光盘标准中定义了文本字幕解码器和相关的流。文本字幕解 码器在8. 9节中定义并且由各种处理元件和缓冲器构成。图9示出解码器模型的简化图片， 该模型被扩展以便处理具有相关联的文本成分(比如字幕30)的3D图像。图9示出3D文本字幕解码器模型。从左到右的文本字幕片段进入解码器18，在解 码器中由文本流处理器64处理并解码这些文本字幕片段。解码的文本数据被放置在对话 缓冲器66中，同时解码的文本字幕组分信息被放置在组分缓冲器72中。控制器74解释组 分信息并在其被文本再现器68 (使用字体文件80)再现之后将该解释的组分信息应用到文 本并且将结果放置在位图缓冲器70中。在最终步骤中，位像被播放器18合成到适当 的图形平面上。用户输入78也被控制器78接收，这可以影响例如显示器的深度参数。除了基于文本的字幕之外，蓝光光盘(BD)还支持基于位像、所谓的呈现图形 (PG)的字幕。同样，PG-字幕的Z-位置需要在盘上被指定，优选地接近已经定义的X，Y-位 置信息。当后者被存储在组分_对象()结构中时，合理的是利用字幕的Z-位置扩展它，例 如通过使用在偏移位沈处开始的保留位(reserved bits)。如遍及本申请而使用的术语文
11本成分被用于指基于文本的字幕和/或这样的位像。解码器18扩展加入了附加的位图缓冲器76，其保存了指示文本字幕30在Z-方向 上应当定位在哪里的深度或视差图。深度或视差信息可以包含在如蓝光规范中所定义的对 话风格设定中。一种用于实现这一点的方法是，利用区域_深度_位置针对对话风格设定 进行扩展。区域_深度_位置是8位字段，其值在0到255之间，但是将来这可以扩展。控 制器74基于区域_深度_位置字段的值来确定正确的深度或视差图像素值。该值到用于 深度或视差图的颜色值的转换依赖于在播放列表的3D_元数据字段中承载的或在MPEG-2 节目映射表(IS0/IEC 13818-1)中承载的3D元数据。该信息的语法由IS0/IEC 23002-3中 的MPEG定义。随后，字幕30的Z位置被提供给再现器24，该再现器在再现3D图像14时可以考 虑字幕30的Z位置以供3D显示设备22显示。图10示出通过使用区域_深度_位置字段 定位深度的3D空间实例。图像14包括放置在平面82中的字幕30。平面82指示零深度处 空间中的位置，其他线指示3D空间中的三个方向X，y和ζ。除了包括深度区域以指示空间中字幕应当定位于其中的区域，甚至还可以通过增 加用于文本30本身的单独深度而进一步深入，并且指定不是作为平面而是作为空间中的 立方体的区域。这可以例如通过利用区域_深度位置和区域_深度_长度来扩展对话风格 设定中的区域位置字段来完成。可以针对指示文本在区域内部的确切位置的文本框位置进 行相同的操作。字体文件80可以用于包括浮雕的字体风格，因为已经表明这改进了在3D中所得 文本的可读性。在蓝光规范的表9-75中描述了多种字体风格，可替代地为此使用字体轮廓 厚度字段，其为蓝光规范的表9-76。这两个表在最后保留了为此目的可使用的字段。浮雕 的字体风格将是表9-75中的值0x08，并且对于浮雕的字体轮廓厚度而言该值将是表9-76 中的值0x04。有利地，用于基于文本的和基于PG的字幕的Z-位置是相同的并且仅仅需要每流 (即每字幕语言)存储一次。技术人员将清楚，在BD盘上存在许多可替代的位置用于存储字 幕的该共享的Z-位置。这样的可替代位置的实例在下文描述。互联网资源httP://VWW. bluraydisc. com/Assets/Downloadablefile/2b bdrom audiovisualapplication 0305-1 2955-15269. pdf (通过引用合并于此)包括关于BD格式和下面引用的格式中的结构的其他 H ^fn 息。字幕的共享的Z-位置可以例如被存储在定义为播放列表的扩展数据的新表中。 BD规范中的播放列表是指示一起形成标题(比如电影)的呈现的视听内容项序列的列表。该 播放列表结构提供一种通过其扩展数据而进行未来扩展的机制。用于各种语言流的字幕平 面(PG-平面)的“Z”位置可以包括在被称为偏移_元数据表的新表中。表1示出该表的细 节。而且，当播放列表包括允许回放立体多角度视频数据的播放项目的情况下，则用 于覆盖图形(例如字幕)的“Z”位置对于每个立体多角度视频剪辑而言可以是不同的。因 此，偏移_元数据针对播放项目中引用的每个立体多角度视频剪辑而言也应当允许不同的 “Z”位置。在这样的情况下，偏移_元数据表针对每个立体多角度视频剪辑包括用于字幕的 覆盖的不同“Z”位置。这些不同的“Z”位置随后可以利用用于每个需要用于字幕的覆盖的不同“Z”位置的多角度视频剪辑的标识符来引用。表2示出了表1如何可以扩展为支持用 于不同立体多角度视频片段的不同“Z”位置的实例。表1和2中MreamID和AngleID参 考分别用作盘上的基本流(包含字幕内容)和(多)角度立体视频片段的唯一标识符。代替使用扩展数据，也可以定义特别用于3D流的回放的新播放列表表结构并且 在那里包括“Z”位置参数。传统播放器回放的问题可以通过提供盘上的新的索引表(用户 可选择的标题的列表)或使用列出了只能由3D激活的播放器来播放的标题的索引表的扩展 数据而被避免。可替换地，如果信息应当被提供在播放列表中的现有表中，则该信息可以包含在 STN_Table_SS()中。这是个列出了与播放项目相关联的视频和图形流的表。按照播放项 目，它包含了具有用于每个文本和位图字幕流的流编码信息(属性)的环。我们提出在相同 环中包括“ Z ”位置信息作为流属性信息。使用播放列表存储用于每个字幕流的“Z”参数的一个问题是数据复制。多个播放 列表可以引用相同的字幕流。该限制可以通过在剪辑信息文件中包含“Z”位置元数据来克 服。该剪辑信息文件列出了与包括Α/ν内容和字幕流的MPEG传输流相关的元数据。该剪 辑信息文件可以被扩展加入与被提出用于播放列表扩展数据的表相似的表。然而，由于该 剪辑信息文件与MPEG传输流相关联，它通过包标识符(PID)列出字幕基本流。因此，我们 提出针对指示字幕流的PID的每个PID条目提供“Z”位置元数据。可替代地，不是在扩展数据中定义新表，而是将“Z”位置存储在剪辑信息文件中的 节目信息表中。节目信息表提供一起形成A/V内容的呈现的基本流列表。它包含与MPEG 系统IS0/IEC 13818-1中定义的PMT表相似的信息。我们提出，对于包含字幕信息的每个 基本流我们提供“Z”位置元数据。该元数据可以包含在节目信息本身中或包含在节目信息 表的子表、流编码信息表中。它提供关于编码和用于传输流中存在的字幕流的语言代码的 细节。流编码信息表还具有一些保留的字段，我们提出使用这些保留字段来承载与用于特 定语言代码的字幕流相关联的“Z”位置参数。如果要求“Z”位置每隔几秒发生变化，则应当使用剪辑信息文件中的CPI ()表。 该CPI信息是列出进入用于特技播放的视频流的入口点。入口点的列表可以被扩展加入 “Z”位置参数，其指示每个入口点的覆盖诸如字幕之类的任何图形所处的“深度”位置。可替代地，如果“Z”位置信息是帧精确的，则它应当包括在相关的视频流的SEI消 息中。SEI (标记消息)是嵌入在MPEG基本流中的包，其承载可以被解码器用来辅助解码内 容的参数。MPEG还允许嵌入私人用户数据SEI消息；这些将被标准解码器忽略，但是可以 被修正的解码器使用。用户数据SEI消息可以被定义为承载应当被覆盖在视频上的任何覆 盖诸如字幕的“Z”位置。为了提供每(语言)流的“Z”信息，我们提出列举所述盘上提供的 所有字幕流的“Z”值。
权利要求
1.一种创建三维图像信号的方法，包括-接收第一图像成分，-接收第二成分，其用于与第一图像成分组合来创建三维图像，-接收文本成分，其用于包含在所述三维图像中，-接收数据成分，其包括描述文本成分在所述三维图像内的位置的位置信息，以及-创建三维图像信号，其包括第一图像成分、第二成分、文本成分和数据成分。
2.根据权利要求1的方法，其中创建三维图像信号的步骤包括使文本成分包含在第 一图像成分中。
3.根据权利要求1或2的方法，其中创建三维图像信号的步骤包括创建包括第一图 像成分、第二成分、文本成分和数据成分的单个图像帧。
4.根据权利要求1、2或3的方法，其中创建三维图像信号的步骤包括包含用于第一 图像成分和第二成分的每个成分的背景信息。
5.一种用于创建三维图像信号的设备，包括-接收器，其被布置为接收第一图像成分、用于与第一图像成分组合来创建三维图像 的第二成分、用于包含在所述三维图像中的文本成分，以及包括描述文本成分在所述三维 图像内的位置的位置信息的数据成分，以及-复用器，其被布置为创建包括第一图像成分、第二成分、文本成分和数据成分的三维 图像信号。
6.一种再现三维图像信号的方法，包括-接收三维图像信号，该信号包括第一图像成分、用于与第一图像成分组合来创建三 维图像的第二成分、用于包含在所述三维图像中的文本成分和包括描述文本成分在三维图 像内的位置的位置信息的数据成分，-从第一图像成分和第二成分再现三维图像，该再现包括再现三维图像中的文本成 分，文本成分的再现包括调节在再现的文本成分的位置中三维图像的三维参数。
7.根据权利要求6的方法，其中调节在再现的文本成分的位置中三维图像的三维参 数的步骤包括减小在再现的文本的位置中三维图像的感知的深度。
8.根据权利要求6或7的方法，其中调节在再现的文本成分的位置中三维图像的三维 参数的步骤包括减少在再现的文本的位置中三维图像的视图的数量。
9.根据权利要求6、7或8的方法，其中调节在再现的文本成分的位置中三维图像的三 维参数的步骤包括使三维图像的视差在再现的文本的位置中保持低于预定的阈值。
10.根据权利要求6-9中任一项的方法，其中第二成分包括深度图，并且所述方法进 一步包括在再现三维图像之前缩放第二成分以使得文本成分被放置在如由数据成分指定 的位置处。
11.根据权利要求10的方法，并且进一步包括接收包括第二成分的推荐的缩放的推 荐者成分，以使得位置信息对于多个连续的图像而言能保持相同。
12.一种用于再现三维图像信号的设备，包括-接收器，其被布置为接收三维图像信号，该信号包括第一图像成分、用于与第一图像 成分组合来创建三维图像的第二成分、用于包含在所述三维图像中的文本成分和包括描述 文本成分在三维图像内的位置的位置信息的数据成分，-显示器，其被布置为从第一图像成分和第二成分再现三维图像，该再现包括再现三 维图像中的文本成分，文本成分的再现包括调节在再现的文本成分的位置中三维图像的三 维参数。
13.—种三维图像信号，包括第一图像成分、用于与第一图像成分组合来创建三维图 像的第二成分、用于包含在所述三维图像中的文本成分和包括描述文本成分在三维图像内 的位置的位置信息的数据成分。
14.一种在计算机可读介质上用于创建三维图像信号的计算机程序产品，该产品包括 多个指令，其用于-接收第一图像成分，-接收用于与第一图像成分组合来创建三维图像的第二成分，-接收用于包含在所述三维图像中的文本成分，-接收包括描述文本成分在三维图像内的位置的位置信息的数据成分，以及-创建包括第一图像成分、第二成分、文本成分和数据成分的三维图像信号。
15.一种在计算机可读介质上用于再现三维图像信号的计算机程序产品，该产品包括 多个指令，其用于-接收三维图像信号，该信号包括第一图像成分、用于与第一图像成分组合来创建三 维图像的第二成分、用于包含在所述三维图像中的文本成分和包括描述文本成分在三维图 像内的位置的位置信息的数据成分，-从第一图像成分和第二成分再现三维图像，该再现包括再现三维图像中的文本成 分，文本成分的再现包括调节在再现的文本成分的位置中三维图像的三维参数。
全文摘要
一种创建三维图像信号的方法包括接收第一图像成分；接收用于与第一图像成分组合来创建三维图像的第二成分；接收用于包含在三维图像中的文本成分；接收数据成分，其包括描述文本成分在所述三维图像内的位置的位置信息；以及创建包括第一图像成分、第二成分、文本成分和数据成分的三维图像信号。所述信号是通过从第一图像成分和第二成分再现三维图像而被再现的，该再现包括再现所述三维图像中的文本成分，所述文本成分的再现包括调节在所再现的文本成分的位置中三维图像的三维参数。
文档编号H04N13/02GK102106153SQ200980128936
公开日2011年6月22日 申请日期2009年7月17日 优先权日2008年7月25日
发明者D. R. J.博利奧 D., 斯卡洛里 F., W. T. 范德海登 G., F. P. M. 范多维伦 H., F. 莫尔 H., S. 纽顿 P., 德哈安 W. 申请人:皇家飞利浦电子股份有限公司