专利名称：用于在视频接口上发送以及用于合成3d视频与3d覆盖的方法和系统的制作方法
技术领域：
本发明涉及合成和显示包括视频信息与覆盖信息的信息流的方法，所述视频信息至少包括2D视频流和用于允许以3D再现所述视频信息的3D视频信息，所述覆盖信息至少包括2D覆盖流和用于允许以3D再现所述覆盖信息的3D覆盖信息，所发送的视频信息和覆盖信息作为3D视频进行合成和显示。本发明还涉及用于合成和显示包括视频信息与覆盖信息的信息流的系统，所述视频信息至少包括2D视频流和用于允许以3D再现所述视频信息的3D视频信息，所述覆盖信息至少包括2D覆盖流和用于允许以3D再现所述覆盖信息的3D覆盖信息，所发送的视频信息和覆盖信息作为3D视频进行合成和显示。本发明还涉及均适于在上述系统中使用的回放设备和显示设备。本发明涉及经由例如HDMI的高速数字接口来传送例如3D视频的三维图像数据以便在3D显示设备上显示的领域。
背景技术：
目前的视频播放器有助于多层视频和/或图形的合成。例如，在蓝光光盘 (Blu-ray Disc)平台中，能够具有在主视频之上播放的辅助视频(例如，用于导演评论)。在那之上，能够具有诸如字幕和/或菜单之类的图形。这些不同的层全部被独立地解码/绘制，并且在某一个点上被合成为单个输出帧。对于2D显示器来说，这种处理实施起来是相对简单的；在某层前面的另一层中的每个非透明像素遮挡(occlude)在它后面的层中的像素。这种处理描绘在图3中，该图3是某场景的自顶向下的视图。Z轴的方向显示在301。该场景中的视频层302全部是绿的，并且在图形层303上绘制蓝色对象(其余是透明的)。在合成步骤305之后，由于图形层在视频层前面，所以该蓝色对象被绘制在绿色视频层之上。这产生合成层作为输出304。在以2D显示该场景时，因为只有一个视点，所以该处理实施起来是相对简单的。 但是，当以3D显示该场景时，具有多个视点(对于每一只眼睛，至少具有一个视点，当使用多视图显示器时，可能具有更多的视点)。问题是因为图形层在视频层前面，所以视频层的其他部分从不同的视点是可视的。这个问题描绘在图4中。注意3D合成根本不同于2D合成。在2D合成处理中，例如，如在US2008/0158250 中所例证的，多个2D平面(例如，主视频，图形，交互式平面)通过将深度与每一个平面相关联来合成。但是，深度参数在2D合成中仅确定合成来自不同平面的像素的顺序，S卩，哪一个平面必须被绘制在顶部，而没有适合于三维显示的最终图像。这样的2D合成始终是逐个像素完成的。相反，在合成3D平面时，该合成是非局部的。当每一个平面中的对象是三维的时， 有可能较低平面中的对象从较高平面中伸出，或者较高平面中的对象降到较低平面之下。 此外，在侧视图中，有可能看到对象后面，因此如果在视图中某像素可能对应于来自前面平面的对象，而在另一个视图中该相同的像素对应于较低平面中的对象。图4再次显示包括两个层的场景的自顶向下的视图。给出Z轴401的方向。视频层402全部是绿的，并且在视频层前面的图形层403在它上面具有蓝色对象(而其剩余部分是透明的)。现在，定义两个可能的视点404、405。如利用该图所显示的，从一个视点404可看到与从另一视点406可看到的部分407不同的视频层的部分406。这意味着正在再现这两个视图的设备应该访问来自这两个层的所有信息(否则，该设备缺少再现其中至少一个视图的信息)。在当前情形中，用于回放3D视频的系统包括3D播放器，其负责解码用于各个层的压缩视频流、合成各个层以及通过诸如HDMI或VESA之类的视频接口将解压缩的视频发送到显示器，该显示器通常是(立体或自动立体)3D TV0该显示设备再现这些视图，这意味着实际上，它将缺少完美再现这两个视图的信息(这固有地在再现两个以上的视图时也是一个问题)。
发明内容
本发明的目的是提供一种合成包括视频信息和覆盖信息的信息流的方法，以便改进视图的再现。本发明的目的利用根据权利要求1的方法来实现。在根据本发明的方法中， 其中该视频信息至少包括2D视频流和用于允许以3D再现视频信息的3D视频信息，该覆盖信息至少包括2D覆盖流和用于允许以3D再现覆盖信息的3D覆盖信息，该方法包括从存储介质中接收或读取包括压缩视频信息和压缩覆盖信息的压缩流；解压缩视频信息和覆盖信息；通过视频接口发送帧序列，该帧序列包括单元，每一个单元对应于打算作为3D图像进行合成和显示的解压缩视频信息和解压缩覆盖信息；通过视频接口接收该帧序列，并从这些单元中提取3D视频信息和3D覆盖信息；将这些单元合成为3D帧，并显示这些3D帧。 根据本发明的方法打破了其中解码和合成利用播放器设备来完成、而再现利用显示设备来完成的目前的方案。这是基于这样的见识，即，为了克服在再现视点之一时缺少信息的问题，在完成再现的位置上，来自视频层的所有视觉信息和来自图形层的所有视觉信息应是可用的。此外，在自动立体显示器中，子像素的格式和布局根据显示器类型而不同，双凸透镜与面板中的子像素之间的对准对于每个显示器来说也是有所不同的。因此，在多视图显示器而不是在播放器中执行再现是有利的，这是因为在利用双凸透镜再现的视图中子像素的对准精度将远远低于在显示器本身中能够达到的精度。另外，如果再现在显示器中完成， 这将允许显示器调节再现以适应观看条件、用户的深度偏好量、显示器的大小(重要的，由终端用户感知的深度量取决于显示器大小)、观看者至显示器的距离。这些参数在回放设备中通常是不可获得的。优选地，来自视频层的所有信息以及来自图形层的所有信息应作为单独的分量发送至显示器。这样，在再现这些视图之一时不缺少来自视频层的信息，并且能够从多个视点进行高质量再现。在本发明的实施例中，3D视频信息包括相对于2D视频帧的深度、遮挡 (occlusion)和透明度信息，而3D覆盖信息包括相对于2D覆盖帧的深度、遮挡和透明度信肩、ο在本发明的进一步实施例中，其中覆盖信息包括将与视频帧合成的两个图形平面。有利地，更多的层能够被发送至显示器(背景，主视频，辅助视频，演示图形，交互式图形)。在蓝光光盘平台中，可能具有多个彼此遮挡的层。例如，交互式图形层可能遮挡演示图形层的某些部分，而演示图形层反过来可能遮挡视频层的某些部分。从不同的观看点，每一个层的不同部分(以与其只利用两个层工作时相同的方式)能够是可视的。因此，在某些情况下通过给显示器发送两个以上的层，能够改进再现的质量。在本发明的进一步实施例中，用于至少一个图形平面的覆盖信息以比发送2D视频帧的帧频率更低的帧频率来发送。对于接口来说，发送对于合成每个3D帧所必需的所有信息是沉重的负担。这个实施例基于这样的见识，即，大多数的覆盖平面并不包括快速移动对象，而主要包括诸如菜单和字幕之类的静态对象，因此能够以较低的帧频率发送这些覆盖平面而不显著降低质量。在本发明的进一步实施例中，用于至少一个图形平面的覆盖信息的像素大小不同于2D视频信息的像素大小。这是基于这样的见识，即，在不大量丢失信息的情况下，一些平面能够按比例缩小，因此减小接口上的负担而不显著降低质量。在更详细的实施例中，2D覆盖信息的像素大小不同于3D覆盖信息(诸如深度或透明度)的像素大小。这也减轻接口上的负担而不显著降低质量。这个申请也涉及用于3(D)合成和显示视频信息和覆盖信息的系统，该视频信息至少包括2D视频流和用于允许以3D再现视频信息的3D视频信息，该覆盖信息至少包括 2D覆盖流和用于允许以3D再现覆盖信息的3D覆盖信息，该系统包括回放设备，用于从存储介质中接收或读取包括压缩视频信息和压缩覆盖信息的压缩流；解压缩视频信息和覆盖信息；通过视频接口发送帧序列，该帧序列包括单元，每个单元对应于解压缩视频信息； 和显示设备，用于通过视频接口接收帧序列，并从这些单元中提取3D视频信息和3D覆盖信息，以及将这些单元合成为3D帧并显示这些3D帧。
本发明的特征和优点将参考以下附图进一步进行解释，其中
图1示意性显示其中可以实施本发明的用于3D视频信息的回放的系统1，
图2示意性显示已知的图形处理单元，
图3显示包括两个层的场景的合成的顶视图，
图4显示包括两个层的场景的顶视图，其中定义两个视点，
图5显示对于单一(2D)情形合成的视频和图形平面，
图6显示用于立体3D的平面，
图7显示用于图像+深度3D的平面，
图8显示用于图像+深度3D的平面，
图9示意性显示根据本发明的实施例将通过视频接口发送的帧的单元， 图10示意性显示根据本发明的实施例将通过视频接口发送的帧的单元的进一步细
节，
图11示意性显示根据本发明的实施例的视频接口上的帧的时间输出， 图12示意性显示根据本发明的实施例的处理单元和输出级， 图13示意性显示根据本发明的实施例的处理单元和输出级，图14示意性显示根据本发明的实施例的视频接口上的帧的时间输出， 图15示意性显示根据本发明的实施例的视频接口上的帧的时间输出， 图16示意性显示根据本发明的实施例的处理单元和输出级。
具体实施例方式在图1中显示其中可以实施本发明的用于回放和显示3D视频信息的系统1。该系统包括经由接口 12通信的播放器设备10和显示设备11。播放器设备10包括负责接收和预处理将要显示的编码的视频信息流的前端单元12以及用于解码、处理和生成将被提供给输出端14的视频流的处理单元13。该显示设备包括用于从接收(内容)中再现3D视图的再现单元。至于编码的视频信息流，例如，这可以依照其中左与右(L+R)图像被编码的称为立体的格式。作为选择，编码的视频信息流可以包括2D图像和附加图像(L+D)，即所谓的深度图(d印th map),如在 Oliver Sheer- "3D Video Communication", Wiley, 2005， 第四-34页中所描述的。深度图传送关于2D图像中的对象的深度的信息。深度图中的灰度值指示2D图像中的相关像素的深度。立体显示器能够通过使用深度图中的深度值以及通过计算所需的像素变换来计算立体感觉所需的附加视图。2D视频+深度图可以通过添加遮挡和透明度信息(DOT)来扩展。在优选实施例中，使用如包括在本文中作为参考的 EP08305420. 5 (代理人卷号PH010082)中所描述的灵活数据格式，其中该灵活数据格式包括立体信息和深度图、添加遮挡和透明度。至于显示设备11，这能够是利用可控眼镜来控制分别显示给左与右眼的图像的显示设备，或者在优选实施例中，使用所谓的自动立体显示器。能够在2D与3D显示之间切换的许多自动立体设备是已知的，其中之一描述在US6，069，650中。显示设备包括具有积极可切换的液晶双凸透镜的IXD显示器。在自动立体显示器中，在再现单元16内的处理将经由接口 12从播放器设备10接收的解码视频信息转换至多个视图，并将这些视图映射到显示面板17的子像素上。至于播放器设备10，这可以被适配为通过包括用于从如同DVD或蓝光光盘之类的光学记录载体中检索各种类型的图像信息的光盘单元而从光盘中读取视频流。作为选择， 输入单元可以包括用于耦合到例如因特网或广播网的网络的网络接口单元。图像数据可以从远程媒体服务器中进行检索。作为选择，输入单元可以包括至诸如固态存储器之类的其他类型的存储介质的接口。Blu-Ray 播放器的一个已知示例是由Sony Corporation (索尼公司)销售的 PlayStation 3。在BD系统的情况下，包括视频平面的合成的进一步细节能够在由蓝光光盘协会 (http://www. bluraydisc. com)发布的公开可获得的技术白皮书 “Blu-ray Disc Format General August 2004，，禾口“Blu-ray Disc LC Physical Format Specifications for BD-ROM November, 2005” 中找到。在下面，当谈到BD应用格式的细节时，我们具体指的是如在美国申请号 2006-0110111 (代理人卷号NL021359)中以及在由蓝光光盘协会发布的白皮书“Blu-ray Disc Format 2. B Audio Visual Application Format Specifications for BD-R0M,March 2005”中公开的应用格式。众多周知，BD系统也提供具有网络连接性的完全可编程的应用环境，从而允许内容供应商创建交互式内容。这种模式基于JaVaTM()3平台并被称为“BD-J”。BD-J定义作为ETSI TS 101 812公开可用的Digital Video Broadcasting (数字视频广播) (DVB) -Multimedia Home Platform (MHP) Specification (多媒体家庭平台规范)1. 0 的子集。图2图解说明已知的2D视频播放器即Blu-Ray播放器的图形处理单元(处理单元13的一部分)。该图形处理单元配备有两个读缓冲器(1304和1305)、两个预加载缓冲器 (1302和1303)以及两个开关(1306和1307)。第二读缓冲器(1305)允许甚至在正解码主 MPEG流的同时将Out-of-Mux音频流提供给解码器。这些预加载缓冲器缓存文本字幕、交互式图形和声音效果(其在Button (按钮)选择或激活时呈现)。预加载缓冲器1303在电影回放开始之前存储数据，并且甚至在正解码主MPEG流的同时提供用于演示的数据。在数据输入端与缓冲器之间的开关1301选择合适的缓冲器来从读缓冲器或预加载缓冲器中的任何一个中接收分组数据。在开始主电影放映之前，效果声音数据(如果其存在的话)、文本字幕数据(如果其存在的话)以及交互式图形(如果预加载的交互式图形存在的话)被预加载，并分别地通过该开关被发送至每个缓冲器。利用开关1301将主MPEG流发送到主要读缓冲器(1304)并将Out-of-Mux流发送到辅助读缓冲器(1305)。主视频平面 (1310)和演示平面(1309)以及图形平面(1308)利用相应的解码器来提供，而且这三个平面被覆盖层1311覆盖并被输出。根据本发明，通过在显示设备中引入合成级18以及相应地适配播放器设备的处理单元13和输出端14，视频平面的合成发生在显示设备中而非回放设备中。本发明的详细实施例将参考图3-15来描述。根据本发明，再现在显示设备中完成，因此必须将多个层中的所有信息发送到显示器。只有这样才能从任何视点进行再现，而不必估计某些像素。具有将多个层单独地发送到再现设备(显示器)的多种方式。如果我们采用 1920x1080分辨率、24fps帧速率的视频，那么一种方式将是增加发送到再现设备的视频的分辨率。例如，将分辨率增加至3840x1080或1920x2160在这个示例中允许单独地向再现设备发送视频层和图形层二者，这将分别是并行的和自上而下的)。HDMI和显示端口具有足够的带宽以允许此(操作)。另一选项是增加帧速率。例如，当以48或60fps向显示器发送视频时，能够采用时间交错的方式向再现设备发送两个不同的层(在某一时刻，发送至显示器的帧只包括视频层中的数据，而在另一时刻，发送至显示器的帧只包括图形层中的数据)。再现设备应知道如何解释它接收到的数据。为此，(例如，通过使用I2C)能够向显示器发送控制信号。图3图解说明包括两个层的场景的顶视图，其中这些数字指示
301:Z轴的方向
302视频层
303图形层
304合成层(输出)
305合成动作。
图4图解说明包括两个层的场景的顶视图，其中定义两个视点，其中这些数字指示
401:Z轴的方向
402视频层
403图形层
404视点1 (即，左眼)
405视点2 (即，右眼)
406从视点1中需要的背景层的部分
407从视点2中需要的背景层的部分。播放器可以具有一个以上的图形平面，例如，用于字幕和用于交互或Java生成的图形的单独平面(或层)。这描绘在图5中。图5显示平面合成至输出(端)的当前状态。在 504，利用项501、502和503指示的输入平面被组合，以创建如在505中所示的输出。图5图解说明对于单一(2D)情形合成的BD视频和图形平面，其中这些数字指示
501视频平面
502演示(字幕)图形平面
503Java或交互式图形平面
504混合和合成级
505输出端。有利地，对于3D而言，根据本发明，这些平面被扩展为也包含立体和/或图像+深度图形。在图6中显示立体实例，并在图7中显示图像+深度实例。图6图解说明用于立体3D的BD平面，其中这些数字指示
601左侧视频平面
602左侧演示(字幕)图形平面
603左侧Java或交互式图形平面
604左侧混合和合成级
605左侧输出
606右侧视频平面
607右侧演示(字幕)图形平面
608右侧Java或交互式图形平面
609右侧混合和合成级
610右侧输出
611立体输出。图7图解说明用于图像+深度3D的BD平面，其中这些数字指示
701视频平面
702演示(字幕)图形平面
703Java或交互式图形平面
704混合和合成级
705输出
706深度视频平面707深度演示(字幕)图形平面
708深度Java或交互式图形平面
709深度混合和合成级
710深度输出
711图像+深度输出。在现有技术中，这些平面被组合并随后作为一个分量或帧被发送到显示器。根据本发明，这些平面并不在播放器中进行组合，而是作为单独的分量被发送到显示器。在显示器中，用于每一个分量的视图被再现，并随后用于单独分量的相应视图被合成。然后，在3D 多视图显示器上显示输出。这在没有任何质量损失的情况下给出最佳结果。这显示在图8 中。数字801-806指示通过视频接口发送的单独分量，这些分量进入807。在807中，每一个分量使用其相关联的“深度”参数分量在多个视图中进行再现。随后在811中合成用于所有视频、字幕和Java图形分量的这多个视图。811的输出显示在812中，并且这随后显示在多视图显示器上。图8图解说明用于图像+深度3D的视频平面，其中这些数字指示
801视频分量
802视频深度参数分量
803演示(字幕)图形(PG)分量
804演示(字幕)深度参数分量
805Java或交互式图形分量
806Java或交互式图形深度分量
807再现视频、PG (字幕)和Java或交互式图形至多个视图的再现级
808多个视频视图
809多个演示图形(字幕)视图
810多个Java或交互式图形视图
811合成级
812在显示器上显示的多个视图。将参考图9-11来描述本发明的优选实施例。根据本发明，接收到的压缩流包括允许在立体和自动立体显示器上进行合成和再现的3D信息，即，该压缩流包括左与右视频帧以及深度(D)、透明度(T)和遮挡(0)信息，以允许基于2D+深度信息进行再现。在下面，深度(D )、透明度(T )和遮挡(0)信息将被简称为DOT。作为压缩流的Mereo (立体)和DOT的存在允许取决于显示器的类型和大小、由显示器优化的合成和再现，同时合成仍由内容作者来控制。根据该优选实施例，以下分量经由显示接口来发送 一解码的视频数据(没有与PG和IG/BD-J混合)
一演示图形(PG)数据
一交互式图形(IG)或BD-Java生成的(BD-J)图形数据一解码的视频DOT 一演示图形(PG) DOT
一交互式图形(IG)或BD-Java生成的(BD-J)图形。
图9和10示意性显示根据本发明的实施例将通过视频接口发送的帧的单元。输出级通过该接口(优选地，HDMI)发送6个帧的单元。帧1 左(L)视频和DOT视频的YUV分量被组合在一个MHz RGB输出帧、分量中， 如在图9的顶图中所示。YUV在视频处理领域中通常表示标准的亮度(Y)和色度(UV)分量。帧2 右(R)视频优选地在MHz上在未修改的情况下发送出去，如在图9的底图中所示。帧3 =PC颜色(PG-C)优选地在MHz上在未修改的情况下作为RGB分量发送出去。帧4 =PG-颜色(PG-Color)的透明度被拷贝到单独的图形DOT输出平面中，并对于各个平面与深度以及960x540遮挡和遮挡深度(OD)分量进行组合，如在图10的顶图中所示。帧5 :BD-J/IG颜色(C)优选地在MHz上在未修改的情况下发送出去。帧6 :BD-J/IG颜色的透明度被拷贝到单独的图形DOT输出平面中，并与深度以及 960x540遮挡和遮挡深度(OD)分量进行组合，如在图10的底图中所示。图11示意性显示根据本发明的优选实施例的视频接口上的帧的时间输出。在这里，这些分量在144Hz的接口频率上、通过HDMI接口、在时间交错的MHz分量上被发送到显不器。该优选实施例的优点
全分辨率灵活的3D立体+DOT格式以及3D HDMI输出对于各种(立体和自动立体)3D 显示器而言允许增强的3D视频(用于显示器大小依赖性的可变基线)和增强的3D图形(较少的图形限制，3D TV 0SD)可能性。·对于质量、创作灵活性没有损害，以及对于播放器硬件的最低成本。合成和再现在3D显示器中完成。 所需的较高视频接口速度对于格式被定义HDMI中，并且已经能够利用双链路HDMI来实现。双链路HDMI也支持更高的帧速率，诸如30Hz等等。图12示意性显示根据本发明的优选实施例的处理单元(13)和输出级(14)。该处理单元被适配为单独地对于本发明的每一个平面处理视频和DOT。每一个平面的输出在合适的时间由平面选择单元进行选择，并被发送到输出级，该输出级负责生成将通过该接口发送的相关帧。显示设备的HDMI接口输入端被适配为接收如在上面针对图9-12所描述的帧的单元，以分离这些单元，并将信息发送到合成级18，该合成级处理视频平面的合成。该合成级的输出被发送到再现单元，以生成所再现的视图。公认的是根据该优选实施例的系统提供最佳3D质量，但是这样的系统可能是相当昂贵的。因此，本发明的第二实施例致力于较低成本系统，其仍提供比现有技术系统更高的再现质量。图13示意性显示根据本发明的第二实施例的处理单元和输出级。基本思想是将 Java图形的两个时段组合在一个输出帧周期@12Hz中，并将这个与视频(L) @24Hz以及组合的视频DOT与PG平面@24Ηζ交织。输出总计为1920χ1080@60Ηζ。图15示意性显示根据本发明的这个实施例的视频接口上的帧的时间输出。根据本发明的这个实施例的显示设备的HDMI接口输入端被适配为接收如上针对图13和15所描述的帧的单元，以分离这些单元并将该信息发送到处理视频平面的合成的合成级18。该合成级的输出被发送到再现单元，以生成所再现的视图。作为选择，能够选择来发送关于单个平面的信息，以致由播放器设备选择将通过接口发送的PG或BD-J平面，其是特定单元。图14示意性显示根据本发明的这个实施例的视频接口上的帧的时间输出，而图16示意性显示根据本发明的这个实施例的处理单元和输出级。根据本发明的这个实施例的显示设备的HDMI接口输入端被适配为接收如上针对图14和16所描述的帧的单元，以分离这些单元并将该信息发送到处理视频平面的合成的合成级18。该合成级的输出被发送到再现单元，以生成所再现的视图。根据本发明的另一实施例，回放设备能针对其接口和合成能力而向显示设备查询，这可以依照上述的三个实施例之一。在这样的情况下，回放设备对其输出端进行适配， 以致该显示设备能够处理所发送的流。作为选择，所有视图的再现能够在播放器/机顶盒中完成，这是因为在这里来自视频层和图形层二者的所有信息是可用的。当在播放器/机顶盒中进行再现时，来自所有层的所有信息是可用的，因此当某场景包括遮挡对象的多个层(即，在那之上的视频层和2 个图形层)时，对于那个场景的多个视点，能够进行仍然高质量的再现。但是，这个选项要求播放器包含用于不同显示器的再现算法，并因此，该优选实施例将来自多个层的信息发送到显示器，而且让(通常显示器特定的)再现在该显示器中完成。作为选择，视频基本流能够经编码而被发送到显示器，以节省带宽。这个的优点是能够向显示器发送更多的信息。视频质量不受影响，因为如同Blu-Ray之类的应用格式已使用压缩视频基本流来存储或传输。视频解码在显示器内完成，而源对于视频基本流作为通道(pass through)起作用。因此，现代的电视由于内置数字TV解码器和网络连接性而通常已经能够解码视频流。本发明能够被概述如下描述用于传送三维(3D)图像数据以便合成和显示的系统。信息流包括视频信息和覆盖信息，该视频信息至少包括2D视频流和用于允许以3D再现视频信息的3D视频信息，该覆盖信息至少包括2D覆盖流和用于允许以3D再现覆盖信息的3D覆盖信息。在根据本发明的系统中，视频平面的合成发生在显示设备中而非回放设备中。该系统包括回放设备，其适于通过视频接口发送帧序列，该帧序列包括单元，每一个单元对应于打算作为3D图像进行合成和显示的解压缩视频信息和解压缩覆盖信息；和显示设备，其适于通过视频接口接收该帧序列，并从这些单元中提取3D视频信息和3D覆盖信息，以及将这些单元合成为3D帧并显示这些3D帧。应注意，上述实施例旨在说明而非限制本发明。并且，本领域技术人员将能够设计出许多替换的实施例而不脱离所附的权利要求书的范围。在权利要求书中，放置在括号之间的任何参考符号不应被解释为限制该权利要求。动词“包括”和“包含”及其变形的使用并不排除除了在权利要求中所陈述的那些元素或步骤之外的元素或步骤的存在。在元素之前的冠词“一”或“一个”并不排除多个这样的元素的存在。本发明可以借助于包括若干不同元素的硬件以及借助于适当编程的计算机来实施。计算机程序可以存储/分布在诸如光存储器之类的适当介质上或与硬件部分一起提供，并且也可以采用其他的形式来分布，诸如经由因特网或有线或无线电信系统来分布。在枚举若干装置的系统/设备/仪器的权利要求中，这些装置之中的若干装置可以利用同一项硬件或软件来实现。某些措施在互不相同的从属权利要求中进行叙述的纯粹事实并不表明不能有利使用这些措施的组合。
权利要求
1.一种合成和显示包括视频信息和覆盖信息的信息流的方法，所述视频信息至少包括2D视频流和用于允许以3D再现所述视频信息的3D视频信息， 所述覆盖信息至少包括2D覆盖流和用于允许以3D再现所述覆盖信息的3D覆盖信息， 该方法包括从存储介质中接收或读取包括压缩视频信息和压缩覆盖信息的压缩流； 解压缩所述视频信息和所述覆盖信息；通过视频接口发送帧序列，所述帧序列包括单元，每一个单元对应于打算作为3D图像进行合成和显示的解压缩视频信息和解压缩覆盖信息；通过视频接口接收所述帧序列，并从所述单元中提取所述3D视频信息和所述3D覆盖 fn息；将所述单元合成为3D帧，并显示所述3D帧。
2.根据权利要求1的方法，其中所述3D视频信息包括相对于2D视频帧的深度、遮挡和透明度信息，而所述3D覆盖信息包括相对于2D覆盖帧的深度、遮挡和透明度信息。
3.根据权利要求2的方法，其中所述覆盖信息包括将与所述视频帧合成的两个图形平
4.根据权利要求2或3的方法，其中用于至少一个图形平面的覆盖信息以比发送所述 2D视频帧的帧频率更低的帧频率进行发送。
5.根据权利要求2-4之中任一权利要求的方法，其中用于至少一个图形平面的覆盖信息的像素大小不同于所述2D视频信息的像素大小。
6.根据权利要求1或2的方法，其中3D视频信息包括立体信息。
7.一种用于合成和显示包括视频信息和覆盖信息的信息流的系统，所述视频信息至少包括2D视频流和用于允许以3D再现所述视频信息的3D视频信息，所述覆盖信息至少包括2D覆盖流和用于允许以3D再现所述覆盖信息的3D覆盖信息，该系统包括回放设备，用于从存储介质中接收或读取包括压缩视频信息和压缩覆盖信息的压缩流；解压缩所述视频信息和所述覆盖信息；通过视频接口发送帧序列，所述帧序列包括单元，每一个单元对应于打算作为3D图像进行合成和显示的解压缩视频信息和解压缩覆盖信息；和显示设备，用于通过视频接口接收所述帧序列，并从所述单元中提取所述3D视频信息和所述3D覆盖 fn息；将所述单元合成为3D帧，并显示所述3D帧。
8.根据权利要求7的系统，其中所述3D视频信息包括相对于2D视频帧的深度、遮挡和透明度信息，而所述3D覆盖信息包括相对于2D覆盖帧的深度、遮挡和透明度信息。
9.根据权利要求8的系统，其中所述覆盖信息包括将与所述视频帧合成的两个图形平
10.根据权利要求8或9的系统，其中用于至少一个图形平面的覆盖信息以比发送所述 2D视频帧的帧频率更低的帧频率进行发送。
11.根据权利要求8-10之中任一权利要求的系统，其中用于至少一个图形平面的覆盖信息的像素大小不同于所述2D视频信息的像素大小。
12.根据权利要求8-10之中任一权利要求的系统，其中3D视频信息包括立体信息。
13.根据权利要求8-12之中任一权利要求的系统，其中所述帧是通过HDMI接口发送的 RGB 帧。
14.一种回放设备，适于在根据权利要求8-13之中任一权利要求的系统中使用。
15.一种显示设备，适于在根据权利要求8-13之中任一权利要求的系统中使用。
全文摘要
描述传送用于合成和显示的三维(3D)图像数据的系统。信息流包括视频信息和覆盖信息，视频信息至少包括2D视频流和用于允许以3D再现视频信息的3D视频信息，覆盖信息至少包括2D覆盖流和用于允许以3D再现覆盖信息的3D覆盖信息。在根据本发明的系统中，视频平面的合成发生在显示设备中而非回放设备中。该系统包括回放设备，其适于通过视频接口发送帧序列，该帧序列包括单元，每一个单元对应于打算作为3D图像进行合成和显示的解压缩视频信息和解压缩覆盖信息；和显示设备，其适于通过视频接口接收该帧序列，并从这些单元中提取3D视频信息和3D覆盖信息，以及将这些单元合成为3D帧并显示这些3D帧。
文档编号H04N13/00GK102292994SQ201080004995
公开日2011年12月21日 申请日期2010年1月13日 优先权日2009年1月20日
发明者D. R. J. 博利奥 D., J. M. 库尔弗斯 M., S. 牛顿 P. 申请人:皇家飞利浦电子股份有限公司