专利名称：生成3d视频信号的制作方法
技术领域：
本发明涉及生成三维(3D)视频信号以在3D显示器上实现初级视频信号和次级视频信号的同时显示。本发明进一步涉及处理所述3D视频信号。由于电影正越来越多地以3D形式记录并且3D显示器正在市场上出现，因此标准化使消费者能够回放3D视频的3D视频信号格式已经成为人们所期望的。因此，针对标准化的各种努力正在进行。例如，蓝光光盘协会已经宣布了将3D并入蓝光光盘格式的计划，并且MPEG正在开发针对3D视频信号的编码、解码、传输和存储的标准。 而且，多年以来，画中画(PiP)功能已经被并入显示器和回放设备中以用于实现两个或更多个视频信号的同时显示或回放。例如，电视可能能够同时接收两个视频信号，并且使用PiP功能提供显示所述视频信号之一的内嵌窗口，从而该窗口覆盖显示另一个视频信号的另外的全屏窗口的一部分。类似地，机顶盒可以同时接收两个视频信号，并且生成包括用于在电视上显示的内嵌窗口的输出视频信号。PiP功能允许电视观看者同时观看两个或更多个视频信号。例如，观看者可能喜欢监控在一个频道上商业广告时段的结束，同时临时观看另一个频道。两个视频信号的内容也可以彼此相关。例如，全屏窗口可以显示足球比赛的第一摄像机远景(perspective),且内嵌窗口可以显示同一足球比赛的第二摄像机远景。实际上，本发明特别地涉及同时示出的彼此相关的视频信号。在由PiP提供的内嵌窗口之后，用于实现两个或更多个视频信号的同时显示的各种其他空间组成是已知的。例如，两个视频信号可以并排显示，其另外被称为画和画(PAP或P&P)，或者四个视频信号可以以四画面模式显示。然而，为了便于说明本发明，用于同时显示两个或更多个相关视频信号的任何空间组成此后都将被称为PiP。PiP功能还可以通过适当的视频流提供，比如蓝光光盘上所包含的视频流。电影制作者可以使用PiP功能来提供包含例如导演或演员的视频评论的内嵌窗口。观看者可以启用该视频评论以了解正在全屏窗口中显示的电影的背景信息。正因如此，电影和评论(即初级和次级视频信号)被包含在存储在盘上的视频流中。
背景技术：
所期望的是提供具有PiP功能的3D视频信号，特别地这是因为消费者已经变得习惯于具有PiP功能的二维(2D)视频信号。用于在所述3D视频信号中提供PiP功能的已知方法是在3D初级视频信号之后另外提供3D次级视频信号。更特别地，W02008/038205公开了一种接收用于在3D显示器上同时呈现的3D图像信息和次级3D图像信息的系统，该图像信息是从例如光学记录载体或互联网接收的。因此，被接收的3D视频信号通过在3D初级视频信号之后提供3D次级视频信号来提供PiP功能
发明内容
上述3D视频信号的一个问题在于，其比特率相对较高。作为3D视频信号的相对较高的比特率的结果，传输3D视频信号所需的带宽也相对较高。类似地，存储3D视频信号所需的存储容量相对较高。最后，编码和解码3D视频信号典型地需要相对较多的计算资源。本发明的目的是提供一种具有较低比特率的3D视频信号，该3D视频信号实现了初级视频信号和次级视频信号在3D显示器上的同时显示。在本发明的第一方面，该目的被实现是由于提供了一种用于生成3D视频信号以实现3D初级视频信号和次级视频信号在3D显示器上同时显示的方法，该3D初级视频信号包括基础视频信号和实现3D显示的辅助信号，该3D视频信号是复用形式的视频流，并且该方法包括以下步骤提供作为所述次级视频信号的2D次级视频信号；格式化基础视频信号以生成基础视频流；格式化辅助信号以生成辅助流；复用基础视频流与辅助流以生成视频 流；以及将2D次级视频信号包括在该视频流中。在本发明的另一个方面，提供了一种用于处理可以通过上述方法生成的3D视频信号以实现3D初级视频信号和次级视频信号在3D显示器上同时显示的方法，该3D初级视频信号包括基础视频信号和实现3D显示的辅助信号，该3D视频信号包括作为所述次级视频 目号的2D次级视频彳目号，该3D视频彳目号是复用形式的视频流，该视频流包括2D次级视频信号并且包括与辅助流复用的基础视频流，该基础视频流以格式化形式包括基础视频信号，该辅助流以格式化形式包括辅助信号，并且该方法包括以下步骤从视频流提取2D次级视频信号；从视频流去复用基础视频流和辅助流；从基础视频流去格式化基础视频信号；从辅助流去格式化辅助信号；以及将2D次级视频信号与基础视频信号和辅助信号合并以提供用于在3D显示器上以一定的显示深度显示2D次级视频信号的3D显示信号。在本发明的另一个方面，提供了一种计算机程序产品，其包括用于使得处理器系统执行所述方法中任意一个的指令。在本发明的另一个方面，提供一种用于实现3D初级视频信号和次级视频信号在3D显示器上同时显示的3D视频信号，该3D初级视频信号包括基础视频信号和实现3D显示的辅助信号，该3D视频信号包括作为所述次级视频信号的2D次级视频信号，该3D视频信号是复用形式的视频流，该视频流包括2D次级视频信号并且包括与辅助流复用的基础视频流，该基础视频流以格式化形式包括基础视频信号，且该辅助流以格式化形式包括辅助信号。在本发明的另一个方面，提供了一种包括所述3D视频信号的信息载体。在本发明的另一个方面，提供了一种用于生成3D视频信号以实现3D初级视频信号和次级视频信号在3D显示器上同时显示的信号生成设备，该3D初级视频信号包括基础视频信号和实现3D显示的辅助信号，该3D视频信号是复用形式的视频流，并且该设备包括用于提供作为所述次级视频信号的2D次级视频信号的提供装置；以及格式化单元，用于格式化基础视频信号以生成基础视频流、格式化辅助信号以生成辅助流、复用基础视频流与辅助流以生成视频流以及将2D次级视频信号包括在该视频流中。在本发明的另一个方面，提供了一种用于处理可以由上述信号生成设备生成的3D视频信号以实现3D初级视频信号和次级视频信号在3D显示器上同时显示的信号处理设备，该3D初级视频信号包括基础视频信号和实现3D显示的辅助信号，该3D视频信号包括作为所述次级视频信号的2D次级视频信号，该3D视频信号是复用形式的视频流，该视频流包括2D次级视频信号并且包括与辅助流复用的基础视频流，该基础视频流以格式化形式包括基础视频信号，该辅助流以格式化形式包括辅助信号，并且该设备包括用于从视频流去复用基础视频流和辅助流的去复用单元；去格式化单元，其用于从基础视频流去格式化基础视频信号、从辅助流去格式化辅助信号以及从视频流提取2D次级视频信号；以及合并单元，其用于将2D次级视频信号与基础视频信号和辅助信号合并以提供用于在3D显示器上以一定的显示深度显示2D次级视频信号的3D显示信号。根据本发明的措施提供了一种3D视频信号，其在初级视频信号之后包含次级视频信号以用于提供该3D视频信号的PiP功能。在该3D视频信号中，初级视频信号是3D初级视频信号，而次级视频信号特别地被提供为2D次级视频信号。该3D初级视频信号包括基础视频信号和辅助信号，其中该辅助信号包含用于实现3D显示的所需信息。例如，3D初级视频信号可以是左+右(立体)视频信号，基础视频信号是左视频信号且辅助信号是右视频信号。3D初级视频信号也可以是2D+深度视频信号，基础视频信号是2D视频信号且辅助信号是深度信号。然后，基础视频信号、辅助信号和2D次级视频信号被转换成流格式以生成3D视频信号。有利地，包括2D次级视频信号的3D视频信号具有比包括3D次级视频信号的3D视频信号更低的比特率。更低比特率的原因是3D次级视频信号在次级基础视频信号之后包括附加的次级辅助信号，该次级辅助信号实现3D显示。通过提供2D次级视频信号取代3D次级视频信号，省略了次级辅助信号并且因此降低了次级视频信号的比特率。本发明还基于以下认识与提供2D次级视频信号相比，提供3D次级视频信号令人意外地对观看者对PiP功能的欣赏的影响有限。3D次级视频信号对观看者对PiP的欣赏的影响有限的原因有二 首先，观看者大多数时间聚焦于3D初级视频信号而非次级视频信号，且其次，次级视频信号典型地显示在相对于全显示屏较小的窗口中，使得3D次级视频的深度相对难以注意到。因此，在实践中，观看者将几乎不会注意到次级视频信号以2D而非3D提供。因此，这些措施具有以下效果所生成的3D视频信号具有比包括3D次级视频信号的3D视频信号更低的比特率。因此，传输该3D视频信号需要较小的带宽，并且存储该3D视频信号需要较小的存储容量。最后，编码和解码该3D视频信号典型地需要较少的计算资源。有利地，编码、解码、传输或存储3D视频信号的设备的成本较低。根据本发明的上述措施提供了复用形式的视频流作为3D视频信号。该视频流是复用形式的，因为它包括与辅助流复用的基础视频流。该基础视频流包括被转换成流格式的基础视频信号，并且该辅助流包括被转换成流格式的辅助信号。该基础视频流和辅助流是从视频流通过去复用所述流而获得。该基础视频/[目号是通过反转(reverse)基础视频fg号到流格式的转换而获得，该辅助信号是通过反转辅助信号到流格式的转换而获得，并且2D次级视频彳目号是通过从视频流中提取它而获得。这些措施具有以下效果3D视频信号是单个视频流。单个视频流需要用于传送的仅单个通信介质、用于记录的仅单个记录单元等，而同时提供PiP和3D功能。视频流本身包括两个单独的流，即基础视频流和辅助流，并且通过分别格式化基础视频信号和辅助信号以将3D初级视频信号分离在两个流上。有利地，通过将3D初级视频信号分离在两个流上，每个单独的流的比特率低于包括3D初级视频信号的单个视频流的比特率。、
去格式化流是计算密集的，特别是如果去格式化包括解压缩。与此相反，去复用在计算上是较不密集的。因此，去格式化单个视频流与去复用单个视频流和仅去格式化两个流中任意一个相比在计算上是更密集的。因此，用于去格式化两个流中任一个的去格式化单元与用于去格式化单个视频流的去格式化单元相比可能具有更低的计算性能就足够了。类似地，仅具有适度的计算性能的去格式化单元不可能去格式化单个视频流，但是可以去格式化两个单独的流中任一个。特别地，信号处理设备可能未装备有足够高计算性能的去格式化单元以去格式化单个视频流，但是包括(为了符合某些标准)两个适度性能的去格式化单元。该设备因此能够去格式化两个单独的流，尽管不能够去格式化单个视频流。而且，装备有仅一个适度计算性能的去格式化单元的信号处理设备能够去格式化基础视频流以提供基础视频信号。鉴于3D初级视频信号的向后兼容性，该基础视频信号通常是2D初级视频信号。因此，该信号处理设备能够去格式化2D初级视频信号。如果3D初级视频信号在单个视频流中被格式化，则这种设备根本不能提供初级视频信号。3D视频信号因此实现了与仅具有一个用于2D视频信号的去格式化单元的信号处理设备(例如较旧的2D信号处理设备)的向后兼容性，而同时在具有多个去格式化单元的信号处理设备上提供PiP和3D功能。有利地，具有2D信号处理设备的消费者可以至少享受3D视频信号的2D功能。此外，制作者可以通过以3D视频信号格式提供视频内容来降低制作和分发具有PiP和3D功能的视频内容的成本，而不必担心具有2D信号处理设备的消费者根本不能够回放该视频内容。本发明的下述实施例达到了如下效果3D视频信号使得仅具有一个去格式化单元的信号处理设备能够提供带有PiP功能的基础视频信号。在本发明的一个实施例中，提供了一种用于生成3D视频信号的方法，其中格式化基础视频信号的步骤包括复用基础视频信号与2D次级视频信号以将该2D次级视频信号包括在基础视频流中。在本发明的一个实施例中，提供了一种用于处理3D视频信号的信号处理设备，其中基础视频流以格式化形式包括与2D次级视频信号复用的基础视频信号，并且去格式化单元进一步被安排用于从基础视频流去复用基础视频信号和2D次级视频信号。根据本发明的上述措施提供了额外地包括2D次级视频信号的基础视频流。该基础视频流是通过复用基础视频信号与2D次级视频信号并将其转换成流格式而生成的。因此，基础视频信号和2D次级视频信号是从基础视频流通过反转到流格式的转换且通过去复用所述信号而获得的。这些措施具有以下效果2D次级视频信号特别地被包含在基础视频流中。因此，去格式化基础视频流的去格式化单元获得基础视频信号和2D次级视频信号。特别地，仅具有一个去格式化单元的信号处理设备可以去格式化基础视频流以提供2D初级视频信号和2D次级视频信号，并且因此提供PiP功能。因此，3D视频信号使得仅具有一个去格式化单元的信号处理设备能够提供带有PiP功能的2D初级视频信号。
本发明的下述实施例达到了下述效果基础视频流的比特率没有由于在3D视频信号中提供PiP功能而得到增加。在本发明的一个实施例中，提供了一种用于生成3D视频信号的方法，其中格式化辅助信号的步骤包括复用辅助信号与2D次级视频信号以将2D次级视频信号包括在辅助流中。在本发明的一个实施例中，提供了一种用于处理3D视频信号的信号处理设备，其中辅助流以格式化形式包括与2D次级视频信号复用的辅助信号，并且去格式化单元被进一步安排用于从辅助流去复用辅助信号和2D次级视频信号。根据本发明的上述措施提供了额外地包括2D次级视频信号的辅助流。该辅助流是通过将辅助信号和2D次级视频信号复用并将其转换成流格式而生成。因此辅助信号和2D次级视频信号是从辅助流通过反转到流格式的转换并通过去复用所述信号而获得的。这些措施具有下述效果2D次级视频信号特别地被包含在辅助流中，并且基础视频流因此与不具有PiP功能的3D视频信号的基础视频流相同。因此，基础视频流的比特率 没有由于在3D视频信号中提供PiP功能而得到增加。相反辅助流的比特率增加了。为了与标准以及现有的去格式化单元兼容，流的比特率被限于某个最大值。格式化的辅助信号的比特率典型地低于格式化的基础视频信号的比特率。例如，如果3D视频信号是2D+深度视频信号，则深度信息包括用于每个像素的一个深度值，而基础视频信号包括用于每个像素的三个颜色值，例如R、G和B。因此，通过将2D次级视频信号包括在辅助流中而非基础视频流中，降低了两个流的比特率的最大值，即整体视频流的比特率被更平等地在基础视频流与辅助流之间分布。有利地，通过仅给基础视频信号分配标准中指定的完整的可用的比特率，获得基础视频信号的较好画质。本发明的下述实施例达到下述效果基础视频流和辅助流与不具有PiP功能的3D视频信号的相应流具有相同的比特率。在本发明的一个实施例中，提供了一种用于生成3D视频信号的方法，该方法进一步包括格式化2D次级视频信号以生成2D次级视频流的步骤，并且复用的步骤包括复用2D次级视频流与基础视频流以及与辅助流以用于所述将2D次级视频信号包括在视频流中。
在本发明的一个实施例中，提供了一种用于处理3D视频信号的信号处理设备，其中视频流包括与基础视频流和与辅助流复用的2D次级视频流，该2D次级视频流以格式化形式包括2D次级视频信号，去复用单元被进一步安排用于去复用2D次级视频流，并且去格式化单元被进一步安排用于从2D次级视频流去格式化2D次级视频信号。根据本发明的上述措施提供了包括2D次级视频信号的2D次级视频流。2D次级视频流是通过将2D次级视频信号转换成流格式而生成的，并且通过复用2D次级视频流与基础视频流和辅助流而被包括在视频流中。因此，2D次级视频信号是从视频流通过去复用所述流并通过反转2D次级视频信号到流格式的转换而获得的。这些措施具有下述效果2D次级视频信号被包含在单独的2D次级视频流中，而既不包含在基础视频流中，也不包含在辅助流中。因此，基础视频流和辅助流与不具有PiP功能的3D视频信号的相应流具有相同的比特率。因此，3D视频信号与具有两个去格式化单元的信号处理设备兼容，这两个去格式化单元仅具有用于去格式化不具有PiP功能的3D视频信号的计算资源。尽管这种设备不能提供PiP功能，但是3D初级视频信号仍然可以被去格式化。而相同的3D视频信号在具有用于2D次级视频流的附加的去格式化单元的设备上提供PiP功能。而且，这种具有两个去格式化单元的信号处理设备的用户可以选择是3D功能优先还是PiP功能优先。在第一种情况下，基础视频流和辅助流被去格式化，而在后一种情况下，基础视频流和2D次级视频流被去格式化。因此，3D视频信号有利地为用户提供了根据个人偏好在3D功能与PiP功能之间进行选择的可能性。在本发明的一个实施例中，提供了一种3D视频信号，其中该3D视频信号包括初级信号分量和次级信号分量，该初级信号分量包括被格式化用于单独传输初级信号分量的基础视频信号，并且该次级信号分量包括被格式化用于单独传输次级信号分量的2D次级视
频信号。根据本发明的上述措施提供了包括用于提供2D初级视频信号的初级信号分量和用于提供2D次级视频信号的次级信号分量的3D视频信号。所述视频信号被格式化以实现 两个信号分量的单独传输。因此，这些措施具有下述效果3D视频信号的两个信号分量可以经由单独的传输信道而被传输和接收或者可以被存储在单独的信息载体上。因此，在包括2D次级视频信号的3D视频信号的次级信号分量中实现了 3D视频信号的较低比特率。有利地，消费者可以通过从互联网下载所述次级信号分量来方便地获得已经为该消费者所拥有的初级视频信号的PIP功能，并且初级视频信号的制作者能够通过制造可用的所述次级信号分量供消费者购买来赚取附加的收入。本发明的下述实施例达到下述效果3D显示信号中的2D次级视频信号的显示深度可以使用3D视频信号中所包括的偏移值来控制。在本发明的一个实施例中，提供了一种用于生成3D视频信号的方法，该方法进一步包括步骤将偏移值包括在3D视频信号中，该偏移值指示2D次级视频信号在3D显示器上的显示深度。在本发明的一个实施例中，提供了一种用于处理3D视频信号的信号处理设备，其中该3D视频信号进一步包括指示2D次级视频信号在3D显示器上的显示深度的偏移值，并且其中所述合并单元进一步被安排用于依据该偏移值合并2D次级视频信号与基础视频信号和辅助信号。根据本发明的上述措施提供了包括在3D视频信号中的偏移值，以及使用该偏移值以在由偏移值指示的显示深度处放置3D显示信号中的2D次级视频信号的所述合并单元。因此，这些措施具有下述效果3D显示信号中的2D次级视频信号的显示深度可以使用偏移值来控制。因此，3D视频信号的制作者可以预先确定2D次级视频信号的显示深度并且借助该偏移值来将所述显示深度包括在3D视频信号中。有利地，偏移值实现了提供2D次级视频信号的显示深度，其与3D初级视频信号的显示深度明显分离以防止观看者的任何混淆或解释困难。由Hyun Lee等人在2007年5月I日在3D Conference, 2007中发表的标题为“AStructure for 2D/3D Mixed Service Based on Terrestrial DMB System”的出版物公开了一种用于2D/3D混合服务的传输架构，其中3D图像服务和2D视频服务被组合在一个视频传输信号中。该出版物的图7示出PiP的示例，其被提及为2D/3D混合服务的一种形式。在该图中，PiP是2D图像并且其背景是3D图像。图I和其对应的描述示出视频传输信号是通过生成2D视频数据流以及3D数据文件分组并且复用这二者而生成的。然而，上述出版物没有公开被格式化为基础视频流和辅助流的3D初级视频信号。它也没有公开该视频流是通过复用基础视频流和辅助流而生成的。实际上，它没有公开3D视频信号被生成为视频流。相反，图I及其对应的描述示出作为多媒体对象传递(MOT)包被传输的3D图像服务，所述包经由分组模式数据路径而被包括在视频传输信号中。
在附图中，
图I示出用于生成3D视频信号的方法；
图2示出用于生成视频流的方法；
图3示出用于生成包括2D次级视频流的视频流的方法；
图4示出用于生成包括偏移值的3D视频信号的方法；
图5示出用于处理3D视频信号的方法；
图6示出3D视频信号；
图7示出视频流；
图8示出包括2D次级视频流的视频流；
图9示出包括3D视频信号的信息载体；
图10示出用于生成3D视频信号的信号生成设备；
图11示出用于处理3D视频信号的信号处理设备；
图12示出用于处理视频流的信号处理设备；
图13示出用于处理包括2D次级视频流的视频流的信号处理设备；
图14示出包括偏移值的3D视频信号；
图15示出被安排用于使用偏移值的信号处理设备；
图16示出包括3D显示器、广播接收器、互联网接收器和读取器的信号处理设备。
具体实施例方式图I是用于生成如图6所示的3D视频信号300以实现3D初级视频信号301和次级视频信号在3D显示器上同时显示的方法100的流程图。3D初级视频信号301可以是任何当前已知的3D视频信号以及未来发展的3D视频信号。然而，当前已知的3D视频信号的共同之处在于它们包括基础视频信号302和辅助信号303，该辅助信号实现了 3D显示。例如,3D初级视频/[目号301可以是左+右(立体)视频/[目号，基础视频/[目号302是左视频信号，而辅助信号303是右视频信号，或反之亦然。3D初级视频信号301也可以是2D+深度视频/[目号,基础视频/[目号302是2D视频/[目号，而辅助/[目号303是深度彳目号。辅助信号303也可以包含不只是深度的更多信息，例如在Proceedings of StereoscopicDisplays and Applications XX (2009)中 B.Barenbrug 的“Declipse 2:MultilayerImage-and-Depth with Transparency Made Practical” 中所述，该文献通过引用合并于此。而且，3D初级视频信号301可以是包括多个基础视频信号和对应的实现3D显示的多个辅助信号的多视图+深度视频信号。所述3D显示器可以是适用于示出3D视频信号的任何当前已知的或未来发展的3D显示器。例如，3D显示器可以是立体3D电视或自动立体的基于透镜的多视图3D显示器。方法100包括在“提供2D次级视频信号”的步骤101中提供作为次级视频信号的2D次级视频信号304。在该步骤中，次级视频信号特别地被提供为2D次级视频信号304。该步骤可以包括直接地接收或获得2D次级视频信号304，或可以包括首先接收或获得3D次、级视频信号。在后者的情况下，该步骤另外包括将3D次级视频信号转化为2D次级视频信号304。如果3D次级视频信号包括2D次级基础视频信号和次级辅助信号，则该转换可能涉及省略次级辅助信号以及将2D次级基础信号用作2D次级视频信号304。然而，3D到2D的更复杂的转换同样是可能的。方法100进一步包括在“生成3D视频信号”的步骤102中格式化基础视频信号302、辅助信号303和2D次级视频信号304以生成3D视频信号300。在该步骤中，基础视频信号302、辅助信号303和2D次级视频信号304被转换成结构化格式，从而生成3D视频信号300。作为结果的3D视频信号300典型地位于单个信息载体上，或者经由单个传输介质而被传输，但是也可以被分离成多个信号分量，这些信号分量位于不同的信息载体上或者经由不同的传输介质而被传输。图2是用于生成3D视频信号的方法110的流程图，其中3D视频信号是复用形式的视频流310。该视频流310是一系列信息单元，例如比特或字节，这些信息单元在该特定情 况下表示视频数据。如果视频流310经由传输介质而被传输或接收，则所述系列是时间系列。然而，视频流310也可以被存储在信息载体上，在此情况下视频流310是一系列位置信息单元。位置系列可以是严格地位置连续的，即每个信息单元仅具有前一个和下一个信息单元作为物理邻居。然而，更典型的是，信息载体具有底层结构(underlying structure),例如文件系统，这掩盖了视频流310的串行性质。在这种情况下，视频流310的串行性质在存储和取回视频流310的步骤中示出，在此期间该视频流310是时间系列信息单元。方法110包括在“生成基础视频流”的步骤111中格式化基础视频信号302以生成基础视频流311，并且在“生成辅助流”的步骤112中格式化辅助信号303以生成辅助流312。格式化信号涉及将信号转换成结构化格式以生成流。事实上，该流变成从其生成流的信号的容器。流在性质上是串行的，但是信号不一定是。相反，视频信号在性质上典型地是2D或3D。因此，格式化2D视频信号可能涉及通过逐像素扫描2D视频信号以生成一系列时间像素来将2D视频信号转换成视频流。在这方面，应当注意，在描述视频流的过程中的形容词“2D”仅意欲澄清从其生成该流的信号特别地是2D视频信号。因此，它不指示在性质上为“2D”的流。格式化信号以生成流可以另外包括在流中添加辅助信息，例如元数据、头信息、纠错信息、同步信息等。正因如此，可以创建符合议定的标准的流，例如MPEG基本流或MPEG传送流。所述格式化也可以包括压缩所述信号以生成具有较低比特率的视频流。为此目的，可以使用广泛的数据压缩技术(例如按MPEG-2或H264标准标准化的数据压缩技术)来转换在流中的信号，该流包括比其他情况所需的信息单元更少的信息单元。作为特定示例，辅助信号303可以在基本流中被格式化以用于将所述流包括在蓝光光盘上。方法110进一步包括在“复用流”步骤113中复用基础视频流311与辅助流312以生成视频流310。复用是将多个信号组合成一个单个信号或在此情况下将多个流组合成一个单个流的步骤。复用的普通形式是时分复用，其中多个流在时间上交错以生成单个视频流。因此，通过复用基础视频流311与辅助流312，创建了包括复用形式的两个流的单个视频流310。最后，方法110包括在“包括2D次级视频信号”的步骤114中将2D次级视频信号304包括在视频流310中。2D次级视频信号304可以以各种方式被包括在视频流310中。例如，2D次级视频信号304可以被格式化以生成2D次级视频流313，并且所述流可以另外被复用以生成视频流315或被包括在视频流310的开始端或末端处。另外，2D次级视频信号304可以通过复用基础视频信号302与2D次级视频信号304并通过格式化作为结果的信号以生成基础视频流311而被包括在视频流310中。类似地，2D次级视频信号304可以通过复用辅助信号303与2D次级视频信号304并通过格式化作为结果的信号以生成辅助流312而被包括在视频流310中。此外，2D次级视频信号304可以直接被复用到基础视频流311或辅助流312中。图3是用于生成包括2D次级视频流313的视频流315的方法120的流程图。该方法120包括以下步骤在“生成基础视频流”的步骤111中格式化基础视频信号302以生成基础视频流311 ;以及在“生成辅助流”的步骤112中格式化辅助信号303以生成辅助流312。而且，方法120在“生成2D次级视频流”的步骤123中包括格式化2D次级视频信号304以生成2D次级视频流313。而且，“复用流”的步骤124包括复用2D次级视频流313与 基础视频流311以及与辅助流312，从而将2D次级视频信号304包括在视频流315中。图4是用于生成包括偏移值501的3D视频信号500的方法130的流程图。方法130的第一步骤131等同于图I的步骤101 “提供2D次级视频信号”的步骤，并且第二步骤132等同于图I的步骤102 “生成3D视频信号”。方法130进一步包括在“包括偏移值”的步骤134中将偏移值501包括在3D视频信号500中，该偏移值501指示在3D显示器上2D次级视频信号304的显示深度。为了进一步说明包括所述偏移值501的步骤134，需要理解3D显示器基本上以某显示深度显示信息。该显示深度主要由3D视频信号提供。这可以间接地借助例如左+右(立体)视频信号的左与右视频信号之间的视差(disparity)或直接借助例如2D+深度视频信号的深度信号。回放设备或3D显示器于是可以例如通过进一步放大或减小所提供的深度来进一步修改所提供的深度以生成显示深度。3D显示器典型地具有“缺省”显示深度，在该深度处不会创建深度错觉。如果例如立体显示器的两个视图提供相同的信息，则情况就是这样。该缺省显示深度典型地被观看者解释为信息在显示器本身的深度处显示，即没有相对于3D显示器“向外突出”(S卩，提供有被感知为比显示平面更靠近观看者的深度)或“向内塌陷(carving)”(即，提供有被感知为比显示平面更远离观看者的深度)。出于多个原因，比如防止观看者的任何混淆或解释困难，可能期望控制在3D显示器上的2D次级视频信号304的显示深度。为此目的，方法130因此包括将偏移值501包括134在3D视频信号500中以指示并且因此允许对3D显示器上2D次级视频信号304的显示深度的控制。方法130进一步包括从3D次级视频信号导出2D次级视频信号304 ；以及在“确定偏移值”的步骤133中依据3D次级视频信号的深度确定偏移值501。如果2D次级视频信号304是从3D次级视频信号导出，则3D次级视频信号的深度可以用于指示在3D显示器上2D次级视频信号304的显示深度。例如，如果3D次级视频信号的深度指示相对于3D显示器的平均强烈向外突出，则类似的效果可以通过使整个2D次级视频信号304相对于3D显示器向外强烈地突出来达到。此外，场景识别可以用于达到类似的效果；如果3D次级视频信号包含平坦景观，则可以选择显示深度且因此选择偏移值501，以使得2D次级视频信号304尽可能远离观看者而被定位，即相对于3D显示器向内塌陷。图5是用于处理3D视频信号300以实现3D初级视频信号301和次级视频信号在3D显示器上同步显示的方法200的流程图，该3D视频信号300包括作为次级视频信号的2D次级视频信号304。该方法200在“去格式化”步骤201中包括从3D视频信号300去格式化基础视频信号302、辅助信号303以及2D次级视频信号304。该去格式化基本上涉及反转所述格式化的步骤，即反转用于生成流的信号转换。基本上，信号是从流构成的容器中提取的。去格式化另外可以包括使用或移除来自流中的信号的辅助信息，例如元数据、头信息、纠错信息、同步信息等。该去格式化还可以包括从流解压缩所述信号。为此目的，可以使用例如按MPEG-2或H264标准标准化的广泛的数据解压缩技术。方法200进一步包括在“合并”步骤202中将2D次级视频信号304与基础视频信号302和辅助信号303合并，以提供3D显示信号以用于在3D显示器上以一定显示深度显示2D次级视频信号304。3D显示器基本上需要单个3D显示信号作为输入。该合并通过将3D初级视频信号301与2D次级视频信号304合并来提供3D显示信号。该合并可以以各种方式进行，这在很大程度上取决于3D初级视频信号的格式。例如，如果3D初级视频信号301是左+右(立体)视频信号，可能的合并方式是通过用2D初级视频信号304的像素数据替代基础视频信号302和辅助信号303的像素数据而在基础视频信号302和辅助信号303 二者中合并2D初级视频信号304。如果3D初级视频信号301是2D+深度视频信号，则可能的合并方式是在基础视频信号302中合并2D次级视频信号304，并且在2D次级视频信号304已被合并到基础视频信号302中的位置处将辅助信号303设置为预先确定的深度值。类似地，如果3D初级视频信号301是多视图+深度视频信号，则必须针对每对基础视频信号302和辅助信号303重复上述过程，以便将2D次级视频信号304合并到每个视图中。PiP功能的各种空间组成是可能的，例如并排、或某尺寸和位置的内嵌窗口。该内嵌窗口甚至可以通过使用亮度键控而具有任意形状，所述亮度键控即为替代落入特定范围的亮度的视频信号中的像素的过程，如从视频合成领域得知的。因此，在合并步骤期间需要考虑3D初级视频信号301和2D次级视频信号304的所需空间组成。一个选项是合并步骤实际上例如通过调整大小、裁剪或移动视频信号之一或二者来安排所述空间组成。另一个选项是该空间组成已经得到安排，即两个视频信号已经被调整大小、裁剪等。在这种情况下，合并的步骤可以被限于利用2D次级视频信号304的像素替代3D初级视频信号301中的像素。在视觉上更吸引人的可能是创建3D初级视频信号301和2D次级视频信号304的“混合”。为此目的，这两个视频信号可以彼此混合，例如使用从视频合成领域得知的阿尔法(alpha)合成。阿尔法合成基本上确定了这两个视频信号的像素值的加权和，以为PiP功能创建部分透明的外观。当混合3D初级视频信号301和2D次级视频信号304时，优选地考虑相应的视频 信号的深度水平。在这个方面，通过引用合并于此的标题为“Depth signal improvementin the presence of alpha”的尚未公布的国际申请IB2009/054160描述了在图像+深度信号的情况下可以如何完成这种混合。图6示出用于实现3D初级视频信号301和次级视频信号在3D显示器上的同步显示的3D视频信号300。该3D初级视频信号包括基础视频信号302和实现3D显示的辅助信号303，并且3D视频信号300包括作为次级视频信号的2D次级视频信号304。结果，3D视频信号300以格式化的形式包括基础视频信号302、辅助信号303和2D次级视频信号304。该3D视频信号可以经由单个或经由多个传输信道而被传输或接收，或者可以被存储在单个或多个信息载体上。在用于传输3D视频信号300的方法中，3D视频信号被提供有该3D视频信号的、为2D次级视频信号304的次级视频信号，并且该3D视频信号经由传输信道而被传输。图7示出包括与辅助流312复用的基础视频流311的视频流310，基础视频流311以格式化的形式包括基础视频信号302，且辅助流312以格式化的形式包括辅助信号303。视频流310还包括在基础视频流311或次级流312中所包括的2D次级视频信号304。
图8示出类似于图7的视频流310的视频流315。然而，视频流315另外包括与基础视频流311且与辅助流312复用的2D次级视频流313。与图7的视频流310相比，2D次级视频信号304被包括在单独的2D次级视频流313中，而非被包括在基础视频流311或次级流312中。图9示出包括3D视频信号300的信息载体320，该3D视频信号300通过示例的方式被分离成初级信号分量321和次级信号分量322。信息载体320可以是任何适当的信息载体，比如蓝光光盘、DVD盘、硬盘等，并且可以是不可记录的或可记录的。在前一种情况下，信息载体320在制造期间通过将3D视频信号300转换成信息载体上的物理标记而被制造成包含3D视频信号300。在后一种情况下，3D视频信号300典型地被消费者或内容创建者记录到信息载体320上，该记录的步骤涉及将3D视频信号300转换成信息载体320上的物理标记。该3D视频信号也可以是包括与辅助流312复用的基础视频流311的单个视频流310。所述流的逻辑复用导致信息载体320上的物理复用。有利地，该物理复用使得回放设备的读取单元能够读取两个流，而无需对读取单元进行物理重新定位。图9所示的初级信号分量321包括基础视频信号302，而次级信号分量322包括2D次级视频信号304。基础视频信号302和2D次级视频信号304 二者被格式化以实现两个信号分量的单独传输。因此，两个分量也可以被存储在信息载体320的两个不同位置上。辅助信号303可以被包括在初级信号分量321或次级信号分量322中，但是也可以被包括在第三信号分量中。在这种情况下，辅助信号303被格式化以实现第三信号分量的单独传输。类似地，初级信号分量321可以包括基础视频信号302，而次级信号分量322包括辅助信号303。在这种情况下，2D次级视频信号304可以被包括在任意一个信号分量中。所述用于实现两个信号分量的单独存储或传输的格式化有时也被称为实现非复用的(即所谓的不复用(out-of-mux))的存储或传输。当回放并因此显示3D视频信号300时，回放设备为了缓冲的目的于是可能首先从信息载体320读取次级信号分量322并且将所述信号分量存储在本地存储装置中，例如非易失性存储器。如果回放设备不能够从信息载体320同时读取这两个信号分量，则这种缓冲可能是所需要的。随后，回放设备可以从信息载体320读取初级信号分量321，同时从本地存储装置读取次级信号分量322，以便在3D显示器上提供3D初级视频信号301和2D次级视频信号304的同步回放。可替代地,这两个分量中任意一个还可以例如在3D视频信号300的回放期间被直接从互联网流出，或者首先从互联网被下载并且在本地存储装置中被缓冲。
在实际的示例中，3D视频信号300使得消费者能够购买包含初级信号分量321的蓝光光盘，该初级信号分量321包括作为基础视频信号302的电影的2D视频信号。用户然后可能地在在线付费之后可以从互联网下载包括辅助信号303和2D次级视频信号304的次级信号分量322。正因如此，所下载的次级信号分量322实现了蓝光光盘上以2D包含的电影的3D和PiP功能。图10是用于生成3D视频信号300的信号生成设备350的框图。该设备包括用于提供作为次级视频信号的2D次级视频信号304的提供装置351。在第一变体中，该提供装置351可以是用于从外部源接收2D次级视频信号304的接收器。然而，该提供装置351也可以是用于接收3D次级视频信号的接收器，并且可以进一步被安排用于将3D次级视频信号转换成2D次级视频信号304。而且，该设备包括格式化单元352，用于格式化基础视频信号302、辅助信号303和2D次级视频信号304以生成3D视频信号300。图11是用于处理3D视频信号300以生成3D显示信号403的信号处理设备400的框图。该设备包括去格式化单元401，用于从3D视频信号300去格式化基础视频信号302、辅助信号303和2D次级视频信号304。该设备进一步包括合并单元402，用于将2D次级视频信号304与基础视频信号302和辅助信号303合并以提供3D显示信号403以用于在3D显示器上以一定显示深度显示2D次级视频信号304。为此目的，该3D显示信号403可以直接被发送到3D显示器，或者可以在被发送到3D显示器之前首先由附加的信号处理设备进行进一步处理(例如，用于视频增强或格式转换)。图12是用于处理视频流310以生成3D显示信号403的信号处理设备410的框图。该设备包括去复用单元411，用于从视频流310去复用基础视频流311和辅助流312。该设备进一步包括去格式化单元412，其被安排用于从基础视频流311去格式化基础视频信号302、从辅助流312去格式化辅助信号303以及从视频流310提取2D次级视频信号304。所述提取基本上是图2中所描绘的方法110的“包括2D次级视频信号”的步骤的逆过程。因此，依据2D次级视频信号304被包括在视频流310中的方式，存在用于提取所述信号的各种选项。例如，如果基础视频流311和辅助流312都不包括2D次级视频信号304，则去格式化单元412可以被安排用于直接从视频流提取2D次级视频信号。这在图12中用虚线指示。也可能的是，基础视频流311以格式化形式包括与2D次级视频信号304复用的基础视频信号302。在这种情况下，去格式化单元412进一步被安排用于从基础视频流311去复用基础视频信号302和2D次级视频信号304。另一个可能性是，辅助流312以格式化形式包括与2D次级视频信号304复用的辅助信号303。在这种情况下，去格式化单元412被进一步安排用于从辅助流312去复用辅助信号303和2D次级视频信号304。最后,该设备包括与图11所描绘的相同的合并单元402。图13是用于处理包括2D次级视频流313的视频流315以生成3D显示信号403的信号处理设备420的框图。该视频流315包括与基础视频流311以及与辅助流312复用的2D次级视频流313。该设备因此包括与图12所示的去复用单元411类似的去复用单元421,但是该去复用单元421被进一步安排用于从视频流315去复用2D次级视频流313。而且，去格式化单元422类似于图12中所示的去格式化单元412，但是该去格式化单元422被进一步安排用于从2D次级视频流313去格式化2D次级视频信号304。最后，该设备包括与、图11所描绘的相同的合并单元402。图14示出包括偏移值501的3D视频信号500。该3D视频信号500类似于图6中所示的3D视频信号300，但是另外包括指示2D次级视频信号304在3D显示器上的显示深度的偏移值501。存在可以将偏移值501包括在3D视频信号500中的各种方式，如下述被包括在蓝光光盘上的3D视频信号500的示例所说明的。这里，基础视频信号302、辅助信号303、2D次级视频信号304和偏移值501被格式化，以使得它们符合蓝光光盘规范的一个版本。在该示例中，2D次级视频信号在所谓的PiP基本流中被格式化。该蓝光光盘进一步包含与在包含PiP功能的2D蓝光光盘上的相同的数据结构中存储的次级视频流，即它在播放项目中被列为子路径，该播放项目还具有在其所谓的“STN_表”中列出的PiP基本流。在该上下文中，播放项目本质上是播放列表，播放项目中的子路径本质上是对附加组件的引用，并且“STN_表”是列出可以在播放项目的呈现期间被选择的所有基本流的表。2D次 级视频信号304可以进一步被格式化成为不复用的，可以被存储在本地存储装置上，以及可以与3D初级视频信号301同步或异步地呈现。当然，这些选项的组合也是可能的。偏移值501可以以各种方式被包括在所述蓝光光盘上。例如,偏移值501可以包括在用于次级视频流的元数据中，该元数据即次级视频元数据。为此，次级视频元数据可以定义新的子路径类型，其指示该子路径包含在复用的(in-mux)或不复用的同步PiP流的基本流。而且，包括偏移值501的偏移元数据可以被嵌入子播放项目中的预留字段中。偏移值501还可以包括在用于PiP基本流的元数据(即PiP元数据)中。该PiP元数据定义了在该帧中将PiP定位在哪里。这些位置参数然后可以被扩展，如下面具有“PiP_offset”值标识符和指示所述偏移是应当通过向前移动PiP (即相对于3D显示器向外突出)还是向后移动PiP (即相对于3D显示器向内塌陷)而被应用的“PiP_offset_direction”的表中所示。表I-PiP偏移参数
法丨比特数
Is_PiP_offsetI
If (IS—PiP—offset==lb) {—
PiP_offset_directionI
PiP_offset_value6
T用于PiP的偏移元数据也可以作为扩展数据被添加到新定义的表中的播放列表，该新定义的表列出具有相关联的偏移参数值的另外的2D视频流。而且，该偏移数据可以是帧精确的，即偏移值501被提供用于2D次级视频信号304的特定帧。在这种情况下，3D视频信号可以包括例如在偏移值流中被格式化的多个偏移值501。在相对于上文优选的可替代方案中，偏移值501通过利用下述信息扩展蓝光回放设备在3D模式中使用的播放列表的表来提供
表2-用于3D模式的STN_表语法
语法I比特数I助记符.
for(secondary_video_stream_id=0;secondary_video_stream_id<number_of_secondary_video_stream_entries;secondary_video_stream_id++) {
PiP_offset_sequence_id_ref8uimsbf
If (Secondary—Video—Size(PSR14)==0xF) {
PiP_Full_Screen_offset_sequence_id_ref8uimsbf
II I
在上述表中，“PiP_offset_sequence_id_ref ”字段指定了标识符以引用偏移值的流。优选地，偏移值的该流被作为表携带在MVC SEI消息中，每个GOP—个。在该上下文中，MVC代表多视图编码，SEI代表补充的增强信息，以及GOP代表图画组。所述偏移值的解释进一步取决于所谓的 “plane_offset_value” 和 “plane_offset_direction”。而且“PiP_Full_Screen_offset_sequence_id_ref ”字段指定了引用当PiP缩放因子被设置为全屏时偏移值的流的标识符。而且，偏移值501或偏移值的流可以被携带在辅助流312中或2D次级视频流313中的SEI消息中。相应地，用于生成3D视频信号的方法(例如图4中所示的方法)可以包括步骤将偏移值的流包括在辅助流312中或2D次级视频流313中的补充的增强信息消息中的3D视频信号500中。 此外，偏移值501可以是相对于例如存储在视频流中的SEI消息内的图形偏移值的相对偏移值。因此，与相对偏移值组合的图形偏移值确定了用于2D次级视频信号的绝对偏移值。图15是被安排用于使用3D视频信号500中所包括的偏移值501的信号处理设备510的框图。该设备包括类似于图11的去格式化单元401的去格式化单元511，其中仅有的差异是去格式化单元511接受图14的3D视频信号500作为输入而非图6的3D视频信号300作为输入。该设备进一步包括类似于图11所示的合并单元402的合并单元512，其中差异在于合并单元512进一步被安排用于依据偏移值501将2D次级视频信号304与基础视频信号302和辅助信号303合并。通过依据偏移值501合并所述信号，使得控制3D显示器上2D次级视频信号304的显示深度成为可能。例如，如果3D初级视频信号301是左+右(立体)视频信号，则2D次级视频信号304的显示深度可以通过将向左移动偏移值的一半的2D次级视频信号304合并到基础视频信号302中，该基础视频信号是左视频信号。而且，将向右移动偏移值的一半的次级视频信号304合并到辅助信号303中，该辅助信号是右视频信号。上述合并的示例在计算效率方面是特别有利的，因为在合并单元412中并入偏移值501可以通过操作存储器指针来实现。如果3D初级视频信号301是2D+深度视频信号，一种控制3D显示器上2D次级视频信号304的显示深度的可能方式是通过将辅助信号303设置成如在2D次级视频信号304被合并到基础视频信号302中的位置处由偏移值501指示的深度值。在上述示例中，基础视频信号是2D视频信号，并且辅助信号是深度信号。类似地，如果3D初级视频信号301是多视图+深度视频信号，则2D次级视频信号304在被合并到每个基础视频信号302中的同时依据偏移值501和视角而移动，即对于极左视图来说2D次级视频信号304具有相对较大的向右移动，而对于极右视图来说它具有相对较大的向左移动。而且，每一个辅助信号303必须被设置成如在2D次级视频信号304被合并到对应于所述辅助信号303的基础视频信号302的位置处由偏移值501指示的深度值。图14中所示的3D视频信号500进一步包括图形信号502。图形信号502可以被包括在内以向观看者提供视觉信息。特别地，如果图形信号是2D图形信号，则偏移值501可以被提供在3D视频信号500中，其意图是指示图形信号502的显示深度。因此，这种偏移值也可以被用作2D次级视频信号304的显示深度的指示，特别地因为在相似的显示深度处显示图形信号502和2D次级视频信号304 二者可能对观看者而言是视觉愉悦的。在某些情况下，可能不期望清楚地区分所述信号；图形信号502的偏移值501于是可以用于确定用于2D次级视频信号304的明显不同的显示深度。2D次级视频信号304还可以被提供打算用于显示的元数据，例如字幕。在这种情况下，合并单元512可以进一步被安排用于进一步依据偏移值501合并字幕，使得2D次级视频信号304和对应的字幕在3D显示器上以相似的显示深度显示。此外，偏移值501可能不包括在3D视频信号500中，或者观看者可能更喜欢手动控制显示深度。在这种情况下，信号处理设备510可以另外地设有用于接收偏移值501的接收装置。该接收装置可以从回放控制程序接收偏移值501，或者可以使用例如用户接口或遥控器从观看者接收偏移值501。 图16是信号处理设备600的框图，其包括用于显示3D显示信号403的3D显示器601、用于从广播603接收3D视频信号300的广播接收器602、用于从互联网605接收3D视频信号300的互联网接收器604或用于从信息载体607读取3D视频信号300的读取器606的任意组合。信号处理设备600可以是例如可以装备有任何类型的3D或2D显示器的电视、监视器等。例如，信号处理设备600可以是自动立体3D电视，3D显示器可以是基于透镜的多视图3D显示器，并且该设备可以生成输入到3D显示器501所需的3D显示信号403。信号处理设备600还可以是例如蓝光播放器、蓝光记录器、机顶盒、个人计算机、硬盘记录器等，在此情况下该设备典型地不设有3D显示器601。而且，该设备可以仅设有下述中的一个或两个广播接收器602、互联网接收器604或读取器606。广播接收器602可以是例如用于接收地面站、卫星或有线广播的任何适当的类型。互联网接收器604也可以是任何适当类型，并且可以包括如例如ADSL、以太网、WLAN、UMTS等所需的调制解调器功能，或者可以是接口协议(例如TCP/IP)。读取器606可以是用于从信息载体607读取3D视频信号的任何适当类型，该信息载体607是任何适当类型，例如蓝光、DVD、闪存、ROM、RAM等。应当领会，为了清楚，上述描述已经按照不同的功能单元描述了本发明的实施例。然而，应当清楚，可以在不同功能单元或处理器之间使用任何适当的功能分配，而不脱离本发明。例如，要由单独的处理器或控制器执行的所说明的功能可以由相同的处理器或控制器来执行。因此，对特定功能单元的引用仅被视为对用于提供所描述的功能的适当装置的引用，而不是指示严格的逻辑或物理结构或组织。本发明可以以包括硬件、软件、固件或这些的任意组合的任何适当形式实现。本发明可以可选地至少部分地被实现为运行在一个或多个数据处理器和/或数字信号处理器上的计算机软件。本发明的实施例的元件和组件可以以任何适当方式物理地、功能地和逻辑地实现。事实上，所述功能可以在单个单元中、在多个单元中或作为其他功能单元的一部分而实现。这样，本发明可以在单个单元中实现或者可以在不同单元和处理器之间物理地和功能地分配。应当注意，当3D立体视频信号被缩放成例如3D初级视频信号的分辨率的四分之一时，这种缩放的3D立体视频信号提供的深度印象典型地也按比例缩小。一方面，这源于下述事实视差值(即缩放的3D立体视频信号的左和右图像之间的表观位移)按比例缩小。然而，另一方面，由于深度与视差成反比，该缩放的影响被加重。结果，缩放可能对深度印象具有显著影响。因此，可能特别有利的是当次级视频信号以低于3D初级视频信号的分辨率可用时，将次级视频信号存储为2D次级视频信号。特别地当2D次级视频信号以3D初级视频信号的分辨率的四分之一或更小被存储时，后者成立(hold)。本发明可以与多种PiP实现方式一起使用(比如真实画中画，其中2D次级视频信号的至少两个、三个或更多侧与3D初级视频信号邻近)，而且可以结合画和画使用。结合编码的偏移，本发明特别地有利于实现画中画，其中2D次级视频信号在3D初级视频信号内显示并且2D次级视频信号的至少两侧与3D初级视频信号邻近。当使用不规则成形的边界(t匕如无拘束边界)实现画中画时，后者保持尤其真实。在这样的应用中，在深度方向上的偏移可以帮助向没有偏移的情形提供优势，因为它使得2D次级视频信号能够被放置在合理深度的适当位置处。添加偏移的灵活性实现了 2D次级信号相对于3D初级视频信号的更灵活的合理深度定位。该灵活性实现了例如定位在技术上有利的位置处
-在3D初级视频的前面；或至少在直接邻近(即，在(x，y)空间接近)的3D视频前面，从而提供更自然的样子；即遮挡3D初级视频的2D次级视频实际上被定位在3D初级视频前面，
-接近3D初级视频信号中焦点的深度，从而利于观看者从观看3D初级视频信号切换到观看2D次级视频信号，
-接近零视差平面，从而提供最大的锐利度，和/或 -在如由例如内容的作者和/或内容的艺术总监确定的审美愉悦的位置处。通过提供适当的偏移控制，可以组合任何上述方案。偏移控制可以以不同的粒度级别来提供。例如，偏移控制可以基于每帧提供；从而允许2D次级视频信号的自适应布置，例如以便补偿3D初级视频信号中的动态；比如3D初级视频信号的深度的变化。然而，在这种情况下，时间连续性是相关的，并且变化的量优选地保持低于某阈值，该阈值可能但不必依赖于3D初级视频信号。可替代地，偏移控制可以在更高粒度上被控制，比如基于图画组被控制，以便提供更高效的编码，其中优选地该粒度对应于底层视频压缩标准的粒度。更可替代地，偏移控制可以在甚至更高的级别上被控制；比如基于每一镜头(shot);从而利于在视频信号的制作期间的偏移生成，并且也提供更高效的编码。尽管已经结合一些实施例描述了本发明，但是本发明并不旨在被限于本文所阐述的特定形式。相反，本发明的范围仅由所附权利要求限定。此外，尽管某特征可能看起来是结合特定实施例描述的，但是本领域技术人员将认识到所述实施例的各种特征可以根据本发明而组合。在权利要求中，术语包括不排除其他元件或步骤的存在。而且，尽管被单独列出，但是多个装置、元件或方法步骤可以由例如单个单元或处理器实现。此外，尽管单独的特征可以包括在不同的权利要求中，但是这些特征可以有利地被组合，并且所述包括在不同权利要求中并不暗示特征的组合不可行和/或不是有利的。一个类别的权利要求中包括特征并不暗示对该类别的限制，而是指示该特征视情况同样适用于其他权利要求类别。而且,权利要求中特征的顺序并不暗示这些特征必须按其工作的任何特定顺序，并且特别地方法权利要求中各个步骤的顺序并不暗示这些步骤必须以此顺序执行。相反，这些步骤可以以任何适当顺序执行。此外，单数引用并不排除多个。因此对、“一”、“一个”、“第一”、“第二”等的引 用不排除多个。权利要求中的附图标记仅被提供作为澄清的示例，而不应当被解释为以任何方式限制权利要求的范围。
权利要求
1.一种用于生成3D视频信号(300，500)以实现3D初级视频信号(301)和次级视频信号在3D显示器(601)上同时显示的方法(100，110，120，130)，该3D初级视频信号包括基础视频信号(302)和实现3D显示的辅助信号(303)，该3D视频信号是复用形式的视频流(310，315)，并且该方法包括以下步骤 -提供(101，131)作为所述次级视频信号的2D次级视频信号(304)； -格式化(111，121)所述基础视频信号(302)以生成基础视频流(311)； -格式化(112，122)所述辅助信号(303)以生成辅助流(312)； -复用(113，124)所述基础视频流与辅助流以生成所述视频流； -将所述2D次级视频信号(304)包括(114)在所述视频流中。
2.根据权利要求I的方法(110)，其中格式化(111)所述基础视频信号(302)的步骤包括复用所述基础视频信号与所述2D次级视频信号(304)以将该2D次级视频信号包括在所述基础视频流(311)中。
3.根据权利要求I的方法(110)，其中格式化(112)所述辅助信号(303)的步骤包括复用所述辅助信号与所述2D次级视频信号(304)以将该2D次级视频信号包括在所述辅助流(312)中。
4.根据权利要求I的方法(120)，该方法进一步包括格式化(123)所述2D次级视频信号(304)以生成2D次级视频流(313)的步骤，并且复用(124)的步骤包括将所述2D次级视频流与所述基础视频流(311)以及与所述辅助流(312 )复用以用于所述将2D次级视频信号包括在视频流(315)中。
5.根据权利要求I的方法(130)，该方法进一步包括将偏移值(501)包括(134)在3D视频信号(500)中的步骤，该偏移值指示在3D显示器(601)上所述2D次级视频信号(304)的显示深度。
6.根据权利要求5的方法(130)，其中所述2D次级视频信号(304)是从3D次级视频信号导出的，并且该方法进一步包括步骤依据所述3D次级视频信号的深度确定(133)偏移值(501)。
7.根据权利要求5的方法(130)，其中所述偏移值(501)是偏移值的流之一，并且其中该方法进一步包括步骤将3D视频信号(500)中的偏移值流包括在补充的增强信息消息中。
8.一种用于处理通过权利要求I的方法生成的3D视频信号(300)以实现3D初级视频信号(301)和次级视频信号在3D显示器(601)上同时显示的方法(200)，该3D初级视频信号包括基础视频信号(302)和实现3D显示的辅助信号(303)，该3D视频信号包括作为所述次级视频 目号的2D次级视频/[目号(304),该3D视频/[目号是复用形式的视频流(310，315),该视频流包括所述2D次级视频信号(304)并且包括与辅助流(312)复用的基础视频流(311)，该基础视频流以格式化形式包括基础视频信号(302)，该辅助流以格式化形式包括辅助信号(303)，并且该方法包括以下步骤 -从所述视频流(310，315)提取2D次级视频信号(304)； -从所述视频流(310，315)去复用基础视频流(311)和辅助流(312)； -从所述基础视频流(311)去格式化基础视频信号(302)； -从所述辅助流(312)去格式化辅助信号(303);-将所述2D次级视频信号与基础视频信号和辅助信号合并(202)以提供用于在3D显示器上以一定的显示深度显示所述2D次级视频信号的3D显示信号(403)。
9.一种计算机程序产品，包括用于使得处理器系统执行权利要求1-8中任一项的方法的指令。
10.一种用于实现3D初级视频信号(301)和次级视频信号在3D显示器(601)上同时显示的3D视频信号(300)，该3D初级视频信号包括基础视频信号(302)和实现3D显示的辅助信号(303)，该3D视频信号包括作为所述次级视频信号的2D次级视频信号(304)，该3D视频信号是复用形式的视频流(310)，该视频流包括所述2D次级视频信号(304)并且包括与辅助流(312)复用的基础视频流(311)，该基础视频流以格式化形式包括所述基础视频信号(302 )，而该辅助流以格式化形式包括所述辅助信号(303 )。
11.根据权利要求10的3D视频信号(300)，其中该3D视频信号包括初级信号分量(321)和次级信号分量(322)，该初级信号分量包括被格式化用于单独传输该初级信号分量的基础视频信号(302)，并且该次级信号分量包括被格式化用于单独传输该次级信号分量的2D次级视频信号(304)。
12.—种包括权利要求10或11的3D视频信号的信息载体(320)。
13.一种用于生成3D视频信号(300)以实现3D初级视频信号(301)和次级视频信号在3D显示器(601)上同时显示的信号生成设备(350)，该3D初级视频信号包括基础视频信号(302)和实现3D显示的辅助信号(303)，该3D视频信号是复用形式的视频流(310，315)，并且该设备包括 -提供装置(351)，用于提供作为所述次级视频信号的2D次级视频信号(304)； -以及格式化单元(352)，其用于 -格式化所述基础视频信号(302)以生成基础视频流(311)； -格式化所述辅助信号(303)以生成辅助流(312)； -复用所述基础视频流与辅助流以生成所述视频流； -将所述2D次级视频信号(304)包括在所述视频流中。
14.一种用于处理由权利要求13的信号生成设备生成的3D视频信号(300，500)以实现3D初级视频信号(301)和次级视频信号在3D显示器(601)上同时显示的信号处理设备(400, 410，420，510，600)，该3D初级视频信号包括基础视频信号(302)和实现3D显示的辅助信号(303)，该3D视频信号包括作为所述次级视频信号的2D次级视频信号(304)，该3D视频信号是复用形式的视频流(310，315)，该视频流包括所述2D次级视频信号(304)并且包括与辅助流(312)复用的基础视频流(311)，该基础视频流以格式化形式包括所述基础视频信号(302 )，该辅助流以格式化形式包括所述辅助信号(303 )，并且该设备包括 -去复用单兀(411，421),用于从视频流去复用基础视频流和辅助流； -去格式化单元(412，422)，用于从基础视频流去格式化基础视频信号、从辅助流去格式化辅助信号以及从视频流提取2D次级视频信号； -以及合并单元(402，512)，用于将2D次级视频信号与基础视频信号和辅助信号合并以提供用于在3D显示器上以一定的显示深度显示2D次级视频信号的3D显示信号(403，513)。
15.根据权利要求14的信号处理设备(410)，其中所述基础视频流(311)以格式化形式包括与2D次级视频信号(304)复用的基础视频信号(302)，并且去格式化单元(412)进一步被安排用于从基础视频流去复用基础视频信号和2D次级视频信号。
16.根据权利要求14的信号处理设备(410)，其中所述辅助流(312)以格式化形式包括与2D次级视频信号(304)复用的辅助信号(303)，并且去格式化单元(412)被进一步安排用于从辅助流去复用辅助信号和2D次级视频信号。
17.根据权利要求14的信号处理设备(420)，其中所述视频流(315)包括与基础视频流(311)以及与辅助流(312)复用的2D次级视频流(313)，该2D次级视频流以格式化形式包括2D次级视频信号(304)，所述去复用单元(421)被进一步安排用于去复用2D次级视频流，并且所述去格式化单元(422)被进一步安排用于从2D次级视频流去格式化2D次级视频信号。
18.根据权利要求14的信号处理设备(510)，其中所述3D视频信号(500)进一步包括指示2D次级视频信号(304)在3D显示器(601)上的显示深度的偏移值(501)，并且其中所述合并单元(512)进一步被安排用于依据该偏移值合并2D次级视频信号与基础视频信号(302)和辅助信号(303)。
19.根据权利要求18的信号处理设备(510)，其中所述3D视频信号(500)进一步包括图形信号(502)，并且其中所述偏移值(501)指示所述图形信号在3D显示器(601)上的显示深度。
20.根据权利要求18的信号处理设备(510)，其中所述偏移值(501)是补充的增强信息消息中的3D视频信号(500)中所包括的偏移值的流之一。
21.根据权利要求14的信号处理设备(600)，该设备进一步包括下述至少一个用于显示3D显示信号(403)的3D显示器(601)、用于从广播(603)接收3D视频信号(300)的广播接收器(602)、用于从互联网(605)接收3D视频信号的互联网接收器(604)或用于从信息载体(607)读取3D视频信号的读取器(606)。
全文摘要
本发明涉及一种用于生成三维(3D)视频信号以在3D显示器上实现3D初级视频信号和次级视频信号同时显示的方法，该3D初级视频信号包括基础视频信号和实现3D显示的辅助信号，并且该方法包括以下步骤提供作为所述次级视频信号的二维(2D)次级视频信号；以及格式化基础视频信号、辅助信号和2D次级视频信号以生成3D视频信号。
文档编号H04N13/00GK102640506SQ201080056829
公开日2012年8月15日 申请日期2010年12月10日 优先权日2009年12月14日
发明者D.D.R.J.博利奥, P.S.纽顿, W.德哈安 申请人:皇家飞利浦电子股份有限公司