专利名称：3d视频广播中的辅助数据的制作方法
技术领域：
本发明涉及一种处理三维[3D]视频信息的方法，所述3D视频信息包括3D视频数据和辅助数据，所述3D视频数据包括将被显示给观看者的各个眼以便生成3D效果的至少左视图和右视图，所述辅助数据被安排为在所述3D视频数据上的覆盖范围中显示，所述方法包括
-根据主安排中的2D传输格式将所述左视图和所述右视图的3D视频数据安排在针对主视频数据的2D帧中， -提供用于向接收器指示参数的控制数据，以便使所述接收器能够再现所述主视频数据和覆盖所述辅助数据，
-组装包括所述主安排中的3D视频数据、所述辅助数据和所述控制数据的数据传输流以用于传输。本发明进一步涉及一种用于处理3D视频信息的设备、用于传送3D视频信息的信号和用于处理三维[3D]视频信息的接收器。本发明涉及3D视频广播领域。来自娱乐业的数量增长的作品正瞄准3D电影院。这些作品使用主要旨在用于眼镜辅助观看的两视图格式(将显示给观看者的各个眼睛以便生成3D效果的左视图和右视图)。行业中存在对将这些3D作品带到家庭中的关注。同样，广播公司已开始对3D内容特别是实况运动事件的实验性传输。当前，针对数字视频广播(DVB)的标准正被调整为适于传送立体内容。当然在早期，将被使用的格式将是通常所使用的立体格式，所述立体格式包括将显示给观看者的各个眼睛以便生成3D效果的至少左视图和右视图，所述两个视图的数据例如以并排(SBS)或上下(TB)安排被格式化到2D视频帧中。包含所述3D左和右视图的所述2D帧经由现有(2D)视频信道被发送和接收。用于生成2D视频数据的系统和设备是已知的，例如视频服务器、广播工作室或创作设备。当前需要用于提供3D图像数据的类似3D视频设备，以及，正在提出用于渲染(render)所述3D视频数据的补充3D视频设备,诸如处理接收的3D视频信号的机顶盒。所述3D视频设备可以耦接到诸如电视机或监视器的显示设备，以便经由合适的接口传送所述3D视频数据，所述接口优选是例如HDMI的高速数字接口。所述3D显示器还可以与所述3D视频设备集成，例如具有接收部件和3D显示器的电视(TV)。
背景技术：
国际公共标准 IS0/IEC 14496-10 “Information technology - Coding ofaudio-visual objects - Part 10: Advanced Video Coding，，第五版 2009-05-15,描述了例如用于数字视频广播(DVB)的视频信息的数字编码。视频数据定义将被显示的主视频的内容。辅助数据定义任何可以与主视频数据结合在一起被显示的其它数据，例如图形数据或字幕。所述标准以及进一步的相关文档还定义用于向接收器指示参数的控制数据，以便使接收器能够再现主视频数据和覆盖辅助数据，以及组装包括视频数据、辅助数据和控制数据的数据传输流以用于传输。AVC标准是一个示例；例如MPEG-2视频可以还用于高清，如在ISO/IEC 13818-2运动图像(moving pictures)和关联音频信息的一般编码视频，中描述的那样。为实现对3D视频数据进行编码和传送，正在对上面的标准进行调整。特别地，已提议定义一种系统，所述系统用于指示3D视频信息经由2D视频信道被传输，被格式化到2D视频帧中，例如以所述并排(SBS)或上下(TB)的安排。因此，3D视频数据具有将显示给观看者的各个眼睛以便生成3D效果的至少左视图和右视图，以及辅助数据被安排在3D视频数据上的覆盖范围中显示。根据主安排中的2D传输格式将左视图和右视图的3D视频数据格式化到用于主视频数据的2D帧中。例如，在针对上面的ISO标准的修正案中，已提议通过定义新的补充增强信息(SEI)消息来扩展被称为SEI消息的控制数据消息，其中，该新SEI消息指示视频数据的左和右视图在2D视频帧中的空间交织以用作立体视频递送。所述空间交织可以例如是所述并排(SBS)或上下(TB)安排，或棋盘交织。
发明内容
所提出的经由2D视频信道的3D视频信息传送使主视频数据能够以3D被传送。然而，诸如字幕的任何辅助数据必须也被传送，例如使用用于字幕的DVB标准ETSI EN 300743-数字视频广播(DVB);字幕系统。应当指出，所述辅助数据被单独进行传送，例如在传输流中的辅助数据流中。被DVB提到的所述传输流的示例在以下标准中定义IS0/IEC13818-1运动图像和关联音频信息的一般编码系统。在接收端提供通常基于由用户选择的设置的辅助数据覆盖。可以考虑与主视频类似地例如也以SBS方式将辅助数据格式化到辅助安排中。然而，所述格式可以导致接收器处的困难或额外成本。本发明的目的是提供一种用于传送包括辅助数据的3D视频信息的系统，该系统避免所述接收器处的困难和额外成本。为此，根据本发明的第一方面，所述方法如在开篇描述的那样，进一步包括
-提供将被覆盖在所述3D视频数据的左视图和右视图上的辅助数据的辅助左视图和辅助右视图，和所述辅助数据的2D版本，以及辅助差异数据，其中，所述辅助差异数据指示当被覆盖在所述左视图和所述右视图上时将应用于辅助数据的所述2D版本的差异，
-根据对应于所述主安排的辅助安排中的2D传输格式，将所述辅助左视图和所述辅助右视图的辅助数据安排在辅助数据流中，
-将所述2D版本的辅助数据安排在进一步的辅助数据流中，
-在所述传输流中包括所述进一步的辅助数据流、所述辅助差异数据和差异格式指示符，其中，所述差异格式指示符指示所述进一步的辅助数据流。为此，根据本发明的进一步的方面，提供一种包括视频处理器的设备，其中，所述视频处理器用于
-根据主安排中的2D传输格式，将所述左视图和所述右视图的3D视频数据安排在用于主视频数据的2D帧中，
-提供用于向接收器指示参数的控制数据，以便使所述接收器能够再现所述主视频数据和覆盖所述辅助数据，
-组装包括所述主安排中的3D视频数据、所述辅助数据和所述控制数据的数据传输流以用于传输，所述视频处理器被进一步安排用于
-提供将被覆盖在所述3D视频数据的左视图和右视图上的辅助数据的辅助左视图和辅助右视图，和所述辅助数据的2D版本，以及辅助差异数据，其中，所述辅助差异数据指示当被覆盖在所述左视图和右视图上时将应用于辅助数据的所述2D版本的差异，
-根据对应于所述主安排的辅助安排中的2D传输格式，将所述辅助左视图和辅助右视图的所述辅助数据安排在辅助数据流中，
-将所述2D版本的辅助数据安排在进一步的辅助数据流中，
-在所述传输流中包括所述进一步的辅助数据流、所述辅助差异数据和差异格式指示符，其中，所述差异格式指示符指示所述进一步的辅助数据流。同样，一种信号包括根据主安排中的2D传输格式的、用于主视频数据的2D帧中的所述左视图和所述右视图的3D视频数据；用于向接收器指示参数的控制数据，以便使所 述接收器能够再现所述主视频数据和覆盖所述辅助数据；以及包括所述主安排中的所述3D视频数据、所述辅助数据和所述控制数据的数据传输流以用于传输，所述信号进一步包括
-将被覆盖在所述3D视频数据的左视图和右视图上的辅助数据的辅助左视图和辅助右视图，以及所述辅助数据的2D版本，以及辅助差异数据，其中，所述辅助差异数据指示当被覆盖在所述左视图和所述右视图上时将被应用于辅助数据的所述2D版本的差异，
-根据对应于所述主安排的辅助安排中的2D传输格式的、辅助数据流中的所述辅助左视图和所述辅助右视图的辅助数据，
-进一步的辅助数据流中的所述2D版本的辅助数据，
-以及，所述传输流中的所述进一步的辅助数据流、所述辅助差异数据以及差异格式指示符，其中，所述差异格式指示符指示所述进一步的辅助数据流。同样，一种接收器包括用于接收所述信号的输入单元和视频处理器，所述视频处理器用于从所述进一步的辅助数据流检索所述辅助数据，同时丢弃在所述辅助数据流中提供的所述辅助安排中的所述辅助数据，以及，基于所述辅助数据的2D版本和所述辅助差异数据生成用于在所述3D视频数据上的覆盖范围中显示的覆盖数据。同样，一种用于处理3D视频信息的计算机程序产品，其可运行为导致处理器执行如上面所定义的方法。所述控制数据可以包括指示视频格式(SBS、TB等)的控制数据和包含所述辅助数据的差异的控制数据这两者。所述措施具有这样的效果在对应于所述主视频安排的辅助安排中传递所述辅助数据。除此之外，同时还结合辅助差异数据在2D版本中传递所述辅助数据，其中，所述辅助差异数据指示当被覆盖在所述左视图和所述右视图上时将被应用于辅助数据的所述2D版本的差异。辅助数据的所述双重传输使任何接收器都能够检索辅助数据集合，所述辅助数据集合有助于对主视频和辅助数据的结合的方便3D渲染。有优势地，使遗留2D接收设备和新颖3D接收设备这两者都能够基于辅助数据的所述双重传输高效运行。此外，尽管被打包到所述辅助安排中的所述辅助视图的质量由于所述打包的降低的分辨率而可能是有限的，但由于具有完全分辨率的辅助差异数据和所述2D版本的出现，实现了渲染所述辅助信息的高质量。本发明还基于以下认识。在通过将所述左视图和右视图的主视频帧打包到单一2D帧中而将现有2D传输系统扩展为用于3D时，可以存在看来类似的用于辅助数据的解决方案，即，通过例如并排地使用与所述主视频数据类似的辅助安排。发明人已注意到，该安排可以被普通视频处理体系结构处理，其中，所述普通视频处理体系结构通过首先对所述主视频和辅助数据进行解码以及然后进行覆盖来处理到来的主视频。直到此时为止，信号被当作2D信号，并且随后，将其缩放为所需的屏幕分辨率进行显示。如果所述3D视图被安排在所述2D帧中，则对缩放的步骤进行修改。假设所述左和右帧的顺序显示用于被相应眼睛经由快门眼镜(shutter glasses)进行观看。首先,所述左视图部分,例如采用SBS的中贞的左半边，被取得，被粗化至屏幕分辨率并被显示。接下来，所述右视图部分，例如采用SBS的帧的右半边，被取得，被粗化至屏幕分辨率并被显示。在实践中，当使用遗留2D机顶盒(STB)和3D TV时，所述体系结构可以出现。所述机顶盒首先生成待显示的显示数据，例如以经由诸如HDMI的数字接口被传递。3D TV接收仍然采用SBS格式的所述显示数据。所述STB将把所述SBS辅助数据覆盖在SBS主视频上； 所述3D TV将分离都被覆盖了相应的辅助数据的所述左视图和所述右视图。然而，发明人已注意到，在其它3D接收器中，不同的体系结构可以出现。所述主视频数据被首先进行分析，并且，当左和右视图被安排在2D帧格式中时，所述视频数据被首先从2D帧中检索出并分离，以及随后被(重新)缩放以便再生成完全的左和右视图。已选择的辅助数据流可以然后被覆盖在所述左和右视图上。使用所述辅助安排中的所述辅助数据现在必需另外的步骤，诸如选择相应部分和粗化所述辅助数据。然而，具有完全分辨率的所述辅助数据的2D版本在不进行任何缩放的情况下被直接覆盖。相同的辅助数据被覆盖在所述左和右视图这两者上，仅在水平位置上相差称为差异的预定义的量。所述差异导致所述辅助数据的对应深度位置。当覆盖所述辅助数据的2D版本时将被应用的所述差异的值可直接经由所述辅助差异数据获得，所述辅助差异数据也被包括在所述传输流中。有优势地，可以进一步基于屏幕尺寸、观看距离或者进一步的观看参数或偏好对所应用的差异进行调整。下面参考图2至4提供对在渲染所述3D视频数据和辅助数据时各种处理环境的问题的详细阐述。通过分析各种视频处理体系结构，发明人已注意到，在首先覆盖所述辅助数据并随后应用从所述2D帧中检索所述视图和进行缩放的体系结构中，处理所述2D和差异格式看来有问题。在所述体系结构中，必须添加另外的覆盖步骤，该步骤需要大量另外的处理硬件和/或软件。此外，所述辅助安排导致所述辅助数据的较低分辨率。发明人已研究所述降低的分辨率的影响，其看来对诸如图形对象或字幕的辅助数据更明显，而3D中的主视频较少受降低的分辨率的限制。所提出的解决方案，即，通过将所述辅助安排和带有辅助差异数据的所述2D版本这两者中的辅助数据包括在所述传输流中来改变所述传输系统，方便地消除了实践中使用的所述视频处理体系结构中的各种问题和缺点，同时在许多情况下允许经由软件更新对2D处理设备的升级。最后，应当指出，通过添加同一辅助数据的第二版本而扩大经由所述传输流传递的数据量可以认为与常识相悖，但鉴于较小额外数据量和在使各种接收器体系结构适应高效地在3D视频上覆盖辅助数据时的重大优势，其仍然是可接受的。在用于传递3D视频信息的系统的一个实施例中，所述控制数据包括根据所述2D传输格式的3D扩展的3D格式指示符，该指示符指示所述左视图和所述右视图的所述3D视频数据在所述2D帧中的安排。这具有优势接收器直接知道2D帧中的3D视频数据的出现和格式。在系统的一个实施例中，所述辅助安排仅由指示所述主安排的3D格式指示符指示。应当指出，所述辅助数据流实际上被不同于普通2D辅助数据流地进行格式化，而不存在任何另外或修改的指示所述差别的信令。这是有利的，因为所述视频传递信道中的任意遗留2D部件将不知道所述差别，并且将正常地传递或处理所述辅助数据。此外，根据本发明的新颖接收器可以基于检测所述主视频数据的安排来适应3D辅助数据，并对所述辅助数据应用对应的安排。在系统的一个实施例中，所述辅助差异数据包括用于所述覆盖范围中的至少一个区域的区域差异数据，所述区域差异数据指示当被覆盖在所述左视图和右视图上时在相应区域中所述辅助数据的差异。这具有优点区域的差异数据被高效地传递。在系统的一个实施例中，所述辅助数据流包括对象，所述对象定义将被覆盖的图形对象的像素数据，并且，所述辅助数据流和所述进一步的辅助数据流包括对相同对象的引用，以便在所述辅助左视图、所述辅助右视图和/或所述辅助数据的2D版本之间共享所述各个相同的对象。所述对象定义实际像素数据，即，将被覆盖的图形数据的低层表示。所述实际像素数据需要辅助数据的全部中的较大部分。发明人已注意到，尽管字幕的左和右视图在所述辅助安排中必须被合并，但是，在维持DVB标准的约束的同时，相同对象可以在这两个视图中被使用。在所述标准的进一步扩展或其它系统中，所述对象可以还被用于所述2D版本，因为所述2D版本的内容等于所述左和右辅助视图安排的集合。在此情况下，所述对象可以被缩放为适应所述2D版本以及所述辅助左和右视图。有利地，额外辅助数据流总共所需的额外数据传递容量较小，因为所述对象被共享，并且对于相应图像覆盖必须被传送仅一次。在所附权利要求中给出了根据本发明的设备和方法的进一步优选实施例，所附权利要求的公开通过引用包含于此。在针对特定方法或设备的从属权利要求中定义的特征对应地适用于其它设备或方法。
通过参考以下描述中作为示例描述的实施例和参考附图，本发明的这些和其它方 面将从中显而易见和被进一步阐明，其中
图1A示出了用于传送三维(3D)视频信息的系统，
图1B示出了 3D视频数据和辅助数据，
图2示出了接收设备中的视频处理系统，
图3示出了 3D视频和辅助数据的安排，
图4示出了处理辅助安排，
图5示出了页面组成结构，
图6示出了组件描述符(的一部分)，
图7示出了显示清晰度结构，
图8示出了区域组成结构，
图9示出了用于立体差异描述符的段类型，图10示出了定义差异的分组化基本流(PES)数据分组，以及 图11示出了针对PES分组的数据标识符值。附图是纯示意性的，并且未按比率绘制。在附图中，对应于已描述元素的元素具有相同标号。
具体实施例方式图1A示出了用于传送三维(3D)视频信息的系统。该系统具有发送器100，该发送器100提供将经由广播网络130发送的信号104。接收器110在输入单元112的输入111上从广播网络接收信号。接收器向3D显示设备120提供显示数据114，其中，3D显示设备120例如是3D TV或3D投影系统。接收器可以是单独的设备，诸如机顶盒(STB)或卫星接收器。可替换地，接收器110和3D显示器120被合并到单一设备中，该单一设备诸如是内置了数字调谐器和3D处理器的数字3D TV0所述系统被安排为传送包括3D视频数据和辅助数据的3D视频信息105。例如在 接收器100的主输入101上提供的3D视频数据包括将显示给观看者的各个眼睛以便生成3D效果的至少左视图和右视图。例如在接收器100的辅助输入102上提供的辅助数据被安排为在3D视频数据上的覆盖范围中显示，例如是字幕。应当指出，可以包括辅助数据的多个流。在发送器侧，所述系统提供下面的功能。所述功能可以在发送器中的视频处理器103中被实现，但还可以在基于专用计算机程序的创作系统中被执行。通过根据主安排中的2D传输格式将左视图和右视图的3D视频数据安排在用于主视频数据的2D帧中，对主视频进行处理。3D视频数据在2D帧中的所述打包通常称为帧打包。根据适用的传输标准，系统提供用于向接收器指示参数的控制数据，以便使接收器能够再现主视频数据和覆盖辅助数据。最后，组装信号104中的数据传输流，包括经由广播网络130传输的控制数据、主安排中的3D视频数据和辅助数据。所述系统进一步涉及提供将被覆盖在3D视频数据的左视图和右视图上的辅助数据的辅助左视图和辅助右视图，以及，根据对应于主安排的辅助安排中的2D传输格式将辅助左视图和辅助右视图的辅助数据安排在辅助数据流中。辅助数据流被包括在上面指示的传输流中。在一个实施例中，例如辅助左视图和辅助右视图中并排的字幕的辅助安排被填入可用于字幕的数据空间中。在DVB中，借助于显示清晰度段，可以设置显示配置。在全HD服务中，存在3个使用DVB字幕的选项
a)图形分辨率是720 X 576，并且被向上转换为全HD分辨率的服务。b)图形分辨率是720X576，并且被放置在全HD视频的中央。c)图形分辨率是1920X 1080，与HD服务的分辨率相同。在a)中，一个视图仅具有360个用于字幕的像素，因为屏幕必须被拆分为两半。360个像素通过粗化(upscaling)被伸展到屏幕宽度，因此分辨率较低。对于DVB，选项b导致字幕仅在左和右视图的一小部分(少于一半)上。选项c)如此精细。然而，进一步的限制被列出，例如，将要使用最大720个像素的实际显示的区域，以及在水平线上仅允许一个区域(没有任何区域彼此相邻)。然而，至少一个或两个限制都可以被消除，以便如果必要则在固件升级之后以提高的质量水平提供将被覆盖在SbS主视频上的SbS字幕。另外，辅助数据的2D版本和辅助差异数据也被包括在传输流中，其中，辅助差异数据指示当被覆盖在左视图和右视图上时将被应用于辅助数据的2D版本的差异。因此，包括了相同辅助数据的第二版本，例如安排在单独的进一步辅助数据流中。应当指出，有利地，进一步的辅助数据流可以遵循2D传输格式，以便不干扰也接收信号的遗留2D接收器。然而，可以将辅助差异数据存储在传输流中可用的数据结构中的各种位置中，如下面阐述的那样。最后，进一步的辅助数据流、辅助差异数据和差异格式指示符被包括在传输流中。差异格式指示符指示进一步的辅助数据流，例如，指示进一步的辅助数据流中辅助数据的出现和特定格式。如上面所描述的用于传送3D视频信息105的信号104经由广播网络130被传送，其中，广播网络130例如是公共TV传输网络、卫星网络、互联网等。在信号中，传输流代表3D视频信息105。根据主安排中诸如DVB的2D传输格式安排主视频数据的2D帧中的左视图和右视图的3D视频数据。另外，可以扩展2D传输格式，其是通过添加用于3D视频信息 的数据结构的定义和对应的控制数据，所述控制数据用于向接收器指示参数以便使接收器能够再现主视频数据和覆盖辅助数据。数据传输流包括主安排中的3D视频数据、辅助数据和控制数据以用于传输。信号进一步包括如上面所描述的辅助左和右视图以及辅助数据的2D版本以及辅助差异数据。根据对应于主安排的辅助安排中的2D传输格式将辅助左视图和辅助右视图的辅助数据打包到辅助数据流中，以及，将2D版本的辅助数据打包到进一步的辅助数据流中。传输流包含进一步的辅助数据流、辅助差异数据和差异格式指示符，其中，差异格式指示符指示进一步的辅助数据流。接收器110具有用于从广播网络接收信号的输入单元112，如上所述。传输流被检索并耦接到视频处理器113，以便从进一步的辅助数据流中检索辅助数据，同时丢弃辅助数据流中提供的辅助安排中的辅助数据。如下面详细阐述的那样，视频处理器进一步基于辅助数据的2D版本和辅助差异数据生成用于在3D视频数据上的覆盖范围中显示的覆盖数据。图1B示出了 3D视频数据和辅助数据。视频数据具有左视图150和右视图151。两个视图都被示为具有辅助信息的覆盖。左视图具有辅助数据160，该辅助数据160是在水平起始位置X处示出的表明红色和绿色的字幕，以及，右视图具有辅助数据161，即在水平起始位置X-n处示出的同一字幕。值η代表字幕的左与右版本之间的差异。该图示出了立体图像，作为具有组合在视频之上的2D字幕的电影中的立体帧的代表，同时应用水平偏移η来设置字幕的深度。用于广播立体视频的主要内容递送平台中的一个是普通数字电视频道，在本文档中进一步称为数字视频广播(DVB)。DVB应用各种针对陆地、线缆、卫星和移动的、用于音频/视频、图形(字幕等)和交互式应用(HTML/XML的Java应用)的传输和关联信令的标准。显示技术的当前进步正使得可能为大量市场观众引入3D视频。因此，为实现3D内容的广泛分发，DVB标准应当被扩展为允许3D内容的广播。3D内容相比于2D内容必需多得多的存储、带宽和处理。因此，正在研究这样的解决方案，所述解决方案以最小额外成本提供3D体验，并且与机顶盒(STB)的当前安装基础兼容。正研究的解决方案中的一个是将现有高级机顶盒扩展为，允许其通过将立体图像的左和右视图按帧打包在2D帧中来回放3D。立体视频还必需诸如字幕的立体辅助数据。在本文档中，将使用字幕作为辅助数据的示例。辅助数据可以进一步是将被覆盖在主视频上的任意类型的额外图形数据。在决定在视频之上的水平、竖直和深度方向上的何处放置字幕时，字幕在立体视频上的覆盖需要特别小心。如果未正确地完成，则字幕覆盖可以干扰背景视频导致视觉假象(artifacts),并且在字幕的边界处创建冲突的深度暗示。当在字幕的位置处字幕的深度小于视频的深度时，这可能发生。字幕阻隔视频的部分，因此大脑预期字幕在视频的前面。此夕卜，因为字幕被复制到视频之上，所以看起来就像在字幕边缘处字幕刺穿视频创建假象。字幕的正确放置可以经由以下来完成改变立体字幕的左和右图像的差异，以及确保该差异或“深度”比视频的深度更靠近观看者。这样调整字幕的差异的缺点是，其必需在创作期间对图像进行处理，以及，其必需使用立体字幕，这使回放设备中的带宽和处理加倍。一种可替换方法是使用2D字幕，并且将字幕复制到立体视频的左和右图像这两者之上。这经由以下来起作用将字幕复制到立体视频的左图像部分上，并且在将其复制到 立体视频的右图像部分上之前在水平方向上移动该字幕。通常称为差异的、左和右视图之间对象的水平位移量确定字幕的深度，并且该值应当高于字幕位置处视频的差异。伴随对基于DVB的系统实现立体字幕的问题是与现有2D视频分配链的兼容性。一个选项是使用这样的立体字幕，所述立体字幕使用与视频相同的打包格式，例如上下、并排等。在本文档中将所述打包称为辅助安排。图2示出了接收设备中的视频处理系统。设备可以例如是数字电视机或机顶盒。输入单元201包括用于例如从线缆网络、卫星天线等接收视频广播信号的解调器。解调器从输入信号中检索传输流，其耦接到解多路复用器单元202，其还可以包括用于从传输流中检索各种数据流和控制数据的解扰器。数据流被耦接到用于对视频和音频数据进行解码的主解码器203以及用于对辅助数据和控制数据进行解码的辅助解码器204。所述解码器和进一步的单元经由系统总线209耦接到中央处理单元(CPU)、图形处理器206、存储器207以及例如根据HDMI或LVDS等的输出级208。在某些实现中，视频和字幕的处理管道是不同且分离的。例如A/V解码和图形处理(过滤操作等)的处理和高带宽操作在专用ASIC中完成，而例如字幕的低带宽信息的处理由低功耗通用处理器完成。直到处理管道完全结束之前，字幕和视频都不被合并(combine)。因为在某些实现中，图200中的几个框被合并到单一硬件单元中，所以对于结合3D视频提供字幕可能出现某些无法预料的问题。如果不存在任何用于字幕的信令并且字幕是2D的，则回放设备将假设字幕应当被复制到视频的左和右这两边上，在所述情况下，字幕将被放置在屏幕深度处，并且，如果字幕位置处的立体视频来到屏幕之外则可以干扰立体视频。已提议在左和右字幕之间具有合适差异的情况下使用立体字幕，从而立体字幕出现在视频前面。对于字幕，将使用与用于视频的相同的打包方法，以便使得可能在现有的用于2D的分配链中传送字幕。如上面所述，辅助数据被打包到对应于3D视频数据的主安排的辅助安排中。图3示出了 3D视频和辅助数据的安排。该图示出了立体视频的左视图301和右视图302。在水平方向上按50%对视图301、302进行二次抽样，以便适应一个2D帧303。主安排的打包方法称为并排(SBS)。诸如上下或棋盘的其它安排也是可能的。同样的安排被应用于左视图304和右视图305中的字幕，其导致辅助安排306。主和辅助安排这两者都然后被传送给接收设备，所述接收设备例如是具有集成接收器的诸如机顶盒或TV的回放设备。在例如实现了 3D的TV的、具有集成接收器的回放设备的一个实施例中，视频处理器体系结构可以根据图2，其中框206和203被集成在一个ASIC中。首先讨论在不应用本发明的情况下所述实施例的失灵。在ASIC中，SBS视频帧307将被拆分成左部分308和右部分(未示出)。首先，左部分在被复制到帧缓冲器之前被复制并粗化(upscale)回其初始尺寸309。在实施例中，字幕将由框205、CPU进行处理，并被复制到帧缓冲器中视频之上。针对左帧的错误结果在图310中示出，因为是在字幕被添加之前对视频实施缩放和处理，所以被合并的左和右已合并SBS字幕以都在左帧上告终。对于右帧，可以发生相同的情况。
为避免上面的错误结果，为回放设备的一个实施例配备了修改的处理顺序。必须在SBS视频和字幕的左和右图像部分被复制到帧缓冲器并缩放回初始尺寸之前，将SBS字.复制到SBS视频上。图4示出了处理辅助安排。该图给出了使用上面修改的处理顺序的处理的表示。首先，主安排401中的视频被示为由A/V解码器203进行解码，其被复制到帧存储器中。辅助安排404中的字幕由数据解码器204进行解码，并随后被CPU 205复制到帧存储器中视频图像上。然后，对于立体输出的左帧，图形处理器206复制合并了视频和字幕的帧存储器的左部分，如由矩形402所示。然后，图形处理器206将所述左部分扩展至其初始尺寸，并且将结果复制到输出帧缓冲器中。已示出了产生的左视图403。应当指出，如在左视图403中可见，输出上的字幕的质量有限。这是合理的，因为已在发送之前按50%对字幕进行了二次采样，并在回放设备中粗化至正常尺寸。此外，在通常可用的回放设备中，改变处理步骤的顺序以允许与视频一起对字幕进行处理是不简单的，因为系统总线209的带宽不是高到足以支持视频图像数据向ASIC和从ASIC到存储器的频繁复制。因此，尽管该安排提供正确的字幕，但可能不是在每种情况下都令人满意。由于在不同回放设备中字幕和视频被处理所采用的方式不同，所以出现上面的问题。为提供改进的字幕和高效的处理，已提议在辅助安排中不仅使用立体字幕，而在流中另外还提供2D字幕和信令，使得回放设备可以确定如何在没有由深度冲突导致的假象的情况下将字幕合成在立体视频之上。在诸如DVB系统的实践系统中，存在几种用于发送例如字幕的图形或文本的方式。最常见的是使用DVB字幕标准(ETSI EN 300 743)或如在广播简档MHEG-5 (多媒体&超媒体专家组；ETSI ES 202 184)所描述的额外数据，其它方法可以使用电视文本(teletext)。可以如在DVB-SI标准(DVB服务信息规范；ETSI EN 300 468)中定义的那样发送信令参数。所述系统需要一种解决方案，所述解决方案用于指示，如何以不需要对遵循DVB的回放设备的现有硬件平台进行修改的方式将例如字幕的图形覆盖在立体视频上。在下面的小节中，讨论用于辅助数据和辅助差异的信令格式的各种选项。在遵循DVB的机顶盒或TV中，由低功耗通用处理器与视频分离地对字幕进行处理，其还承担在信令参数被发送时检测和解释信令参数的责任。因此，合适的解决方案是，与在视频基本流中发信令相反，在字幕流内或字幕信令中承载差异信令。
DVB字幕标准定义三种类型的称为段的信令信息来信号通知文本或图形对象的放置。显示清晰度段信号通知预期的显示尺寸。页面组成信号通知文本和图形如何被放置在视频帧上。区域组成段将帧划分为两个不覆盖的区域。包含文本或图形的对象可以在不同页面和区域中被使用和重用。因为在DVB字幕中，区域可以被放置在帧中的不同位置处，所以针对该区域中的图形或文本的每区域差异可以不同。在一个实施例中，例如作为偏移参数按区域对辅助差异进行传递。下面描述以兼容方式完成此的选项。所需的偏移量可以相当有限，100个像素的左图像与右图像之间的差异通常将足够。由于移位可以被对称地完成，所以保存差异的字段仅需要指示像素移位的一半。因此，6位应当足够用于多数用途。图5不出了页面组成结构。该图不出了以一系列字段表不页面组成结构50的表。指示了段类型和段长度，以及在字段page_id中指示了结构应用于的页面。在一个实施例中，差异数据的出现在进一步的字段reservedA 51中指示。 在一个实施例中，辅助差异数据包括针对覆盖区域中的至少一个区域的区域差异数据，其指示当被覆盖在左视图和右视图上时相应区域中的辅助数据的差异。图5中的表在While循环中示出了许多区域的定义。对于每个区域，提供了字段region_id中的标识以及水平和竖直地址字段中的位置。在一个实施例中，辅助数据流包括页面组成结构50，所述页面组成结构50定义将被显示在覆盖区域中的辅助数据的页面的组成。页面组成结构50具有至少一个区域定义53，区域定义53定义相应区域的位置和区域差异数据。考虑图7中的显示清晰度段和图8中的区域组成段，可以看到仅有不足以用于精确指示差异字段的少量可用位。然而，在图5中所示的页面组成段中，存在每区域的循环，该循环定义一系列区域定义53。在该针对每区域的循环中，字段reservedB 52中保留了8位。所述8位足以指示应用于该区域的差异或偏移。辅助差异的值在进一步的字段reservedB 52中指示。在该字段中，Subtitle_disparity差异对于正差异(将左视图向左以及右视图向右移位)可以由0-127表示以及对于负差异可以(将左视图向右以及右视图向左移位)由128-255表示。除接收字幕差异之外，回放设备必须能够识别哪个字幕流承载差异数据。在一个DVB中的实施例中，使用了节目映射表(DVB服务信息规范；ETSI EN 300 468)。节目映射表或PMT定义哪些流是广播中的节目的一部分。PMT还包括用于描述各种流的所谓的“组件描述符”，使得回放设备知道在每个流中出现哪些数据。图6示出了组件描述符(的一部分)。该图示出了定义流的内容的组件描述符表60。流内容字段标识数据的类型，例如O用于视频、I用于音频以及2用于字幕数据。Component_type类型61指示格式，在字幕的情况下，指示字幕的种类，例如用于21 9显示的字幕或针对耳背的字幕。值的完整列表可以在ETSI EN 300 468的表26中找到。例如0x14的新组件类型值将被包括进来以指示字幕流承载差异数据。因此，在传输流中，进一步的辅助数据流被包括进来，同时新组件类型值提供指示该进一步的辅助数据流的差异格式指示符。应当指出，可以可替换地以不同方式来提供差异格式指示符，例如通过在传输流中添加或修正相应控制数据。
在一个实施例中，传输流的控制数据包括根据2D传输格式的3D扩展的3D格式指示符。3D格式指示符指示左视图和右视图的3D视频数据在2D帧中的所述主安排。2D传输标准的一个示例是早先提到的标准ISO-1EC 14496-10。在一个修正中，3D格式指示符可以被添加到该标准，例如，在指示空间交织的新补充增强信息(SEI)消息中。3D格式指示符可以进一步定义辅助信息的格式。在进一步的实施例中，辅助安排仅由指示主安排的3D格式指示符指示。因此，除基本上定义主安排的3D格式指示符之外，传输流中不包括任何明确指示辅助安排的进一步的控制数据。当没有进一步的指示符出现时，接收器不得不假设辅助信息必须具有对应于主安排的辅助安排。应当指出，现有的无3D功能的回放设备将不识别如图6中所定义的新组件类型，并且因此将使用2D字幕流和2D视频。因此，如果视频和字幕被格式化为并排或上下的，则这将在所述遗留设备中起作用，例如现有的联接到3D TV的具有HD功能的机顶盒。STB将正确覆盖字幕，而3D TV将拆分图像并粗化左和右视图。图7示出了显示清晰度结构。该图示出了在一系列字段中表示显示清晰度结构70的表。指示出了段类型和段长度，以及字段page_id中的该结构应用于的页面。该结构定义了辅助数据的页面的覆盖区域，如在字段display_wind0w中定义的，其定义覆盖区域的位置。字段reserved 71中仅少量位可用于指示辅助数据安排。在可替换实施例中，定义了显示清晰度段中的额外字段。在该实施例中，辅助数据流包括显示清晰度结构70。在该额外字段中，定义了应用于覆盖区域的辅助差异数据。图8示出了区域组成结构。该图示出了在一系列字段中表示区域组成结构80的区域组成段表。指示出了段类型和段长度，以及字段page_id中的该结构应用于的页面。在许多字段中，位可用于指示辅助数据安排，特别是字段reserved-1 81中的3位、字段reserved-2 82中的2位、字段reserved-3 83中的2位以及字段reserved-4 84中的4位。
为在区域组成段中定义差异格式，图8中所示的区域组成段具有如在下方的一系列对象定义85中定义的每对象的4个保留位,每个对象具有字段reserved-4。这靠其自身可以足以用于指示差异。然而，可替换地，这些可以用于以像素精度指示相对于区域的位置的、每对象偏移或差异。在区域组成段表80的剩余部分中，存在某些其它保留字段。这些其它保留字段81、82、83可以用于指示每区域偏移。例如以双像素精度使用字段81中保留的3位时这可能较不精确，而字段82中的2位指示偏移的符号，以及字段83中的2位指示区域段包含偏移字段。另一可替换实施例将定义新段类型，立体差异描述符。通过新段类型，我们不限于使用保留字段。图9示出了用于立体差异描述符的段类型。该图示出了表90。称为差异段的该新段类型具有与图7和8中所示的其它段中类似的对应字段(从ETSI EN 300 743中同样可知)。在第一个新字段91中，提供了字幕差异值。Subtitle_disparity差异对于正差异(将左视图向左以及右视图向右移位)可以由0-127指示以及对于负差异(将左视图向右以及右视图向左移位)可以由128-255指示。在进一步的新字段中，可以提供其它差异值，诸如用于屏幕上显示数据的差异的第二个新字段92。0SD_disparity可以使用与字幕差异相同的定义,但可以被内容作者用作给予回放设备的用于确定在何处放置任何OSD的提示。值O & FF可以指示没有任何辅助数据出现。在进一步的实施例中，将讨论对屏幕上显示(OSD)的处理。在正常运行期间，响应于由用户、Cl系统导致的或来自广播信道的事件，接收器可以不得不向用户显示某种屏幕上显示消息(0SD)。在3D传输期间，在错误的屏幕深度显示该相同的OSD可以导致其不可读。在3D传输期间，以下至关重要接收器知道在什么深度放置0SD，并且如果不能找到任何合适的深度，则接收器可以将整个视频“向回”移位或切换到2D。接收器需要的关于传输的信息是3D图片的“体积”，其可以根据“最小和最大”差异来表述。“最大”差异是离开用户的距离，大正数，以及，“最小”差异是去往用户的距离，大负数。最小差异可以被接收器用于确保其OSD甚至更靠近用户。然而，如果其变得太靠近，则最大差异可以被使用，使得接收器可以选择在屏幕后将整个视频向后移位。然而，接收器从不可以将视频移位超过“无限”，因此在此情况下，接收器可以选择将视频切换到2D。在选择向何处通信最小和最大差异时，不得不考虑广播器的能力。广播器当然在实况传输期间从不可以实时地发送该传输的准确最小和最大差异，因为这改变得非常快。同样，根据实验已知，OSD也不应当迅速改变差异，特别如果其仅通信在几分钟内不变的消息的话。基于广播器能力和可读性，将用于最小和最大差异的逻辑位置在EIT中，或者如果服务总是3D的话，则在SDT中。如果在2D与3D之间切换服务，或者如果事件可以大大改变差异范围的话，则EIT是合适位置。如果服务总是3D的，并且广播器保持其自身在特定差异限制上的话，则SDT是更好的位置。只有服务不总是3D，PMT也是可能的位置，但是如果其改变，则在许多事件之后改变；基本在导致PMT版本更新的“流类型”改变期间。本文中给出了用于处理OSD显示的实施例的详细实现。应当指出，可以独立于字幕处理地采用这些用于实现OSD处理的措施。在接收器希望将屏幕上显示信息正确覆盖在立体3D之上的情况下，其需要关于3D视频的深度范围的信息。该描述符经由像素移位来标识深度范围。此处标识的像素移位与视频分辨率一起定义在该描述符被包含的事件期间视频的体积包围(volumertric enclosure)。通过视频的体积信息,接收器可以选择许多方式来正确显示OSD信息。其可以在在前面显示OSD之前在屏幕后将整个视频向后移位。其可以还确定，体积太大，并且需要切换到2D。其可以还确定，体积小到足以在不影响视频深度的情况下恰好将OSD放在前面。
权利要求
1.一种处理三维[3D]视频信息的方法， -所述3D视频信息包括3D视频数据和辅助数据，所述3D视频数据包括将被显示给观看者的各个眼睛以便生成3D效果的至少左视图和右视图， 所述辅助数据被安排为，用于在所述3D视频数据上的覆盖范围中显示，所述方法包括 -根据主安排中的2D传输格式，将所述左视图和所述右视图的3D视频数据安排在用于主视频数据的2D帧中， -提供用于向接收器指示参数的控制数据，以便使所述接收器能够再现所述主视频数据和覆盖所述辅助数据， -组装包括所述主安排中的所述3D视频数据、所述辅助数据和所述控制数据的数据传输流以用于传输， 所述方法进一步包括 -提供将被覆盖在所述3D视频数据的所述左视图和所述右视图上的、所述辅助数据的辅助左视图和辅助右视图，以及所述辅助数据的2D版本，以及辅助差异数据，其中，所述辅助差异数据指示当被覆盖在所述左视图和所述右视图上时将被应用于辅助数据的所述2D版本的差异， -根据对应于所述主安排的辅助安排中的2D传输格式，将所述辅助左视图和所述辅助右视图的辅助数据安排在辅助数据流中， -将所述2D版本的辅助数据安排在进一步的辅助数据流中， -在所述传输流中包括所述进一步的辅助数据流、所述辅助差异数据和差异格式指示符，其中，所述差异格式指示符指示所述进一步的辅助数据流。
2.根据权利要求1的方法，其中，所述控制数据包括根据所述2D传输格式的3D扩展的3D格式指示符，所述3D格式指示符指示所述左视图和所述右视图的3D视频数据在所述2D帧中的所述主安排。
3.根据权利要求2的方法，其中，所述辅助安排仅由指示所述主安排的所述3D格式指示符指示。
4.根据权利要求1的方法，其中，所述辅助差异数据包括用于所述覆盖范围中的至少一个区域的区域差异数据，所述区域差异数据指示当被覆盖在所述左视图和所述右视图上时在所述相应区域中所述辅助数据的差异。
5.根据权利要求4的方法，其中，所述辅助数据流包括定义将被显示在所述覆盖范围中的辅助数据的页面的组成的页面组成结构，所述页面组成结构包括至少一个区域定义，所述区域定义定义相应区域的位置和所述区域差异数据。
6.根据权利要求4的方法，其中，所述辅助数据流包括定义辅助数据的页面中的区域的组成的区域组成结构，所述区域组成结构包括所述区域的所述区域差异数据。
7.根据权利要求1的方法，其中，所述辅助数据流包括区域组成结构，其中，所述区域组成结构定义将被显示在所述覆盖范围中的辅助数据的页面中的区域的组成，所述区域组成结构包括一系列定义图形对象的位置的对象结构，并且所述对象结构包括包含所述辅助差异数据的差异对象，或者，所述辅助数据流包括显示清晰度，其中，所述显示清晰度定义辅助数据的页面的覆盖范围，所述显示清晰度定义所述覆盖范围的位置和所述辅助差异数据。
8.根据权利要求1的方法，其中，所述辅助数据流包括对象，其中，所述对象定义将被覆盖的图形对象的像素数据，以及所述辅助数据流和所述进一步的辅助数据流包括对相同对象的引用，以便在所述辅助左视图、所述辅助右视图和/或所述辅助数据的2D版本之间共享相应相同对象。
9.根据权利要求1的方法,其中,所述传输数据流包括根据所述2D传输格式的3D扩展的额外段类型，所述额外段类型包括包含所述辅助差异数据的立体差异描述符。
10.根据权利要求1的方法,其中,所述传输数据流包括根据所述2D传输格式的3D扩展包括所述辅助差异数据的分组基本流[PES]数据分组。
11.根据权利要求1的方法，其中，所述辅助数据包括字幕。
12.一种用于处理三维[3D]视频信息的设备(100)， -所述3D视频信息包括3D视频数据和辅助数据， 所述3D视频数据包括将被显示给观看者的各个眼睛以便生成3D效果的至少左视图和右视图， 所述辅助数据被安排为，用于在所述3D视频数据上的覆盖范围中显示， 所述设备包括视频处理器(103)，所述视频处理器(103)用于-根据主安排中的2D传输格式，将所述左视图和所述右视图的3D视频数据安排在用于主视频数据的2D帧中， -提供用于向接收器指示参数的控制数据，以便使所述接收器能够再现所述主视频数据和覆盖所述辅助数据， -组装包括所述主安排中的所述3D视频数据、所述辅助数据和所述控制数据的数据传输流以用于传输， 所述视频处理器进一步被安排为， -提供将被覆盖在所述3D视频数据的所述左视图和所述右视图上的所述辅助数据的辅助左视图和辅助右视图，以及所述辅助数据的2D版本，以及辅助差异数据，其中，所述辅助差异数据指示当被覆盖在所述左视图和所述右视图上时将被应用于辅助数据的所述2D版本的差异， -根据对应于所述主安排的辅助安排中的所述2D传输格式，将所述辅助左视图和所述辅助右视图的辅助数据安排在辅助数据流中， -将所述2D版本的辅助数据安排在进一步的辅助数据流中， -在所述传输流中包括所述进一步的辅助数据流、所述辅助差异数据和差异格式指示符，其中，所述差异格式指示符指示所述进一步的辅助数据流。
13.用于传递三维[3D]视频信息的信号， -所述3D视频信息包括3D视频数据和辅助数据， 所述3D视频数据包括将被显示给观看者的各个眼睛以便生成3D效果的至少左视图和右视图， 所述辅助数据被安排为，用于在所述3D视频数据上的覆盖范围中显示， 所述信号包括 -根据主安排中的2D传输格式的用于主视频数据的2D帧中的所述左视图和所述右视图的3D视频数据， -用于向接收器指示参数的控制数据，以便使所述接收器能够再现所述主视频数据和覆盖所述辅助数据，以及 -数据传输流，其包括所述主安排中的所述3D视频数据、所述辅助数据和所述控制数据以用于传输， 所述信号进一步包括 -将被覆盖在所述3D视频数据的所述左视图和所述右视图上的、所述辅助数据的辅助左视图和辅助右视图，以及所述辅助数据的2D版本，以及辅助差异数据，其中，所述辅助差异数据指示当被覆盖在所述左视图和所述右视图上时将被应用于辅助数据的所述2D版本的差异， -根据对应于所述主安排的辅助安排中的2D传输格式的辅助数据流中的、所述辅助左视图和所述辅助右视图的辅助数据， -进一步的辅助数据流中的所述2D版本的辅助数据， -以及，所述传输流中的所述进一步的辅助数据流、所述辅助差异数据和差异格式指示符，其中，所述差异格式指示符指示所述进一步的辅助数据流。
14.用于处理三维[3D]视频信息的接收器(110)， -所述3D视频信息包括3D视频数据和辅助数据， 所述3D视频数据包括将被显示给观看者的各个眼睛以便生成3D效果的至少左视图和右视图， 所述辅助数据被安排为，用于在所述3D视频数据上的覆盖范围中显示， 所述接收器包括 -输入单元(112)，其用于接收如在权利要求13中定义的信号(111)，以及 -视频处理器(113)，其用于 从所述进一步的辅助数据流中检索所述辅助数据，同时丢弃所述辅助数据流中提供的所述辅助安排中的辅助数据，以及 基于所述辅助数据的2D版本和所述辅助差异数据，生成用于在所述3D视频数据上的覆盖范围中显示的覆盖数据。
15.用于处理三维[3D]视频信息的计算机程序产品，所述程序可运行为，导致处理器执行根据权利要求1到11中任一个的方法。
全文摘要
一种用于传递3D视频信息的系统具有用于向接收器(110)广播信号(104)的发送器(100)。所述3D视频信息包括用于在所述3D视频数据上的覆盖范围中显示的辅助数据，诸如字幕。所述3D视频数据具有被例如并排地安排在主安排中的2D帧中的左视图和右视图。例如也并行地根据对应于所述主安排的辅助安排中的2D传输格式将所述辅助数据的辅助左和右视图安排在辅助数据流中。另外，所述辅助数据的2D版本以及辅助差异数据被包括在所述传输流中，其中，所述辅助差异数据指示当被覆盖在所述左视图和所述右视图上时将被应用于辅助数据的所述2D版本的差异。有利地，所述接收器可以基于所述接收器处理体系结构使用所述辅助数据的合适版本。
文档编号H04N13/00GK103026713SQ201180034477
公开日2013年4月3日 申请日期2011年7月6日 优先权日2010年7月12日
发明者P.S.纽顿, R.A.布龙迪克, W.德哈安 申请人:皇家飞利浦电子股份有限公司