专利名称：立体图像的字幕加载的制作方法
技术领域：
本发明总地涉及字幕，特别涉及一种为3D内容实现字幕的方法、设备和系统。
背景技术：
对二维内容而言，字幕通常被放置在相同的位置，例如，在一帧或帧序列的下方。形成对比的是，对三维内容来说，依据(多个)帧中的元素将字幕放置在一帧或帧序列的特定区域是有意义的。三维内容要考虑的另一个因素是与显示三维内容涉及的视差。更具体地说，在二 维内容的情形下，两只眼睛接收相同的帧，而在三维内容的情形下，每只眼睛接收不同的帧。同样地，三维内容的字幕可以被呈现在水平轴上的不同的位置。水平位置的差异被称为视差。这样，由于存在要控制和考虑的多得多的变量，因此为三维内容提供字幕比为二维内容提供字幕要复杂得多。
发明内容
本发明的实施例通过提供一种为立体内容提供字幕的方法、设备和系统来解决现有技术的缺陷。在本发明的各个实施例中，本发明的系统使得操作者能够为立体图像定位字幕并选择立体字幕的视差以保证合适的显示。在本发明的一个实施例中，本发明的构思的功能是以播放器为基础的，所述播放器能够基于接收到的文件信息使用3D显示器支持的模式(S卩，隔行、棋盘图案)、通过读取两个流(一个用于左视图、一个用于右视图)和实时地混合所述流来显示立体内容的。更具体地说，在本发明的一个实施例中，一种用于在三维内容中放置字幕的方法包括接收其中将要插入字幕的三维内容的至少一个左眼视图帧；接收其中将要插入字幕的三维内容的相应的至少一个右眼视图帧；接收用于识别要被插入到帧中的字幕和用于插入字幕的帧中的至少一个相应位置的文件信息；以及提供通过呈现在接收到的文件信息内的值将字幕插入帧中以及通过修改在接收到的文件信息内的值实时操控帧中的字幕的位置的部件。该方法可以进一步地包括混合被加载字幕的至少一个左眼视图帧和被加载字幕的至少一个右眼视图帧。在本发明的一个替代性实施例中，一种用于在三维内容中放置字幕的字幕加载装置包括用于存储程序例程和数据文件的存储器和用于执行程序例程的处理器。在本发明的这样的实施例中，当处理器执行程序例程时，它被配置为执行以下步骤通过呈现文件内的值而将字幕插入到三维内容的至少一个左眼视图帧和相应的至少一个右眼视图帧中，所述文件包含用于识别要被插入到帧中的字幕和帧中用于插入字幕的至少一个相应位置的信息；以及通过修改文件内的值执行对字幕在帧中的位置的实时操控。在本发明的一个替代性实施例中，一种用于在三维内容中放置字幕的系统，其包括其中要插入字幕的三维内容的至少ー个左眼视图帧的源；其中要插入字幕的三维内容的至少ー个右眼视图帧的源；以及字幕加载装置，用于接收其中要插入字幕的三维内容的至少ー个左眼视图帧、接收其中要插入字幕的三维内容的至少ー个右眼视图帧、接收识别要被插入到帧中的字幕和帧中用于插入字幕的至少ー个相应位置的文件信息，以及通过呈现接收到的文件信息内的值将字幕插入帧中，以及通过修改在接收到的文件信息内的值实时操控帧中的字幕的位置。
通过结合附图考虑以下详细的描述，可以更容易地理解本发明教导，在附图中图I描绘了根据本发明的实施例的用于为立体内容提供字幕的系统的高级框图；图2描绘了根据本发明的实施例的适用于图I中的系统的图形用户界面的高级框图；图3a描绘了根据本发明的实施例的被插入到立体图像的左视图和右视图中的字.的代表图；图3b描绘了被插入到图3a中立体图像的左视图和右视图中的字幕的更详细的图；图4描绘了根据本发明的实施例的带有插入的字幕的图3a的立体图像的呈现窗ロ的代表图；图5描绘了根据本发明的实施例的用于在三维内容中放置字幕的方法的流程图；和图6描绘了适合用于执行本发明的各个实施例的创新方法和过程的字幕装置的实施例的闻级框图。应该被理解的是，这些附图都是用作说明本发明的构思的目的的，它们并不一定是说明本发明唯一可能的配置。为了便于理解，尽可能地使用相同的标号表示对所有附图来说共有的相同的元件。
具体实施例方式本发明有利地提供了ー种为立体内容提供字幕的方法、设备和系统。尽管下面将会主要在使用信息文件为三维内容提供字幕的情景中描述本发明，但是不应将本发明的具体实施例是视为对本发明的范围的限制。本领域技术人员应理解并且被本发明的教导告知，本发明的构思可以被实质性地应用于任何立体图像内容和除文件结构外的以其它形式的与字幕有关的接收信息。图中所示的各种元件的功能可以通过使用专用硬件和能够联合合适的软件执行软件的硬件提供。当由处理器提供时，该功能可以由单个专用的处理器或单个共用的处理器或其中有一些可以共用的多个独立的处理器提供。另外，明确的使用术语“处理器”或“控制器”不应该被解读为排他性地专指能够执行软件的硬件，而应该被解读为没有限制地、隐含地包括数字信号处理器(DSP)硬件、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)和非易失性存储器。另外，在此引用本发明的原理、方面和实施例，以及其特定实例的所有陈述意图包括其结构和功能的等效物。另外，这些等效物意图包括现在已知的等效物和未来将要开发出来的等效物(即，任何被开发出来的执行相同功能而不论其结构如何的元件)。因此，例如，本领域技术人员将要了解的是，在此展示出来的框图表示体现本发明原理的示例性系统组件和/或电路的概念图。类似地，将要了解的是，任何流程表、流程图、状态转换图、伪码等表示可在计算机可读媒体中被实质性表示并由计算机或处理器执行的各种过程，不论这些计算机或处理器是否明显地显示出来。如前所述，为立体内容如三维(3D)内容添加字幕比为二维内容添加字幕要复杂得多。例如，对3D内容来说，依据(多个)帧中的元素/对象将字幕放置在一帧或帧序列的特定区域内使得字幕不会被遮挡是有意义的。另外，对3D内容来说，显示3D内容涉及的视差必须要被考虑在内。这样，用于三维内容的字幕可以被呈现在水平轴的不同位置。图I描绘了根据本发明的实施例的用于提供字幕给立体(3D)内容的系统的高级 框图。图I的系统100示例性地包括3D内容的左眼视图源105和右眼视图源110。图I的系统100更进一步地包括立体字幕装置115、混合器125和用于呈现立体(3D)图像的呈现器 130。在图I的系统100中，来自左眼视图源105和右眼视图源110的内容通过立体字幕装置115被传送给混合器125。在本发明的一个实施例中，图I中系统100的混合器125能够使用3D显示器支持的模式例如隔行或棋盘图案(checkerboard)来混合来自两个源105、110的内容。如图I中的系统100所描述的，立体字幕装置115接收来自左眼视图源105和右眼视图源110的内容以及包含与将要被插入到立体(3D)图像中的字幕有关的信息的信息文件(例如，文本文件)。在本发明的一个实施例中，传送给立体字幕装置115的信息文件可以包含这种信息字幕图像文件(例如，TIFF文件)时间戳(起始和结束)位置(X，Y)视差(Z)也就是说，在本发明的一个实施例中，立体字幕装置接收立体图像和与字幕和接收到的立体图像中的将要插入字幕的地点和位置有关的信息。接收到的信息更进一步地包括用于立体图像的视差信息。在本发明的一个实施例中，接收到的信息采用控制文件的形式并连同立体图像一起被传送。在本发明的替代性实施例中，控制信息被作为元数据在立体图像内部传送。在本发明的替代性实施例中，这些控制信息可以被存储在本地或远程存储媒介或装置中，使得当本发明的立体字幕装置接收到立体图像时，存储的信息可以与识别接收到的图像的信息比较以确定任何存储的控制信息文件是否是打算将要被应用于接收到的立体内容的数据。根据本发明的实施例的构思，本发明的立体字幕装置利用接收到的控制文件信息以在接收到的立体图像中定位字幕。在本发明的一个实施例中，控制文件信息可以被用来在之前未插入字幕的立体图像中初始地定位字幕，或者，在本发明的又一替代性实施例中，接收到的控制文件信息可以被用来调整已经存在于接收到的立体图像中的字幕的位置。例如，在图I的系统100中，立体字幕装置115读取接收到的控制文件，示例性地为包含(多个)字幕的TIFF图像文件，并为在起始和结束时间戳之间的所有的帧以合适的位置和视差
呈现字幕。图6描绘了适合用于执行本发明的各个实施例的创新方法和过程的字幕装置115的实施例的高级框图。更具体地，图6的字幕装置115示例性地包括处理器610和用于存储控制程序、文件信息、存储媒体等的存储器620。字幕加载装置115与常规支持电路630，例如电源、时钟电路、高速缓冲存储器等以及协助执行存储在存储器620中的软件例程的电路协同工作。这样，可以想到的是，在此被作为软件过程讨论的ー些处理步骤也可以在硬件中实施，例如，实施为与字幕加载装置115协作以执行各个步骤的电路。字幕装置115还包含在与字幕装置115通信的各个功能元件，例如混合器、显示器、内容源等之间形成接ロ的输入-输出电路640。
再一次地强调，根据本发明，尽管图6中的字幕装置115被描述为被编程以运行各种控制功能的通用计算机，但是本发明也可以被实施为例如专用集成电路(ASIC)的硬件。这样，在此描述的过程步骤意图被广泛地解释为是由软件、硬件或二者组合等效地执行。本发明的构思使得操作者/用户通过操控在信息/控制文件中的值实时操控字幕的位置和视差成为可能。根据本发明的构思的这种应用实现了更好的用于立体内容的字幕的布置和外观，另外，较之以前的为3D内容字幕加载的技术能实现了更快地处理，这是因为操作者/用户可以立即看到信息文件中的值的改变如何影响立体图像中的字幕的最終结果。例如，图2描绘了根据本发明的实施例的适用于图I中系统100的字幕加载装置115的图形用户界面(GUI)的高级框图。如图2所描绘的，根据本发明的实施例的GUI可以包括定位要加载的文件的游览器、用于字幕的左位置和右位置指示器、用来偏移左位置和右位置的上和下按钮、全局偏移指示器和X、Y、Z调整按钮、用于命名输出文件的文本条、时间和文件名指示器，以及时间码指示器和提示按钮。根据本发明的实施例，Z调整用于调整帧中字幕的视差或位置。图2的GUI进ー步示例性地包括播放/暂停、前进和后退按钮的回放视点(viewport)。图2的⑶I的回放视点区域更进ー步地包括X和Y偏移微调按钮和指示器。主题字幕的回放可以被配置为循环回放或使用相应的按钮选择前一个的或下ー个字幕。如图2所示，在图2的⑶I的另ー个区域中，用户可以选择性的为字幕配置安全区域边界。更加具体地，在本发明的一个实施例中，安全字幕区域可以被设置在立体内容的帧上。当例如使用图2的GUI指定这样的区域时，只有在该区域内的元素才保证要被呈现在任何兼容显示器上。例如，在本发明的一个实施例中，在安全字幕区域内的元素被保证呈现在帧的任何其它对象上使得字幕不会被其它对象遮挡。同样地，对操作者/用户而言，根据本发明的这种能力有助于保证完全呈现定义区域内的字幕。应该注意的是，由于内容是立体内容，因此必须要以特定视差来呈现“安全字幕区域”以使之处于在场景上可能会遮挡字幕视图的对象的前面。可以使用图2的GUI选择该视差值。如图2所示，本发明的GUI可以进一歩包括为字幕插入评论的评论部分。在本发明的一个实施例中，评论被显示在GUI上并与控制文件信息存储在一起。另外，本发明的构思可以被用来在运行中改变3D呈现模式(例如，从隔行模式变为棋盘图案)，使得使用不同的显示器/格式显示字幕成为可能。另外，当内容的帧尺寸比呈现窗ロ(例如，2048X 1200和1920X 1080)要大时，只有视点中的内容被呈现。在本发明的一个实施例中，用户可以实时改变视点。在本发明的一个示例性实施例中，垂直轴上的运动粒度为2像素以避免改变视图(即，当使用隔行模式时，视图上的改变将实施以反转屏幕上的视差)。根据本发明的各个实施例，本发明的立体字幕装置115，通过例如图2的⑶I，可以包括如下功能 通过确定或被告知立体图像之间的视差自动估算字幕的视差和位置； 自动估算“安全字幕”区域的视差； 将其视差和位置可能会导致问题(例如，被呈现在对象后面的字幕、以比某ー阈 值高的视差呈现的字幕)的字幕通知给操作者； 将时间戳和音频之间的不匹配通知给操作者(通过使用音频处理)并推荐新的时间戳。在本发明的一个实施例中，由立体字幕装置115确定并接收的信息被传送给混合器125和/或呈现器130以处理立体图像和字幕用于显示。尽管在图I的系统100中，立体字幕装置115被示例性地表示为系统100中的单独的组件，但是在本发明的替代性实施例中，立体字幕装置115可以是混合器125或呈现器130的集成组件。图3a描绘了根据本发明的实施例的被插入到立体图像的左视图和右视图中的字幕的代表图。更具体地，如图3a所示，本发明的立体字幕装置115被实施为将字幕插入并放置在立体图像的左图像和右图像内以恰当地显示。图3b描绘了被插入到图3a中立体图像的左视图和右视图中的字幕的更详细的图。如图3b所描绘的，由于立体字幕装置115和图I中系统100的组件使得操控字幕的位置和视差成为可能，从而使得被插入的字幕正确地出现在立体图像中。图4描绘了根据本发明的实施例的用于带有插入的字幕的图3a的立体图像的呈现窗ロ的代表图。更具体地，图4描述了具有被插入在指定的“安全字幕”区域的帧中的字幕的立体图像的帧。如前面所描述的，在安全字幕区域内的字幕被保证呈现在任何兼容的显示器上。图5描绘了根据本发明的实施例的用于在三维内容中放置字幕的方法的流程图。方法500从步骤502开始，在步骤502中，接收其中要插入字幕的三维内容的至少ー个左眼视图帧和至少ー个右眼视图帧。然后，方法500前进到步骤504。在步骤504，接收识别要插入帧中的字幕和帧中用于插入字幕的至少ー个相应的位置的文件信息。然后，方法500前进到步骤506。在步骤506，提供了一种通过呈现在接收到的文件信息中的值将字幕插入帧中和通过修改在接收到的文件信息中的值来实时操控字幕在帧中的位置的手段。然后，方法500可以退出。根据本发明的构思，用户可以使用例如图2的GUI选择性地设定将要被应用于控制文件信息的偏移以改变在例如控制文件中的所有字幕的位置和时差。当同一内容存在不同版本(即，不同的分辨率)并且字幕要被应用于所有版本时，这个特征尤其有用。描述了用于为立体内容提供字幕的方法、设备和系统的各种实施例(其意图是示例性而非限制性)，这里注意到，在上述教导下，本领域技术人员可以做出修改和变化。因此，应该理解的是，在公开的本发明的特定实施例中可以做出处于本发明的范围和精神内的改变。然而，以上内容是针对本发明的各 种实施例的，在不偏离其基本范围的情况下，还可以设计出本发明的其它和另外的实施例。
权利要求
1.一种在三维内容中放置字幕的方法，所述方法包括 接收其中要插入字幕的所述三维内容的至少一个左眼视图帧； 接收其中要插入字幕的所述三维内容的至少一个右眼视图帧； 接收用于识别要被插入到帧中的字幕和所述帧中用于插入所述字幕的至少一个相应位置的文件信息；和 提供一种通过呈现所接收到的文件信息内的值将所述字幕插入所述帧中以及通过修改所接收到的文件信息内的值来实时操控所述帧中的字幕的位置的部件。
2.如权利要求I所述的方法，其中，所述方法进一步地包括将被加载字幕的至少一个左眼视图帧与被加载字幕的至少一个右眼视图帧进行混合。
3.如权利要求2所述的方法，其中，使用隔行和棋盘图案中的至少一个来混合所述帧。
4.如权利要求I所述的方法，其中，所述方法进一步包括呈现被加载字幕的三维内容。
5.如权利要求I所述的方法，其中，所述文件信息包括与所述三维内容的至少一个左眼视图帧和至少一个右眼视图帧中的至少一个一起传送的元数据。
6.如权利要求I所述的方法，其中，所述文件信息被存储在所述用于插入的部件可访问的存储部件中。
7.—种在三维内容中放置字幕的字幕加载装置，所述装置包括 存储器，用于存储程序例程和数据文件；和 处理器，用于执行所述程序例程，当所述处理器执行所述程序例程时，被配置为执行下列步骤 通过呈现文件中的值将字幕插入到所述三维内容的至少一个左眼视图帧和相应的至少一个右眼视图帧中，所述文件包含用于识别要被插入到帧中的字幕以及所述帧中用于插入所述字幕的至少一个相应位置的信息；和 通过修改所述文件内的值对所述帧中的字幕的位置执行实时操控。
8.如权利要求7所述的字幕加载装置，其中，所述文件被存储在所述字幕加载装置的存储器中。
9.如权利要求7所述的字幕加载装置，其中，将所述文件作为与所述三维内容一起传送的元数据进行接收。
10.如权利要求7所述的字幕加载装置，其中，所述字幕加载装置包括使得能够在所述三维内容的帧中插入所述字幕并且实时操控所述字幕的位置的图形用户界面。
11.如权利要求7所述的字幕加载装置，其中，还包括使得用户能够修改所接收的文件内的值的用户界面。
12.—种在三维内容中放置字幕的系统，所述系统包括 其中要插入字幕的所述三维内容的至少一个左眼视图帧的源； 其中要插入字幕的所述三维内容的至少一个右眼视图帧的源；和 字幕加载装置，用于 接收其中要插入字幕的所述三维内容的至少一个左眼视图帧； 接收其中要插入字幕的所述三维内容的至少一个右眼视图帧； 接收包含用于识别要被插入到所述帧中的字幕和所述帧中用于插入字幕的至少一个相应位置的信息的文件；和通过呈现所接收到的文件内的值将所述字幕插入所述帧中以及通过修改所接收到的文件内的值实时操控所述帧中的字幕的位置。
13.如权利要求12所述的系统，其中，还包括用于将被加载字幕的至少一个左眼视图帧与相应的被加载字幕的至少一个右眼视图帧进行混合的混合器。
14.如权利要求12所述的系统，其中，还包括用于呈现被加载字幕的三维内容的呈现>j-U ρ α装直。
15.如权利要求12所述的系统，其中，还包括使得用户能够修改所接收到的文件中的值的用户界面。
全文摘要
本发明的方法、装置和系统能够为立体图像定位字幕并选择立体字幕的视差以确保在立体内容的帧中合适地显示字幕。在一个实施例中，本发明的构思的功能是基于一种播放器，所述播放器能够基于接收到的文件信息、通过使用3D显示器支持的模式(即，隔行、棋盘图案)读取两个流(一个用于左视图、一个用于右视图)并且实时地混合所述流、并通过呈现接收到的文件信息内的值将字幕插入到帧中而显示立体内容。
文档编号H04N13/00GK102771129SQ201080064737
公开日2012年11月7日 申请日期2010年12月13日 优先权日2010年2月24日
发明者J.巴康斯帕劳, J.拉克, L.M.艾尔-坎吉 申请人:汤姆森特许公司