专利名称：用于生成和显示媒体文件的装置和方法
技术领域：
本发明涉及用于生成和显示立体媒体文件的装置和方法。
背景技术：
作为多媒体相关的国际标准化组织的运动图像专家组(MPEG)从该组第一次对 MPEG-I的标准化起到现在对MPEG-2、MEPG-4、MPEG-7和MPEG-21进行了标准化工作。这样 的各种标准的发展导致对于创建作为不同标准技术组合的单一简档(profile)的需要，并 且作为这样的运动的一部分，利用MPEG-A(MPEG多媒体应用格式IS0/IEC(国际标准化组 织/国际电工委员会)23000)多媒体应用标准化活动来制定各种多媒体应用格式(MAF)。 MAF旨在通过组合不仅现有的MPEG标准还有非MPEG标准来增加标准的利用价值。有可能 通过创建作为已被验证的标准技术的组合的MAF来最大化它们的有效价值，而不需要致力 于新制定单独的标准。最近，进行了与用于实现三维(3D)视频的方法有关的大量研究以表现更真实的 视频信息。在这些方法中，一种在若干方面都被视为有效的有前景的方法利用人类的视觉 特点，在现有的显示设备上左视图(view)图像和右视像的相关联的位置处扫描左视 像和右视像，以使左视图和有视图单独成像在人的左眼和右眼上，从而允许用户 感觉到3D效果。例如，装有障栅(barrier)液晶显示器(LCD)的便携式终端可以通过重放 (replay)立体内容来向用户提供逼真的视频。然而，对于由两个或更多个视图序列(view sequence)组成的立体内容，关于 文件格式没有定义语法(syntax)。基于该语法，可以确定立体内容中的视图序列的轨道 (track)是否彼此相关。视图序列是由一个或多个视频帧组成的视频比特流，并且还可以被 称为基本(elementary)流。此外，对于包括立体视频和单视场(monoscopic)视频的内容 (在该内容中立体视频在空间上与二维(2D)视频组合，或者立体视频和单视场视频一起出 现在一个场景中)，例如对于在单视场音乐视频的底部存在图像字幕(caption)并且该图 像字幕以2D图像显示的服务，没有定义关于文件格式的语法，其中，基于该语法，可以确定 音乐视频和图像字幕是否彼此相关联。因此，需要另外地提供指示音乐视频和图像字幕是 否彼此相关的信息。
发明内容
本发明的方面是至少解决该问题和/或缺点，并至少提供在下面描述的优点。因 此，本发明的方面在于提供一种媒体文件生成和显示装置及方法，用于关于由两个或更多 个视图序列组成的立体内容或者具有在一个场景中同时显示的立体视频和单视场视频的 内容，显式地确定视图序列的轨道是否彼此相关联。根据本发明的一个方面，提供了一种其上存储有数据的计算机可读介质。数据的 结构包括包括两个或更多个媒体数据的媒体数据盒(box)；以及包括关于媒体数据中的 视图序列数据的信息的影片数据(‘moov’)盒。优选地，‘moov’盒包括指示一个视图序列的轨道盒引用另一视图序列的轨道盒的轨道引用信息。根据本发明的另一方面，提供了一种计算机实施的方法。该方法包括接收媒体文 件；解析包括两个或更多个视图序列数据的所接收的媒体文件的媒体数据盒和包括关于该 视图序列数据的信息的影片数据(‘moov’ )盒；以及根据包括在‘moov’盒中并指示一个 视图序列的轨道盒引用另一视图序列的轨道盒的轨道引用信息，来生成基于引用视图序列 和被引用视图序列的视频。根据本发明的再一方面，提供了一种终端装置，其包括文件解析器，用于解析包 括两个或更多个视图序列数据的媒体文件的媒体数据盒和包括关于该视图序列数据的信 息的影片数据(‘moov’)盒，并根据包括在‘moov’盒中并指示一个视图序列的轨道盒引用 另一视图序列的轨道盒的轨道引用信息，来提取基于引用视图序列和被引用视图序列的视 频；以及显示单元，用于显示所提取的视频。
从下面结合附图的详细描述中，本发明的上述和其他方面、特征和优点将变得更 清楚，其中图1是图示基于ISO的媒体文件格式的图；图2是图示根据本发明的第一实施例的文件结构的图；图3A和3B是图示根据本发明的第一实施例的被设计为将相关联的轨道彼此相连 的文件结构的图；图4是图示根据本发明的第一实施例的终端的操作的图；图5是图示根据本发明的第二实施例的文件结构的图；图6是图示根据本发明的第二实施例的用于表达主视图序列的方法的图；图7是图示根据本发明的第二实施例的终端的操作的图；图8是图示根据本发明的第三实施例的文件结构的图；图9是图示根据本发明的第三实施例的用于表达主视图序列的方法的图；图10是图示根据本发明的第四实施例的文件结构的示意图；图IlA和IlB是图示根据本发明的第五实施例的用于立体视频的文件结构的图；图12A和12B是图示根据本发明的第五实施例的用于多视图内容的文件结构的 图；图13是图示根据本发明实施例的媒体文件生成装置的图；以及图14是图示根据本发明实施例的媒体文件重放装置的图。
具体实施例方式现在，将参考附图详细描述本发明的优选实施例。在下面的描述中，为了清楚和简 洁，省略了对合并于此的已知功能和配置的详细描述。在此使用的术语是基于本发明中的 功能来定义的，并且可能根据用户、操作者的意图或通常的实践而改变。因此，应该基于贯 穿说明书的内容来进行术语的定义。本发明首先提供基于国际标准化组织(ISO)的媒体文件格式。此外，本发明提供 用于指示在由两个或更多个视图序列组成的立体内容中形成一队的轨道之间的关系的方法，并且还提供用于指示具有同时在一个场景中显示的立体视频和单视场视频的内容中立 体视频轨道和单视场视频轨道之间的关系的方法。图1图示了基于ISO的媒体文件格式。参考图1，基于ISO的媒体文件100包括文件类型盒(box) (‘ftyp’盒，未示出)、影 片数据盒(‘moov’盒)110和媒体数据盒(‘mdat’盒)120。文件类型盒在其中包括文件类 型和可兼容类型的细节。根据可兼容类型，可以在相应的解码器中进行正常的重放。‘moov’ 盒110对应于文件格式中的头部盒(header box)，并且每个数据由基于被称为‘atom(原 子)’的对象的结构来形成。‘moov’盒110在其中包括重放文件所需的所有信息，包括例如 帧率、比特率、图像大小等的内容信息以及用于支持诸如快进/速退(FF/REW)之类的回放 功能的同步信息。媒体数据盒120作为数据盒在其中包括实际的媒体数据，并且将视频数 据和音频数据以它们的帧为单位存储在每个轨道中。立体视频包括立体视频相关信息。立体视频相关信息可以是诸如立体视频的合成 类型之类的必要信息，并且还可以是诸如照相机参数和显示信息之类的附加数据。当立体 视频由两个或更多个视图序列组成时，每个视图序列可以具有相同的立体视频相关信息。 例如，对于由两个视图序列组成的立体视频，视频的左视图和右视图中的每一个可以包括 关于相同照相机和显示器的附加信息。当视频序列各自以这种方式具有相同的立体视频相 关信息时，为了防止相同的信息以重复的方式存储在视频序列的每一个中，可以将相应信 息仅仅包含在一个视图序列中，而剩余的视图序列可以引用相应视图序列，以使用该相应 视图序列中包含的相应立体视频相关信息。然而，为此，需要告知其他基本流哪个基本流包 含立体视频相关信息，并且需要区分出包含立体视频相关信息的视图序列。对于由两个或 更多个视图序列组成的立体视频，可以将两个视图序列划分为主(primary)视图序列和次 (secondary)视图序列。当如上所述将立体视频相关信息仅仅包含在一个基本流中时，可以 通过区分主视图序列和次视图序列来检查相应信息。当仅仅应当选择两个或更多个视图序 列之一并将其显示在屏幕上时，本发明中描述的主视图序列和次视图序列区分具有更高显 示优先级的视图序列。用于区分主视图序列和次视图序列的方法包括检查每个视图序列的轨道ID track_ID的第一方法。每个视图序列的轨道头部盒(‘tkhd，盒)具有轨道ID track_ID, 其是可以用来标识每个轨道的标识符。因为轨道ID是顺序地分配给每个视图序列的轨道 的整数值，所以具有轨道ID的最小值的轨道的视图序列被确定为主视图序列。第二方法检查指示立体视频的合成类型信息中的左视图序列和右视图序列中的 哪一个(或者两个或更多个视图序列中的哪一个)被首先编码的‘is_left_first(首先是 左侧)’参数，并根据相应参数的值来确定左视图序列和右视图序列中的哪一个(或者两个 或更多个视图序列中的哪一个)是主视图序列或次视图序列。第三方法将引用另一轨道的 轨道确定为主视图序列或次视图序列。在基于关于轨道引用的信息来确定主视图序列中，当被引用轨道(其被另一轨道 引用)被确定为主视图序列时，引用轨道(其引用另一轨道)被确定为次视图序列。因为 引用另一轨道的轨道具有轨道引用盒(‘tref’盒)，所以在上述例子中，另一侧的立体视频 或剩余视图被确定为主视图序列。在该例子中，具有关于轨道引用的信息的‘tref’盒的位 置可以成为区分主视图序列和次视图序列的方法。使用轨道引用，可以将彼此相关联的视图序列连接到由两个或更多个视频轨道组成的媒体文件中，从而可以确定哪些轨道彼此相 关。这还可以用作将视频轨道彼此相连以从多视图视频产生一个视频的方法。使用轨道引 用方法，通过将复制的立体视频相关信息仅仅插入到特定轨道，即，主视图序列和次视图序 列之一中，可以防止立体视频相关信息以重复的方式插入到若干轨道中。根据区分主视图序列和次视图序列的另一方法，不仅仅类似上述方法那样通过使 用一个信息项或一个参数，还通过组合立体视频相关信息、字段、参数和盒中的两个或更多 个，例如表现立体视频的配置所需的立体视频信息，包括轨道ID和‘iS_left_firSt’参数、 可以通过其标识‘tref’盒信息的参数、以及句柄(handler)类型信息，来确定主视图序列 和次视图序列。下面的方法是通过组合立体视频相关信息、字段、参数和盒中的两个或更 多个来确定主视图序列和次视图序列的可能方法第一，对于由左视图和右视图的两个视 图序列组成的立体视频，使用‘iS_left_firSt’字段的值和引用另一轨道的立体视频的 Href'盒的信息，根据用于区分主视图序列和次视图序列的准则，有可能将相应的轨道确 定为主视图序列或次视图序列。可替代地，使用引用另一轨道的立体视频的‘tref’盒的信 息和轨道ID，根据用于区分主视图序列和次视图序列的准则，有可能将相应的轨道确定为 主视图序列或次视图序列。还存在另一种通过组合立体视频相关信息、字段、参数和盒中的两个或更多个来 确定由两个或更多个视图序列(即，多个序列或多视图序列)组成的立体视频的主视图序 列和次视图序列的方法。根据该方法，使用‘is_left_first’字段的值、轨道的ID和引用 立体视频轨道的‘tref’盒，有可能确定主视图序列和次视图序列。还可以将除了上述的那些之外的参数或信息用作参数或信息，来以上述方式确定 主视图序列和次视图序列，并且所述组合立体视频相关信息、字段、参数和盒中的两个或更 多个的方法还可以用多种方法来添加或扩展。下面是对根据本发明实施例的用于指示由两个或更多个视图序列组成的立体内 容中配对在一起的视图序列的轨道之间的关系的方法的描述。下面的描述还包括根据本发 明实施例的用于指示具有同时在一个场景中显示的立体视频和单视场视频的内容中立体 视图序列和单视场视图序列之间的关系的方法。第一实施例为了解码由两个或更多个视图序列组成的立体内容并将该内容显示在屏幕上，需 要指示左视图序列的轨道和右视图序列的轨道彼此相关联。然而，因为在当前立体文件格 式中指示轨道之间的关系的信息和盒不存在，所以本发明的第一实施例提供了下面的方法 来解决该问题。句柄引用盒(‘hdlr，盒)和轨道引用盒(‘tref，盒)是“IS0/IEC 14496-12IS0 base media file format (IS0/IEC 14496-12基于ISO的媒体文件格式)”文档中所定义的 盒中的盒。句柄引用盒(‘hdlr’盒)使用句柄类型(‘handler_type’ )代表当前轨道上 媒体数据的类型，并被定义为表格1。
权利要求
一种其上存储有数据的计算机可读介质，包括媒体数据盒，其包括两个或更多个媒体数据项；以及影片数据‘moov’盒，其包括关于媒体数据中的视图序列数据的信息，其中，所述‘moov’盒包括指示一个视图序列的轨道盒引用另一视图序列的轨道盒的轨道引用信息。
2.根据权利要求1所述的计算机可读介质，其中所述轨道引用信息包括在轨道盒的轨 道引用盒中。
3.根据权利要求2所述的计算机可读介质，其中所述视图序列数据被划分为主视图序 列数据和次视图序列数据，以及其中所述次视图序列数据包括轨道引用盒。
4.根据权利要求3所述的计算机可读介质，其中所述次视图序列数据的‘moov’盒包括 存储有对于所述主视图序列数据而言的相对显示器和照相机信息的盒。
5.根据权利要求1所述的计算机可读介质，其中所述‘moov’盒包括存储有每个视图序 列数据的头部信息的轨道头部，以及其中根据存储在所述轨道头部中的轨道标识符ID来区分引用视图序列数据和被引用 视图序列数据。
6.一种计算机实施的方法，包括接收媒体文件；解析包括两个或更多个视图序列数据的所接收的媒体文件的媒体数据盒和包括关于 所述视图序列数据的信息的影片数据‘moov’盒；以及根据包括在所述‘moov’盒中并且指示一个视图序列的轨道盒引用另一视图序列的轨 道盒的轨道引用信息，来生成基于引用视图序列和被引用视图序列的视频。
7.根据权利要求6所述的计算机实施的方法，其中所述轨道引用信息包括在轨道盒的 轨道引用盒中。
8.根据权利要求7所述的计算机实施的方法，其中所述视图序列数据被划分为主视图 序列数据和次视图序列数据，以及其中，所述次视图序列数据包括轨道引用盒。
9.根据权利要求8所述的计算机实施的方法，其中所述次视图序列数据的‘moov’盒包 括存储有对于所述主视图序列数据而言的相对显示器和照相机信息的盒。
10.根据权利要求6所述的计算机实施的方法，其中所述‘moov’盒包括在其中存储有 每个视图序列数据的头部信息的轨道头部，以及其中取决于存储在所述轨道头部中的轨道标识符ID来区分引用视图序列数据和被引 用视图序列数据。
11.一种终端装置，包括文件解析器，用于解析包括两个或更多个视图序列数据的媒体文件的媒体数据盒和包 括关于所述视图序列数据的信息的影片数据‘moov’盒，并且根据包括在所述‘moov’盒中 并且指示一个视图序列的轨道盒引用另一视图序列的轨道盒的轨道引用信息，来提取基于 引用视图序列和被引用视图序列的视频；以及显示单元，用于显示所提取的视频。
12.根据权利要求11所述的终端装置，其中所述轨道引用信息包括在轨道盒的轨道引用盒中。
13.根据权利要求12所述的终端装置，其中所述视图序列数据被划分为主视图序列数 据和次视图序列数据，以及其中，所述次视图序列数据包括轨道引用盒。
14.根据权利要求13所述的终端装置，其中所述次视图序列数据的‘moov’盒包括存储 有对于所述主视图序列数据而言的相对显示器和照相机信息的盒。
15.根据权利要求11所述的终端装置，其中所述‘moov’盒包括存储有每个视图序列数 据的头部信息的轨道头部，以及其中所述文件解析器取决于存储在所述轨道头部中的轨道标识符ID来区分引用视图 序列数据和被引用视图序列数据。
全文摘要
提供了一种其上存储有数据的计算机可读介质。该数据的结构包括包括两个或更多个媒体数据的媒体数据盒；以及包括关于该媒体数据中的视图序列数据的信息的影片数据(‘moov’)盒。‘moov’盒包括指示一个视图序列的轨道盒引用另一视图序列的轨道盒的轨道引用信息。
文档编号H04N7/24GK101971639SQ200980104330
公开日2011年2月9日 申请日期2009年2月5日 优先权日2008年2月5日
发明者宋在涓, 李健日, 李国熙, 金容台, 金载承, 黄棲煐 申请人:三星电子株式会社