专利名称：立体视频文件格式和按照该格式记录有立体视频文件的计算机可读记录介质的制作方法
技术领域：
本发明涉及立体视频，更具体地涉及一种能够改进比特效率和处理效率的立体视 频文件格式以及其中记录了相应的立体视频文件的计算机可读记录介质。
背景技术：
随着图像技术和数字技术的发展，目前开发出了一种立体视频技术，其进一步增 加了图像的生动性，并使观看图像的人增强了真实感。具体来讲，“JTC 1/SC 29/WG 11”是由IS0/IEC组织的图像相关标准化团体，其提 出了一种存储并再现立体视频的立体视频文件格式，并探讨了对文件格式进行有效优化的 方法。已知的立体视频文件格式涉及双目视差图像，其包括各种信息，例如，表示左图像 和右图像的排列形式的信息；告知是否包含诸如中间插入广告、推荐显示器信息以及摄像 机参数信息的单图像(mono image)的信息；与是否引用其它图像有关的信息；以及表明引 用哪幅图像的信息。然而，已知的立体视频文件格式通常包括每幅图像上的推荐显示器信息和摄像机 参数信息，这样，由于没有排除重叠的部分，造成数据量增大，导致效率降低。具体地讲，被 称为基本流(ES element stream)的视频流具有2ES，其中，左图像和右图像各自被编码， 左图像和右图像的几乎全部或者全部相应信息是重叠的。图1是示出根据现有技术的2ES的立体视频流结构的结构图。如图1所示，2ES的立体视频流被配置为包括左ES、右ES，两个ES。每个ES都可 以包括多个立体图像帧S1到Sn以及中间插入的单图像帧M1到Mn。在称为轨迹包(trak box)的地方存储了每个立体视频流以及立体摄像机和显示 器信息(S⑶I)，S⑶I表明了摄像机参数和推荐显示器信息。在这种情况下，立体摄像机和 显示器信息在左ES和右ES之间几乎全部或者完全重叠。由于不能轨迹包间(inter-trak box)引用，根据现有技术的结构本质上不能排除上述重叠。此外，当一个ES内部的一幅图像引用其它图像时、太多的图像引用一幅图像时， 或者引用关系混乱时，文件格式的复杂度就会增大。在此情况下，为了在计算机分析文件的过程中了解哪幅图像引用了哪幅图像，要 分析全部图像的引用信息，这样就无法配置初始的映射。
发明内容
本发明致力于提供一种能够使重叠数据最小化的立体视频文件格式，以及一种记 录了相应的立体视频文件的计算机可读记录介质。此外，本发明还致力于提供一种能够以简单格式对文件格式的配置进行最优化的 立体视频文件格式，以及一种记录了相应的立体视频文件的计算机可读记录介质。
此外，本发明还致力于提供一种能够通过进行初始映射配置来方便对特定图像的 文件格式设计的立体视频文件格式，以及一种记录了相应的立体视频文件的计算机可读记 录介质。本发明的示例实施方式提供了立体视频文件格式，所述立体视频文件格式包括 文件类型包，其存储有文件格式信息和表明是否包含单视场(monoscpic)数据的信息；影 片包，其存储有构成立体视频流的多个轨迹包；媒体数据包，其存储有多媒体资源；立体视 频媒体信息包，其存储有至少一个公共立体视频流排列(arrangement)信息；立体摄像机 和显示器信息引用包，其存储有多个轨迹包所引用的摄像机参数和推荐显示器信息；立体 摄像机和显示器信息包，其存在于立体视频流的每个立体图像帧处，并存储有立体摄像机 和显示器信息引用包的引用信息；以及元包，其存储有元数据。该立体视频文件格式还包括立体视频媒体信息扩展包，其指定了立体视频流排 列信息的重新定义，并通过该重新定义进行扩展。本发明的另一示例实施方式提供了一种立体视频文件格式，所述立体视频文件格 式包括第一区，其存储有构成立体视频流的多个立体图像帧；第二区，其存储有与所述多 个立体图像帧有关的公共流排列信息；第三区，其存储有要由至少一个立体图像帧引用的 摄像机参数和推荐显示器信息；以及第四区，其存在于每个立体图像帧处，并存储有第三区 的引用信息。本发明的另一示例实施方式提供了一种立体视频文件格式，所述立体视频文件格 式包括轨迹包，其存储有立体视频流；立体视频媒体信息(svmi)包，其存储有与立体视频 流有关的排列信息；立体摄像机和显示器信息(scdi)包，其存储有立体摄像机和推荐显示 器信息，其中，所述trak包引用svmi包和scdi包中的至少一个。轨迹包可以包括存储有与svmi包和scdi包有关的标识信息的引用包，以便引用 svmi包和scdi包中的至少一个。本发明的另一示例实施方式提供了一种记录有立体视频文件的计算机可读记录 介质，该计算机可读记录介质包括文件类型包，其存储有文件格式信息和表明是否包含单 视场数据的信息；影片包，其存储有构成立体视频流的多个轨迹包；媒体数据包，其存储有 多媒体资源；立体视频媒体信息包，其存储有至少一个公共立体视频流排列信息；立体摄 像机和显示器信息引用包，其存储有多个轨迹包所引用的摄像机参数和推荐显示器信息； 立体摄像机和显示器信息包，其存在于立体视频流的每个立体图像帧处，并存储有立体摄 像机和显示器信息引用包的引用信息；以及元包，其存储有元数据。根据本发明的示例实施方式，一种立体视频文件格式和记录了相应的立体视频文 件的计算机可读记录介质收集并存储存在于一个区的每个立体图像帧处的重叠信息，并在 进行解码时通过链接来引用相应的信息，这样就从立体视频文件中去除了重叠信息，从而 可以改进比特效率和处理效率。此外，本发明简化了立体视频文件的复杂结构，并提供了经优化的立体视频文件 格式，从而为技术的标准化作出了贡献。
图1是根据现有技术的2ES模式下的立体视频流结构的结构5
图2是示出根据本发明示例实施方式的立体视频文件格式的结构的结构图。
具体实施例方式现在将参照附图来详细说明本发明的示例实施方式。应当注意，在全部附图中，用 相同的标号表示相同的组件。并且，为了避免不必要地模糊本发明的主旨，将省略与公知的 功能或配置相关的详细说明。图2是示出根据本发明示例实施方式的立体视频文件格式的结构的结构图。如图2所示，根据本发明示例实施方式的立体视频文件格式可被设置为包括文 件类型(ftyp)包100，其存储有文件格式信息和表明是否包含单视场数据的信息；影片 (moov)包200，其存储有构成立体视频流的多个轨迹包200b ；媒体数据(mdat)包300，其存 储有多媒体资源；以及第一元包400，其由元数据构成。立体视频流可以由至少一个基本流(ES)构成。文件类型包100可以按下面的[表1]来设置。[表 1]
类型描述ssOl没有部分单视场数据的立体内容ss02有部分单视场数据的立体内容换言之，文件类型包100表示了文件类型，并包括诸如“ssOl”和“ss02”的指示符， 以表明立体内容中是否包含单视场数据。单视场数据可以是广告图像的数据。影片包200还可包括影片片头(mvhd)包200a，其为与图像有关的片头信息。影片包200还可包括插入在轨迹包中的至少一个单数据。轨迹包200b可包括存储与相应轨迹包200b有关的全面信息的轨迹头(trhd)包 210和作为在轨迹包210b中存储媒体信息的容器的媒体(mdia)包220。轨迹头包210可 包括作为轨迹引用容器的轨迹引用(tref)包212。媒体包220可包括存储有与媒体有关 的全面信息的媒体头(mdhd)包222 ；处理机(hdlr)包224，其示出了诸如音频数据或者视 频数据的媒体类型；以及作为媒体信息容器的媒体信息(minf)包226。根据本发明示例实施方式的立体视频文件格式还可包括立体视频媒体信息 (svmi)包410，其存储有至少一个立体视频流排列信息；以及至少一个立体摄像机和显示 器信息引用(scdr)包420-1至420-n，其存储有引用多个轨迹包200b的摄像机参数和推荐 显不器 目息。svmi包410和scdr包420-1至420-n可以包含在第一元包400中。第一元包 400还可包括存储有项目位置的项目位置(iloc)包430以及存储有项目信息的项目信息 (iinf)包 440。根据本发明示例实施方式的立体视频文件格式还可包括立体视频媒体信息扩展 (svi2)包232，其指定了立体视频流排列信息的重新定义，以便通过该重新定义来进行扩 展；以及立体摄像机和显示器信息包(scdibox)，其可以链接scdr包420-1至420_n中的一个，或者指定摄像机参数和推荐显示器信息的重新定义。svi2包232和scdr包234可包含在第二元包230中，第二元包230存储在轨迹包 200b 中。附图示出，svmi包410和scdr包420_1至420_n包含在第一元包400中，svi2 包232和scdr包234包含在轨迹包200b中所存储的第二元包230中，但是，svmi包410、 scdr包420-1至420-n、svi2包232以及scdr包234不必包含在特定元包中，因此，可以根 据情况灵活移动。例如，svmi包410和scdr包420-1至420_n可以包含在影片包200中， 并且，smi包410、scdr包420-1至420_n、svi2包232和scdr包234可以独立地存在于外 部而不是包含在任何包中。另选地，当大量信息包含在包中时，处理时间会延迟，可以按照预定单位或引用将 包中包含的信息分隔为单独的包形式。例如，可以将与scdr包或scdi包的摄像机参数信 息相关的部分或者与推荐显示器信息相关的部分分隔为单独的包形式。另选地，存储有立 体视频流的排列信息的svmi包或者存储有立体摄像机和推荐显示器信息的scdi包存在于 轨迹包的外部，从而，轨迹包可以引用外部的scdr包或scdi包。在此情况下，svmi包或者 scdi包可包含在其它轨迹包中。例如，svmi包或者scdi包可存在于左图像的外部和右图 像的轨迹包中。可以按照诸如以下的[表2]的语法的格式来设置svmi包410。分配给各个字段 的比特数仅作为示例，因此，并不对其构成限制。对于本领域技术人员而言，很明显，如果需 要，可以对比特数进行各种改变。[表 2]
权利要求
一种立体视频文件格式，所述立体视频文件格式包括文件类型包，其存储有文件格式信息和表明是否包含单视场数据的信息；影片包，其存储有构成立体视频流的多个轨迹包；媒体数据包，其存储有多媒体资源；立体视频媒体信息包，其存储有至少一个公共立体视频流排列信息；立体摄像机和显示器信息引用包，其存储有所述多个轨迹包所引用的摄像机参数和推荐显示器信息；立体摄像机和显示器信息包，其存在于所述立体视频流的每个立体图像帧处，并存储有所述立体摄像机和显示器信息引用包的引用信息；以及元包，其存储有元数据。
2.根据权利要求1所述的立体视频文件格式，该立体视频文件格式还包括立体视频 媒体信息扩展包，其指定了对所述立体视频流排列信息的重新定义，以通过该重新定义进 行扩展。
3.根据权利要求2所述的立体视频文件格式，其中，所述立体视频媒体信息扩展包包 含在所述轨迹包中。
4.根据权利要求2所述的立体视频文件格式，其中，所述轨迹包引用所述立体视频媒 体信息包和所述立体视频媒体信息扩展包的一个立体视频流排列信息。
5.根据权利要求1所述的立体视频文件格式，其中，所述立体摄像机和显示器信息包 包含在所述轨迹包中。
6.根据权利要求1所述的立体视频文件格式，其中，所述立体视频媒体信息包和立体 摄像机显示器信息引用包包含在所述元包中。
7.根据权利要求1所述的立体视频文件格式，其中，所述轨迹包使用所述立体摄像机 和显示器信息包的所述摄像机参数和推荐显示器信息。
8.根据权利要求7所述的立体视频文件格式，其中，所述立体摄像机和显示器信息包 链接所述立体摄像机和显示器信息引用包。
9.根据权利要求8所述的立体视频文件格式，其中，所述立体摄像机和显示器信息包 存储有与要链接的立体摄像机和显示器信息引用包有关的标识信息。
10.根据权利要求8所述的立体视频文件格式，其中，所述立体摄像机和显示器信息包 包含指定了对所述立体摄像机和显示器信息引用包的所述摄像机参数和推荐显示器信息 的重新定义的信息。
11.根据权利要求1所述的立体视频文件格式，其中，所述立体视频流由至少一个基本 流构成。
12.根据权利要求1所述的立体视频文件格式，其中，所述立体摄像机和显示器信息引 用包是由视频序列中使用的显示器和摄像机的组合数目来生成的。
13.—种立体视频文件格式，该立体视频文件格式包括第一区，其存储有构成立体视频流的多个立体图像帧；第二区，其存储有与所述多个立体图像帧有关的公共流排列信息；第三区，其存储有要由至少一个立体图像帧引用的摄像机参数和推荐显示器信息；以及第四区，其存在于每个所述立体图像帧处，并存储有第三区的引用信息。
14.根据权利要求13所述的立体视频文件格式，该立体视频文件格式还包括第五区， 其存储有指定了对所述立体视频流排列信息的重新定义的信息，以通过该重新定义进行扩展。
15.根据权利要求13所述的立体视频文件格式，其中，所述立体图像帧使用第三区的 所述摄像机参数和推荐显示器信息。
16.根据权利要求15所述的立体视频文件格式，其中，第四区链接到第三区，并引用相 应区的所述摄像机参数和推荐显示器信息。
17.根据权利要求16所述的立体视频文件格式，其中，第四区存储有与第三区有关的 标识信息，以进行链接。
18.根据权利要求16所述的立体视频文件格式，其中，第四区包括指定了对第三区的 所述摄像机参数和推荐显示器信息的重新定义的信息。
19.一种记录有立体视频文件的计算机可读记录介质，该计算机可读记录介质包括 文件类型包，其存储有文件格式信息和表明是否包含单视场数据的信息；影片包，其存储有构成立体视频流的多个轨迹包； 媒体数据包，其存储有多媒体资源；立体视频媒体信息包，其存储有至少一个公共立体视频流排列信息； 立体摄像机和显示器信息引用包，其存储有所述多个轨迹包所引用的摄像机参数和推 荐显示器信息；立体摄像机和显示器信息包，其存在于所述立体视频流的每个立体图像帧处，并存储 有所述立体摄像机和显示器信息引用包的引用信息；以及 元包，其存储有元数据。
20.根据权利要求19所述的计算机可读记录介质，该计算机可读记录介质还包括立 体视频媒体信息扩展包，其能够指定对所述立体视频流排列信息的重新定义，以通过该重 新定义进行扩展。
21.—种立体视频文件格式，该立体视频文件格式包括 轨迹包，其存储有立体视频流；立体视频媒体信息svmi包，其存储有与所述立体视频流有关的排列信息； 立体摄像机和显示器信息scdi包，其存储有立体摄像机和推荐显示器信息， 其中，所述轨迹包引用所述svmi包和所述scdi包中的至少一个。
22.根据权利要求21所述的立体视频文件格式，其中，所述轨迹包包括存储有与所述 svmi包和所述scdi包有关的标识信息的引用包，以引用所述svmi包和所述scdi包中的至 少一个。全文摘要
本发明涉及一种能够改进比特效率和处理效率的立体视频文件格式以及一种记录了相应立体视频文件的计算机可读记录介质。本发明包括文件类型包，其存储有文件格式信息和表明是否包含单视场数据的信息；影片包，其存储有构成立体视频流的多个轨迹包；媒体数据包，其存储有多媒体资源；立体视频媒体信息包，其存储有至少一个公共立体视频流排列信息；立体摄像机和显示器信息引用包，其存储有所述多个轨迹包所引用的摄像机参数和推荐显示器信息；立体摄像机和显示器信息包，其存在于所述立体视频流的每个立体图像帧处，并存储有所述立体摄像机和显示器信息引用包的引用信息；以及元包，其存储有元数据，从而可以使重叠数据最小化，并且以简单形式对文件格式的构造进行优化。
文档编号H04N13/00GK101978699SQ200980109320
公开日2011年2月16日 申请日期2009年1月28日 优先权日2008年1月25日
发明者崔炳胡, 明镇洙, 辛华善, 金帝佑 申请人:电子部品研究院