用于产生和再现包括2维图像和3维立体图像的图像文件的系统和方法

专利名称：用于产生和再现包括2维图像和3维立体图像的图像文件的系统和方法
技术领域：
本发明涉及基于2D图像媒体标准产生和再现包括二维(2D)图像和三维(3D)立 体图像的图像文件的系统和方法。更具体地说，本发明涉及能够交替地产生和再现2D图像 和3D立体图像的文件格式、以及使用该文件格式来交替地产生和再现2D图像和3D立体图 像的系统和方法。
背景技术：
用于存储2D图像的文件格式标准在本领域是公知的。一般，作为多媒体领域的国 际标准组织的运动图像专家组(MPEG)从1988年其对MPEG-1的第一次标准化以来已经发 布MPEG-2、MPEG-4、MPEG-7和MPEG-21标准。因为已经开发了各种标准，已经产生通过组合 不同标准技术来产生一个简档(profile)的需要。响应于该需要，已经开展MPEG-A(MPEG 应用IS0/ICE 230000)多媒体应用标准化活动用于存储和再现2D图像。然而，到目前为止，用于存储3D立体图像的文件格式尚未被标准化。此外，在一般 便携终端中包括2D和3D立体图像二者的文件格式、或使用此类文件格式的结构来产生和 再现此类图像的系统和方法尚未被实现。这是很重要的，因为当以3D立体图像的形式产生 图像文件时，用户不得不将图像文件中的非3D立体图像作为3D立体图像观看，从而造成用 户的眼睛疲劳。这里，例如，此类图像可以是其中整个图像由字符配置而成的图像。

发明内容
本发明的一方面是解决至少以上所述的问题和/或不足并且提供至少以下所述 的优点。因此，本发明的一方面是提供用于产生、存储、和再现3D立体图像的文件格式。本发明的另一方面是提供基于用于产生、存储、和再现现有的2D图像的文件格式 的用于3D立体图像的文件格式。本发明的另一方面是提供通过使用用于3D立体 像的文件格式来产生和再现3D 立体图像文件的系统和方法。具体地，本发明提供包括3D立体图像和2D图像二者的文件格式以使得用户能够 根据该文件格式来观看3D立体图像和2D图像。依据本发明的文件格式提供用于在一个图 像文件中存储2D和3D立体图像二者。例如，3D立体图像一般可以提供于一个用于新闻内 容的3D立体图像中，例如，而2D图像可以提供于仅包括字幕的图像中，从而给用户提供便 利。依据本发明的一方面，一种装置包括存储单元，用于接收和存储图像文件；处理 器，用于解析该图像文件的包括一个或多个图像数据样本的媒体数据字段，并解析包括指 示所述一个或多个图像数据样本中的每一个是否是2D图像数据和3D立体图像数据其中之 一的图像类型数据字段的媒体首标字段，以基于该图像文件的图像类型数据字段产生与2 维(2D)图像和3维(3D)立体图像其中之一对应的图像；以及显示单元，用于根据该图像文件的图像类型数据字段显示所产生的图像。依据本发明的另一方面，一种计算机实现的方法包括接收图像文件；解析该图 像文件的包括一个或多个图像数据样本的媒体数据字段；解析包括指示所述一个或多个图 像数据样本中的每一个是否是2维(2D)图像数据和3维(3D)立体图像数据其中之一的图 像类型数据字段的媒体首标字段；以及基于该图像文件的图像类型数据字段产生与2D图 像和3D立体图像其中之一对应的图像。依据本发明的另一方面，一种计算机可读介质，其上存储的数据结构包括媒体数 据字段，包括一个或多个图像数据样本；以及媒体首标字段，包括指示所述一个或多个图像 数据样本中的每一个是否是2维(2D)图像数据和3维(3D)立体图像数据其中之一的图像 类型数据字段。通过结合附图公开了本发明的示范实施例的以下详细描述，本发明的其他方面、 优点和特征对于本领域的技术人员将更明了。


通过结合附图的以下描述，本发明的示范实施例的以上和其他方面、特征和优点 将更明了，其中图1是说明根据现有技术的2D图像文件的存储格式的框图；图2A是说明根据本发明的示范实施例的图像文件的存储格式的框图；图2B是说明根据本发明的另一示范实施例的图像文件的存储格式的框图；图2C是说明根据本发明的另一示范实施例的图像文件的存储格式的框图；图2D是说明根据本发明的另一示范实施例的图像文件的存储格式的框图；图2F是说明根据本发明的另一示范实施例的图像文件的存储格式的框图；图2G是说明根据本发明的另一示范实施例的图像文件的存储格式的框图。图2H是说明根据本发明的另一示范实施例的图像文件的存储格式的框图；图3是说明根据本发明的示范实施例的图像文件产生装置的框图；图4是说明根据本发明的示范实施例的图像文件再现装置的框图；图5是说明根据本发明的示范实施例的产生图像文件的方法的流程图；图6是说明根据本发明的示范实施例的再现图像文件的方法的流程图；图7是说明根据本发明的另一示范实施例的再现图像文件的方法的流程图；图8是说明根据本发明的另一示范实施例的再现图像文件的方法的流程图；图9是说明根据本发明的另一示范实施例的再现图像文件的方法的流程图；图10是说明根据本发明的另一示范实施例的再现图像文件的方法的流程图；以 及图11是说明根据本发明的实现随机访问的方法的流程图。贯穿附图，应注意相似参考数字用于表示相同或相似组件、特征和结构。
具体实施例方式参考附图提供以下说明以帮助充分理解由权利要求书及其等价物限定的本发明 的示范实施例。其包括用于帮助理解的各种细节，但是这些应当被看作仅仅是示范。因此，本领域的普通技术人员将认识到，可以对这里所述的实施例进行各种变更和修改而不背离 本发明的精神和范围。在描述根据本发明的示范实施例的用于存储三维(3D)立体图像的格式之前，将 描述基于传统的国际标准组织(ISO)标准的二维(2D)图像文件的存储格式。图1是说明 基于传统的ISO 14496-12标准的2D图像的文件格式的框图。参考图1，2D图像文件格式 100包括上层的文件区域ftyp 110、moov区域120、以及mdat区域130。mdat区域130是 文件格式的数据区域，并且包括图像轨道131内的实际图像数据132和语音轨道133内的 语音数据134。每个轨道包括在帧单元中存储的分别的图像数据和语音数据。moov区域120与文件格式的首标区域对应并且具有基于对象的结构。moov区域 120包括再现文件所需的全部信息，包括内容信息(如，帧速率、比特率、图像尺寸等)和用 于支持快进/退(FF/REW)的再现功能的同步信息。具体地，moov区域120包括诸如图像 数据和语音数据内帧的数量、每个帧的尺寸等的信息，从而使得有可能在再现期间通过解 析moov区域120来恢复和再现图像数据和语音数据。不同于现有技术，本发明的示范实施例包括提供用于2D和3D立体图像二者的图 像文件的存储格式、以及使用本发明的存储格式来产生和再现图像文件的系统。具体地，本 发明的示范实施例的特征在于，可以根据内容的特性将图像文件的每个部分实现为2D图 像或3D立体图像的形式。例如，在包括许多字符的部分中，将该部分显示为3D立体图像造 成用户的眼睛疲劳。因此，将该部分作为2D图像存储和再现。将要求有节奏的运动或三维 效果的部分作为3D立体图像存储和再现。从而，实现适合于内容的特性的图像文件的格 式。下文中，将参考图2A和2B描述根据本发明的示范实施例的适配为包括2D图像和 3D立体图像的图像文件的存储格式。如上所述，根据本发明的示范实施例，包括2D图像和 3D立体图像的图像文件201和202包括具有关于有关2D图像和3D立体图像的图像文件的 信息的框(box)(即，字段)。依据本发明，可以将包括关于有关2D图像和3D立体图像的图像文件的信息的框 直接插入文件区域、moov区域、或轨道区域，或者作为元框的一部分，或者可以插入包括轨 道区域中样本的信息的样本表框(如，“stbl”框)。样本是指用于在文件格式内划分图像 的基本单元，诸如帧。图2A说明图像文件的存储格式，其中将3D立体图像文件包括在一个图像流中。如 图2A所示，图像文件的数据结构201包括上层文件区域Ftyp 210、与首标区域对应的Moov 区域220、与数据区域对应的Mdata区域240、以及元数据区域230。这里，Mdata区域240 包括图像轨道241和语音轨道245，其中图像数据存储在图像轨道241中，而语音数据存储 在语音轨道245。图像轨道241包括用于2D图像的第一图像数据(记作“1”)和用于3D 立体图像的第二和第三图像数据(记作“2”和“3”)。这里，第二图像数据和第三图像数据 可以分别是单个对象(subject)的左视像数据和右视像数据。例如，如果表示从 左视图和右视图拍摄的单个对象的左视图和右视像数据被交错和显示，则用户可以看 到三维效果。图2A说明一个示例，其中每个片段242、243、和244分别包括3D立体图像数据、2D 图像数据、和3D立体图像数据的数据样本。根据特定内容的每个部分的特性将图像数据的顺序定义为2D图像或3D立体图像。此外，如果依据本发明被预先确定存储在片段242和 244中的3D立体图像的第二图像数据和第三图像数据的存储方案，则可以按照任何期望的 方式产生和再现图像文件。例如，图2A示出一种方法的示例，其中片段242和244包括交 替存储的每个第二图像数据(即，样本2)和第三图像数据(即，样本3)，其中每个样本是帧 单元。替换地，可以有一种方案，其中将第二图像数据和第三图像数据并排存储为帧单元， 或者可以将图像数据划分为小数据以便以交替的方式存储为帧单元。包括在语音轨道245中的语音数据246、247、和248是分别用于每个片段242、 243、和244的语音数据。将语音数据与将要再现的片段242、243、和244的图像数据同步。Moov区域220与数据结构的首标区域对应，并且包括关于图像轨道的信息221和 关于语音轨道的信息222。关于图像轨道的信息221包括用于再现文件的一般信息，包括内 容信息，诸如帧率、比特率、图像尺寸等，以及同步信息，用于支持诸如快进/退(FF/REW)的 再现功能。具体地，Moov区域220包括诸如图像轨道241内图像数据和语音轨道245内语 音数据的帧的总数量、每个帧的尺寸等的信息。因此，有可能在再现期间通过解析Moov区 域220来恢复和再现图像数据和语音数据。本发明包括一个框，其包括指示由第一图像数据、第二图像数据、和第三图像数据 产生的每个帧是用于2D图像还是3D立体图像的识别信息。如图2A所示，Moov区域220包 括框231，其表示图像文件内的帧单元中存储的每个图像数据包括用于2D图像的图像数据 还是用于3D立体图像的图像数据。在示范实施例中，可以将标志分配给每个帧并且设置以 便表示帧的图像特性。识别信息例如包括关于包含用于2D图像和用于3D立体图像的连续 帧的片段的数量的信息。从而，可以使用这样的信息以2D图像或3D立体图像的形式来恢 复和再现图像文件。以下表1和2中例示以2D图像或3D立体图像的形式来恢复和再现图 像文件的说明。表1
表2
如表1和2，和图2A所示，第一片段242包括用于3D立体图像的第二图像数据和 第三图像数据，第二片段243包括用于2D图像的第一图像数据，而第三片段244包括用于 3D立体图像的第二图像数据和第三图像数据。这里，识别信息231指示表2所示的sample count和标志(Stereo Flag)。因此，可以通过参考指示存储在数据结构201中的图像是2D图像还是3D立体图像的信息231来恢复和再现存储在片段242、243、和244中的图像数据。 识别信息包括用于解码第二图像数据和第三图像数据的信息、和用于同步第二图像数据和 第三图像数据的信息，而且在再现期间参考信息231。将参考图2B描述本发明的另一示范实施例。图2B是说明根据本发明的另一示范 实施例的3D立体图像文件的存储格式的框图。在图2B所示的示范实施例中，有两个图像 轨道而非如图2A所示的一个图像轨道。3D立体图像文件的数据结构202包括上层文件区 域Ftyp 250、与首标区域对应的Moov区域260、与数据区域对应的Mdata区域280、以及元 数据区域270。为了简洁，未重复与图2A的基本相同的说明。简要地，关于第一图像轨道和第二图像轨道的信息261和262、关于语音轨道的信 息263基本上与图2A的信息221和222相同，片段293、294、和295基本上与片段242、243、 和244相同，包括语音数据290、291和292的语音轨道289基本上与包括语音数据246、247、 和248的语音轨道245相同，而信息272与信息231基本上相同。第一图像轨道281包括 与来自一个视图角度(如左视像)的图像对应的第二图像数据282和284和与2D图 像对应的第一图像数据283。第二图像轨道285包括与来自不同的视图角度(如右视 像)的图像对应的第三图像数据286和288和与2D图像对应的第一图像数据287。也即， 左视像和右视像分别存储在不同的图像轨道中，而第一图像数据283和第一图像 数据287对应于相同的图像。因此，除了前述的信息之外，指示图像是2D图像还是3D立体 图像的识别信息272还包括关于两个2D图像数据(即，第一图像数据283和第一图像数据 287之间)的哪个将被用于2D图像的信息。也即，可以根据关于第一图像轨道281和第二 图像轨道285之间哪个图像轨道被设置为主图像轨道的信息来确定将被用于2D图像的图 像数据。表3表示用作根据本发明的用于包括2D图像和3D立体图像的图像文件的存储格 式的标准的信息框。通常遵循IS0/IEC 14496-12 ISO基本媒体格式来定义所述标准。表3

stereoscopic_composition_type 立体视频内容的帧构成形式(0 并排，1 垂直 行交错，2 帧连续，3 单像左图像，4 单像右图像)
is_left_first 表示左图像和右图像之间哪个被首先编码
is_all_stereo 表示ES内的片段是全部立体片段(0 单像，1 立体)
is_main_media 表示ES内的单像内容是主媒体(0 子媒体，1 主媒体)
entry_count 包括具有连续值的样本的片段的数目
sample_count 具有连续值的样本的数目
stereo_flag 表示当前帧是立体还是单像(0 单像，1 立体)图像信息框(如，“svmi”框)可以是存储关于图像文件(ES)中包括的每个样本的 立体/单像信息的框。因此，包括图像信息框(如，“svmi”框)的容器可以是元框或样本 表框(如，“stbl”框)。容器是指包括当前框的更高层的框。因此，包括图像信息框(如， “svmi”框)的容器可以是如图2B和以下示出的表4A所示的元数据区域270，并且也可以 被包括在如下面表4B所示的样本表框(如，“stbl”框)中。因此，在下面所示的表3、6、8、 9中表示在容器中新增加的部分。根据本发明，包括图像信息框(如，“svmi”框)的容器是 指元框或样本表框(如，“stbl”框)。可是，应该理解它可以被自由移动到在关于IS0/IEC 14496-12IS0基本媒体文件格式的框中的任何一个表的更合适的位置。表4A
图4B表示，其中图像信息框(如，“svmi”框)可以插入到子“stbl”框容器的框 的表格，例如，在IS0/IEC 23000-11立体视频应用格式的文件结构中。此外，根据本发明的 示范实施例的每个图像信息框(如，“svmi”框)可以被包括在文件区域、moov区域、或轨道 区域中。表4B
图2B到2F说明根据本发明的各种示范实施例的图像文件的存储格式。图2B说明其中3D立体图像文件包括两个图像流(如，在分开的图像流中存储的 左图像和右图像)的情况下图像文件的存储格式，其中根据本发明的包含2D图像和3D立体图像的信息的框被加入moov区域(S卩，Moov 260)。图2C说明其中3D立体图像文件包括一个图像流的情况下图像文件的存储格式， 其中根据本发明的包含2D图像和3D立体图像的信息的框被加入到文件区域(即，Ftype 210)。图2D说明其中3D立体图像文件包括两个图像流(如，在分开的图像流中存储的 左图像和右图像)的情况下图像文件的存储格式，其中根据本发明的包含2D图像和3D立 体图像的信息的框被加入到文件区域(即，Ftype250)。图2E说明其中3D立体图像文件包括一个图像流的情况下图像文件的存储格式， 其中根据本发明的包含2D图像和3D立体图像的信息的框被加入到轨道区域(S卩，轨道 221)。图2F说明其中3D立体图像文件包括两个图像流(如，在分开的图像流中存储的 左图像和右图像)的情况下图像文件的存储格式，其中根据本发明的包含2D图像和3D立 体图像的信息的框被加入到各个轨道区域(即，轨道261和轨道262)。图2A到2F说明本发明的示范实施例，其中包括关于包含2D图像和3D立体图像 二者的图像文件的信息的图像信息框(如，“svmi”框)被包括在元框中，从而被插入到文 件区域、moov区域、和轨道区域。图2G和2H说明示范实施例，其中包括关于包含2D图像和3D立体图像二者的图 像文件的信息的图像信息框(如，“svmi”框)被插入到轨道区域中包括图像文件的样本信 息的样本表框(如，“stbl”框)。为了解释的目的，样本是指用于在文件格式内划分图像的 基本单元，诸如帧。图2G说明其中3D立体图像文件包括一个图像流的情况下图像文件的存储格式， 其中根据本发明的包含2D图像和3D立体图像的信息的框被加入到样本表框(如，“stbl” 框)。图2H说明其中3D立体图像文件包括两个图像流(如，在分开的图像流中存储的 左图像和右图像)的情况下图像文件的存储格式，其中根据本发明的包含2D图像和3D立 体图像的信息的框被加入到样本表框(如，“stbl”框)。如图2A到2H所示，图像信息框(如，“svmi”框)可以被加到现有图像文件格式 的文件层和轨道层，而非moov层，从而能够通过各种图像文件格式产生图像文件。下文中，将介绍与表2和3的示范实施例不同的本发明的替换的示范实施例、以及 新修改的图像信息框(如，“svmi”框)。在其中内容包括2D图像和3D立体图像二者的情况下的示范实施例中，如表6中 所示描述修改后图像信息框的语法和语义。表5
类型Sl (立体)S2 (立体)S3 (立体)Ml (单像)M2 (单像)S4 (立体)帧的数量100100100200300100
1表6
使用表6的语法将表5的内容表示为表7。表7
如果Entry_C0imt被定义为表3的语义，则存在无法识别当前条目内的片段构造 的问题。因此，在示范实施例中，包含Item_C0imt的语法值以便解决上述问题。也即，当根 据表6的语义定义Entry_C0imt时，仅当内容包括区分立体为第一个还是单像为第一个的 标志值时，才可以省去Stereo_Flag，其如下定义。表8

stereoscopic_composition_type 立体视频内容的帧构成类型(0 并排，1 垂直
行交错，2 帧连续，3 单像左图像，4 单像右图像)
is_left_first 表示左图像和右图像之间哪个被首先编码
entry_count 其中片段类型从立体到单像或从单像到立体变动的片段的数目
iS_Stere0_flag:表示在混合立体和单像的内容中哪种类型的图像被首先示出 (0:单像首先，1:立体首先)
sample_count 具有连续值的样本的数目
item_count 包括在条目中的片段的数目如果图像序列信息(is_stereo_first)的值是1，则内容按S — Μ—S — Μ—...的 顺序来构造，其中“S”表示立体而“Μ”表示单像，而如果图像序列信息(is_stere0_first) 的值是0，则内容按M—S — M—S —...的顺序来构造。在另一示范实施例中，Sample_C0Unt语法被剔除。在这种情况下，可以识别每个 片段是立体还是单像，但是无法识别多少数目的帧是立体或单像。因此，可以使用ISO媒体 文件格式中定义的项目位置框的语法和样本表框(如，“Stbl”框)的子框的语法的值来确 定立体或单像帧的数目。表9
此外，当终端执行对内容的随机访问时，其在从头开始使用样本尺寸框(如 “Stsz”框)的值顺序读取帧的尺寸的同时移动到期望的位置。如果使用本发明中定义的 图像信息框(如，“svmi”框)的sample count语法值，则可以识别项目位置框(如“iloc” 框)中每个片段的帧的数目、和每个片段的开始地址和尺寸。因此，使用那些值更有效地完 成对预定位置的随机访问。接着，将描述使用图2A到2H中所示的图像文件的数据结构201到208来产生和再 现图像文件的示范系统。该系统一般包括图像文件产生装置和图像文件再现装置。首先， 将参考图3描述根据本发明的示范实施例的图像文件产生装置。如图3所示，根据本发明的图像文件产生装置包括第一照相机311、第二照相机 312、输入单元320、图像信号处理单元330、存储单元340、编码单元350、和文件产生单元 360。第一照相机311从左视图或右视图拍摄对象并接着输出第二图像数据。第二照相机 312从不同于第一照相机311的视图拍摄对象并接着输出第三图像数据。应该理解，可以使 用不同角度的多个视图而不脱离本发明的范围。然后，将用于2D图像的第一图像数据与第 二图像数据和第三图像数据一起通过输入单元320输入。通过图像信号处理单元330来预处理第一图像数据、第二图像数据、和第三图像 数据。这里，预处理操作包括将模拟外部图像值(即，例如由电荷耦合器件(CCD)或互补金 属氧化物半导体(CMOS)型传感器产生的光和颜色分量的模拟值)转换为数字值。存储单元340存储通过图像信号处理单元330预处理的第一图像数据、第二图像 数据、和第三图像数据，并且将存储的图像数据提供给编码单元350。图3示出存储单元 340，但是并未单独示出可以包括的用于图3中所示的组件之间的缓冲的存储构造。编码单 元350编码来自存储单元340的第一图像数据、第二图像数据、和第三图像数据。由编码单 元350执行的编码操作是数据的编码，可以因场合需求而跳过。文件产生单元360通过使用由编码单元350编码的第一图像数据、第二图像数据、 和第三图像数据来产生图像文件370。在这种情况下，将第一图像数据、第二图像数据、和 第三图像数据存储在数据区域(如，mdata区域)中，并将用于产生第一图像数据(即2D 图像)以及第二图像数据和第三图像数据(即3D立体图像)的信息存储在首标区域(如， moov区域和元数据区域)中。所产生的图像文件370被输入和发送到立体图像文件再现装 置，接着图像文件再现装置产生和再现来自图像文件370的2D图像和3D立体图像。下文 中，将描述示范的图像文件再现装置。
图4是说明根据本发明的示范实施例的图像文件再现装置的框图。如图4所示， 图像文件再现装置包括文件解析单元420、解码单元430、存储单元440、再现单元450、和显 示单元460。文件解析单元420接收和解析例如由图像文件产生装置的文件产生单元360产生 的图像文件410 (如图3的图像文件370)。在这种情况下，文件解析单元420解析分别存储 在moov区域和元数据区域中的信息，然后提取存储在mdata区域的第一图像数据、第二图 像数据、和第三图像数据。解码单元430解码提取的第一图像数据、第二图像数据、和第三图像数据。在示范 实施例中，在其中图像文件产生装置使用编码单元350编码数据的情况下执行解码。也即， 如果文件产生装置跳过编码，则文件再现装置跳过解码。随后，将已解码的数据存储在存储 单元440中。再现单元450再现从存储在存储单元440中的第一图像数据产生的2D图像，并 依据识别信息从存储在存储单元440中的第二图像数据和第三图像数据合成3D立体图 像。然后，显示单元460显示所再现的2D图像和3D立体图像。显示单元460可以采用遮 拦(barrier)液晶显示器(LCD)。在示范实施例中，如果图像文件的片段是2D图像则关闭 遮拦IXD，如果图像文件的片段是3D立体图像则开启遮拦IXD，从而能够正确地显示图像。接着，将描述使用依据本发明的图像文件的数据结构产生和再现图像文件的示范 方法。图5是说明根据本发明的示范实施例的产生图像文件的方法的流程图。如图5所 示，该方法包括输入步骤S510、预处理步骤S520、编码步骤S530、和文件产生步骤S540。在步骤S510，输入用于产生2D图像的第一图像数据、以及用于产生3D立体图像的 第二图像数据和第三图像数据。例如，从左视图和/或右视图拍摄对象并输出第二图像数 据和第三图像数据。在步骤S520，预处理在步骤S510中输入的第一图像数据、第二图像数 据、和第三图像数据，并且将由CCD或CMOS型传感器产生的图像数据从模拟值转换为数字 值。在步骤S530，根据预定的编码方案编码经过预处理的第一图像数据、第二图像数据、和 第三图像数据。可以应场合需要跳过步骤S530。在步骤S540，通过使用在编码单元350中 编码的第一图像数据、第二图像数据、和第三图像数据来产生图像文件。在这种情况下，可 以根据图2A到2H中所述的图像文件的数据结构的任意一种来产生图像文件。图6是说明根据本发明的示范实施例的再现图像文件的方法的流程图。如图6所 示，用于再现图像文件的方法包括文件解析步骤S610、解码步骤S620、再现步骤S630、和显 示步骤S640。在步骤S610，通过使用存储在依据本发明产生的图像文件的moov区域和元数据 区域中的信息来提取第一图像数据、第二图像数据、和第三图像数据。具体地，使用上述的 识别信息提取图像数据。在步骤S620，解码第一图像数据、第二图像数据、和第三图像数据。 如果在产生图像文件时跳过编码步骤，则解码步骤S620也被跳过。在步骤S630，将在步骤 S620解码的第一图像数据、第二图像数据、和第三图像数据合成为将要再现的2D图像和3D 立体图像。然后，在步骤S640，在显示单元460上显示在步骤S630产生的2D图像和3D立 体图像。同样，显示单元460可以采用遮拦LCD，其中如果图像文件的片段是2D图像则关闭 遮拦IXD，以及如果图像文件的片段是3D立体图像则开启遮拦IXD，从而能够正确地显示图像。图7到10说明根据本发明的各种示范实施例的从解析到再现图像文件的终端的操作。图7描述包括解析和再现依据本发明产生的图像文件的示范实施例。图7的实施 例涉及包括表3所示的图像信息框(如，“svmi”框)的图像文件格式。图像信息框(如， “svmi”框)包括多个字段。所述字段的主功能是提供指示图像文件的每个帧是2D图像还 是3D立体图像的信息，该信息提供标志值用于控制显示器(如LCD)的激活或不激活。如图7所示，在步骤S710解析图像文件中的文件框(如“ftyp”框)。在示范实 施例中，根据传统的IS0/IEC 14496-12标准来提供ftyp框。在步骤S720到S740中，分 别解析图像文件的moov框、轨道框、和元框。在示范实施例中，也可以根据传统的IS0/IEC 14496-12标准来提供moov框和轨道框。在步骤S750，解析依据本发明的图像文件的图像 信息框(如，“svmi”框)的每个字段以确定图像轨道内的每个帧包含的是2D图像还是3D 立体图像。该信息主要通过sample_COunt和entry_COunt的字段来提供。这里，entryjoimt是指图像文件内片段的数目。例如，6个图像可以按照以下顺 序存储在图像文件中3D立体图像(1)、3D立体图像(2)、3D立体图像(3)、2D图像(1)、 2D图像(2)、和另一 3D立体图像(4)。在该示例中，每个图像被称为片段。可是，应该理解 片段的单位可以是帧、具有连续值的一组帧、或者借以划分3D立体图像和2D图像的间隔。 sample_count是指包括在每个片段中的连续帧的数目。因此，识别entry_COunt以确定图像内片段的数目，并识别sample^ount以确定 包括在每个片段中的帧的总数目。然后，识别stere0_flag，并识别包括在当前帧(即对应 的片段)中的帧的集合的标志信息。通过标志信息，可以确定对应的片段是3D立体图像还 是2D图像。然后，在步骤S760中按照3D立体图像或2D图像的形式解码每个已识别的帧。在步骤S770中，根据图像信息框(如，“svmi”框)内stereo_flag的解析信息， 控制遮拦IXD以使得，如果值为“ 1 ”，则激活遮拦IXD，而如果值为“0”，则不激活遮拦IXD。 也即，在3D立体图像的情况下，可以将stere0_flag的值设置为“1”以便激活遮拦IXD，而 在2D图像的情况下，可以将stere0_flag的值设置为“0”以便不激活遮拦IXD，由此使得遮 拦LCD得到控制。同时，在激活的或未激活的遮拦LCD上再现和显示经解码的帧以使得用 户能够看到图像。图8是说明根据本发明的另一示范实施例的再现图像文件的方法的流程图。如图 8所示，在步骤S810中解析图像文件中的文件框(如“ftyp”框)。然后，在步骤S820、S830 和S840中分别解析图像文件的moov框、轨道框、和元框。接着，在步骤S850中，解析依据 本发明的图像文件的图像信息框(如，“svmi”框)的每个字段以确定图像轨道内的每个帧 包含的是2D图像还是3D立体图像。本示范实施例中的entry_count不同于前一示范实施例。本示范实施例的entry_ count是指其中片段的类型(即2D或3D)从立体到单像或从单像到立体变动的片段的数 目。使用先前的图像文件示例，即便将3D立体图像(1)、3D立体图像(2)、3D立体图像(3)、 2D图像(1)、2D图像⑵和3D立体图像(4)的6个图像依次包括在单个图像文件中，也基 于3D立体图像和2D图像的类型变动而划分该图像。因此，entry_COunt是3 (即，3D立体 图像(1)-(3)、2D图像⑴-⑵，和3D立体图像(4))。识别entry—count以确定图像内片段的数目，并识别Sample_C0Unt以确定包括在每个片段中的帧的总数目。然后，识别stere0_ flag，并识别关于包括在当前帧(即对应的片段)中的帧的集合的标志信息。通过该标志 信息，可以确定对应的片段是3D立体图像还是2D图像。然后，识别item_COimt，以便识别 在entry_X0Unt中识别的图像的每个条目内(在立体和单像的每个间隔内)片段的数目。 片段的单位可以是帧、具有连续值的一组帧、或者借以划分3D立体图像和2D图像的间隔。 解码和显示图像的步骤(步骤S860和S870)与图7所示的前一示范实施例的终端的操作 相同。图9是说明根据本发明的另一示范实施例的解析和再现图像文件的方法的流程 图。如图9所示，在步骤S910解析图像文件中的文件框(如“ftyp”框)。然后，在步骤 S920、S930、和S940分别解析图像文件的moov框、轨道框、和元框。接着，在步骤S950中， 解析依据本发明的图像文件的图像信息框(如，“svmi”框)的每个字段以确定图像轨道内 的每个帧包含的是2D图像还是3D立体图像。本示范实施例中的entry_COunt和图8的示范实施例中的相同。也即，本示范实 施例中的entryjoimt也是指其中片段的类型从立体到单像或从单像到立体变动的片段 的数目。识别entryjoimt，识别图像内片段的数目，并识别编码序列(iS_left_firSt)，从 而识别3D立体图像和2D图像之间哪个图像间隔在对应的图像中被首先构造。例如，编码 序列(iS_left_firSt)的值可以被设置为“1”以指示内容按照S —Μ—S —M顺序排列， 而且该值可以被设置为“0”来指示内容按照M — S — M — S顺序排列。然后，识别sample count以确定包括在每个片段中的帧的总数目。接着，识别item_COimt从而识别从entry_ count识别的图像的每个条目内(立体和单像的每个间隔内)片段的数目。片段的单位可 以是帧、具有连续值的一组帧、或者借以划分3D立体图像和2D图像的间隔。然后，在步骤 S960中将每个识别的帧解码为3D立体图像或2D图像。接着，利用通过解析图像信息框内 的编码序列(is_left_first)获得的信息来控制遮拦IXD。在步骤S970中，在激活的或未 激活的遮拦LCD上再现和显示解码帧从而允许用户观看图像。图10是说明根据本发明的另一示范实施例的再现图像文件的方法的流程图。如 图10所示，在步骤S1010解析图像文件中的文件框(如“ftyp”框)。然后，在步骤S1020、 S1030、和S1040分别解析图像文件的moov框、轨道框、和元框。接着，在步骤S1050，解析依 据本发明的图像文件的图像信息框(如，“svmi”框)的每个字段以确定图像轨道内的每个 帧包含的是2D图像还是3D立体图像。当前本示范实施例中的entry_Coimt和图7的示范实施例中的相同，其中它指代 图像文件内片段的数目。使用先前的图像文件示例，即便将3D立体图像(1)、3D立体图像 ⑵、3D立体图像(3)、2D图像⑴、2D图像⑵和3D立体图像⑷的6个图像依次包括在 单个图像文件中，每个图像也包括多个帧，其中每个图像被称为片段。如上所述，片段的单 位可以是帧、具有连续值的一组帧、或者借以划分3D立体图像和2D图像的间隔。sample_ count是指包括在每个片段中的连续帧的数目。识别entry_C0Unt以确定图像内片段的数 目，并识别stere0_flag，而且识别包括在每个片段中的帧的集合的标志信息。通过该标志 信息，可以确定对应的片段是3D立体图像还是2D图像。然后，在步骤S1060识别项目位置 框(如“iloc”框)、识别片段的开始地址和尺寸，并识别样本尺寸框(如“stsz”框)中的 样本尺寸，从而识别多少帧被包括在每个片段中。解码和显示图像的步骤(步骤S1070和S1080)与图7所示的第一示范实施例的终端的操作一致。图11是说明根据本发明的实现图像文件的随机访问的方法的流程图。图11说明 其中在解码和再现图像期间(诸如当播放条在再现一小时图像期间被移动到期望观看的 时间区的图像上时)产生随机访问命令的终端的操作。在步骤S1100，从包括时间戳(如“TimeStamp”)信息的框识别时间戳信息，以便 识别要随机访问的帧(g卩，随机访问点，下文称为“RAP”)。在步骤S1100，识别图像信息 框(如，“svmi”框)的entryjoimt，并识别图像内片段的数目。在这里，片段的单位可以 是帧、具有连续值的一组帧、或者借以划分3D立体图像和2D图像的间隔。在步骤S1120 和步骤S1130中分别识别sample_C0Unt、识别包括RAP的片段、以及识别项目位置框(如 “iloc”框)，从而通过该信息(诸如对应的片段的偏移)识别对应的片段的开始地址。在 步骤Sl 140和步骤Sl 150中分别识别样本尺寸框(如“stsz”框)中的samplejize、以及 从在项目位置框(如“iloc”框)中识别的对应的片段的开始地址起逐一加上sample_SiZe 从而找到RAP。然后，在步骤S1160根据随机访问命令开始RAP的解码。如果产生了随机访 问命令，则传统方法经过计算整个图像的sample_SiZe来确定RAP。然而，根据本发明，仅需 要计算包括RAP的片段内的样本。图11仅说明使用entry_count和sample_count的示范实施例。可是，应该理解 本发明的随机访问操作可以适用于其他示范实施例。此外，取决于在终端的操作的逻辑流 的范围内的示范实施例，可以添加或剔除用于识别item_COimt的步骤等而不背离本发明 的范围。另外，解释图像信息框(如，“svmi”框)或终端的操作的细节可以依赖于图像信 息框的位置、框内参数的位置等改变而不背离本发明的范围。这里没有具体描述的用于解析文件格式的步骤的详情和终端的操作可以基于 IS0/IEC 14496-12和IS0/IEC 23000-11标准来实现，以及可以结合本发明的各种实施例
来使用。如上所述，本发明定义了图像文件的数据结构，其能够通过使用2D图像的改变的 标准技术而包括2D图像和3D立体图像二者从而简化用作新标准的验证过程。因此，本发 明允许必要时在单个图像文件中实现2D图像和3D立体图像二者。具体地，使用根据本发 明的图像文件格式的系统和方法允许显示不要求以3D立体图像的形式观看的图像(S卩，显 示3D立体图像的图像文件中的2D图像)以使得避免用户的眼睛疲劳。此外，本发明具有 这样的优点，其中可以通过使用图像信息框(如，“svmi”框)控制终端的遮拦LCD的开或 关来有效地再现混合了 3D立体图像和2D图像的内容。尽管已经参考本发明的具体示范实施例示出和描述本发明，但是本领域技术人员 不难理解，这里可以在形式和细节上进行各种改变而不背离由所附权利要求及其等价物限 定的本发明的精神和范围。
权利要求
一种计算机可读介质，其上存储的数据结构包括媒体数据字段，包括一个或多个图像数据样本；以及媒体首标字段，包括指示所述一个或多个图像数据样本中的每一个是否是2维(2D)图像数据和3维(3D)立体图像数据其中之一的图像类型数据字段。
2.如权利要求1所述的计算机可读介质，其中媒体首标字段包括轨道字段，并且图像 类型数据字段位于轨道字段中。
3.如权利要求2所述的计算机可读介质，其中轨道字段包括轨道层元数据字段，并且 图像类型数据字段位于轨道层元数据字段中。
4.如权利要求2所述的计算机可读介质，其中轨道字段包括样本表字段，并且图像类 型数据字段位于样本表字段中。
5.如权利要求1所述的计算机可读介质，其中图像类型数据字段包括将所述一个或多 个图像数据样本中的每一个指定为2D图像数据和3D立体图像数据其中之一的标志。
6.如权利要求1所述的计算机可读介质，其中图像类型数据字段包括样本计数字段， 其指示序列中相同类型的图像数据样本的数字计数。
7.如权利要求1所述的计算机可读介质，其中图像类型数据字段包括条目计数字段， 指示作为2D图像数据和3D立体图像数据的图像数据样本之间的转变的数字计数。
8.如权利要求1所述的计算机可读介质，其中媒体数据字段包括至少一个图像轨道。
9.如权利要求8所述的计算机可读介质，其中图像轨道包括多个3D立体图像数据样 本，该多个3D立体图像数据样本中的每一个代表不同视图角度的图像。
10.如权利要求9所述的计算机可读介质，其中所述多个3D立体图像数据样本中的每 一个代表左视像和右视像其中之一，而且所述多个3D立体图像数据样本在左视 像和右视像之间交替排列。
11.如权利要求10所述的计算机可读介质，其中所述多个3D立体图像数据样本中的每 一个代表一帧。
12.如权利要求10所述的计算机可读介质，其中所述多个3D立体图像数据样本中的两 个代表一帧，以使得每个帧由按并排方式排列的左视像和右视像组成。
13.如权利要求8所述的计算机可读介质，其中媒体数据字段包括第一图像轨道和第 二图像轨道。
14.如权利要求13所述的计算机可读介质，其中第一图像轨道包括多个3D立体图像数据样本，该多个3D立体图像数据样本中的每一 个代表左视图角度图像，而且第二图像轨道包括多个3D立体图像数据样本，该多个3D立体图像数据样本中的每一 个代表右视图角度图像。
15.一种计算机实现的方法，包括接收图像文件；解析该图像文件的包括一个或多个图像数据样本的媒体数据字段；解析包括指示所述一个或多个图像数据样本中的每一个是否是2维(2D)图像数据和 3维(3D)立体图像数据其中之一的图像类型数据字段的媒体首标字段；以及基于该图像文件的图像类型数据字段产生与2D图像和3D立体图像其中之一对应的图像。
16.如权利要求15所述的计算机实现的方法，其中媒体首标字段包括轨道字段，并且 图像类型数据字段位于轨道字段中。
17.如权利要求16所述的计算机实现的方法，其中轨道字段包括轨道层元数据字段， 并且图像类型数据字段位于轨道层元数据字段中。
18.如权利要求16所述的计算机实现的方法，其中轨道字段包括样本表字段，并且图 像类型数据字段位于样本表字段中。
19.如权利要求15所述的计算机实现的方法，其中图像类型数据字段包括将所述一个 或多个图像数据样本中的每一个指定为2D图像数据和3D立体图像数据其中之一的标志。
20.如权利要求19所述的计算机实现的方法，还包括基于该标志来控制遮拦液晶显示器(LCD)，如果该标志被设置为3D立体图像数据则开 启，而如果该标志被设置为2D图像数据则关闭。
21.如权利要求15所述的计算机实现的方法，其中图像类型数据字段包括样本计数字 段，指示序列中相同类型的图像数据样本的数字计数。
22.如权利要求15所述的计算机实现的方法，其中图像类型数据字段包括条目计数字 段，指示作为2D图像数据和3D立体图像数据的图像数据样本之间的转变的数字计数。
23.如权利要求15所述的计算机实现的方法，其中媒体数据字段包括至少一个图像轨道。
24.如权利要求23所述的计算机实现的方法，其中图像轨道包括多个3D立体图像数据 样本，该多个3D立体图像数据样本中的每一个代表不同视图角度的图像。
25.如权利要求24所述的计算机实现的方法，其中所述多个3D立体图像数据样本中的 每一个代表左视像和右视像其中之一，而且所述多个3D立体图像数据样本在左 视像和右视像之间交替排列。
26.如权利要求25所述的计算机实现的方法，其中所述多个3D立体图像数据样本中的 每一个代表一帧。
27.如权利要求25所述的计算机实现的方法，其中所述多个3D立体图像数据样本中的 两个代表一帧，以使得每个帧由按并排方式排列的左视像和右视像组成。
28.如权利要求23所述的计算机实现的方法，其中媒体数据字段包括第一图像轨道和 第二图像轨道。
29.如权利要求28所述的计算机实现的方法，其中第一图像轨道包括多个3D立体图像数据样本，该多个3D立体图像数据样本中的每一 个代表左视图角度图像，以及第二图像轨道包括多个3D立体图像数据样本，该多个3D立体图像数据样本中的每一 个代表右视图角度图像。
30.一种装置，包括存储单元，用于接收和存储图像文件；处理器，用于解析该图像文件的包括一个或多个图像数据样本的媒体数据字段，并解 析包括指示所述一个或多个图像数据样本中的每一个是否是2D图像数据和3D立体图像数 据其中之一的图像类型数据字段的媒体首标字段，以基于该图像文件的图像类型数据字段产生与2维(2D)图像和3维(3D)立体图像其中之一对应的图像；以及显示单元，用于根据该图像文件的图像类型数据字段显示所产生的图像。
31.如权利要求30所述的装置，其中图像类型数据字段包括将所述一个或多个图像数 据样本中的每一个指定为2D图像数据和3D立体图像数据其中之一的标志。
32.如权利要求31所述的装置，其中显示单元包括遮拦液晶显示器(LCD)，而且该处理 器基于该标志来控制该显示单元，如果该标志被设置为3D立体图像数据则开启遮拦LCD， 而如果该标志被设置为2D图像数据则关闭遮拦IXD。
全文摘要
一种装置包括存储单元，用于接收和存储图像文件；处理器，用于解析该图像文件的包括一个或多个图像数据样本的媒体数据字段，并解析包括指示所述一个或多个图像数据样本中的每一个是否是2维(2D)图像数据和3维(3D)立体图像数据其中之一的图像类型数据字段的媒体首标字段，以便基于该图像文件的图像类型数据字段产生与2D图像和3D立体图像其中之一对应的图像；以及显示单元，用于根据该图像文件的图像类型数据字段显示所产生的图像。
文档编号H04N13/02GK101897194SQ200880120058
公开日2010年11月24日 申请日期2008年12月5日 优先权日2007年12月10日
发明者宋在涓, 李健日, 金容台, 黄栖煐 申请人:三星电子株式会社