专利名称：记录三维图像数据的方法
技术领域：
本发明涉及一种记录三维(3D)图像数据的方法，更具体地讲，涉及一种按照与ISO基本媒体文件格式兼容的格式生成3D图像数据，并存储生成的3D图像数据的方法。
背景技术：
典型的媒体文件格式包括头部分，用于描述关于对应媒体的信息；图像数据部 分，用于存储压缩的媒体数据。尽管可使用典型的媒体文件格式存储简单的图像数据，但是 它并不适合作为一种适合多种媒体类型的全面的结构。国际标准化组织运动图像专家组(MPEG)已将ISO基本媒体文件格式定义为可通 用于多种应用的基本文件格式。所述ISO基本媒体文件格式已被设计为将数据(例如，压 缩的媒体流和与媒体流相关的构造信息)分级地存储到多个容器中。ISO基本媒体文件格 式未定义编码或解码方案，但是基本地定义了用于有效地存储编码或解码的媒体流的基本 结构。根据组合左图像和右图像的方法，可按照多种方式构造立体图像。因此，为在显示 设备上展现立体图像，需要将关于组合左图像和右图像的方法、左图像和右图像的划分的 数量和大小、划分的图像的位置等的信息存储在显示设备的存储器中。此外，立体图像必需 需要时间信息，基于该时间信息使左图像和右图像同步。因此，难以通过使用传统的典型媒体文件格式有效地构造用于存储立体图像的文 件格式。由于ISO基本媒体文件格式是未考虑到立体图像的结构而定义的，并不适合立体 图像。因此，需要一种考虑到立体图像的结构而定义的数据存储格式。同时，用于立体图 像的这样的数据存储格式需要与国际标准文件格式(即，ISO基本媒体文件格式)兼容，以 便其能够应用于多种多媒体应用。
发明内容
因此，本发明提供了一种数据存储格式，该数据存储格式包括关于立体图像的构 造的信息并与国际标准文件格式(即，ISO基本媒体文件格式)兼容，以及一种生成所述数 据存储格式的方法。根据本发明，将三维(3D)图像数据存储在记录介质的方法包括在预定的文件类 型字段加载图像类型信息，所述信息表明是单一的立体图像还是包括单视点图像和立体图 像的复合图像；在预定的图像构造信息容器字段加载表明包括在三维图像中的多个媒体对 象之间的时间和空间的关系的场景描述符信息、表明所述多个媒体对象的各媒体对象的属 性以及多个媒体对象的编码流之间的构造关系的对象构造信息、编码的流的构造信息；在 图像数据容器字段加载将要存储的图像的媒体数据；并在meta容器字段加载包括用于播 放3D图像数据的信息的元数据。
通过下面结合附图进行的详细描述，本发明的上述特点和优点将会变得更加清楚，其中图1是应用本发明的立体成像设备的框图；图2A至2C是示出根据本发明示例性实施例的包含在三维图像中的立体图像的结 构的示例的示图；图3A和3B是示出根据本发明示例性实施例的三维图像数据的存储格式的示图；图4是示出根据本发明示例性实施例的包括在三维图像数据的存储格式中的 moov容器的详细结构的示图；图5是示出根据本发明示例性实施例的包括在三维图像数据的存储格式中的 meta容器的详细结构的示图；图6是根据本发明示例性实施例的根据三维图像数据的存储格式的示例的示意 图；图7是根据本发明示例性实施例的根据三维图像数据的存储格式的另一示例的 示意图；图8是示出根据本发明另一示例性实施例的包含在三维图像中的立体图像的结 构的示例的示图；图9是根据本发明的另一示例性实施例的根据三维图像数据的存储格式的示例 的示意图；图10是根据本发明的另一示例性实施例的根据三维图像数据的存储格式的另一 示例的示意具体实施例方式以下，将参照附图描述本发明的示例性实施例。应该注意，尽管在不同的附图中示 出相似的元件，但相似的元件用相似的标号指定。由于合并在这里的公知的功能和构造的 详细描述会使本发明的主题不清晰，因此，为了清楚和简明的目的，将省略对所述公知的功 能和构造的详细描述。此外，应该注意，仅描述了对于理解根据本发明的操作的所必要的部 分，将省略除必要部分之外的其他部分的描述以使本发明的要点更清晰。在本发明的示例性实施例中，三维(3D)图像包括包含左图像和右图像的组合的 立体图像以及包含立体(stereoscopic)图像和单视点(monoscopic)图像的组合的复合图 像。在此，单视点图像是指仅包含左图像和右图像之一的图像。左图像和右图像对应于媒 体数据，并在本发明的实施例中可被称为媒体数据。此外，这样的媒体数据可包括视频数据 和音频数据。此外，作为示例，所述视频数据和音频数据可包含至少一个轨道的媒体数据。图1示出应用本发明的立体成像设备。所述立体成像设备包括图像输入单元10、编码器20、3D图像生成器30、数据存储 控制器40、存储器50、显示器60和通信模块70。图像输入单元10与用于接收生成立体图像所必需的多个输入图像的装置对应， 并包括多个镜头，用于用不同的角度投射从目标反射的特定波长的颜色信号；多个传感 器模块(例如，包括传感器的模块(例如，CCD和CMOS))，用于将通过多个镜头输入的颜色信号转换为电信号。图像输入单元10还包括视频信号处理设备，用于将从多个传感器模 块中的每一个输入的数据转换为包括时间/空间信息的图像信号，从而生成与传感器模块 一样多的图像数据。例如，当立体图像包括左图像和右图像的媒体数据的组合时，图像输入 单元10包括用于拍摄目标的左边部分的镜头和传感器模块以及用于拍摄目标的右边部分 的镜头和传感器模块，并通过使用从两个传感器模块输入的数据生成各个图像数据(即， 左图像的媒体数据和右图像的媒体数据)。编码器20通过将立体图像构造方法应用到从图像输入单元10输出的多个图像数 据(左图像和右图像数据)来构造立体图像，然后对立体图像编码。根据运动图像编码方 案(例如，MPEG-I、MPEG-2、MPEG-3、MPEG-4和H. 264方案)对立体图像编码的典型的设备 可用作编码器20。此外，图像输入单元10还可包括用于将特定频段的音频信号转换为电信号的麦 克风，并且编码器20可通过使用本领域技术人员公知的典型的音频压缩方案来压缩从麦 克风输入的音频信号。考虑到与拍摄对象的距离、拍摄角度、拍摄设备的运动等，3D图像生成器30从多 个编码的媒体数据生成3D图像数据。同时，如果用户长时间地观看仅包括立体图像的3D图像，则他/她的眼睛比当他 /她观看单视点图像时感到更加疲劳。因为这个原因，用户难以长时间地观看仅包括立体 图像的3D图像。因此，3D图像可以仅包括立体图像，但为通过减轻眼睛的疲劳以保证对3D 图像的长时间观看，3D图像最好包括立体图像与单视点图像的适度组合。可根据拍摄设备 中的预定设置在拍摄设备的用户的控制下，或通过编辑拍摄的立体图像和单视点图像来组 合立体图像和单视点图像。预定设置可以是以固定间隔周期地并重复地拍摄立体图像或单 视点图像，根据将要被拍摄的对象的性质或种类选择性地拍摄立体图像或单视点图像，或 适当地编辑拍摄的图像。图2示出根据本发明示例性实施例的包含在3D图像中的立体图像的结构。根据 本实施例的包含在3D图像中的立体图像包括左图像1和右图像5的组合。这样的立体图 像可通过如下方法构造在图像内将左图像1和右图像5按1 1的比例垂直地组合构成 一帧，并将帧沿时间轴排列(图2A)；分别将左图像1和右图像5垂直地划分，然后按顺序 将划分的图像交替地组合构成一帧，并最终将帧沿时间轴排列(图2B)，或通过将包括左图 像1或右图像5的帧沿时间轴排列(图2C)。此外，3D图像生成器30向数据存储控制器40提供3D图像构造信息，所述3D图像 构造信息包括当生成3D图像时产生的组成视频数据和音频数据的信息。数据存储控制器40将3D图像数据存储在存储器50中，使用从3D图像生成器30 提供的3D图像构造信息和3D图像的数据生成所述3D图像数据。此外，显示器60输出由 3D图像生成器30生成的3D图像。通信模块70包括能够将存储在存储器50中的3D图像 发送到外部装置(例如，移动终端、PDA、装备有无线LAN的便携式终端和支持USB或串行通 信的个人计算机)的接口。图3A示出根据本发明示例性实施例的3D图像数据的存储 格式。参照图3A，通过 数据存储控制器40存储在存储器50中的3D图像数据的存储格式包括ftyp头100、mdat 容器200、moov容器300和meta容器400。
ftyp头100包含关于存储的数据的文件类型和兼容性的信息。具体地讲，ftyp头 100包含表明3D图像是仅由立体图像还是由包括立体图像和单视点图像的组合的复合图 像组成的信息。
各信道的视频或音频数据以帧为单位被记录在mdat容器200中。moov容器300是作为基于对象的结构被构成的，并且上述3D图像构造信息被记 录在moov 300中。内容信息和更进一步的媒体数据的同步信息也被记录在moov容器300 中，所述内容信息包括帧率、比特率和媒体数据的图像大小。meta容器400包含用于播放单一的立体图像或复合图像的信息。最好，meta容器400被包括在moov容器300中。尽管在本实施例中已经示出包括在moov容器300中的meta容器400，但本发明并 不局限于此。例如，记录元数据的meta容器400可作为单独的容器被形成(参照图3B)。图4示出根据本发明示例性实施例的包括在3D图像数据的存储格式中的moov容 器300的详细结构。参照图4，根据本实施例的moov容器300包括mvhd包(box) 301、iods包302和 trak 包 303。mvhd包301是表示影片头的包，并包含“mvhd”的大小、类型、版本、文件创建时 间、文件修改时间、时间缩放因数和总的播放时间。初始化信息(例如，用于场景构造和对象描述的类和级)被记录在iods包302中。 iods包302还可包含用于场景构造的BIFS ( 二进制格式场景)流和用于对象描述的OD (对 象描述符)流的设置信息。trak包303是记录包括在3D图像中的轨道或流的构造信息的字段，并包括tkhd 包 304、tref 包 305、edts 包 306 和 mdia 包 307。基本轨道信息被记录在tkhd包304中，所述基本轨道信息包括诸如包括在轨道 中的图像的大小和播放时间、轨道创建时间和轨道修改时间。tref包305与数据参考包对应。包括轨道的时间同步信息的列表被记录在edts包306中。提供mdia包307以记录关于轨道内的媒体数据的信息，并且mida包307包括mdhd 包 308、hdlr 包 309 和 minf 包 310。mdhd包308是代表媒体头的包，包括包含在轨道中的媒体的播放时间、创建时间 和修改时间的信息被记录在mdhd包308中。hdlr包309与定义媒体类型的处理包对应。提供minf包310以记录媒体数据信息，并且minf包310包括vmhd包311，记录 视频媒体头信息；smhd包312，记录声音媒体头信息；hmhd包313，记录提示媒体头；nmhd包 314，记录空媒体头信息；stbl包315，记录对应的轨道采样的头信息。stbl包315包括stsd包316，记录编解码类型信息、初始化信息等；stsc包317， 记录关于每块(chunk)包含的采样的数量的信息；stts包318，记录关于每个采样的解码时 间的信息；stsz包319，记录关于每个采样的比特流大小的信息；stz2包320，记录紧密采 样的比特流大小的信息；Stco包321，记录关于文件中开始地址值的信息，块从所述地址值 开始；co64包323，记录在大文件的情况下关于文件中开始地址值的信息，块从所述地址值开始。图5是示出根据本发明示例性实施例的包括在三维图像数据的存储格式中的meta容器的详细结构的视图。参照图5，记录元数据的meta容器400包括hdlr包401、 iloc 包 402、iinf 包 403、xml 包 404、bxml 包 405 和 snmi 包 406。hdlr包401与定义元数据的类型的处理包对应。组成立体图像或单视点图像的各个项目的标识码、各个项目的位置信息和关于各 个项目的大小的信息被记录在iloc包402中。例如，位置信息可以是存储在与项目对应的 媒体数据中的存储器的地址值，并且关于大小的信息可以是表明与项目对应的比特流的长 度的值。iinf包403包含表明图像的类型的图像类型标识。图像类型标识最好包括用于 对项目编码的信息。例如，当项目为立体图像时，将图像类型标识设置为具有表明立体图像 的“S”的标识码。详细地讲，图像类型标识可被设置为Si、S2、S3……Sn。此外，当项目为 单视点图像时，将图像类型标识设置为用具有表明立体图像的“M”的标识码。详细地讲，图 像类型标识可被设置为Ml、M2、M3……Mn。xml包是记录xml数据的容器，并且bxml包405是记录二进制xml数据的容器。单视点图像和包括由多个图像(例如，左图像和右图像)组成的立体图像的大小 的信息、关于拍摄立体图像的相机的信息、显示信息和立体图像构造信息被记录在snmi包 406中。在本实施例中，snmi包406被作为记录包括由多个图像(例如，左图像和右图像) 组成的立体图像的大小的信息、关于拍摄立体图像的相机的信息、显示信息和立体图像构 造信息的包示出。然而，本发明并不局限于此，仅记录包含在snmi包406中的信息就足够。更特别地，可将如下信息记录在snmi包406中，所述信息包括复合图像的图像 宽度和高度、拍摄左图像和右图像的两个相机之间的距离、关于目标的相机镜头的焦距、关 于对象的旋转角度、中心焦点、详细的相机排列(表明是否将拍摄左图像的相机和拍摄右 图像的相机分别排列在左边和右边，或是否将拍摄左图像的相机和拍摄右图像的相机按相 互交叉的方式排列的信息)、3D图像观众与显示设备之间的光程、用于3D效果的垂直视差 的最大值、左图像和右图像之间的最小视差、左图像和右图像之间的最大视差、用于设置3D 图像类型的值(格式如图2示出，格式包括仅为单一的左图像或右图像等)、根据各自的类 型排列的图像的大小和顺序、用于在包括在3D图像的帧之间指定同步的值、用于设置图像 以在左图像和右图像之间进行初始编码的值等。图6概念地示出根据本发明示例性实施例的3D图像数据的存储格式的示例。参 照图6，基于ISO基本媒体文件格式，根据本实施例的3D图像数据的存储格式举例说明复合 图像数据的构造信息被存储在moov容器300中的情况。复合图像数据可包括至少一个立 体图像流和至少一个单视点图像流。考虑到这点，meta容器400中的snmi包406包含单 视点图像和由多个图像(例如，左图像和右图像)组成的立体图像的大小、关于拍摄立体图 像的相机的信息、显示信息和立体图像构造信息。iloc包402包含按顺序分配给立体图 像流和单视点图像流的标识(例如，项目_ID (item_ID))、存储器的地址值(例如，偏移量) 和图像流的长度(例如，长度)。此外，iinf包403包含图像类型标识(例如，项目_名称 (item—name)) 0最好，将iloc包402与iinf包403形成一个包。
图7概念地示出根据本发明示例性实施例的3D图像数据的存储格式的另一示例。 参照图7，与图6不同，根据本实施例的3D图像数据的存储格式举例说明复合图像包括两 个基本流。例如，两个基本流可以是一个左图像流和一个右图像流。因此，moov容器300 包括两个trak包303，所述trak包303记录关于各个流的构造信息。meta容器400中的 snmi包406包含单视点图像和立体图像的大小、关于拍摄立体图像的相机的信息、显示信 息和立体图像构造信息。iloc包402包含按顺序分配给立体图像流和单视点图像流的标 识(例如，项目_ID)、存储器的地址值(例如，偏移量)和图像流的长度(例如，长度)，并 且iinf包403包含图像类型标识(例如，项目_名称)。可注意到，即使当复合图像包括两个基本流时，也可容易地使用meta容器400提 供的snmi包406、iloc包402和iinf包403存储复合图像。在根据本发明示例性实施例的3D图像数据的存储格式中，尽管包括在moov容器 300中的meta容器400如图6和图7被示出，但本发明并不局限于此。例如，记录元数据的 meta容器400可被包括在ftyp头100中或作为单独的容器。由于本发明中提出的格式与从国际标准文件格式(即，ISO基本媒体文件格式)扩 展的文件格式兼容，可将包括复合图像的数据发送或应用到多种多媒体应用。同时，根据本发明，数据存储控制器40按3D图像数据存储格式将3D图像生成器 30生成的3D图像数据存储在存储器中。根据本发明示例性实施例，参照上述组成元件和 3D图像数据存储格式，现在将描述生成3D图像数据的存储格式的过程。数据存储控制器40生成ftyp头100、mdat容器200、moov容器300和meta容器 400，并按包括生成的数据的格式存储3D图像数据。首先，数据存储控制器40生成ftyp头100。关于将要存储的3D图像数据的文件 类型和兼容性的信息被包括在fytp头100中。数据存储控制器40从3D图像生成器30接 收信息，并将该信息包括并记录在ftyp头100中，所述信息表明3D图像是仅包括立体图像 还是包括包含立体图像与单视点图像的组合的复合图像。例如，数据存储控制器40可通过 执行与下面表1中给出的程序对应的操作来设置信息，该信息表明3D图像仅包括立体图像 还是包括包含立体图像与单视点图像的组合的复合图像。表 1 即，数据存储控制器40通过使用ftyp头的标记设置标识信息，所述信息代表关于 立体的内容是否部分地包括单视点数据的立体MAF(多媒体应用文件格式)。例如，当3D图 像仅包括单一的立体图像时，将作为标识信息使用的标记设置为“ssOl”，并在当3D图像包 括立体图像与单视点图像的组合时设置为“ss02”。在设置关于立体图像的文件类型和兼容性的信息时，本实施例没有具体地指定fytp头的标记，而是设置可能使用的诸如maj0r_ brand，minor—brand，compatible—brand 等多禾中标记。接下来，数据存储控制器40基于从3D图像生成器30接收的数据生成mdat容器 200。各信道的视频数据或音频数据以帧为单位被记录在mdat容器200中。 数据存储控制器40还基于从3D图像生成器30接收的数据生成moov容器300。 3D图像构造信息作为基于对象的结构被记录在moov 300中，所述3D图像构造信息与存储 在mdat容器200中的各个3D图像数据对应。此外，包括媒体数据的帧率、比特率和图像大 小的内容信息以及媒体数据的同步信息被记录在moov容器300中。特别地，moov容器300包括mvhd包301和trak包303。mvhd包301是代表影片 头的包，并包含“mvhd”的大小、类型、版本、文件创建时间、文件修改时间、时间缩放因数和 总的文件播放时间。最好，moov容器300可根据3D图像相关信息的存储格式选择性地包括iods包 302。初始化信息(例如，用于场景构造和对象描述的类和级)被记录在idos包302中。 idos包302还可包含用于场景构造的BIFS流和用于对象描述的OD流的设置信息。此外，trak包 303 可包括tkhd 包 304、tref 包 305、edts 包 306 和 mdia 包 307。 包括诸如包括在轨道中的图像的大小和播放时间、轨道创建时间和轨道修改时间的基本轨 道信息被记录在tkhd包304中。数据参考可被包含在tref包305中，并且包括轨道的时 间同步信息的列表被记录在edts包306中。此外，关于轨道内媒体数据的信息可被记录在 mdia 包 307 中。更特别地，mdia包 307 可包括mdhd 包 308、hdlr 包 309 和 minf 包 310。mdhd 包 308是代表媒体头的包，并包含包括在轨道中的媒体的播放时间、创建时间和修改时间的 信息。此外，定义媒体类型的处理数据可被记录在hdlr包309中。minf包310是被提供 用于记录媒体数据信息的字段，并可包括vmhd包311，记录视频媒体头信息；smhd包312， 记录声音媒体头信息；hmhd包313，记录提示媒体头信息；nmhd包314，记录空媒体头信息； stbl包315，记录相应的轨道采样的头信息。此外，stbl包315可包括stsd包316，记录编解码类型信息、初始化信息等；stsc 包317，记录关于每块包含的采样的数量的信息；stts包318，记录关于每个采样的解码时 间的信息；stsz包319，记录关于每个采样的比特流大小的信息；stz2包320，记录紧密采 样的比特流大小信息；Stco包321，记录关于文件中开始地址值的信息，块从所述地址值开 始；co64包323，记录在大文件的情况下关于文件中开始地址值的信息，块从所述地址值开 始。另外，数据存储控制器40生成meta容器400，并将从3D图像生成器30接收的关 于3D图像数据的元数据的信息存储到meta容器400中。这样，meta容器400包括hdlr 包401、iloc包402、iinf包403、xml包404和bxml包405(见图5)。此外，数据存储控制 器40可进一步的将记录立体图像信息的snmi包406合并到meta容器400。在根据本发明 示例性实施例的3D图像数据的存储格式中，即使包括在moov容器300中的meta容器400 已被示出，但本发明也不局限于此。例如，记录元数据的meta容器400可被包括在ftyp头 100中或作为单独的容器。定义元数据类型的数据被记录在hdlr包401中。此外，组成立体图像或单视点图像的各个项目的标识码和关于各个项目的长度的信息被记录在iloc包402中，并且关于各 个项目的信息被记录在iinf包403中。此外，xml数据被记录在xml包404中，并且二进 制xml数据被记录在bxml包405中。此外，由多个图像(例如，左图像和右图像)组成的 立体图像的大小、关于拍摄立体图像的相机的信息、显示信息和立体图像构造信息可被记 录在 snmi包406中。例如，可通过与执行下面表2给出的程序对应的操作来设置将要记录 在snmi包406中的信息，所述程序被存储在数据存储控制器40中。表 2 在表2中，“compound_image_width”表示复合图像显示宽度，且“compound_ image_height ”表示复合图像显示高度。此外，表现相机信息的“baseline”表示拍摄左图像 和右图像的相机之间的距离，“focallength”表示关于目标的相机镜头的焦距，“rotation” 表示两个相机之间的旋转角度，“convergence”表示中心焦点与基线之间的距离，“camera setting”表示根据下面给出的表3定义的详细的相机排列。此外，“ Ieftjmagejidth ”表 示并排格式中左图像的宽度，“right_image_Width”表示并排格式中右图像的宽度，“odd_ line_Width”表示垂直线交错格式中奇数线的宽度，“0dd_line_C0imt”表示垂直线交错 格式中奇数线的顺序，“even_line_width”表示垂直线交错格式中偶数线的宽度，“even_ line_COimt”表示垂直线交错格式中偶数线的顺序。此外，“field_width”表示场序制格式 中的图像的宽度，并且“field_height”表示场序制格式中的图像的高度。表3 在表3中，“平行排列”表明拍摄左图像的相机和拍摄右图像的相机分别排列在左 边和右边，“交叉排列”表明拍摄左图像的相机和拍摄右图像的相机按照相互交叉的方式排 列。此外，在表2中，表现关于显示设备的信息的“ViewingDisplaySize”表示3D图像观众与显示设备之间的光程，“MaxVerticalDisparity”表示用于3D效果的垂直视差的最 大值，“MinofDisparity”表示左图像和右图像之间的最小视差，“MaxofDisparity”表示左 图像和右图像之间的最大视差。此外，“Stere0SC0piC_ES_type”表示用于设置ES类型的 值，由表4在下面给出。表 4 在表4中，“并排格式”是如图2Α中形成左图像和右图像的格式，“垂直线交错格 式”是如图2Β中形成左图像和右图像的格式，“帧序格式”是如图2C中形成左图像和右图 像的格式，“立体的左视图顺序”表示仅由左图像形成的3D图像，“立体的右视图顺序”表示 仅由右图像形成的3D图像。此外，在表2中，“frame_SynC”表示用于在包括在3D图像中的帧之间指定同步 的值，“LR_first”表示用于设置图像以在左图像和右图像之间进行初始编码的值。“LR_ first”根据下面给出的表5指定。表5 尽管在本实施例中ftyp头100、mdat容器200、moov容器300和meta容器400按生成顺序被示出并被存储在存储器50中，但本发明并不局限于此。不管ftyp头100、mdat 容器200、moov容器300和meta容器400的生成顺序如何，按包括ftyp头100、mdat容器 200,moov容器300和meta容器400的格式已足以将3D图像数据存储在存储器50中。通过以上过程，可将通过3D图像生成器30生成的3D图像数据按包括ftyp头100、 mdat容器200、moov容器300和meta容器400的格式存储在存储器50中。这样，能够按 照与国际标准文件格式(即，ISO基本媒体文件格式)兼容的方式管理3D图像数据。图8示出根据本发明另一示例性实施例的立体图像的结构的示例。参照图8，根 据本实施例的包括在复合图像中的立体图像可包括多个片段。例如，立体图像可包括片段 Si、S2、S3、S4和S5。可在立体图像信息被改变的点相互区分各个片段。图9是根据本发明的另一示例性实施例的根据三维图像数据的存储格式的示例 的示意图。参照图9，基于ISO基本媒体文件格式，根据本实施例的3D图像数据的存储格式 举例说明将复合图像数据的构造信息存储在moov容器300的情况。meta容器400中的snmi包406包含单视点图像和由多个图像(例如，左图像和 右图像)组成的立体图像的大小、关于拍摄立体图像的相机的信息、显示信息和立体图像 构造信息。具体地讲，包括在立体图像中的片段的数量在snmi包406中被定义。通过相同 的构造信息对片段分组。此外，对应于分组的信息被记录在snmi包406中。iloc包402包含基于立体图像信息被改变的点按顺序分配给立体图像流和单视 点图像流的标识(例如，项目_ID)、存储器的地址值(例如，偏移量)和图像流的长度(例 如，长度)，并且iinf包403包含图像类型标识(例如，项目_名称)。例如，当项目为立体 图像时，图像类型标识被设置为具有表明立体图像的“S”的标识码。详细地讲，图像类型标 识可被设置为Si、S2、S3……Sn。此外，当项目为单视点图像时，图像类型标识被设置为具 有表明立体图像的“M”的标识码。详细地讲，图像类型标识可设置为Ml、M2、M3……Mn。最好，将iloc包402和iinf包403形成一个包。此外，即使当复合图像包含两个基本流时，也可使用上述的包括多个片段的立体 图像。图10示出根据本发明另一示例性实施例的3D图像数据的存储格式的另一示例。参 照图10，与图6不同，根据本实施例的3D图像数据的存储格式举例说明复合图像包括两个 基本流。例如，两个基本流可以是左图像流和右图像流。因此，moov容器300包含两个记 录关于各个流的构造信息的trak包303。meta容器400中的snmi包406包含单视点图 像和由多个图像(例如，左图像和右图像)组成的立体图像的大小、关于拍摄立体图像的相 机的信息、显示信息和立体图像构造信息。具体地讲，包括在立体图像中的片段的数量在 snmi包406中被定义。通过相同的构造信息对片段分组。此外，对应于分组的信息被记录 在snmi包406中。iloc包402包含基于立体图像信息被改变的转点按顺序分配给立体图像流和单 视点图像流的标识(例如，项目_ID)、存储器的地址值(例如，偏移量)和图像流的长度(例 如，长度)，iinf包403包含图像类型标识(例如，项目_名称)。这里，用于分配标识(例 如，项目_ID)和图像类型标识(例如，项目_名称)的根据是立体图像信息被改变的点。在根据本发明实施例的3D图像数据的存储格式中，尽管已在图9和图10中示出 包括在moov容器300中的meta容器400，但本发明并不局限于此。例如，记录元数据的meta容器400可在ftyp头100中或是作为单独的容器被形成。在生成meta容器400时，数据存储控制器40考虑到各立体图像以片段为单位被 分离的事实。即，数据存储控制器40通过执行与下面的表6给出的程序对应的操作来识 别包括在各立体图像中的片段数量(item_COimt)并按顺序分配项目_ID(item_ID)。此 外，当存在包含相同信息的片段时，数据存储控制器40通过使用单独的标识符(附属标志 (dependence flag))表示自己。此外，数据存储控制器40通过执行与表6的程序对应的操 作将单独的项目_ID分配给包含相同信息的片段。例如，单独的项目_ID可以是附属_项 目_ID(d印endence_item_ID)。单独的项目_ID( S卩，附属_项目_ID)如包含在特定项目_ ID的片段中一样表明包含相同信息的片段，并可通过参考现有的项目_ID被使用。表6 另外，数据存储控制器40可通过执行与下面的表7给出的程序对应的操作对包含 相同信息的片段分组。即，使用在ISO基本媒体文件格式中提供的“extent_count”，数据存 储控制器40计算并表明包括在各立体图像中的不同片段的类型的数量，并根据各自的类 型记录立体图像相关信息。表7 根据在本发明中提出的数据存储格式，3D图像数据可按照与国际标准文件格式 (即，ISO基本媒体文件格式)兼容的格式被存储，并且可将存储的数据发送或是应用于多 种多媒体应用。尽管已经参照本发明的特定示例性实施例对本发明进行了显示和描述，但是本领 域的技术人员应该理解，在不脱离由权利要求所限定的本发明的精神和范围的情况下，可 以对其进行形式和细节上的各种改变。
权利要求
一种将三维(3D)图像数据存储在记录介质中的方法，所述方法包括在预定的文件类型字段加载图像类型信息，所述图像类型信息表明是单一的立体图像还是包括单视点图像和立体图像的复合图像；在预定的图像构造信息容器字段加载场景描述符信息，表明包括在三维图像中的多个媒体对象之间的时间和空间关系；对象构造信息，表明所述多个媒体对象的各媒体对象的属性以及多个媒体对象的编码流之间的构造关系；编码的流的构造信息；在图像数据容器字段加载将要存储的图像的媒体数据；在meta容器字段加载包括用于播放3D图像数据的信息的元数据。
2.如权利要求1所述的方法，其中，meta容器字段被包括在预定的图像构造信息容器 字段。
3.如权利要求1所述的方法，其中，meta容器字段作为单独的字段被形成。
4.如权利要求1所述的方法，其中，元数据包括关于单一的立体图像和复合图像的信 息构造、关于包括在单一的立体图像和复合图像中的图像的大小的信息构造、拍摄信息和 显示信息，并且所述元数据被记录在meta容器字段的snmi包中。
5.如权利要求4所述的方法，其中，元数据包括关于包括在复合图像中的单视点图像 和立体图像的位置的信息，关于单视点图像和立体图像的数据的大小的信息以及关于单视 点图像和立体图像的图像类型标识的信息，位置信息和数据大小被记录在meta容器字段的iloc包中，图像类型标识被记录在meta容器字段的iinf包中。
6.如权利要求4所述的方法，其中，拍摄信息包括多个相机之间的距离、关于目标的 多个相机镜头的焦距、关于对象的旋转角度、最大垂直视差以及通过多个相机镜头拍摄的 图像之间的最大视差和最小视差。
7.如权利要求4所述的方法，其中，当各个媒体数据的帧率互不相同时，snmi包包括 表明参考媒体数据的信息和表明根据组合图像的类型首先被压缩的媒体数据的信息。
8.如权利要求2所述的方法，其中，立体图像包括至少一个片段。
9.如权利要求8所述的方法，其中，由于立体图像包括多个片段，将包含相同图像信息 的片段分组为片段组，并根据meta容器字段中的片段组来记录所述片段。
10.如权利要求9所述的方法，其中，计算包含不同图像信息的片段组的数量，并基于 计算的片段组的数量，将通过各个片段表明的图像信息记录在meta容器字段中。
11.如权利要求3所述的方法，其中，元数据包括关于单一的立体图像和复合图像的 构造的信息、关于包括在单一的立体图像和复合图像中的图像的大小的信息、拍摄信息和 显示信息，并且所述元数据被记录在meta容器字段的snmi包中。
12.如权利要求11所述的方法，其中，元数据包括包括在复合图像中的单视点图像和 立体图像的位置信息、单视点图像和立体图像的数据大小以及单视点图像和立体图像的图 像类型标识，位置信息和数据大小被记录在meta容器字段的iloc包中，图像类型标识被记录在meta容器字段的iinf包中。
13.如权利要求11所述的方法，其中，拍摄信息包括多个相机之间的距离、关于目标 的多个相机镜头的焦距、关于对象的旋转角度、最大垂直视差以及通过多个相机镜头拍摄的图像之间的最大视差和最小视差。
14.如权利要求11所述的方法，其中，当各个媒体数据的帧率互不相同时，snmi包包括 表明参考媒体数据的信息和表明根据组合图像的类型首先被压缩的媒体数据的信息。
15.如权利要求3所述的方法，其中，立体图像包括至少一个片段。
16.如权利要求15所述的方法，其中，由于立体图像包括多个片段，将包含相同图像信 息的片段分组为片段组，并根据meta容器字段中的片段组来记录所述片段。
17.如权利要求16所述的方法，其中，计算包含不同图像信息的片段组的数量，并基于 计算的片段组的数量，将通过各个片段表明的图像信息记录在meta容器字段中。
全文摘要
一种将3D图像数据存储在记录介质中的方法，包括在预定的文件类型字段加载图像类型信息，所述图像类型信息表明是单一的立体图像还是包括单视点图像和立体图像的复合图像；在预定的图像构造信息容器字段加载表明包括在三维图像中的多个媒体对象之间的时间和空间的关系的场景描述符信息、表明所述多个媒体对象的各媒体对象的属性以及多个媒体对象的编码流之间的构造关系的对象构造信息、编码的流的构造信息；在图像数据容器字段加载将要存储的图像的媒体数据；在meta容器字段加载包括用于播放3D图像数据的信息的元数据。
文档编号H04N5/92GK101868970SQ200880116700
公开日2010年10月20日 申请日期2008年10月20日 优先权日2007年10月19日
发明者吴润济, 宋在涓, 徐德荣, 朴光勋, 朴泰诚, 李润辰, 李长远, 郑度泳, 金奎宪, 黄栖煐 申请人:三星电子株式会社;庆熙大学校产学协力团