媒体容器文件的制作方法

专利名称：媒体容器文件的制作方法
技术领域：
本发明总体涉及多视图视频数据，具体地，涉及包括这种多视图视频数据的媒体容器文件。
背景技术：
运动画面专家组(MPEG) [1]和电信标准化分部(ITU-T)研究组16(SG16)正在进行的多视图视频编码(MVC)标准化是一种对通过多个摄像机或摄像机阵列产生的视频序列进行编码的视频编码技术。MVC以高效的方式利用多个视频视图之间的冗余，以提供紧凑的编码视频流。MVC基于高级视频编码(AVC)标准(也称为ITU-T H. 264)，因此MVC比特流语法和语义保持与AVC比特流语法和语义相似。IS0/IEC 14496-15[2]是国际标准，被设计为以灵活和可扩展的格式包含高级视频编码(AVC)比特流信息，以便于管理AVC比特流。该标准与MP4文件格式[3]和3GPP文件格式[4]兼容。所有这些标准均是从MPEG定义的ISO基本媒体文件格式[5]中导出的。 MVC视频流的存储被称为MVC文件格式。在MVC文件格式中，文件中的一个或多个视频轨道表示多视图视频流。每个轨道表示流的一个或多个视图。除了编码的多视图视频数据本身，MVC文件格式还包括在处理视频数据时要使用的元数据。例如，每个视图具有相关联的视图标识符，这意味着一个视图内的MVC网络抽象层(NAL)单元具有完全相同的视图标识符，即具有在MVC NAL单元首部扩展中的view_id字段的相同值。现今，摄像机参数存储在多视图获取信息补充增强信息(SEI)消息中，该消息包含在非固有摄像机参数箱和固有摄像机参数箱中。这些参数包括提供摄像机位置和摄像机焦距坐标的平移向量。

发明内容
基于现今包括在多视图获取信息SEI消息中的信息来确定摄像机和摄像机视图的关系和总体部署和布局非常困难，有时甚至是不可能的。本实施例克服了现有技术配置的这些和其他缺点。本发明的总体目的是提供包括有价值的摄像机视图部署信息的媒体容器文件的产生。该目的和其他目的是通过所附专利权利要求限定的实施例来实现的。简而言之，实施例涉及通过将表示场景的多个摄像机视图的编码的视频数据组织在媒体容器文件的至少一个媒体轨道中，来产生媒体容器文件。指示摄像机视图的备选预定部署和位置关系的多个预定视图布置表示可用。选择与多个摄像机视图的当前阵列相关的视图布置表示。将多个摄像机视图的视图标识符包括在所选视图布置表示中。相对于所述至少一个媒体轨道，将具有视图标识符的该视图布置表示相关联地组织在媒体容器文件中。
视图布置表示提供了直接给出以下直观理解的高级信息用于记录多视图数据的摄像机是如何相对于彼此来布置的，并且给出了摄像机部署中的任何模式。实施例还涉及一种用于产生媒体容器文件的设备和这种媒体容器文件。


结合附图，参照以下描述，可以最佳地理解实施例及其其他目的和优点，附图中图1是根据实施例的用于产生媒体容器文件的方法的流程图；图2是多个摄像机和摄像机视图的阵列的示意示例；图3是多个摄像机视图的阵列的另一示意示例；图4是媒体容器文件的实施例的示意；图5是可以包括在图4的媒体容器文件中的多个视图布置表示的箱的示意；图6是示意了图1中的产生方法的选择和包括步骤的实施例的流程图；图7A和7B示意了共线视图布置表示的示例；图8是示意了图1中的产生方法的选择和包括步骤的另一实施例的流程图；图9A和9B示意了平面视图布置表示的示例；图10是示意了图1中的产生方法的选择步骤的实施例的流程图；图11示意了矩形视图布置表示的示例；图12是示意了图1中的产生方法的选择步骤的另一实施例的流程图；图13A和13B示意了球形视图布置表示的示例；图14是示意了图1中的产生方法的选择步骤的另一实施例的流程图；图15示意了立体视图布置表示的示例；图16是示意了图1中的产生方法的可选的附加步骤的流程图；图17示意了可以包括在图4的媒体容器文件中的、重叠摄像机视图的表示的示例；图18是根据实施例的容器文件产生设备的示意框图；图19是可以实现实施例的通信系统的示例的概述；以及图20示意性示出了重叠的摄像机视图。
具体实施例方式贯穿附图，相同的参考字符用于相应或相似的元件。本实施例涉及多视图视频数据以及包括编码的多视图视频数据的媒体容器文件。多视图媒体数据意味着内容的多个摄像机视图可用，其中，每个这种摄像机视图产生表示内容但来自多个可用摄像机视图之一的视频数据。在多视图视频中，相对于要记录的场景，提供了多个摄像机或其他媒体记录/创建设备或多个这种摄像机的阵列。由于摄像机具有相对于场景的不同位置和/或不同指向和/或焦距，因此它们提供了内容的备选视图。图2示意性示出了这种概念，其中，多个摄像机12-18的阵列10位于场景5附近， 场景5例如是要由不同摄像机12-18来记录足球比赛的足球场。该图还指示了摄像机12-18 的相应摄像机视图22-28。在该示意示例中，摄像机12-18位于沿足球场长度方向的不同位置，因此记录场地的不同位置。这意味着摄像机12-18捕捉从其相应摄像机视图22-28看见的媒体内容的不同版本。如本领域公知的，视频数据编码典型地基于相对像素预测，如在H. 261、H. 263、 MPEG-4和H. 264中。在H. 264中，利用了 3种像素预测方法，即帧内、帧间和双向预测。帧内预测提供了根据当前帧的先前解码像素对当前像素块的空间预测。帧间预测使用先前解码帧中对应但是移位的像素块来给出当前像素块的时间预测。双向预测给出了两个帧间预测的加权平均。因此，帧内编码帧不依赖于视频流中的任何先前帧，而帧间编码帧(包括具有双向预测的帧间编码帧)使用来自视频流中的一个或多个其他参考帧的运动补偿。多视图视频编码不仅允许来自单一摄像机视图的帧之间的预测，还允许视图间的预测，从而使得这种基于预测的编码更进一步。因此，与要编码的当前帧相比，参考帧可以是相同相对时刻但属于另一摄像机视图的帧。视图间和视图内预测的组合也是可能的，从而具有来自不同摄像机视图的多个参考帧。在本领域中，如MVC标准草案[6]中公开的，在MVC文件格式中，仅包括与相对于所记录场景的摄像机位置相关联的非常有限量的信息。基本上，现有技术的信息限于摄像机焦距的平移向量和坐标。然而，该信息本身不能提供与例如如何全局地组织摄像机视图、 哪些摄像机视图彼此相邻或实际上可能重叠相关的任何直观指示。明显不同地，必须从摄像机视图的媒体容器文件中的相应存储位置取得每个摄像机的向量和坐标信息。以计算上较为复杂的算法来处理所取得的数据，以确定任何全局和局部摄像机视图相互关系。例如， 基于向量和坐标来决定将摄像机组织在平面上还是球形表面上的栅格中是非常困难的，有时甚至是不可能的。实施例通过提供可以直接从媒体容器文件取得而无需任何复杂计算的视图布置表示的显式信息，来解决现有技术中的这些限制。图1是示意了根据实施例的用于产生媒体容器文件的方法的流程图。该方法从步骤Sl开始，在步骤S 1，提供表示视频内容的多个摄像机视图的编码的视频数据。步骤Si的多视图视频数据的提供可以通过从可访问媒体存储器中取得视频数据来实现，其中，先前已经将视频数据输入该可访问媒体存储器。备选地，视频数据是从某个其他外部单元接收的，在该外部单元中存储、记录或产生该视频数据。另一种可能性是实际创建和编码视频数据，如记录视频序列或合成地产生视频数据。在下一步骤S2中，将所提供的编码的多视图视频数据组织为媒体容器文件的至少一个媒体轨道。例如，媒体容器文件可以是所谓MVC文件或优选地基于ISO基本媒体文件格式的某种其他文件格式。媒体容器文件可以被认为是媒体服务器在媒体会话期间用于提供视频内容和将视频数据形成为可传输数据分组的完整输入包。因此，除了视频内容本身之外，容器文件优选地包括媒体服务器执行处理并允许在媒体会话期间传输视频内容所需的信息和指令。在实施例中，每个摄像机视图具有媒体容器文件中单独分配的媒体轨道，从而提供了多个摄像机视图与多个媒体轨道之间的一对一关系。备选地，至少两个(可能全部) 摄像机视图的编码的视频数据可以装入媒体容器文件的单一媒体轨道。图4示意性示出了具有承载编码的多视图视频数据的一个或多个媒体轨道32的媒体容器文件30的示例。多个摄像机视图的相应媒体数据，不论被组织为一个还是多个媒体轨道，优选地都分配有与摄像机视图相关联的相应视图标识符。
产生方法的下一步骤S3基于多个摄像机视图的相对位置，来选择多视图视频数据的视图布置表示。此外，该视图布置表示是从多个预定视图布置表示中选择的。这些视图布置表示指示多个摄像机视图的不同预定部署和位置关系。视图布置表示可以被认为是相对于所记录场景的多个摄像机和摄像机视图的特定总体部署的标识符。因此，视图布置表示直接提供了如何组织多个摄像机视图的信息，不需要摄像机向量和坐标的任何处理以确定当前摄像机视图部署。步骤S3从多个预定视图布置表示的集合中选择视图布置。这意味着，存在有限数目的、预先指定和允许的部署，在这些部署中，可以关于要以多视图设置进行记录的场景或对象来组织摄像机。这些预定视图布置表示与在多视频记录中使用的最常用摄像机部署规划相对应。这种可以使用的预定视图布置表示的示例包括共线视图布置表示、平面视图布置表示、矩形视图阵列表示、球形视图阵列布置表示和立体视图对布置表示。因此，多个预定视图布置表示的集合可以包括所有上述视图布置表示或其子集，只要集合中存在多个 (即至少两个)预定视图布置表示。本实施例不限于这些特定视图布置表示，而是可以备选地或附加地使用具有除了直线、平面、矩形格栅、球形或立体视图对之外的不同摄像机视图部署的其他视图布置表示。步骤S3的选择可以通过选择单一视图布置表示来执行。备选地，实际上可以将多个预定视图布置表示的子集应用至当前摄像机视图布置，因此可以在步骤S3中选择多个预定视图布置表示的子集。例如，根据矩形视图阵列布置表示的定义而部署的摄像机视图也可以以平面来部署，从而也可以选择平面视图布置表示。在步骤S4中，将多个摄像机视图的视图标识符包括在所选的视图布置表示中。因此，这些视图标识符指定了根据所选视图布置表示所指示的部署规划，相对于所记录场景来部署哪些视图摄像机。优选地，按照所选视图布置表示所定义的部署和位置关系中对摄像机视图的相对位置顺序进行描述的顺序，将视图标识符包括在视图布置表示中。因此，优选地，按照视图布置表示所定义的部署规划中摄像机视图相对于场景的位置顺序，将摄像机视图的视图标识符包括在视图布置中。在步骤S5，相对于步骤S2中组织为文件的至少一个媒体轨道，将包括有视图标识符的所选视图布置相关联地组织在媒体容器文件中。相关联地组织意味着将视图布置表示包括在媒体容器文件中，以便提供视图布置表示与视图布置表示所应用至的摄像机视图之间的关联。相应地，这种关联可以取而代之地是视图布置表示与组织为至少一个媒体轨道的编码的多视图数据之间的关联。关联可以具有从媒体容器文件内视频数据的存储位置至视图布置表示的存储位置(或者反之)的指针的形式。因此，给定特定视频数据或其在媒体容器文件内的位置，该指针或元数据实现了对相关联视图布置表示或视图布置表示在文件内的存储位置的标识。 取代采用指针，元数据可以包括视频数据的视频数据标识符或承载多视图视频数据的媒体轨道的轨道标识符。其他示例包括视图布置表示中包括的视图标识符，允许标识摄像机视图，从而允许标识视图布置表示所应用至的视频数据和媒体轨道。然后，该方法结束。产生方法的操作步骤可以如图1所示按顺序依次执行。备选地，步骤S3至S5可以在步骤Sl和S2之前或实际上与步骤Sl和S2并行执行。
图4示意性示出了媒体容器文件30的实施例。媒体容器文件30包括承载编码的多视图视频数据的一个或多个媒体轨道32。包括摄像机视图的视图标识符36在内的所选视图布置表示34也被组织为媒体容器文件30中的元数据。图5示意了如何将视图布置表示组织在媒体容器文件中的示例。在所示示例中， 媒体容器文件包括表示为全局补充视图位置箱38的箱。箱38记录常用的摄像机位置。当摄像机和摄像机视图以直观上简单的模式(从摄像机位置坐标中提取可能较为复杂)来定向时，这是尤其有用的。内容创建者可以使用该箱来突出他或她选择的摄像机之间的有用关系。图5的全局补充视图位置箱38示意了根据实施例的多个预定视图布置表示34A 至34E。因此，箱38包括共线视图箱34A、平面视图箱34B、矩形视图箱34C、球形视图箱34D 和立体视图箱34E。注意，在最实际的实现中，全局补充视图位置箱38中实际上仅包括视图布置表示34A至34E之一或子集，因为该视图布置表示或视图布置表示子集是针对当前摄像机视图布置而选择的。在媒体容器文件中提供全局补充视图位置箱38的非限制性示例可以是箱类型‘gsvp，容器电影箱(‘moov，)强制否数量精确为1个
aligned(8) class GlobalSupplementary ViewPositionBox extends FullboxCgsvp，’ version = 0, 0) { Inline ViewBoxQ;//可选
PlaneViewBoxO ；"可选
Rectangular ViewBoxQ ； //可选 Sphere ViewBoxQ;// 可选
StereoViewBox() ；//可选
}针对箱类型“gsvp”可用的视图箱34A至34E是可选的，这意味着，针对给定摄像机视图布置，不是所有视图箱都必须包括在媒体容器文件中。在图5中，箱38被示意为针对每个视图布置表示类型，具有至多一个箱34A至34E。然而，对于一些摄像机阵列，可以有利地包括给定类型的多个视图布置表示，如多个共线视图布置表示34A和/或多个立体视图布置表示34E。图6是示意了图1中的产生方法的选择步骤S3和包括步骤S4的实施例的流程图。 该方法从图1的步骤S2继续进行。下一步骤SlO基于多个摄像机视图或多个摄像机的相对位置，选择共线视图布置表示。例如，参照图2，摄像机视图22-28均沿直线布置，针对该摄像机视图部署，应当选择共线视图布置表示。图3示意了另一组摄像机视图。在这种情况下，如果摄像机视图的最小数目为3，则针对具有16个摄像机视图22A至28D的阵列，实际上存在共线视图布置表示的34种可
能条目
22A，22B，22C，22D24A，24B，24C，24D26A，26B，26C，26D
28A，28B，28C，28D22A，24A，26A，28A22B，24B，26B，28B
22C，24C，26C，28C22D，24D，26D，28D22A，24B，26C，28D
28A，26B，24C，22D24A，26B，28C22A，24B，26C
24B，26C，28D22B，24C，26D26A，24B，22C
28A，26B，24C26B，24C，22D28B，26C，24D
22A，22B，22C22B，22C，22D24A，24B，24C
24B，24C，24D26A，26B，26C26B，26C，26D
28A，28B，28C28B，28C，28D22A，24A，26A
24A,26A,28A22B，24B，26B24B，26B，28B
22C，24C，26C24C，26C，28C22D，24D，26D
24D，26D，28D
在优选实施例中，摄像机视图的数目被认为是沿直线至少3个，与上述实施例中一样。
可选的下一步骤Sll选择第一共线版本和第二共线版本中的共线版本。这些多个
共线版本定义了对沿直线部署的优选地至少3个摄像机视图的视图标识符进行组织的不同方式。步骤Sll中对共线版本的选择是基于多个摄像机视图的相对位置来执行的。如果在步骤Sll中选择第一共线版本VI，则方法继续至步骤S12。步骤S12将沿直线部署的摄像机视图的所有视图标识符包括在共线视图布置表示中。因此，按照摄像机视图沿直线部署的正确顺序提供摄像机视图。例如，如果22A至28D表示摄像机视图的视图标识符，则为图 3 中的 22A、24B、26C、28D。然而，如果在步骤Sll中选择第二共线版本V0，则步骤S13将起始视图标识符和可选的标识符增量包括在共线视图布置表示中。在视图标识符的总比特大小方面，这种表示视图标识符的方式更加高效。然而，第二共线版本仅在以如下方式来组织摄像机视图的情况下可用摄像机视图的视图标识符为start_view_id，start_view_id+id_increment, start_view_id+2 X id_increment, start_view_id+3 X id_increment,…，其中 start_ view_id是对齐的摄像机视图序列中具有最低视图标识符的摄像机视图的视图标识符，id_ increment是标识符增量。在一些应用中，标识符增量可以具有预定值，如1，从而不需要在共线视图箱中指定任何标识符增量。然后，该方法继续至图1的步骤S5。图7A示意了在图6的步骤Sll中选择第一共线版本的情况下，共线视图箱34A的第一示例。共线视图箱34A包括版本标识符31，版本标识符31具有与第一共线版本相关联的值。共线视图箱34A中还包括对齐的摄像机视图的视图标识符36A。图7B示意了在图6的步骤Sll中代之以选择第二共线版本的情况下，对应的共线视图箱34A。共线视图箱34A包括共线版本标识符31、起始视图标识符36B和可选的上述标识符增量36C。起始视图标识符36B和标识符增量36C是对齐的摄像机视图的视图标识符的表示，可以用于根据view_idk = start_view_id+kX id_increment来计算摄像机视图，其中k = 0，1，2，. . .，view_count-l, view_count是指定了连续对齐的摄像机视图的数目的整数。尽管在图7A和7B中未示出，但是共线视图箱34A还可以包括VieW_COimt，即沿直线对齐的摄像机视图的总数。但是这不是必须的，因为箱/完整箱结构中包含的大小字段给出了关于箱中有多少视图条目的指示。总是可以将该大小除以每个视图占用的比特数来获得视图总数。共线视图箱34A可以定义为箱类型‘ilvi，容器全局补充视图位置箱(‘gsvp’ )强制否数量0或更多
aligned(8) class Inline ViewBox extends Fullbox('ilviversion，0) { if (version == 1) { for (i=0; ； /+ +； { //至箱结尾语义version是指定共线视图箱的共线版本的整数。View_id是文献[6]中的Viewldentifier箱中指示的摄像机视图的标识符。start_view_id是ViewIdentifierBox中指示的摄像机视图的视图标识符，是对齐的摄像机视图序列中最低的View_id。view_count是对连续对齐的摄像机视图的数目进行计数的整数。id_increment 是标识符增量。注意，如上所述并结合图3讨论的，单一摄像机视图布置可以包括多个共线视图箱。
权利要求
1.一种用于产生媒体容器文件的方法，包括以下步骤_将表示视频内容的多个摄像机视图的编码的视频数据组织在所述媒体容器文件的至少一个媒体轨道中；_基于所述多个摄像机视图的相对位置，从多个预定视图布置表示中选择视图布置表示，其中，所述多个预定视图布置表示指示所述多个摄像机视图的不同预定部署和位置关系；-将所述多个摄像机视图的视图标识符包括在所选的视图布置表示中；以及-相对于所述至少一个媒体轨道，将所选的视图布置表示相关联地组织在所述媒体容器文件中。
2.根据权利要求1所述的方法，其中，所述包括步骤包括按照所选的视图布置表示所定义的预定部署和位置关系中描述所述多个摄像机视图的相对位置顺序的顺序，来包括所述视图标识符。
3.根据权利要求1或2所述的方法，其中，所述选择步骤包括基于所述多个摄像机视图的所述相对位置，从共线视图布置表示、平面视图布置表示、矩形视图阵列布置表示、球形视图阵列布置表示和立体视图对布置表示中选择视图布置表示。
4.根据权利要求1至3中任一项所述的方法，其中，所述选择步骤包括基于所述多个摄像机视图的所述相对位置，选择共线视图布置表示，所述方法还包括基于所述多个摄像机视图的所述相对位置，在第一共线版本和第二共线版本之间进行选择，其中，所述包括步骤包括如果选择所述第一共线版本，则包括所述视图标识符；如果选择所述第二共线版本，则包括从所述视图标识符中选择的起始视图标识符和适用于所述起始视图标识符的标识符增量，以获得所述多个摄像机视图的至少一部分的视图标识符。
5.根据权利要求1至4中任一项所述的方法，其中，所述选择步骤包括基于所述多个摄像机视图的所述相对位置，选择平面视图布置表示，所述方法还包括基于所述多个摄像机视图的所述相对位置，在第一平面版本和第二平面版本之间进行选择，其中，所述包括步骤包括如果选择所述第一平面版本，则包括所述视图标识符；如果选择所述第二平面版本，则包括从所述视图标识符中选择的起始视图标识符和适用于所述起始视图标识符的标识符增量，以获得所述多个摄像机视图的至少一部分的视图标识符。
6.根据权利要求1至5中任一项所述的方法，其中，所述选择步骤包括基于所述多个摄像机视图的所述相对位置，选择矩形视图阵列布置表示，所述方法还包括_将所述多个摄像机视图的矩形摄像机视图阵列的行数的表示和列数的表示包括在所述矩形视图阵列布置表示中；以及-将所述矩形摄像机视图阵列中连续行之间的距离的表示和连续列之间的距离的表示包括在所述矩形视图阵列布置表示中。
7.根据权利要求1至6中任一项所述的方法，其中，所述选择步骤包括基于所述多个摄像机视图的所述相对位置，选择球形视图阵列布置表示，所述方法还包括将包括所述多个摄像机视图的球形摄像机视图阵列的半径的表示和中心坐标的表示包括在所述球形视图阵列布置表示中。
8.根据权利要求1至7中任一项所述的方法，其中，所述选择步骤包括基于所述多个摄像机视图的所述相对位置，选择立体视图对布置表示，所述包括步骤包括将所述多个摄像机视图的左眼摄像机视图的视图标识符和右眼摄像机视图的视图标识符包括在所述立体视图对布置表示中。
9.根据权利要求1至8中任一项所述的方法，还包括相对于所述至少一个媒体轨道， 将所述多个摄像机视图中的重叠摄像机视图的表示相关联地组织在所述媒体容器文件中。
10.根据权利要求9所述的方法，还包括-将所述多个摄像机视图中的基本摄像机视图的视图标识符包括在所述重叠摄像机视图的表示中；以及-将所述多个摄像机视图中与所述基本摄像机视图重叠的任何摄像机视图的任何视图标识符包括在所述重叠摄像机视图的表示中。
11.根据权利要求10所述的方法，还包括-将所述基本摄像机视图和与所述基本摄像机视图重叠的所述任何摄像机视图之间的偏移的信息包括在所述重叠摄像机视图的表示中；以及-将所述基本摄像机视图和与所述基本摄像机视图重叠的所述任何摄像机视图的重叠区域的大小的信息包括在所述重叠摄像机视图的表示中。
12.一种用于产生媒体容器文件的设备，包括-轨道组织器，将表示视频内容的多个摄像机视图的编码的视频数据组织在所述媒体容器文件的至少一个媒体轨道中；-表示选择器，基于所述多个摄像机视图的相对位置，从多个预定视图布置表示中选择视图布置表示，其中，所述多个预定视图布置表示指示所述多个摄像机视图的不同预定部署和位置关系；-标识符选择器，将所述多个摄像机视图的视图标识符包括在所述表示选择器选择的所述视图布置表示中；以及-表示组织器，相对于所述至少一个媒体轨道，将所述表示选择器选择的所述视图布置表示相关联地组织在所述媒体容器文件中。
13.根据权利要求12所述的设备，其中，所述标识符处理器适于按照所述表示选择器选择的所述视图布置表示所定义的预定部署和位置关系中描述所述多个摄像机视图的相对位置顺序的顺序，来包括所述视图标识符。
14.根据权利要求12或13所述的设备，其中，所述表示选择器适于基于所述多个摄像机视图的所述相对位置，从共线视图布置表示、平面视图布置表示、矩形视图阵列布置表示、球形视图阵列布置表示和立体视图对布置表示中选择视图布置表示。
15.根据权利要求12至14中任一项所述的设备，其中，所述表示选择器适于基于所述多个摄像机视图的所述相对位置，选择共线视图布置表示，所述设备还包括版本处理器，基于所述多个摄像机视图的所述相对位置，将第一共线版本或第二共线版本的版本标识符包括在所述共线视图布置表示中，其中，所述标识符处理器适于如果所述版本处理器包括所述第一共线版本的版本标识符，则包括所述视图标识符；如果所述版本处理器包括所述第二共线版本的版本标识符，则包括从所述视图标识符中选择的起始视图标识符和适用于所述起始视图标识符的标识符增量，以获得所述多个摄像机视图的至少一部分的视图标识符。
16.根据权利要求12至15中任一项所述的设备，其中，所述表示选择器适于基于所述多个摄像机视图的所述相对位置，选择平面视图布置表示，所述设备还包括版本处理器，基于所述多个摄像机视图的所述相对位置，将第一平面版本或第二平面版本的版本标识符包括在所述平面视图布置表示中，其中，所述标识符处理器适于如果所述版本处理器包括所述第一平面版本的版本标识符，则包括所述视图标识符；如果所述版本处理器包括所述第二平面版本的版本标识符，则包括从所述视图标识符中选择的起始视图标识符和适用于所述起始视图标识符的标识符增量，以获得所述多个摄像机视图的至少一部分的视图标识符。
17.根据权利要求12至16中任一项所述的设备，其中，所述表示选择器适于基于所述多个摄像机视图的所述相对位置，选择矩形视图阵列布置表示，所述设备还包括-数目处理器，将所述多个摄像机视图的矩形摄像机视图阵列的行数的表示和列数的表示包括在所述矩形视图阵列布置表示中；以及-距离处理器，将所述矩形摄像机视图阵列中连续行之间的距离的表示和连续列之间的距离的表示包括在所述矩形视图阵列布置表示中。
18.根据权利要求12至17中任一项所述的设备，其中，所述表示选择器适于基于所述多个摄像机视图的所述相对位置，选择球形视图阵列布置表示，所述设备还包括球形处理器，将包括所述多个摄像机视图的球形摄像机视图阵列的半径的表示和中心坐标的表示包括在所述球形视图阵列布置表示中。
19.根据权利要求12至18中任一项所述的设备，其中，所述表示选择器适于基于所述多个摄像机视图的所述相对位置，选择立体视图对布置表示，所述标识符处理器适于将所述多个摄像机视图的左眼摄像机视图的视图标识符和右眼摄像机视图的视图标识符包括在所述立体视图对布置表示中。
20.根据权利要求12至19中任一项所述的设备，还包括视图组织器，相对于所述至少一个媒体轨道，将所述多个摄像机视图中的重叠摄像机视图的表示相关联地组织在所述媒体容器文件中。
21.根据权利要求20所述的设备，还包括视图处理器，将所述多个摄像机视图中的基本摄像机视图的视图标识符包括在所述重叠摄像机视图的表示中，并将所述多个摄像机视图中与所述基本摄像机视图重叠的任何摄像机视图的任何视图标识符包括在所述重叠摄像机视图的表示中。
22.根据权利要求21所述的设备，还包括-偏移处理器，将所述基本摄像机视图和与所述基本摄像机视图重叠的所述任何摄像机视图之间的偏移的信息包括在所述重叠摄像机视图的表示中；以及-大小处理器，将所述基本摄像机视图和与所述基本摄像机视图重叠的所述任何摄像机视图的重叠区域的大小的信息包括在所述重叠摄像机视图的表示中。
23.一种媒体容器文件，包括-至少一个媒体轨道，包括表示视频内容的多个摄像机视图的编码的视频数据；-视图布置表示，相对于所述至少一个媒体轨道相关联地组织在所述媒体容器文件中， 并指示所述多个摄像机视图的预定部署和位置关系；以及-所述多个摄像机视图的视图标识符，包括在所述视图布置表示中。
全文摘要
一种媒体容器文件(30)，通过将表示视频内容的多个摄像机视图(22-28)的编码的视频数据组织为媒体容器文件(30)中的一个或多个视频轨道(32)来产生。从多个不同的预定视图布置表示中选择指示摄像机视图(22-28)的预定部署和位置关系的视图布置表示(34)。将多个摄像机视图(22-28)的视图标识符(36)包括在所选视图布置表示(34)中。相对于所述至少一个视频轨道(32)，将包括有视图标识符(36)的视图布置表示(34)组织在媒体容器文件(30)中。
文档编号H04N7/50GK102177717SQ200880131424
公开日2011年9月7日 申请日期2008年12月15日 优先权日2008年10月7日
发明者巫壮飞, 珀·福罗德亨 申请人:艾利森电话股份有限公司