媒体文件中的多个解码时间的信号传输的制作方法

专利名称：媒体文件中的多个解码时间的信号传输的制作方法
技术领域：
本发明一般涉及媒体内^储领域。更具体地，本发明涉及信号传输 媒体文件中的多个解码时间。
背景技术：
这部分旨在提供在权利要求书中列举的本发明的背景或环境。这里的 说明可包括能够遵循的概念，但是不必是先前已经构思或遵循的概念。因 此，除非在这里指示，否则在这部分中描述的内容不是本申请中的说明书 和权利要求的现有技术，并且不容许作为现有技术包含在这部分中。
视频编码标准包括ITU-T H.261、 ISO/IEC MPEG-1 Visual、 ITU-T H.262或ISO/IEC MPEG-2 Visual 、 ITU-T H.263、 ISO/IEC MPEG-4 Visual、和ITU-T H.264 (还已知为ISO/IEC MPEG-4 AVC)。此外，目 前存在正在进行的与新视频编码标准的开发关联的努力。在开发中的一个 这样的标准是SVC标准，其将成为对H.264/AVC的可扩展延伸。在开发 中的另一标准是多视图编码标准(MVC),这也是H.264/AVC的延伸。 此外，另一个这样的努力涉及中国视频编码标准的开发。
在JVT-V201 "Joint Draft 9 of SVC Amendment"，第22次JVT会 议，马拉喀什，摩洛哥，2007年1月中描述了 SVC标准的草案，其可从 http:〃ftt>3.itu.ch/av-arch/Wt-site/2007 01 Marrakech/JVT-V201。zip获得。 在JVT-V209 "Joint Draft 2.0 on Multiview Video Coding"，第22次JYT 会议，马拉喀什，摩洛哥，2007年1月中描述了 MVC标准的草案，其可 从http:〃ftp3.itu.ch/av-areh/ivt-site/2007 01 Marrakech/JVT-V209.zip获 得。典型地，将可扩屑_媒体按顺序放入具有等级的数据层中，其中可将祸L 频信号编码到基础层和一个或多个增强层中。基础层可包含诸如视频序列 的编码媒体流的各种表示。增强层可包含相对于层等级中的先前层的改进 的数据。在向基础层增加增强层时，解码媒体流的质量逐渐提高。增强层 提高时间分辨率(即帧速率)、空间分辨率、和/或仅仅提高由另一层或其 部分呈现的视频内容的质量。在某个空间分辨率、时间分辨率和/或质量水 平方面，每个层与所有其依赖层一起是视频信号的一个表示。因此，这里
使用术语"可扩展层表示"来描述可扩展层与其所有依赖层。可提取和解 码与可扩展层表示对应的可扩展位流的部分，以按某个保真度生成原始信
号的表示。
引入视频编码标准的可扩展性的最早类型是在MPEG-1 Visual中具有 B图片的时间可扩展性。根据这种B图片时间可扩展性，从两个图片对B 图片进行双边预测，其中两个图片都按显示顺序， 一个在B图片之前，另 一个在B图片之后。此外，B图片是非基准图片，即，其不被其他图片用 于图片间的预测基准。因此，可丢弃B图片以实现具有更低帧速率的时间 可扩展点。在MPEG-2 Video、 H.263和MPEG-4 Visual中保持相同的机 制。
在H.264/AVC中，概括了 B图片或B片段的概念。可以从按显示顺 序的在相同方向的两个基准图片预测B片段中的块，并且包括B片段的图 片可被其他图片引用以进行图片间预测。传统B图片时间可扩展性的双向 预测属性和非基准图片属性都不再有效。
在H.264/AVC、 SVC和MVC中，可通过使用如下更详细描述的非基 准图片和/或有等级的图片间预测结构来实现时间可扩展性。应理解，通过 仅^f吏用非基准图片，可能实现与通过^f吏用MPEG-1/2/4中的传统B图片所 实现的类似的时间可扩展性。这可通过丢弃非基准图片来完成。或者，使 用有等级的编码结构可实现更灵活的时间可扩展性。
图1示出具有4个级别的时间可扩展性的传统的有等级编码结构。显 示顺序由表示为图片顺序计数(POC)的值来指示。按解码顺序将I或P图片(还称为关键图片)编码为图片组(GOP)的第一图片。当对关键图 片进行中间编码时，将先前的关键图片用作图片间预测的基准。因此，这 些图片对应于时间可扩展结构中的最低的时间级别(在图1中表示为TL)， 并且与最低帧速率关联。应理解，更高时间级别的图片可仅使用相同或更 低时间级别的图片用于图片间预测。通过这种具有等级的编码结构，可通 过丢弃某个时间级别值的或超过某个时间级别值的图片来实现与不同帧速 率对应的不同时间可扩展性。
例如，再参照图l,图片0、 108和116具有最低时间等级，即TL0， 而图片101、 103、 105、 107、 109、 111、 113、和115具有最高时间等级， 即TL3。对剩余图片102、 106、 110、和114按等级的方式分配另一TL， 并且他们构成不同帧速率的位流。应注意，通过解码GOP中的所有时间 等级，可实现最高帧速率。可通过丢弃某些时间等级的图片来获得更低帧 速率。应注意，具有较低时间等级或较低帧速率的时间可扩展层还可称为 较低时间层。
上述具有等级的B图片编码结构是用于时间可扩展性的典型编码结 构。然而，应注意，可能有更灵活的编码结构。例如，GOP大小不必随时 间恒定。可替换地，时间增强层图片不必编码为B片段，但是可编码为P片段。
-现频编码层(VCL)和网络提取层(NAL)的概念源自高级视频编码 (AVC) 。 VCL包含编解码器的信号处理功能，例如，转换、量化、运动 补偿预测、环路滤波、和层间预测的机制。基础层或增强层的编码图片包 括一个或多个片段。NAL将VCL生成的每个片段封装到一个或多个NAL 单元中。
每个SVC层由NAL单元形成，表示该层的编码视频位。仅承载一个 层的实时传输协议(RTP)流将承载仅属于该层的NAL单元。承载完整 的可扩展一见频位流的RTP流将承载基础层和一个或多个增强层的NAL单 元。SVC指定这些NAL单元的解码顺序。
在一些情况下，可在某个位置之后或在任意位置截断增强层中的数据，其中每个截断位置可包括表示逐渐增强了视觉质量的附加数据。在截断点 紧密间隔时，可扩展性被称为"细粒度"，因此为术语"细粒度的(颗粒
的)可扩展性，，(FGS)。与FGS相反，仅可在某些粗糙位置截断的由那 些增强层提供的可扩展性称为"粗粒度的(颗粒的)可扩展性"(CGS)。 此外，上述草案SVC编码标准还可支持通常被称为"中间粒度的(颗粒的) 可扩展性"(MGS )。根据MGS,质量增强图片与CGS可扩展层图片类 似地被编码，但是如类似于对FGS层图片的操作，可由高等级语法元素来 指示。应注意，增强层可共同地包括CGS、 MGS、和FGS质量(SNR) 可扩展性和空间可扩展性。
根据H.264/AVC，访问单元包括一个主要的编码图片。在一些系统中， 可通过将访问单元分隔符NAL单元插入位流来简化访问单元边界的检测。 在SVC中，访问单元可包括多个主要的编码图片，但是至多一个图片具有 dependency—id 、 temporal—id、和qualityid的每个唯一组合。这里所述的 编码图片指的是在具有dependency—id和quality—id的特定值的访问单元 中的所有NAL单元。应注意，在SVC中l吏用的术语可以改变。因此，在 这里可称为编码图片的可随后用另一术语来引用，例如层表示。
SVC使用与H.264/AVC中使用的类似机制来提供具有等级的时间可 扩展性。在SVC中，可以在不影响剩佘位流的解码的情况下从编码位流方文 弃某组基准和非基准图片。具有等级的时间可扩展性需要多个基准图片用 于运动补偿，即，存在包含多个解码图片的基准图片緩冲器，编码器可从 中选择基准图片用于中间预测。在H.264/AVC中，称为子序列的特征支持 具有等级的时间可扩展性，其中每个增强层包含子序列并且每个子序列包 含多个基准和/或非基准图片。子序列还包括多个中间依赖图片，可在不干 扰任意较低子序列层中的任意其他子序列的情况下设置。子序列基于他们 彼此的依赖性有等级地排列，并且等同于SVC中的时间级别。因此，当设 置最高子序列层中的子序列时，剩余位流保持有效。在H.264/AVC中，通 过使用子序列关联的补充增强信息(SEI)消息来实现时间可扩展性信息 的信号传输。在SVC中，在NAL单元的标头中指示时间级别的等级。文件格式是多媒体内容生成、操作、传输和消费链中的重要元素。在 编码格式和文件格式之间存在不同。编码格式涉及将内容信息编码成位流 的特定编码算法的行为。相反，文件格式包括以这样的方式组织所生成的 位流的系统/结构，即，其可被访问以用于本地解码和回放，可被作为文件 传送，或流传输，这些都利用各种存储和传输架构。此外，文件格式可i更 于媒体的交换和编辑。例如，许多流传输应用需要在服务器上伴随有在"提
示轨道(hint-track)"中存储的元数据的预编码位流，其协助服务器将视 频流传输至客户端。在提示轨道元数据中可包括的信息的实例包括定时信 息、同步点的指示、和分包提示。该信息用于减少服务器的操作负担，并 最大化最终用户的体验。
一个可用的媒体文件格式标准包括面向对象的、ISO !^出媒体文件格 式文件结构，其中可将文件分解成其组成对象，并且可从组成对象的类型 和位置直接推断他们的结构。此外，ISO基础媒体文件格式被设计为包含 定时的媒体信息，用于以灵活的、可扩展的格式呈现，其便于媒体的交换、 管理、编辑、和呈现。实际文件具有逻辑结构、时间结构、和物理结构， 尽管这些结构不需要连接。
文件的逻辑结构可比作"电影"的逻辑结构，其包含时间并行的轨道
的集合。文件的时间结构通过包含按时间的采样序列的轨道来代表，并通
过可选的编辑列表将那些序列映射到整个电影的时间轴。文件的物理结构
/人4某体数据采样自身分离出逻辑、时间、和结构分解所需的数据。这种结
构信息通过记录采样的逻辑和定时关系的轨道来代表，并且还包含对他们
定位的指针。指针可引用相同文件中或另一文件中的媒体数据，例如通过
统一资源定位符来引用。
每个媒体流包含在专用于该媒体类型(音频、视频等)的轨道中，并
且还通过采样条目来参数化。采样条目包含精确媒体类型(即解码流所需 的解码器的类型)的"名称"以及所需解码器的任意参数。此外，通过媒 体采样的时间戳来同步轨道。此外，轨道可通过轨道基准连接在一起，其 中轨道可形成彼此的替代，例如，两个音频轨道包含不同语言。在轨道中的一些采样具有特定特征，或者需要被单独识别，例如同步 点(通常是#见频1帧)。这些同步点通过每个轨道中的专用表来识别。更 具体地，还可记录轨道采样之间的从属性特征。此外，可利用命名的、参 数化的采样组的概念。这些命名的、参数化的采样组允许记录由轨道的某
些采样共享的任意特征。在svc文件格式中，使用采样组来描述具有某个
NAL单元结构的采样。
所有文件以文件类型盒开始，该文件类型盒定义文件的最佳使用和文 件符合的规格(其被记录为"牌(brand)")。在文件类型盒中存在牌 指示了要求和许可两者由文件作者进行的要求是该文件符合的规格；以 及对读者的许可，可能仅实现读取文件和解释文件的规格。
在上述电影结构的情况下，"电影，，盒可包含一组"轨道，，盒，例如， 用于视频轨道的轨道盒、用于音频轨道的轨道盒、和用于提示轨道的轨道 盒。而每个轨道可包含针对一个流的包括但不限于定时、材料特性(例如 视频、音频等)的信息、视觉信息、初始化信息(例如采样条目表)、以 及关于可在哪里找到编码数据的信息以及其大小等。换句话说，轨道盒可 包含与实际媒体内容数据相关的元数据。例如，除了其他元素之外，每个 轨道可包含具有采样描述盒的釆样表盒，其中采样描述盒保存某些信息， 例如，在MPEG-4 AVC视频的解码器配置记录中包含的信息，这是解码 器为了初始化而所需的信息。此外，采样表盒保存多个表，其包含定时信 息和媒体数据的指针。换句话说，视频和音频数据可按块交织存储在媒体 数据容器/盒中。最后，提示轨道可包含关于如何处理文件用于流传输的预 计算的指令。
此外，通过SVC,可使用SEI消息来信号传输与多个解码时间相关的 信息。然而，从SEI消息提取所需的解码时间需要—吏得文件读取器配备有 熵解码器。此外，对媒体数据采样解析以找到包含与解码时间相关的信息 的SEI消息也可能是一个负担。因此，这样的需求可导致给提供所存储的 位流的子集的那些服务器增加实施和计算复杂度。ISO基础媒体文件格式 及其派生物(例如SVC文件格式)考虑到为包含一个访问单元的每个采样信号传输解码时间。然而，对于可扩展媒体，当仅需要解码采样的子集或 采样子集时，每个采样或采样子集的解码时间可能不同于解码整个流的解 码时间。

发明内容
在第一方面，根据本发明的示例性实施例提供一种方法，包括将第 一定时数据存储在媒体文件的轨道盒中，所述笫一定时数据描述在所述媒 体文件的关联的媒体数据盒中存储的编码的多媒体内容的至少一个采样的 解码时间；以及存储用于所述编码多媒体内容的至少 一个采样的备用解码 时间数据，所述备用解码时间数据表示为代表所述至少一个采样的解码时 间的调整的变量值。
在另一方面，根据本发明的示例性实施例提供一种方法，包括将第 一定时数据存储在媒体文件的轨道盒中，所述第一定时数据描述在所述媒 体文件的关联的媒体数据盒中存储的编码多媒体内容的至少一个采样的解 码时间；以及如果对所述编码多媒体内容的子集进行解码，则存储所述编 码多媒体内容的至少一个采样的备用解码定时数据以供使用。
在另一方面，根据本发明的示例性实施例提供一种装置，包括处理 器；以及存储器单元，与所述处理器耦合。所述装置还包括编码器，被 配置为将第一定时数据存储在媒体文件的轨道盒中，所述第一定时数据
少一个采样的解码时间；以及存储用于所述编码多媒体内容的至少一个采 样的备用解码时间数据，所述备用解码时间数据表示为代表所述至少 一个 采样的解码时间的调整的变量值。
在另一方面，根据本发明的示例性实施例提供一种方法，包括解析 包,体位流和第 一定时数据的媒体文件，所述第 一定时数据描述所述々某 体位流的至少一个采样的解码时间；确定是否为解码整体的媒体位流和解 码所述媒体位流的子集中的一个；在确定解码所述媒体位流的子集时，解 析所述媒体位流的子集的至少一个采样的备用解码定时数据；以及根据所述备用解码定时数据解码媒体位流的子集。
在另一方面，根据本发明的示例性实施例提供一种装置，包括处理 器；以及存储器单元，可操作地连接至所述处理器。所述装置还包括文 件解析器，用以执行以下操作解析包,体位流和第一定时数据的媒体 文件，所述第一定时数据描述所述媒体位流的至少一个采样的解码时间； 确定是否为解码整体的媒体位流和解码所述媒体位流的子集中的一个；在 确定解码所述媒体位流的子集时，解析所述媒体位流的子集的至少一个采 样的备用解码定时数据。所述装置还包括解码器，用以根据所述备用解 码定时数据解码媒体位流的子集。
在另一方面，根据本发明的示例性实施例提供一种存储容器文件的计 算机可读介质，包括多个轨道；在轨道盒中包含的第一定时数据，所述
采样的解码时间；在所述盒中包含的备用定时数据，用于信号传输所述编 码多媒体内容的至少一个采样的备用定时数据，所述备用解码时间数据表
示为代表所述至少一个采样的解码时间的调整的变量值；以及标识符，用 于标识所述至少 一个采样的可扩展层。
在另一方面，根据本发明的示例性实施例提供一种装置，包括处理 器；以及存储器单元，与所述处理器耦合。所述装置还包括被配置为将 第 一定时数据存储在媒体文件的轨道盒中的计算机代码，所述第 一定时数
少 一个采样的解码时间；以及^皮配置为存储用于所述编码多媒体内容的至 少一个采样的备用解码时间数据的计算机代码，所述备用解码时间数据表 示为代表所述至少一个采样的解码时间的调整的变量值；被配置为存储用 以标识所述至少一个采样的可扩展层的标识符的计算4几代码。
在另一方面，根据本发明的示例性实施例提供一种装置，包括处理 器；以及存储单元，可操作地连接至所述处理器。所述装置还包括解析 包M体位流和第一定时数据的媒体文件的计算机代码，所述第一定时数 据描述所述媒体位流的至少一个采样的解码时间；确定是否为解码整体的媒体位流和解码所述媒体位流的子集中的一个以及在确定解码所述媒体位 流的子集时，解析所述媒体位流的子集的至少一个采样的备用解码定时数
据的计算机代码；以及被i己置为根据所述备用解码定时数据解码媒体位流 的子集的计算机代码；以及被配置为解析用以标识所述至少一个采样的可 扩展层的标识符的计算机代码，。


当结合附图时，根据以下具体实施方式
，本发明示例性实施例的以上 和其他优点和特点及其组织和操作方式将变得显而易见，其中在以下描述 的几个附图中类似的元素具有类似的标号。
图l示出4个时间可扩展层的传统的等级结构。
图2示出本发明使用的一般多媒体通信系统。
图3是可在本发明的实现中使用的移动设备的透视图。
图4是图3的移动设备的设备电路的示意性表示。
图5是示出根据本发明示例性实施例的方法操作、计算机程序指令的 执行结果的逻辑流程图。
图6是示出根据本发明示例性实施例的方法操作、计算机程序指令的 执行结果的另 一逻辑流程图。
图7是示出根据本发明示例性实施例的方法操作、计算机程序指令的 执行结果的另 一逻辑流程图。
M实施方式
以下描述是这样的示例性方法、计算机程序和装置，即，为处于文件
格式等级的每个采样提供信号传输多个解码时间的能力，以例如在解码整 个流和解码流的子集之间允许每个采样或采样子集具有不同的解码时间。
指定备用的解码时间盒，以考虑为每个采样信号传输多个解码时间。这种 盒可包含允许>^备用的解码时间向采样数目索引的表的紧缩版本，其中备 用的解码时间是当仅解码轨道中存储的基本流子集时由采样使用的解码时间。此外，表中的每个条目提供具有相同时间变量的连续采样的数目，并 且所述变量位于那些连续采样之间。因此，通过增加变量可构建完整的时 间-采样图。各个示例性实施例的实施例如在解码整个流和解码流的子集之 间允许采样或采样子集具有不同的解码时间。可以实施本发明的各个示例 性实施例而无需存储服务器/元件具有额外元件和/或计算复杂度。
图2示出本发明使用的通用多媒体通信系统。如图2所示，数据源200 提供模拟格式、非压缩数字格式、或压缩数字格式、或这些格式的任意组 合的源信号。编码器210将源信号编码成编码媒体位流。编码器210能够 编码多于一个媒体类型，例如音频和视频，或可需要多于一个编码器210 来编码源信号的不同媒体类型。编码器210还可接收综合生成的输入(例 如图形和文本)，或其能够生成合成媒体的编码位流。在下文中，仅考虑 一个媒体类型的一个编码媒体位流的处理，以简化说明。然而，应注意， 典型的实时广播服务包括几个流(典型地至少一个音频、视频和文本字幕 流)。还应注意，系统可包括许多编码器，但是在下文中，仅考虑一个编 码器210，以在不失一般性的情况下简化说明。
应理解，尽管这里包含的文本和实例可具体描述编码处理，但是本领
域普通技术人员容易理解相同的概念和原理同样适用于相应的解码处理， 反之亦然。
将编码媒体位流传送至存储器220。存储器220可包括用以存储编码 媒体位流的任意类型大容量存储器。在存储器220中的编码媒体位流的格 式可以是基本的自包含位流格式，或者可将一个或多个编码々某体位流封装 到容器文件中。 一些系统"现场"运行，即省略存储器，并将编码位流从 编码器210直接传送到发送器230。然后，根据需要，将编码媒体位流传 送到发送器230,其还称为服务器。在传输中使用的格式可以AS本的自 包含位流格式、分组流格式，或者可将一个或多个编码媒体位流封装到容 器文件中。编码器210、存储器220、和服务器230可驻留在相同物理设备 中，或者他们可包括在单独设备中。编码器210和服务器230可通过现场 实时内容来运行，在这种情况下典型地不永久地存储编码媒体位流，而是在内容编码器210中和/或服务器230中短时间緩冲，以平滑处理延迟、传 输延迟、和编码i某体位速率的变化。
发送器230通过使用通信协议栈发送编码媒体位流。所述栈包括但不 限于，实时传输协议(RTP)、用户数据报协议(UDP)、和互联网协议 (IP)。当通信协议栈是面向分组时，发送器230将编码々某体位流封装到 分组中。例如，当使用RTP时，发送器230根据RTP有效载荷格式将编 码媒体位流封装到RTP分组中。典型地，每个媒体类型具有专用RTP有 效载荷格式。还应注意，系统可包含多于一个发送器230，但是为了简单， 以下描述仅考虑一个发送器230。
发送器230可通过通信网络连接至网关240 ，也可以不连接至网关240。 网关240可执行不同类型的功能，例如，根据一个通信协议栈到另一通信 协议栈转换分组流、合并和分离数据流、以及根据下行链路和/或接收机功 能对数据流的操作(如根据主要下行链路网络条件控制被转发流的位速 率)。网关240的实例包括多点会议控制单元(MCU)、电路交换和分组 交换视频电话之间的网关、无线一键通(PoC)服务器、数字视频广播-手 持(DVB-H)系统中的IP封装器、或向家庭无线网络本地转发广播传输 的机顶盒。当使用RTP时，网关240称为RTP混合器，并用作RTP连接 的端点。
系统包括一个或多个接收机250，其典型地能够接收所发送的信号， 并将其解调制、和解封装成编码媒体位流。典型地，通过解码器260进一 步处理编码媒体位流，所述解码器260的输出是一个或多个未压缩媒体流。 最后，呈现器270可通过例如扬声器或显示器再现未压缩的媒体流。接收 器250、解码器260、和呈现器270可驻留在相同物理设备中，或者他们可 包含在单独设备中。
应注意，可以从虚拟位于任意类型网络中的远程设备接收要解码的位 流。此外，可以从本地硬件或软件接收位流。
在位速率、解码复杂度、和图片大小方面，可扩展性是异构和易出错 环境期望的属性。这种属性是期望的，以超越例如接收设备中的位速率、显示分辨率、网络吞吐量、和计算功率的限制。
本发明的通信设备可使用各种传输技术来通信，包括但不限于，码分
多址(CDMA )、全球移动通信系统(GSM )、通用移动通信系统(UMTS )、 时分多址(TDMA)、频分多址(FDMA)、传输控制协议/互联网协议 (TCP/IP)、短消息服务(SMS)、多媒体消息服务(MMS)、电子邮 件、即时消息服务(IMS)、蓝牙、IEEE 802.11等。通信设备可通过使用 各种介质通信，包括但不限于，无线电、红外、激光、有线连接等。
图3和4示出其中可实现本发明的一个代表性移动设备12。然而，应 理解，本发明不限于一个特定类型的移动设备12或其他电子设备。图3 和4中所示的一些或全部特征可以结合到图2中所代表的任意或全部设备 中。
图3和4的移动设备12包括外壳30、液晶显示器形式的显示器32、 键板34、麦克风36、耳机38、电池40、红外端口 42、天线44、根据本发 明一个实施例的UICC形式的智能卡46、读卡器48、无线电接口电路52、 编解码器电路54、控制器56、和存储器58。各个电路和元件都是本领域 公知的类型，例如在移动电话的Nokia领域中。
各个实施例提供了以文件格式等级为每个采样信号传输多个解码时间 的能力，以例如在解码整个流和解码流的子集之间允许采样或采样子集具 有不同的解码时间。此外,.各个实施例还可以在存储服务器/元件(例如图 2的存储器220)没有额外元件和/或计算复杂度的情况下实施。
根据第一实施例，如下指定"盒"(可称为备用的解码时间盒)，以 允许为每个采样信号传输多个解码时间
组类型"adts"
容器采样表盒(，stbl，)
强制性无
数量0或更多(每层一个)
这个盒可包含允许从备用的解码时间向采样数目索引的表的紧缩版 本，其中如上所述，用包含时间采样序列的轨道代表文件的时间结构。备用的解码时间是当确定仅解码轨道中存储的基本流子集时由采样使用的解
码时间。否则，当解码整个基础流时可使用由ISO基础媒体文件允许的传
统解码时间及其派生物。此外，表中的每个条目提供具有相同时间变量
delta的连续采样的数目，并且所述变量位于那些连续采样之间。因此，通 过增加变量可构建完整的时间-采样图。
此外，盒可包含备用的解码时间变量，其中ADT(n+l)=ADT(n) —sample—delta(n)， ADT(n)是采样n的备用解码时间，sample_delta (n)是 采样n的(非压缩)表条目。ADT轴具有0原点，其中ADT(i)-SUM(for j:=0 to i-l of sample—delta (j))，并且所有变量的和给出轨道中特定媒体的长 度。应注意，轨道中特定缂体的长度可小于可包含编辑列表的电影的总时 长。还应注意，变量可等于O。
盒可通过以下语法结构来表征 aligned(8) class AIternateDecodingTimeBox extends FullBoxC'adts，，，version=0，0){ unsigned int(32) operation—point;
unsigned int(32) entry—count;
int i,'
for (i=0;i<entry—count;i++){
unsigned int(32) sample—count; unsigned int(32) sample—delta;
此外，上述盒的语法结构的语义如下 version是指定这个盒的版本的整数；
operation—point是指定应使用这个盒中被信号传输的解码时间的操作 点的整数。应注意，操作点对应于在轨道中存储的基础流的子集的解码。 还应注意，operation—point的值可等于tierld元素的值，其代表SVC文件 格式可扩展层。此外，对于仅具有时间可扩展性的流，operation—point可等于时间层的标识符，例如SVC中的temporal—id元素，或AVC中的 sub—seq_layer—id元素；
entryjount是在以下表中给出条目的数目的整数；
sample—count是计算具有给定备用解码时间变量的连续采样的数目的 整数；以及
sample—delta是给出媒体的时间尺度内的釆样之间的备用解码时间的 变量的整数。
根据第二实施例，在以上指定的备用解码时间盒中，将sample—delta 字段编码为"int(32)"而不是"unsigned int(32)"。因此，sample—delta 字段可给出备用解码时间和根据"到采样盒的解码时间(Decoding Time to Sample Box)"为相同采拜解码整个流的传统解码时间之间的偏移。换句 话说，如果采样n的根据Decoding Time to Sample Box的解码时间是 DT(n),则备用解码时间可通过ADT(n)=DT(n)+sample—ddta(n)代表。
在方法步骤的通用环境中描述本发明，其可通过包括在网络环境中由 计算机执行的计算机可执行指令(例如程序代码)的程序产品在一个实施 例中实现。 一般地，程序模块包括执行特定任务或实现特定抽象数据类型 的例程、程序、对象、部件、数据结构等。计算机可执行指令、关联数据 结构、和程序模块代表用于执行这里所述的方法步骤的程序代码的实例。 这种可执行指令或关联数据结构的特定序列代表用于实现在这种步骤中描 述的功能的相应行为的实例。
软件和web方案，以实现各个数据库搜索步骤、关联步骤、比较步骤和决 定步骤。还应注意，这里和权利要求书中使用的词语"部件"和"模块" 旨在包含使用一行或多行软件代码的方案、和/或硬件方案、和/或接收手动 输入的设备。
基于上述内容，显然地，本发明示例性实施例提供了提高媒体文件编 码器和解码器的操作性的方法、装置和计算^4呈序。
例如，参照图5,根据一种方法和执行计算机程序指令的结果，在框5A，执行以下操作将第一定时数据存储到媒体文件的轨道盒中，第一定
少一个采样的解码时间；在框5B，执行以下操作存储用于编码多媒体内 容的至少 一个采样的备用解码时间数据，备用解码时间数据表示为代表至 少一个采样的解码时间的调整的变量值。
此外，通过实例，参照图6，根据另一种方法和执行计算机程序指令 的结果，在框6A，执行以下操作将第一定时数据存储到媒体文件的轨道
体流内容的至少一个采样的解码时间；在框6B，执行以下操作如果对编 码多媒体内容的子集进行解码，则存储编码多媒体内容的至少 一个采样的 备用解码定时数据以供使用。
此外，通过实例，参照图7，根据另一种方法和执行计算机程序指令 的结果，在框7A,执行以下操作解析包M体位流和第一定时数据的媒 体文件，所述第一定时数据描述媒体位流的至少一个采样的解码时间；在 框7B，执行以下操作确定是否为解码整体的媒体位流和解码媒体位流的 子集中的一个；在框7C，执行以下操作在确定解码媒体位流的子集时， 解析媒体位流的子集的至少一个采样的备用解码定时数据；以及在框7D， 根据备用解码定时数据解码媒体位流的子集。
图5、 6和7中所示的各个框可看作方法步骤和/或从计算机程序代码 得到的操作，和/或#皮构建为执行关联功能的多个耦合逻辑电路元件。
一般地，各个实施例可以在硬件或专用电路、软件、逻辑或其任意组 合中实现。例如， 一些方面可以在硬件中实现，而其他方面可以在可由控 制器、微处理器或其他计算设备执行的固件或软件中实现，但是本发明不 限于此。尽管作为框图、流程图、或使用一些其他图形表示来示出和描述 本发明的各个方面，但是可以很好地理解，这里描述的这些方框、装置、 系统、技术或方法可以在作为非限制性实例的硬件、软件、固件、专用电 路或逻辑、通用硬件或控制器或其他计算设备、或一些组合中实现。
例如，应理解，本发明的示例性实施例的至少一些方面可在例如集成电路芯片和模块的各个组件中实现。因此，应理解，本发明的示例性实施 例可以在体现为集成电路的装置中实现，其中集成电路可包括用于实现被
配置为根据本发明的示例性实施例操作的数据处理器、数字信号处理器、 基带电路和射频电路中的至少一个或多个的电路(以及可能的固件)。
当结合附图阅读时，本发明的上述示例性实施例的各种变型和修改对 于本领域普通技术人员来说根据以上描述变得清楚。然而，任意或所有修 改仍旧落入本发明的非限制和示例性实施例的范围内。
例如，尽管在以上某些视频编码标准的环境中描述了示例性实施例， 但是应理解，本发明的示例性实施例不限于仅使用特定描述的视频编码标
的。" 、 、 、，
应注意，术语"连接"、"耦合"、或其任意变型表示在两个或更多 个元素之间直接或间接的任意连接或耦合，并且可包括"连接"或"耦合" 在一起的两个元素之间的存在一个或多个中间元素。在元素之间的耦合或 连接可以是物理的、逻辑的、或其组合。其中采用的两个元素可认为通过 使用 一个或多个电线、电螝和/或印制电子连接以及通过使用电磁能(例如， 作为几个非限制和非穷尽实例，在射频区域、微波区域和光(可见和不可 见)区域中具有波长的电磁能)"连接"或"耦合"在一起。
此外，在不需要相应使用其他特征的情况下，本发明的各个非限制和 示例性实施例的一些特征是有利的。例如，以上描述应理解为仅是本发明 的示例性原理、教导和示例性实施例，并非对其进行限制。
权利要求
1.一种方法，包括将第一定时数据存储在媒体文件的轨道盒中，所述第一定时数据描述在所述媒体文件的关联的媒体数据盒中存储的编码的多媒体内容的至少一个采样的解码时间；以及存储用于所述编码的多媒体内容的至少一个采样的备用解码时间数据，所述备用解码时间数据表示为代表所述至少一个采样的解码时间的调整的变量值。
2. 如权利要求1所述的方法，其中存储备用解码时间数据的步骤包 括与所述变量关联地存储用以标识所述至少一个采样的可扩展层的标识符。
3. 如权利要求1所述的方法，其中存储备用解码时间数据的步骤包 括与所述变量关联地存储用以标识所述至少 一个采样的时间层的标识符。
4. 如权利要求1所述的方法，其中将所述备用解码定时数据存储在 盒中，所述盒通过以下来表征用于标识所述至少一个采样的可扩展层的标识符；以及采样变量，其代表在由所述编码的多媒体内容代表的多媒体内容的时间尺度内所述备用解码时间和解码所述至少 一个采样的整个流的所述解码时间之间的差。
5. —种存储程序指令的计算机可读介质，当执行所述程序指令时其 执行权利要求l的步骤。
6. —种方法，包括将第一定时数据存储在々某体文件的轨道盒中，所述第一定时数据描述个采样的解码时间；以及如果对所述编码的多媒体内容的子集进行解码，则存储所述编码的多 媒体内容的至少一个采样的备用解码定时数据以儉使用。
7. 如权利要求6所述的方法，其中所述备用解码时间数据表示为代 表所述至少一个采样的解码时间的调整的变量值。
8. 如权利要求6或7所述的方法，其中存储备用解码时间数据的步 骤包括与所述变量关联地存储用于标识所述至少一个采样的可扩展层的标乂符,
9. 如权利要求6或7所述的方法，其中存储备用解码时间数据的步 骤包括与所述变量关联地存储用以标识所述至少一个采样的时间层的标识 符。
10. 如权利要求6或7所述的方法，其中将所述备用解码定时数据存 储在盒中，所述盒通过以下来^^征用于标识所述至少一个采样的可扩展层的标识符；以及采样变量，其代表在由所述编码的多媒体内容代表的多媒体内容的时间尺度内所述备用解码时间和解码所述至少 一个采样的整个流的所述解码时间之间的差。
11. 一种存储程序指令的计算机可读介质，当执行所述程序指令时其 执行权利要求6的步骤。
12. —种装置，包括 处理器；以及存储器单元，与所述处理器耦合，所述装置还包括 编码器，被配置为将第一定时数据存储在媒体文件的轨道盒中，所述第一定时数据的至少一个采样的解码时间；以及存储用于所述编码的多媒体内容的至少 一个采样的备用解码时间 数据，所述备用解码时间数据表示为代表所述至少 一个采样的解码时 间的调整的变量值。
13. 如权利要求12所述的装置，其中所述编码器与所述变量关联地 存储用以标识所述至少一个采样的可扩展层的标识符。
14. 如权利要求12所述的装置，其中所述编码器与所述变量关联地 存储用以标识所述至少一个采才羊的时间层的标识符。
15. 如权利要求12所述的装置，其中将所述备用解码定时数据存储 在盒中，所述盒通过以下内容来表征用以标识所述至少一个采样的可扩展层的标识符；以及采样变量，其代表在由所述编码的多媒体内容代表的多媒体内容的时间尺度内所述备用解码时间和解码所述至少 一个采样的整个流的所述解码时间之间的差。
16. —种方法，包括解析包M体位流和第一定时数据的媒体文件，所述第一定时数据描 述所述媒体位流的至少一个采样的解码时间；确定是否为解码整体的媒体位流和解码所述媒体位流的子集中的一个；在确定解码所述媒体位流的子集时，解析所述媒体位流的子集的至少一个采样的备用解码定时数据；以及根据所述备用解码定时数据解码媒体位流的子集。
17. 如权利要求16所述的方法，其中所述备用解码时间数据表示为 代表所述至少一个采样的解码时间的调整的变量值。
18. 如权利要求16或17所述的方法，还包括 解析用以标识所述至少一个采样的可扩展层的标识符。
19. 如权利要求16或17所述的方法，还包括 解析用以标识所述至少一个采样的时间层的标识符。
20. 如权利要求16所述的方法，其中将所述备用解码定时数据存储 在盒中，所述盒通过以下来表征包含用以标识所述至少一个釆样的时间层的标识符；以及 包含采样变量，其代表在由所述编码的多媒体内容代表的多媒体内容的时间尺度内所述备用解码时间和解码所述至少 一个采样的整个流的解码时间之间的差。
21. —种存储程序指令的计算机可读介质，当执行所述程序指令时其 执行权利要求16的步骤。
22. —种装置，包括 处理器；以及存储器单元，可操作地连接至所述处理器，所述装置还包括 文件解析器，用以执行以下操作解析包M体位流和第一定时数据的媒体文件，所述笫一定时数 据描述所述媒体位流的至少一个采样的解码时间；确定是否为解码整体的媒体位流和解码所述媒体位流的子集中的 一个；在确定解码所述媒体位流的子集时，解析所述媒体位流的子集的至少一个采样的备用解码定时数据；以及解码器，用以根据所述备用解码定时数据解码媒体位流的子集。
23. 如权利要求22所述的装置，其中所述备用解码时间数据表示为 代表所述至少一个采样的解码时间的调整的变量值。
24. 如权利要求22或23所述的装置，其中所述解析器被配置为解析 用以标识所述至少一个采样的可扩展层的标识符。
25. 如权利要求22或23所述的装置，其中所述解析器被配置为解析 用以标识所述至少一个釆样的时间层的标识符。
26. 如权利要求22所述的装置，其中将所述备用解码定时数据存储 在盒中，所述盒通过以下来表征包含用以标识所述至少一个采样的时间层的标识符；以及 包含采样变量，其代表在由所述编码的多媒体内容代表的多媒体内容的时间尺度内所述备用解码时间和解码所述至少 一个采样的整个流的解码时间之间的差。
27. —种存储容器文件的计算机可读介质，包括 多个轨道；在轨道盒中包含的第一定时数据，所述第一定时数据描述在关联的媒体数据盒中存储的编码的多媒体内容的至少 一个采样的解码时间；在所述盒中包含的备用定时数据，用于信号传输所述编码的多媒体内容的至少一个采样的备用定时数据，所述备用解码时间数据表示为代表所述至少一个采样的解码时间的调整的变量值；以及 标识符，用于标识所述至少一个采样的可扩展层。
28. —种装置，包括 处理器；以及存储器单元，与所述处理器耦合，所述装置还包括 被配置为将第一定时数据存储在媒体文件的轨道盒中的计算机代码，的多媒体内容的至少一个采样的解码时间；以及被配置为存储用于所述编码的多媒体内容的至少一个采样的备用解码 时间数据的计算机代码，所述备用解码时间数据表示为代表所述至少 一个 釆样的解码时间的调整的史量值；被配置为存储用以标识所述至少一个采样的可扩展层的标识符的计算 机代码。
29. —种装置，包括 处理器；以及存储单元，可操作地连接至所述处理器，所述装置还包括用于解析包M体位流和第一定时数据的媒体文件的计算机代码，所述第 一定时数据描述所述士某体位流的至少 一个采样的解码时间；用于确定是否为解码整体的媒体位流和解码所述々某体位流的子集中的一个，以及当确定解码所述媒体位流的子集时，解析所述媒体位流的子集 的至少一个采样的备用解码定时数据的计算机代码；以及被配置为根据所述备用解码定时数据解码媒体位流的子集的计算机代 码；以及被配置为解析用以标识所述至少一个采样的可扩展层的标识符的计算 机代码。
全文摘要
在本发明一方面，本发明的示例性实施例提供以文件格式等级为每个采样提供信号传输多个解码时间的能力，以例如在解码整个流和解码流的子集之间允许每个采样(或采样子集)具有不同的解码时间。指定备用的解码时间盒，以考虑为每个采样信号传输多个解码时间。这种盒可包含允许从备用的解码时间向采样数目索引的表的紧缩版本，其中备用的解码时间是当仅解码轨道中存储的基本流子集时由采样使用的解码时间。此外，表中的每个条目提供具有相同时间变量的连续采样的数目，并且所述变量位于那些连续采样之间。通过增加变量可构建完整的时间-采样图。
文档编号H04N7/26GK101669369SQ200880013263
公开日2010年3月10日 申请日期2008年4月23日 优先权日2007年4月24日
发明者M·汉努克塞拉, 王业奎 申请人:诺基亚公司