用于多媒体显示的容器格式的制作方法

专利名称：用于多媒体显示的容器格式的制作方法
技术领域：
本发明通常涉及媒体对象，尤其涉及包括协调的媒体对象的多媒体显示。
背景技术：
多媒体可有多种不同类型，例如，视频、音频、静止图像、向量图。典型地，每一种媒体具有本来的文件格式，根据该媒体格式将媒体存储在计算机系统中。
对于多媒体，还存在大量的压缩格式，它们利用空间和/或时间的冗余来获得该媒体的压缩格式。视频文件例如可以根据H.263压缩标准[1]来压缩，将音频文件压缩为AMR[2]或AAC[3]，将图象压缩为JPEG[4]。
目前存在许多不同的通常用于存储和/或发送文件的方法，并且更特别地用于存储和/或发送媒体文件的方法。一个已知的这种方法是将文件包含在所谓的文件容器中。这种容器的例子包括用于UNIX系统和Zip文件的TAR(磁带档案)。虽然这些可以包含媒体文件，但是它们缺乏对显示、与定时媒体的同步、和交插媒体的可能性的控制功能。另一种已知的方法是将文件作为电子邮件附件(所谓的多部分MIME)包含进来。这里，指出在起始位置用于显示是可能的，但是其它方式也具有上述的限制。还存在另一种不存储媒体文件本身而是存储某些媒体类型的帧媒体内容的多媒体格式。这些格式缺乏能够存储和恢复媒体文件的容器格式的透明性和完整性。这种多媒体格式的例子包括ASF(高级流格式)和FLASH。
第三代合作项目(3GPP)已经基于ISO基本媒体文件格式[6]使3GPP文件格式(2GP)[5]标准化，以用于定时多媒体(音频和视频)的传输。它由所谓的多媒体消息业务(MMS)和透明的端到端分组交换流业务(PSS)用于分发多媒体[9]。此外，用于提供流媒体的流业务可使用3GP文件。

发明内容
本发明的目的是实现改进的对多媒体显示的发送。
特别地，希望实现改进的对包括不同文件格式的多媒体显示的发送。
本发明的一个特定目的是为完整媒体显示的容器格式提供一种解决方案，其中，完整媒体显示包括例如起始点、离散媒体对象和连续的媒体轨道，存储MIME类型并具有压缩单独的媒体对象的可能性。
本发明的另一特定目的是提供一种容器，该容器能够存储通过将媒体对象分成多个交插的分段而被交插的媒体对象。
本发明的又一特定目的是提供一种能够实现混合媒体对象的渐进式下载的解决方案，其中混合媒体对象包括连续的媒体轨道(例如，音频和视频)和/或离散文件(单独的图像)。
本发明的再一个特定目的是提供一种用于使用新容器格式和保护信息箱来加密的解决方案。
本发明的另外一个特定目的是提供一种包括用于解密单独的文件、媒体轨道、整个数据箱(“mdat”)或其一部分的信息的解决方案。
根据附带的一套权利要求来实现这些目的以及其它目的。
本发明能够将所有类型的媒体类型组合进一种类型的文件，例如3GP。本发明能够以透明方式对此进行执行，在单独的媒体对象已经包含进3GP文件之后保存这些单独的媒体对象的地址、文件名和MIME类型。
本发明还能够将所有媒体交插进容器内以便能够渐进下载到用户，即，以一种格式下载以便能够在下载过程中带有一些延迟地再现该媒体。这通过取决于传输比特率的初始延迟的信息来提供，所述信息被成对表示。对于特定值之间的比特率，可通过线性内插来获得对初始下载延迟的上估计。另一个特征是使用例如gzip来压缩单独的文件的可能性。
本发明的一些优点是简单方便的容器格式(只传输和播放一个文件)；被优化为短延迟/渐进式下载的容器格式(所有媒体都能被交插)；再用现有技术的容器格式(基于ISO的媒体文件格式和3GP文件格式、SMIL、媒体类型)；能够以不同媒体类型来使用的容器格式。


通过参考附图连同以下的描述可以更好地理解本发明以及其另外的目的和优点图1是涉及3GPP的现有技术的示意性图示；图2是本发明实施例的示意性概括图示；图3是在其内可实现本发明的通信系统的示意性框图；图4是根据本发明的方法实施例的示意性流程图；图5是根据本发明的设备实施例的示意性框图；图6是根据本发明的多媒体容器实施例的示意性图示；图7是根据本发明的多媒体容器另一实施例的示意性图示；图8是根据本发明的多媒体容器的一个特定实施例的示意性图示；图9是图8中多媒体容器一部分的实施例的示意性图示；具体实施方式
将在把现有技术的3GPP文件格式(3GP)扩展到用于多媒体显示的一般容器格式的环境下描述本发明。然而本发明可体现为多种不同形式，并且不应解释为局限于这里描述的例子和实施例，提供这些例子和实施例，以便使所公开的内容将是详尽的，并将会把本发明传达给本领域技术人员。
应当理解的是，文件格式(或多个文件格式)可表现在例如计算机存储器一样的存储介质中，或表现在例如电信号或无线电信号一样的物理信号，以便例如用于在本地系统内发送，或用于通过本地或全球网络传输。在下文中，将在整个公开中使用术语“文件”或“媒体对象”，其中，术语“文件”或“媒体对象”的含义是既包括用于在存储介质内存储的数据文件，又包括用于传输或分发的信号。
根据现有技术，3GP文件格式的范围是用于承载定时多媒体(视频、音频和定时文本)和这种媒体的流式线索(stream hint)。3GP文件用于-交换与音频相关的视频剪辑(MMS)-下载定时文本(PSS)-通过渐进式下载传递音频-视频显示(PSS)-提供音频-视频RTP流会话(PSS)-将流会话从内容创建器传递到流送服务器(PSS)现有技术中的共同点是3GP文件被定时一个3GP文件包含定时多媒体或线索的一个或多个平行轨道。每一个轨道被划分成可单独访问的时间单位，这使得同步和随机访问成为可能。在能够构成在MSS中的显示或在PSS中的会话的所有媒体类型当中，3GP文件只能承载视频、音频和定时文本。
处理若干文件或媒体对象例，如用于显示或用于渐进式下载这种显示的问题包括1)起始点在哪里必须是清楚的(例如，SMIL文件的名称和位置)。
2)内容创建器必须向操作员传递具有相关性的几个文件或对象。当涉及也需要以某种方式存储以保存其相关性的多个文件时，这会引起问题。如果一个文件丢失，则使用该显示是完全不可能的。因此，能够将多媒体显示的所有媒体对象组织在一个容器中将是有利的。
3)用户需要处理几个文件，而不是处理一个“项”。将几个文件移动或发送到对等端，并仍然保持文件之间的相对结构，这被识别为是有问题的。
4)用于请求几个文件的定时可能是有问题的，因为它们可能具有不同的大小，并跨越不同的时间范围。缺乏那些考虑了准备用于及时传递的媒体的交错文件格式。此外，客户端将需要知道对于一个发送带宽，在开始重放之前将下载多少个字节或多少秒(以避免中断)。
除了由3GP文件承载的多媒体之外，在PSS中还有许多媒体类型，这些媒体类型以它们本来的文件格式存储静止图像(JPEG)、位形(GIF和PNG)、向量图(SVG)、合成音频(SP-MIDI)和文本(XHTML和SMIL)。在现有技术中，由于在PSS会话中只有音频和视频流送，必须通过HTTP将这些媒体类型一个文件接一个文件地传递到PSS客户端。
如果可渐进下载的文件是该显示的一部分，例如，可渐进下载的SVG文件，那么可用长持续时间的其它轨道或文件来拆分或交插这样的文件。
还需要一种能够用一般文字显现编码内容的内容类型的加密机制。
基本上来说，本发明定义了一种用于多媒体显示的容器格式，其中包括例如静态媒体文件和/或动态媒体流一样的媒体对象的整个多媒体显示以及可识别的场景描述文件可作为一个单元来发送和存储。
根据本发明的一个特定实施例，容器格式是一种交插式单元，其被优化以用于渐进式下载。因此，整个多媒体显示可由所谓的渐进式下载或流送来发送或下载。
参见图1和图2，本发明能够将现有技术的3GPP文件格式(3GP)扩展到用于多媒体显示的一般容器格式。根据本发明的扩展的3GP文件或容器不局限于只包含连续媒体或定时多媒体，而是还可包括场景描述文件(例如，SMIL)和静态媒体(图像、图形)。在MSS和PSS中使用的任何类型的多媒体原则上能够作为二进制文件存储进扩展的3GP文件中。
将在图3中图示的一般通信系统的环境下描述本发明。但是本发明不局限于这些具体图示。被称为多媒体显示管理器的MMP管理器单元提供根据本发明的功能，将构成多媒体显示的媒体对象组织成为一个单位，以用于例如整个多媒体显示的发送、存储、或显示。
基本来说，参考图4，根据本发明，用于发送包括许多媒体对象的多媒体显示的方法包括在步骤S10中，将媒体对象打包或组织进一个多媒体容器或容器格式中。为了能够定位媒体对象，在步骤S20中将许多相应的标识符或定位器组织在相同容器中。随后，为了定义多媒体显示的结构，在步骤S30中将协调媒体对象的所谓的场景描述文件提供到同一多媒体容器中。最后，在步骤S33中，将带有合并的或包含的多媒体显示的整个容器发送到某些接收单元。
该场景描述应当是可明显识别的，以便接收单元将能够将场景描述文件定位作为起始位置或起始文件。
通过根据本发明的方法，可以将整个多媒体显示打包进一个容器中，然后该容器能够作为一个单元或文件从发送单元Tx发送和/或下载。
根据本发明方法的一个特定实施例，可以应用渐进式下载，即，接收单元Rx能够在其余部分仍然正在被发送的同时开始再现该显示的接收部分，这就是所谓的渐进式下载。
根据本发明方法的一个特定实施例，媒体对象可包括媒体文件，例如，JPEG、GIF、SVG、PNG、SPMIDI、XHTML、SMIL和3GP。
根据本发明方法的另一实施例，媒体文件可包括包含在轨道中的动态媒体对象，例如视频、音频和定时文本。
可根据任何适当的标准(例如，SMIL、XHTML和SVG中的任何一个)来格式化场景描述文件。
另外的一个实施例包括将静态媒体和/或动态媒体流都组织到同一容器中。
根据另外的一个特定实施例，将媒体对象作为交插的连续片段的数据组织到多媒体容器中。用于“分段”的其它术语包括“部分”、“区域”和“组块”。
在整篇描述中，术语静态、二进制和离散媒体文件将可交替地使用，而不将媒体文件的范围限定到某个类型。
为了使接收单元Rx能够应用渐进式下载，根据本发明方法的实施例包括提供使得能够再现的控制信息的步骤S31。控制信息可包括例如基于预定下载速率的诸如初始或缓冲延迟的参数。
为了能够将加密文件包含在根据本发明的新容器中，本发明的一个实施例包括提供用于解密或识别加密媒体文件的加密方式的密钥信息的步骤S32。
相似地，同样参考图4，步骤S10-S30表示用于根据本发明管理多媒体显示的方法的一个实施例。该方法与用于发送的方法密切相关，但是没有发送步骤。使用术语“管理”以便表示例如发送、存储、加密等等的动作，但是术语“管理”也可看作是用于这些动作的媒体对象和相关信息的准备。
由于整个媒体显示包含在一个文件或容器中，因此将该显示存储在存储设施上非常容易。类似地，容易将容器例如从系统的一部分移动到另一部分，以将该容器分发到多个用户。
根据本发明实施例，3GP文件格式的扩展通常包括将顶层文件树包含在3GP文件内。这样，由几个文件(例如，SMIL文件、音频轨道和一些图像)组成的PSS显示可被打包进单个3GP文件内。然后可通过(渐进式)下载将整个多媒体作为一个实体显示传递到例如客户端，并在本地播放。此外，扩展的3GP格式可用于将作为一个实体的全部PSS会话包含并传递到PSS服务器。然后，该服务器可读取扩展的3GP文件，并通过HTTP将SMIL文件和图像传递到客户端，并通过RTP将数据流和音频轨道传递到客户端。
根据本发明，将二进制文件打包或组织到3GP文件中被设计为保存二进制文件的目录结构，以便文件之间的关系对于分开的文件和扩展的3GP文件是相同的。然而，一旦已经将二进制文件包含在3GP文件中，则不需要拆包这些二进制文件，以便播放或提供信息。以相同方式从3GP文件内部或外部引用所有包含的文件。
二进制文件或静态媒体文件通常不包含在普通轨道中，它们被设计用于定时的多媒体，但是由3GP文件顶层上的文件树中的标识符来引用引用。然而，所包含的文件自身能够与普通轨道交插，以便整个3GP文件能够用于渐进式下载。
将参考图5描述根据本发明实施例的用于发送多媒体显示的设备10。
设备10包括用于将许多多媒体显示的媒体对象组织到多媒体容器中的单元11。此外，该设备10典型地包括某种用于将引用所组织媒体对象的标识符组织到同一多媒体容器中的单元12。另外，该设备包括用于为容器提供可识别的场景描述文件的单元13，该场景描述文件基于标识符协调媒体对象。最后，设备10包括用于将带有所合并的多媒体显示的容器单元14。在这个特定实施例中，发送单元14由I/O单元表示。
媒体对象可包括二进制媒体文件(例如，MPEG、SVG、PNG、SP-MIDI、XHTML、SMIL、3GP、JPEG、GIF)和/或包含在轨道中的动态媒体对象或流(例如，音频、视频、和定时文本)。
在本发明的一个特定实施例中，媒体组织器11被配置为适于将媒体对象组织成为交插的连续数据分段。用于“分段”的其他名称包括“部分”、“区域”和“组块”。
根据另一特定实施例，该设备包括某种用于提供控制信息的装置，该控制信息使接收单元Rx能够在接收该容器时使用渐进式下载，即，接收单元Rx能够在仍然下载其余部分的同时再现或显示或执行多媒体显示内容的一些部分。一些控制信息可包括，但不局限于基于某些预定下载速率的初始延迟或缓冲延迟。
根据本发明，扩展3GP文件格式允许包括场景描述、音频、视频和其它类型的媒体类型的自包含多媒体显示存储在一个文件中。这样，扩展的3GP文件可包含完整的显示，这使得传输和存储具有相关性的几个文件更容易。此外，由于在这种文件中的所有媒体可以被交插，这将对渐进式下载尤其有用。包含混合的多媒体显示的扩展3GP文件可被-在客户端上渐进式下载(和同时播放)(PSS)，-在传递之后在本地播放(PSS和MSS)，和-用作普通分发格式的多媒体显示(MBMS)。
此外，带有用于RTP流的线索轨道和用于HTTP下载的媒体文件的完整PSS会话可包含在一个扩展的3GP文件中。
概念上，每个会话分发一个文件并在会话期间将一个文件用作流送和下载的源将会更简单。扩展的服务器文件不旨在用于分发到客户端，而是-从内容创建器传递到操作员，-由PSS服务器使用，用于流送(轨道)和HTTP传递(媒体文件)。
要指出的是，根据本发明，3GP文件也能作为二进制文件包含在扩展的3GP文件中。例如，包含用于提供音频和定时文本[6]的PSS会话的3GP文件包括用于音频的RTP线索轨道和用于定时文本的单独的3GP文件。原因在于，在版本5的PSS中，定时文本不是经由HTTP流送的，而是经由HTTP传递的。
将参考图6描述多媒体容器的一个实施例。
多媒体容器20包括许多媒体对象、引用媒体对象的标识符或定位器、和基于标识符协调媒体对象的场景描述文件。
根据一个特定实施例，静态媒体文件和/或包含在轨道中的动态媒体对象都能够包含在多媒体容器20中。媒体对象可作为一个或多个交插的连续数据分段被包含，或以它们本来的格式被包含。
根据另一特定实施例，参考图7，引用动态媒体对象的标识符位于容器的第一部分21中，并且引用静态媒体文件的标识符位于容器的第二部分22中。交插的媒体对象(静态的和动态的)位于该容器的第三部分中。这些部分的实际顺序不局限于该实施例。另外，优选地，将场景描述文件当作静态或二进制文件来对待，并因此包含在容器20的第二部分22中。然而，多媒体容器中各个部分的个体顺序不由该实施例来反映。
将参考图8和图9描述多媒体容器的另一特定实施例。
在该实施例中，第一部分21由电影箱moove表示，第二部分22由文件树箱ftre表示，第三部分23由媒体数据箱mdat表示。另外，根据本发明，容器20包括文件类型箱ftyp，其包括关于容器格式类型的信息。
根据本发明，对3GP的扩展包括用于文件树的新简档标记、文件目录结构、和在扩展的3GP文件中寻址文件的规则。
文件-目录简档(标记为“3gd6”)被定义用于包括文件目录的3GP文件。符合文件-目录简档的文件应包括具有一个或多个文件条目的文件树。这些文件条目之一可以是起始文件，即，包含用于显示或流式会话的场景描述。
根据该容器的一个实施例，静态媒体文件和包含在轨道中的动态媒体对象都被包含进容器中。文件-目录简档可与其它3GP简档组合使用，只要文件符合那些简档。特别地-文件-目录简档和基本简档一起意味着该文件既具有文件目录，又具有一个或多个带有音频、视频和文本的轨道，-文件-目录简档、基本简档和渐进式下载简档一起意味着包括轨道和所包含文件的整个3GP文件适于渐进式下载。在该文件中提供了渐进式下载延迟的进一步细节。
-文件-目录简档和流送服务器简档一起意味着服务器文件-包含一个或多个用于通过RTP提供媒体流的线索轨道，-包含一个或多个将通过HTTP传递的二进制文件。
在包含在服务器文件中的二进制文件当中，一个文件可包括PSS会话的场景描述(SMIL，HTML)。另外的文件可以是该会话的一部分，即，图像、SP-MIDI、定时文本等等。
将参考具体的和例证性的例子来更详细地描述本发明。
根据容器的另一个实施例，容器只包括静态媒体文件。除了将媒体目录增加到具有轨道的3GP文件以外，文件-目录简档可用于那些只包含文件目录而不包含轨道(没有电影箱)的文件，换句话说，静态文件或二进制媒体文件。这样的3GP文件对于产生自包含的显示是非常有用的，其中，自包含的显示不必包括由轨道承载的连续媒体。例子包括用于本地播放、或基于图像、合成音频或文本的PSS会话的幻灯片放映。
文件-目录简档是3GP简档，并应当与文件扩展名‘.3gp’一起使用。
文件树用于二进制文件存储的文件目录通常包含在扩展的3GP文件的顶层上。该树看起来像个普通目录，并且可包括任何类型的二进制文件和/或子目录。该文件目录作为元数据存储在文件-树箱中，而所包含文件的二进制内容作为组块存储在该所包含文件的媒体-数据箱‘mdat’中。
图9中示出文件树的一个例子，其对应于图8中的文件条目。以下的部分解释图9中每一个箱的功能。
文件-树箱‘ftre’是容器箱。它是顶层箱，并将在3GP文件中位于文件-类型箱‘ftyp’之后，并且优选地位于电影箱‘moov’之前。(参考图8)为了考虑到将来的修改，文件-树箱基于的是所谓的带有版本号的满箱，如表1所示。
表1文件树箱

文件-树箱定义3GP文件树的根层。目录箱‘diry’的层次定义了文件树的较低层。在文件-树箱或其它箱中包含以下根据表2的目录箱。
表2目录箱

需要每一个目录箱包含一个根据表3的目录-名称箱‘dirn’表3目录名称箱

目录名是带有目录名的UTF-8字符的以空值结尾的字符串。
文件条目文件树中的文件由文件-条目箱‘fent’来定义，文件-条目箱‘fent’可存储在文件树中包括根层的任何层上。文件条目箱是容器箱，并在下面的表4中定义。
表4文件条目箱

每一个文件条目箱应包括如表5和表6中定义的文件信息箱‘finf’和组块信息箱‘chin’。
表5文件信息箱

文件名和内容类型是UTF-8字符的以空值结尾的字符串。对于该文件，内容类型应当是MIME类型。内容编码是可选的以空值结尾的字符串，用于指示在该3GP文件中存储的文件是否被编码、和在被解译之前是否需要解码，这与HTTP/1.1的内容编码相似。一些可能的值是“gzip”、“compress”、“deflate”，但是由于互用性的原因，使用到的条目只有“gzip”。
表6组块信息箱

所包含文件的实际内容作为一个或多个连续的数据分段(即，组块，区域)存储在媒体数据箱‘mdat’中。组块偏移量是64位的整数，其给出该组块的起始点到该包含3GP文件内的偏移量，并且组块大小是64位的整数，其给出该组块的大小，即，由文件-条目箱定义的文件长度。要指出的是，组块偏移量总是涉及该所包含的文件，即，3GP文件。我们已经禁止使用数据-参考箱来指示可能的外部数据位置，因为在3GP文件中包含二进制文件的点将具有自包含文件。
原则上，任何类型的文件都可包含在文件树中。对于PSS，可能使用随后的媒体文件静止图像(JPEG)、位图(GIF和PNG)、向量图(SVG)、和合成的音频(SP-MIDI)、文本(XHTML和SMIL)、以及承载定时文本的3GP文件。PSS所采用的任何新类型的媒体文件也将可能存储在文件树中。这例如包括DLS(可下载的声音)。
起始位置扩展的3GP文件可包含位于文件树内任何地方的场景描述。如果存在场景描述，则文件-树箱将包含根据表7的起始位置箱。
表7起始位置箱

起始文件位置是以UTF-8字符表示的以空值结尾的字符串，包含与顶层相对的到该文件目录中起始文件的路径。作为例子，为了表明存储在顶层(在文件树箱内)的文件是一个场景描述，起始文件位置将正好包含该文件名，例如start.smil。
渐进式下载信息扩展的3GP文件可包含位于文件树箱内的渐进式下载信息箱‘pdin’，正如在以下在表8中所定义的表8渐进式下载信息箱

该箱包含N对数(到箱的末端)，其指定以100比特/秒为单元的传输带宽与以毫秒为单位的初始下载延迟的组合，接收方可通过在成对的数之间的线性内插来获得初始延迟的上估计。
寻址可在3GP文件内或从外部一致地寻址在该3GP文件内的文件和轨道。3GP文件的文件目录和所有轨迹存在于顶层上，例如，example.3gp/toplevelfile.smil和example.3gp/轨道ID＝2作为3GP文件内寻址的例子，考虑图8中列出的多媒体容器show.3gp。它包含-H.263轨道(假定轨道ID＝1)，-AMR轨道(假定轨道ID＝2)，-根-层SMIL文件(start.smil)，和-在目录(img)中的两个图像(cat.jpg和dog.jpg)。
在SMIL文件内位于3GP文件顶层的场景描述将引用如下的图8中的媒体文件H.263当轨道ID＝1时AMR当轨道ID＝2时cat.jpg当是img/cat.jpg时dog.jpg当img/dog.jpg时根据本发明，3GP文件的内容从外面被如下寻址SMIL当是show.3gp/start.smil时H.263当是show.3gp/轨道ID＝1时AMR当是show.3gp/轨道ID＝2时cat.jpg当是show.3gp/img/cat.jpg时dog.jpg当是show.3gp/img/dog.jpg时现在考虑将以前例子中的SMIL文件移动到包含这些图像的目录img。相对于该SMIL文件，该媒体当前被如下引用H.263 当是../轨道ID＝1时AMR 当是../轨道ID＝2时cat.jpg 当是cat.jpg时dog.jpg 当是dog.jpg时现在，3GP文件的内容将从外面被如下寻址
SMIL 当是show.3gp/img/start.smil时H.263 当是show.3gp/轨道ID＝1时AMR 当是show.3gp/轨道ID＝2时cat.jpg 当是show.3gp/img/cat.jpg时dog.jpg 当是show.3gp/img/dog.jpg时可在PSS会话之前或PSS会话期间通过HTTP传递包含在文件树中的文件。传递存储在3GP内部文件的HTTP服务器将-将内容-类型设置为文件条目箱的值-将内容-位置设置为在3GP文件内部的二进制文件的URI。
作为例子，图8中所包括的线索轨道的3GP文件可包含PSS会话。当客户端通过HTTP访问SMIL文件时，它还接收SMIL文件的内容-位置，例如，http//mediaportal/show.3gp/。然后，在SMIL文件内的所有HTTP引用将基于该内容-位置，这使HTTP GET能够引用3GP文件内的二进制文件。
客户端将以相同方式基于SMIL文件的内容-位置来解析RTSP的URI。这使RTSP DESCRIBE能够引用3GP文件，使RTSP SETUP能够引用轨道。
例子检索SMIL文件和解析在该SMIL文件中指出的资源的URI。GET/exampledir/show.3gp/img/start.smil HTTP/1.1Hostwww.example.comHTTP/1.1 200 OK内容-位置http//www.example.com/exampledir/show.3gp/img/start.smil内容-大小xxxxxx内容-类型application/smil<smil>
<body>
<sep>
<image src＝“catjpg”dur＝“3s”/>
<image src＝“dogjpg”dur＝“5s”/>
</sep>
</body></smil>
这样，将为上述得到的SMIL显示提供基础URIhttp//www.example.com/exampledir/show.3gp/img/start.smil当执行该SMIL文件的处理时，该基础URI将产生解析出的URI“http//www.example.com/exampledir/show.3gp/img/cat.jpg”“http//www.example.com/exampledir/show.3gp/img/dog.jpg”文件格式和加密根据现有技术，可使用存储加密媒体的机制来扩展3GP文件格式。另外，定义了应用于文本轨道加密的具体3GPP扩展以及加密3GP文件的3GP简档标记。关于加密方案的细节存储在保护信息箱中。为了使用OMA DRM版本2的加密3GP文件，该方案的具体细节将由OMA来定义。
该扩展后面的一般思想是使用加密媒体的普通码点(编解码器标识符)来代替加密媒体的码点。这防止了传统播放机和其它对加密没有意识的播放机访问那些在能够被解码之前需要被解密的比特流。然而，对于对加密没有意识的播放机来说，新的码点包括关于密钥管理信息和解密加密媒体要求的信息。另外，一旦已被解密，新的码点复制初始的编解码器标识符和解码比特流所需要的其它解码参数。
加密的3GP文件还可用于流送服务器，以通过RTP提供加密媒体。这种3GP文件的线索轨道本身不被加密，PSS服务器不必非要解密任何东西，以便提供加密的内容。关于密钥管理和解密的信息被送达到在SDP描述中的客户端，同时将相关部分存储在3GP文件的线索轨道中。然而，由于内容提供商可能想要将指服务器采取某些动作，例如，在数据被流送之前提供完整性保护；仍然需要重定义用于线索轨道的码点。新码点在提供关于要求完整性保护的信息的同时复制初始码点信息。这样将防止了对加密没意识的服务器提供那些认为被完整性保护的加密数据。
用于加密3GP文件的简档发信号通知3GP文件中的加密媒体的一种方式是定义和使用加密简档(标记为‘3ge6’)。另外，关于这类加密文件的更多细节由其它标记给出，例如，用于音频和/或视频显示的基本简档标记或用于提供加密内容的流送服务器简档。
符合加密简档的文件将使用加密-样本描述条目(码点)用于包含加密媒体的媒体轨道。符合加密简档的文件既可包含加密轨道又可包含未加密轨道，但是如果它们是同一媒体类型，则不可。
加密简档应用作主要标记。它该可以与其它3GP简档结合使用，只要文件符合那些简档。
特别地-加密简档和基本简档一起意味着轨道的最大数量是一个用于视频、一个用于音频、和一个用于文本，文件既可包含加密轨道，又可包含未加密轨道。然而，要指出的是，对加密没有意识的播放机将忽略加密轨道。
-加密简档和渐进式下载的简档一起意味着该文件已加密，并适于渐进式下载。
-加密简档和流送服务器简档一起意味着由一个或多个线索轨迹引用的内容被加密。如果要求PSS服务器采取特殊动作，例如，提供完整性保护，将使用线索轨道的加密样本来描述条目(码点)。
要指出的是，普通简档被定义为包括加密简档的所有简档的超集。(只有)符合普通简档的3GP文件可包含任何数量的还未组合进适于下载、或流送或不具有关于密钥管理的必要信息的3GP文件中的加密轨道。
加密-基本简档是3GP简档，并应与文件扩展名‘.3gp’一起使用。
用于加密数据的码点在3GP文件内的媒体轨道的样本描述条目识别已编码媒体的格式，例如，编解码器和其它编码参数。因此，通过简单分析样本描述，播放机可判定那个轨道能够播放。
来源于ISO基础媒体文件格式的所有音频和视频样本条目包含一组强制字段。另外，它们可包含特别用于正在讨论的编解码器的箱。MPEG-4编解码器(可视的和AAC)使用ESDBox，而AMR和H.263分别使用AMRSpecificBox和H263SpecificBox。
在轨道内存储加密媒体背后的原则是使用加密媒体的普通码点来“伪装”初始样本描述条目。我们定义了三个用于发信号通知如下表9中的加密视频、音频和文本的码点(样本描述条目的四-字符码)表9码点

样本描述的“加密”版本复制初始样本描述，并包括保护信息箱，该保护信息箱具有关于初始格式和解密编码媒体的所有要求的信息。在表10和表11中定义了加密视频样本条目和加密音频样本条目，其中，保护信息箱被简单地增加到在样本条目中所包含箱的列表中。
表10加密视频样本条目

表11加密音频样本条目

加密视频样本条目和加密音频样本条目也能与任何增加到3GP文件格式的另外编解码器一起使用。只要它们的样本条目基于ISO基础媒体文件格式的样本条目。
加密文本样本条目在表12中定义。文本轨道对3GP文件来说是特殊的，并由26.245的定时文本格式来定义。与音频和视频的例子类似，我们在结尾增加保护信息箱。
表12加密文本样本条目

密钥管理解密媒体的必需要求存储在保护信息箱内。它包含识别解密媒体的编解码器的初始格式箱、标识用于保护媒体的保护方案的方案类型箱、和包含具体的方案数据(为每一个方案定义)的方案信息箱。保护信息箱和它所包含的箱在表13-16中定义。
表13保护信息箱

表14初始格式箱

数据格式识别已解密的编码数据的格式(编解码器)。当前在3GP<p>表V突发到达的效果

在本发明的实施例中，有对正常(相对于类似严格优先级)AF加权的需要-这个实施例寻求保护尽力服务(或“最优服务”，在这个实施例中为AF3)业务。由此，在许可判定中考虑了AF加权。仿真显示，静态的AF加权导致比较自适应AF加权更低的瓶颈链路利用率。此外，自适应预约限制是保护自己防止突发连接到达并维持高瓶颈链路利用率的有效方式。
现在将描述可以与前述实施例联合使用的本发明另外的实施例。为ITRM/带宽经纪人提供了CAC算法，该算法再次没有为AF4队列假定“类似严格优先级”加权。AF调度加权的设置对给定ITRM/带宽经纪人管理之下的所有链路可以是相同的，或者该加权分别针对每条链路调整。然而，后一种方法比较复杂而且有振荡倾向。
调度加权&amp;CAC算法调整过程接收有关阻塞/提供的AF连接的比率以及ITRM/带宽经纪人区域内的每一条链路的未使用AF4带宽<p>方案版本0特殊方案箱OMADRM样本格式箱和OMADRM报头箱，参见表17和表18。
表17OMADRM样本格式箱

表18OMADRM报头箱

加密服务器文件PSS服务器也能使用3GP文件用于流送加密媒体。这里的原则是分组-然后-加密。总体来说，在来自3GP服务器文件的加密媒体与未加密媒体之间没有差别。在两种情况中，PSS服务器能够简单地遵从该文件的线索指令。经由SDP描述将关于使用流媒体的所有必要信息送达到客户端。对于加密媒体，这还包括对解密媒体流的要求。
加密根据本发明的特定实施例，还可以在扩展的3GP文件中包括加密媒体文件。因此，以下将描述使用容器文件格式和保护信息箱来加密和解密的解决方案。
默认地，二进制文件“不受阻碍”地被存储。然而，在3GP文件的文件目录中包括加密二进制文件也是可能的。保护信息箱存在于文件条目箱中表示二进制文件的内容(媒体数据)被加密。此外，保护信息箱识别加密方案和解密相应媒体数据所需要的所有信息。
这里，保护信息箱与在表13-表18中为加密轨道提出的保护信息箱相同。尽管对于二进制文件将忽略(不应包含)初始格式箱，但定义是相同的。要指出的是，用于二进制文件的保护信息箱的目的有两重指示媒体加密，以及给出对其解密的要求。
保护信息箱‘sint’包含方案类型箱‘schm’，其识别用于保护该媒体的保护方案、和方案信息箱‘schi’，其包含具体的方案数据(为每一个方案定义)。
由方案信息箱包含的箱由方案类型定义。相似地，定义应用于整个‘mdat’和‘mdat’内部的字节范围是可能的。这对于用多个小文件显示可能是不错的。
根据本发明，通过包含用于二进制文件的文件树将3GP文件扩展到普通容器格式，包括例如它们的MIME类型一样的信息。因此，在MMS和PSS中使用的任何类型的多媒体数据能够与场景描述一起存储在3GP文件中。以考虑渐进式下载整个多媒体显示或会话的这种方式来构建容器格式。因而，扩展的3GP文件可通过下载或渐进式下载来传递，并由3GP播放机播放。这种带有线索轨道的扩展3GP文件能够包含整个PSS会话，并可由PSS服务器提供服务，其中，通过RTP流送连续媒体，并通过HTTP来传递媒体文件。
根据本发明来扩展并包含文件树的3GP文件可定义3GP简档(标记)。在文件树内的文件可“不受阻碍”地被存储，或者可与关于怎样对其解密的要求一起被加密。
对于分段的文件，整个显示被分成多于一的分段。然后，该显示将可以逐段地(渐进式)下载，其中，较后的分段将用更多的文件或媒体轨道或者文件或媒体轨道的延续来增强先前的分段。也可以通过逐段发送显示来实时下载。对于总的显示结构，在几个分段中具有SMIL文件，并且关于怎样更新、增强或替换SMIL文件的方案可以做到此。
此外，本发明涉及现实怎样才能与场景描述相组合、以及怎样才能用作用于混合会话的容器格式，其中在用于混合会话的容器中，一些媒体被流送，而其它媒体被下载。
本领域技术人员将会理解的是，可在不偏离由附带权利要求限定的本发明范围的情况下对本发明做出各种修改和改变。
参考文件[1]ITU-T建议H.263(2001)，用于低比特率通信的视频编解码器。
3GPP TS 26.071强制性语音编解码器语音处理功能；AMR语音编解码器，一般描述。
ISO/IEC 14496-22001，信息技术-音频-视频对象的编码-部分3音频(MPEG-4部分3)。
ITU-T建议T.81(1992)。
3GPP TS 26.244透明的端到端分组交换流业务(PSS)；3GPP文件格式(3GP)。
ISO/IEC 14496-122003|15444-122003信息技术-音频-视频对象的编码-部分12ISO基本媒体文件格式|信息技术-JPEG2000图像编码系统-部分12ISO基本媒体文件格式。
US专利2003/0053416 A1，用于图像或视频处理的通用参考解码器，Ribas-Corbera等人，美国微软公司。
3GPP TS 26.234透明的端到端分组交换流业务(PSS)；协议和编解码器。
权利要求
1.一种用于发送包括多个媒体对象的多媒体显示的方法，所述方法包括将所述多个媒体对象组织进多媒体容器中(S10)；将引用所述多个媒体对象中的每一个的标识符组织进所述多媒体容器中(S20)；将基于所述标识符协调所述多个媒体对象的可识别文件提供到所述多媒体容器中(S30)；发送所述多媒体容器和所合并的多媒体显示(S33)。
2.根据权利要求1的方法，其中所述媒体对象包括至少一个静态媒体文件。
3.根据权利要求2的方法，其中所述组织媒体对象的步骤(S10)包括将媒体文件作为交插的连续数据分段组织进多媒体容器中。
4.根据权利要求1的方法，其中所述媒体对象既包括轨道中的动态媒体对象，又包括静态媒体文件。
5.根据权利要求4的方法，其中所述组织媒体对象的步骤(S10)包括将静态媒体文件和动态媒体对象都作为交插的连续数据分段组织进多媒体容器中。
6.根据权利要求5的方法，其中该容器被渐进地发送到至少一个接收机。
7.根据权利要求1-6中任何一个的方法，其中接收机在发送期间再现所述容器的可识别文件和媒体对象。
8.根据权利要求7的方法，其中所述方法进一步包括步骤(S31)提供使接收机能够在发送期间再现所述多媒体容器的可识别文件和媒体对象的下载控制信息。
9.根据权利要求1的方法，其中所述媒体对象中的至少一个被加密，并且所述方法进一步包括提供使得能够解密所述至少一个加密媒体对象的解密数据(S32)。
10.一种用于管理多个协作媒体对象的方法，所述方法包括将所述多个媒体对象组织进多媒体容器中(S10)；将引用所述多个媒体对象中的每一个的标识符组织进所述多媒体容器中(S20)；将协调所述多个媒体对象的可识别文件提供到所述多媒体容器中(S30)。
11.根据权利要求10的方法，其中所述媒体对象包括静态媒体文件。
12.根据权利要求11的方法，其中所述组织多个媒体对象(S10)包括将静态媒体文件作为交插的连续数据分段组织进多媒体容器中。
13.根据权利要求10的方法，其中所述组织媒体对象的步骤(S10)包括将轨道中的动态媒体对象和静态媒体文件都组织进所述多媒体容器中。
14.根据权利要求13的方法，其中所述组织媒体对象的步骤(S10)包括将静态媒体文件和动态媒体对象都作为交插的连续数据分段组织进多媒体容器中。
15.一种用于发送包括多个媒体对象的多媒体显示的设备(10)，所述设备包括用于将多个媒体对象组织进多媒体容器中的装置(11)；用于将引用所述多个媒体对象的标识符组织进所述多媒体容器中的装置(12)；用于将基于所述标识符协调多个媒体对象的可识别文件提供进所述多媒体容器中的装置(13)；和用于发送所述多媒体容器和所合并的多媒体显示，从而使得能够从该发送的容器直接显示多媒体显示的装置(14)。
16.根据权利要求15的设备，其中所述媒体对象包括至少一个静态媒体文件。
17.根据权利要求16的设备，其中所述用于组织多个媒体对象的装置(11)被配置用于将静态媒体文件作为交插连续数据分段组织进多媒体容器中。
18.根据权利要求17的设备，其中所述媒体对象既包括轨道中的动态媒体对象，又包括静态媒体文件。
19.根据权利要求18的设备，其中所述用于组织媒体对象的装置(11)适于将静态媒体文件和动态媒体对象都作为交插的连续数据分段来组织。
20.根据权利要求15的设备，其中所述多媒体容器被配置为使接收机能够在发送期间再现所述多媒体容器的可识别文件和媒体对象。
21.根据权利要求15的设备，其中所述媒体文件中的至少一个被加密，并且所述设备进一步包括用于提供解密数据的装置，该解密数据用于使得能够解密所述至少一个加密的媒体对象。
22.根据权利要求20的设备，其中所述设备包括用于提供使接收机能够在发送期间再现所述容器的可识别文件和媒体对象的下载控制信息的装置。
23.根据权利要求22的设备，其中所述用于提供下载控制信息的装置被配置为提供关于基于预定下载速度的缓冲延迟的信息。
24.一种用于包括多个媒体对象的多媒体显示的多媒体容器(20)，所述多媒体容器包括所述多个媒体对象；引用所述多个媒体对象的标识符；基于所述标识符协调所述多个媒体对象的可识别文件。
25.根据权利要求24的多媒体容器，其中所述媒体对象包括静态媒体文件和轨道中的动态媒体对象中的至少一个。
26.根据权利要求25的多媒体容器，其中所述媒体对象既包括静态媒体文件，又包括动态媒体对象。
27.根据权利要求24-26中任何一个的多媒体容器，其中将所述媒体对象作为交插的连续数据分段组织进多媒体容器(20)的一部分中(23)。
28.根据权利要求25的多媒体容器，其中引用静态媒体文件的标识符位于多媒体容器的第二部分(21)中；引用动态媒体对象的标识符位于多媒体容器(20)的第三部分(22)中。
29.根据权利要求28的多媒体容器，其中所述可识别文件位于多媒体容器的所述第二部分(21)中。
30.根据权利要求24的多媒体容器，其中所述容器(20)包括使接收机能够在所述多媒体容器的发送期间再现所述容器的可识别文件和媒体对象的下载控制信息。
31.根据权利要求30的多媒体容器，其中所述下载控制信息位于多媒体容器的单独的第四部分中。
32.根据权利要求24的多媒体容器，其中根据MPEG、SVG、JPEG、GIF、PNG、SP-MIDI、XHEML、SMIL和3GP中的任何一个来格式化所述媒体对象。
33.根据权利要求24的多媒体容器，其中根据SMI、HTML、XHTML和SVG中的任何一个来格式化所述可识别文件。
34.根据权利要求24的多媒体容器，其中所述多媒体容器被配置用于以透明方式包括不同类型的媒体对象，从而各个媒体对象的寻址、文件名、和MIMO类型被保存。
全文摘要
一种用于发送包括多个媒体对象的多媒体显示的方法将媒体对象组织进S10多媒体容器或容器格式中；将引用媒体对象的标识符组织进S20同一容器中；和将协调媒体对象的可识别文件也提供S30到容器中。
文档编号H04N7/167GK1868184SQ200480030497
公开日2006年11月22日 申请日期2004年10月14日 优先权日2003年10月17日
发明者P·弗勒德, M·韦斯特隆德, T·艾纳松 申请人:艾利森电话股份有限公司