媒体流的时移表现的制作方法

专利名称：媒体流的时移表现的制作方法
技术领域：
本发明涉及 一 种用于实现对至少 一 个接收的媒体流的时移表现 的方法以及软件程序产品。本发明还涉及实现对至少 一 个接收的媒 体流的时移表现的芯片组、电子设备以及装置。
背景技术：
各种电子设备支持接收和表现媒体流。这种媒体流可以从例如
手持数字视频广播(DVB-H)网络接收，该网络根据DVB-H标准广 播媒体流。
DVB-H标准是专用于使得移动设备能够接收广播多媒体数据的 陆地数字传输标准。DVB-H网际协议数据广播(IPDC )广播使用实 时传输协议(RTP)通信协议。流业务定义为针对接收期间的即时 消耗，以受时间限制或者不受时间限制的方式来递送的 一组同步媒 体流。每个流会话可以包括音频、视频和/或其他实时媒体数据，如 时控文本(timed text)。单个RTP媒体流可以被用于每个媒体。
例如，通过移动电视(TV)接收电影的媒体数据的用户，可以 观看电影和/或将其记录为文件。当用户在移动TV接收器上观看电 影时，他/她可能还希望能够暂停表现以休息一下，并且稍后将重新 继续观看。为了实现这种用户动作，必须至少从请求暂停的时间起 记录媒体数据，并且当用户希望重新继续观看时，必须从存储器取 回该媒体数据。可替换地，用户可以已经开始记录电影，且并没有 同时利用任何呈现设备对其进行表现，而是想要稍后再观看该记录。 然而，用户可能希望在电影广播期间开始观看，同时电影仍在被记 录。
对比于陆地数字视频广播(DVB-T),其使用自含式MPEG-2传输流，该传输流包含根据ISO/IEC国际标准13818的基本MPEG-2 视频和音频流，基本音频和视频比特流封装在RTP、 UDP(用户数 据报协议)、IP以及MPE (多协议封装)以用于DVB-H上的IP数 据广播。音频和视频压缩格式通常是H.264/AVC (高级视频编解码) 视频格式和MPEG-4 HE-AACv2 (高效高级音频编解码版本2 )音频 格式。H.264/AVC被定义于ITU-T推荐H.264和ISO/IEC国际标准 14496-10: 2004: "Information technology — Coding of audio-visual objects - Part 10: Advanced Video Coding"中，而MPEG-4 HE-AACv2 被定义于ISO/IEC国际标准14496-3( 2001 ): "Information technology —Generic coding of moving picture and associated audio information — Part 3: Audio",其包括ISO/IEC 14496-3 AMD國l( 2001 ): "Bandwidth Extension"和ISO/IEC 14496-3 ( 2001 )AMD-2:( 2004 ),
"Parametric Coding for High Quality Audio"。
当将要存储H.264/AVC视频格式和MPEG-4 HE-AACv2音频格 式的数据时，通常将其存储在3GP文件格式，还称为3GPP(第三代 合作伙伴计划)文件格式，或者MP4 (MPEG-4)文件格式中。3GP 文件格式被定义于3GPP技术规范26.244 V6.4.0 ( 2005-09 ):
"Technical Specification Group Services and System Aspects; Transparent end-to-end packet switched streaming service( PSS ); 3GPP 文件格式(3GP)"，而MP4文件格式被定义于ISO/IEC国际标准 14496-14: 2003: "Information technology _ Coding of audio-visual objects - Part 14: MP4 File Format，，中。3GP和MP4都源自ISO (国 际标准化组织)基础媒体文件格式，其被定义于ISO/IEC国际标准 14496-12: 2005: "Information technology — Coding of audio-visual objects - Part 12: ISO base media file format"中。这种才各式的文件包括 媒体数据和元数据。对于待操作的文件，必须表现这两种数据。媒 体数据存储在媒体数据盒MDAT中，并且元数据存储在电影盒 MOOV中。媒体数据包括实际媒体采样。其可以包括例如交织的、 时序的视频和音频帧。每个々某体在MOOV盒中具有其自己的元数据盒TRAK,其描述了媒体内容属性。MOOV盒中的其他盒可以包括 关于文件属性、文件内容等的信息。
因为3GP/MP4文件具有分离的々某体数据(MDAT)部分和元数 据(MOOV)部分，当将元数据写入文件时，在该时间必须已知所 有媒体数据。例如，诸如解码时间到采样盒(Decoding Time to Sample) STTS的许多3GP/MP4文件的盒包括与该盒相关联的采样 的输入计数。通常，仅当已知媒体轨道的持续时间和采样速率已知 时，才能够导出采样的输入计数。当3GP/MP4文件用于在用户请求 暂停的情况下记录数据时，这产生了问题。该文件格式使得在文件 的记录已经结束并且媒体数据和元数据两者都保存到文件之前不可 能重新继续观看。通常这种长暂停对于用户来说是不可接受的。

发明内容
本发明的目标是实现媒体数据的可替换存储以用于所接收多媒 体流的时移消耗。
提出了 一种实现对至少 一 个接收的媒体流的时移表现的方法。 该方法包括创建至少 一个媒体片段。该至少 一个媒体片段包括来自 至少 一个接收的媒体流的 一部分的媒体数据和相关联的元数据。媒 体数据存储到文件的媒体数据部分，并且相关联的元数据存储到该 文件的元数据部分。在用户请求开始时移表现的情况下，该方法进据。
而且，提出了一种实现对至少一个接收的媒体流的时移表现的 芯片组。芯片组可以包括一个芯片或者多个芯片。该至少一个芯片 包括文件写入器组件，适合用于创建至少一个媒体片段，该至少一 个媒体片段包括来自至少 一 个接收的媒体流的 一部分的媒体数据和 相关联的元数据，并且适合用于将媒体数据存储到文件的媒体数据 部分以及将相关联的元数据存储到文件的元数据部分。至少 一个芯 片进一步包括文件解析器组件，适合用于解析文件，以用于在用户请求开始时移表现情况下取回用于表现的各媒体片段的媒体数据。
而且，提出了实现对至少一个接收的媒体流的时移表现的电子 设备。该电子设备包括文件写入器组件和文件解析器组件，实现与 所提出的芯片组的相应组件相同的功能。在该电子设备中，这些组 件可以通过硬件和/或软件来实现。他们可以通过例如将所提出的芯 片组集成在电子i殳备中来实现。可替换地，他们可以通过例如运刊-相应提供的软件程序代码组件的处理器来实现。
而且，提出了一种实现对至少一个接收的媒体流的时移表现的 设备。该设备包括用于创建至少一个媒体片段的装置，该至少一个 媒体片段包括来自至少 一 个接收的媒体流的 一部分的媒体数据和相 关联的元数据，并且用于将媒体数据存储到文件的媒体数据部分以 及存储相关联的元数据到文件的元数据部分。该设备进一步包括用 于解析文件的装置，用于在用户请求开始时移表现的情况下取回用 于表现的各媒体片段的媒体数据。
最后，提出了一种软件程序产品，其中用于实现对接收的媒体 流的时移表现的软件代码存储在可读存储器中。当通过电子设备的 处理器来执行时，该软件代码实现所提出的方法。
本发明出于这样的考虑通过附加称作电影片段已经补充了上 文提及的ISO基础媒体文件格式。通常地，如果用于电影片段的媒 体采样在同 一文件中，则用于电影片段的媒体采样在MDAT盒中。 然而，针对电影片段的元数据，提供了 M00F盒。该MOOF盒包括 先前应该已经在MOOV盒中的信息。MOOV盒本身还表示有效电影， 但是附加地，其包括指示电影片段将跟随在同 一文件中的MVEX盒。 电影片段及时地扩展了与MOOV盒相关的表现。电影片段的使用与 上文所引国际标准ISO/IEC 14496-12:2005中所描述的相同。
电影片段通常用于渐进式下载从而加速初始緩沖以及减少客户 端侧緩沖要求。针对渐进式下载，可以将3GP/MP4文件组织到某个 在字节方面最大尺寸的电影片段。电影片段中的音频、视频以及潜 在的其他实时媒体轨道是交错的。文件存储在HTTP服务器中并且可以使用HTTP GET请求来获取。客户端对文件的起点进行緩冲， 直到其估计可以在播放中无任何暂停地获得剩余的文件为止。然后 客户端开始进行解码和播放。此初始緩沖延迟短于对无电影片段的 文件的初始緩冲延迟，因为该分片段的文件中的MOOV盒和第一 MOOF盒在字节方面通常小于相应的非分片段文件中的MOOV盒。 而且，当解码和播放已经进行到下一个电影片段时，客户端可以部 署电影片段，包括元数据和媒体数据。
现在提出以媒体片段的形式组织并且存储所接收的媒体流的媒 体数据。这样，仅在接收端创建媒体片段。可以实时地传送媒体流， 例如在广播传输中。媒体片段包括文件的不同部分中的媒体数据和 相关联的元数据。媒体片段可以是，但不必须是，ISO基础媒体文件 格式的电影片段。
本发明的优势在于其实现了接收的实时多媒体流的时移消耗。 与此同时，通用标准文件格式可以用于记录，例如ISO基础媒体文 件格式。
用户请求开始时移表现可以是，例如，请求从媒体流的起点表 现媒体数据。如果媒体数据已经至少部分地以媒体片段的形式，从 媒体流的起点开始被记录，则可以考虑这种请求。用户请求开始时 移表现还可以例如是请求从媒体流中指示的位置表现媒体数据。用 户请求开始时移表现还可以例如是请求在媒体流的正在进行表现期 间由用户请求的在先暂停之后继续开始媒体数据的所中断的表现。
另外，时移表现可以通过用户请求来实现。这种请求可以包括 对暂停正在进行的表现的请求，还可以是防止从最起点进行实时表 现的请求。对实现时移表现的用户请求的检测可以是创建々某体片段 的必备条件。这确保了仅在需要媒体片段时创建媒体片段。
所提出的电子设备可以包括用户界面，使得用户能够通过各种 用户请求来控制时移表现。
在对实现时移表现的用户请求是暂停请求的情况下，可以中断 对至少一个接收的媒体流的正在进行的表现。所提出的芯片组、所提出的电子设备以及所提出的设备可以包括实现这种中断的处理组件。
在本发明的 一 个实施方式中，至少 一 个媒体流的媒体数据包括 编码的数据分量，其可以被独立地解码，即无需参考任何其他编码 的数据分量，并且可以仅利用关于至少 一个在先数据分量的知识对 编码的数据分量进行解码。在视频数据的情况下，数据分量可以例 如是图像，如视频帧或者视频字段。可以独立对其进行解码的编码
的数据分量在MPEG标准中称作帧内图像或者在H.264/AVC标准中 称作即时解码刷新(IDR)图像。在下文中，任何称作帧内图像的还 旨在覆盖IDR图像和同样可以自行解码的其他类型的数据分量。在 传输中，通常在一段时间中发生一次帧内图像，通常在多协议封装 前向纠错(MPE-FEC)帧中至少发生一次，从而实现合理的调频 (tune-in)次数。为了确保可以对各媒体片段解码，在这种情况下， 针对每个媒体流，每个创建的媒体片段的媒体数据应该至少包括可 以独立解码的第 一 编码数据分量。
存在各种选择用于确保针对每个媒体流的第 一媒体片段的第一 编码数据分量是可以独立解码的编码数据分量。
在一种可能的选择中，在接收回到可以独立解码的相应最后的 编码数据分量之后，对至少 一个接收的媒体流的媒体数据进行緩冲。 然后可以从能够独立解码的相应经緩冲的最后的编码数据分量开 始、根据编码数据分量，针对每个媒体数据流而创建每个媒体片段。 緩沖可能使用存储器緩沖器或者使用任何适合格式的文件而发生。
该方法意味着在大多数中断表现的情况中，在已经表现过的第 一电影片段中将存在数据。当用户请求重新继续该表现时，可以从 媒体片段中的至少 一 个媒体流的第 一 编码数据分量开始对媒体片段 的媒体数据进行解码，而可以仅从该至少一个媒体流的、在暂停请 求时刻还未表现的数据分量开始表现该媒体片段的媒体数据。在用 户请求重新继续该表现之前，可以在背景中执行预滚动处理，从而 获得较快响应时间。在另 一 种可能的选择中，对将用作媒体片段的第 一 编码数据分 量的至少一个媒体流的编码数据分量进行解码，并且再次将其编码 为可以独立解码的编码数据分量。所需要的解码可以在并行于用于 表现的解码处理的解码处理中实现。可替换地，除了用于可能的媒 体片段创建之外，还可以提供用于表现的解码结果。
在上述两种选择中，所有随后的媒体片段可以包括，从至少一 个数据流中可以独立解码的一个编码数据分量至可以独立解码的后 面的编码数据分量之 一 的媒体数据，但不包括所述可以独立解码的 后面的编码数据分量。
在本发明的一个实施方式中，至少为在用户请求实现时移表现 后接收的至少一个所接收的媒体流的所有媒体数据创建至少一个媒 体片段。
媒体片段可以具有可变长度或者固定长度。如果他们具有可变 长度，则该长度尤其可以取决于用户请求实现时移表现与请求开始 时移表现之间的长度。
例如，可以仅当用户请求开始媒体数据的时移表现时创建第一 媒体片段。然后可以仅当对在先媒体片段的解码将要结束时创建随 后的媒体片段。然而，在用户在已经接收到至少一个媒体流的所有 媒体数据之前未请求开始时移表现的情况下，以及在接收终止的情
况下，可以创建单个媒体片段。
相对照地，在仅有限的緩冲器大小可用于存储接收的媒体流的 媒体数据的情况下，媒体片段的固定长度可能具有优势。
预定义的最小时间可以设置为用户请求实现时移表现与用户请 求开始时移表现之间所要求的时间。在媒体流包括帧内图像的情况 下，其允许确保每个媒体片段可以以新的帧内图像开始。
另外，来自媒体片段的媒体数据的实际表现可以在用户请求开 始时移表现之后稍有延迟，这依赖于在其中实施本发明的设备的处
理能力，例如延迟3秒。由此，如果用户在请求实现时移表现和请
求开始时移表现之间快速切换，则可以确保设备能够执行所有处理并且还确保电影片段不变得太小。
在至少 一 个接收的媒体流的实时表现期间，可以并行地将接收 的媒体流存储至文件。在这种情况下，当用户请求暂停时，可以结 束至少 一 个接收的媒体流的存储，并且可以针对至少 一 个接收的i某 体流的已存储部分创建元数据并且将其存储在该文件中。元数据可
指示。然后，可以针对媒体流的随后的媒体数据创建至少一个媒体 片段，并且将其存储在同一文件中，如上文所述。
利用该方法，可以确保存储整个至少 一 个接收的媒体流以待稍 后使用，而同时确保在暂停之后可以通过访问々某体片段而继续该表 现。
至少 一 个接收的媒体流可以例如是DVB-H广播的至少 一 个媒体 流，还可以是任何其他至少一个接收的媒体流，尤其是任何其他至 少 一 个接收的实时媒体流。
至少 一 个接收的i某体流可以包括例如音频数据流和/或#见频数据 流，还可以包括任何其他媒体数据流。接收的音频数据流和接收的 视频数据流的组合可以属于例如 一 个电影。
在本发明的一个实施方式中，至少一个接收的4某体流可以至少 包括具有H.264 AVC纟见频格式的^L频数据的^L频^:据流和/或具有 MPEG-4 HE-AACv2音频格式的音频数据的音频数据流。在这种情况 中，文件可以具有3GP文件格式或者MP4文件格式。
在此实施方式中，以及在其他实施方式中，文件可以符合如上 文所引用的标准ISO/IEC 14496-12:2005中所限定的ISO基础媒体文 件格式，并且媒体片段可以是针对ISO基础媒体文件格式所限定的 电影片段。
使用ISO基础媒体文件格式用于记录的优势在于其是通用标准 容器文件格式。这种格式使得轻松传送文件并且稍后利用任何播放 器应用重播该文件。如果非标准文件格式用于记录并且将所记录的 文件稍后传送到另 一设备，则可能需要转换操作从而转换到标准文件格式。而且，与专用播放器相比，当常规媒体播放器应用可以用 于播放时，可以减少时移多媒体消耗的实施和测试努力。利用本方
情况那样进行工作。
可以理解到本发明的方法、芯片组、电子设备、设备以及软件 程序产品中的任意一项可以根据这些实施方式中的任意实施方式来 实现。
本发明可以实施在适合用于接收和表现媒体流的任何电子设备
中，例如，尽管不是排他性的，实施在移动或者固定TV接收器中、
移动或者固定无线接收器中、移动通信设备如移动电话中、膝上型
电脑或者固定个人计算机(PC)中。
从下文结合附图的详细描述中，本发明的其他目的和特征将变 得明显。然而，理解到这些附图单纯为说明目的而设计，而不作为 本发明的限制的定义，关于本发明的限制的定义应参考所附权利要 求书。应该进一步理解到，附图不是按比例绘制的，这些附图仅旨 在从概念层面上示出在此所描述的结构和过程。


图l是根据本发明的实施方式的电子设备的示意性框图2是根据在图1的电子设备中所使用的3GP/MP4文件格式或 者ISO基础媒体文件格式的文件的示例性视图3是示出了图1的电子设备中的可能的第一操作的流程图； 图4是示出了图1的电子设备中的可能的第二操作的流程以及
图5是示出了图1的电子设备中的可能的第三操作的流程图。
具体实施例方式
图1是电子设备的示意性框图，其实现根据本发明的示例性实 施方式的广播电影数据的表现的暂停。例如，电子设备是移动TV接收器100。可以理解到仅示出并且 描述了与理解本发明的实施方式相关的移动TV接收器100的组件。
移动TV接收器100包括包含天线的接收装置110、处理装置 120、存储器140、显示器150、扬声器152或者用于连接某种扬声 器的音频输出、以及包括暂停/重新继续按钮154的用户界面。
处理装置120可以例如是适合用于执行各种软件代码组件的处 理器。实施的软件代码组件包括DVB-H协议栈121、解封装组件122、 视频解码器123、音频解码器124、文件写入器或者记录器125以及文 件解析器126。 DVB-H协议栈121经由第一缓冲器130连接到解封装 组件122。解封装组件122连接到视频解码器123和音频解码器124。 另外，解封装组件122连接到文件写入器/记录器125。在第一可替换方 案中，解封装组件122经由第二緩沖器132连接到文件写入器/记录器 125,以虚线示出。在第二可替换方案中，解封装组件122直接连接到 文件写入器/记录器125，并且文件写入器/记录器125有权访问第二緩 沖器134,以点线示出。文件解析器126连接到文件写入器/记录器125 并且还连接到视频解码器123和音频解码器124。可以理解到处理装置 120可以等效地以包括实现了所提及的软件代码组件和緩冲器功能的至 少一个芯片的芯片组的形式实施。
通过接收装置110接收的DVB-H媒体流被转发到DVB-H协议
件解析器126有权对存储器140进行读出访问。视频解码器123有权访 问显示器150,并且音频解码器124有权访问扬声器152。将由暂停/重 新继续按钮154所产生的信号提供到解封装组件122、文件写入器/记录 器125以及文件解析器126。这仅用暂停/重新继续按钮154到处理器 120的通用连接来表示。
移动TV接收器100使用3GP/MP4文件格式用于在存储器140 中存储文件。在图2中示意性地示出了示例性文件。图2是基于上 文引用标准ISO/IEC 14496-12: 2005中的图，图2补充说明电影片 段的存储。才艮据该标准，文件200包括零个或者更多的MDAT盒210、 240， MOOV盒220以及零个或者更多的MOOF盒230。 MDAT盒210、 240是媒体数据容器，其存储媒体采样，例如音频或者视频采样。 MOOV盒220是针对电影元数据的容器。MOOV盒220描述了电影 的媒体内容属性，针对该电影的媒体采样包括在MDAT盒210中。 为此，MOOV盒220包括例如针对视频数据的TRAK盒222和针对 音频数据的TRAK盒224。其他未示出的盒可以表示通用文件属性。 另外，如果文件200包括媒体片段，则MOOV盒220应该包括MVEX 盒226。 MOOF盒230是针对电影片段元数据的容器。MOOF盒230 描述了电影片段的媒体内容属性，针对该电影片段的采样存储在相 关联的MDAT盒240中。如果采样在同一文件中，则针对每个MOOF 盒230,在文件200中存在专用MDAT盒240。 MOOF盒230必须 包括电影片段报头'mfhd，，可以包括零个或者多个轨道片段'traf ， 必须包括针对每个'traf的轨道片段报头'tfhd，并且可以包括零 个或者多个轨道片段运转'trun，。
关于ISO基础媒体文件格式的详细情况，可以参见标准ISO/IEC 14496-12: 2005。
现在参考图3的流程图描述移动TV接收器100中的第一可能操作。
表示电影的DVB-H IPDC信号通过DVB-H网络的广播站而广 播。通过移动TV接收器100的接收装置110来接收信号并且将其提 供到DVB-H IPDC协议栈121。 DVB-H IPDC协议栈121将不同的RTP 分组转发到第一緩冲器130 (步骤301 )。
解封装组件122从第一緩冲器130取回RTP分组并且对它们进行 解封装从而获得基本媒体流(步骤302)。基本媒体流包括编码采样， 例如视频数据流的编码视频图像和/或音频数据流的编码音频帧。它们 还可以包括其他类型的媒体流。
媒体流的编码采样在第二緩冲器132中进行緩冲(步骤303 )。 更具体地，视频图像的序列和相关联的音频帧的序列以相应帧内图像开始进行緩沖，直到提供了下一个帧内图像为止。当提供了下一 个帧内图像时，移除当前存储的图像和音频帧并且从新图像开始对 新图像和音频帧的序列进行緩冲。应该注意到术语帧内图像用于指
示可以独立解码的媒体流中的任何图像。在H.264/AVC视频流的情 况中，例如，包含的IDR图^^组成了这种帧内图4象。还可以注意到 除了视频以外的其他媒体类型还可以包含可以独立解码的这种采样 类型以及根据其他釆样进行解码的另 一采样类型。
只要用户不按压暂停/重新继续按钮154(步骤304),就通过解 封装组件122将视频图像提供到视频解码器123以用于解码，而且此 外通过解封装组件122还将音频帧提供到音频解码器124以用于解 码。解码器123、 124给出原始视频图像和音频帧，然后分别在显示器 150上显示和经由扬声器152播放(步骤305 )。可以以传统方式实现 音频/纟见频处理。
一旦用户按压暂停/重新继续按钮154以便暂停表现，则解封装 组件122停止提供基本媒体流到视频解码器123和音频解码器124, 使得停止媒体解码和表现。由此，解封装组件122构成了示例性处理 组件，适合用于中断针对根据本发明的芯片组、电子设备和设备的 表现。
代替地，文件写入器125现在开始创建存储器140中的3GP/MP4 文件200 (步骤306)。更具体地，文件写入器125创建和存储MDAT 盒210和MOOV盒220，该MOOV盒220包括MVEX盒226，其指 示媒体片段出现在具有对应的MDAT盒240的MOOF盒230中。另 外，文件写入器125创建具有对应的MDAT盒240的MOOF盒230
(步骤307 )。针对视频和音频两者，每个电影片段包括最后的经緩 冲的帧内图像和相关联的音频帧以及直至下一个帧内图像(但不包 括该帧内图像)的所有随后的数据采样。
电影片段存储在存储器140中的所创建的3GP/MP4文件200中
(步骤308 )。更具体地，文件写入器125将针对相应媒体片段的媒 体采样写入到MDAT盒240中以及将相关联的元数据写入到MOOF盒230中。
只要传输正在进行，或者直到用户完全停止表现，此记录过程 都在继续(步骤307/308 )。每个新电影片段被记录到自身的MOOF 盒230和相关联的MDAT盒240中紧接前一电影片段之后的同一文 件200。
可以理解到，为了推迟整个表现，用户可能还通过在表现开始 之前按压按钮154来请求实现时移表现(步骤304)，使得根本不执 行步骤305。步骤306至步骤308与在正在进行的表现期间的暂停请 求的情况中相同。
当用户再次按压暂停/重新继续按钮154以便重新继续或者开始 表现时，文件解析器126从第一电影片段的开头开始解析存储器140 中的3GP/MP4文件200 (步骤309 )。
将相应媒体片段的编码数据采样提供到视频解码器123和音频 解码器124从而进行解码，并且分别经由显示器150和扬声器152 进行表现(步骤310)。
必须注意到记录过程(步骤307/308 )可以是解析、解码以及呈 现过程(步骤309至步骤310)的并行过程。
必须注意到，通常第一电影片段将包括已经播放过的帧，因为 第 一 电影片段是基于经緩冲的帧而创建，从而确保第 一视频图像是 帧内图像。因此，文件解析器126和解码器123、 124首先预滚动到 暂停位置。即，从存储器140取回第一编码数据采样并对其进行解 码，但不将其表现给用户。仅当达到暂停位置时，才表现经解码的 帧。文件解析器126可以向解码器123、 124提供相应的信息。
稍候用户的暂停和重新继续请求可以同样实施为暂停和重新继 续普通文件播放，因为在媒体片段中的第 一 次暂停之后直到任何传 输的结束，存储了接收的电影数据。
在可替换方法中，将仅在被需要的时间点处进行相应电影片段 的创建和存储。在这种情况中，第二緩冲器132应能够对更多图像 进行緩沖，而非从一个帧内图像到下一个帧内图像进行緩冲。仅当用户在暂停之后重新继续播放或者在已经推迟了表现之后开始播放
时，电影片段从前一电影片段的结束处(但不包括该结束)开始创
建，或者如果不存在前一电影片段，则从文件的起点开始创建。电
影片段持续，直到最后接收的帧内图像(但不包括该帧内图像)。
当解析和解码过程将要到达电影片段的结束处时，新的电影片段从
前一电影片段的结束处(但不包括该结束)到最近接收的帧内图像
(但不包括该图像)而创建。这一选择方案要求将暂停和重新继续 命令等传递到文件写入器125。
针对两种可替换方案，文件的解码位置和RTP流接收位置之间 的距离应该等于或者大于期望的最大帧内图像间隔。这确保当前一 电影片段的解码结束时，总是存在新的电影片段可用。DVB-HIPDC 中的期望的最大帧内图^象间隔可以/人包括在时间片，即MPE-FEC帧 中的第 一媒体采样和最后媒体采样的期望的最大媒体播出时间差而 导出。这取决于用户界面的实施从而不允许暂停和重新继续之间或 者推迟和开始之间间隔太短的时间，以及不允许快进到离当前RTP 接收位置太近的位置。
在所述的第 一 可能操作的两种可替换方案中，电影片段边界与 在自然地发生在进入媒体流中的帧内图像对齐。但是这不是绝对必 需的。
现在将参考流程图4来描述实现电影片段边界的自由选择的移 动TV接收器100中的第二可能操作。
表示电影的DVB-H IPDC信号通过DVB-H网络的广播站而广 播。通过移动TV接收器100的接收装置110来接收信号并且将其提 供到DVB-H IPDC协议栈121。DVB-H IPDC协议栈121将不同的RTP 分组转发到第一緩沖器130 (步骤401 )。
解封装组件122从第一緩冲器130取回RTP分组并且对它们进行 解封装从而获得基本媒体流(步骤402)。基本媒体流至少包括音频帧 的流和视频帧的流。它们也可以包括其他类型的媒体流。
通过解封装组件122将视频图像和音频帧提供到文件写入器125,文件写入器125对音频帧和视频图像进行解码并且以经解码的形式在 第二緩冲器134中对它们进行緩冲(步骤403 )。仅相应最后经解码 的视频图像和相应最后经解码的音频帧必须进行緩沖。
只要用户不按压暂停/重新继续按钮154(步骤404)，则通过解 封装组件122将视频图像提供到视频解码器123以用于解码，从而使 得电影的视频部分可以表现在显示器150上，而此外通过解封装组件 122将音频帧提供到音频解码器124以用于解码，从而使得电影的音频 部分可以经由扬声器152播放(步骤405 )。可以以传统方式实现音频/ —见频处理。
一旦用户按压暂停/重新继续按钮154以暂停表现(步骤404), 则解封装组件122停止向视频解码器123和音频解码器124提供基本 媒体流，从而使得停止媒体解码和表现。
再次地，用户还可能在开始表现之前通过按压4姿钮154来请求 实现时移表现(步骤404),从而使得根本不执行步骤405。
当用户再次按压暂停/重新继续按钮154以用于重新继续或者开 始表现时，文件写入器125开始创建存储器140中的3GP/MP4文件(步 骤406)。更具体地，文件写入器125创建MDAT盒210和MOOV 盒220，该MOOV盒220包括MVEX盒226,其指示媒体片段出现 在具有对应的MDAT盒240的MOOF盒230中。另外，文件写入器 125创建具有对应的MDAT盒240的MOOF盒230 (步骤407 )，并 且当必要时为后面的电影片段重复此过程。
如果视频图像不是从解封装组件122接收的媒体流中的帧内图像， 则为了创建第一电影片段(步骤407),文件写入器125对当前在第 二緩冲器134中进行緩沖的经解码的视频图像和经解码的音频帧进行 重新编码。无需参考任何在先的视频图像或者音频帧而完成该编码。经 重新编码的帧是针对电影片段的第 一 编码采样。它们跟随有来自接收自 解封装组件122的基本媒体流的编码的视频图像和音频帧，直到下一 视频帧内图像到达。这些帧内图像不再包括在第 一 电影片段中。
相对照地，如果当前在第二緩冲器134中进行緩冲的视频图像是帧内图像，则接收的媒体流中的相应编码数据采样被用于取代作为电影片 段的第一编码采样，因为这确保了较好的质量。
所有后面的通过文件写入器125从解封装组件122接收的编码帧 在第二緩冲器134中进行緩冲(步骤408)。
所创建的第一媒体片段被存储在存储器140的3GP/MP4文件 200中(步骤409)。更具体地，文件写入器125将针对相应媒体片段 的媒体采样写入到MDAT盒240中，并且将相关联的元数据写入到 相应的MOOF盒230中。
文件解析器126解析存储器140中的3GP/MP4文件200,从第 一电影片段的起点开始(步骤410)。文件解析器126将媒体片段的 数据提供到音频解码器123和视频解码器124,以用于解码以及分别 经由扬声器152以及显示器150进行表现(步骤411)。
当第一电影片段的解码将要结束时，相应地，文件解析器126 通知文件写入器125。因此，文件写入器125基于经緩冲的帧创建新的 电影片段，开始于帧内图像并且使用所有随后的图像，直到下一帧内图 像但不包括该帧内图像(步骤412)。
新的电影片段存储在存储器140的3GP/MP4文件200中，并且 该过程继续(步骤409至步骤412 )直到传输结束或者直到用户完全 停止该表现。在用户引起又一暂停的情况下，仅中断该媒体片段的 创建和解析，并且当表现重新继续时将继续该媒体片段的创建和解析。
必须注意到，以这种方法，仅允许一个用于运动补偿的参考图 像，相比于H. 264/AVC编码器的常规操作而言，这是一种局限。另 外，重新编码操作引起图像质量的下降，直到流中的下一常规帧内 图像为止。
但是，在这种情况中，不要求预滚动。
如果多个参考图像用于接收的视频流中，则第二緩冲器134被配 置用于包含所有参考图像。从第二緩沖器134移除那些不再需要用于参 考的图像(即根据H. 264/AVC标准被标记为"不用于参考")。当创建第一电影片段时，对第二緩冲器134中在该时刻的所有图像进行编 码。将第二緩冲器134中的第一图像编码作为帧内图像，而将其它图像 编码作为帧间图像或者帧内图像。类似地，如果任何音频采样的成功解 码要求解码多于一个的先前音频采样，则在第二緩冲器134中对足够数 目的经解码的音频采样进行緩冲，并且对其进行编码以响应于第一电影 片段的创建。
现在将参考流程图5来描述移动TV接收器100中的第三可能操作。
在这种情况中，用户希望同时记录和观看广播电影，并且希望 具有进一步暂停表现的可能性。
表示电影的DVB-H IPDC信号通过DVB-H网络的广播站而广 播。通过移动TV接收器100的接收装置110来接收信号并且将其提 供到DVB-H IPDC协议栈121。DVB-H IPDC协议栈121将不同的RTP 分组转发到第一緩冲器130 (步骤501 )。
解封装组件122从第一緩沖器130取回RTP分组并且对它们进行 解封装从而获得基本媒体流(步骤502)。基本媒体流至少包括音频帧 的流和视频图像的流。它们还可以包括其他类型的i某体流。
将音频帧和视频图像提供到文件写入器125,文件写入器125根据 标准ISO/正C 14496-12: 2005将音频流和视频流结合到ISO基本纟某体文 件格式文件200的MDAT盒210以用于在存储器140中进行存储(步 骤503 )。
只要用户不按压暂停/重新继续按钮154 (步骤504),则通过解 封装组件122将视频图像提供到视频解码器123以用于解码，从而使 得电影的视频部分可以显示在显示器150上，而此外通过解封装组件 122将音频帧提供到音频解码器124以用于解码，从而使得电影的音频 部分可以经由扬声器152播放(步骤505 )。可以以传统方式实现音频/ 视频处理。
一旦用户按压暂停/重新继续按钮154以便暂停表现(步骤504)， 则解封装组件122停止提供基本媒体流到视频解码器123和音频解码器124，从而使得停止媒体解码和表现。
进一步，向记录器125通知暂停请求。
因此记录器125完成ISO基本媒体文件格式文件200的 MOOV-盒写入并且将所有相关联的当前媒体帧存储到文件200的 MDAT盒210中(步骤506 )。记录器还包括MOOV-盒220中的 MVEX盒226,从而提醒任何未来文件读取器此文件200包含电 影片段。
一旦用户按压暂停/重新继续按钮154以便再次重新继续该表 现(步骤507 )，则文件解析器126从存储器140取回与MOOV盒 220相关联的MDAT盒210中的剩余电影数据。该数据通过视频解 码器123和音频解码器124进行解码并且分别经由显示器150以及 扬声器152进行表现(步骤508 )。
当达到MOOV盒220的末端时，文件解析器126通知记录器 125。这时，记录器125利用常规盒例如'mfhd'、 'traf、 'trhd'、 'trim' 等开始写入新的MOOF盒230以及相应的MDAT盒240。 MOOF盒 230的盒包括针对以媒体片段形式存储在MDAT盒240中的结合的 音频流和视频流的元数据。上述参考图3和图4的方法之一用于布 置电影片段开头处的帧内图像(步骤509 )。但是必须注意到，电影 片段可以包括多个帧内图像。所有经緩沖的帧直到相应最后的帧内 图像(但不包括该最后的帧内图像)用于一个电影片段。
这样，仅当重新继续文件200的读取并且到达MOOV部分220 的末端或者记录结束时，才需要将第一电影片段写入到文件200中。 这决定了电影片段的长度。
然后可以通过从存储器140取回第一电影片段中的媒体数据 来继续文件解析器126。该数据通过视频解码器123和音频解码器 124进行解码并且分别经由显示器150以及扬声器152进行表现(步 骤510)。
相同的程序用于创建和存储随后的电影片段(步骤509、 510 )。 也就是说， 一旦文件解析器126注意到其已经到达当前电影片段的末端，则通知记录器125，并且记录器125创建和存储文件200中的 新的电影片段。
作为结果，3GP/MP4文件200总是在需要时准备好被读取， 而广播记录继续到文件的末端(经緩冲的)。
如果记录器125的緩沖器空间是有限的，则还可以确定电影片 段的固定长度。在这种情况中，电影片段总是被剪掉并且将经緩冲 的数据以电影片段形式保存到文件中。取决于实施和环境，这可以 例如是5秒或者30秒。
应当理解，为了推迟整个表现，用户还可以在开始表现之前通 过按压按钮154来请求实现时移表现(步骤504 )，使得在步骤505 根本不执行表现。所有其他步骤与在正在进行表现期间出现暂停请 求的情况中相同。
另外，在这种情况中，因为存储了整个媒体流，所以重新继续 或者开始表现的请求可以包括从何处重新继续或者开始表现的媒体 流中的位置的指示。因为这样的指示不能够通过简单按钮来提供，
虽然已经示出并且描述了以及指出了当本发明应用于优选实 施方式时的本发明的基本新颖特征，但是应该理解到在不偏离本发 明的精神的前提下，本领域的技术人员可以对所述方法和设备的形 式以及细节方面进行各种省略、替换以及修改。例如，显然旨在将
和/或方法步骤的所有组合都包含在本发明的范围内。而且，应该认
的结构和/或元件和/或方法步骤都包含在作为设计选择的常规事物 的任何其他公开的或者描述的或者提议形式或者实施方式中。因此， 正如所指出的，本发明仅由所附权利要求书的范围所限制。
权利要求
1. 一种用于实现对至少一个接收的媒体流的时移表现的方法，所述方法包括创建至少一个媒体片段，所述至少一个媒体片段包括来自所述至少一个接收的媒体流的一部分的媒体数据和相关联的元数据，并且将所述媒体数据存储到文件的媒体数据部分以及将所述相关联的元数据存储到所述文件的元数据部分；以及在用户请求开始时移表现的情况下，对所述文件进行解析从而取回用于表现的相应媒体片段的媒体数据。
2. 根据权利要求1所述的方法，其中所述用户请求开始时移表 现是以下请求中的 一 项请求从所述媒体流的起点表现所述媒体数 据，请求从所述媒体流中被指示的位置表现所述媒体数据，以及请 求在由用户所请求的在先暂停之后重新继续所述至少 一 个媒体流的 中断的表现。
3. 根据权利要求1所述的方法，进一步包括接收用户请求实现 时移表现的在先步骤。
4. 根据权利要求1所述的方法，进一步包括在用户请求暂停至 少一个接收的媒体流的正在进行的表现时，中断所述正在进行的表 现的在先步骤。
5. 根据权利要求1所述的方法，其中所述至少一个媒体流的媒 体数据包括能够独立解码的编码数据分量以及可以仅利用关于至少 一个在先数据分量的知识进行解码的编码数据分量，并且其中针对 每个媒体流，每个所创建的媒体片段的媒体数据至少包括可以独立地解码的第 一 编码数据分量。
6. 根据权利要求5所述的方法，其中为了确保针对每个媒体流 第 一 媒体片段的第 一 数据分量是可以独立解码的编码数据分量，在接收回到可以独立解码的相应最后编码数据分量之后，对所述至少 一个接收的媒体流的媒体数据进行緩冲，并且从能够独立解码的相应经緩沖的最后的编码数据分量开始、根据编码数据分量针对每个 媒体流而创建每个媒体片段。
7. 根据权利要求6所述的方法，其中当在在先暂停请求后用户 请求开始时移表现时，从媒体片段中的所述至少 一 个媒体流的第一 编码数据分量开始对所述媒体片段的所述编码的媒体数据进行解 码，而其中仅从所述至少一个媒体流的、在所述暂停请求时刻还未 表现的数据分量开始表现所述媒体片段的所述媒体数据。
8. 根据权利要求5所述的方法，其中为了确保针对每个媒体流 媒体片段的第 一编码数据分量是可以独立解码的编码数据分量，对 将用作所述媒体片段的第 一 编码数据分量的所述至少 一 个媒体流的 编码数据分量进行解码，并且再次对能够独立解码的编码数据分量 进行编码。
9. 根据权利要求5所述的方法，其中媒体片段包括从所述至少 一个数据流中可以独立解码的一个编码数据分量到可以独立解码的 后面的编码数据分量之一 的媒体数据，但不包括所述可以独立解码 的后面的编码数据分量。
10. 根据权利要求1所述的方法，其中所述至少一个媒体片段至 少针对在用户请求实现时移表现后接收的所述至少一个接收的媒体 流的所有媒体数据而创建。
11. 根据权利要求1所述的方法，其中媒体片段的长度取决于用 户请求实现时移表现和用户请求开始时移表现之间的长度。
12. 根据权利要求1所述的方法，其中第一媒体片段在用户请求 开始时移表现时创建。
13. 根据权利要求1所述的方法，其中仅当在先媒体片段的解码 将要结束时，创建所述在先媒体片段后面的每个媒体片段。
14. 根据权利要求1所述的方法，其中每个媒体片段具有固定的 最大长度。
15. 根据权利要求1所述的方法，其中预定最小时间为在用户请 求实现时移表现和用户请求开始时移表现之间所要求的时间。
16. 根据权利要求1所述的方法，其中如果在并行进行的将所述至少 一 个接收的媒体流存储到文件中的期间检测到用户请求实现时 移表现，则当所述用户请求实现时移表现时结束对所述至少 一 个接收的媒 体流的存储，并且针对所述至少 一个接收的媒体流的所述存储的部 分创建元数据并且将其存储在所述文件中，所述元数据包括媒体片 段的出现的指示，以及接下来将所述至少一个媒体片段存储在所述文件中。
17. 根据权利要求1所述的方法，其中所述至少一个接收的媒体 流是手持数字视频广播的至少 一 个媒体流。
18. 根据权利要求1所述的方法，其中所述至少一个接收的媒体 流至少包括具有H.264高级视频编解码视频格式的视频数据的视频 数据流和具有高效高级音频编解码版本2音频格式的音频数据的音 频数据流中之一 ，并且其中所述文件具有第三代合作伙伴计划文件 格式和第4代移动图像专家小组文件格式中之一。
19. 根据权利要求1所述的方法，其中所述文件符合国际标准化 组织基础媒体文件格式，并且其中所述媒体片段是所述国际标准化 组织基础媒体文件格式所定义的电影片段。
20. —种实现对至少一个接收的媒体流的时移表现的芯片组，所 述芯片组包括至少 一个具有以下组件的芯片文件写入器组件，适合用于创建至少一个媒体片段，所述至少一 个媒体片段包括来自至少 一个接收的媒体流的 一部分的媒体数据和 相关联的元数据，并且适合用于将所述媒体数据存储到文件的媒体 数据部分以及将所述相关联的元数据存储到所述文件的元数据部 分；以及文件解析器组件，适合用于在用户请求开始时移表现的情况下， 解析文件从而取回用于表现的相应媒体片段的媒体数据。
21. 根据权利要求20所述的芯片组，其中所述用户请求开始时 移表现是以下请求中的 一 项请求从所述媒体流的起点表现所述媒体数据，请求从所述媒体流中被指示的位置表现所述媒体数据，以 及请求在由用户请求的在先暂停之后重新继续所述至少 一 个媒体流 的中断的表现。
22. 根据权利要求20所述的芯片组，进一步包括处理组件，其 适合用于在用户请求暂停至少一个接收的媒体流的正在进行的表现 时中断所述正在进行的表现。
23. 根据权利要求20所述的芯片组，其中所述至少一个媒体流 的媒体数据包括自身能够解码的编码数据分量和仅利用关于至少一 个在先数据分量的知识就能够解码的编码数据分量，并且其中所述 文件写入器组件适合用于创建具有媒体数据的媒体片段，所述媒体 数据针对每个数据流包括可以独立解码的至少 一 个第 一 编码数据分 量。
24. —种实现对至少 一个接收的媒体流的时移表现的电子设备， 所述电子设备包括文件写入器组件，适合用于创建至少一个媒体片段，所述至少一 个媒体片段包括来自至少 一 个接收的媒体流的 一 部分的媒体数据和 相关联的元数据，并且适合用于将所述媒体数据存储到文件的媒体 数据部分以及将所述相关联的元数据存储到所述文件的元数据部 分；以及文件解析器组件，适合用于在用户请求开始时移表现的情况下， 解析文件从而取回用于表现的相应媒体片段的媒体数据。
25. 根据权利要求24所述的电子设备，进一步包括用户界面， 其适合用于实现用户对至少一个接收的媒体流的时移表现进行控 制，所述用户界面使得用户实现以下各项中的至少一项输入实现时移表现的请求；输入实现时移表现的请求，其中所述请求包括请求暂停正在进行 的表现；输入开始时移表现的请求；输入开始时移表现的请求，其中所述请求是请求从所述媒体流的起点表现媒体数据；输入开始时移表现的请求，其中所述请求是请求从所述媒体流中 的指示的位置表现媒体数据；输入开始时移表现的请求，其中所述请求是在用户请求的在先暂 停之后重新继续所述至少 一 个媒体流的中断的表现。
26. 根据权利要求24所述的电子设备，进一步包括处理组件， 其适合用于当用户请求暂停至少一个接收的媒体流的正在进行的表 现时中断所述正在进行的表现。
27. 根据权利要求24所述的电子设备，其中所述至少一个媒体 流的媒体数据包括自身能够解码的编码数据分量和仅利用关于至少 一个在先数据分量的知识就能够解码的编码数据分量，并且其中所 述文件写入器组件适合用于创建具有媒体数据的媒体片段，所述媒 体数据针对每个数据流包括可以独立解码的至少一个第 一编码数据 分量。
28. 根据权利要求24所述的电子设备，其中所述电子设备是以 下设备中之一移动电视接收器、固定电视接收器、移动无线接收 器、固定无线接收器、移动通信设备、膝上型以及固定个人计算机。
29. —种实现对至少一个接收的媒体流的时移表现的设备，所述 设备包括用于创建至少 一 个媒体片段的装置，所述至少 一 个媒体片段包括 来自至少一个接收的媒体流的一部分的媒体数据和相关联的元数 据，并且该装置适合用于将所述媒体数据存储到文件的媒体数据部 分以及将所述相关联的元数据存储到所述文件的元数据部分；以及用于在用户请求开始时移表现的情况下解析文件从而取回用于 表现的相应媒体片段的媒体数据的装置。
30. 根据权利要求29所述的设备，其中所述用户请求开始时移 表现是以下请求中的 一 项请求从所述媒体流的起点表现所述媒体 数据，请求从所述媒体流中被指示的位置表现所述媒体数据，以及 请求在由用户请求的在先暂停之后重新继续所述至少 一 个媒体流的中断的表现。
31. 根据权利要求29所述的设备，进一步包括处理组件，其适 合用于当用户请求暂停至少一个接收的媒体流的正在进行的表现时 中断所述正在进行的表现。
32. 根据权利要求29所述的设备，其中所述至少一个媒体流的 媒体数据包括自身能够解码的编码数据分量和仅利用关于至少一个 在先数据分量的知识就能够解码的编码数据分量，并且其中所述用 于创建至少 一 个媒体片段的装置适合用于创建具有媒体数据的媒体 片段，所述媒体数据针对每个数据流包括可以独立解码的至少 一个 第一编码数据分量。
33. —种软件程序产品，其中用于实现对至少一个接收的媒体流 的时移表现的软件代码存储在可读存储器中，当由电子设备的处理 器执行时，所述软件代码实现以下步骤创建至少 一个媒体片段，所述至少 一个媒体片段包括来自所述至 少 一 个接收的媒体流 一 部分的媒体数据和相关联的元数据，并且将 所述媒体数据存储到文件的媒体数据部分以及将所述相关联的元数 据存储到所述文件的元数据部分；以及在用户请求开始时移表现的情况下，解析所述文件从而取回用于 表现的相应媒体片段的媒体数据。
34. 根据权利要求33所述的软件程序产品，其中所述用户请求 开始时移表现是以下请求中的一项请求从所述媒体流的起点表现 所述媒体数据，请求从所述媒体流中被指示的位置表现所述媒体数 据，以及请求在由用户请求的在先暂停之后重新继续所述至少 一 个 媒体流的中断的表现。
全文摘要
为了实现对至少一个接收的媒体流的时移表现，创建至少一个媒体片段。该至少一个媒体片段包括来自至少一个接收的媒体流的一部分的媒体数据和相关联的元数据。将媒体数据存储到文件的媒体数据部分并且将相关联的元数据存储到该文件的元数据部分。在用户请求开始时移表现的情况下，继而可以对文件进行解析从而取回用于表现的相应媒体片段的媒体数据。
文档编号H04N7/24GK101427579SQ200680044058
公开日2009年5月6日 申请日期2006年11月28日 优先权日2005年12月1日
发明者J·托伊米南, M·安尼克塞拉 申请人:诺基亚公司