用于在多媒体流式传输中组装前向纠错帧的方法和设备的制作方法
【专利摘要】在具有包含媒体分组的源块的多个FEC帧的RTP流中，在源块之前插入随机访问点，从而允许媒体解码器在完成FEC解码之后立即对媒体分组进行解码。具体地，媒体分组包含用于基于多媒体广播／多播的流式服务内容的前向纠错(FEC)源块。由于多媒体广播／多播流式服务包括动态交互式多媒体场景内容，其中不同媒体的源RTP分组与FEC?RTP分组一起作为分离的RTP流而传输，因此包含随机访问点将促进在FEC解码之后立即渲染动态交互式多媒体场景内容，由此降低调谐延迟。
【专利说明】用于在多媒体流式传输中组装前向纠错帧的方法和设备
[0001]相关申请的交叉引用
[0002]本申请是母案为国际申请日为2007年8月20日、于2009年3月20日进入中国国家阶段的PCT申请第PCT / IB2007 / 002385号、中国国家申请号第200780034939.8号、题为“用于在多媒体流式传输中组装前向纠错帧的方法和设备”的专利申请的分案申请。
【技术领域】
[0003]本申请总体上涉及用于已编码媒体分组群组的前向纠错帧的组装，更具体地，涉及多媒体流式传输中的前向纠错帧。
【背景技术】
[0004]多数基于分组的通信网络，特别是没有服务质量保证的互联网协议(IP)网络，受到数量不定的分组丢失或者错误的影响。这些丢失可能源自很多来源，例如路由器或者传输部分过载，或者导致分组删除的分组中的位错误。应当理解，分组丢失是多数分组网络架构中的常见操作要点，而不是网络失败。媒体传输，特别是压缩视频的传输，极大地受到分组丢失的影响。
[0005]可以在媒体编码过程期间通过多种不同的手段来进一步避免由媒体传输中的错误所导致的在媒体呈现中的恼人赝像。然而，在媒体编码过程期间添加冗余位对于预编码的内容是不可行的，并且这通常比使用前向纠错(FEC)的信道编码中的最优保护机制的效率要低。
[0006]前向纠错如下进行工作:计算各个待保护的媒体分组中待保护位上的冗余位数目，将这些位添加到FEC分组，并且传输媒体分组和FEC分组二者。在接收机处，可以使用FEC分组来检查媒体分组的完整性，并且重建可能丢失的媒体分组。由此,将媒体分组和保护这些媒体分组的FEC分组称为FEC帧。图1中示出了 FEC帧的例子。如图1所示，媒体GOP流300包括由边界315隔开的媒体G0P310和媒体G0P320。FEC结构500包括由边界515隔开的FEC帧510和FEC帧520。除了媒体分组514之外，FEC帧510还包含FEC分组512和两个填充分组516。同样，FEC帧520除了包含媒体分组524还包含FEC分组。这样，FEC帧510、520 —般比媒体GOP长。因此，FEC帧没有与媒体GOP对准。
[0007]多数意在误差防护的FEC方案允许选择待保护的媒体分组的数目，并且允许自适应地挑选FEC分组的数目，以选择FEC子系统的延迟约束和保护长度。
[0008]上文意义中的基于分组的FEC需要接收机与FEC帧结构的同步，以便利用FEC。换言之，在可以开始纠错之前，接收机必须缓存FEC帧的所有媒体和FEC分组。
[0009]视频编码方案以及日益出现的一些音频编码方案，其例如使用所谓的预测编码技术。这种技术分别根据先前的图像或者音频帧来预测后面的视频图像或者音频帧的内容。下文中，将把视频图像和音频帧统称为“图像”，以便将其与FEC帧区分开。通过使用预测编码技术，压缩方案可能会非常有效，但是随着预测链变得更长，也变得更加容易受到错误的影响。因此，不时地插入所谓的关键图像或者非预测编码视频帧的等价项(此后将二者都称为关键图像)。该技术通过使用非预测编码技术来重新建立预测链的完整性。但是这种情况也不是很罕见:关键图像比预测编码图像大5到20倍。每个已编码图像例如可以对应于一个待保护的媒体分组。
[0010]遵循MPEG-2可视化的惯例，此后将以关键图像开始、随后是零个或多个非关键图像的图像序列称为图像组(GOP)。在数字电视中，GOP通常包括不超过6个图像。然而，在流式传输应用中，常常将GOP尺寸选择得更大。有些GOP在一个GOP中可以具有数百个图像，以便利用预测编码图像的较好的编码效率。为此，“调谐”到此类序列可能需要若干秒。
[0011]当FEC帧是大尺寸时(例如，包括数百个分组时)，可以将FEC方案设计得更为高效。类似地，多数媒体编码方案在挑选较大的GOP尺寸时效率提高，因为一个GOP仅包含一个单个关键图像，其在统计上远大于GOP的其他图像。然而，大FEC帧和大GOP尺寸二者都需要与其各自的结构同步。对于FEC帧而言，这意味着在接收时缓存整个FEC帧，以及纠正任何可纠正的错误。对于媒体GOP而言，这意味着解析和丢弃那些没有构成GOP开始(关键帧)的媒体分组。
[0012]在美国专利申请公开N0.2006 / 0107189A1中记载:为了减小解码端的缓存延迟，FEC帧应当与媒体分组的群组对准。为此，编码器应当能够针对FEC帧中所包含的已编码媒体分组的群组来确定完全符合该FEC帧的已编码媒体分组的下一后续群组的数目，并且选择与针对该FEC帧而如此确定的已编码媒体分组的一个或多个群组相关联的所有已编码媒体分组。为了对准目的，可以通过向某些选定分组添加预定的数据来使选定分组的尺寸相等。图2中示出了已对准的FEC帧和媒体分组群组的例子。如图2所示，媒体GOP流400包括由边界415隔开的媒体G0P410和媒体G0P420。FEC结构600包含由边界615隔开的FEC帧610和FEC帧620。尽管FEC帧610和620还包含FEC分组和媒体分组，但是可以使其与GOP对准。
[0013]FEC可以应用于富媒体(rich media)内容。富媒体内容通常是指图形上丰富并且包含包括图形、文本、视频和音频的组分(或者多个媒体)并且优选地通过单个接口递送的内容。富媒体随着时间动态地改变，并且可以对用户交互做出响应。
[0014]对于可视地递送富内容以用于实时传输而言，特别是在3GPP中的多媒体广播/多播服务(MBMS)和分组交换流媒体服务(PSSS)架构中，富媒体内容的流式传输正在变得越发重要。PSS提供了用于3G网络中基于互联网协议(IP)的(特别是通过点对点承载的)流式应用的框架。MBMS流式传输服务促进了 3G移动环境中大众实时内容向多个接收机的资源有效递送。并非使用不同的点对点(PtP)承载将相同的内容递送至不同的移动台，而是使用单个点对多点(PtM)承载将相同的内容递送至给定小区中的不同移动台。流式传输的内容可以包括视频、音频、诸如可伸缩矢量图形(SVG)的XML(可扩展标记语言)内容、时控文本以及其他支持的媒体。内容可以预先记录或者根据实时馈送而生成。SVG允许三种类型的图形对象:矢量图形形状、图像以及文本。可以根据先前渲染(render)的对象来聚合、变换以及组成图形对象。可以将SVG内容布置在群组中，使得可以对每个SVG内容独立于后续递送的群组而被处理和显示。群组也称为场景。
[0015]直到最近，移动设备的应用是基于文本的，其交互性有限。然而，随着更多的无线设备配备了彩色显示器和更为高级的图形渲染库，消费者将要求来自其所有无线应用的富媒体体验。对于移动终端而言，特别是在MBMS、PSS以及多媒体流式传输(MMS)服务的领域中，实时富媒体内容流式传输服务势在必行。富媒体应用(特别是在Web服务领域中)包括基于XML的内容，诸如:
[0016]SVGT1.2:用于以XML来描述二维图形的语言。SVG允许三种类型的图形对象:矢量图形形状(例如，包括直线和曲线的路径)、多媒体(例如，光栅图像、视频、音频)以及文本。SVG绘图可以是可交互的(使用DOM事件模型)和动态的。动画可以通过声明(例如，通过在SVG内容中嵌入SVG动画元素)或者经由脚本来定义和触发。通过使用访问SVG微文档对象模型(μ DOM)的补充脚本语言，使得SVG的复杂应用成为可能，其中μ DOM提供对所有元素、属性和性质的完全访问。可以将事件句柄的丰富集指派给任何SVG图形对象。由于其兼容性以及对其它Web标准(诸如，CDF)的影响，可以通过XHTML(可扩展超文本标记语言)实现类似于脚本的特征，并在相同Web页面内同时实现SVG元素。
[0017]SMIL2.0:同步多媒体整合语言(SMIL)支持交互式视听呈现的简单创作。SMIL通常用于对流式传输的音频和视频与图像、文本或者任何其他媒体类型进行整合的“富媒体” /多媒体呈现。
[0018]CDF:复合文档格式(CDF)工作组正在建议将XHTML、SVG、MathML和SMIL之类的独立组件语言(例如，来自于独立词汇表的基于XML的语言、元素和属性)合并起来，重点在用户接口标记上。在合并用户接口标记时，必须解决单个标记规范没有涉及的特定问题，诸如跨标记的事件传播、渲染或者用户交互模型与合并文档的合并。复合文档格式工作组将解决这类问题。该工作被划分为阶段和两种技术方案:通过引用结合以及通过包含进行合并。
[0019]在当前的3GPP DMS (动态交互式多媒体场景)活动中，DMS内容的流式传输已被认为是动态富媒体服务用于支持客户端处内容的实时、连续实现的重要组件。DMS内容流通常包括有效负载是SVG场景的一系列RTP (实时传输协议)分组、SVG场景更新以及已编码的视频和音频分组。这些RTP分组由UDP (用户数据报协议)/ IP报头封装，并通过3G网络传输。由于无线链路的传输错误或者3G网络的中间路由器处的缓冲区溢出，分组可能丢失。
[0020]在MBMS和PSS框架中，3GPP SA4在传输层及以上定义了一些与媒体无关的分组丢失恢复机制。在MBMS中，应用层FEC用于针对流式传输服务和下载服务二者的分组丢失恢复。在PSS中，RTP层重传用于分组丢失恢复。针对单播下载递送，TCP(传输控制协议)负责内容的可靠递送。
[0021]对于基于富媒体的MBMS流式传输服务而言，用户很可能在流式传输会话期间的任意时刻调谐至服务。客户端在其调谐至服务时立即开始接收分组，并且可能必须等待一段特定时间以开始对所接收富媒体内容的解码/渲染。这段时间称为“调谐延迟”。为了良好的用户体验，期望客户端尽可能从其接收到内容时就开始渲染内容。由此，DMS的一个需求是:允许DMS客户端高效、快速地调谐到广播/多播流式传输服务。可以通过媒体层解决方案、传输层解决方案或者二者的结合来实现快速调谐。
[0022]当通过3G无线网络的广播/多播信道来流式传输富媒体(DIMS)内容时，通过使用应用层前向纠错(AL-FEC)机制来保护内容不发生分组丢失是重要的。AL-FEC算法通常应用于媒体RTP分组的源块，以生成冗余FEC RTP分组。如上文所述以及在图1和图2中所示，媒体和相关联的FEC分组统称为“FEC帧”。FEC帧通过有损网络传输。如果接收机从该FEC帧接收到总量足够的媒体和FEC RTP分组，则该接收机能够恢复任何丢失的媒体RTP分组。目前，上述源块的长度是可配置的。如果使用大源块，则AL-FEC更为有效。另一方面，调谐延迟直接与源块的长度成比例。
[0023]在涉及SVG、音频和视频媒体的典型富媒体流式传输会话中，在发送机侧，将每个媒体的源RTP分组捆绑在一起以形成源块，以用于FEC保护。使用FEC编码算法从该源块生成一个或多个FEC RTP分组。如图3所示，将不同媒体的源RTP分组与FEC RTP分组一起作为分离的RTP流来传输。如图3所示，DIMS RTP流例如包含多个FEC帧610^61(^和6103。这些FEC帧可以包含用于不同DMS媒体或者相同媒体的源块。FEC帧61(^包含源RTP分组的源块611和FEC RTP分组612lt)在接收机侧，客户端缓存接收到的RTP分组(源和FEC二者)以足够的持续时间，并且尝试重建上述源块。如果任何源RTP分组丢失，则其尝试通过应用FEC解码算法来恢复它们。
[0024]FEC源块的长度是确定调谐延迟的关键因素。客户端必须缓存整个FEC源块以一段持续时间。如果客户端在当前FEC源块的中间开始接收数据，则其可能必须丢弃来自当前源块的数据，并且等待从始至终接收下一源块。因此，平均地，其必须等待FEC源块持续时间的1.5倍。
[0025]在FEC解码之后，将分组发送给接收机处的各种媒体解码器。媒体解码器可能无法从压缩媒体比特流中的任意点进行解码。如果FEC帧和媒体GOP没有对准，则平均地，解码器可能必须丢弃当前媒体GOP数据的一半。
[0026]调谐延迟=1.5* (FEC源块持续时间)+0.5* (媒体GOP持续时间)(I)其中FEC源块持续时间是FEC帧的缓冲延迟(在等时网络中，其与FEC帧的尺寸成比例)，而媒体GOP持续时间是媒体GOP的缓冲延迟。在最差情况中，必须挑选缓冲区尺寸使得完整的FEC帧和完整的GOP分别符合FEC解码器的缓冲区和媒体解码器的缓冲区。
【发明内容】
[0027]本发明提供了一种方法和设备，其中在用于基于多媒体广播/多播的流式传输服务内容的每个前向纠错(FEC)源块的开始处插入随机访问点。这样，媒体解码器可以在FEC解码完成时立即开始解码，并且等式(I)中的第二项可以被消除，由此降低调谐延迟。多媒体广播/多播流服务包括动态交互式多媒体场景内容，其中不同媒体的源RTP分组与FECRTP分组一起作为分离的RTP流来传输。包括有随机访问点则有助于在FEC解码之后立即渲染动态交互式多媒体场景内容，由此降低调谐延迟。
[0028]由此，本发明的第一方面是一种用于在多媒体流式传输中使用的方法，其中，分组流被提供给能够解码多个媒体的媒体分组的多媒体客户端，并且每个媒体的已编码媒体分组被布置在帧中，每个帧至少具有跟随在至少一个前向纠错分组之后的源块。该方法包括:在至少一些帧中插入随机访问点，使得随机访问点位于源块和前向纠错分组之间。
[0029]本发明的第二方面是用于在多媒体流式传输中的服务器中使用的模块，其中，从服务器提供分组流给能够解码多个媒体的媒体分组的多媒体客户端，并且每个媒体的已编码媒体分组布置在帧中， 每个帧至少具有跟随在至少一个前向纠错分组之后的源块。该模块适于在至少一些帧中插入随机访问点，使得随机访问点位于源块和前向纠错分组之间。
[0030]本发明的第三方面是通信系统中的服务器，该通信系统包括能够解码多个媒体的媒体分组的一个或多个多媒体客户端，并且每个媒体的已编码媒体分组被布置在帧中，每个帧至少具有跟随在至少一个前向纠错分组之后的源块。服务器包括生成模块，用于在至少一些帧中插入随机访问点，使得随机访问点位于源块和前向纠错分组之间。
[0031]本发明的第四方面是适于接收多媒体比特流的多媒体客户端，该比特流包括布置在帧中的多个已编码媒体分组，每个帧至少具有跟随在至少一个前向纠错分组之后的源块，并且其中，在源块和前向纠错分组之间插入至少一个随机访问点。该客户端包括:用于前向纠错解码的第一解码器，以及用于在前向纠错解码之后根据随机访问点对已编码媒体分组的源块进行解码的至少一个媒体解码器。
[0032]本发明的第五方面是一种软件应用产品，包括存储介质，其具有用于在多媒体流式传输中使用的软件应用，其中，分组流被提供给能够解码多个媒体的媒体分组的多媒体客户端，并且每个媒体的已编码媒体分组被布置在帧中，每个帧至少具有跟随在至少一个前向纠错分组之后的源块。该软件应用包括编程代码，用于在至少一些帧中插入随机访问点，使得随机访问点位于源块和前向纠错分组之间。
[0033]本发明的第六方面是一种软件应用产品，包括存储介质，其具有用于在多媒体客户端中使用的软件应用，该客户端适于接收多媒体比特流，该比特流包括布置在帧中的多个已编码媒体分组，每个帧至少具有跟随在至少一个前向纠错分组之后的源块，并且其中，在源块和前向纠错分组之间插入至少一个随机访问点。该软件应用包括:用于前向纠错解码的编程代码，以及用于在前向纠错解码之后根据随机访问点对已编码媒体分组的源决进行解码的编程代码。
[0034]在结合图1-图7阅读说明书之后，本发明将变得易见。
【专利附图】
【附图说明】
[0035]图1是示出了多个GOP以及未与GOP对准的相关联FEC帧的时序图；
[0036]图2是示出了多个GOP以及与GOP对准的相关联FEC帧的时序图；
[0037]图3示出了多媒体流式传输中的FEC帧；
[0038]图4示出了根据本发明一个实施方式的在多媒体流式传输的每个FEC源块的开始插入随机访问点；
[0039]图5a示出了根据本发明一个实施方式的用于DMS的FEC帧结构；
[0040]图5b不出了根据本发明另一实施方式的用于DIMS的FEC巾贞结构；
[0041]图6是具有服务器和客户端的通信系统的示意图，其中在FEC帧中插入了随机访问点；
[0042]图7是根据本发明的具有至少一个多媒体流式传输编码器和解码器的电子设备的框图。
【具体实施方式】
[0043]在富媒体内容的流式传输中，流式传输的内容可以包括视频、音频、诸如SVG的XML内容、时控文本和其它支持媒体。SVG流通常包括场景和一系列场景更新。可以将SVG场景视为FEC解码之后接收机处的SVG解码器中解码的开始点。
[0044]根据本发明，插入随机访问点是有益的，其中在FEC编码之后，在接收机处的媒体解码器处，有可能在该随机访问点实现解码的开始点。除了在用于XML流(例如，SVG)的每个FEC源块的开始处插入随机访问点之外，在用于视频流的每个FEC源块的开始处以及用于音频的每个FEC源块的开始处插入随机访问点是有益的。当前MBMS FEC框架将媒体绑定用于FEC保护目的，也即，同一 FEC帧包含所有类型的媒体RTP分组(例如，SVG、音频、视频)。在这种布置下，在FEC帧的开始处具有三种媒体的随机访问点(以任何顺序)是有益的。随机访问点的这种包含有助于在FEC解码之后立即渲染DMS内容。图4示出了在FEC帧的每个源块的开始处插入随机访问点。如图4所示，DIMS RTP流例如包括FEC帧TlO1JlO2和7103。这些FEC帧可以包含用于不同DMS媒体(诸如，视频、音频和时控文本)或者用于相同媒体的源块。FEC帧TlO1包含包括源RTP分组的源块714、随机访问点718!以及FEC RTP分组712lt) FEC帧7102包括源RTP分组的源块7142、随机访问点7182以及FECRTP分组7122。FEC帧7103包括源RTP分组的源块7143、随机访问点7183以及FECRTP 分组 7123。
[0045]应当注意，FEC帧可以具有不止一个FEC分组，使得媒体比特流对于分组丢失更为鲁棒。此外，尽管通常在一个或多个FEC分组之后具有一个随机访问点(如图5a所示)，但是可以在一个FEC帧中具有不止一个随机访问点，以便信号通知场景改变(如图5b所不)。FEC分组通常在FEC帧的末端，而RAP分组在FEC帧的开始处。FEC帧中间的随机访问点有助于快速调谐。在FEC解码失败的情况下，这也是有用的。在这种情况下，第一随机访问点错失，但是同一 FEC帧中的后续随机访问点可以用于媒体解码。
[0046]存在多个基于流式传输的用例，其为了调谐目的而组装FEC块中的RAP。其中的一些是富媒体服务的类型，包括:
[0047]I)交互式移动电视服务:该服务被理解为全部在终端用户界面中，与电视和广播频道一起，提供富媒体内容的确定性渲染和行为的能力，其中富媒体内容包括音频-视频内容、文本、图像、基于XM L的内容(例如，SVG)。该服务在单个应用或者服务中提供方便的通过内容的导航，并且允许本地或者远程的同步交互，例如投票和个性化(例如，相关的菜单或子菜单，根据终端用户简档或者服务订购的内容和广告)。
[0048]该用例在与iTV移动服务中可用的4个服务和子服务相对应的4个步骤中描述:
[0049]?马赛克菜单:电视频道全景。
[0050].电子节目表和相关iTV服务的触发。
[0051].iTV 服务。
[0052]?个性化菜单“体育新闻”。
[0053]2)在线企业数据馈送:该服务包括证券报价机，其提供在线报价、实时每目图表与技术指示符、新闻监控、天气提示、图表、商业更新等的流式传输。
[0054]3)在线聊天:在线聊天服务可以包含在web相机或者视频信道或者富媒体博客服务中。终端用户可以进行注册，保存其称呼以及交换消息。消息与终端用户提供的富媒体数据动态地出现在在线聊天服务中。聊天服务可以是私有的，或者同时在一个或多个信道中是公共的。来自其他用户的新消息动态地提示给终端用户。可以在不重新载入整个页面的情况下进行服务内消息的动态更新。
[0055]4)卡拉OK:该服务显示伴随有歌曲的语音的音乐电视频道或者视频片段目录，其中在歌词的文本字符上具有类似于流动的动画(例如，字体颜色的平滑过渡，文字滚动，等等)。终端用户可以通过选择交互式按钮来下载他选择的歌曲以及完整的动画。
[0056]图6中示出了根据本发明实施方式的具有服务器和客户端的通信系统的示意图。如图6所示，该通信系统能够提供多媒体/多播服务。由此，通信系统具有至少一个服务器和一个客户端，以用于多媒体流式传输。特别地，服务器适于通过无线网络(例如，因特网)的广播/多播信道来提供富媒体(DIMS)内容。特别地，服务器适于获取、接收和/或存储DMS内容。例如，DMS内容包括场景和场景更新。DMS内容可以传递给FSC帧生成器，其适于插入在FEC帧中插入的随机访问点。更具体地，在用于DMS内容的基于MBMS的流式传输服务的源块的开始处插入随机访问点。有益地，FEC生成器适于提供与媒体DMS分组对准的FEC帧，其包括随机访问点。通过广播/多播信道在比特流中传输具有已校准的FEC帧的DMS分组，从而允许一个或多个DMS客户端接收和解码比特流。FEC生成器可以具有运行FEC编码软件的处理组件，其中FEC编码软件具有用于对准FEC帧以及随机访问点插入的编程代码。
[0057]一般地，每个DMS客户端具有FEC解码器以用于纠错目的。FEC解码器可以具有运行FEC解码软件的处理组件。在FEC解码之后，将DMS内容传递给多个媒体解码器。将来自每个媒体解码器的已解码内容提供给输出模块。例如，如果媒体解码器是视频解码器，则将已解码内容提供给屏幕以便显示。如图6所示，其中示出了三个不同的媒体解码以及三个相应的输出模块。例如，输出模块之一可以是渲染器，其适于SVG绘图。例如，SVG绘图可以是交互式的和动态的，并且可以在动画中使用。
[0058]现在参考图7，图7示出了具有图6所示的服务器模块和DMS客户端模块中的至少一个的电子设备。根据本发明的一种实施方式，该电子设备是移动终端。图7中所示的移动设备10支持蜂窝数据和语音通信。应当注意，本发明不局限于这种【具体实施方式】，这种【具体实施方式】只代表多种不同实施方式中的一种。移动设备10包括控制移动设备操作的(主)微处理器或微控制器100以及与微处理器相关联的组件。这些组件包括与显示模块135连接的显示控制器130，非易失性存储器140，例如随机访问存储器(RAM)的易失性存储器150，与麦克风161、扬声器162和/或耳机163连接的音频输入/输出(I / O)接口 160，与键区175或键盘连接的键区控制器170，任意辅助输入/输出(I / O)接口 200，以及短程通信接口 180。这样的设备通常还包括其它设备子系统，这些子系统总体上示为190。
[0059]移动设备10可以在语音网络上进行通信，和/或同样可以在数据网络上进行通信，数据网络例如是任何公共陆地移动网络(PLMN)，其形式例如可以是数字蜂窝网络，特别是GSM (全球移动通信系统)或UMTS (通用移动通信系统)。语音和/或数据通信通常通过空中接口操作，空中接口也即与其它组件(参见上文)协作的连接到基站(BS)或节点B(未示出)的蜂窝通信接口子系统，其中基站(BS)或节点B是蜂窝网络基础设施的无线接入网络(RAN)的一部分。
[0060]在图7中示范性描述的蜂窝通信接口子系统包括蜂窝接口 110、数字信号处理器(DSP) 120、接收机(RX) 121、发射机(TX) 122、以及一个或多个本地振荡器(LO) 123，并且蜂窝通信接口子系统支持与一个或更多公共陆地移动网络(PLMN)的通信。数字信号处理器(DSP) 120将通信信号124发送给发射机(TX) 122，并从接收机(RX) 121接收通信信号125。除了处理通信信号之外，数字信号处理器120还向接收机提供控制信号126和向发射机提供控制信号127。例如，除了分别对待发射的信号进行调制和对所接收的信号进行解调之夕卜，应用于接收机(RX) 121和发射机(TX) 122中的通信信号上的增益水平也可以通过数字信号处理器(DSP) 120中所实施的自动增益控制算法进行自适应控制。为了提供对收发机121 / 122的更复杂的控制，也可以在数字信号处理器(DSP) 120中实施其它收发机控制算法。
[0061]在移动设备10通过PLMN的通信在单一频率或者一组相隔密集的频率上发生的情况下，单个本地振荡器(LO) 123则可以与发射机(TX) 122和接收机(RX) 123结合使用。可选地，如果语音/数据通信所使用的频率不同或者发射和接收所使用的频率不同，则可以使用多个本地振荡器以产生多个相应的频率。
[0062]尽管图7中描述的移动设备10与天线129或分集天线系统(未示出)结合使用，但是移动设备10也可以与具有用于信号接收和发射的单个天线结构结合使用。包括语音和数据信息在内的信息通过蜂窝接口 110与数字信号处理器(DSP) 120之间的数据链路在两者之间进行双向通信。蜂窝接口 110的详细设计，例如频带、组件选择、功率水平等，将取决于移动设备10意图在其中操作的无线网络。
[0063]在任何所需的网络注册或激活过程之后，移动设备继而可以在无线网络上发送和接收包括语音和数据信号在内的通信信号，其中注册或激活过程可能涉及在蜂窝网络中注册所需的用户标识模块(SIM)210。天线129从无线网络接收的信号被路由至接收机121，接收机121提供诸如信号放大、频率下转换、滤波、信道选择以及模数转换之类的操作。接收信号的模数转换使得诸如数字解调和解码之类较为复杂的通信功能可以使用数字信号处理器(DSP) 120来执行。通过类似的方式，将要被发射给网络的信号被数字信号处理器(DSP) 120处理，例如包括调制和编码，并继而被提供给发射机122以用于数模转换、频率上转换、滤波、放大以及通过天线129发射给无线网络。
[0064]微处理器/微控制器(μ C) 110(还可以指定为设备平台微处理器)管理移动设备10的功能。处理器110所使用的操作系统软件149优选地存储在例如非易失性存储器140之类的永久存储器中，其中非易失性存储器140例如可以被实现为闪速存储器、电池供电的RAM、任何其它非易失性存储技术或者其任意组合。除了控制移动设备10的低层功能和(图形)基本用户接口功能的操作系统149之外，非易失性存储器140还包括多个高层软件应用程序或者模块，例如语音通信软件应用142、数据通信软件应用141、组织器模块(未示出)或者任何其它类型的软件模块(未示出)。这些模块由处理器100执行并提供了移动设备10的用户与移动设备10之间的高级接口。该接口通常包括由显示控制器130控制的显示器135所提供的图形组件和通过键区控制器170连接到处理器100上的键区175、辅助输入/输出(I / O)接口 200和/或短程(SR)通信接口 180所提供的输入/输出组件。辅助I / O接口 200特别地包括USB(通用串行总线)接口、串行接口、MMC(多媒体卡)接口以及相关的接口技术/标准，并包括任何其它标准化的或专有的数据通信总线技术，而短距离通信接口射频(RF)低功率接口特别地包括WLAN(无线局域网)和蓝牙通信技术或者IRDA (红外数据访问)接口。这里所称的RF低功率接口技术应被特别地理解为包括IEEE801.XX标准技术，其说明可以从国际电子电气工程师协会处获得。而且，辅助I /O接口 200和短程通信接口 180的每一个都可以表示一个或多个的分别支持一个或多个输入/输出接口技术和通信接口技术的接口。操作系统、特定的设备软件应用或模块、或者其一部分可以被临时载入例如随机访问存储器(通常基于DRAM(直接随机访问存储器)技术实现以进行更快的操作)的易失性存储器150中。而且，在将所接收的通信信号永久地写入任何海量存储器或非易失性存储器140中的文件系统中之前，也可以将所接收的通信信号临时存储到易失性存储器150中，其中海量存储器优选地通过辅助I / O接口可拆卸地连接以存储数据。应当理解，上述组件代表在此以蜂窝电话的形式被具体化的传统移动设备10的典型组件。本发明不局限于这些特定的组件，所描述的这些组件的实现仅仅是出于说明和完整的目的。
[0065]移动设备10的一个示例性软件应用模块是提供PDA功能的个人信息管理器应用，其通常包括联系人管理器、日历、任务管理器等。这样的个人信息管理器由处理器100执行，可以访问移动设备10的组件，并可以与其它软件应用模块进行交互。例如，与语音通信软件应用的交互允许管理电话呼叫、语音邮件等，与数据通信软件应用的交互支持管理SMS (短消息服务),MMS (多媒体服务)、电子邮件通信以及其它数据传输。非易失性存储器140优选地提供文件系统，用以促进设备上数据项的永久存储，其中数据项包括多个日历条目、联系人等。例如通过蜂窝接口、短距离通信接口或者辅助I / O接口与网络进行数据通信的能力支持通过这样网络所进行的上传、下载和同步。
[0066]应用模块141到149表示设备功能或者软件应用，其被配置为由处理器100执行。在多数已知的移动设备中，单个处理器管理和控制移动设备的全部操作以及所有的设备功能和软件应用。这种概念可应用于现在的移动设备。增强型多媒体功能性的实现例如包括通过集成的或可拆卸连接的数字相机功能性实现的视频流应用的再现、数字图像的操作以及视频序列的捕获。所述实现还可以包括具有复杂图形和必要计算能力的游戏应用。处理计算能力需求的一种方式通过实现强大且通用的处理器核来解决提高计算能力的问题，这种方式过去被沿用。另一种提供计算能力的方法是实现两个或者更多独立的处理器核，这是本领域公知的方法学。本领域技术人员可以立刻理解多个独立处理器核的优点。通用处理器被设计用于执行多种不同任务，而没有将不同任务的预选进行专门化，而多处理器配置可以包括一个或更多通用处理器，以及一个或更多适于处理预定义任务集合的专门处理器。无论如何，在一个设备中，特别是在例如移动设备10的移动设备中，实现多个处理器传统上需要对组件进行完全且复杂的重新设计。
[0067]下面，本发明将提供这样的概念，其允许将附加的处理器核简单地集成到已有处理设备的实现中，从而省略代价高昂的完全且复杂的重新设计。该创造性概念将参考系统芯片(SoC)设计来描述。系统芯片(SoC)的概念是将处理设备的至少众多(或所有)组件集成到单个高集成芯片中。这样的系统芯片可以包含数字、模拟、混合信号，并经常包含射频功能，所有这些功能都在一个芯片上。典型的处理设备包括多个执行不同任务的集成电路。这些集成电路特别地可以包括微处理器、存储器、通用异步接收机/发射机(UART)、串行/并行端口、直接存储器访问(DMA)控制器等。通用异步接收机/发射机(UART)在数据的并行比特和串行比特之间进行转换。半导体技术近来的发展使超大规模集成电路(VLSI)所能支持的复杂性显著增长，这使其能够将众多系统组件集成到单个芯片中。参考图7，其中的一个或更多组件，例如控制器130和170、存储器组件150和140、以及一个或更多接口200、180和110可以与处理器100 —起集成到单个芯片中，最终形成系统芯片(SoC)。
[0068]而且，设备10配备有根据本发明的创造性操作的用于视频数据可伸缩编码的模块105和可伸缩解码的模块106。借助于CPU100，可以独立地使用所述模块105、106。然而，设备10适于分别执行视频数据编码或解码。所述视频数据可以借助于设备的通信模块来接收，或者它也可以存储在设备10内任何可想象的存储装置中。视频数据可以在设备10和通信网络的其它电子设备之间以比特流来传送。
[0069]根据本发明，如上所述，移动终端可以配备有服务器中的编码器或者配备有DMS客户端中的解码器。移动终端可以具有编码器和解码器二者。
[0070]本发明涵盖在每个FEC源块的开始处包括DMS RAP的不同变形。变形包括:
[0071]?整个SVG场景。
[0072].DIMS场景更新，其可以替换客户端上的整个DOM树。
[0073]?冗余RAP，其包括冗余SVG场景，具有对未来场景更新的可
[0074]能引用。客户端可以忽略这种冗余RAP，而无需重新同步。
[0075]尽管本发明是针对其一个或多个实施方式描述的，但本领域技术人员可以理解，在不背离本发明范围的前提下，本发明的形式及其细节可以进行上述的和各种其它的改变、省略或偏差。
【权利要求】
1.一种用于在多媒体流式传输中使用的方法，包括: 在多个帧中布置用于动态交互式多媒体场景(DMS)内容的媒体分组，每个帧至少包括媒体分组的源块以及至少一个前向纠错分组；以及 在每个源块的开始处插入用于所述DIMS内容的随机访问点，其中所述随机访问点是可伸缩矢量图形场景。
2.一种用于流式传输多媒体的服务器，其中用于动态交互式多媒体场景(DIMS)内容的媒体分组被布置在多个帧中，每个帧至少包括媒体分组的源块以及至少一个前向纠错分组，所述服务器包括: 生成模块，用于在每个源块的开始处插入用于所述DMS内容的随机访问点，其中所述随机访问点是可伸缩矢量图形场景。
3.—种适于接收多媒体比特流的客户端，所述比特流包括布置在帧中的用于动态交互式多媒体场景(DIMS)内容的已编码媒体分组，每个帧至少包括媒体分组的源块以及至少一个前向纠错分组；其中所述客户端包括前向纠错解码器；以及 至少一个媒体解码器，用于对用于所述DMS内容的已编码媒体分组的所述源块进行解码；以及 其中所述客户端适合于在每个源块的开始处接收用于所述DMS内容的随机访问点，其中所述随机访问点是可伸缩矢量图形场景。
4.如权利要求3的客户端，其中所述至少一个媒体解码器适于在所述前向纠错解码完成后立即开始解码所述源块。
5.一种接收多媒体比特流的方法，所述比特流包括布置在帧中的用于动态交互式多媒体场景(DIMS)内容的已编码媒体分组，每个帧至少包括媒体分组的源块以及至少一个前向纠错分组，所述方法包括: 在每个源块的开始处接收用于所述DIMS内容的随机访问点，其中所述随机访问点是可伸缩矢量图形场景；以及 对用于所述DMS内容的已编码媒体分组的所述源块进行解码。
6.如权利要求5的方法，还包括对已接收的帧进行前向纠错解码，其中对所述源块的解码适于在所述前向纠错解码完成后立即开始。
7.一种用于在多媒体流式传输中使用的装置，包括: 用于在多个帧中布置用于动态交互式多媒体场景(DIMS)内容的媒体分组的装置，每个帧至少包括媒体分组的源块以及至少一个前向纠错分组；以及 用于在每个源块的开始处插入用于所述DMS内容的随机访问点的装置，其中所述随机访问点是可伸缩矢量图形场景。
8.一种接收多媒体比特流的装置，所述比特流包括布置在帧中的用于动态交互式多媒体场景(DIMS)内容的已编码媒体分组，每个帧至少包括媒体分组的源块以及至少一个前向纠错分组，所述装置包括: 用于在每个源块的开始处接收用于所述DMS内容的随机访问点的装置，其中所述随机访问点是可伸缩矢量图形场景； 用于对用于所述DMS内容的已编码媒体分组的所述源块进行解码的装置；以及 用于前向纠错解码的装置。
【文档编号】H04N21/6437GK104010229SQ201410143400
【公开日】2014年8月27日 申请日期:2007年8月20日 优先权日:2006年8月22日
【发明者】R·维丹泰姆, V·塞特勒, S·奇特图里 申请人:诺基亚公司