用于在多媒体流式传输中组装前向纠错帧的方法和设备的制作方法

专利名称：用于在多媒体流式传输中组装前向纠错帧的方法和设备的制作方法
技术领域：
本申请总体上涉及用于已编码媒体分组群组的前向纠错帧的组 装，更具体地，涉及多媒体流式传输中的前向纠错帧。
背景技术：
多数基于分组的通信网络，特别是没有服务质量保证的互联网协 议(IP)网络，受到数量不定的分组丟失或者错误的影响。这些丟失 可能源自很多来源，例如路由器或者传输部分过载，或者导致分组删 除的分组中的位错误。应当理解，分组丢失是多数分组网络架构中的 常见操作要点，而不是网络失败。媒体传输，特别是压缩视频的传输， 极大地受到分组丢失的影响。
可以在媒体编码过程期间通过多种不同的手段来进 一 步避免由 媒体传输中的错误所导致的在媒体呈现中的恼人赝像。然而，在媒体 编码过程期间添加冗余位对于预编码的内容是不可行的，并且这通常
比使用前向纠错(FEC)的信道编码中的最优保护机制的效率要低。
前向纠错如下进行工作计算各个待保护的媒体分组中待保护位 上的冗余位数目，将这些位添加到FEC分组，并且传输媒体分组和 FEC分组二者。在接收机处，可以使用FEC分组来检查媒体分组的 完整性，并且重建可能丢失的媒体分组。由此，将媒体分组和保护这 些i某体分组的FEC分组称为FEC帧。图1中示出了 FEC帧的例子。 如图1所示，媒体GOP流300包括由边界315隔开的媒体GOP 310 和媒体GOP 320。 FEC结构500包括由边界515隔开的FEC帧510 和FEC帧520。除了々某体分组514之外，FEC帧510还包含FEC分 组512和两个填充分组516。同样，FEC帧520除了包含J 某体分组524 还包含FEC分组。这样，FEC帧510、 520 —般比媒体GOP长。因此，FEC帧没有与媒体GOP对准。
多数意在误差防护的FEC方案允许选择待保护的媒体分组的数 目，并且允许自适应地湘匕选FEC分组的数目，以选择FEC子系统的 延迟约束和保护长度。
上文意义中的基于分组的FEC需要接收机与FEC帧结构的同步， 以便利用FEC。换言之，在可以开始纠错之前，接收机必须緩存FEC 帧的所有媒体和FEC分组。
视频编码方案以及日益出现的一些音频编码方案，其例如使用所 谓的预测编码技术。这种技术分别根据先前的图像或者音频帧来预测 后面的视频图像或者音频帧的内容。下文中，将把视频图像和音频帧 统称为"图像"，以便将其与FEC帧区分开。通过使用预测编码技 术，压缩方案可能会非常有效，但是随着预测链变得更长，也变得更 加容易受到错误的影响。因此，不时地插入所谓的关键图像或者非预 测编码视频帧的等价项(此后将二者都称为关键图像)。该技术通过 使用非预测编码技术来重新建立预测链的完整性。但是这种情况也不 是很罕见关键图像比预测编码图像大5到20倍。每个已编码图像 例如可以对应于 一个待保护的J 某体分组。
遵循MPEG-2可视化的惯例，此后将以关键图像开始、随后是零 个或多个非关键图像的图像序列称为图像组(GOP)。在数字电视中， GOP通常包括不超过6个图像。然而，在流式传输应用中，常常将 GOP尺寸选择得更大。有些GOP在一个GOP中可以具有数百个图像， 以便利用预测编码图像的较好的编码效率。为此，"调谐"到此类序 列可能需要若干秒。
当FEC帧是大尺寸时(例如，包括数百个分组时)，可以将FEC 方案设计得更为高效。类似地，多数媒体编码方案在挑选较大的GOP 尺寸时效率提高，因为一个GOP仅包含一个单个关键图像，其在统 计上远大于GOP的其他图像。然而，大FEC帧和大GOP尺寸二者都 需要与其各自的结构同步。对于FEC帧而言，这意味着在接收时緩 存整个FEC帧，以及纠正任何可纠正的4晉误。对于J 某体GOP而言，这意味着解析和丢弃那些没有构成GOP开始(关键帧)的媒体分组。
在美国专利申请公开No. 2006/0107189 Al中记载为了减小解 码端的緩存延迟，FEC帧应当与媒体分组的群组对准。为此，编码器 应当能够针对FEC帧中所包含的已编码媒体分组的群组来确定完全 符合该FEC帧的已编码媒体分组的下一后续群组的数目，并且选择 与针对该FEC帧而如此确定的已编码々某体分组的一个或多个群组相 关联的所有已编码媒体分组。为了对准目的，可以通过向某些选定分 组添加预定的数据来使选定分组的尺寸相等。图2中示出了已对准的 FEC帧和媒体分组群组的例子。如图2所示，媒体GOP流400包括 由边界415隔开的媒体GOP 410和媒体GOP 420。 FEC结构600包 含由边界615隔开的FEC帧610和FEC帧620。尽管FEC帧610和 620还包含FEC分组和媒体分组，但是可以使其与GOP对准。
FEC可以应用于富媒体(rich media)内容。富媒体内容通常是指 图形上丰富并且包含包括图形、文本、视频和音频的组分(或者多个 媒体)并且优选地通过单个接口递送的内容。富媒体随着时间动态地 改变，并且可以对用户交互4故出响应。
对于可视地递送富内容以用于实时传输而言，特别是在3GPP中 的多媒体广播/多播服务(MBMS)和分组交换流媒体服务(PSSS) 架构中，富媒体内容的流式传输正在变得越发重要。PSS提供了用于 3G网络中基于互联网协议(IP)的(特别是通过点对点承载的)流 式应用的框架。MBMS流式传输服务促进了 3G移动环境中大众实时 内容向多个接收机的资源有效递送。并非使用不同的点对点(PtP) 承载将相同的内容递送至不同的移动台，而是使用单个点对多点
(PtM)承载将相同的内容递送至给定小区中的不同移动台。流式传 输的内容可以包括视频、音频、诸如可伸缩矢量图形(SVG)的XML
(可扩展标记语言)内容、时控文本以及其他支持的媒体。内容可以 预先记录或者根据实时馈送而生成。SVG允许三种类型的图形对象 矢量图形形状、图像以及文本。可以根据先前渲染(render)的对象 来聚合、变换以及组成图形对象。可以将SVG内容布置在群组中，使得可以对每个SVG内容独立于后续递送的群组而被处理和显示。 群组也称为场景。
直到最近，移动设备的应用是基于文本的，其交互性有限。然而， 随着更多的无线设备配备了彩色显示器和更为高级的图形渲染库，消 费者将要求来自其所有无线应用的富媒体体验。对于移动终端而言， 特别是在MBMS、 PSS以及多媒体流式传输(MMS )服务的领域中， 实时富媒体内容流式传输服务势在必行。富媒体应用(特别是在Web 服务领域中)包括基于XML的内容，诸如
SVGT1.2:用于以XML来描述二维图形的语言。SVG允许三种 类型的图形对象矢量图形形状(例如，包括直线和曲线的路径)、 多媒体(例如，光栅图像、视频、音频)以及文本。SVG绘图可以是 可交互的(使用DOM事件模型)和动态的。动画可以通过声明(例 如，通过在SVG内容中嵌入SVG动画元素)或者经由脚本来定义和 触发。通过使用访问SVG微文档对象才莫型(iiDOM)的补充脚本语 言，使得SVG的复杂应用成为可能，其中^DOM提供对所有元素、 属性和性质的完全访问。可以将事件句柄的丰富集指派给任何SVG 图形对象。由于其兼容性以及对其它Web标准(诸如，CDF)的影响， 可以通过XHTML (可扩展超文本标记语言)实现类似于脚本的特征， 并在相同Web页面内同时实现SVG元素。
SMIL 2.0:同步多媒体整合语言(SMIL)支持交互式视听呈现的 简单创作。SMIL通常用于对流式传输的音频和视频与图像、文本或 者任何其他媒体类型进行整合的"富媒体"/多媒体呈现。
CDF:复合文档格式(CDF)工作组正在建议将XHTML、 SVG、 MathML和SMIL之类的独立组件语言(例如，来自于独立词汇表的 基于XML的语言、元素和属性)合并起来，重点在用户接口标记上。 在合并用户接口标记时，必须解决单个标记规范没有涉及的特定问 题，诸如跨标记的事件传播、渲染或者用户交互模型与合并文档的合 并。复合文档格式工作组将解决这类问题。该工作被划分为阶段和两 种技术方案通过引用结合以及通过包含进行合并。在当前的3GPPDIMS (动态交互式多々某体场景)活动中，DIMS 内容的流式传输已被认为是动态富媒体服务用于支持客户端处内容 的实时、连续实现的重要组件。DIMS内容流通常包括有效负载是SVG 场景的一系列RTP (实时传输协议)分组、SVG场景更新以及已编 码的视频和音频分组。这些RTP分组由UDP (用户数据才艮协议)/IP 报头封装，并通过3G网络传输。由于无线链路的传输错误或者3G 网络的中间路由器处的緩冲区溢出，分组可能丢失。
在MBMS和PSS框架中，3GPP SA4在传输层及以上定义了 一些 与媒体无关的分组丟失恢复机制。在MBMS中，应用层FEC用于针 对流式传输服务和下载服务二者的分组丢失恢复。在PSS中，RTP 层重传用于分组丢失恢复。针对单播下载递送，TCP(传输控制协议) 负责内容的可靠递送。
对于基于富媒体的MBMS流式传输服务而言，用户很可能在流 式传输会话期间的任意时刻调谐至服务。客户端在其调谐至服务时立 即开始接收分组，并且可能必须等待一段特定时间以开始对所接收富 媒体内容的解码/渲染。这段时间称为"调谐延迟"。为了良好的用户 体验，期望客户端尽可能从其接收到内容时就开始渲染内容。由此， DIMS的一个需求是允许DIMS客户端高效、快速地调谐到广播/ 多播流式传输服务。可以通过媒体层解决方案、传输层解决方案或者 二者的结合来实现快速调谐。
当通过3G无线网络的广播/多播信道来流式传输富媒体(DIMS ) 内容时，通过使用应用层前向纠错(AL-FEC)机制来保护内容不发 生分组丟失是重要的。AL-FEC算法通常应用于媒体RTP分组的源块， 以生成冗余FEC RTP分组。如上文所述以及在图1和图2中所示， 媒体和相关联的FEC分组统称为"FEC帧"。FEC帧通过有损网络 传输。如果接收机从该FEC帧接收到总量足够的媒体和FEC RTP分 组，则该接收机能够恢复任何丢失的媒体RTP分组。目前，上述源 块的长度是可配置的。如果使用大源块，则AL-FEC更为有效。另一 方面，调谐延迟直接与源块的长度成比例。在涉及SVG、音频和视频媒体的典型富媒体流式传输会话中，在
发送机侧，将每个^某体的源RTP分组捆绑在一起以形成源块，以用 于FEC保护。使用FEC编码算法从该源块生成一个或多个FECRTP 分组。如图3所示，将不同媒体的源RTP分组与FEC RTP分组一起 作为分离的RTP流来传输。如图3所示，DIMS RTP流例如包含多个 FEC帧61(h、 6102和6103。这些FEC帧可以包含用于不同DIMS媒 体或者相同媒体的源块。FEC帧61(h包含源RTP分组的源块61+和 FEC RTP分组612"在接收机侧，客户端緩存接收到的RTP分组(源 和FEC 二者)以足够的持续时间，并且尝试重建上述源块。如果任 何源RTP分组丢失，则其尝试通过应用FEC解码算法来恢复它们。
FEC源块的长度是确定调谐延迟的关键因素。客户端必须緩存整 个FEC源块以一段持续时间。如果客户端在当前FEC源块的中间开 始接收数据，则其可能必须丟弃来自当前源块的数据，并且等待从始 至终接收下一源块。因此，平均地，其必须等待FEC源块持续时间 的1.5倍。
在FEC解码之后，将分组发送给接收机处的各种媒体解码器。媒 体解码器可能无法从压缩媒体比特流中的任意点进行解码。如果FEC 帧和媒体GOP没有对准，则平均地，解码器可能必须丢弃当前媒体 GOP数据的一半。
调谐延迟4.5气FEC源块持续时间)+0.5*(媒体GOP持续时间)(1) 其中FEC源块持续时间是FEC帧的緩冲延迟(在等时网络中，其与 FEC帧的尺寸成比例)，而媒体GOP持续时间是媒体GOP的緩冲延 迟。在最差情况中，必须挑选緩冲区尺寸使得完整的FEC帧和完整 的GOP分别符合FEC解码器的緩沖区和媒体解码器的緩沖区。

发明内容
本发明提供了 一种方法和设备，其中在用于基于多媒体广播/多播 的流式传输服务内容的每个前向纠错(FEC)源块的开始处插入随机 访问点。这样，媒体解码器可以在FEC解码完成时立即开始解码，并且等式(1)中的第二项可以被消除，由此降低调谐延迟。多媒体 广播/多播流服务包括动态交互式多媒体场景内容，其中不同媒体的源
RTP分组与FEC RTP分组一起作为分离的RTP流来传输。包括有随 机访问点则有助于在FEC解码之后立即渲染动态交互式多媒体场景 内容，由此降低调谐延迟。
由此，本发明的第 一方面是一种用于在多媒体流式传输中使用的 方法，其中，分组流被提供给能够解码多个媒体的媒体分组的多媒体 客户端，并且每个媒体的已编码媒体分组被布置在帧中，每个帧至少 具有跟随在至少一个前向纠错分组之后的源块。该方法包括在至少 一些帧中插入随;f几访问点，使得随4凡访问点位于源块和前向纠4普分组 之间。
本发明的第二方面是用于在多媒体流式传输中的服务器中使用 的模块，其中，从服务器提供分组流给能够解码多个媒体的媒体分组 的多媒体客户端，并且每个媒体的已编码媒体分组布置在帧中，每个 帧至少具有跟随在至少 一个前向纠错分组之后的源块。该模块适于在 至少 一 些帧中插入随机访问点，使得随机访问点位于源块和前向纠错
分组之间。
本发明的第三方面是通信系统中的服务器，该通信系统包括能够 解码多个媒体的媒体分组的一个或多个多媒体客户端，并且每个媒体 的已编码媒体分组被布置在帧中，每个帧至少具有跟随在至少 一个前 向纠错分组之后的源块。服务器包括生成模块，用于在至少一些帧中 插入随机访问点，使得随机访问点位于源块和前向纠错分组之间。
本发明的第四方面是适于接收多媒体比特流的多媒体客户端，该 比特流包括布置在帧中的多个已编码媒体分组，每个帧至少具有跟随 在至少一个前向纠错分组之后的源块，并且其中，在源块和前向纠错 分组之间插入至少一个随机访问点。该客户端包括用于前向纠错解 码的第 一解码器，以及用于在前向纠错解码之后根据随机访问点对已 编码媒体分组的源块进行解码的至少 一 个媒体解码器。
本发明的第五方面是一种软件应用产品，包括存储介质，其具有用于在多媒体流式传输中使用的软件应用，其中，分组流被提供给能 够解码多个媒体的媒体分组的多媒体客户端，并且每个媒体的已编码 媒体分组被布置在帧中，每个帧至少具有跟随在至少 一个前向纠错分 组之后的源块。该软件应用包括编程代码，用于在至少一些帧中插入 随机访问点，使得随机访问点位于源块和前向纠错分组之间。
本发明的第六方面是一种软件应用产品，包括存储介质，其具有 用于在多媒体客户端中使用的软件应用，该客户端适于接收多媒体比 特流，该比特流包括布置在帧中的多个已编码媒体分组，每个帧至少 具有跟随在至少一个前向纠错分组之后的源块，并且其中，在源块和
前向纠错分组之间插入至少一个随机访问点。该软件应用包括用于
前向纠错解码的编程代码，以及用于在前向纠错解码之后根据随机访 问点对已编码媒体分组的源块进行解码的编程代码。
在结合图1-图7阅读说明书之后，本发明将变得易见。


图1是示出了多个GOP以及未与GOP对准的相关联FEC帧的时
序图2是示出了多个GOP以及与GOP对准的相关联FEC帧的时序
图3示出了多媒体流式传输中的FEC帧；
图4示出了根据本发明一个实施方式的在多媒体流式传输的每个 FEC源块的开始插入随机访问点；
图5a示出了根据本发明一个实施方式的用于DIMS的FEC帧结
构；
图5b示出了根据本发明另一实施方式的用于DIMS的FEC帧结
构；
图6是具有服务器和客户端的通信系统的示意图，其中在FEC帧 中插入了随机访问点；
图7是根据本发明的具有至少 一 个多媒体流式传输编码器和解码器的电子设备的框图。
具体实施例方式
在富媒体内容的流式传输中，流式传输的内容可以包括视频、音
频、诸如SVG的XML内容、时控文本和其它支持媒体。SVG流通 常包括场景和一系列场景更新。可以将SVG场景视为FEC解码之后 接收机处的SVG解码器中解码的开始点。
根据本发明，插入随机访问点是有益的，其中在FEC编码之后， 在接收机处的媒体解码器处，有可能在该随机访问点实现解码的开始 点。除了在用于XML流(例如，SVG)的每个FEC源块的开始处插 入随机访问点之外，在用于视频流的每个FEC源块的开始处以及用 于音频的每个FEC源块的开始处插入随机访问点是有益的。当前 MBMSFEC框架将媒体绑定用于FEC保护目的，也即，同一FEC帧 包含所有类型的媒体RTP分组(例如，SVG、音频、视频)。在这 种布置下，在FEC帧的开始处具有三种媒体的随机访问点(以任何 顺序)是有益的。随机访问点的这种包含有助于在FEC解码之后立 即渲染DIMS内容。图4示出了在FEC帧的每个源块的开始处插入 随才几访问点。如图4所示，DIMS RTP流例如包括FEC帧710!、 7102 和7103。这些FEC帧可以包含用于不同DIMS媒体(诸如，视频、 音频和时控文本)或者用于相同媒体的源块。FEC帧71(^包含包括 源RTP分组的源块714!、随机访问点718!以及FEC RTP分组712" FEC帧7102包括源RTP分组的源块7142、随机访问点718s以及FEC RTP分组7122。 FEC帧7103包括源RTP分组的源块7143、随机访问 点7183以及FEC RTP分组7123。
应当注意，FEC帧可以具有不止一个FEC分组，使得媒体比特 流对于分组丟失更为鲁棒。此外，尽管通常在一个或多个FEC分组 之后具有一个随机访问点(如图5a所示)，但是可以在一个FEC帧 中具有不止 一 个随机访问点，以便信号通知场景改变(如图5b所示)。 FEC分组通常在FEC帧的末端，而RAP分组在FEC帧的开始处。FEC帧中间的随机访问点有助于快速调谐。在FEC解码失败的情况下，
这也是有用的。在这种情况下，第一随机访问点错失，但是同一FEC 帧中的后续随^/L访问点可以用于々某体解码。
存在多个基于流式传输的用例，其为了调谐目的而组装FEC块中 的RAP。其中的一些是富媒体服务的类型，包括
1) 交互式移动电视服务该服务被理解为全部在终端用户界面 中，与电视和广播频道一起，提供富媒体内容的确定性渲染和行为的 能力，其中富媒体内容包括音频-视频内容、文本、图像、基于XML 的内容(例如，SVG)。该服务在单个应用或者服务中提供方便的通 过内容的导航，并且允许本地或者远程的同步交互，例如投票和个性 化(例如，相关的菜单或子菜单，根据终端用户简档或者服务订购的 内容和广告)。
该用例在与iTV移动服务中可用的4个服务和子服务相对应的4 个步骤中描述
*马赛克菜单电视频道全景。
*电子节目表和相关iTV服务的触发。
iTV服务。
*个性化菜单"体育新闻"。
2) 在线企业数据馈送该服务包括证券报价机，其提供在线报 价、实时每日图表与技术指示符、新闻监控、天气提示、图表、商业 更新等的流式传输。
3) 在线聊天在线聊天服务可以包含在web相才几或者一见频信道 或者富媒体博客服务中。终端用户可以进行注册，保存其称呼以及交 换消息。消息与终端用户提供的富媒体数据动态地出现在在线聊天服 务中。聊天服务可以是私有的，或者同时在一个或多个信道中是公共 的。来自其他用户的新消息动态地提示给终端用户。可以在不重新载 入整个页面的情况下进行服务内消息的动态更新。
4) 卡拉OK:该服务显示伴随有歌曲的语音的音乐电视频道或者 视频片段目录，其中在歌词的文本字符上具有类似于流动的动画(例如，字体颜色的平滑过渡，文字滚动，等等)。终端用户可以通过选 择交互式按钮来下载他选择的歌曲以及完整的动画。
系统的示意图。如图6所示，该通信系统能够提供多媒体/多播服务。 由此，通信系统具有至少一个服务器和一个客户端，以用于多媒体流 式传输。特别地，服务器适于通过无线网络(例如，因特网)的广播
/多播信道来提供富媒体(DIMS)内容。特别地，服务器适于获取、 接收和/或存储DIMS内容。例如，DIMS内容包括场景和场景更新。 DIMS内容可以传递给FSC帧生成器，其适于插入在FEC帧中插入 的随才几访问点。更具体地，在用于DIMS内容的基于MBMS的流式 传输服务的源块的开始处插入随机访问点。有益地，FEC生成器适于 提供与i某体DIMS分组对准的FEC帧，其包括随机访问点。通过广 播/多播信道在比特流中传输具有已校准的FEC帧的DIMS分组，从 而允许一个或多个DIMS客户端接收和解码比特流。FEC生成器可以 具有运行FEC编码软件的处理组件，其中FEC编码软件具有用于对 准FEC帧以及随机访问点插入的编程代码。
一般地，每个DIMS客户端具有FEC解码器以用于纠错目的。FEC 解码器可以具有运行FEC解码软件的处理组件。在FEC解码之后， 将DIMS内容传递给多个媒体解码器。将来自每个媒体解码器的已解 码内容提供给输出模块。例如，如果媒体解码器是视频解码器，则将 已解码内容提供给屏幕以便显示。如图6所示，其中示出了三个不同 的媒体解码以及三个相应的输出模块。例如，输出模块之一可以是渲 染器，其适于SVG绘图。例如，SVG绘图可以是交互式的和动态的， 并且可以在动画中使用。
现在参考图7,图7示出了具有图6所示的服务器模块和DIMS 客户端模块中的至少 一个的电子设备。根据本发明的一种实施方式， 该电子设备是移动终端。图7中所示的移动设备10支持蜂窝数据和 语音通信。应当注意，本发明不局限于这种具体实施方式
，这种具体 实施方式只代表多种不同实施方式中的一种。移动i殳备10包括控制移动设备操作的(主)微处理器或微控制器100以及与微处理器相关
联的组件。这些组件包括与显示模块135连接的显示控制器130,非 易失性存储器140,例如随机访问存储器(RAM)的易失性存储器150, 与麦克风161、扬声器162和/或耳机163连接的音频输入/输出(I/O) 接口 160,与键区175或键盘连接的键区控制器170,任意辅助输入/ 输出(I/O)接口 200，以及短程通信接口 180。这样的设备通常还包 括其它设备子系统，这些子系统总体上示为190。
移动设备10可以在语音网络上进行通信，和/或同样可以在数据 网络上进行通信，数据网络例如是任何公共陆地移动网络(PLMN)， 其形式例如可以是数字蜂窝网络，特别是GSM (全球移动通信系统) 或UMTS(通用移动通信系统)。语音和/或数据通信通常通过空中接 口操作，空中接口也即与其它组件(参见上文)协作的连接到基站(BS ) 或节点B (未示出)的蜂窝通信接口子系统，其中基站(BS)或节点 B是蜂窝网络基础设施的无线接入网络(RAN)的一部分。
在图7中示范性描述的蜂窝通信接口子系统包括蜂窝接口 110、 数字信号处理器(DSP) 120、接收机(RX) 121、发射机(TX) 122、 以及一个或多个本地振荡器(LO) 123，并且蜂窝通信接口子系统支 持与一个或更多公共陆地移动网络(PLMN)的通信。数字信号处理 器(DSP) 120将通信信号124发送给发射机(TX) 122,并从接收 机(RX) 121接收通信信号125。除了处理通信信号之外，数字信号 处理器120还向接收机提供控制信号126和向发射机提供控制信号 127。例如，除了分别对待发射的信号进行调制和对所接收的信号进 行解调之外，应用于接收机(RX) 121和发射机(TX) 122中的通信 信号上的增益水平也可以通过数字信号处理器(DSP) 120中所实施 的自动增益控制算法进行自适应控制。为了提供对收发机121/122的 更复杂的控制，也可以在数字信号处理器(DSP) 120中实施其它收 发机控制算法。
在移动设备10通过PLMN的通信在单一频率或者一组相隔密集 的频率上发生的情况下，单个本地振荡器(LO) 123则可以与发射机(TX) 122和接收机(RX) 123结合使用。可选地，如果语音/数据 通信所使用的频率不同或者发射和接收所使用的频率不同，则可以使 用多个本地振荡器以产生多个相应的频率。
尽管图7中描述的移动设备IO与天线129或分集天线系统(未 示出)结合使用，但是移动设备10也可以与具有用于信号接收和发 射的单个天线结构结合使用。包括语音和数据信息在内的信息通过蜂 窝接口 110与数字信号处理器(DSP) 120之间的数据链路在两者之 间进行双向通信。蜂窝接口 110的详细设计，例如频带、组件选择、 功率水平等，将取决于移动设备IO意图在其中操作的无线网络。
在任何所需的网络注册或激活过程之后，移动设备继而可以在无 线网络上发送和接收包括语音和数据信号在内的通信信号，其中注册 或激活过程可能涉及在蜂窝网络中注册所需的用户标识模块(SIM) 210。天线129从无线网络接收的信号被路由至接收机121，接收机 121提供诸如信号放大、频率下转换、滤波、信道选择以及模数转换 之类的操作。接收信号的模数转换使得诸如数字解调和解码之类较为 复杂的通信功能可以使用数字信号处理器(DSP) 120来执行。通过 类似的方式，将要被发射给网络的信号被数字信号处理器(DSP) 120 处理，例如包括调制和编码，并继而纟皮提供给发射4几122以用于数才莫 转换、频率上转换、滤波、放大以及通过天线129发射给无线网络。
微处理器/微控制器(//C) 110 (还可以指定为设备平台微处理 器)管理移动设备IO的功能。处理器110所使用的操作系统软件149 优选地存储在例如非易失性存储器140之类的永久存储器中，其中非 易失性存储器140例如可以被实现为闪速存储器、电池供电的RAM、 任何其它非易失性存储技术或者其任意组合。除了控制移动设备10 的低层功能和(图形)基本用户接口功能的操作系统149之外，非易 失性存储器140还包括多个高层软件应用程序或者模块，例如语音通 信软件应用142、数据通信软件应用141、组织器模块(未示出)或 者任何其它类型的软件模块(未示出)。这些模块由处理器100执行 并提供了移动设备10的用户与移动设备IO之间的高级接口 。该接口通常包括由显示控制器130控制的显示器135所提供的图形组件和通 过键区控制器170连接到处理器100上的键区175、辅助输入/输出
(I/O )接口 200和/或短程(SR)通信接口 180所提供的输入/输出组 件。辅助1/0接口 200特别地包括USB (通用串行总线)接口、串行 接口、 MMC (多媒体卡)接口以及相关的接口技术/标准，并包括任 何其它标准化的或专有的数据通信总线技术，而短距离通信接口射频
(RF)低功率接口特别地包括WLAN (无线局域网)和蓝牙通信技 术或者IRDA (红外数据访问)接口。这里所称的RF低功率接口技 术应一皮特别地理解为包括IEEE 801.xx标准，忮术，其说明可以/人国际 电子电气工程师协会处获得。而且，辅助1/0接口 200和短程通信接 口 180的每一个都可以表示一个或多个的分别支持一个或多个输入/ 输出接口技术和通信接口技术的接口。操作系统、特定的设备软件应
用或模块、或者其一部分可以被临时载入例如随机访问存储器(通常 基于DRAM (直接随机访问存储器)技术实现以进行更快的操作)的 易失性存储器150中。而且，在将所接收的通信信号永久地写入任何 海量存储器或非易失性存储器140中的文件系统中之前，也可以将所 接收的通信信号临时存储到易失性存储器150中，其中海量存储器优 选地通过辅助1/0接口可拆卸地连接以存储数据。应当理解，上述组 件代表在此以蜂窝电话的形式被具体化的传统移动设备10的典型组 件。本发明不局限于这些特定的组件，所描述的这些组件的实现仅仅 是出于说明和完整的目的。
移动设备10的 一个示例性软件应用模块是提供PDA功能的个人 信息管理器应用，其通常包括联系人管理器、日历、任务管理器等。 这样的个人信息管理器由处理器100执行，可以访问移动设备10的 组件，并可以与其它软件应用模块进行交互。例如，与语音通信软件 应用的交互允许管理电话呼叫、语音邮件等，与数据通信软件应用的 交互支持管理SMS (短消息服务)、MMS (多媒体服务)、电子邮 件通信以及其它数据传输。非易失性存储器140优选地提供文件系统， 用以促进设备上数据项的永久存储，其中数据项包括多个日历条目、联系人等。例如通过蜂窝接口、短距离通信接口或者辅助1/0接口与 网络进行数据通信的能力支持通过这样网络所进行的上传、下载和同步。
应用模块141到149表示设备功能或者软件应用，其被配置为由 处理器100执行。在多数已知的移动设备中，单个处理器管理和控制 移动设备的全部操作以及所有的设备功能和软件应用。这种概念可应 用于现在的移动设备。增强型多媒体功能性的实现例如包括通过集成 的或可拆卸连接的数字相机功能性实现的视频流应用的再现、数字图 像的操作以及视频序列的捕获。所述实现还可以包括具有复杂图形和 必要计算能力的游戏应用。处理计算能力需求的一种方式通过实现强
大且通用的处理器核来解决提高计算能力的问题，这种方式过去被沿 用。另一种提供计算能力的方法是实现两个或者更多独立的处理器 核，这是本领域公知的方法学。本领域技术人员可以立刻理解多个独 立处理器核的优点。通用处理器被设计用于执行多种不同任务，而没 有将不同任务的预选进行专门化，而多处理器配置可以包括一个或更 多通用处理器，以及一个或更多适于处理预定义任务集合的专门处理 器。无论如何，在一个设备中，特别是在例如移动设备10的移动设 备中，实现多个处理器传统上需要对组件进行完全且复杂的重新设 计。
下面，本发明将提供这样的概念，其允许将附加的处理器核简单 地集成到已有处理设备的实现中，从而省略代价高昂的完全且复杂的 重新设计。该创造性概念将参考系统芯片(SoC)设计来描述。系统 芯片(SoC)的概念是将处理设备的至少众多(或所有)组件集成到 单个高集成芯片中。这样的系统芯片可以包含数字、模拟、混合信号， 并经常包含射频功能，所有这些功能都在一个芯片上。典型的处理设 备包括多个执行不同任务的集成电路。这些集成电路特别地可以包括 微处理器、存储器、通用异步接收机/发射机(UART)、串行/并行端 口、直接存储器访问(DMA)控制器等。通用异步接收机/发射机 (UART)在数据的并行比特和串行比特之间进行转换。半导体技术近来的发展使超大规模集成电路(VLSI)所能支持的复杂性显著增长，
这使其能够将众多系统组件集成到单个芯片中。参考图7，其中的一 个或更多组件，例如控制器130和170、存々者器组件150和140、以 及一个或更多接口 200、 180和110可以与处理器100 —起集成到单 个芯片中，最终形成系统芯片(SoC)。
而且，设备10配备有根据本发明的创造性操作的用于视频数据 可伸缩编码的模块105和可伸缩解码的模块106。借助于CPU 100, 可以独立地使用所述模块105、 106。然而，设备10适于分别执行视 频数据编码或解码。所述视频数据可以借助于设备的通信模块来接 收，或者它也可以存储在设备10内任何可想象的存储装置中。视频 数据可以在设备IO和通信网络的其它电子设备之间以比特流来传送。
根据本发明，如上所述，移动终端可以配备有服务器中的编码器 或者配备有DIMS客户端中的解码器。移动终端可以具有编码器和解 码器二者。
本发明涵盖在每个FEC源块的开始处包括DIMS RAP的不同变 形。变形包括
*整个SVG场景。
* DIMS场景更新，其可以替换客户端上的整个DOM树。 *冗余RAP,其包括冗余SVG场景，具有对未来场景更新的可 能引用。客户端可以忽略这种冗余RAP,而无需重新同步。 尽管本发明是针对其一个或多个实施方式描述的，但本领域技术
人员可以理解，在不背离本发明范围的前提下，本发明的形式及其细
节可以进行上述的和各种其它的改变、省略或偏差。
权利要求
1. 一种用于在多媒体流式传输中使用的方法，其中分组流被提供给能够解码多个媒体的媒体分组的多媒体客户端，并且每个媒体的已编码媒体分组布置在帧中，每个帧至少具有跟随在至少一个前向纠错分组之后的媒体分组的源块，所述方法的特征在于在至少一些所述帧中插入随机访问点，使得所述随机访问点位于所述源块和所述前向纠错分组之间。
2. —种用于在多媒体流式传输中的服务器中使用的模块，其中， 分组流从所述服务器提供给能够解码多个媒体的媒体分组的多媒体 客户端，并且每个媒体的已编码媒体分组布置在帧中，每个帧至少具 有跟随在至少 一个前向纠错分组之后的媒体分组的源块，所述模块的 特征在于处理器，用于在至少一些所述帧中插入随机访问点，使得所述随 才几访问点位于所述源块和所述前向纠错分组之间。
3. —种通信系统中的服务器，所述通信系统包括能够解码多个媒 体的媒体分组的 一个或多个多媒体客户端，并且每个媒体的已编码媒 体分组被布置在帧中，每个帧至少具有跟随在至少一个前向纠错分组 之后的媒体分组的源块，所述服务器的特征在于生成模块，用于在至少一些所述帧中插入随机访问点，使得所述 随机访问点位于所述源块和所述前向纠错分组之间。
4. 一种适于接收多媒体比特流的多媒体客户端，所述比特流包括 布置在帧中的多个已编码媒体分组，每个帧至少具有跟随在至少 一 个 前向纠错分组之后的媒体分组的源块，并且其中，在源块和前向纠错 分组之间插入了至少 一个随机访问点，所述客户端的特征在于第一解码器，用于前向纠错解码；以及至少一个媒体解码器，用于在所述前向纠错解码之后，根据所述 随机访问点对所述已编码媒体分组的源块进行解码。
5. —种在计算机可读存储介质中实现的软件应用产品，具有用于在多媒体流式传输中使用的软件应用，其中，分组流被提供给能够解 码多个媒体的媒体分组的多媒体客户端，并且每个媒体的已编码媒体 分组被布置在帧中，每个帧至少具有跟随在至少一个前向纠错分组之后的媒体分组的源块，所述软件应用的特征在于编程代码，用于在至少一些帧中插入随机访问点，使得随机访问 点位于所述源块和所述前向纠错分组之间。
6. —种在计算机可读存储介质中实现的软件应用产品，具有用于 在多媒体客户端中使用的软件应用，所述客户端适于接收多媒体比特 流，所述比特流包括布置在帧中的多个已编码媒体分组，每个帧至少 具有跟随在至少 一个前向纠错分组之后的媒体分组的源块，并且其 中，在所述源块和所述前向纠4晉分组之间插入了至少 一个随才几访问 点，所述软件应用的特征在于用于前向纠错解码的编程代码，以及用于在所述前向纠错解码之 后根据所述随机访问点对已编码媒体分组的所述源块进行解码的编 程代码。
7. —种通信系统，包括 根据权利要求3所述的服务器；以及 一个或多个多媒体客户端，每个客户端包括 第一解码器，用于前向纠错解码；以及至少一个媒体解码器，用于在所述前向纠错解码之后，根据随机 访问点对已编码々某体分组的源块进行解码。
全文摘要
在具有包含媒体分组的源块的多个FEC帧的RTP流中，在源块之前插入随机访问点，从而允许媒体解码器在完成FEC解码之后立即对媒体分组进行解码。具体地，媒体分组包含用于基于多媒体广播/多播的流式服务内容的前向纠错(FEC)源块。由于多媒体广播/多播流式服务包括动态交互式多媒体场景内容，其中不同媒体的源RTP分组与FEC RTP分组一起作为分离的RTP流而传输，因此包含随机访问点将促进在FEC解码之后立即渲染动态交互式多媒体场景内容，由此降低调谐延迟。
文档编号H04N7/66GK101536532SQ200780034939
公开日2009年9月16日 申请日期2007年8月20日 优先权日2006年8月22日
发明者R·维丹泰姆, S·奇特图里, V·塞特勒 申请人:诺基亚公司