管理媒体流的并发流式传输的制作方法

文档序号:11532510阅读:213来源:国知局
管理媒体流的并发流式传输的制造方法与工艺

本发明涉及用于管理媒体流的并发流式传输的系统和方法。本发明进一步涉及用于供所述系统和方法使用的流式传输客户端,以及用于由流式传输客户端使用的清单(manifest)。本发明进一步涉及包括用于使处理器系统执行所述方法的指令的计算机程序产品。



背景技术:

诸如数字相机和移动电话之类的记录设备现今无所不在。相应地,诸如演出、音乐会、比赛等的事件可能被多个记录设备同时记录,从而获得相同事件的多个记录。这样的多个记录可以以各种方式不同。例如,记录可以从不同观看位置示出事件。另一示例是记录的类型可以不同,例如为视频记录、立体视频记录、音频记录等。记录还可以在质量方面不同。例如,记录可以例如通过具有到事件的(不)受约束的观看角度或者(不)适合的距离而在内容质量方面不同。记录还可以例如通过源于具有不同技术能力的记录设备、利用不同比特率进行编码等而在记录质量方面不同。

可以借助于流式传输而使事件的不同记录可获得。在这样的情况下,不同记录可以由多个媒体流表示,其中可从相应的多个流式传输源访问所述多个媒体流。媒体流的示例包括视频流(诸如相机记录的流)、音频流(诸如麦克风记录的流)以及包括不同类型的媒体流的多媒体流。例如,当使用能够访问所述多个媒体流的流式传输客户端时,消费者可以手动地选择媒体流,例如用以切换相机视图。

事件的多个媒体流可以并发地流式传输。例如,可以将第一媒体流流式传输到第一流式传输客户端,或者到流式传输客户端的第一组,并且可以将第二媒体流并发地流式传输到第二流式传输客户端,或者到流式传输客户端的第二组。此处,术语“并发流式传输”指的是流式传输在时间上重叠或重合。

可以通过具有资源限制的资源使得能实现并发流式传输。例如,多个媒体流可以穿过带宽受限的网络链路。不利地,资源限制可能影响并发流式传输,因为其可能引起流式传输质量方面的降级。例如,媒体流中的一个或多个的流式传输可能中断,或者可能根本没有开始。另一示例是:在使用可伸缩视频编码对媒体流进行编码的情况下,媒体流的流式传输可能恢复到最低比特率。

用于说明上文的具体示例可以是大型实况事件,诸如重大运动比赛或音乐节。这样的事件的参观者可以使用其移动设备以从其视角来记录事件,并且可能想要与其朋友和家人或者与广大公众分享其经历。相反地,远离事件的用户可能想要观看其朋友对事件的记录,从而分享其经历。然而,给这样的事件的参观者提供用于其移动设备的良好连通性可能是有挑战性的,因为蜂窝网络和本地wifi网络可能变得过载。照此,并发地流式传输在事件处记录的所有媒体流也许是不可能的。



技术实现要素:

获得用于管理媒体流的并发流式传输的系统或方法将是有利的,所述系统或方法较好地解决资源限制。

本发明的第一方面提供了用于管理媒体流的并发流式传输的系统和方法,媒体流至少包括第一媒体流和第二媒体流,第一媒体流和第二媒体流表示事件的不同记录,通过具有资源限制的资源使得能实现媒体流的并发流式传输。

系统可以包括:

-输入接口,用于获得限制数据,所述限制数据指示至少以下的并发流式传输超过资源限制:

i)向第一流式传输客户端流式传输的第一媒体流,以及

ii)向第二流式传输客户端流式传输的第二媒体流;

-选择子系统,用于基于限制数据而生成选择数据,所述选择数据表示对用于在向第二流式传输客户端的流式传输中替换第二媒体流的第一媒体流的选择;以及

-输出接口,用于输出选择数据以用于实现在向第二流式传输客户端的流式传输中由第一媒体流对第二媒体流的替换。

方法可以包括:

-获得限制数据,所述限制数据指示至少以下的并发流式传输超过资源限制:

i)向第一流式传输客户端流式传输的第一媒体流,以及

ii)向第二流式传输客户端流式传输的第二媒体流;

-基于限制数据而生成选择数据,所述选择数据表示对用于在向第二流式传输客户端的流式传输中替换第二媒体流的第一媒体流的选择;以及

-输出选择数据,用于实现在向第二流式传输客户端的流式传输中由第一媒体流对第二媒体流的替换。

本发明的另一方面提供了一种计算机程序产品,其包括用于使处理系统执行所述方法的指令。

在从属权利要求中限定了实施例。

以上方面涉及至少包括第一媒体流和第二媒体流的媒体流的并发流式传输。媒体流可以从不同流式传输源获得,而且还可以从单个流式传输源获得,而被流式传输给不同的流式传输客户端。要注意,尽管这样的不同的流式传输客户端典型地可以由不同设备表示,但是不同的流式传输客户端还可以例如通过是软件客户端、软件客户端的不同实例或者每个表示客户端的不同软件线程而包括在单个设备中。媒体流可以提供相同事件的替代记录。流式传输可以是实况的,从而与事件本身重合。然而,媒体流还可以表示事件的先前记录。

可以通过资源使得能实现媒体流的并发流式传输。资源可能具有影响媒体流的并发流式传输的资源限制。例如,资源可能是具有带宽限制的媒体分发网络的网段。另一示例是资源可能是用于作为流式传输的部分对媒体流进行转码的转码器,其中转码器具有处理限制。又一示例是资源限制可能存在于媒体流的流式传输之前(例如,上游),诸如在通过流式传输源从计算机可读介质读出媒体流中。将领会,在媒体流式传输中可同样地设想各种其他类型的资源和资源限制。

可以获得限制数据,所述限制数据指示至少以下的并发流式传输超过资源限制:向第一流式传输客户端流式传输的第一媒体流,以及向第二流式传输客户端流式传输的第二媒体流。照此,媒体流的并发流式传输可能例如通过第一媒体流和/或第二媒体流的流式传输中断或者根本不进行流式传输而在质量方面降级。限制数据可以采取各种形式。例如,限制数据可以通过在达到资源限制时或者迫近地在达到资源限制之前来自资源本身的直接信号来表示。具体示例是网段中的节点可以在达到其最大带宽时发信号。另一具体示例是转码器可以在达到其最大利用时发信号。然而,限制数据还可以仅指示特定并发流式传输超过资源限制,因为在媒体流的比特率对系统已知或者已经使系统知道的情况下,其例如可以标识最大带宽或归因于其他网络业务的最大可用带宽。照此,限制数据可以表示被认为由媒体流的并发流式传输超过的资源限制,但是其当前可能由于并发流式传输还没有发生而还没被超过,例如只是意图。

基于指示媒体流的并发流式传输超过资源限制的限制数据,可以生成选择数据,所述选择数据表示对用于在向特定流式传输客户端的流式传输中替换另一媒体流的媒体流中的一个的选择。即,选择数据可以表示对用于在向第二流式传输客户端的流式传输中替换第二媒体流的第一媒体流的选择。相应地,选择数据可以有效地表示替换选择。替换可以适用于最初流式传输或者意图流式传输现在被替换的媒体流的流式传输客户端。然而,替换还可以影响流式传输或者意图流式传输特定媒体流的更多流式传输客户端。在该点上,要注意,术语“替换”可以指的是最初的媒体流的流式传输停止,以及所选媒体流的流式传输开始。

在已经生成选择数据的情况下,可以从选择子系统输出选择数据以便实现在向第二流式传输客户端的流式传输中由第一媒体流对第二媒体流的替换。如将参照实施例阐明的,存在各种选项以用于实现。

以上措施提供了一种可以有效地起流式传输管理器的作用的系统,因为该系统可以监测或者抢先地分析媒体流的并发流式传输,并且如果鉴于资源的资源限制被超过而需要,则实现在并发流式传输中对媒体流的一个或多个替换以便避免资源限制被超过。即,当选择数据表示对用于在向第二流式传输客户端的流式传输中替换第二媒体流的第一媒体流的选择时,替换典型地减少资源分配,因为第一媒体流已知被流式传输或者意图用于流式传输到第一流式传输客户端。照此,在替换之后,第一流式传输客户端和第二流式传输客户端二者可以流式传输相同的媒体流而不是不同的媒体流。相比向不同流式传输客户端流式传输不同媒体流,向不同流式传输客户端流式传输相同媒体流典型地表示更低的资源分配。例如,可以要求仅一个读出或转码操作。另一示例是当使用多播或类似技术时,向不同流式传输客户端流式传输相同媒体流可以比向不同流式传输客户端流式传输不同媒体流要求更少的带宽。

如所要求保护的发明至少部分地基于以下认识:比起否则将会发生的流式传输质量方面的降级,媒体流的替换可能是优选的。即,替换第二媒体流的第一媒体流仍然可以提供事件的令人满意的体验,因为其仅仅表示事件的不同记录。相应地,优点可以是:代替流式传输被中断,用户仍然可以体验事件。另一优点可以是资源被更好地管理以便不超过资源限制,其否则可能潜在地影响资源本身。

在实施例中,选择子系统可以被配置用于进一步基于选择准则而生成选择数据,选择准则指示在向第二流式传输客户端的流式传输中由第一媒体流对第二媒体流的替换比起媒体流的并发流式传输中的另一替换是优选的。可能存在用于媒体流的并发流式传输中的替换的多个选项。例如,第一媒体流可以在向第二流式传输客户端的流式传输中替换第二媒体流,或者替代地,第二媒体流可以在向第一流式传输客户端的流式传输中替换第一媒体流。通过在生成选择数据时采用选择准则,选择子系统可以执行有目的的(例如,非随机的)选择,即至少部分依照选择准则的选择。这样的有目的的选择可以使得选择子系统能够缓解可能与替换相关联的较小缺点。例如,选择子系统可以优选类似的媒体流的替换以便避免通知用户一个媒体流被另一媒体流的替换或避免一个媒体流被另一媒体流的替换打扰用户。

在实施例中,选择子系统可以被进一步配置用于:

-基于选择准则为每个媒体流分派质量得分,从而获得多个分派的质量得分,以及

-基于分派的质量得分而生成选择数据,以使得能够基于对所述多个分派的质量得分的比较,在向第二流式传输客户端的流式传输中由第一媒体流对第二媒体流的替换比起另一替换被选择。

选择准则可以用于将质量得分分派给每个媒体流,并且从而隐含地还分派给从其可获得特定媒体流的相应流式传输源。相应地,每个媒体流可以例如关于质量等级进行定级,其可以允许媒体流之间的质量比较。有效地,质量得分然后可以表示选择准则表达的偏好。例如,当选择准则偏爱具有高比特率的媒体流时,可以向这样的媒体流分派高的质量得分。相应地,当确定要选择哪个媒体流时,可以利用多个质量得分,因为可以选择已经被分派最高的质量得分或者一般被分派足够的质量得分的媒体流。

在实施例中,媒体流可以包括表示事件的并发时间段的并发部分,并且选择子系统可以被进一步配置用于在每一部分的基础上向每个媒体流分派质量得分。此处,术语“并发部分”可以指的是相应媒体流的对应于事件的公共时间段的部分。照此,并发部分可以构成用于时间上的所述时段的替代记录。要注意,例如通过对媒体流进行分段,并发部分可以明确地存在于相应媒体流中。然而,情况不需要如此,因为媒体流可以同样地构成非分段的媒体流。而且,在分段的媒体流的情况下,分段不需要是相同长度和/或同步的。相反,分段在事件时间中重叠并且从而包括并发部分可能足够。选择准则可以用于向每个并发部分分派质量得分,并且从而隐含地还向从其可获得特定媒体流的相应流式传输源分派质量得分。相应地,每个并发部分可以例如关于质量等级进行定级,其可以允许基于对分派的质量得分的比较而在并发部分之间执行选择。有效地,质量得分可以隐含地已经表示选择,因为可以选择其并发部分已经被分派最高的质量得分或者一般地被分派足够的质量得分的媒体流。

在实施例中,质量得分可以基于多个选择准则来分派。例如,质量得分可以表示由所述多个选择准则中的每个表达的偏好的加权平均。

在实施例中,选择准则可以是以下中的至少一个:

-资源准则,其优选比替换进一步减少资源的资源分配的另一替换,

-客户端准则,其优选比替换更少影响所选流式传输客户端或者流式传输客户端的所选组的另一替换,

-源准则,其优选比替换更少影响媒体流从流式传输源的流式传输的另一替换,

-流准则,其优选对相比媒体流、被流式传输到更小数目的流式传输客户端的另一媒体流的替换,以及

-类似性准则,其优选媒体流被在质量、时间对准和/或地理记录位置方面类似的另一媒体流的替换。

相应地,资源准则可以使选择子系统朝向比替换进一步减少资源的资源分配的其他替换偏移。客户端准则可以使选择子系统朝向较少地影响所选流式传输客户端或者流式传输客户端的所选组的替换偏移。例如,客户端准则可以指示流式传输客户端不经受替换。源准则可以使选择子系统朝向在较少程度上影响特定流式传输源的替换偏移。流准则可以使选择子系统朝向替换流式传输到较少数目的流式传输客户端的媒体流偏移。类似性准则可以优选类似的媒体流的替换,例如,其中要被替换的媒体流与所选替换媒体流比另一潜在的替换媒体流更类似。可以组合以上选择准则。要注意,一般地,选择准则可能影响对第一媒体流和/或第二媒体流的选择,即对要被替换的媒体流和/或意图作为替换物的媒体流的选择。

在实施例中,资源限制可以是以下中的至少一个:

-媒体流跨网段的并发流式传输中的带宽限制,

-媒体流从计算机可读介质的读出中的读出限制,以及

-媒体流的处理中的处理限制。

上述类型的资源限制可能频繁地发生在媒体流式传输中。然而,这不是限制,因为在媒体流式传输中可同样地设想各种其他类型的资源和资源限制。

在实施例中,可以为第二流式传输客户端提供清单,清单包括用于使得第二流式传输客户端能够访问媒体流的地址信息,并且其中:

-可以生成选择数据以使得第二流式传输客户端能够从清单选择第一媒体流;

-输出接口可以被配置用于将选择数据提供给第二流式传输客户端。

在媒体流的流式传输领域内,已知为流式传输客户端提供清单。清单可以采取如例如文件、元数据流或者其他类型的数据的形式。清单可以标识不同媒体流及其地址信息,例如可以从哪个流式传输源访问相应媒体流。在该实施例中,可以为流式传输客户端提供清单,其使得流式传输客户端能够访问多个流式传输源,并且照此能够访问由所述流式传输源提供的媒体流。通过以所要求保护的方式生成选择数据,可以使得流式传输客户端能够从清单标识要访问哪个流式传输源以便访问用于替换当前访问的媒体流的所选媒体流。该实施例的优点可以是流式传输客户端可以直接地访问所选流式传输源。相应地,不需要使系统涉及媒体流(的部分)的递送。进一步的优点可以是实际选择可以由流式传输客户端执行,从而使得流式传输客户端能够顾及其他(例如,本地的)考虑。此外,可以利用现有清单及其递送机制。因此,仅附加地向流式传输客户端提供选择数据可能足够。

在实施例中,输出接口可以被配置用于将选择数据格式化为元数据流。通过将选择数据格式化为元数据流,可以以与媒体流本身类似的方式,即以流的形式,将选择数据递送给流式传输客户端。可选地,当为流式传输客户端提供清单时,可以生成清单以便包括用于使得流式传输客户端能够访问元数据流的地址信息。该实施例的优点可以是可以再使用现有递送机制,诸如在mpeg-4部分14中用于递送元数据流的那些。此处,可能仅必须宣布新的流标识符以标识包括质量得分的元数据流。相应地,这可以避免对于用于向(多个)流式传输客户端递送选择数据的附加递送机制的需要。

在实施例中,媒体流可以包括表示事件的并发时间段的并发部分,选择子系统可以被配置用于生成用于第二流式传输客户端的清单,并且清单可以包括标识媒体流的用于被连续访问的不同部分的播放列表,已经基于选择数据选择了不同部分中的至少一个。在该实施例中,系统本身可以通过提供播放列表而不是递送选择数据本身来实现媒体流的替换,所述播放列表表示到流式传输客户端的该替换。例如,播放列表可以连续标识已经被分派合适的质量得分的部分。相应地,流式传输客户端可以通过依照播放列表访问所述多个流式传输源来获得事件的流式传输呈现。

在实施例中,系统可以配置为在至少第二流式传输客户端和至少提供第一媒体流的流式传输源之间的流式传输代理,其中系统可以被配置用于依照选择数据向第二流式传输客户端流式传输第一媒体流。相应地,系统可以选择并且随后向流式传输客户端递送所选媒体流或其部分,而不是必须将选择数据本身递送给流式传输客户端。即,系统可以是流式传输代理,或者可以包括使得系统能够充当流式传输代理的代理子系统。该实施例的优点可以是可以为流式传输客户端提供通过在媒体流之间动态地切换所获得的媒体流,而流式传输客户端不必涉及或者甚至意识到这样的动态切换。进一步的优点可以是不需要向流式传输客户端提供选择数据,从而避免对于递送机制的需要。

本发明的另一方面提供一种用于供所述系统使用的流式传输客户端,其中流式传输客户端可以被配置用于获得清单,清单包括用于使得流式传输客户端能够访问多个流式传输源的地址信息,并且其中流式传输客户端可以进一步包括:

-输入端,用于从系统接收选择数据,选择数据表示对媒体流中的一个的选择;以及

-处理子系统,其被配置用于:

i)基于选择数据,从清单选择所述多个流式传输源中的提供对所选媒体流的访问的一个;以及

ii)从所述流式传输源访问所选媒体流。

相应地,提供可以被配置用于从系统获得选择数据以及用于随后基于选择数据而实现替换的流式传输客户端,所述选择数据例如以质量得分的形式。

本发明的另一方面提供了一种用于流式传输客户端的清单,其中清单可以包括用于使得流式传输客户端能够访问如由系统生成的选择数据的地址信息。相应地,除了诸如所述多个流式传输源的地址信息之类的其他信息之外,清单还可以包括选择数据的地址信息。因此,可以使得获得清单的流式传输客户端能够访问选择数据。

在实施例中,选择数据可以包括多个质量得分的至少部分。相应地,可以直接地为流式传输客户端提供质量得分。在该实施例中,流式传输客户端可以将质量得分与如在清单中标识的相应流式传输源匹配,以便确定要访问哪个流式传输源以及因此确定要访问哪个媒体流。例如,当使用通过http的mpeg动态自适应流式传输(dash)时,mpeg-dash客户端可以实际上“受信赖”,或者替代地,被明确地命令,以通过利用多个质量得分而实现替换。

在实施例中,客户端接口可以被配置用于经由信令信道向流式传输客户端提供选择数据。通过经由信令信道向流式传输客户端提供选择数据,不需要依赖现有递送机制用于所述递送。相应地,可以将选择数据提供给流式传输客户端,即便用于流式传输所述多个媒体流的标准没有明确地提供用于要递送的这样的选择数据的递送机制。例如,当使用通过http的mpeg动态自适应流式传输(dash)时,这样的信令信道可以用于递送选择数据,即便mpeg-dash没有提供适合的递送机制。

在实施例中,可以与向流式传输客户端提供清单异步地提供选择数据。通过与清单异步地递送选择数据,其递送在时间上解耦合。

在实施例中,选择数据可以进一步包括关联信息以用于使得流式传输客户端能够将所述多个质量得分与所述多个流式传输源相关联。照此,可以为流式传输客户端提供信息,该信息使得所述质量得分能够与所述多个流式传输源相关联。这样的关联信息可以是明确的或者隐含的。后者的示例可以是多个质量得分的排序,其与清单中的流式传输源的地址信息的排序匹配。

在实施例中,选择子系统可以被配置用于针对新的并发部分而更新清单。该实施例考虑到在流式传输期间,生成用于整个媒体流的清单也许是不可能的,因为将来的资源的资源分配仍然可能未知。相应地,可以随时间过去更新清单。

在实施例中,选择子系统可以被配置用于当生成选择数据时,在第一媒体流和第二媒体流之间的质量得分中的差异低于质量阈值时,或者一般地,在媒体流包括表示事件的并发时间段的并发部分、该并发部分的长度低于长度阈值的情况下,忽略选择用于在向第二流式传输客户端的流式传输中替换第二媒体流的第一媒体流。该实施例考虑到,可能不总是期望切换到另一媒体流,即使其并发部分已经被分派合适的质量得分。即,当并发分段的长度或者与当前访问的媒体流的并发部分在质量方面的差异低于相应阈值时,这样的切换的缺点可能胜过流式传输质量方面的优点。相应地,可以忽略一个媒体流被另一媒体流的替换。

在实施例中,可以以非分段的形式来接收所述多个媒体流中的至少一个,并且系统可以被配置用于对所述媒体流进行分段。通过对所述媒体流进行分段,建立用于在媒体流之间动态地切换的自然粒度。因此,在逐分段的基础上,在媒体流之间切换以获得已经被分派合适的质量得分的那些分段是方便的。

本发明的另一方面提供了一种用于流式传输客户端的清单,清单包括用于使得流式传输客户端能够访问如由系统生成的选择数据的地址信息。

依照以上,可以提供用于管理第一媒体流和第二媒体流的并发流式传输的系统和方法。媒体流可以表示事件的不同记录。可以通过具有资源限制的资源使得能实现媒体流的并发流式传输。为了解决该资源限制,当确定向第一流式传输客户端流式传输的第一媒体流和向第二流式传输客户端流式传输的第二媒体流的并发流式传输可能超过资源限制时,可以选择第一媒体流以用于在向第二流式传输客户端的流式传输中替换第二媒体流。作为替换的结果,第一和第二流式传输客户端可以流式传输相同媒体流而不是不同媒体流。这可以具有减少资源的分配的优点,因为比向不同流式传输客户端流式传输不同媒体流,向不同流式传输客户端流式传输相同媒体流典型地表示相更低的资源分配。

本领域技术人员将领会,可以以认为有用的任何方式组合本发明的上述实施例、实现和/或方面中的两个或更多。

对应于系统的所描述的修改和变化的方法、计算机程序产品、流式传输客户端和/或清单的修改和变化可以由本领域技术人员在本说明书的基础上执行。

在独立权利要求中限定本发明。在从属权利要求中限定有利但是可选的实施例。

附图说明

本发明的这些和其他方面从下文中描述的实施例显而易见并且将被参照下文中描述的实施例进行阐述。在附图中,

图1示出了用于管理至少第一媒体流和第二媒体流跨网段的并发流式传输的系统的实施例,网段包括具有资源限制的资源;

图2图示了依照由系统生成的选择数据在向流式传输客户端的流式传输中由第一媒体流替换第二媒体流,从而减少资源的分配;

图3a和3b一起示出消息交换,其图示了通过系统对媒体流的并发流式传输的管理;

图4示出了用于管理媒体流的并发流式传输的系统的进一步实施例,该系统被配置用于充当流式传输源和流式传输客户端之间的流式传输代理;

图5图示了可能发生在媒体流从流式传输源向流式传输客户端的并发流式传输中的各种类型的资源限制;

图6图示了通过以不同比特率对相同记录进行编码所获得的被分段的媒体流,从而使得能实现自适应比特率流式传输;

图7图示了本发明的一方面,其中其示出了构成相同事件的不同记录的被分段的媒体流,其中已经向被分段的媒体流的每个分段分派了质量得分;

图8示出了用于管理媒体流的并发流式传输的系统的进一步实施例,其中选择数据被格式化为元数据流,并且通过在用于流式传输客户端的清单中包括向元数据流的地址信息而被使得对于流式传输客户端可访问;

图9示出了用于管理媒体流的并发流式传输的系统的进一步实施例,其中系统经由信令信道向流式传输客户端提供选择数据;

图10示出了用于管理至少第一媒体流和第二媒体流的并发流式传输的方法;以及

图11示出了包括用于使处理系统执行所述方法的指令的计算机程序产品。

应当注意,在不同图中具有相同参考数字的项目具有相同结构特征和相同功能,或者是相同信号。在已经解释了这样的项目的功能和/或结构的情况下,没有必要在详细描述中重复对其的解释。

参考数字的列表

提供参考数字的以下列表以用于促进对图的理解并且其不应当解释为限制权利要求:

020多个流式传输源;

021第一流式传输源;

022第二流式传输源;

031第一媒体流;

032第二媒体流;

040多个流式传输客户端;

041第一流式传输客户端;

042第二流式传输客户端;

060网段;

080具有资源限制的资源;

081无线接入点;

082网络处理器;

083数字订户线调制解调器;

084第一网络节点;

085第二网络节点;

086蜂窝基站;

090限制数据;

091无线通信中的资源限制;

092网络处理器中的资源限制;

093数字订户线中的资源限制;

094家庭网络中的资源限制;

095核心网络中的资源限制;

096蜂窝通信中的资源限制;

100a-e用于管理并发流式传输的系统的实施例;

120输入接口;

140a、d、e选择子系统的实施例;

142选择数据;

160输出接口;

162与(多个)流式传输客户端的通信;

164经由信令信道与(多个)流式传输客户端的通信;

170清单;

172可用媒体流的分段的描述;

174元数据流的描述;

180高速缓存;

200用于管理并发流式传输的方法;

210获得限制数据;

220生成表示对媒体流的选择的选择数据;

230输出选择数据;

250作为非暂时性数据存储的计算机程序;

260计算机可读介质。

具体实施方式

图1示出了用于管理媒体流的并发流式传输的系统100a的实施例。这样的媒体流可以从流式传输源021-022可访问,并且可以表示事件的不同记录。在图1的示例中,并发流式传输可能涉及第一流式传输源021向第一流式传输客户端041流式传输第一媒体流031以及第二流式传输源022向第二流式传输客户端042流式传输第二媒体流032。图1将前者示出为实线,并且将后者示出为虚线。要注意,并发流式传输还可能涉及将更多的媒体流流式传输给相应的流式传输客户端。可以通过资源使得能实现媒体流031-032的并发流式传输。在图1的示例中,资源是网段060的网络元件080,第一和第二媒体流031-032可以通过其进行流式传输。资源可能具有资源限制。例如,网络元件080可能具有有限的内部带宽或例如朝向其他网络元件的外部带宽,或者有限的内部处理容量。如图1中描绘的并发流式传输可能超出该资源限制。因此,并发流式传输可能根本没有开始,可能规律地或者不规律地中断,或者一般可能具有次优的流式传输质量。

系统100a可以通过管理并发流式传输来解决资源080的资源限制。出于该目的,系统100a可以包括输入接口120以用于获得限制数据090,其指示至少向第一流式传输客户端041流式传输的第一媒体流031和向第二流式传输客户端042流式传输的第二媒体流032的并发流式传输超出资源限制。在图1的示例中,输入接口120被示出直接地从资源(例如网络元件080)获得限制数据090。例如,网络元件080可以直接地向系统100a报告其当前利用。要注意,可同样地设想并且将参照图5进行阐述其他形式的限制数据。

系统100a可以进一步包括选择子系统140a以用于基于限制数据090生成选择数据142,所述选择数据142表示对用于在向第二流式传输客户端042的流式传输中替换第二媒体流032的第一媒体流031的选择。此外,系统100a可以包括输出接口160以用于输出选择数据,以便实现在向第二流式传输客户端042的流式传输中由第一媒体流031对第二媒体流032的替换。存在用于所述实现的各种选项,如将参照图4、8和9进一步阐述的那样。在图1的示例中,将输出接口160示出为用于与流式传输客户端041-042并且特别地与第二流式传输客户端042通信的客户端接口,以便依照选择数据142实现由第一媒体流031对第二媒体流032的替换。例如,选择数据142可以表示针对第二流式传输客户端042的开始从第一流式传输源021流式传输第一媒体流031的指令,并且可选地可以进一步表示针对第二流式传输客户端042的停止从第二流式传输源022流式传输第二媒体流032的指令。要注意,可能不需要明确地命令第二流式传输客户端042以停止流式传输第二媒体流032。即,第二流式传输客户端042可能还尚未开始流式传输第二媒体流032,或者在这样的流式传输已经开始的情况下,可以在开始流式传输第一媒体流031时自动地停止。

图2示出了依照选择数据实现的替换的结果。即,除第一流式传输客户端041之外,第二流式传输客户端042也被示出从第一流式传输源021流式传输第一媒体流031,而不是从第二流式传输源022流式传输第二媒体流032。相应地,资源080可能不需要例如通过输运或者处理第二媒体流032使得能够向第二流式传输源022流式传输第二媒体流032,而是仅流式传输第一媒体流031。因为资源032已经使得能够将第一媒体流032流式传输到第一流式传输客户端041,所以后者可以表示资源080的较低分配。例如,如果资源080涉及处理媒体流,则可以仅处理第一媒体流031而不是第一媒体流031和第二媒体流032。类似地,可以仅从第一流式传输源021接收第一媒体流031,而不是资源080还必须从第二流式传输源022接收第二媒体流032。相应地,可以减少资源080的分配。因此,并发流式传输可以开始或者恢复,可以较少被中断或者基本上根本不会中断,或者一般可以具有更好的流式传输质量。

要注意,一般地,流式传输客户端可以包括tv、dvb播放器和记录器、移动(智能)电话、相机、数字无线电、音乐(mp3)播放器、pc、膝上型笔记本、平板、智能手表、智能眼镜、机顶盒、媒体播放器、汽车hi-fi装置、专业音频和视频仪装备等。

此外,作为示例,图1-2示出了是包括音频-视觉传感器的记录设备的流式传输源。这样的记录设备的示例包括智能电话、紧凑型相机、专业相机、智能手表、智能眼镜等。然而,这不是限制,因为流式传输源还可以包括其他类型的设备或系统,诸如不能够独自记录事件而是使得能够作为媒体流来流式传输这样的记录的流式传输服务器。另一示例是流缓冲器,其在媒体分发网络内缓冲媒体流。

图3a和3b图示了系统100b的实施例、以第一相机021的形式的第一流式传输源、以第二相机022的形式的第二流式传输源、第一流式传输客户端041和第二流式传输客户端042之间的消息交换,其中消息交换导致在向第二流式传输客户端042流式传输视频分段中的替换。在图3a和3b的示例中,流式传输客户端041-042被示出从两个相机021和022检索视频内容。该视频内容被示出流式传输通过网络节点080,所述网络节点080是用于视频分发的潜在瓶颈。

在图3a和3b的示例中,系统100b体现为视频推荐器100b,其包括用于高速缓存来自第一相机021和第二相机022的视频分段的高速缓存180。视频推荐器100b可以用在用以提供用户生成的诸如重大运动比赛或音乐会之类的事件的视频的服务中。用户生成的视频可以充当诸如电视广播之类的主视频流的背景或延长。最初,相机021-022可以在步骤1和3中——即是使用登记消息“登记流(元数据)”将其可用性登记到视频推荐器100b。登记消息可以包括元数据,例如用以指示关于事件的位置或焦点、用户生成的视频的质量或潜在质量,例如指示遮挡、照明环境等。在登记之后,视频推荐器100b可以在步骤2和4中启动带宽监测,如由消息“检测带宽()”概念上表示的那样。该带宽监测还可以包括检测视频内容可能采取的网络路线,例如从第一相机021和第二相机022到视频推荐器100b的网络路线。

在步骤5中,通过消息“得到推荐(特写)”,第一流式传输客户端041可以向视频推荐器100b请求背景视频,即特写镜头。视频推荐器100b可以使用消息“推荐(相机1)”向第一流式传输客户端041推荐第一相机021,因为该相机的元数据可以指示其接近事件。第一流式传输客户端041可以通过使用消息“得到视频片段()”从第一相机021检索视频而继续进行。在该示例中,检索可能涉及一个类型的http自适应流式传输。照此,第一流式传输客户端041可以随时间过去从第一相机021检索视频的所有分段。第一相机021可以根据请求递送这些分段,其一起形成第一视频流031。

以基本上相同的方式,即通过步骤9到12,第二流式传输客户端042可以向视频推荐器100b请求更一般的背景视频,并且作为响应,可能被推荐第二相机022。这可能是由于例如该相机的质量例如通过具有最高分辨率、更好的聚焦、更好的照明条件等而在那个时刻最高。第二流式传输客户端042因此可以从第二相机022检索视频的分段,其一起形成第二视频流032。

在相机021-022和视频推荐器100b中间,可能存在所有数据业务穿过的网络节点080。此外,在网络节点080和流式传输客户端041-042中间,可能存在高速缓存180,其例如在视频推荐器100a处或者附近实现。高速缓存180可以使得能实现对穿过的视频分段的高速缓存和多播。

步骤13和14涉及相机021-022通过消息“更新流(元数据)”将关于其状态的更新发送给视频推荐器100b。这些更新可以是关于质量方面的改变,所述质量例如遮挡、照明条件。视频推荐器100b可以继续监测从相机021-022到视频推荐器100b的网络链路上的可用带宽,如在图3a中通过在步骤15和16中发送给相机021-022的消息“检测带宽”概念上表示的那样。

图3b形成图3a的第二部分,因为其图示了视频推荐器100b在步骤19中检测用于视频流031-032的公共链路上的拥塞。该拥塞可以表示视频流031-032的并发流式传输可能被影响。即,即便可能存在用于这些视频流中的一个的足够带宽,例如两个视频流所需要的带宽的80%,然而两个视频流的并发流式传输也可能被影响。例如,两个视频流可能获得比所需要的带宽少20%(=50%(100%/2))之中的10%((100%-80%)/2))的带宽。相应地,在已经检测到拥塞的情况下,视频推荐器100b可以通过向第二流式传输客户端042发送称呼为“推荐(相机1)”的消息而命令第二流式传输客户端042启动从第一相机021流式传输。该推荐可能实现可以视为观看者可接受的替换,因为由第一相机021提供的特写也可以构成一般背景视频。第一相机021甚至可以提供更好质量的视频。照此,第二流式传输客户端042可以遵循该推荐,并且可以向第一相机021请求分段并且停止从第二相机022检索新的分段。

因为第一视频流031穿过高速缓存080,所以高速缓存080现在可以将第一视频流031的分段递送给第一流式传输客户端041和第二流式传输客户端042二者。这可以从网络节点080减轻承载视频流031-032二者的负担,所述网络节点080现在可以仅必须传递第一视频流031,从而缓解拥塞问题。图4示出了用于管理媒体流的并发流式传输的系统的进一步实施例。此处,系统100b可以被配置用于充当流式传输源021-022和流式传输客户端041-042之间的流式传输代理。即,代替直接地向流式传输客户端041-042且特别地向第二流式传输客户端042输出选择数据,例如通过将选择数据输出到(未在图4中示出的)流选择器以选择第一媒体流031而不是第二媒体流032用于中继到第二流式传输客户端042,选择数据可以由系统100b内部地使用。照此,系统100b可以充当流式传输代理,其通过依照选择数据将第一媒体流031而不是第二媒体流032流式传输到第二流式传输客户端042来实现替换。通过系统100b的该选择可以使得位于系统100b的上游的资源080不必使得能够向第二流式传输客户端042流式传输第二媒体流032而是仅流式传输第一媒体流031。相应地,如在图1和2的系统100a的情况,可以减少资源080的分配。要注意,当资源080位于系统100b的下游时,例如当由第一媒体流031的流式传输表示的资源分配低于由第二媒体流032的流式传输表示的资源分配时,可以获得类似减少。

要注意,即便在单独流的基础上由第二媒体流的流式传输引起的资源分配将类似于或者高于由第一媒体流的流式传输引起的资源分配,然而例如由于使用多播或将相同媒体流流式传输到附加的流式传输客户端基本上不增加资源分配的类似技术,通过将用于向第一流式传输客户端流式传输媒体流的处理结果再用于第二流式传输客户端的流式传输等,替换也可能导致总体较低的资源分配。

进一步参照图4,要注意,例如通过被从流式传输源非同步地接收,不同媒体流关于事件的时间线非对准可能发生。在这样的情况下,系统可以采用如本身从媒体同步领域已知的流间同步技术,以确保不同媒体流的时间对准,从而在媒体流之间建立一定程度的并发。如果接收到具有不等的分段持续时间的明确地分段的流,则可以执行对所接收的分段的同步或者再分段,或者可以接受某时间非对准。要注意,对准可能不需要是完美的,例如帧精确的,如将典型地是用于音频数据与视频数据的对准的情况那样。即,因为媒体流表示事件的不同记录,所以某种程度的时间非对准可以是可允许的,例如为消费者可接受的。这可能导致可以比所记录的事件的持续时间更长的流式传输的媒体呈现的持续时间。要注意,当前自适应的流式传输标准,诸如mpeg-dash,支持时间上对准的分段以及非时间上对准的分段。

图5图示了各种类型的资源限制091-096,其可能发生在从流式传输源020向流式传输客户端040并发流式传输媒体流中。即,当通过网络(在图5中示出为将流式传输源020连接到流式传输客户端040的实线)输运媒体流时,可以跨各种网络元件081-086之间的网络链路输运媒体流。在网络链路要输运多个媒体流而同时具有非足够的可用带宽用于这样的输运的情况下,特定网络链路可以表示共享瓶颈。此处,“共享”指的是由跨网络链路流式传输多于一个媒体流引起或加重瓶颈。相应地,这样的网络链路可以表示具有以带宽限制的形式的资源限制的资源。

图5特别地示出了可以跨网络发生的各种类型的带宽限制。例如,在网络的例如经由无线接入点081将流式传输源020连接到网络的摄入无线部分091中,无线带宽可能是有限的并且多个设备可能为该无线带宽而竞争。共享瓶颈还可能发生在其他地方,例如在网络核心中的两个网络节点084-085之间的网络链路095中。共享瓶颈还可能发生在网络的外出部分中。例如,如果一个家庭中的多个用户想要访问相同事件的不同媒体流,则在到该家庭的数字订户线(dsl)链路093上或者在dsl调制解调器083下游的家庭网络094中可能存在共享瓶颈。又一示例是共享瓶颈可能发生在蜂窝基站086和一个或多个流式传输客户端040之间的蜂窝通信096中。图5还图示了以具有处理限制092的网络处理器082的形式的另一类型的资源限制。网络处理器082的示例是转码器,其可能具有有限的处理能力,因为转码可以限于同时的一定数目的并发流。此外,尽管没有在图5中示出,但是资源限制还可以采取另一形式,诸如在媒体流从计算机可读介质的读出方面的限制。

要注意,一般地,可以在外部提供限制数据。具体示例是资源本身可以向系统报告各种信息,所述各种信息指示媒体流的并发流式传输超过资源的资源限制。然而,限制数据还可以表示对系统本身的估计或测量,例如如由限制发现子系统所获得的对系统本身的估计或测量。一般地,获得这样的限制数据可能涉及1)检测存在影响并发流式传输的资源限制,例如存在“问题”,2)标识资源限制的位置,以及3)标识资源限制本身,例如其值、限制类型等。

检测存在影响并发流式传输的资源限制可以以各种方式发生。例如,流式传输源可以在媒体流没有被正确地流式传输出来时检测问题。系统本身也可以检测问题。例如,如果系统充当流式传输代理,则系统可以以与流式传输客户端将检测问题的方式相同的方式来检测问题,所述方式例如通过并发流式传输被中断、具有次优质量、检测到分组丢失或畸形分组等。可以以各种方式发生检测并发流式传输的次优质量,所述各种方式例如通过分析媒体流的描述质量的元数据、通过分析其视频和/或音频内容等。(网络)管理系统也可以例如通过报告已知承载媒体流的网络链路上的拥塞来检测问题。流式传输客户端可以在媒体流没有正确地到达时检测问题。出于该目的,流式传输客户端可以例如监测缓冲器占用水平、监测解码过程、通过用户反馈等。在该点上,要注意,尽管理想上要避免仅在已经在流式传输客户端处发生问题时检测问题,然而其可能仍是合期望的,因为比起继续并发流式传输以具有次优的质量,后期解决问题可能是优选的。

标识资源限制的位置也可以以各种方式发生。例如,在资源是表示媒体流的共享瓶颈的网络链路的情况下,共享瓶颈的位置可以基于已经标识的媒体流的网络路线来标识。后者也可以以各种方式来标识。例如,可以在流式传输源和系统之间、在(多个)流式传输源和(多个)流式传输客户端之间和/或在流式传输源中间执行拓扑发现,诸如追踪路线。在蜂窝网段中,网络标识符和位置可以用于标识共享瓶颈的位置。而且,无线接入点的mac地址可以指示共享网络接入并且因此指示共享瓶颈。而且,网络元件本身可以发信号通知问题并且从而标识问题的位置。例如,网络元件可以提供关于所连接的设备、关于可用带宽、关于路由信息、关于可用容量等的信息。另一示例是无线接入点可以供应关于所连接的设备的信息,例如指示这些设备共享无线链路的信息。还可以在网络中的各种点处监测流式传输。还可以假设资源限制的位置。例如,在诸如音乐会之类的实况事件的情况下,流式传输源很可能共同位于音乐会周围的小区域中,并且因此很可能使用相同的进入网络。

可以如下发生标识资源限制。在网络链路表示共享瓶颈的情况下,可以确定共享瓶颈处的可用带宽。因为可用带宽可能波动,所以可用带宽随时间过去的(短期)历史视图可以用于较好地确定在(不久的)将来中的预期可用带宽。而且,标识容量以便直接地标识资源限制的值可能是有益的。为了确定可用带宽,可以使用任何现有方法,诸如使用网络管理,例如通过使包括流式传输源和流式传输客户端的网络元件就带宽的已知容量和已知使用进行报告。另一选项是使用主动的网络测量,例如使用可变分组大小(vps)或探针间隙法(pgm)探测。这样的方法允许端对端探测和逐跳探测。另一选项是使用被动的网络测量,例如通过分析网络业务以获得关于当前网络情况的信息。

要注意,一般地,选择子系统可以被配置用于进一步基于选择准则而生成选择数据。选择准则可以指示:在向第二流式传输客户端的流式传输中由第一媒体流对第二媒体流的替换比起媒体流的并发流式传输中的另一替换是优选的。可设想各种种类的选择准则。可以基于限制数据直接地评价选择准则。替代地,选择子系统在评价选择准则时还可以使用其他类型的信息。选择准则的示例是资源准则,其优选比将减少资源的资源分配的替换进一步减少资源的资源分配的另一替换。出于该目的,选择子系统可以访问指示由相应媒体流的流式传输引起的资源分配的数据,或者可以估计这样的资源分配。在具体示例中,如果系统正在充当流式传输代理,则选择子系统可以通过确定要跨网络链路流式传输的媒体流的比特率来直接地估计流式传输代理下游的网络链路的资源分配。资源还可以报告其当前资源利用。可同样地设想各种其他选项。

选择准则的另一示例是客户端准则,其优选比将影响所选流式传输客户端或者流式传输客户端的所选组的替换更少影响所选流式传输客户端或者流式传输客户端的所选组的另一替换。相应地,客户端准则可以允许:例如通过使(多个)流式传输客户端免除替换,或者相反地,将(多个)其他流式传输客户端作为目标用于替换,在流式传输客户端之间进行区分。在评价客户端准则时,选择子系统可以利用描述、标示或以其他方式指示被免除的(多个)流式传输客户端的数据。选择准则的另一示例是源准则,其优选比将影响媒体流从流式传输源的流式传输的替换更少影响媒体流从流式传输源的流式传输的另一替换。选择准则的又一示例是流准则,其优选对相比媒体流、被流式传输到更少数目的流式传输客户端的另一媒体流的替换。在评价流准则时,选择子系统可以利用指示访问特定媒体流的流式传输客户端的数目的数据。选择准则的又一示例是类似性准则,其优选媒体流被在质量、时间对准和/或地理记录位置方面类似的另一媒体流的替换。此处,可以在媒体流的哪个类似性可以被评价的基础上使用元数据。元数据可以是但不需要是包括在相应媒体流本身中的元数据,其提供例如质量指示、时间戳、位置标签等。附加地或者替代地,可以通过系统分析媒体流以确定类似性,例如在系统充当流式传输代理的情况下。另一类型的类似性准则可以优选媒体流被相比另一媒体流与更大数目的媒体流在质量、时间对准和/或地理记录位置方面类似的又一媒体流的替换。这样的媒体流可以被视为事件的代表性媒体流并且因此可以很好地适于选择为替换物。将领会,可以组合多个选择准则以便达成对于替换的选择。例如,每个选择准则可以单独地向相应媒体流和/或流式传输客户端分派得分,并且然后可以从各个得分确定总体得分,例如作为加权平均。

图6和7涉及基于一个或多个选择准则对得分的前述分派。即,选择子系统可以被配置用于基于选择准则为每个媒体流分派质量得分,从而获得多个分派的质量得分,以及基于分派的质量得分生成选择数据以使得能够基于对所述多个分派的质量得分的比较,在向第二流式传输客户端的流式传输中由第一媒体流对第二媒体流的替换比起另一替换被选择。照此,分派的质量得分可以隐含地表示对用于被替换的媒体流的选择,和/或对用于充当替换物的媒体流的选择,因为对分派的质量得分的比较可以指示相应媒体流。例如,可以选择被分派低质量得分的媒体流,用于被分派高质量得分的媒体流所替换。在该点上,要注意,术语“分派”可以指的是每个质量得分例如通过被加标签、与媒体流的标识符相关地存储等而与相应媒体流相关联或者可相关联。此外,修饰性的“质量”可以指的是表示评价的结果的得分,所述评价即一个或多个选择准则的评价。

还可以将质量得分分派给包括表示事件的并发时间段的并发部分的媒体流。例如,媒体流可以是通过重合的或者至少重叠的分段构成的分段的媒体流。相应地,选择子系统可以在每一部分或每一分段的基础上向每个媒体流分派质量得分。

图6图示了如本身从自适应比特率流式传输的领域且特别地从http自适应流式传输(has)的子领域已知的这样的分段的媒体流。利用has,可以以不同的比特率并且因此不同的质量的表示提供视听媒体流。例如,记录可以被以350kbit/s编码以提供低质量(lq)媒体流,以500kbit/s编码以提供中等质量(mq)媒体流,以及以1500kbit/s编码以提供高质量(hq)媒体流。每个媒体流可以包括连续分段s1-s4的序列,所述连续分段s1-s4可以是独立地可访问、可转移和可解码的。相应地,来自不同媒体流的分段可以互换和/或交换,从而使得流式传输客户端能够基于可用带宽在不同媒体流之间切换。这可以例如通过防止或减少缓冲而使得能实现无缝重播,因为流式传输客户端可以被临时切换到具有较低质量但是要求较低传输带宽的媒体流。

图7图示了构成相同事件的不同记录的被分段的媒体流。媒体流被标记为“src1”、“src2”和“src3”,其表示媒体流源自于不同流式传输源。要注意,与图6的媒体流不同,图7的媒体流每个表示不同的内容,例如不同的视听记录。然而,媒体流通过表示相同事件的不同记录而仍然相关联。

已经认识到,在has中采用的一个或多个基本原理也可以用在当前上下文中,即用来在媒体流之间动态地切换以便实现如由如所要求保护的系统确定的替换。相应地,一个或多个选择准则可以对每个并发分段定级以便获得关于预定义的质量等级的质量得分。要注意,这样的定级可能在每一分段的基础上不同,例如在每个分段引起不同的资源利用的基础上不同。然而,这还可能是在例如类型、值或位置方面不同的资源限制的基础上。取决于所采用的选择准则的类型,质量得分还可能在多个或者甚至全部的分段之上保持基本上恒定。在图7中,通过相同下标(最后)数字,例如s11、s21和s31,指示并发的分段。图7中的质量等级使用四个不同的质量得分,即“糟糕”、“低劣”、“中等”和“良好”。此处,质量得分“糟糕”可以表示分段最好被替换。例如,在向特定流式传输客户端的流式传输中,媒体流“src1”的分段s13可以被媒体流“src3”的具有较高质量得分“中等”的分段s33所替换。这个的原因可以是媒体流“src1”可以表示比“src3”更高的资源分配,特别是在第三分段的流式传输期间。可同样地设想各种其他种类的质量等级。例如,质量等级可以从0变动到1,其中1指示最高的可能质量并且0指示最低的可能质量。替代可以是平均意见得分(mos)质量等级,其从1(例如,最低质量)变动到5(例如,最高质量)。

选择数据的生成以及向流式传输客户端的递送使得采取各种形式,并且将被参照图8和9进一步解释。

图8示出了根据本发明的系统100d的实施例,其中将选择数据格式化为元数据流。此处并且在以下各图中,没有明确地示出输出接口,替代地示出了由选择子系统140d生成并且被使得经由输出接口对所述多个流式传输客户端040可用的数据的图形表示。

在图8的实施例中,可以为(多个)流式传输客户端040提供清单170,其包括用于使得所述(多个)流式传输客户端能够访问所述多个流式传输源020的地址信息172。这样的清单170可以基于已知类型的清单。例如,在基于mpeg-dash的媒体流式传输的背景内,清单可以基于如通过mpeg-dash限定的媒体呈现描述(mpd),其可以描述可用媒体流的分段以及可从其访问分段的相应流式传输源020的地址。这样的地址可以采取任何合适的形式,诸如统一资源定位符(url)地址。

这样的清单170可以例如经由消息162的交换由系统100d提供给(多个)流式传输客户端,并且可以包括可用媒体流的分段的前述描述172。选择子系统140d可以使用清单170以使选择数据对于(多个)流式传输客户端可访问,从而使得(多个)流式传输客户端能够从清单170标识流式传输源中的一个,其要被访问以便实现替换。选择数据可以采取一个或多个质量得分的形式。选择子系统140d可以将质量得分格式化为元数据流,并且生成清单170以包括元数据流的描述174。这样的描述174可以包括地址信息,例如url地址,从而使得流式传输客户端能够经由地址访问元数据流。照此,除了可用媒体流的分段的描述172之外,清单170还可以包括元数据流的描述174,其中描述172可以包括用于使得(多个)流式传输客户端能够访问所述多个流式传输源020的地址信息,并且其中描述174可以包括用于使得(多个)流式传输客户端能够访问元数据流的地址信息。

图9示出了根据本发明的系统100e的进一步实施例,其中经由信令信道直接将选择数据提供给(多个)流式传输客户端。在图9中隐含地示出信令信道,即通过与消息162的交换分离的消息164的附加交换而示出信令信道,所述消息162将清单170提供给(多个)流式传输客户端。要注意,可以与向(多个)流式传输客户端提供清单170异步地提供选择数据,例如,不明确与向(多个)流式传输客户端提供清单170同步地提供选择数据。

作为信令信道,可以使用所谓的流式传输控制信道,如在例如wo2013/098317a1中描述的。在本文中,描述了一种用于使得能实现对被分段的内容从递送节点(例如,流式传输源)向至少一个流式传输客户端的流式传输的网络发起的控制的方法。该方法包括为流式传输客户端提供信道设置信息,并且随后在所述提供的信道设置信息的基础上在所述客户端和控制信道服务器功能之间建立至少一个流式传输控制信道。相应地,流式传输客户端可以经由所述流式传输控制信道接收至少一个清单文件更新消息,其可以包括清单文件或者用于定位清单文件的清单文件位置信息。将领会,本文中描述的流式传输控制信道和向流式传输客户端提供清单信息的方式可以被有利地用在当前上下文中,例如以从系统100e向(多个)流式传输客户端提供这样的信息。相应地,系统100e可以包括如在wo2013/098317a1中描述的控制信道服务器功能,并且(多个)流式传输客户端可以经由流式传输控制信道与系统100e的控制信道服务器功能进行通信。

一般地,这样的信令信道可以用于通知(多个)流式传输客户端用于流式传输的质量得分和/或清单的可用性。替代地或者附加于所述通知,信令信道还可以用于发送(经更新的)清单、(经更新的)质量得分和/或控制信息。

要注意,在图8和9中示出的实施例中,(多个)流式传输客户端040可以负责基于选择数据而选择并且随后从流式传输源020检索适当的媒体流。这样的选择和检索可以是在每一分段的基础上。照此,用于适当的分段的递送机制遵循(例如,可能在概念上类似于)当前的has方法,其中(多个)流式传输客户端本身基于mpd中的带宽信息来确定要检索哪些分段。

进一步参照图8和9,要注意,清单170可以是多级清单,例如由子清单的层级构成。相应地,可以在与元数据流的描述174不同的子清单中提供分段的描述172。可以经由分离的信道传输这样的子清单。例如,可以经由信令信道传输包括元数据流的描述174的子清单。

要注意,一般地,除了一个或多个质量得分之外,选择数据可以进一步包括用于使得流式传输客户端能够将质量得分与所述多个流式传输源相关联的关联信息。此外,选择子系统可以被配置用于当生成选择数据时,在所述先前媒体流的并发部分和所选部分之间的质量得分中的差异低于质量阈值时,维持对所述多个媒体流中的一个的先前选择。照此,可以确定质量得分中的可能增加不会胜过切换到来自不同媒体流的分段的缺点。类似地,当并发部分的长度低于长度阈值时,可以维持先前选择。

要注意,涉及并发流式传输的媒体流可以是分段的媒体流,并且一个媒体流被另一媒体流的替换可以在每一分段的基础上发生。然而,如所要求保护的替换可以同样地应用于非分段的媒体流。例如,当充当流式传输代理时,系统可以对这样的非分段的媒体流进行分段以便获得分段的媒体流。替代地,可以在与前述逐分段的基础不同的粒度上执行媒体流之间的切换。例如,可以例如通过在以可独立地解码的视频帧开始的图片组(gop)间隔的开始处切换流而在编解码器级别处执行动态切换,所述视频帧通常称为i-帧或称为h.264/mpeg-4avc中的idr帧。要注意,甚至可以在媒体流被分段的情况下执行这样的切换。相应地,可以在并发分段内(例如,在并发分段期间)执行切换。

要进一步注意,一个或多个选择准则可以由流式传输源本身评价。即,流式传输源可以评价选择准则,从而获得质量得分,并且例如通过将元数据添加到媒体流本身而将质量得分传送给系统。相应地,选择准则的评价可以至少部分地在(多个)流式传输源本身处执行,而不是完全由系统执行。

一般地,流式传输源可以表示实况流的源、按需流的源或其组合。要进一步注意,一般地,如所要求保护的系统可以用于例如并行地或者连续地实现多个替换,从而基于m个媒体流被意图用于流式传输而获得n个媒体流的并发流式传输,其中n<m。这可以进一步减少资源分配。

将领会,如所要求保护的系统可以体现为单个设备或装置(诸如,服务器)或者体现在其中。设备或装置可以包括执行适当软件的一个或多个微处理器。软件可能已经下载和/或存储在对应存储器中,例如,诸如ram之类的易失性存储器或者诸如闪存之类的非易失性存储器。替代地,可以在设备或装置中以可编程逻辑的形式、例如作为现场可编程门阵列(gpga)实现系统的功能单元。一般地,系统的每个功能单元可以以电路的形式实现。要注意,如所要求保护的系统还可以以分布式方式实现,例如涉及不同设备或装置。例如,如所要求保护的系统可以实现为在多个服务器上运行的软件。

图10示出了用于管理媒体流的并发流式传输的方法200。方法200可以对应于如所要求保护的系统的操作。然而,这不是限制,因为还可以例如在不同的系统或设备上分离地执行或者以分布式方式执行方法200。

方法200包括在称呼为“获得限制数据”的操作中获得210限制数据,所述限制数据指示至少以下的并发流式传输超过资源限制:i)向第一流式传输客户端流式传输的第一媒体流,以及ii)向第二流式传输客户端流式传输的第二媒体流。方法200进一步包括在称呼为“生成表示对媒体流的选择的选择数据”的操作中基于限制数据生成220选择数据,选择数据表示用于对在向第二流式传输客户端的流式传输中替换第二媒体流的第一媒体流的选择。方法200进一步包括在称呼为“输出选择数据”的操作中输出230选择数据,用于实现在向第二流式传输客户端的流式传输中由第一媒体流对第二媒体流的替换。

将领会,根据本发明的方法可以以计算机程序的形式来实现,所述计算机程序包括用于使处理器系统执行方法的指令。方法还可以实现在专用硬件中,或者实现为以上的组合。

计算机程序可以以非暂时性方式存储在计算机可读介质上。所述非暂时性存储可以包括提供一系列机器可读物理标记和/或具有不同的电气(例如,磁性)或光学性质或值的一系列元件。图11示出了计算机程序产品,其包括计算机可读介质260以及存储在其上的计算机程序250。计算机程序产品的示例包括存储器设备、光学存储设备、集成电路、服务器、在线软件等。

应当注意,以上提及的实施例说明而非限制本发明,并且本领域技术人员将能够设计许多替代实施例。

在权利要求书中,放置在圆括号之间的任何参考符号不应解释为限制权利要求。动词“包括”及其词形变化的使用不排除不同于权利要求中陈述的元件或步骤的元件或步骤的存在。元件前面的冠词“一”或“一个”不排除多个这样的元件的存在。可以借助于包括若干分立元件的硬件和借助于适当编程的计算机来实现本发明。在列举若干部件的设备权利要求中,这些部件中的若干个可以由同一个硬件项体现。在互相不同的从属权利要求中记载了某些措施的纯粹事实不指示这些措施的组合不能用于获利。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1