动态插播过渡的制作方法

动态插播过渡的制作方法
【专利摘要】公开了用于管理流传输内容的技术。例如，一种方法包括监控配置为将至少一个内容流提供给一个或多个通信设备的通信网络的一个或多个工作条件。该方法进一步包括响应于通信网络的一个或多个所监控的工作条件，基于插播过渡的长度选择插播过渡以便插入到内容流中，其中插播过渡从多个可变长度的插播过渡中选择。
【专利说明】动态插播过渡

【技术领域】
[0001]概括地，本发明涉及媒体信号处理，并且更具体地，涉及管理抖动和用于流传输内容的带宽的技术。

【背景技术】
[0002]本部分介绍有助于更好地理解本发明的方面。因此，在本部分中所读到的描述不应被理解为承认哪些是现有技术或者哪些不是现有技术。
[0003]流传输内容典型地涉及能够同时被最终用户设备接收并呈现给最终用户的数据流。也就是说，最终用户设备可以在全部文件被最终用户设备接收之前从流传输数据文件中开始显示数据。例如，从流传输内容提供者(例如，内容服务器)通过电信网络典型地将流传输内容分发给移动最终用户设备(例如，移动电话、平板电脑、膝上型电脑等)。
[0004]已经知道流传输内容具有带宽和抖动问题。带宽典型地涉及比与内容流相关联的比特(和/或帧)率或吞吐量。抖动典型地涉及到达目的地的数据(或分组)之间的时间变化，其中抖动可能是由于网络拥塞、定时漂移和/或路由改变所造成的。因此，在任何指定的时间，最终用户设备和/或传输网络会受到带宽限制和抖动问题的影响。
[0005]目前存在尝试管理与流传输内容相关联的带宽和抖动问题的技术。一些方案将长的重播延迟插入到内容流中。然而，这些方案并不适于包括对话的内容、延长的直播视频、转换流(频道变换)、或希望较低的初始重播(典型地低于500毫秒)的其它情况。当这些方案失效时，它们完全停止重播，这会使得最终用户感到恼火。其它方案包括自适应内容流的比特率和帧率。然而，这些方案会降低重播质量。


【发明内容】

[0006]本发明的实施方式提供用于管理流传输内容的技术。
[0007]例如，在一个实施方式中，一种方法包括下列步骤。监控通信网络的一个或多个工作条件，所述通信网络被配置为将至少一个内容流提供给一个或多个通信设备。响应于所监控的通信网络的一个或多个工作条件，基于插播过渡(interstitial transit1n)的长度选择插播过渡以便插入到内容流中。从多个可变长度的插播过渡中选择插播过渡。
[0008]此外，该方法可包括将所选择的插播过渡插入到内容流中。通信网络的一个或多个工作条件可包括抖动条件和/或带宽条件。
[0009]进一步，该方法可包括将内容流分割成片段。从而，插播选择步骤可进一步包括:(i)当用于存储至少部分内容流的抖动缓冲区的存储条件在下限和上限之间时，从多个可变长度的插播过渡中，选择标称(nominal)长度的插播过渡以插入到片段尾部；(ii)当抖动缓冲区的存储条件低于下限时，从多个可变长度的插播过渡中，选择长于标称长度的插播过渡以插入到片段尾部；(iii)当抖动缓冲区的存储条件高于上限时，从多个可变长度的插播过渡中，选择短于标称长度的插播过渡以插入到片段尾部。内容流的片段和所选择的插播过渡可排队等待重播。
[0010]在另一实施方式中，该方法可包括基于用于存储至少部分内容流的抖动缓冲区的长度调整所选择插播过渡的长度。
[0011]有益的是，本发明的解释性实施方式允许显著高的比特率，以及增加的通过有噪声网络传输内容流的重播质量。
[0012]通过阅读下面的解释性实施方式的具体描述并结合相应附图，本发明的这些或其他目标、特征和优势会变得明显。

【专利附图】

【附图说明】
[0013]图1描述了根据本发明一个实施方式的流传输内容系统。
[0014]图2描述了根据本发明一个实施方式的流传输系统的进一步细节。
[0015]图3描述了根据本发明一个实施方式的流传输内容方法。
[0016]图4描述了根据本发明一个实施方式的用于实现流传输系统和方法的通信设备的处理架构。

【具体实施方式】
[0017]本发明的实施方式会在下面作为解释性的多媒体流传输应用的上下文中进行描述。然而，可以理解的是，本发明的实施方式并不局限于多媒体应用，而是可广泛地应用于希望提高内容吞吐量以及内容重播质量的任何内容流传输应用。
[0018]如在这里所使用的，术语“内容”涉及数据、信息或类似物。因此，例如，“内容流”是由一个或多个计算设备同时接收并呈现给一个或多个计算设备的一个或多个用户的数据流。
[0019]如在这里所使用的，术语“多媒体”涉及使用包括两个或多个不同内容形式的组合的内容。术语可被用作名词(具有多个内容形式的内容)或形容词(将内容描述为具有多个内容形式，例如多媒体数据)。术语多媒体用于与典型地涉及单一内容形式(例如，计算机显示器上的纯文本)的媒体进行比较。仅作为示例，多媒体可包括文本、音频、静止图像、动画、视频或交互式内容形式的组合。
[0020]图1描述了根据本发明一个实施方式的流传输内容系统。如图所示，系统100描述了在传送流传输内容中涉及的部件。内容提供者102通过网络106将一个或多个内容流提供给多个内容消费者104-1至104-N中的一个或多个。
[0021]可以理解的是，内容提供者102并不必须为创建所传输内容的实体，而可以是从一个或多个内容创作者、创建者或来源接收内容，并将内容分发给内容消费者104的的实体。然而，内容提供者102可以是所传输流的至少一部分(如果不是全部)的来源。
[0022]网络106可以是通信网络，例如广域网(WAN)、局域网(LAN)、卫星网络、电话或电缆网络，或这些和其它类型网络的一部分或组合。此外，网络106可支持无线连接、有线连接、或其中的一些组合。
[0023]由内容提供者102通过网络106发送给一个或多个内容消费者104的流传输内容的实施例可包括，但不局限于,互联网电视内容、直播视频内容、和其它多媒体或媒体内容。
[0024]内容提供者102可通过一个或多个服务器实现。内容消费者104-1至104-N可分别通过移动最终用户设备(例如，智能电话、平板电脑、膝上型电脑)实现。然而，在一些实施方式中，一个或多个最终用户设备相对于其它最终用户设备或其它计算设备作为内容提供者。相似地，内容提供者102的一个或多个服务器在给定的内容流传输方案中可作为内容消费者。用于服务器和最终用户设备的示例性处理平台会在下面图4的上下文中作进一步描述。
[0025]如在下面进一步描述的，本发明的实施方式提供用于在传输流内容的片段之间，在内容流中的合适位置插入过渡的技术。这样的“插播过渡”(或者在这里将其更简单地称为“插播”)是在内容流的片段之间插入的一个或多个过渡元素。这样的过渡元素还可插入到内容流的开始或结束部分。例如，当内容流为视频流时，这样的过渡元素可以是图像元素。例如，如果视频流包括新闻或体育节目，插播过渡可包括在新闻或体育节目中的事件之间插入的图像或一些图像效果。作为进一步的实施例，插播可以是来自新闻或体育节目的一些广告赞助商的广告(ad)。根据本发明的实施方式，插播的持续时间与一个或多个网络条件或希望的带宽相匹配。如果与流传输视频相关联的抖动缓冲区减少，可使用相对长的插播，相反如果抖动缓冲区增加，可插入较短的插播，甚至是没有插播。
[0026]插播可本地存储，例如，可通过预先装载、从之前的视图中存储、或者所标记的帧在第一次传输时进行抓取。这些效果还可以是不要求新视频帧的播放器效果，例如，但不局限于，冻结帧、将其旋转出视图、从而将下一切片的下一帧旋转入视图。
[0027]有利的是，根据本发明的实施方式，可选择插播的长度以确保平滑的内容重播。选择的插播内容(例如，图像效果、图形、广告等)是完全不同的选择，可基于广告合同、最终用户设备的可用性或者审美方面。插播的长度可由一个或多个所监测的网络条件决定。在一个或多个实施方式中，这些插播可相对经常的发生，从而每次调整相对较小，例如在少数视频帧的顺序上。这允许根据网络条件的波动进行快速调整。
[0028]还需要注意到,这种类型的创作(authoring)(也就是说,插入到流传输内容的插入内容或插播过渡)可以新兴的HTML5标准实现。在HTML(超文本标记语言)实施方式中，根据本发明实施方式的实时(直播)创作可包括有差别地提供过渡元素以考虑必要的时间。例如，如果希望将图像在10个帧中向左移动100个像素，可容易地调整为在17或23帧中移动100个像素。
[0029]图2描述了根据本发明一个实施方式的具有插播过渡插入能力的流传输内容相同的进一步细节。如图所示，流传输内容系统200包括提供器202、抖动缓冲区队列204、选择器206、发射器210、接收器212、多个接收器214、和监控器216。
[0030]可以理解的是，在一个或多个实施方式中，图2中显示的主要部件可以是内容消费者实体(图1中的104)的一部分。然而，在其它实施方式中，特定部件可以是网络(图1中的106)的一部分。例如，部件202和204在最终用户设备中。部件206、208、216、212和214-1至214-P还可以全部在最终用户设备中，而一个或多个部件可替换地在网络中。部件210和211在网络中。
[0031]流传输内容系统200按下列方式操作。提供器202从抖动缓冲区队列204接收内容(例如，视频)帧。提供器是在视频流的情况下给用户提供用于显示的内容(也就是，产生虚拟呈现)的模块。抖动缓冲区队列204从选择器206接收帧，其中选择器206从多个源接收流。
[0032]在所示出的实施方式中，这些源包括:(a)来自本地存储器(表示为存储器208的一部分)的不同比特率的多个流；(b)来自远程存储源(表示为存储器208的一部分)的由发射器(Tx) 210通过网络211发送给接收器(Rx) 212并分发给选择器的具有不同比特率的多个流；或(c)合成到或未合成到一个或多个内容流中的多个接收器(Rx) 214-1至214-P。
[0033]需要说明的是，存储器208可涉及最终用户设备中或远离最终用户设备的存储器。如果存储器208在最终用户设备中，它将信息提供给选择器206，存储器208和选择器206在同一设备中。如果存储器208不在最终用户设备中，则将来自存储器208的流传输内容通过网络211由发射器210传输并由接收器212接收。在这种情况下，接收器212和选择器206可典型地在最终用户设备中，尽管它们可在网络部件中，例如媒体网关或网络缓冲区。还需要说明的是，图1中的内容提供者102是提供由多个Rx214-1至214-P接收的内容流的实体的一个实施例。
[0034]假设监控器216已取得与上面的源(C)相关联的每个Rx流的输入上的网络信息，以及与抖动缓冲区队列状态相关的信息。监控器确定从上面的源(a)或源(b)中选择哪个流，也就是，使用(a)或(b)是基于存储器是本地的还是通过网络的，并且在(a)或(b)中，选择特定的比特速率流。
[0035]远程存储内容源(从Rx212接收)可代表云部署(也就是，分布式的虚拟架构)，其中存储为中心。如在这里所使用的，术语“云”涉及实现云计算范例的协同计算架构。例如，按照国家标准技术协会(NIST特别出版N0.800-145)，云计算是能够进行普遍存在的、方便的、按需网络接入可使用最小的管理努力或服务提供者交互能够快速供应和释放的可配置计算资源(例如，网络、服务器、存储、应用和服务)的共享池的模型。由于该基于云的存储是可充分利用的，并可典型的靠近最终用户设备，因此不会受到其它Rx流(通过多个Rx214-1至214-P所接收的)受到的网络恶化，对于监控器来说可视为“本地的”。
[0036]图3描述了根据本发明一个实施方式的流传输内容方法300。由于监控器可从接收的内容流感知网络条件(例如，带宽限制)，并能感知抖动缓冲区队列条件(例如，状态),因此方法300可通过图2中的监控器216执行。可以理解的是，可将这样的抖动条件和网络条件视为通信网络工作条件的实施例。因此，根据方法300，基于该监控的信息，监控器216可选择插播过渡并将其插入到内容(例如，通过选择器206)中。
[0037]假设将视频流分为片段，在片段之间可插入插播。该分段可手工确定，或者通过任意数量的现有场景确定算法自动确定。片段可在流传输容器格式中通过索引表(例如那些在HTML自适应流传输中使用的)或任何其它现有的技术进行标识。
[0038]插播过渡的标称长度还可通过信息发送，或在时间戳格式中包括。该标称的长度是在不发生抖动时播放视频的预期时间过程，例如，在每秒固定帧的视频中的帧数量。还可以假设各种类型的插播过渡可供选择，尽管这些可以是不要求特定视频帧的简单帧处理(例如，上面涉及的旋转效果)。
[0039]因此，如图3所示，当片段在播放器(也就是，最终用户设备)中排队等待播放的时间，做出插入插播的决定。如果抖动缓冲区队列在高水印和低水印(门限)之间，选择标称的重播率(例如，在标称信号中标识的相同数量的帧)。然而，按照步骤304和306，如果抖动缓冲区队列正在减少(缓冲区低于下限，例如I帧)，选择较长的插播过渡进行插入。此外，按照步骤308和310，如果抖动缓冲区队列正在增加(缓冲区高于上限，例如5帧)，则选择较短的插播过渡进行插入。在可替换的实施方式中，监控器216可延长或缩短当前提供的插播，以匹配所希望的缓冲区长度。
[0040]图4描述了根据本发明一个实施方式的用于实现流传输内容系统和方法的通信设备的处理架构400。尽管图4仅描述了两个设备的详细子部件，可以理解的是，在这里描述的系统中的其他设备可具有相同或相似的配置。因此，对于这里描述的流传输内容和插播插入方法，详细描述的两个设备可以为图1中的内容提供者102和内容消费者104。然而，图1-3中的其他部件可利用在图4的计算设备中描述的相同或相似的架构实现。为了简明起见，可参与本发明方法的全部计算设备没有在图4中给出。
[0041]如图所示，计算设备402 (例如，内容提供者102)和计算设备(例如，内容消费者104)通过网络106耦合。网络可以是设备能够通过其以上述实施方式进行通信的任意网络，网络506可包括公众可接入的广域通信网络，例如蜂窝通信网络和/或互联网和/或专用企业网。然而，本发明的实施方式不局限于任何特定类型的网络。需要说明的是，当计算设备为内容提供者时，可将其视为服务器，当计算设备为内容消费者时，可将其视为客户端。尽管如此，本发明的方法并不局限于设备为客户端和/或服务器的情况，而是可应用于任何计算(处理)设备。
[0042]本领域普通技术人员可以容易地了解到，计算设备可实现为在计算机程序代码控制下进行操作的可编程计算机。计算机程序代码可存储在计算机可读存储介质(例如，存储器)中，并且代码可由计算机处理器执行。对于本发明所公开的内容，本领域技术人员会容易地提供合适的计算机程序代码以便实现这里描述的方法。
[0043]如图所示，设备402包括I/O设备408-A、处理器410-A和存储器412-A。设备404包括I/O设备408-B、处理器410-B和存储器412-B。
[0044]可以理解的是，这里使用的术语“处理器”意在包括一个或多个处理设备，包括中央处理单元(CPU)或其它处理电路，包括但不局限于一个或多个视频信号处理器、一个或多个集成电路等。
[0045]同时，这里使用的术语“存储器”意在包括与视频信号处理器、或CPU相关联的存储器，例如RAM、ROM、固定存储设备(例如，硬盘驱动器)、或可移动存储设备(例如，磁盘或CDR0M)。此外，存储器是计算机可读存储介质的一个实施例。
[0046]此外，这里使用的术语“I/O设备”意在包括用于将数据输入给处理单元的一个或多个输入设备(例如，键盘，鼠标)，以及用于提供与处理单元相关联结果的一个或多个输出设备(例如，CRT显示器)。此外，输入设备可以是内容流接收器(Rx)，而输出设备可以是内容流发射器(Tx)。
[0047]从而，用于执行这里所描述的本发明方法的软件指令或代码，可存储在一个或多个相关的存储设备(例如ROM、固定或可移动的存储器)中，并在准备使用是加装到RAM中并由CPU执行。
[0048]有利的是，如这里解释性描述的本发明实施方式允许与流传输内容相关联的明显更高的比特率。当视频编码器需要将大量的比特提供给帧时可使用过渡效果。本发明的实施方式本质上允许帧陆续到达，提高重播质量，减小比特率，并确保通过有噪声网络的重播的平滑。仅作为实施例，如果大约每60秒仅发送视频的50-55秒，可立即实现节约。特定授权的事件(对移动视频是通常的)可将直播视频减小到大约40秒，从而允许更大的节省。
[0049]尽管这里结合附图描述了本发明的解释性实施方式，可以理解的是，本发明不局限于这些具体的实施方式，在不偏离本发明范围和精神的前提下，本领域技术人员可进行各种其它变化和修改。
【权利要求】
1.一种方法，包括: 监控通信网络的一个或多个工作条件，所述通信网络被配置为将至少一个内容流提供给一个或多个通信设备；以及 响应于所监控的通信网络的一个或多个工作条件，基于插播过渡的长度选择插播过渡以便插入到内容流中，其中从多个不同长度的插播过渡中选择插播过渡。
2.根据权利要求1所述的方法，进一步包括将所选择的插播过渡插入到内容流中。
3.根据权利要求1所述的方法，其中通信网络的一个或多个工作条件包括抖动条件。
4.根据权利要求1所述的方法，其中通信网络的一个或多个工作条件包括带宽条件。
5.根据权利要求1所述的方法，进一步包括将内容流分割成片段。
6.根据权利要求5所述的方法，其中插播选择步骤进一步包括，当用于存储至少部分内容流的抖动缓冲区的存储条件在下限和上限之间时，从多个不同长度的插播过渡中，选择标称长度的插播过渡以插入到片段尾部。
7.根据权利要求6所述的方法，其中插播选择步骤进一步包括，当抖动缓冲区的存储条件低于下限时，从多个不同长度的插播过渡中，选择长于标称长度的插播过渡以插入到片段尾部。
8.根据权利要求6所述的方法，其中插播选择步骤进一步包括，当抖动缓冲区的存储条件高于上限时，从多个不同长度的插播过渡中，选择短于标称长度的插播过渡以插入到片段尾部。
9.根据权利要求1所述的方法，进一步包括基于用于存储至少部分内容流的抖动缓冲区的长度，调整所选择的插播过渡的长度。
10.一种包括存储器和与存储器耦合并配置为执行权利要求1的步骤的处理器设备的>j-U ρ?α装直。
【文档编号】H04N21/44GK104396269SQ201380022214
【公开日】2015年3月4日 申请日期:2013年4月9日 优先权日:2012年4月27日
【发明者】J·W·麦高恩, T·亚尼塞夫斯基 申请人:阿尔卡特朗讯公司