专利名称：用于数字视频分配系统中的瞬时多频道视频内容浏览的系统、方法和计算机可读介质的制作方法
技术领域：
本发明涉及压缩数字视频分配系统，诸如有线电视(CATV)、卫星电视、网际协议电视(IPTV)和基于因特网的视频分配系统。具体而言，它涉及在同时观看一个或多个所选TV 频道或视频文件时实现对多个TV频道或视频文件的视频内容的快速浏览的数字视频分配系统。它还涉及在数字视频分配系统的端点(诸如机顶盒或游戏控制台)中使用的技术。
背景技术：
本申请涉及的主题可在以下专利文献中发现2008年1月17日提交的题为 “System And Method For Scalable And Low-Delay Videoconferencing Using Scalable Video Coding”(用于使用可缩放视频编码的可缩放和低延迟视频会议的系统和方法) 的共同待审的美国专利申请S/N. 12/015，956、2006年12月8日提交的题为“Systems And Methods For Error Resilience And Random Access In Video Communication Systems”(用于视频通信系统中的误差弹性和随机访问的系统和方法)的共同待审的美国专利申请 S/N. 11/608，776、2007 年 3 月 5 日提交的题为 “Systems And Methods For Providing Error Resilience, Random Access And Rate Control In Scalable Video Communications"(用于在可缩放视频通信中提供误差弹性、随机访问和速率控制的系统和方法)的共同待审的美国专利申请S/N. 11/682J63、以及2008年1月17日提交的题为"System And Method For A Conference Server Architecture For Low Delay And Distributed Conferencing Applications'^用于低延迟和分布式会议应用的会议服务器体系结构的系统和方法)的美国专利No. 7，593，032，这些专利文献各自通过引用全部结合于此。按照惯例，TV节目常常是经由CATV网络运送的。CATV是欧洲、澳洲、美洲和亚洲最为流行的宽带数字电缆网络之一。使用CATV系统，许多视频频道在具有极高带宽的单个电缆介质上多路复用，并通过服务一地理区域的分散电缆头端局分配。CATV基础结构的电缆头端同时运送每一个频道的数字化和编码视频，而不管用户是否观看频道。近来，经由分组网络传送TV节目的IPTV由于其容易递送新服务的优点而获得越来越大的势头。IPTV的缺点之一是用户访问线路的带宽相对较窄。例如，用户的访问线路可以是采用非对称数字用户线(ADSL)或类似技术的电话线，其具有的可用来递送高质量视频内容的带宽有限。由于前面所述的缺乏带宽，同时发送大量节目在IPTV系统中是不可行的。此外，已知在因特网上有大量视频材料可用，实际上不可能同时向用户递送所有感兴趣的视频内容。此外，IPTV可能依赖于具有显著传输延迟的公共因特网或专用IP网络。此外，尽管CATV基础结构是针对广播TV系统设计的，但为“个性化TV”服务需要向用户TV的单播传输的视频点播(VoD)和按次计费(PPV)服务是理想地适合IPTV的。在通过引用结合于此的共同待审美国专利申请S/N. 12/015，956等中已经揭示了为视频会议设计的端点。例如IPTV的视频分配端点与相关于本发明的视频会议端点共享许多共性。参照
图1，典型端点(101)包括定位于用户房屋的一组设备和/或软件。一个典型的端点包括连接至网络(103)(例如因特网或另一专用或公用IP网络)的网络接口(102) (例如DSL调制解调器、电缆调制解调器、或ISDNTl接口)、经由局域网(10 (例如以太网)连接至网络接口(10 的计算机(104)(例如机顶盒、游戏控制台、个人计算机或另一类型的计算机)、视频显示器(106)(例如TV或计算机监视器)、以及音频输出(例如一组扬声器)。机顶盒将从因特网接收的数据转换成TV理解的信号格式；根据惯例，使用模拟音频和视频信号的组合，但近来所有数字接口(诸如HDMI)已经变得通用。机顶盒因此通常包括模拟或数字音频/视频输出和接口。TV监视器和机顶盒设备两者通常都由也称为定点设备的输入设备(107)(例如遥控器、计算机鼠标、键盘、或另一输入设备)控制。然而， 大多数现有技术机顶盒缺乏视频会议端点通用的诸如相机或话筒的媒体输入设备。如图2所示，机顶盒O00)具有与通用计算机相似的硬件架构中央处理单元 (CPU) (201)执行储存在随机存取存储器(RAM) (202)和/或只读存储器(ROM) (203)中的指令，并利用接口硬件来连接至网络接口 004)、音频/视频输出接口 005)、以及用户接口 (206)(其连接至例如遥控器的用户输入设备O07))。所有这些组件在CPU的控制之下。典型的机顶盒还包括加速器单元O08)(例如专用的数字信号处理器(DSP))，该加速器单元 (208)帮助CPU (201)进行计算上复杂的任务，诸如视频解码和视频处理。加速器单元(208) 通常出于成本效率、而非技术必要性的原因存在。即，快得多的CPU常常能够替代加速器或 DSP,但那些快得多的CPU (及其所需的基础结构，诸如电源和更快的存储器)会比专用加速器单元更贵。诸如个人计算机(PC)的通用计算机常常能被配置成用作机顶盒。在一些情形中， 附加硬件可被添加至通用计算机以提供典型机顶盒所包含的接口，和/或可添加附加加速器硬件以扩增CPU用于视频解码和处理。控制机顶盒的操作系统通常提供可使用的服务(例如根据特定协议的接收机和发射机)。最感兴趣的协议是用于传送实时应用数据的那些协议网际协议(IP)、用户数据报协议(UDP)和/或传输控制协议(TCP)、以及实时传输协议(RTP)。RTP接收机和发射机还可在应用程序、而非操作系统中实现。大多数操作系统支持一个以上协议接收机和/或发射机的并行或准并行使用。术语“编解码器”等同地用来描述用于编码和解码的技术以及这些技术的实现。 (媒体)编码器将输入媒体数据转换成比特流或分组流，而(媒体)解码器将输入比特流或分组流转换成适于呈现给用户的媒体表示(例如，用于呈现在视频显示器上的数字或模拟视频，或用于通过扬声器呈现的数字或模拟音频)。编码器和解码器可以是专用硬件设备， 或在通用CPU和/或关联加速器单元上运行的基于软件实现的构件块。机顶盒可被构建以使许多编码器或解码器并行或准并行地运行。对于硬件编码器
5或解码器，一种支持多个编码器/解码器的简单方法是将多个实例集成在机顶盒中。对于软件实现，可采用相似机制。例如，在多进程操作系统中，编码器/解码器代码的多个实例可准同时地运行。用于节目导航的基本方法，即连续的频道跳跃或“频道冲浪”在仅存在几个频道的广播TV系统的早期是适合的。随着广播频道的数目增至几百个，连续的频道跳跃已变得越来越麻烦和耗时。尽管已经提供了诸如基于文本的电子节目向导的若干解决方案来缓解此问题，但它们并非是旧式系统的容易使用的频道冲浪体验的替代。频道改变时间的增加已使得频道冲浪更为困难。也称为数字视频编码/解码技术的数字视频编解码器(例如MPEG-2、诸如H. 263和H. 264的H系列编解码器)，连同分组网络递送在许多情形中已将频道改变时间增至数百毫秒、甚至数秒，其原因至少有两个(1)传输延迟这些延迟因解码器在接收端(即端点)的缓冲造成，其对缓解以下的影响是必要的(a)传输网络中的带宽改变(诸如无线网络中体验到的可变链路带宽)； (b)因传输网络交换机中的改变排队延迟所引起的延迟抖动；和/或(c)网络中的分组丢失。(2)编码延迟为了显示视频，也称为接收机、接收机/接收端、或接收机/接收应用的端点上的解码器在能解码视频之前必须从编码器接收I帧，也称为内编码帧。在大多数现有技术系统中，编码器中I帧之间的时间间隔是固定的(例如大多数CATV系统中的 0. 25秒或以上)，以减少所需的编码带宽。因此，当用户改变频道时，在接收机能解码视频前要花0.5秒或以上。此外，增加I帧之间的间隔改进编码效率是众所周知的。因此，许多 IPTV服务供应商用频道改变时间来交换更佳的图片质量，结果是数秒的频道改变时间在所使用的IPTV系统中并非是不常见的。尽管CATV和卫星TV系统仅受编码延迟损害，但IPTV和其它基于分组网络的视频分配系统还受传输延迟损害，这可涉及显著更长的延迟。在演进IPTV环境中，频道改变时间已变得显著更长，尤其是当视频频道在网络状况完全不可预测的诸如公共因特网的尽力服务网络上递送时。为了改进频道冲浪体验，需要作出重大的改变。具体而言，需要如此的编码器(a) 仅在需要时(即不必以固定时间间隔)产生同步帧(即现有系统的I帧)；(b)不采用或仅采用少量的未来帧以最小化算术延迟；以及(c)补偿可能的分组丢失或难以克服的延迟， 而非依赖于接收端缓冲和误差缓解作为误差弹性的唯一机制。因为传输延迟可引起对频道改变时间的显著影响，所以甚至一般视频电话会议编解码器(通常实现所有前述特征)也不能完全消除延迟问题。典型的视频编解码器，例如H. 261和H.沈3 (用于诸如视频会议的个人对个人通信目的)或MPEG-I和MPEG-2主简档(分别用于视频CD和DVD)，设计有提供单个比特流的单层编码。取决于应用，该比特率可以是固定的、或者是可变的和由媒体内容支配的。即，场景变得越复杂，产生的比特率越高。单层编码的限制在于，在屏幕上的最终渲染中，与通常用于全屏视频再现(诸如 TV中)的相比，需要较低的空间分辨率。在接收端必须发送和解码全分辨率信号，但需要减小空间分辨率以适合所需的低空间分辨率，由此浪费带宽和计算资源两者。然而，对低分辨率的支持在同时显示若干频道的频道冲浪应用中是必需的，因为一个目的是将显示在迷你浏览窗口(MBW)中的频道尽可能多地装入特定屏幕区域内一这导致MBW与主视频节目相比自然具有低分辨率。也称为分层或可缩放编解码器/编码的分层视频编解码器是明确为异构型环境开发的视频压缩技术。在这种编解码器中，对一给定源视频信号生成两个或更多个层基层和至少一个增强层。基层以降低的质量提供源信号的基本表示，这可通过例如经由粗略量化降低信噪比(SNR)，使用降低的空间和/或时间分辨率，或这些技术的组合来实现。该基层能有利地使用可靠频道、即具有确认或增强服务质量OioS)的频道来传送。每个增强层通过增大SNR、空间分辨率、或时间分辨率来增强质量，且常常以降低的QoS或尽力服务来传送。实际上，确保用户接收到具有基层信号的至少最低质量水平的信号。概述揭示了包括用于在数字视频分配系统(例如IPTV)中处理多个频道的方法、装置、 系统、以及包含用于实现该方法的指令的计算机可读介质的技术，其实现频道之间的快速频道切换。在美国临时专利申请S/N. 61/172，355中，这些技术的一部分被介绍为“侧频道模式”。端点被配置成接收分层比特流格式中的第一频道，包括基层和可任选的多个增强层。该第一频道的基层和可任选增强层可被解码，并在视频显示器的主窗口中显示。此外， 端点可被配置成接收至少一个基层形式的第二频道。此第二频道也可被解码，并能在迷你浏览窗口(MBW)中显示。在一示例性实施例中，一旦用户请求从第一频道向第二频道的频道切换，第一频道的增强层的解码即终止。在同一或另一实施例中，第一频道在主窗口中的显示终止。在同一或另一实施例中，经解码的第二频道被缩放以适合主窗口的大小，并且可显示。在同一或另一实施例中，第一频道的经解码基层可在MBW中显示。在同一或另一实施例中，服务器被指示停止发送第一频道的增强层和/或开始发送第二频道的至少一个增强层。一示例性端点包括被配置成接收以分层比特流格式编码的频道的至少一个接收机、被配置成解码以分层比特流格式编码的频道的至少一个解码器、以及用于接收用户输入的图形用户接口。包含在此公开中且构成此公开一部分的附图例示了本发明的示例性实施例，且用于说明本发明的原理。附图简述图1是示出根据本发明的示例性端点的框图。图2是示出根据本发明的示例性端点的框图。图3是示出根据本发明的示例性端点的框图。图4是根据本发明的示例性视频显示屏。图5是根据本发明的示例性视频显示屏。图6是示出根据本发明的用于分配和显示视听信号的示例性系统的框图。图7是根据本发明的示例性服务器。图8是根据本发明的端点与服务器之间的示例性消息流。在整个附图中，除非特别说明，相同的附图标记和字符用来表示所说明实施例的相同部件、元件、组件或部分。而且，当现在将参考附图具体描述本发明时，这一描述是结合说明性实施例来完成的。
详细描述本发明提供用于以提供有效视频内容浏览(也称为“频道冲浪”)的方式分配和显示视频内容，例如实况转播/直播(例如TV频道)、在线、或预先存储的视频文件的技术，并适合于任何一般数字视频分配系统，包括使用分组网络(例如IPTV)或公共因特网的(例如因特网上可用的视频服务)。“频道”不仅表示实况转播/直播视频内容，而且表示任何在线或预先存储的视频内容。频道可由例如视频信号、压缩视频信号、或视听信号表示。具体而言，这些技术提供允许使用大小和数量不同的多个迷你浏览窗口(也称为MBW)显示多个频道的数字视频分配系统，这些MBW同时显示若干个频道或视频节目。MBW可独立于显示单个频道的也称为全屏的主窗口显示、或显示为重叠在该主窗口上。快速切换功能部件向也称为TV观众的用户提供在观看一特定频道的同时浏览一组频道、且即时切换到另一组不同的频道以便浏览的能力。由此，所揭示的技术提供显著增强的频道冲浪体验。为了实现在MBW中显示的频道的即时切换，示例性数字视频分配系统有利地使用分层编解码器，例如如在共同待审的美国专利申请S/N. 12/015,956,11/608，776和 11/682，263以及美国专利No. 7，593，032中所述的。本发明避免了典型数字视频分配系统的缓冲和固有的编码延迟，并允许MBW中频道的快速切换。此外，通过产生多个视频层，即频道用分层比特流格式来编码，本发明改进了带宽利用率，且仅使用低层来在MBW中显示频道。这些低层表示较低分辨率、较低帧率、或较低 SNR，从而使用低得多的带宽且实现低处理复杂性。这些技术通过在发生分组丢失或过量分组延迟时引入轻微的性能下降，消除了对接收机缓冲的需要。此外，分层编解码器提供相匹配的速率，以说明不同频道可使用具有不同带宽的IP网络连接、从而需要来自编码器的不同数据速率的事实。图3示出根据本发明的一个实施例的IPTV端点的若干组件。具体而言，端点包括一个以上接收机(301、302)，每个接收机能够以分层比特流格式接收一频道，包括至少基层以及可能的与该基层相关联的一个或多个增强层。接收机还可被配置成仅接收增强层。 每个接收机有利地使用IP/UDP/RTP协议分层结构将来自网络接口(30 的传入分组数据 (303,304)转换成分层视频比特流(306，307)和诸如时序信息的辅助信息(308，309)。耦合至接收机(301，302)的是用于分层视频比特流的解码器(310，311)。每个解码器将所输入的分层比特流(即基层和一个或多个增强层(如果有的话))转换成一系列视频图像(312， 313)以供显示。所述转换过程可包括不共同关联于视频解码的操作，诸如a)在输入侧，丢弃多层比特流的各个层；以及b)在输出侧，对时间插补进行包括后过滤的后处理以增大帧率，并放大或缩小至期望空间输出分辨率。在同一或另一实施例中，给定解码器能被耦合至一个以上接收机(解码器310可通过连接314耦合至接收机30 ，以从第一接收机接收例如基层并从第二接收机接收一个或多个增强层。在大多数情形中，接收机和解码器将以在公共操作系统下且在给定CPU上运行的、且由加速器单元增进的独立进程的形式实现。然而，它们还可以其它方式实现，包括专用硬件实现。在考虑通过视频输出接口(316)发送至TV屏幕(317)的辅助信息(308、309)的情况下，视频图像序列(312、313)通过图形用户界面(⑶I) (315)组装成一屏幕布局。
图4示出其中在单个TV屏幕(402)上描绘四个MBWK401)的示例性屏幕布局。在概念上，每个MBW向用户呈现一动态视频(例如TV频道或存储的视频文件)。回到图3，为了实现如图4所示具有4个MBW的屏幕布局，需要至少4个接收机(301，302)，从而接收至少 4个频道和至少4个基层。接收机与至少4个解码器(310，311)耦合以生成4个序列的视频图像(312，313)，这些序列由⑶I (315)组装成单个屏幕布局，并通过视频输出接口(316) 向TV屏幕(317)显示。图5示出其中使用四个MBW(501)且这些MBW与主窗口(502)重叠的另一示例性屏幕布局。该主窗口显示用户所选择的频道。MBW显示用户能通过使用输入设备选择或“点击”表示期望频道的MBW来容易地选择以在主窗口查看的其它频道。在同一或另一实施例中，用户可通过⑶I设置MBW显示配置偏好。与基于Windows 的用户界面相似，GUI通常被实现为软件应用程序。用户可例如通过使用诸如TV遥控器、计算机鼠标、键盘或其它定点设备的输入设备来控制GUI，且可选择MBW的数量(例如2、4或以上)、每个MBW的窗口大小(例如第一 MBW = QCIF、第二 MBW = QCIF、第三MBW = CIF)、 或者TV屏幕上MBW的位置(例如屏幕的顶部、底部或侧面对齐)。MBW的数量仅受接收机和解码器的数量限制。如果解码器和/或接收机用硬件来实现，则MBW的数量根据可用解码器和/或接收机的数量受到限制。如果解码器和/或接收机用软件来实现，则在大多数实现中，除CPU的性能外对MBW的数量没有实际限制。在前述的数量限制和可能的GUI实现限制(可能由服务供应商/运营商设置以适应其商业模型)内，用户可按需装入尽可能多的MBW，只要所有MBW的总尺寸不超过可用显示器尺寸即可。对MBW尺寸没有下限。用户可通过拖曳MBW窗口的边缘、和/或设置指定尺寸的MBW显示配置偏好来对MBW设置期望尺寸。取决于⑶I，还可能具有重叠MBW。在同一或另一实施例中，实现下文中称为“侧频道模式”的频道选择机制。当往返网络延迟太大以至于在用户请求之后，改变所显示视频的延迟变成恼人或用户不可接受时，可有利地采用侧频道模式。注意，在此模式中，即使用户没有主动地冲浪频道，也发送侧频道(即在用户在进行频道冲浪时要显示的下一相继频道)。在此侧频道模式中，频道次序变得重要。存在两种类型的频道次序(1)自然次序频道的如由视频服务供应商定义的次序；以及(2)用户选择的次序用户感兴趣的频道次序，该次序可由用户通过GUI来定义。 在此情景中，频道次序可与自然次序完全不同。在用户选择的次序中，可存在小得多的感兴趣频道集合。迄今为止，本公开内容主要与端点及其操作相关。现在需要至少简略地介绍视频服务器。参照图6，端点(601)通过例如因特网的IP网络(602)连接至至少一个服务器 (603)，这些服务器通常由视频服务供应商或运营商操作。在侧频道模式中，通常在服务器 (603)和至少一个端点(601)之间存在以下虚拟连接a)至少一个控制信道(604)，通常为双向且运行诸如SIP、RTSP和/或类似协议的应用层协议；b)对于由服务器(60 发送的每个频道，通常为单向和点对点的至少一个RTP分组流(605，606)。RTP分组流(605，606) 可被形成为RTP会话，或者一个以上的RTP分组流可使用诸如SSRC多路复用的技术来多路复用成一个或多个RTP会话。RTP会话可具有相关联的RTCP双向RTP控制信道(未示出)。在大多数实际情形中，所有虚拟信道在端点(601)的同一网络接口(607)端接。在此服务器(60 被示为一个物理设备，但可以是分布式的和/或分解式的。服务器架构的细节与所呈现发明无关。如前所述，大多数与IPTV系统相关的网络接口具有容量限制，从而向端点发送超过绝对最少频道是不可行的。这与CATV系统相反，在CATV系统中至少在物理层处的端点在大多数情形中接收所有所提供频道，并丢弃那些没有显示的频道。因为在IPTV系统中网络接口容量受到限制，所以服务器仅发送端点有兴趣接收的那些频道。在大多数当前的IPTV 端点中，那些频道的数量为1 ；但是，根据本发明，该数量可高得多，并且取决于诸如可用和 /或已用接收机、解码器、MBWj^g CPU负载、端点连接性等的数量的因素。根据本发明，当处于侧频道模式中时，服务器发送至少“当前频道”(即用户最感兴趣、且通常在主窗口中显示的频道)以及一个侧频道。在大多数情形中，发送一个以上侧频道。图7示出根据本发明的示例性视频服务器(701)。该服务器可以是分布式或集中式的；为简单起见，示出集中式服务器。示例性视频服务器(701)包含MBW控制逻辑(702)， 其处理从端点(703)接收的用户控制信息(708)，诸如MBW的期望数目或大小、或要映射到每个MBW的频道或其它视频内容(例如存储在视频数据库中的按次计费或点播内容)。视频服务器(701)还可包含一个或多个视频提取器(704)，这些视频提取器可从源于来自一个或多个分层编码器(70 或视频数据库(706)的实况转播/直播视频内容的分层比特流 (711)提取基层和/或增强层。视频提取器的功能已在例如共同待审的与本发明一起提交的题为“Systems， Methods and Computer Readable Media for Instant Multi-Channel Video Content Browsing in Digital Video Distribution Systems”(用于在数字视频分配系统中的即时多频道视频内容浏览的系统、方法和计算机可读介质)的美国专利申请中揭示。简言之， 并且仅在本发明的背景下，视频提取器的主要功能是接收分层比特流(711)并根据从MBW 控制逻辑(702)接收的控制信息(712)去除零个或多个增强层，创建可包含较少层的另一个分层比特流(709，710)，以及将通常为一个或多个RTP分组流的分层比特流(709，710)转发至端点(703)。例如，假设用户请求小MBW中的特定TV频道，频道将以包含基层和例如四个增强层的分层比特流(711)的形式在服务器(701)上可用，并且视频提取器(704)将去除所有增强层并创建仅包含基层的分层比特流(709)。返回至图3，新创建的分层比特流 (303)表示一个频道，并且通过网络发送至端点，其中分层比特流(30 通常通过网络接口 (305)馈送至一个接收机(301)。再参看图7，分层编码器(70 从诸如相机、卫星下传的视频源(71 或类似视频源取得输入，并将其转换成包括基层和零个或多个增强层的分层比特流(711)。可以是内部或外部的视频数据库(706)包含至少一个(通常为许多)分层比特流 (711)，这些分层比特流包括基层和通常一个或多个增强层。分层比特流(711)的存储格式可与针对所存储视频定义的许多文件格式之一相符。每个分层比特流(711)可表示一集电视连续剧、电影、或相似内容。在得到请求时，视频数据库(706)可能在遵守时序规则的情况下将所选分层比特流(711)转发给视频提取器(704)(常常称为“流传送”的过程)。同样有可能的是，“流传送”所需的缓冲和时序逻辑在视频提取器(704)中实现，在该情形中视频数据库(706)使整个分层比特流(711)可用作为一个单元。视频提取器(704)、视频数据库(706)和分层编码器(70 之间交互工作的细节与本发明无关，因此不作进一步的讨论。在以下段落中，所揭示的是数字视频分配系统的示例性实施例。为了进行此描述，假设系统已经上电并运行；即用户已向系统(端点以及通过端点向服务器)认证了自己。此外，如图5所示，系统已提出在主窗口(502)中显示的一个初始当前频道(“频道1”)和在例如四个MBW(501)的多个MBW中显示的次要频道(“频道 2、3、4和5”)。零个或一个主要窗口、以及实际上数量不受限制的MBW(在以上所述的限制内)的任意其它组合也是可能的。返回至图3，作为此设置的结果，表示在主窗口中显示的频道1的分层视频比特流 (303)由接收机(301)通过网络接口(30 接收，藉此包含至少一个增强层连同基层的分层视频比特流(306)被转发至解码器(310)。该解码过程导致具有适合主窗口中的愉悦观看体验的高空间-时间分辨率的一个视频图像序列(312)。次要频道(频道2、3、4和幻由四个接收机和四个解码器处理，且导致具有足以用于MBW的低空间-时间分辨率的四个视频图像序列。图3示出四个接收-解码链之一，由第二接收机(302)、第二解码器(311)、以及第二经解码的视频图像序列(31 描绘。⑶I (315)将视频图像序列(312，313)组装成图5所示的屏幕布局。在此示例中，全部五个频道都由同一服务器提供，如图7所示。例如，全部五个频道已经以足以在主窗口中显示的高空间-时间分辨率原始存储在视频数据库(706)中。根据从MBW控制逻辑(702)接收的指令，视频提取器(704)知道仅要在主窗口显示的频道需要为全分辨率；所有次要频道仅需要为MBW分辨率。因此，视频提取器(704)为要在主窗口显示的频道创建包含至少一个增强层的分层比特流(709)，并且在此示例中，为四个次要频道创建仅基层比特流(图7中仅示出一个比特流(710))。这些是最终在端点(70 接收的五个分层比特流(710)。返回至图5，假设用户已点击了最上面的MBW(501)，由此选择在主窗口查看频道 2、而非当前频道1。此用户动作引起端点中的至少4个动作，如图8的流程图所示。垂直的时间线(801)不是按比例绘制的，因为在服务器或端点本地执行的事件是按照微秒或毫秒的数量级执行的，而单程传输延迟可达数百毫秒。图8假设300毫秒的单程传输延迟，而端点处的本地执行持续用户感觉不到的时间量。在第一动作(802)中，端点向服务器发送(80 用户已请求将频道例如从频道1 改变成频道2的信息。在传输延迟(804)之后，此信息由MBW控制逻辑处理(805)。结果， MBW控制逻辑指示视频提取器a)停止(806)将实现在MBW中显示频道1所需的空间/时间/质量分辨率所不需要的频道1的分层比特流的那些增强层包括到频道1的传出分层比特流中，以及b)开始(807)将实现在主窗口中显示频道2所需的空间/时间/质量分辨率所需要的增强层包括到频道2的传出分层比特流中。尽管分动作(806)和(807)被描述和显示为依次执行，但取决于服务器实现它们还可并行地进行。正确增强层的选择可基于其它因素，诸如端点和服务器的连接性、端点视频显示器的屏幕尺寸、主窗口的尺寸、以及用户对空间/时间/质量折衷的偏好。在单程传输延迟(808)之后，端点接收(809)属于频道2、而非频道1的增强层的分组等。
用户请求与经修改分层比特流的端点处的接收之间的延迟在孤立地采取第一动作时会是相当大和恼人的。它大多数是双向传输延迟(804，808)(取决于服务器和端点的地理空间位置，可以是例如数百毫秒)、以及对视频提取器中的限制的结果。例如，简单的视频提取器在能开始之前可能需要等待帧内编码帧(I帧)，包括表示更高空间-时间分辨率的增强层。分动作(807)中包括此等待时间。第二动作(810)和第三动作(811)通过短暂地用主窗口显示的质量交换对用户输入的快速可视反应来缓解此延迟因素。这两个动作(810，811)在端点中本地地执行，因此与任何传输延迟无关。在第二动作(810)中，端点停止对在MBW中显示所不需要的频道1的增强层的处理(812)，即停止接收和解码在MBW中显示所不需要的频道1的增强层。结果，视频图像序列从先前在主窗口中使用的高分辨率切换至适合MBW的分辨率-通常有单个图片的持续时间延迟，例如1秒的1/30。此外，⑶I在先前显示频道2的MBW中开始显示(813)新创建的频道1的视频图像序列。在第三动作(811)中，端点准备(814)处理与频道2相关的增强层。S卩，指示准备频道2的分层视频比特流的接收机不要丢弃对实现在主窗口显示频道2所需的空间/时间 /质量分辨率有用的任何增强层。然而，接收机及其耦合解码器继续以在MBW中显示所需的分辨率解码分层比特流，直到那些增强层出现在由准备频道2的分层视频比特流的接收机所接收的分层比特流中。直到增强层信息到达时(814)，解码器才执行将通常低空间分辨率序列中的图片“放大”(815)到适于在主窗口中显示的分辨率的附加功能。⑶I取得此放大的视频图像序列，并在主窗口显示(816)之。在两个传输延迟和由视频提取器引入的延迟的持续时间之后，频道2的增强信息变得可用。此时，接收、解码增强层以及基层，并在主窗口中以全分辨率显示(817)。最终，在第四动作(818)中，停止与频道1相对应的音频的解码和渲染(819)，且开始与频道2相对应的音频的解码和渲染(820)。所有频道(在MBW或主窗口中显示)的音频分量总是能从服务器发送至端点；这是可能的，因为经压缩音频仅占经压缩视频带宽的几分之一。然而，替代地，服务器可仅提供当前频道的音频，例如在主窗口中显示的频道。 在此情形中，可节约MBW关联音频频道的带宽，但在频道切换之后音频不会立即可用。替代地，还可能运送不同质量的音频，例如针对在MBW中显示的频道的低质量音频(使用例如极低比特率的电话频带语音编解码器)、以及针对在主窗口中显示的频带的高质量、可能多声道音频。在该情形中，用户在音频方面的体验将与视频用户体验相当在频道切换之后低质量音频马上听得见，该低质量音频在频道切换延迟之后(例如数百毫秒或几秒)被高质量音频替换。最终，假设使用分层音频编解码器，可采用与所揭示的用于视频的机制相似的音频分配机制。揭示了多个进一步的改进。首先，存在接收和解码MBW的频道、但不显示那些MBW是可能和合理的情形。这些不显示的MBW在下文中称为“虚拟MBW”。在一个实施例中，虚拟MBW的经解码图片序列可用于在用户发起频道切换时立即放大，从而允许快速频道切换，但仍然能对当前频道使用全视频显示屏。为了以有意义的方式实现此实施例，MBW控制逻辑通常可根据接近地反映用户的典型冲浪行为的策略将频道分配给那些虚拟MBW，如下所述。
其次，已经提到用于将频道分配至接收机-解码器链的许多不同机制是可能的。 例如，操作人员或用户可选择作出在频道与接收机-解码器之间的固定分配。在此情形中，用接收机-解码器分配进行频道之间的极快速冲浪是可能的，但改变至其它频道将是耗时和恼人的。然而，取决于端点中可用接收机和解码器的数量(在软件实现的情形中其可以是实质上不受限制的，并且大部分取决于可用的处理资源)，以及服务器与端点之间的可用带宽，可构想许多接收机-解码器链同时活动，从而可能对大多数用户的需要进行服务。然而，对于更多的频道饥渴用户、或(更可能的)更少的可用计算和/或带宽资源，频道-至-接收机-解码器链分配可以是动态的，以实现最佳的可能用户体验。一种用以实现这种动态分配的方法如下频道根据用户频道冲浪行为的方向按升序或降序并以自然次序或用户选择的频道次序被分配给接收机-解码器链。这意味着，例如，在用户按压遥控器上的频道向上按钮并由此选择“下一”频道的任何时候，服务器MBW控制逻辑指示视频提取器停止发送表示正在发送“最低”频道的分层比特流，并转而切换至以自然或用户选择的频道次序发送与“下一”频道相对应的分层比特流。结果是当前频道周围的可用频道的滑动窗口，该窗口在用户每次击中频道向上或频道向下时得到更新。其它形式的分配也是可能的。例如，在同一或另一实施例中，有可能自动旋转可用接收机-解码器链中的可用频道以供在MBW中显示-结果，端点可在MBW中显示固定数量的频道达固定时间段，然后在MBW中显示“下一”组频道，诸如此类。
权利要求
1.一种用于在数字视频分配端点中处理多个频道的方法，包括a.接收多个频道，其中所述频道以分层比特流格式编码，所述分层比特流格式包括 第一频道的基层，至少一个第二频道的基层，以及所述第一频道的预定数量的增强层，如果有的话，b.解码所述第一频道的基层和增强层，如果有的话，以及c.解码至少一个第二频道的基层。
2.如权利要求1所述的方法，其特征在于，所述第一频道的经解码基层和增强层在视频显示器上的主窗口中显示。
3.如权利要求1所述的方法，其特征在于，至少一个频道的基层在MBW中显示。
4.如权利要求1所述的方法，其特征在于，响应于请求从在主窗口中观看第一频道切换至第二频道的用户输入，在所述主窗口中显示所述第二频道的经解码基层。
5.如权利要求4所述的方法，其特征在于，所述第二频道的经解码基层的显示涉及缩放。
6.如权利要求1所述的方法，其特征在于，响应于请求从在主窗口中观看第一频道切换至观看第二频道的用户输入，终止对所述第一频道的至少一个增强层的接收。
7.如权利要求1所述的方法，其特征在于，响应于请求从在主窗口中观看第一频道切换至观看第二频道的用户输入，接收并解码所述第二频道的至少一个增强层以及所述第二频道的基层。
8.如权利要求7所述的方法，其特征在于，所述第二频道的增强层结合所述第二频道的基层进行解码，并在主窗口中呈现。
9.如权利要求1所述的方法，其特征在于，至少一个第二频道被选择为按自然次序与所述第一频道相邻的频道。
10.如权利要求1所述的方法，其特征在于，至少一个第二频道被选择为按用户定义次序与所述第一频道相邻的频道。
11.包括计算机可执行指令的至少一个计算机可读介质，所述计算机可执行指令用于执行一种在数字视频分配端点中处理多个频道的方法，所述方法包括a.接收多个频道，其中所述频道以分层比特流格式编码，所述分层比特流格式包括 第一频道的基层，至少一个第二频道的基层，以及所述第一频道的预定数量的增强层，如果有的话，b.解码所述第一频道的基层和增强层，如果有的话，以及c.解码至少一个第二频道的基层。
12.如权利要求11所述的计算机可读介质，其特征在于，所述第一频道的经解码基层和增强层在视频显示器上的主窗口中显示。
13.如权利要求11所述的计算机可读介质，其特征在于，至少一个频道的基层在MBW中显不。
14.如权利要求11所述的计算机可读介质，其特征在于，响应于请求从在主窗口中观看第一频道切换至第二频道的用户输入，在所述主窗口中显示所述第二频道的经解码基层。
15.如权利要求14所述的计算机可读介质，其特征在于，所述第二频道的经解码基层的显示涉及缩放。
16.如权利要求11所述的计算机可读介质，其特征在于，响应于请求从在主窗口中观看第一频道切换至观看第二频道的用户输入，终止对所述第一频道的至少一个增强层的接收。
17.如权利要求11所述的计算机可读介质，其特征在于，响应于请求从在主窗口中观看第一频道切换至观看第二频道的用户输入，接收并解码所述第二频道的至少一个增强层以及所述第二频道的基层。
18.如权利要求17所述的计算机可读介质，其特征在于，所述第二频道的增强层结合所述第二频道的基层进行解码，并在主窗口中呈现。
19.如权利要求11所述的计算机可读介质，其特征在于，至少一个第二频道被选择为按自然次序与所述第一频道相邻的频道。
20.如权利要求11所述的计算机可读介质，其特征在于，至少一个第二频道被选择为按用户定义次序与所述第一频道相邻的频道。
21.一种用于在数字视频分配系统中接收多个频道的端点，包括a.配置成接收多个频道的多个接收机，其中所述频道以分层比特流格式编码，b.配置成解码频道的基层和增强层的多个解码器，以及c.用于接收用户输入的图形用户界面，其中所述图形用户界面通过视频显示器访问。
22.—种数字视频分配系统，其中视频服务器通过IP网络向至少一个端点发送多个频道，其中所述频道以分层比特流格式编码，并且所述端点包括用于处理所述频道的多个解码器。
23.如权利要求22所述的系统，其特征在于，响应于请求从观看第一频道切换至观看第二频道的用户输入，所述服务器停止发送所述第一频道的至少一个增强层。
24.如权利要求22所述的系统，其特征在于，响应于请求从观看第一频道切换至观看第二频道的用户输入，所述服务器发送所述第二频道的至少一个增强层。
25.如权利要求22所述的系统，其特征在于，至少两个接收机相同。
全文摘要
揭示了用于在数字视频分配系统(例如IPTV)中准备和显示多个视听信号的方法、装置、系统、以及包含用于实现该方法的指令的计算机可读介质，其实现频道之间的快速频道切换。该系统包括将以基层和增强层格式编码的多个视听信号发送至端点的服务器。端点接收和解码第一频道的基层、第二频道的至少一个第二基层、以及第一频道的至少一个增强层，并在视频显示器上进行显示。
文档编号H04J3/16GK102422577SQ201080018333
公开日2012年4月18日 申请日期2010年4月22日 优先权日2009年4月24日
发明者O·夏皮罗, R·希万拉, T·沙洛姆 申请人:德耳塔维德约股份有限公司