专利名称：基于优先级的无线视频传输的方法
技术领域：
本发明涉及无线通信网络，并且更具体地，本发明涉及在这样的网络中通过空中接口进行视频传输。
背景技术：
诸如这些由3G和4G网络提供的无线接入链路是共享的、有限的资源。同样，随着需求超过供给，它们可能变得更为缺乏。结果是，当太多的用户尝试在同一扇区内从他们的移动设备传输数据时会引起竞争(contention)。直到最近，显著的是用户上传的数据明显少于他们可以下载的数据。然而，近期引入的启用播放功能的移动设备可能促使对上行链路带宽需求的快速增加。由于这样或其它的原因，对在资源缺乏时可提供足够的质量以满足用户需求并消耗相对少的带宽、且在资源较丰富时可提供更高质量的视频传输的灵活方法的需求在增加。
发明内容
H. 264可伸缩视频编解码器(SVC)提供一种在包括基本层和一个或多个附加层的多层中对视频进行编码的机制。传输基本层足以允许接收机对可观看的视频信号进行解码，而每个附加层增加解码信号的质量。例如，不同的层可表示以不同质量级别进行编码的视频，从而可将低质量的数据和解码采样用于与来自上层的数据结合以创建更高质量的视频。如上所述，我们已经提出了一种对在多个层中进行编码的视频进行传输的新方法和装置。对于传输，将用于传输资源的较高优先级分配给分层视频流的较低层。在这一点上，我们已经提出将H. 264 SVC作为视频编码机制的一个实例。然而，我们的新方法不局限于H. 264 SVC，而是可应用于将视频分成多个流的任意视频编码机制。从而，一个实施方式是一种方法，包括将视频信号编码为基本层和至少一个附加层，其中基本层(base layer)足以恢复可观看的视频内容，并且一个或多个附加层为恢复的视频内容增加质量。该方法进一步包括将会话识别参数分别分配给基本层和一个或多个附加层，从而给所述层中的至少两个分配不同的会话识别参数集合，并将至少所述基本层在无线接入链路上传输。会话识别参数是源和目的地IP地址和端口号。在其它实施方式中，一种在基站处执行的方法，包括与无线用户终端建立会话，为会话分配无线电资源，以及接收或传输属于会话的至少一些分组，也就是，从用户终端接收它们并将它们传输给用户终端。根据该方法，属于会话的分组构成两个或多个具有各自不同的会话识别参数集合的编码视频流，执行无线电资源的分配，从而相对于会话识别参数 的至少一个其它集合，更偏袒(favor)会话识别参数的至少一个集合，两个或多个编码视频流对应于被编码为基本层和至少一个附加层的视频信号，其中基本层足以恢复可观看的视频内容，并且至少一个所述附加层为恢复的视频内容增加质量。
在另一实施方式中，一种终端装置，包括摄像机；视频编码器，可操作用于将来自摄像机的视频信号编码为足以恢复可观看的视频内容的基本层和有效增加恢复的视频内容的质量的一个或多个附加层；处理器电路和发射器。处理器电路包括一个或多个数字处理器，并且所述电路可操作为将每个编码视频层打包为具有各自的会话识别参数集合的分组流。将一个或多个处理器配置为分配会话识别参数，从而给编码视频层中的至少两个分配不同的参数集合。发射器可操作为通过无线链路传送分组流。
图I是用于在至少一些实施方式中实现本发明的移动电话或其它用户终端的概念性框图。图2是无线通信网络的概念性框图，其中在无线通信网络中图I的用户终端可以是元件。图3是用于在至少一些实施方式中实现本发明的移动电话或其它用户终端的概念性框图。相比于强调了用于视频传输的特征的图1，图3强调了用于视频接收的特征。当然，图I和图3的特征可结合在一个设备中。
具体实施例方式空中传输的传统方法不提供用于为视频流的不同层提供不同优先级的机制。因此，典型地对于全部层要平等地竞争传输资源。一个结果是，例如由H. 264 SVC提供的多层编码不能促进对上述视频的传输带宽的这种灵活使用。以相同的优先级传输全部层也是不利的，这是因为，如上所述，由于进行这样的编码，利用来自较高层的输入来补偿较高质量的视频需要基本层中的信息。因此，相比于来自任一上层的分组丢失，来自基本层的分组丢失对视频重构的损害更大。当然，对于原始发送器来说，可以仅传输一个层，或者传输几个层，但是少于全部层。这会减小带宽，即使在可使用带宽丰富时仅以减小视频质量为代价。原则上，可以通过使用能够执行深度包检测的路由器来区分属于不同层的分组。这样的路由器会检查每个层中的分组，并给属于较低层的分组授予优先级。这将有助于确保在较高层分组之前分发较低层分组。然而，用于通过空中传输的无线标准通常缺乏执行深度包检测的机制。因此，会简单地给每个层分配相同的优先级，其结果是在空中链路上发生拥塞的时间内，丢失更重要的较低层分组的概率与丢失较高层分组的概率相同。因此，需要一种在无线网络中可实行的到分类方案的入口的方法。在这一点上，对于“分类”，我们的意思是进行以下处理识别分组属于哪一层、并对识别为不同层的分组提供不同的处理。因此，例如，具有到分类方案的入口的服务器可以检查分组的报头或其它内容，并以此为基础确定服务的质量，以提供相应的流程。事实上，已经对通过使用RTP有效载荷格式的多个流进行视频传输以提供到分类方案的入口的方法提出了建议，例如可从万维网http://tools, ietf. org/pdf/draft-ietf-avt-rtp-svc-21. pdf获得的草案RFC。这样的方法至少对固定IP网络感兴趣。然而，这种RTP有效载荷格式的使用在无线网络中并不是共有的。、
也就是，用于空中接口的分类标准通常取决于下列5个参数中的一些组合源IP地址和目的地IP地址、源端口号和目的地端口号、以及连接类型，其中连接类型是识别分组的特定流所属的协议的索引。这里将这5个参数共同称为5元组，并且此处将这样的分类方案称为5元组分类。我们将源和目的地的ip地址和端口号称为4个会话识别参数。那些涉及上述空中接口的无线标准通常会缺乏对使用RTP载荷格式的分类方案的支持。如前所述，我们的目标是为分层视频流的较低层提供较高的优先级。为了实现这一点，我们利用大部分无线标准允许将分组分为不同优先级的事实，其中使用上述5元组分类对不同优先级进行区分。因此，我们为视频的每一层提供不同的会话识别参数集合。例如，我们对每个层可使用不同的源端口、不同的目的地端口，或两个都使用。可替换地，我们可对每个层使用不同的源ip地址、不同的目的地ip地址，或两个都使用。本领域技术人员会认识到通过改变一个或多个会话识别参数以区分用于一个层的参数集合与用于另一层的参数集合的附加 方式。在典型的无线3G和4G无线网络中，基站负责在上行链路或下行链路上分配无线电资源，其中上行链路或下行链路分别支持来自源用户终端的分组无线输送或发送给目的地用户终端的分组无线输送。无线电资源是影响数据传输速率的任何可分配的无线电信号属性，例如，包括带宽、功率、时隙、码和频率子信道。因此，例如，包含不同对的端口号的5元组可用于指示相关网络实体每个流必须用不同的优先级来处理。在这一点上相关的网络实体是管理许可控制和流建立的实体。在我们下面给出的示例性方案中，我们假设该实体位于基站中。然而，这样的实体实际上可位于与基站不同的网络节点上。例如，在LTE网络中，相关的网络实体是移动管理实体(MME)。基站接收作为交换的信令消息序列的一部分的5元组，以便与用户终端建立会话。根据这些消息，建立流。通过使用其调度功能，从而基站(可能在诸如MME的控制节点的帮助下)分配上行链路和下行链路无线电资源，从而为在用户终端处排队的用于去往基站的上行链路传输的、或在基站处排队的用于去往用户终端的下行链路传输的每个流，提供所要求的QoS或其它优先级处理。在目的地用户终端，将流合并，并重新构建作为结果的视频。在LTE网络中，例如，可将称为QoS类别标识符(QCI)的参数用于指代控制分组转发的预先配置节点专用参数。受控的特征可包括调度权重、许可门限、队列管理门限、链路层协议配置等。在这样的网络中，基站可根据基站从5元组参数中推断出的优先级信息，将不同的QCI分配给不同的分组流。在一些情况下，可能希望在较低层分组的传递之后，将对应于较高视频层的分组以显著的延迟输送给目的地用户终端。在这种情况下，希望识别属于相同视频流的后分发分组，从而目的地用户终端可使用它们来提供比原始分发的视频内容具有更高质量的视频内容的版本。各种识别方法是可行的。一个这样的方法在RFC 5583 “会话描述协议(SDP)中的信令媒体解码依赖性” (2009年7月，http://tools. ietf.org/html/rfc5583)中进行描述。简单地，RFC 5583提供了信令方法，通过该方法，在IP网络中使用实时传输协议(RTP)的节点可相互通知要被传输的媒体比特流的解码依赖性。(媒体比特流是有效的，可解码流符合媒体编码标准。)特别地，RFC5583描述了这种用于分层媒体比特流的解码依赖性的信令。需要说明的是，在这一点上，SDP会话描述可包含一个或多个媒体描述。每个媒体描述可识别一个媒体流。分层媒体比特流包括一个或多个媒体部分，其中每个媒体部分在其自己的媒体流中进行传递。媒体部分是打算独立输送的媒体比特流的一部分，并且其可表示作为一个单元进行处理的一个或多个层。解码依赖性是媒体部分之间的关系类型。在分层解码依赖性的情况下，仅在其依赖的媒体部分同样可使用时，才对每个媒体部分进行解码。本领域技术人员还可以理解的是，根据协议的IP套件，如果可处理视频流，则可应用TCP和UDP协议。至少在这种情况下，端口号将典型地是TCP端口号或UDP端口号。因此，如图I所示，移动电话或其它用户终端包括摄像机10。来自摄像机的视频流进入处理器或多个处理器，其各种功能中的一部分由图中的编码器20、有效载荷处理器30 和报头处理器40表示。这种表示意为纯概念性的，并且其可以在硬件和软件中具有许多不同的实际实现方式，其中没有一个是排他性的。然而，一般情况下，诸如数字信号处理器的至少一个硬件处理设备会在合适的控制下执行所示出的操作或者它们的等价物，其中合适的控制例如可由在硬件、软件或固件中实现的程序来提供。编码器20例如根据H. 264 SVC规范或其它多层视频协议来处理视频流。如上所述，这导致多个输出，其中每个输出对应于几个编码层中的一个。在附图中将各编码层表示为分组层I、分组层2等。有效载荷处理器30将编码数据组装到分组有效载荷33中。报头信息35必须被附加在每个分组上。在报头信息中包括的是5元组，其中5元组除其它外识别每个分组各自所属的流的优先级。该报头信息由报头处理器40提供。在图2所示的示例性方案中，用户50从他的移动电话使视频流出，其中移动电话例如可以是智能电话。电话包括视频编码器。视频编码器应用H. 264 SVC以产生多个编码层。电话中的处理器将端口号分配给编码分组。从当前的实际出发，处理器不会将相同的端口号分配给全部分组，而是根据各个分组所属的层来分配端口号。每个层可由特定的源端口号或目的地端口号、或由特定的源端口号和目的地端口号的组合来识别。本领域技术人员会认识到，可在硬件或软件中实现的各种技术可用于进行端口号分配。可以理解的是，例如，除了别的之外，可通过将不同的层写入不同的套接字以易于提供进行端口分配的软件程序。将对应于各个编码层的分组61、62和63传输给基站70。基站70将分组传输给其核心网络80，从核心网络80将分组通过诸如国际互联网的公共网络90传输给它们的目的地。公共网络将分组传递给核心网络100，其中核心网络100为作为分组目的地的用户提供服务。核心网络100将分组传输给基站110，其中基站110将它们传输给目的用户120。基站70通过其调度器，根据网络条件和对于各个层中的每一个的优先级处理请求，控制层61、62等中排队等待上行链路传输的分组的可能丢失。相似地，基站110根据网络条件和对于各个层中的每一个的优先级处理请求，控制层61、62等中排队等待去往用户120的下行链路传输的分组的可能丢失。在至少一些类型的网络中，包括WiMax和LTE网络，具有用于将不同的服务质量(QoS)提供给不同的流的已知机制。在示例性方案中，所分配的端口号是对无线网络中将怎样的QoS提供给包括各个分组的流的分类器的指示。接收器利用所分配的端口号和视频编码层之间的映射来重构视频信号。也就是，端口号告诉接收器哪些分组属于同一个流，并且它们进一步告诉接收器哪个层对应于指定的流。接收器负责重新组合这些流以用于输入到解码器。最终，解码器基于诸如H. 263 SVC的编码方法来确定层的结构。因此，如图3所示，移动电话或其它用户终端包括视频显示设备130。从处理器或多个处理器输出提供给显示设备的视频流，其中处理器或多个处理器的各种功能中的一部分由图中的解码器140、有效载荷处理器150和报头处理器160来指示。这种表示意为纯概念性的，并且其可以在硬件和软件中具有许多不同的实际实现方式，其中没有一个是排他性的。然而，一般情况下，诸如数字信号处理器的至少一个硬件处理设备在合适的控制下可执行所示出的操作或者它们的等价物，其中合适的控制例如可由在硬件、软件或固件中实现的程序来提供。报头处理器160从接收的分组165中提取报头信息，除了别的之外，包括识别每个分组各自所属的流的优先级的5元组。从而，根据它们所属的各自的层将分组分开。
有效载荷处理器150将分组载荷170转换到每个各自的层的编码视频流中。各个编码层在图中表示为视频层I、视频层2等。解码器140例如根据H. 264 SVC规范或其它多层视频协议来处理视频流，以便恢复被提供给显示设备130的视频信息。
权利要求
1.一种方法，包括 将视频信号编码为基本层和至少一个附加层，其中基本层足以用于对可观看的视频内容的恢复，并且一个或多个所述附加层为恢复的视频内容增加质量； 将会话识别参数分别分配给基本层和一个或多个附加层，从而给所述层中的至少两个层分配不同的会话识别参数集合；以及 在无线接入链路上至少传输所述基本层。
2.根据权利要求I所述的方法，其中会话识别参数的分配包括将源端口号和目的地端口号分配给每个所述层，从而给所述层中的至少两个层分配不同的源端口号、不同的目的地端口号或不同的源端口号和目的地端口号。
3.根据权利要求I所述的方法，进一步包括接收无线电资源的分派，并且其中传输步骤包括首先使用所述资源中的至少一部分传输基本层，并且如果剩余的资源足够，则使用进一步分派的资源传输一个或多个附加层。
4.根据权利要求I所述的方法，进一步包括将最高优先级分配给基本层并且将各个较低优先级分配给附加层，以及其中传输步骤包括相比于较低优先级的层优先传输较高优先级的层。
5.根据权利要求I所述的方法，进一步包括将QOS级别分配给基本层和一个或多个附加层中的每一个，并且其中传输步骤包括根据在接收的无线电资源分配中表示的每个层的QOS级别的传输带宽的可用性，有条件地传输每个所述层。
6.一种终端装置，包括 摄像机； 视频编码器，可操作用于将来自摄像机的视频信号编码为足以用于可观看的视频内容的恢复的基本层，和有效地为恢复的视频内容增加质量的一个或多个附加层； 处理器电路，包括一个或多个数字处理器，所述电路可操作为将每个编码视频层打包为具有各自的会话识别参数集合的分组的流，将一个或多个所述处理器配置为分配会话识别参数，从而给编码的视频层中的至少两个分配不同的所述参数的集合；以及发射器，可操作为通过无线链路传输分组流。
7.一种在基站处执行的方法，包括 与无线用户终端建立会话； 为会话分派无线电资源；以及 从用户终端接收属于会话的至少一些分组，其中 (a)属于会话的分组构成两个或多个具有各自不同的会话识别参数集合的编码视频流； (b)执行无线电资源的分派，从而相对于会话识别参数的至少一个其它集合，偏袒会话识别参数的至少一个集合；以及 (C)两个或多个编码视频流对应于被编码为基本层和至少一个附加层的视频信号，其中基本层足以用于对可观看的视频内容进行恢复，并且至少一个所述附加层为恢复的视频内容增加质量。
8.一种在基站处执行的方法，包括 与无线用户终端建立会话；为会话分派无线电资源；以及 将属于会话的至少一些分组传输给用户终端，其中 (a)属于会话的分组构成两个或多个具有各自不同的会话识别参数集合的编码视频流； (b)执行无线电资源的分派，从而相对于会话识别参数的至少一个其它集合，偏袒会话识别参数的至少一个集合；以及 (C)两个或多个编码视频流对应于被编码为基本层和至少一个附加层的视频信号，其中基本层足以用于对可观看的视频内容进行恢复，并且至少一个所述附加层为恢复的视频 内容增加质量。
9.根据权利要求7或8所述的方法，其中接收或传输步骤分别包括首先使用分派的无线电资源中的至少一部分分别接收或传输用于基本层的视频流，并且如果剩余的资源足够，使用进一步分派的无线电资源分别接收或传输用于至少一个所述附加层的视频流或多个视频流。
10.根据权利要求7或8所述的方法，进一步包括将最高优先级分配给用于基本层的视频流，并且将较低优先级分配给用于一个或多个附加层的视频流，以及其中接收步骤或传输步骤分别包括相比于较低优先级层的流分别优先接收或传输较高优先级层的流。
11.根据权利要求7或8所述的方法，进一步包括将各个QOS级别分配给用于基本层的视频流和用于一个或多个附加层中每一个的视频流，并且其中接收步骤或传输步骤分别包括根据在所述无线电资源分配步骤中表示的每个层各自的QOS级别的传输带宽的可用性，分别有条件地接收或传输每个所述层的视频流。
全文摘要
提供了一种通过无线链路传输视频的方法和装置，其中将视频编码为多个层，从而可将用于传输资源的较高优先级提供给分层视频流的较低层。通过会话识别参数来表示优先级的级别，也就是，通过源和目的地IP地址和端口号进行表示。将这些参数分别分配给基本层和一个或多个附加层，从而给至少两个所述层分配不同的参数集合。从而在无线链路上至少传输基本层。
文档编号H04N21/438GK102640508SQ201080054086
公开日2012年8月15日 申请日期2010年11月8日 优先权日2009年11月30日
发明者B·R·西利, C·帕耶特 申请人:阿尔卡特朗讯公司