用于发送或接收视频数据的方法和装置的制作方法

专利名称：用于发送或接收视频数据的方法和装置的制作方法
技术领域：
本发明涉及视频/音频内容的传送，更具体地说，涉及一种该视频/音频的 制作、传送和接收。
背景技术：
数字化音频/视频信息(多媒体内容)的广播已经是众所周知的。受限访 问通信网络如电缆电视系统、卫星电视系统和直播电视系统支持通过受控传送 媒介分发数字化多媒体内容。在电缆调制解调器系统中，可由电缆系统提供者 小心地控制专用网络中的电缆调制解调器设备以保证多媒体内容可以稳健地 分发到用户接收器。同样地，专用无线频谱可采用卫星电视系统将多媒体内容 稳健地发送给用户接收器。此外，在直播电视系统(如高清广播系统)中，专 用无线频谱将来自发射塔的多媒体内容稳健地分发到接收装置。稳健分发
(Robust delivery)可使得接收装置及时接收到多媒体内容，而这对分发的视 频和音频的质量来说是至关重要的。
现在，某些受限访问通信网络支持点播节目(on-demandprogramming), 其中，多媒体内容直接发送给一个或相对较少个接收装置。这些类型的系统可 提供服务的点播节目的数量取决于多媒体源装置和一个或多个接收装置间的 数据吞吐量的可用性。通常该点播节目是由一个或多个用户发起，并且仅仅是 基于发起提供服务的。
公共可访问通信网络(Publicly accessible communication network),如局 域网(LAN)、无线局域网(WLAN)、广域网(WAN)、无线广域网(WWAN) 以及蜂窝电话网络现，已在可提供充足的数据速率以服务于流多媒体内容这一 点上有所革新。流多媒体内容的格式与受限访问网络(如电缆网络、卫星网络) 采用的格式类似/相同。然而，这些通信网络均由许多用户共享，这些用户会
4相互竞争数据吞吐量。因此，这些网络通常不会优先处理流多媒体内容。
通常，流多媒体内容由第一电子装置(例如网络服务器、个人计算机、 用户设备)形成/创建，通过一个或多个通信网络发送，并由第二电子装置(例
如个人计算机、膝上型计算机、蜂窝电话、WLAN装置或WWAN装置)接收 和处理。例如，在创建多媒体内容的过程中，该第一电子装置从摄像机或从存 储装置获取/重获多媒体内容，并编码该多媒体内容以根据标准格式(如 Quicktime、 MPEG-2 (活动图象专家组)、MPEG-4或H.264)创建编码的音 频和视频帧。该编码视频和音频帧被放入由第一电子装置连续在服务通信网络 上发送的数据包中，这些数据包可发送到一个或多个第二电子装置。这些顺序 发送的编码音频/视频帧序列可称为音频/视频流。 一个或多个通信网络可将数 据包发送到第二电子装置。该第二电子装置接收该数据包，如果需要的话将重 排序数据包，并从数据包中提取出编码音频和视频帧。所述第二电子装置的解 码器解码该编码音频和/或视频帧以生成音频和视频数据。接着该第二电子装 置存储视频/音频数据和/或通过用户界面将该视频/音频数据呈现给用户。
该音频/视频流一般穿过多个不同类型的通信网络，如LAN、 WAN、因特 网、WWAN、 WLAN、 一个或多个蜂窝网络等。这些网络中的某一些可能不 能可靠地支持视频/音频流和/或不具有足够的数据速率，这导致在第二电子装 置获得的视频/音频质量较差。因此，需要一种可用于横跨这些网络的音频/视 频的构建、传送和接收的结构和操作方法。
比较本发明后续将要结合附图介绍的系统，现有技术的其它局限性和弊端 对于本领域的普通技术人员来说是显而易见的。

发明内容
本发明所提供的方法和装置结合至少一幅附图进行了充分的展现和描述， 并在权利要求中得到了更完整的阐述。
根据本发明的一个方面，本发明提供一种用于源装置向目标装置发送视频 数据的方法，所述方法包括
与目标装置建立接收验证通信链路；与目标装置建立接收非验证通信链路；
将视频数据编码成多个视频层流，所述多个视频层流包括基础视频层流和
至少一个其他视频层流；
通过接收验证通信链路将所述基础视频层流发送给目标装置； 通过非接收验证通信链路将所述至少一个其他视频层流发送给目标装置。 优选地，所述接收验证通信链路包括下列至少一个传输控制协议(TCP)、
流传输控制协议(STCP)和流视频文件传输协议(SVFTP)。 优选地，所述非接收验证通信链路包括用户数据报协议。 优选地，所述接收验证通信链路和所述非接收验证通信链路的区别在于对
应协议堆栈的传输层。
优选地，所述基础视频层流是独立视频流，且 所述至少一个其他视频层流依赖于所述独立视频流。 优选地，所述方法进一步包括 将音频数据编码成编码的音频流；和
使用非接收验证通信链路将编码的音频流发送到目标装置。
优选地，所述方法进一步包括
将音频数据编码成编码的音频流；和
使用接收验证通信链路将编码的音频流发送到目标装置。
根据本发明的一个方面，本发明提供一种用于目标装置从源装置接收视频 数据的方法，所述方法包括
与源装置建立接收验证通信链路； 与源装置建立接收非验证通信链路； 通过接收验证通信链路从源装置接收基础视频层流； 通过非接收验证通信链路从源装置接收至少一个其他视频层流；以及 解码所述基础视频层流和所述至少一个其他视频层流以生成输出视频数据。
优选地，所述接收验证通信链路包括下列至少一个传输控制协议(TCP)、流传输控制协议(STCP)和流视频文件传输协议(SVFTP)。 优选地，所述非接收验证通信链路包括用户数据报协议。 优选地，所述接收验证通信链路和所述非接收验证通信链路的区别在于对
应协议堆栈的传输层。
优选地，所述基础视频层流是独立视频流，且 所述至少一个其他视频层流依赖于所述独立视频流。
优选地，所述方法进一步包括使用非接收验证通信链路接收编码的音频流。
优选地,所述方法进一步包括:使用接收验证通信链路接收编码的音频流。
根据本发明的一个方面，本发明提供一种用于向目标装置发送视频数据的 电子装置，所述电子装置包括 通信接口；以及
耦合到该通信接口的处理电路，所述处理电路用于
通过该通信接口与目标装置建立接收验证通信链路；
通过该通信接口与目标装置建立非接收验证通信链路；
将视频数据编码成多个视频层流，所述多个视频层流包括基础视频层 流和至少一个其他视频层流；
通过接收验证通信链路将所述基础视频层流发送给目标装置； 通过非接收验证通信链路将所述至少一个其他视频层流发送给目标装置。
优选地，所述接收验证通信链路包括下列至少一个传输控制协议(TCP)、 流传输控制协议(STCP)和流视频文件传输协议(SVFTP)。
优选地，所述非接收验证通信链路包括用户数据报协议。
优选地，所述接收验证通信链路和所述非接收验证通信链路的区别在于对 应协议堆栈的传输层。
优选地，所述基础视频层流是独立视频流，且
所述至少一个其他视频层流依赖于所述独立视频流。优选地，所述装置进一步包括 将音频数据编码成编码的音频流；和 将编码的音频流发送到目标装置。
根据本发明的一个方面，本发明提供一种用于从源装置接收多个视频数据 流的电子装置，所述电子装置包括 通信接口；以及
耦合到该通信接口的处理电路，所述处理电路用于
通过该通信接口与源装置建立接收验证通信链路； 通过该通信接口与源装置建立非接收验证通信链路；
通过该接收验证通信链路从源装置接收基础视频层流； 通过该非接收验证通信链路从源装置接收至少一个其他视频层流； 解码所述基础视频层流和所述至少一个其他视频层流以生成输出视 频数据。
优选地，所述接收验证通信链路包括下列至少一个传输控制协议(TCP)、
流传输控制协议(STCP)和流视频文件传输协议(SVFTP)。 优选地，所述非接收验证通信链路包括用户数据报协议。 优选地，所述基础视频层流是独立视频流，且 所述至少一个其他视频层流依赖于所述独立视频流。 优选地，所述装置进一步包括 从源装置接收编码音频流；以及 解码所述编码的音频流以生成音频数据。
本发明的各种优点、各个方面和创新特征，以及其中所示例的实施例的细 节，将在以下的描述和附图中进行详细介绍。


下面将结合附图及实施例对本发明作进一步说明，附图中
图1是根据本发明的一个或多个实施例操作的视频/音频系统的系统框图;图2是根据本发明的一个或多个实施例操作的另一视频/音频系统的系统
框图3是根据本发明的一个或多个实施例的支持音频/视频分发的多个通信 网络和多个电子装置的系统框图4是根据本发明的一个或多个实施例的源装置和目标装置支持的协议 层的结构框图5是根据本发明的一个或多个实施例生成的多个视频图象的示意图； 图6是根据本发明的一个或多个实施例构建和/或操作的电子装置的结构 框图7是根据本发明的一个或多个实施例构建和/或操作的又一电子装置的 结构框图8是根据本发明的一个或多个实施例的用于在多个通信链路上发送视 频层流(video layer stream)的操作流程图；和
图9是根据本发明的一个或多个实施例的用于在多个通信链路上接收视 频层流(video layer stream)的操作流程图。
具体实施例方式
通常，根据本发明的各个方面，编码视频帧和/或编码音频数据是从源装 置到目标装置的流。源装置使用至少两个通信链路将编码视频帧/编码音频数 据以数据流的方式发送到目标装置。对于视频数据，源装置对其进行编码以生 成多个视频层流，该视频层流包括基础视频层流(base video layer stream)和 至少一个其他视频层流(other video layer stream)。该源装置建立与目标装置 的接收验证通信链路和与目标装置的至少一个非接收验证通信链路。接着该源 装置将基础视频层流通过接收验证通信链路发送给目标装置。此外，该源装置 将至少一个其他视频层流通过至少一个非接收验证通信链路发送给目标装置。 使用这一方法，通过接收验证通信链路发送的基础视频层流比其他视频层流更 稳健地发送到目标装置。其他视频层流，在某些实施例中不如基础视频层流重 要，可通过非接收验证通信链路发送到目标装置。如果该至少一个其他视频层流没有正确地到达目标装置，在目标装置解码基础视频层流和其他视频层流的 组合时，可以不使用丢失的信息。此外，通信网络资源可得到有效使用，因为 只有基础视频层流才使用接收验证通信链路发送。
图1是根据本发明的一个或多个实施例操作的视频/音频系统的系统框图。
源装置102通过一个或多个通信网络104耦合到目标装置106。该源装置102 包括至少一个通信接口 108和编码器110。该编码器IIO可通过处理电路执行 专用硬件资源、软件资源来激活，也可通过处理电路激活专用硬件和软件的组 合来激活。该目标装置106包括至少一个通信接口 112和解码器114。该解码 器114可通过处理电路执行专用硬件资源、软件资源来激活，也可通过处理电 路激活专用硬件和软件的组合来激活。每个通信接口 108和112可包括有线和 /或无线接口。本发明的各个实施例使用的通信接口 108和112的特定类型可 取决于其特定的应用。
将源装置102耦合到目标装置106的通信网络104可包括一个或不同类型 的多个网络。例如，通信网络104可包括一个或多个个人局域网(PAN)、 一 个或局域网(LAN)、 一个或多个广域网(WAN)、以太网、环球网和/或一个 或多个无线网络。通信网络104的有线部分包括电缆网络、以太网网络、光纤 网络以及其他使用固体媒介的网络。通信网络104的无线网络可包括蜂窝网 络、无线局域网(WLAN)、无线广域网(WWAN)、无线个人局域网(WPAN) 和/或其他类型的无线网络。组成通信网络104的某些网络在音频/视频流从源 装置102到目标装置106的发送过程中是稳健的。然而，该通信网络104的其 他部分可以是不可靠的，资源有限的，或是不能以稳定的方式稳健地发送音频 /视频数据包。例如，无线网络一般由多个不同用户共享，每个用户相互竞争 无线网络的可用资源，并且这些网络容易受到噪声和其他环境条件的影响从而 限制了它们以流音频/视频应用所需的速率发送数据的能力。
根据本发明的某些方面，可通过电子源装置102的通信接口 108和处理电 路IIO对其进行操作以建立与目标装置103的接收验证通信链路(通过目标装 置的通信接口 112和通信网络104)。此外，该源装置102可用于通过其通信 接口 108和通信网络104与目标装置106 (还通过目标装置的通信接口 112)
10建立非接收验证通信链路。在某些实施例中，可使用传输控制协议(TCP)层 操作来建立接收验证通信链路。此外，在其他实施例中，可使用用户数据报协
议(UDP)操作建立该非接收验证通信链路。该源装置102可进一步用于将存 储其中的或是从另一源重获的视频数据编码成多个视频层流。该视频层流包括 基础视频层流和至少一个其他视频层流。该源装置102可用于通过接收验证通 信链路将基础视频层流发送给目标装置106。此外，该源装置102可用于通过 非接收验证通信链路将至少一个其他视频层流发送给目标装置106。使用本发 明的教导，该基础视频层流可以稳健的方式从源装置102发送给目标装置106。 此外，由于其他视频层流的发送的非接收验证特性，所述至少一个其他视频层 流可以稳健度较低但是使用更少通信资源的方式从源装置102发送到目标装 置106。
图1的操作的与协议层操作相关的方面将参照图4作进一步说明。在不同 协议层中分离从源装置102传送到目标装置106的视频数据的实施例将参照图 5作进一步说明。源装置102和目标装置106的特殊实施例将参照图6作进一 步说明。源装置102的操作将参照图8作进一步说明。目标装置106的操作将 参照图9作进一步说明。
图2是根据本发明的一个或多个实施例操作的另一视频/音频系统的系统 框图。在图2的实施例中，源装置102支持与图1的源装置102相同的操作。 与图1的结构/操作相比，源装置102与中间装置206而不是目标装置210建 立接收验证和非接收验证通信链路。该接收验证和非接收验证通信链路均跨越 通信网络104建立。源装置102将视频数据编码成多个视频层流，该多个视频 层流包括基础视频层流和至少一个其他视频层流。接着该源装置102通过接收 验证通信链路将基础视频层流发送给中间装置206。此外，该源装置102通过 非接收验证通信链路将至少一个其他视频层流发送给中间装置206。
然而，中间装置206并非源装置102发送的流视频的最终目的地。该基础 视频层流和至少一个其他视频层流可通过提供接收验证通信链路和非接收验 证通信链路的中间装置206的通信接口212接收。如图2的实施例，该中间装 置206可使用代码转换器214转换接收的基础视频层流和至少一个其他视频层流。在执行代码转换操作的过程中，代码转换器214接收基础视频层流和至少
一个其他视频层流，并将分层视频(layered video)转换成单个视频层流再使 用通信接口212将单个视频层流经由第二通信网络208发送到另一端的目标装 置210。在图2的系统的一个特殊操作中，该第二通信网络可以比通信网络104 更为稳健。在该例子中，第二通信网络足够稳健以使其能够用于将单个视频层 流从中间装置206发送到目标装置210。
由于连接源装置102、中间装置206和代码转换器214的接收验证通信链 路和非接收验证通信链路并不总是接收来自源装置102的所有的视频层流。这 样，该代码转换器210的操作可基于接收到的流信息而随时间变化。在任何情 况下，代码转换器210可生成向第二通信网络208的另一端的目标装置210 传送的单个视频流。
目标装置210包括通信接口 216和解码器218。通信接口 216经由第二通 信网络208从中间装置206接收流视频。解码器218解码接收到的流视频以生 成视频数据，该视频数据可由目标装置210的显示器和用户接口呈现出来。或 该视频数据可存储到本地存储器中。
参照图1和2，音频数据也可以数据流的方式从源装置102发送到目标装 置106或210。可使用非接收验证通信链路和接收验证通信链路中的一个或两 者发送流音频数据。在某些实施例中，由于流音频数据没有流视频那么数据密 集(dataintensive),因此可使用非接收验证通信网络以基本稳健地方式发送编 码的音频数据。然而，在某些情况下，由于目标装置106或210有接收流音频 数据的需求，所以可通过该接收验证通信链路来接收流音频数据。
图3是根据本发明的一个或多个实施例的支持音频/视频分发的多个通信 网络和多个电子装置的系统框图。图3的系统300包括服务多个电子装置314、 316、 318、 320、 322、 324、 326、 328、 330、 332和334的多个通信网络302、 304、 306、 308和310。这些通信网络包括以太网/环球网(WWW) 302、 一个 或多个广域网/局域网(WAN/LAN) 304和306、以及一个或多个无线广域网/ 无线局域网/蜂窝网络(WLAN/WWAN/蜂窝网络)308和310。该因特网/WWW 302是普片熟知的并且支持因特网协议(IP)操作。该WAN/LAN 304和306
12支持电子装置314、 316、 318和320并支持IP操作。该WLAN/WWAN/蜂窝 网络308和310支持电子装置322、 324、 326、 328、 33、 332和334并且支持 IP操作。
该WLAN/WWAN/蜂窝网络308和310依照一个或多个接口标准操作，如 IEEE 802.1 lx、 WiMAX、 GSM、 EDGE、 GPRS、 WCDMA、 C画A、 3xEV-DO、 3xEV-DV等。该WLAN/WWAN/蜂窝网络308和310包括耦合到以太网/环球 网(WWW) 302的回程网络(back-haul network)，为支持无线的电子装置322、 324、 326、 328、 33、 332和334提供无线链路服务。在提供无线服务时，该 WLAN/WWAN/蜂窝网络308和310包括为支持无线的电子装置322、324、326、 328、 33、 332和334提供服务的基础装置(infrastructure device),如接入点和 基站。该WLAN/WWAN/蜂窝网络308和310提供的无线链路可由支持无线的 电子装置324-334共享，并且通常是有限数据吞吐量的。该数据吞吐量限制是 由于无线链路是公用的，并且无线链路会由于操作环境和/或仅仅是由于无线 链路具有基本数据吞吐量限制而降低数据吞吐量。
根据图3的系统300的操作，任何电子装置314、 316、 318、 320、 322、 324、 326、 328、 33、 332或334可用作如图1和2的源装置、中间装置或目 标装置，并将参照图4-9对这些装置作进一步的说明。该装置314-334中的每 一个可依照本发明的原理通过接收验证和非接收验证通信链路将分层视频流 经一个或多个服务网络302-310发送到该装置314-334中的其他装置。该装置 314-334中的其他装置可接收分层视频流并依照本发明的原理操作。
图4是根据本发明的一个或多个实施例的源装置和目标装置支持的协议 层的结构框图。基础视频层流和至少一个其他视频层流从源装置400发送到目 标装置401。通常，源装置400和目标装置401支持至少部分对应的协议层堆 栈。源装置400的协议层堆栈包括应用层402和412、传输层404和414、网 络层406、链路层408和物理层410。源装置400支持的物理层410是由源装 置400与通信网络104的接口方式确定的。例如，如果源装置400通过以太网 连接，其物理层410可以是以太网物理层。此外，链路层405可由物理层410 和源装置400的通信接口的其他限制来确定。网络层406可以是因特网协议(IP)层或是其他网络层。
根据本发明，该基础视频层流可通过接收验证通信链路从源装置400发送 到目标装置。在这一例子中，该接收验证通信链路包括接收验证链路层404。 这一接收验证链路层404的例子可包括TCP层、流传输协议控制(STCP)层、 流视频文件传输协议(SVSTP)层或是支持接收验证的另一协议层。应用层 402为接收验证链路层404服务。其他视频层流可通过非接收验证通信链路从 源装置400发送到目标装置401 。服务非接收验证通信链路的协议堆栈包括应 用层412和非接收验证链路层414。该非接收验证链路层414可以是用户数据 报协议(UDP)层或其他非接收验证的链路层协议。应注意，应用层402和 412是单独示出的。然而，在某些实施例中，应用层可以是为接收验证链路层 404和非验证链路层414两者提供服务的单个层。在其它实施例中，实时流协 议(RSTP)/实施传输协议(RTP)、RTP控制协议(RTCP)、流下载映射(Streaming Download Project, SDP)协议、会话初始化协议(Session Initiation Protocol, SIP) 和/或资源预定协议(Resource-Reservation Protocol, RSVP)可构成接收验证 通信链路和/或非接收验证通信链路的一部分。
目标装置401的协议堆栈对应于源装置400的协议堆栈(至少在网络层及 以上层)。这种情况下，该目标装置401包括构成为基础视频层流服务的接收 验证通信链路的一部分的应用层418和接收验证链路层420。此外，该目标装 置401包括构成服务于至少一个其他视频层流的接收验证通信链路的一部分 的应用层414和非接收验证链路层416。目标装置401还包括网络层422，其 可以是IP层422、链路层424和物理层426。如在源装置400的例子中一样， 该目标装置的物理层426和链路层424是针对目标装置401与通信网络104 的耦合方式特定的。例如，源装置400可通过以太网接口耦合到通信网络104， 而目标装置401可通过蜂窝接口标准(如GPRS、 EDGE、 IxEV-DO或其他无 线接口标准)耦合到通信网络104。在这样的实施例中，源装置400的链路层 408和物理层410当然可以不同于目标装置401的链路层424和物理层426。
图5是根据本发明的一个或多个实施例生成的多个视频图象的示意图。通 常，基础视频层流携带可被解码以生成基础视频502的视频帧。如图所示，基础视频502示出了在目标装置的显示屏上显示给用户的图象。该基础视频502 层可以是低分辨率的、可以是黑白的，也可是低色彩质量(colorquality)的， 或者是具有可以被至少一个其他视频层增强的其他特性的。所述至少一个视频 层流携带可增加到或是用于修改基础视频502的信息。所述至少一个视频层流 携带的信息的例子包括图形分层信息(graphics overlay information)、提高的分 辨率信息、增强的色彩信息、附加细节信息以及其他信息。根据本发明的各个 方面，所述至少一个视频层流携带的数据可由解码器用来生成合并的视频数 据。
例如，所述至少一个其他视频层可与基础视频层结合以生成具有增强图形 分层的基础视频504。此外，所述至少一个其他视频层可与基础视频层合并以 生成具有提高的分辨率的基础视频506 (标号506示出的图象仅仅是用于说 明)。所述至少一个其他视频层可包括能使得目标装置的解码器生成具有色彩、 附加细节或可通过至少一个其他视频流接收到的其他信息的视频图象。图5 中示出了具有色彩/附加细节的基础视频508(标号508示出的图象仅仅是用于 说明)。
由于基础视频502是由基础视频层流携带并且通过接收验证通信链路传 送的，该基础视频502可更稳健地发送给目标装置。尽管基础视频502的稳健 分发一般将消耗第一装置和目标装置两者的额外的网络资源和处理资源，使用 接收验证通信链路使得基础视频502可更稳建地发送。在该例子中，在目标装 置处，基础视频502—般比至少一个其他视频层流携带的视频信息更可用。这 样，如果至少一个其他视频层流携带了附加信息，该附加视频信息可能不是总 是可用的。在该例子中，目标装置处的编码器或解码器可在至少一个其他视频 流可用时使用其来增强基础视频502以生成视频信息504、 506或508。然而， 当至少一个其他视频层流中的一个或多个不可用时，目标装置处的解码器也可 能在大多数操作中生成基础视频502。图5中示出的例子假设该至少一个其他 视频层依赖于基础视频层。在其他实施例中，该至少一个其他视频层可不依赖 于基础视频层。
图6是根据本发明的一个或多个实施例构建和/或操作的电子装置的结构框图。该电子装置(视频/音频处理装置)602是图1和2中的一个或多个源装 置102、图1和2中的一个或多个目标装置106和210、以及图3的电子装置 314-334的代表实施例。图中示出了视频/音频处理装置602 (也可称做电子装 置)的组件。电子装置602的特定实施例可包括图6中示出的某些、大多数或 全部组件。
通常，该电子装置602包括处理电路604、存储器606、第一网络接口 608、 可选的第二网络接口 610、用户输入接口 612和用户输出接口 614。该用户输 入接口 612耦合到耳麦622、鼠标620和键盘618。用户输出接口 614耦合到 音频/视频显示装置616。该用户输出接口 614可耦合到耳麦622。该显示装置 616可包括监视器、投影仪、扬声器和其他可用于向用户显示输出音频和视频 的其他组件。该电子装置602是本发明的与音频/视频形成和传送相关的结构 和操作方法的实施例。
在电子装置602的特定构造中，可在音频和/或视频编码和/或解码操作中 采用专用硬件。在这一例子中，该电子装置602可包括解码电路634和编码电 路636。或，该电子装置602可包括非专用视频处理、协议堆栈、解码和/或解 码资源。在该例子中，电子装置602的操作可由处理电路604完成。除其自身 的PC操作外，该处理电路604可执行协议堆栈操作638并可编码/解码操作 640。在该例子中，处理电路604可包括特定硬件以执行操作638和640。或， 视频处理操作、协议堆栈操作638和编码/解码操作640可通过执行软件指令 来完成。在该例子中，该处理电路604从存储器608重获视频处理指令624、 协议堆栈指令626、解码指令628和/或编码指令630。该处理电路604执行这 些不同的指令624、 626、 628禾口/或630以完成指定的功能。处理电路604可 包括一个或多个处理装置，如微处理器、数字信号处理器、专用处理器 (application specific processor)或其他处理类型装置。存储器606可以是能够 存储数字信息的任何类型的数字存储器、易失性或是非易失性存储器，如 RAM、 ROM、硬盘驱动器、闪存RAM、闪存ROM、光驱或其他类型的数字 存储器。
该音频/视频处理装置602可包括第一网络接口 608和第二网络接口 610。通常，该电子装置602通过第一网络接口 608和第二网络接口 610之一接收视 频和音频流(位于数据包中)。在其他操作中，该电子装置602可从网络接口 608或610输出视频和音频流(位于数据包中)。
图7是根据本发明的一个或多个实施例构建和/或操作的又一电子装置的 结构框图。图7示出的电子装置为调制解调器/路由器/接入点装置702。该电 子装置702可对应于图2中的中间装置206 。与图6中的电子装置602相比， 图7的电子装置702接收基础视频流和至少一个其他视频层流，代码转换所述 视频层流，并生成输出复合视频流。为了完成这些操作，该电子装置702包括 处理电路704、存储器706、第二和第二网络接口 708和710、用户输入接口 712，并可包括专用电路。该专用电路可包括协议堆栈电路718和代码转换电 路720。
协议堆栈操作可作为专用硬件(如协议堆栈电路718)或软件或硬件和软 件的组合来执行。在这一例子中，处理电路704，处理其常规操作外，可执行 协议堆栈操作722和代码转换操作724。在该例子中，该处理电路704可从存 储器获取电缆调制解调器/AP/路由器指令712、协议堆栈指令714和代码转换 指令716，并处理这些指令。装置702的代码转换还包括改变传输数据包的分 辨率、改变传输流的帧速率和/或对传输流的视频内容作出额外改变。
图8是根据本发明的一个或多个实施例的用于在多个通信链路上发送视 频层流(video layer stream)的操作流程图。方法800始于源装置与目标装置 建立接收验证通信链路(步骤802)。该方法继续，源装置与目标装置建立非 接收验证通信链路(步骤804)。接着该方法包括源装置将视频数据编码成多 个视频层流，该多个视频层流包括基础视频层流和至少一个其他视频层流(步 骤806)。接着该源装置通过接收验证通信链路将基础视频层流发送到目标装 置(步骤808)。此后，该源装置通过非接收验证通信链路将至少一个其他视 频层流发送到目标装置(步骤810)。该方法还包括源装置通过通信链路将音 频流发送到目标装置(步骤812)。用于携带音频流的通信链路可以是接收验 证通信链路或非接收验证通信链路。
图9是根据本发明的一个或多个实施例的用于在多个通信链路上接收视频层流(video layer stream)的操作流程图。
方法900始于目标装置与源装置建立接收验证通信链路(步骤902)。该 方法继续，目标装置与源装置建立非接收验证通信链路(步骤904)。该方法 继续，目标装置通过接收验证通信链路接收基础视频层流(步骤908)。此后， 目标装置通过非接收验证通信链路接收至少一个其他视频层流(步骤910)。 接着，该目标装置解码该基础视频层流和至少一个其他视频层流以生成输出视 频数据(步骤912)。接着，该目标装置可存储该输出视频数据或通过包括显 示器的用户接口将该输出视频数据显示给用户。此外，该目标装置可通过一个 或多个通信链路接收音频流并解码该音频流以生成输出音频数据(步骤914)。 接着可通过用户接口将输出音频数据与输出视频数据一起呈现给用户。编码视 频层流和编码音频层流的解码可由目标装置中的单个解码装置/解码操作完 成。这一操作可分别执行，也可使得输出视频数据和输出音频输出同步以使得 音频数据和视频数据被恰当地呈现给用户。
此处使用的术语"电路"和"线路"可以是指独立电路或是可执行多个潜 在功能多功能电路的一部分。例如，根据实施例，处理电路可作为单芯片处理 器或作为多个处理芯片。同样地，在一个实施例中，第一电路和第二电路可组 合到一个电路中，或在另一实施例中，可在不同的芯片中独立运行。此处使用 的术语"芯片"是指集成电路。电路和线路可包括通用或专用硬件，并可包括 这一硬件和相关软件的组合，如固件或目标代码(objectcode)。
本发明通过借助方法步骤展示了本发明的特定功能及其关系。所述方法步 骤的范围和顺序是为了便于描述任意定义的。只要能够执行特定的功能和顺 序，也可应用其它界限和顺序。任何所述或选的界限或顺序因此落入本发明的 范围和精神实质。
以上还借助于说明某些重要功能的功能模块对本发明进行了描述。为了描 述的方便，这些功能组成模块的界限在此处被专门定义。当这些重要的功能被 适当地实现时，变化其界限是允许的。类似地，流程图模块也在此处被专门定 义来说明某些重要的功能，为广泛应用，流程图模块的界限和顺序可以被另外 定义，只要仍能实现这些重要功能。上述功能模块、流程图功能模块的界限及顺序的变化仍应被视为在权利要求保护范围内。
本领域技术人员也知悉此处所述的功能模块，和其它的说明性模块、模组 和组件，可以如示例或由分立元件、特殊功能的集成电路、带有适当软件的处 理器及类似的装置组合而成。
本领域普通技术人员可以理解，术语"基本上"或"大约"，正如这里可能用 到的，对相应的术语提供一种业内可接受的公差。这种业内可接受的公差从小 于1%到15%，并对应于，但不限于，组件值、集成电路处理波动、温度波动、 上升和下降时间和/或热噪声。本领域普通技术人员还可以理解，术语"可操作 地连接"，正如这里可能用到的，包括通过另一个组件、元件、电路或模块直 接连接和间接连接，其中对于间接连接，中间插入组件、元件、电路或模块并 不改变信号的信息，但可以调整其电流电平、电压电平和/或功率电平。本领 域普通技术人员可知，推断连接(亦即， 一个元件根据推论连接到另一个元件) 包括两个元件之间用相同于"可操作地连接"的方法直接和间接连接。本领域普 通技术人员还可知，术语"比较结果有利"，正如这里可能用的，指两个或多个 元件、项目、信号等之间的比较提供一个想要的关系。例如，当想要的关系是
信号1具有大于信号2的振幅时，当信号1的振幅大于信号2的振幅或信号2 的振幅小于信号1振幅时，可以得到有利的比较结果。
本发明通过借助方法步骤展示了本发明的特定功能及其关系。所述方法步 骤的范围和顺序是为了便于描述任意定义的。只要能够执行特定的功能和顺 序，也可应用其它界限和顺序。任何所述或选的界限或顺序因此落入本发明的 范围和精神实质。
此外，尽管以上是通过一些实施例对本发明进行的描述，本领域技术人员 知悉，本发明不局限于这些实施例，在不脱离本发明的精神和范围的情况下， 可以对这些特征和实施例进行各种改变或等效替换。本发明的保护范围仅由本 申请的权利要求书来限定。
权利要求
1、一种用于源装置向目标装置发送视频数据的方法，其特征在于，所述方法包括与目标装置建立接收验证通信链路；与目标装置建立接收非验证通信链路；将所述视频数据编码成多个视频层流，所述多个视频层流包括基础视频层流和至少一个其他视频层流；通过接收验证通信链路将所述基础视频层流发送给所述目标装置；通过非接收验证通信链路将所述至少一个其他视频层流发送给所述目标装置。
2、 根据权利要求l所述的方法，其特征在于，所述接收验证通信链路包括下列至少一个传输控制协议、流传输控制协议和流视频文件传输协议。
3、 根据权利要求l所述的方法，其特征在于，所述非接收验证通信链路包括用户数据报协议。
4、根据权利要求1所述的方法，其特征在于，所述接收验证通信链路和 所述非接收验证通信链路的区别在于对应协议堆栈的传输层。
5、 根据权利要求1所述的方法，其特征在于， 所述基础视频层流是独立视频流，且 所述至少一个其他视频层流依赖于所述独立视频流。
6、 根据权利要求1所述的方法，其特征在于，所述方法进一步包括 将音频数据编码成编码的音频流；和使用非接收验证通信链路将编码的音频流发送到目标装置。
7、 一种用于目标装置从源装置接收视频数据的方法，其特征在于，所述方法包括与源装置建立接收验证通信链路；与源装置建立接收非验证通信链路；通过接收验证通信链路从源装置接收基础视频层流；通过非接收验证通信链路从源装置接收至少一个其他视频层流；以及 解码所述基础视频层流和所述至少一个其他视频层流以生成输出视频数据。
8、 一种用于向目标装置发送视频数据的电子装置，其特征在于，所述电子装置包括通信接口；以及耦合到该通信接口的处理电路，所述处理电路用于通过该通信接口与目标装置建立接收验证通信链路；通过该通信接口与目标装置建立非接收验证通信链路；将视频数据编码成多个视频层流，所述多个视频层流包括基础视频层 流和至少一个其他视频层流；通过接收验证通信链路将所述基础视频层流发送给目标装置； 通过非接收验证通信链路将所述至少一个其他视频层流发送给目标装置。
9、 根据权利要求8所述的电子装置，其特征在于，所述接收验证通信链路包括下列至少一个传输控制协议、流传输控制协议和流视频文件传输协议。
10、 一种用于从源装置接收多个视频数据流的电子装置，其特征在于，所述电子装置包括通信接口；以及耦合到该通信接口的处理电路，所述处理电路用于 通过该通信接口与源装置建立接收验证通信链路； 通过该通信接口与源装置建立非接收验证通信链路； 通过该接收验证通信链路从源装置接收基础视频层流； 通过该非接收验证通信链路从源装置接收至少一个其他视频层流； 解码所述基础视频层流和所述至少一个其他视频层流以生成输出视频数据。
全文摘要
本发明涉及用于发送或接收视频数据的方法和装置。所述源装置和目标装置建立接收验证通信链路和非接收验证通信链路。该源装置将视频数据编码成多个视频层流，所述多个视频层流包括基础视频层流和至少一个其他视频层流。该源装置通过接收验证通信链路将所述基础视频层流发送给所述目标装置。该源装置通过非接收验证通信链路将所述至少一个其他视频层流发送给所述目标装置。该源装置也可编码音频数据并将编码后的音频数据发送给目标装置。所述目标装置接收并解码音频/视频流并将音频/视频数据显示给用户。
文档编号H04N7/173GK101527833SQ20091000790
公开日2009年9月9日 申请日期2009年2月25日 优先权日2008年2月25日
发明者吉汉·卡若古, 大卫·罗斯曼, 托马斯·J·奎格利, 斯蒂芬·戈丹, 谢孟·陈, 迈克尔·达夫 申请人:美国博通公司