专利名称：用于通过有损网络传输数据的系统和方法
技术领域：
本发明一般地涉及通过有损网络(lossy network)传输数据，更具体而言，涉及 提高通过有损的无线网络连接的数据传输性能。
背景技术：
与通过无线网络传输压缩视频相关联的典型问题包括服务质量(QoS)、等待时 间和维持基本图像完整性。例如，如果传输的视频数据的单个分组丢失，则视频数据通 常在时间域中被压缩这一事实会导致一个帧中的单个伪信号(artifact)在多个连续帧中传 播和级联。这些有损无线网络可以运行无线协议(例如IEEE 802.11X和802.15.3a所述协 议)以及视频压缩算法(例如AVC视频标准所述那些算法)。有损网络可以使用除无线 之外的传输方法，例如HomePlugAV电力线通信。在通过有损网络的视频传输期间，视频数据(有时称为“视频分组”)可能丢 失。例如，无线有损传输介质可能不可靠，因为传输的视频分组可能无法总是被无线接 收机所接收(无法精确地接收或根本无法接收)。为了应对这个问题，802.11X媒体访问 控制(MAC)要求在大多数情况下，接收到的分组(或对于该标准的802.11e扩展的分组 群组)将通过发回“ACK”信号而向发射机确认。因此，丢失ACK信号通常指示(一 个或多个)视频分组已经丢失。另外，视频分组数据还可能在接收机处丢失。例如，由于经高级视频编码 (AVC)编码的数据倾向于突发传输，因此意想不到的大突发可能使得在接收机一侧在 802.11X模块和AVC解码器自身之间的若干位置上的缓冲器溢出。大多数以这种方式丢 失的分组可以通过实时传输协议(RTP)反馈被检测到。为了减轻与有损网络通信相关联的某些固有缺陷，已经在所使用的数据编码标 准中建立了各种数据恢复和纠错特征。例如，H264/AVC是一种最近开发的编码标准， 其包括视频编码层(VCL)以有效地表示视频内容，以及网络提取层(NAL)，用于格式化 视频的VCL表示并以适合于特定传输层或存储介质传递的方式提供头部信息。尽管存在 这些努力，但是仍然需要提高通过有损网络连接(例如802.11X网络)的传输可靠性以及 差错隐藏能力。因此，仍然存在对于用于以减小失败传输的概率、提高成功解码的概率和/或 提高接收机一侧差错隐藏质量的方式来通过网络传输视频数据的改进系统和方法的未得 到满足的需求。
发明内容
这里公开并要求保护用于通过有损网络(例如无线网络)传输数据的系统和方 法。在一个实施例中，方法包括通过网络传输经编码的数据分组；如果所述经编码的 数据分组被成功传输，则接收确认信号；以及如果没有接收到确认信号，则确定重传尝 试的数目，其中重传尝试的数目至少部分基于经编码的数据分组中的数据类型。
这里还公开和要求保护其他实施例。
图1示出用于实现本发明的一个或多个方面的简化系统概况的一个实施例；图2示出用于根据一个实施例执行本发明一个方面的过程；图3示出用于根据一个实施例执行本发明另一方面的过程；以及图4示出用于根据一个实施例执行本发明又一方面的过程。
具体实施例方式本发明涉及一种系统，其中数据(例如视频数据)被至少部分地通过有损网络无 线地从服务器发送到一个或多个客户端侧系统。在一个实施例中，服务器包括编码器模 块和发射机，而客户端包括解码器模块和接收机。根据本发明一个方面，由服务器通过无线网络发送的未被成功接收的数据分组 可以被重传特定次数。在一个实施例中，重传尝试的数目基于丢失分组中的数据被认为 的重要程度。就是说，在一个实施例中，重传尝试的数目可以是自适应的，并且与不太 重要的分组(例如包含P帧的那些分组)相比，被认为越重要的分组(例如包含IDR帧 的那些分组)被重传的次数越多。在一个实施例中，前述数据分组可以通过H.264/AVC 编码器被编码和/或通过802.1 Ix无线网络连接被发送以由一个或多个H.264/AVC解码器 进行解码。本发明的另一方面用于提高在客户端一侧成功解码的概率。在一个实施例中， 这是通过使得对应于编码器的解码器信号将多个参考帧用于随后的预测操作来实现的。 在H.264/AVC系统的情况下，这允许参考在先帧(或在B帧的情况下还参考未来帧)中 的数据的帧(例如P帧)参考多个参考帧中的宏块，以便确定当前帧中的宏块。在另一实施例中，在客户端一侧成功解码的概率可以通过确切地标识原始数据 流中的哪些片段尚未在解码器处被接收到而得以提高。在一个实施例中，这可以通过 在针对给定分组的确认信号未被接收到并且已使用了所有分组重传尝试时进行通知来实 现。使用该信息，编码器可以随后在未来的编码操作中停止参考这些丢失的片段/宏 块。这随后可以限制未来解码帧中的差错在客户端一侧的传播。虽然在一个实施例中这 可以与前述操作同时完成，但是在另一实施例中，可以随后执行。本发明的另一方面用于估计由丢失的数据分组/片段所导致的数据失真。使用 该信息，被认为已经通过客户端处的差错隐藏充分重建的过去像素可以继续被参考，同 时可以避免参考没有被足够正确地重建的数据。在一个实施例中，如果客户端解码器确 切地知道哪种差错隐藏被使用，客户端自身则可以将失真级别指示回服务器。该信息随 后可被传输回服务器。但是，在另一实施例中，对接收数据的差错估计也可以通过估计 针对给定丢失的数据分组在客户端处的差错隐藏而在服务器一侧确定，并且随后可以通 过比较重建数据和在服务器处同样可获得的原始数据来估计失真。本发明的另一方面用于通过使用H.264/AVC编码器/解码器系统的灵活宏块顺 序(FMO)功能来提高客户端处的差错隐藏质量。就是说，IDR帧(图片中所有后续帧依 赖于IDR帧)的重建可以通过以下方式变得更鲁棒首先将每个IDR帧解构成η个场，
5从而使得IDR帧的所有宏块可以被不重复地包括在这η个场中。然后，每个场被划分成 m个片段。在一个实施例中，第一场的所有m个片段可以被首先发送，然后发送第二场 的所有m个片段，以此类推，直到所有η个场的所有m个片段都已被发送为止。这可能 是合乎需要的，因为有损网络环境(例如802.11X)中的差错通常是突发性的，其中差错 的短突发可能消除针对例如给定场的所有m个片段。据此，如果针对不同场(例如1、 3、4等等)的m个片段已经被正确地接收，则解码器(例如H.264/AVC解码器)的差错 隐藏功能可以内插相邻像素以估计丢失的像素，这是因为丢失的宏块在空间上被可获得 的宏块所围绕。虽然应该意识到本发明的所有或某些前述方面可以利用H.264/AVC编码器/解 码器系统和/或802.11X无线网络连接来实现，但是应该同样意识到，它们也可以利用其 它类似的编解码器和/或有损通信信道来实现。当用软件实现时，本发明的元素本质上是用于执行所需任务的代码段。程序或 代码段可被存储在处理器可读介质中或通过传输介质或通信链路利用包含在载波中的计 算机数据信号来传输。H.264/AVC 概沭H.264/AVC标准支持视频编码，该视频编码包含逐行帧、交错帧或将两者混合 在同一序列中。一般而言，视频帧包含两个交织场，即顶场(top field)和底场(bottom field)。通过场周期在时间上分离开的交错帧的两个场可以作为两场图片被分开编码或作 为一帧图片被一起编码。另一方面，逐行帧作为单帧图片被编码。但是，其仍旧被认为 在同一时刻包含两场。下面将更详细描述的VCL代表视频数据的内容。相反，NAL格式化数据并以 适合于通过传输层或存储介质的传递的方式提供头部信息。所有数据被包含在NAL单元 中，每个NAL单元包含整数个字节。NAL单元指定用在面向分组系统和比特流系统两 者中的通用格式。H.264/AVC标准的VCL在实质上类似于诸如MPEG-2之类的其他标准。简言 之，其包含时间和空间预测的结合以及变换编码。每个视频图片(其可以是一帧或一场) 被划分成固定大小的宏块，所述宏块覆盖亮度分量的16X 16个样本和两个色度分量中的 每一个的8X8个样本的矩形图片区域。宏块的所有亮度和色度样本在空间上或时间上被 预测，并且所产生的预测残差(predictionresidual)使用变换编码被发送。宏块被组织成片段(slice)，所述片段代表给定图像的可以独立解码的部分，并 且比特流中宏块的发送顺序取决于宏块分配映射。H.264/AVC标准支持五种不同的片段 编码类型。最简单的一种被称为I片段或帧内片段。在I片段中，所有宏块在不参考视 频序列中的其他图片的情况下被编码。另一方面，编码前图像可被用于形成用于预测编 码P和B片段(其中P代表预测，B代表双预测)的宏块的预测信号。两种附加片段类 型是SP(切换P)和SI(切换I)，它们是针对以各种比特率编码的比特流之间的有效切换 而指定的。H.264/AVC标准支持被称为灵活宏块顺序(FMO)的特征，其中指定将图片中的 宏块分配给一个或多个片段组的样式。每个片段组随后可以被分开发送。系统体系结构概述
图1示出用于执行本发明的一个或多个方面的系统100的一个实施例。具体而 言，系统100包括对来自源110的视频内容的捕获。在一个实施例中，视频内容115可 以是从实时视频源发送的实时内容。无论视频内容115是否是实时内容，其随后都可被 提供到服务器135，在该实施例中，服务器135包含编码器120和发射机130。在一个实 施例中，编码器120处理来自源110的视频内容115，以便将编码数据125经由网络140 提供到某个目的地点。在一个实施例中，编码器120可以根据前述H.264/AVC编码标准 对视频内容115编码。但是，应该同样意识到，本发明可以被用于除了 H.264/AVC编码 标准之外类似编解码器。一旦被编码，编码数据125就被提供到发射机，以提供到客户端145，如图1所 示。虽然在一个实施例中发射机130是802.11X或802.15.3a无线发射机，但是应该同 样意识到，发射机130也可以根据多种其他有损协议发射数据。无论采用什么无线协 议，编码数据125都可被随后提供到网络140并通过网络140发送。在一个实施例中， 编码器120可以根据前述H.264/AVC编码标准对视频内容115编码。但是，应该同样 意识到，本发明可以被用于除了 H.264/AVC编码标准之外类似编解码器，并被用于除了 802.11x/802.15.3a无线网络之外的有损网络。继续参考图1，客户端145包括接收机150和解码器155。编码数据125可以由 与网络140 (例如因特网)通信的接收机145接收。接收机150随后可以将编码数据125 提供到解码器150。在另一实施例中，编码数据125可以被多个客户端侧设备(未示出) 接收和解码。取决于编码器120所用编码标准(例如H.264/AVC)，解码器155随后可 以对编码数据125执行特定解码操作，以将解码出的视频内容160提供到连接的显示设备 165，如图1所示。应该意识到，服务器135和客户端145可以具有除图1所示配置之外的多种配 置。例如，编码器120和发射机130中的任意一个或其两者可以与服务器135相分离。 类似地，解码器155和接收机150中的任意一个或其两者无需被集成到客户端145中。虽然未示出，但是应该同样意识到，服务器135和/或客户端145可以包括其他 组件，例如包含用于执行计算的算术逻辑单元(ALU)的中央处理单元(CPU)、用于临时 存储数据和指令的寄存器的集合以及用于控制计算机系统的操作的控制单元。在一个实 施例中，CPU可以是Intel 公司投入市场的x86、Pentium 类微处理器、AMD 投入 市场的微处理器或Cyrix 公司投入市场的6x68MX微处理器中的任意一种。另外，多 种其他处理器(包括来自 Sun、Microsystems、MIPS、IBM、Motorola、NEC、Cyrix、 AMD、Nexgen等公司的处理器)中的任意一种也可被使用。此外，任意这样的CPU无 需被局限于微处理器，而可以采取其他形式，例如微控制器、数字信号处理器、缩减指 令集计算机(RISC)、专用集成电路等等。服务器135和/或客户端145可以包括的其他组件是随机访问存储器、非易失性 存储器(例如硬盘、软盘、CD-ROM、DVD-ROM、磁带、高密度软盘、高容量可移动介 质、低容量可移动介质、固态存储器件等以及它们的组合)。服务器135和/或客户端 145还可以包括网络接口(例如网络接口卡、调制解调器接口、集成服务数字网络等等) 和用户输入设备(例如键盘、鼠标、操纵杆等使得用户能够于命令交互和提供命令的设
还应该意识到，服务器135和/或客户端145可以包括用于控制服务器135和 /或客户端的操作以及分配资源的系统固件(例如系统BIOS)和操作系统(例如DOS、 Windows、Unix、Linux、Xenix 等等)。减小失败传输的概率如上所述，本发明的一个方面在于能够减小失败传输的概率。为此，图2示出 根据本发明一个实施例可以如何减小失败传输的概率的过程200。通过实时无线传输， 无法总是确保所有数据分组的成功传输。具体而言，过度的冗余传输可能导致无法接受 的等待时间。虽然如此，有些数据分组可能被认为比其他数据分组更重要。因此，重传 尝试的数目可以是被讨论的分组的重要性的函数。例如，包含立即解码器刷新(IDR)帧 的分组与不太重要的分组(例如包含预测帧或P帧的分组)相比可能被重传更多次。为 此，过程200开始于框210，其中传输数据分组。然后可在框220处判断分组是否被接 收。在一个实施例中，该判断可以基于目的地接收机(例如客户端145)是否提供ACK 信号回到源(例如服务器135)。但是，应该同样意识到，成功分组传递也可以利用其他 手段来判断。如果在框220处确定被讨论的分组实际上被接收到，过程200则简单地移动到框 230，其中处理下一数据分组。另一方面，如果确定分组没有被正确地接收到，过程200 则可以继续到框240，其中判断应该针对给定分组尝试多少次重传。在一个实施例中，重 传尝试的数目基于包含在该给定分组中的数据的重要性。在另一实施例中，重传的数目 在实现重传的所有级别上是自适应的。例如，如果可靠或半可靠RTP重传已被实现，则 重传数目可以在802.1 Ix MAC层上以及在RTP层上是自适应的。一旦分组的重传数目已被确定，过程200则将继续到框250，其中确定分组是否 应该被重新发送。如果重传尝试的数目等于0，则分组将不被重新发送并且过程200结 束。另一方面，如果重传尝试的数目大于0，则过程200将继续到框260，其中分组被重 新发送，然后剩余的重传尝试的数目减1(框270)。一旦分组被重新发送，随后必须在框 280判断重新发送的分组是否这次被接收到。如果是，过程200则简单地移动到框230， 其中下一数据分组被处理。如果否，过程200则移动回框250，其中判断是否应该重新发 送分组(即判断重传尝试的数目是否等于0)。增大成功解码的概率如上所述，本发明的另一方面在于增大在有损传输的客户端一侧的成功解码的 概率。为此，图3示出用于改进通过有损网络(例如网络140)传输的视频内容的解码的 过程300的一个实施例。具体而言，过程300开始于判断传输失败的数目是否已经增大。 这可以例如通过检测客户端侧设备(例如客户端145)发送的ACK数目的减少来实现。在 一个实施例中，可以使用预定阈值来比较ACK的数目。一旦ACK的数目(或每给定时 间段接收ACK的速率)落在预定阈值以下，过程300则继续到框310、320和335中的一 个或多个。就是说，过程300的一些部分可以被同时或顺序执行。例如，过程300中包 含框310-315的部分可以与以下参考框320-330和/或框335-345所述操作同时执行。一旦ACK的数目(或接收ACK的速率)落在预定阈值以下，客户端或解码器 侧则可以向编码器发回信号以通知其应该将多个参考帧用于预测目的。例如，在H.264/ AVC编码器的情况下，参考在先帧中的数据的P帧(或在B帧的情况下还参考未来帧)参考多个参考帧中的宏块，以便确定当前帧中的宏块。因此，如果参考帧之一由于有损 传输差错而丢失，假设其他参考帧没有丢失，则当前帧仍然可以被成功重建。因此，通过使用多个参考帧(框315)，丢失帧将导致级联效应的概率可以有效 地降低，其中所述级联效应导致未来预测帧的毁损。如从框315发起的虚线所示，框 310-315的操作可以与下面将参考框320-330和335-345描述的操作同时或顺序执行。无论顺序还是同时执行，在框320处，服务器侧(例如服务器135)可以确切地 识别原始视频流的哪些片段尚未在解码器处被接收到。在一个实施例中，该信息可获 得，因为服务器由于在802.11X MAC层上尚未接收到针对给定分组的ACK信号而知道哪 些数据分组丢失，或者知道哪些RTP分组在RTP应用层上丢失。一旦丢失的片段已经被 识别出，过程300就可以继续到框325，其中编码器被确切地通知哪些片段(因此哪些宏 块)尚未被解码器接收到。使用该信息，编码器(在一个实施例中是H.264/AVC编码器) 将停止在未来的P和B帧中参考这些丢失的片段/宏块(框330)。在另一实施例中，如 果必要，编码器还可以生成附加的IDR帧。与过程300的前述操作同时地或顺序地，在框335处，由丢失分组导致的失真识 别可以被服务器估计出。这可能是很重要的，因为不是所有丢失分组都会使视频同样地 恶化，尤其由于很多解码器(例如H.264解码器)采用差错隐藏。在一个实施例中，客 户端自身可以估计由丢失分组导致的客户端视频的失真。这可能是优选的，因为解码器 将确切地知道其如何实现的可能专门的差错隐藏。在此情况下，失真级别可以被传送回 服务器(框340)。可替换地，该客户端和服务器之间的返回通信信道可能是不可靠的。在此情况 下，对最终视频的差错估计也可以通过估计客户端处针对给定丢失片段/分组的差错隐 藏在服务器处被确定。失真可以通过将重建的视频与在服务器处同样可获得的原始视频 相比较来估计。无论失真在客户端一侧还是在服务器一侧被估计，该信息随后都被编码 器仅用来参考过去像素，所述过去像素被认为已经通过客户端处的差错隐藏被充分地重 建(框345)。除了实时视频内容之外，图3的过程300还可被用于预存储在服务器一侧(例 如在PVR上或ISP的头端处)的流。在此情况下，同样编码流的若干版本可以被预存 储，这可以减少在处理过程中产生这些编码数据的多个版本的等待时间。在内容被实时 编码的其他情况下，在对等待时间要求严格的应用中，优选地，以允许多个编码流(例 如H.264/AVC)之间进行切换的方式同时生成多个编码流，以限制对上述任意特定丢失片 段的依赖性。提高差错隐藏的质量如上所述，本发明的另一方面在于提高在有损传输的客户端一侧的差错隐藏的 质量。为此，图4示出用于使用差错隐藏减小由丢失宏块导致的视频内容失真的过程400 的一个实施例。在H.264/AVC编码器的情况下，灵活宏块顺序(FMO)可获得。IDR帧 (图片中所有后续帧依赖于IDR帧)的重建可以使用图4的过程400而变得更鲁棒。具 体而言，过程400开始于框410，其中将每个IDR帧解构成η个场。如下面将参考图5 所示，每个场可以包含在空间上与其他宏块间隔ρ个宏块的多个宏块。因此，IDR帧的 所有宏块可以被包括在η个场中而不重复。此后，在框420处，每个场可通过NAL被划分成m个片段，其中无线网络(例如802.11X)链路层可以施加大小限制。一旦场被划分成m个片段，过程400就可以继续到框430，其中第一场的m个 片段可以首先发送，然后是第二场的m个片段，以此类推，直到所有η个场的m个片段 都已被发送为止。这种形式的传输对于通过有损网络的传输尤其有用，在有损网络中， 差错通常是突发性的(例如802.11X)，其中差错的短突发可能消除给定场的所有m个片 段。但是，如果针对不同场(例如1、3、4等)的m个片段已被正确地接收，则假如丢 失宏块在空间上与可获得的宏块相邻或被可获得的宏块所围绕，则解码器(例如H.264/ AVC解码器)的差错隐藏功能将能够内插相邻的像素以估计出丢失的像素。该方法避免 了发送复制数据以补偿丢失的分组或片段的需求，因此需要的带宽更少。在另一实施例 中，不是单个宏块被η个宏块隔开，而是单个宏块本身可被扩展为包括围绕原始宏块的 一组宏块。在另一实施例中，如果在网络的其他级发生严重的拥塞，图4的编码过程400还 可能帮助缓冲器管理和流播栈在无线传输之前(或在无线接收之后)确定哪些数据分组可 以被丢弃。丢弃包含帧中各场之一的网络分组与随机地丢弃原始流中的任意分组相比， 可以在接收机处获得更好的解码视频质量。还应该意识到，对于使用空间复用MIMO无 线技术的特定应用，可以可选地在分离的空间信道上发送每一场，以进一步提高性能。
虽然前述过程400是就IDR帧来描述的，但是还应该意识到，其可以被用于任意 类型的包含空间帧内数据的数据帧，只要可用带宽和计算资源允许即可。限在参考图5，其示出由4场构成的IDR帧500的一个实施例，其中任意一场的 单独宏块在水平和垂直方向上都在空间上被彼此分开P = I个宏块。例如，如图5所示， 场#3由被标记为“3”的所有单独的宏块构成。以这种方式，场#3可以在多个片段/ 分组中被发送，以便通过提高解码器一侧的差错隐藏功能来减少突发差错序列。图6示出IDR帧600的另一实施例。但是，在图6的实施例中，IDR帧600由 多个“超宏块”构成。在该实施例中，超宏块由4个单独的宏块构成，这4个单独的宏 块包含同一场的数据。因此，所有标记为#1的超宏块例如被认为是场#1的一部分，并作 为一个或多个片段被顺序发送。此后，对于场#2 (相应地由标记为#2的超宏块构成)、 场#3等等是同样的。在传输中丢失一场的情况下，与图5的基于宏块的算法相比，图6 的超宏块算法将倾向于提高编码效率，但是降低了解码器处重建的精确性。虽然结合各个实施例描述了本发明，但是将会理解，本发明能够具有进一步的 修改。本申请希望覆盖本发明所属领域中的已知和惯用实践中遵从本发明的原理并包括 这样偏离本公开的内容的本发明的任意变化、使用或变更。
权利要求
1. 一种方法，包括通过网络发送经编码的数据分组；如果所述经编码的数据分组被成功发送，则接收确认信号；以及 如果没有接收到所述确认信号，则确定重传尝试的数目，其中所述重传尝试的数目 至少部分基于所述经编码的数据分组中的数据的类型。
2.如权利要求1所述的方法，其中所述经编码的数据分组是根据H.264/AVC编码标 准被编码的。
3.如权利要求2所述的方法，其中所述网络是有损无线网络。
4.如权利要求1所述的方法，其中所述重传尝试的数目在所述经编码的数据分组中 的数据的所述类型是立即解码器刷新(IDR)帧数据时增大。
5.如权利要求1所述的方法，还包括判断传输失败的数目是否超过预定阈值；并且如果是，则发信号通知应该使用多个 参考帧进行编码预测。
6.如权利要求5所述的方法，其中判断传输失败的数目是否超过预定阈值包括检测 发送的确认信号的数目的减少。
7.如权利要求1所述的方法，还包括判断传输失败的数目是否超过预定阈值；并且如果是， 识别未能成功发送的所述经编码的视频数据的一个或多个片段； 将所述一个或多个片段通知给所述经编码的视频数据的编码器；以及 当编码所述经编码的视频数据的后续帧时停止参考所述一个或多个片段。
8.如权利要求1所述的方法，还包括估计由于通过所述网络传输的多个丢失数据分组的不成功接收所导致的失真级别；并且使用所述失真级别来编码附加视频数据，以避免参考所述多个丢失数据分组。
9.一种系统，包括 网络；耦合到所述网络的客户端，所述客户端包括解码器和接收机；耦合到所述网络的服务器，所述服务器包括编码器和发射机，其中所述服务器用于通过所述网络发送经编码的数据分组到所述客户端；如果所述经编码的数据分组被成功发送到所述客户端，则接收确认信号；以及 如果没有接收到所述确认信号，则确定重传尝试的数目，其中所述重传尝试的数目 至少部分基于所述经编码的数据分组中的数据的类型。
10.如权利要求9所述的系统，其中所述经编码的数据分组是根据H.264/AVC编码标 准被编码的。
11.如权利要求10所述的系统，其中所述网络是有损无线网络。
12.如权利要求9所述的系统，其中所述重传尝试的数目在所述经编码的数据分组中 的数据的所述类型是立即解码器刷新(IDR)帧数据时增大。
13.如权利要求9所述的系统，其中所述客户端用于判断传输失败的数目是否超过预定阈值，并且如果是，则发信号通知所述服务器应该使用多个参考帧进行编码预测。
14.如权利要求13所述的系统，其中所述客户端通过检测所述客户端发送的确认信 号的数目的减少来判断所述传输失败的数目是否超过所述预定阈值。
15.如权利要求1所述的系统，其中所述服务器还用于 判断传输失败的数目是否超过预定阈值；并且如果是，识别未能成功发送的所述经编码的视频数据的一个或多个片段；以及 当编码所述经编码的视频数据的后续帧时停止参考所述一个或多个片段。
16.如权利要求1所述的系统，其中所述服务器和客户端中的至少一个用于估计由 于通过所述网络传输的多个丢失数据分组的不成功接收所导致的失真级别，并且其中所 述编码器用于使用所述失真级别来编码附加视频数据，以避免参考所述多个丢失数据分 组。
17.—种方法，包括通过无线网络发送多个经编码的数据分组；当数据分组被成功发送时接收针对所述多个经编码的数据分组中的每一个的确认信 号；以及判断传输失败的数目是否超过预定阈值，并且如果是， 则发信号通知应该使用多个参考帧进行编码预测。
18.如权利要求17所述的方法，其中所述多个经编码的数据分组是根据H.264/AVC 编码标准被编码的。
19.如权利要求18所述的方法，其中所述无线网络是有损无线网络。
20.如权利要求1所述的方法，还包括如果特定经编码的数据分组未被成功发送，则 确定针对该分组的重传尝试的数目，其中所述重传尝试的数目至少部分基于所述经编码 的数据分组中的数据的类型。
21.如权利要求20所述的方法，其中所述重传尝试的数目在所述经编码的数据分组 中的数据的所述类型是立即解码器刷新(IDR)帧数据时增大。
22.如权利要求17所述的方法，其中判断传输失败的数目是否超过预定阈值包括检 测发送的确认信号的数目的减少。
23.如权利要求17所述的方法，还包括识别未能成功发送的所述多个经编码的视频数据的一个或多个片段；以及 当编码所述经编码的视频数据的后续帧时停止参考所述一个或多个片段。
24.如权利要求17所述的方法，还包括估计由于通过所述网络传输的多个丢失数据分组的不成功接收所导致的失真级别；并且使用所述失真级别来编码附加视频数据，以避免参考所述多个丢失数据分组。
全文摘要
一种可用于减小通过有损无线网络的失败传输的概率的编码器/解码器系统。在一个实施例中，未能通过无线网络成功发送的数据分组可以被重传特定次数，该特定次数取决于丢失分组中的数据的重要程度。在另一实施例中，在客户端一侧成功解码的概率可以通过向服务器发信号通知应该使用多个参考帧进行随后的预测操作来实现。
文档编号H04L12/56GK102017539SQ200680028983
公开日2011年4月13日 申请日期2006年7月28日 优先权日2005年8月5日
发明者比海姆·达科斯塔 申请人:索尼株式会社, 索尼电子有限公司