用于压缩视频通信的带差错反馈的长期参考帧管理的制作方法

文档序号:7938383阅读:279来源:国知局

专利名称::用于压缩视频通信的带差错反馈的长期参考帧管理的制作方法
技术领域
:本公开一般地涉及视频通信。
背景技术
:当压縮视频从源经由网络被发送给目的地时,丢失的分组会引起可视差错。在源处,源编码器通常使用也称为帧间编码的时间预测编码,其中,对帧与参考图片之间的差进行编码。这样的经帧间编码的帧有时被称为INTER帧。在朝向目的地点的分组传送的情况中,如果存在差错,例如,丢失的分组,则差错会被传播给随后的帧。一个解决方案是源偶然地但是充分经常地发送例如不依赖于某些过去的帧的独立编码的帧,例如,也被称为INTRA帧的经帧内编码的帧。独立编码的帧也被称为I帧。然而,I帧比INTER帧使用更多的比特,所以,为了增大压縮,希望不发送I帧。当从目的地回到传送的源的传送是可能的时,已知利用来自解码器的有关是否己经存在差错(例如丢失的分组)的反馈的抗差错方法(errorresilientmethod)。接收这样的反馈的编码器例如可以通过以不参考错误数据的方式对下一帧进行编码来校正差错。一种方法是编码器在被通知差错之后发送I帧。一种更有效的方法是编码器开始使用不同的(例如较早的)帧作为时间预测编码的参考帧。在这样的情况中,编码器需要向解码器指示其已经完成了这些以及哪个帧是用于预测编码的参考帧,使得编码器和解码器可以关于哪个帧正被用作用于帧间编码的参考图片保持同步。这有助于避免使用经帧内编码的I帧。已知的用于使用反馈来提供抗参考图像差错的方法处理单个的发送编码器和单个的接收解码器。随着高清晰的到来,已知使用许多解码器的解码系统,这许多解码器例如是许多可编程处理器("解码处理器"),其中各个处理器同时对图像的不同部分进行解码。编码器和解码器各自包括用于维护数据结构的存储器,所述数据结构用于存储用来对经帧间编码的数据进行编码/解码的参考图像。每个解码器可以提供用来向编码器指示它是否已经接收到数据的反馈。在源处,编码器可以通过向目的地处的解码器发送使用一个或另一个参考图片的指令来进行响应。当某些而非所有的解码器都正确地接收到这样的指令时,产生了一个问题。编码器需要确信目的地处的所有解码器都使用相同的适当的参考图片。在多点视频远程会议系统中出现了类似的问题。假定源处的编码器向各自具有至少一个解码器的多个目的地发送经编码的视频。源编码器和各个目的地处的一个或多个解码器各自包括具有用于存储用来对经帧间编码的数据进行编码/解码的参考图像的数据结构的存储器。每个目的地解码器可以提供用来向源编码器指示目的地是否已经正确接收到数据的反馈。源编码器可以通过发送用来在每个目的地解码器处使用一个或另一个参考图片的指令来进行响应。当某些而非所有目的地(例如,每个目的地处的每个解码器)正确地接收了这样的参考图片指令时,产生了问题。这样的情况中的源编码器需要确信所有的目的地解码器在使用相同的适当的参考图片。
发明内容本发明的实施例包括一种方法、设备以及被编码在一个或多个计算机可读有形介质中以执行方法的逻辑。该方法用来管理经由网络向多个解码器进行发送的编码器与从网络接收数据的多个解码器之间的参考帧的使9用,其中外壳是容易出错的并且其中解码器向编码器提供反馈。该方法确保编码器和解码器都使用相同的长期参考帧。一个实施例包括一种方法,该方法包括源处的编码器发送包括参考帧消息的压縮视频数据,参考帧消息用于从参考帧消息中所指示的新近帧创建长期参考帧,发送是朝向一个或多个目的地点处的多个解码器的。该方法还包括从多个解码器接收反馈,反馈指示解码器是否成功接收到参考帧消息并且能利用所指示的新近帧。在所接收到的反馈是这些解码器中的至少一个没有成功接收到参考帧或不具有所指示的新近帧的情况中,重复向多个解码器发送用来从所指示的新近帧创建长期参考帧的参考帧消息,并且接收反馈直到编码器已经从多个解码器的每一个解码器接收到指示参考帧消息的成功接收并且指示能利用参考帧消息中所指示的新近帧的反馈为止,使得在编码器具有所有解码器处的成功接收和利用的指示之后,编码器在从解码器中的至少一个解码器接收到差错反馈之后,可操作用于使用长期参考帧作为用于视频的时间预测编码的参考帧,从而使得编码器能够在接收到差错反馈之后避免使用独立编码的帧。在一个实施例中,编码器不时地发送另外的参考帧消息,另外的参考帧消息用于从参考帧消息中所指示的不同新近帧创建不同的长期参考帧,发送是朝向一个或多个目的地点处的多个解码器的,这样,长期参考帧利用经更新的帧被不时地更新,在编码器已经从所有解码器接收到每一个解码器都已经成功接收到参考帧消息并且具有经更新的帧的反馈之前,任何经更新的帧对于用作参考帧都不会变得有效。一个实施例包括一种设备,该设备包括网络接口,该网络接口可操作用来耦合到网络;编码器,该编码器耦合到网络接口,并且可操作用来生成压縮视频数据并且在其中嵌入参考帧消息,参考帧消息用于命令任何接收解码器从参考帧消息中所指示的新近帧创建长期参考帧。该设备还包括控制器,该控制器耦合到网络接口和编码器,并且可操作用于使得编码器发送嵌入了参考帧消息的压縮视频数据,发送是经由网络朝向一个或多个目的地点处的多个解码器的,控制器还可操作用于接受从多个解码器接收到的反馈,反馈指示解码器是否成功接收到参考帧消息并且能利用所指示的新近帧。该控制器还可操作用于,在所接收到的反馈是解码器中的至少一个解码器没有成功接收参考帧消息或不具有所指示的新近帧的情况中,使得编码器重复向多个解码器发送用来从所指示的新近帧创建长期参考帧的参考帧消息。该控制器还可操作用于接收反馈直到从多个解码器的每一个解码器接收到指示参考帧消息的成功接收并且指示能利用参考帧消息中所指示的新近帧的反馈为止,使得控制器在具有所有解码器处的成功接收和利用的指示之后,控制器能够可操作用于,在从解码器中的至少一个解码器接收到差错反馈的指示之后,使用长期参考帧作为用于视频的时间预测编码的参考帧,从而使得作为设备接收到差错反馈的结果,编码器能够避免使用独立编码的帧。一个实施例包括一种设备,该设备包括用于对数据进行编码来形成压縮视频数据的装置;用于将参考帧消息与压縮视频数据相嵌的装置,参考帧消息用于命令解码器从参考帧消息中所指示的新近帧创建长期参考帧;用于向一个或多个目的地点处的多个解码器发送包括参考帧消息的压縮视频数据的装置;以及用于从多个解码器接收反馈的装置,反馈指示解码器是否成功接收到参考帧消息并且能利用所指示的新近帧。该设备还包括控制装置,该控制装置可操作用于,在所接收到的反馈是解码器中的至少一个解码器没有成功接收参考帧消息或不具有所指示的新近帧的情况中,使得用于编码的装置、相嵌的装置和用于发送的装置重复向多个解码器发送用来从所指示的新近帧创建长期参考帧的参考帧消息,并且可操作用于使得用于接收的装置接收反馈直到从多个解码器的每一个解码器接收到指示参考帧消息的成功接收并且指示能利用参考帧消息中所指示的新近帧的反馈为止,使得在用于接收的装置具有所有解码器处的成功接收和利用的指示之后,控制装置可操作用于,在用于接收的装置从解码器中的至少一个解码器接收到差错反馈之后,使得用于编码的装置使用长期参考帧作为用于视频的时间预测编码的参考帧,从而使得在设备接收到差错反馈之后,编码器能够避免使用独立编码的帧。一种如权利要求24的设备,其中,该控制装置可操作用于不时地使得发送另外的参考帧消息,另外的参考帧消息用于从参考帧消息中所指示的不同新近帧创建不同的长期参考帧,发送是朝向一个或多个目的地点处的多个解码器的,这样,长期参考帧利用经更新的帧被不时地更新,在设备已经从所有解码器接收到每一个解码器都已经成功接收到参考帧消息并且具有经更新的帧的反馈之前,任何经更新的帧对于用作参考帧都不会变得有效。一个实施例包括一种被编码在编码器处的一个或多个有形介质中的用于执行的逻辑(例如软件),逻辑当被执行时可操作用于实现一种方法,方法包括源处的编码器发送包括参考帧消息的压縮视频数据,参考帧消息用于从参考帧消息中所指示的新近帧创建长期参考帧,发送是朝向一个或多个目的地点处的多个解码器的。该方法还包括从多个解码器接收反馈,反馈指示解码器是否成功接收到参考帧消息并且能利用所指示的新近帧。在所接收到的反馈是这些解码器中的至少一个没有成功接收到参考帧或不具有所指示的新近帧的情况中,重复向多个解码器发送用来从所指示的新近帧创建长期参考帧的参考帧消息,并且接收反馈直到编码器己经从多个解码器的每一个解码器接收到指示参考帧消息的成功接收并且指示能利用参考帧消息中所指示的新近帧的反馈为止,使得在编码器具有所有解码器处的成功接收和利用的指示之后,编码器在从解码器中的至少一个解码器接收到差错反馈之后,可操作用于使用长期参考帧作为用于视频的时间预测编码的参考帧,从而使得编码器能够在接收到差错反馈之后避免使用独立编码的帧。具体实施例可以提供这些方面、特征或优势中的全部、某些或不提供它们。具体实施例可以一个或多个其它的方面、特征或优势,其中的一个或多个可能对本领域技术人员而言是从示图、说明书和权利要求中显而易见的。图1A示出编码器的实施例和具有多个解码器的解码系统的实施例,编码器和各个解码器维护参考帧库。编码器和解码器根据本发明的编码器实施例进行操作。图IB示出经由网络耦合的编码器的实施例和不同端点处的多个解码器的实施例,编码器和解码器各自维护参考帧库。编码器和解码器根据本发明的编码器实施例进行操作。图2A示出编码器向第一和第二解码器发送参考帧消息并且一个解码器正确接收参考帧而第二解码器经历差错的实施例的表示。图2B示出根据本发明实施例,第一和第二解码器发送回差错反馈并且编码器接收该反馈。图2C以简化形式示出根据本发明实施例,编码器重复尝试形成长期参考帧并且第一和第二解码器两者都成功接收到用来形成长期参考帧的参考帧消息。图2D示出根据本发明实施例,第一和第二解码器发送回确认成功接收的反馈,并且编码器将长期参考帧标记为可用和有效。图3以简化形式示出根据本发明实施例操作的编码器处的状态图。图4更详细地示出图3的状态图的状态中的一个。图5示出本发明一个实施例中,参考帧消息中用于从编码器向解码器发信号的命令。具体实施例方式本发明的实施例包括方法、设备和在一个或多个计算机可读有形介质中被编码来执行方法的逻辑。该方法用于管理经由网络向多个目的地解码器进行发送的源处的编码器与从网络接收数据的多个解码器之间的参考帧的使用,其中该网络是易出错的,并且其中解码器向编码器提供反馈。该方法用于确保编码器和解码器都使用相同的长期参考图片。目的地解码器按顺序向源编码器提供反馈以提供关于参考图片的使用的抗差错的一种已知的方法称为NEWPRED。NEWPRED已经变成ITU-TH.263视频编码标准的附录N。NEWPRED和类似的方法定义了用于经帧间编码的帧的差错恢复工具,包括用来选择用于INTRA帧的参考图片的机制、用于目的地解码器发送反馈的机制和用于源编码器接收来自解码器的反馈并且基于反馈进行动作的机制,所述反馈例如是肯定确认(ACK)消息,例如,诸如指示哪个参考帧被使用的信息之类的数据被恰当接收到,或者是已经出现差错的否定确认(NACK)。NEWPRED提供用来避免发送INTRA帧(I帧)并且避免不必要地重传经编码的数据的机制。对于称为H.263+的H.263版本中的NEWPRED的使用,参见Wenger,S.;Knorr,G.D.;Ott,J.;Kossentini,F.:"ErrorresiliencesupportinH.263+,"IEEETransactionsonCircuitsandSystemsforVideoTechnology,Volume8,Issue7,Nov.1998Pages867-877。还可以参见ITU-T,SG15/WP15/1,LBC-95-033,TelenorR&D,"AnerrorresiliencemethodbasedonbackchannelsignalingandFEC,"January1996(其还作为投稿MPEG96/M0616被提交给ISO/IECJTC1/SC29/WG11)。对于应用于长期帧图片的NEWPRED的描述,参见ThomasWiegand,NikoFarber,KlausStuhlmi311er,andBerndGirod:"Error-ResilientVideoTransmissionUsingLong-TermMemoryMotion-CompensatedPrediction,"IEEEJournalonSelectedAreasinCommunications,Vol.18,No.6,pp.1050-1062,June2000。最近的ITU-TH.264视频压縮方法(也称为高级视频编码AVC和MPEG4part10)规定使用多个参考帧。源编码器和目的地解码器各种维护用于存储参考帧的数据结构。H.264标准规定两类参考帧短期参考帧,其是作为从最新的到最旧的新近帧的缓冲被维护的短期参考帧;和长期参考帧(LTRF)。使用哪个参考帧是通过切片(slice)头信息来命令的。存在编码器用来进行发布以管理长期参考帧的明确命令。本发明的某些实施例适用于至少遵循H.264标准的一部分的编码器和解码器。然而,本发明不限于H.264,并且可以用于虑及长期参考帧的使用的任何经时间编码压縮的视频。示離系菜賴图IA示出源处的编码器103的实施例和目的地的实施例,该目的地包括具有多个解码器(即,用数字标注的N个解码器115-1、……、115-N(N>1))的解码系统107。在一个实施例中,解码器115-1、、115-N中的每一个是可编程处理器,例如,包括用编程指令编码的存储器的计14算核心或计算机。其它实施例包括包含专用硬件的解码器。编码器103包括耦合到分组网络105的网络接口(NIC)104,并且可操作用于创建压縮视频数据,用来发送给包括耦合到分组网络105的解码系统107的目的地,作为分组数据。在一个实施例中,编码器包括可编程编码处理器111和和存储器112,存储器112包括图102中的虚线框中所示的用来实现编码器和用来实现控制功能的可编程指令114。受控制功能的控制的编码处理器可操作用于对视频数据(包括使用参考帧进行了帧间编码的帧)进行编码。控制功能可操作用于使得编码器向解码系统107发送经编码的比特流作为分组数据。解码系统可操作用于经由网络105从编码器接收比特流,并且可操作用于向多个解码器115-1、……、115-N分发比特流中与同一帧的不同部分相对应的部分,使得每个解码器可以对其相应部分的比特流进行解码。编码处理器111维护存储器112中所存储的我们称为参考帧库113的数据结构。参考帧库113也被称为参考帧存储器并且用于存储参考帧,包括短期参考帧和至少一个长期参考帧。解码器115-1、……、115-N中的每一个维护各自的参考帧库117-1、……、117-N。在一个实施例中,每个参考帧库113、117-1、……、117-N包括用于至少两个长期参考帧的空间。编码器和解码器根据本发明的编码器和解码器实施例进行操作。本发明实施例的一个应用是在以下场合包括编码器的源是还包括解码系统的双向视频会议终端的一部分,并且包括解码系统107的目的地是还包括编码器的双向视频终端的一部分。图1B示出具体地适用于经由会发生传输差错的网络的视频会议的布置。至少3个终端耦合到网络105。假定一个终端是源,并且包括如图1A中的编码器103,并且可操作用于向至少两个其它终端进行发送,这至少两个其它终端是具有各自的解码器121-1、121-2、……的目的地。尽管每个解码器121-1、121-2、……又可以由多个解码器(例如,如图1A中所示的多个解码处理器)组成,但是为了说明的目的,假定每个解码器121-1、121-2、……分别具有单个解码器125-1、125-2、……。编码器103和解码器125-1、125-2、……中的每一个维护各自的数据结构——各自的参考帧库113、117-1、……、117-N,这些参考帧库包括针对短期和长期参考帧的元素。编码处理器和解码器根据本发明的编码器和解码器实施例进行操作。在一个实施例中,每个编码器和解码器编码出根据H.264标准压縮成的压縮高清晰视频数据或从其解码,H.264标准规定使用两个短期参考帧(例如,最前的帧中的一个或多个的集合)并且规定使用至少一个长期参考帧(LTRF)。参考帧库规定包括一个或多个LTRF。对于描述的其余部分,除非另外指出,假定图1A的体系架构。相同的方法学适用于向各自具有包括解码处理器的解码系统的多个目的地进行发送的图1B的体系架构。相同的方法也适用于将图1A和图1B两者的特征进行组合的体系架构包括耦合到网络的编码系统并且向多个各自具有解码系统的目的地进行发送的源,与包括诸如同时对不同部分(即,帧的不同切片)进行操作的可编程解码处理器之类的多个解码器的解码系统中的至少一个。形成长微考斷尽管在一个实施例中,每个解码器115-1、……、115-N可操作用于处理切片(slice),但是不同的实施例使用可操作用来处理不是单个切片的部分的解码器。继续每次一切片一解码器(decoder-per-slice)实施例,如在H.264标准中一样,包括用来创建和破坏LTRF的命令("参考帧命令")的参考帧消息可以在比特流的切片级被包含,使得解码器可以采取适当动作。因此,编码器可以在EL264切片头中用信号通知(signal):参考帧库中的具体帧要被指派为LTRP。在一个实施例中,编码器的控制功能102可操作用于使得编码器发送比特流中所包含的参考帧消息来向解码器指示用哪些帧作为参考帧,包括哪些要被用作长期参考帧以及哪些要被标记为不被用作参考帧。一个实施例使用包括遵循ITU-TRec.H.264标准的命令的参考帧消息。在一个实施例中,参考帧消息包括在这里被称为"参考帧命令"的内容,包括如下一个或多个命令不使用来自参考帧库的一个或多个帧作为参考帧;使得帧在参考帧库中从短期转变为长期状态;使用当前的图片作为长期参考图片;指定有可能的长期参考帧的数目以及记录这样的帧。在LTRF被适当地建立之后,任何随后的帧之后可以使用LTRF作为参考,在一个实施例中,LTRF仅在特殊情况中被用作参考。该情况是来自解码器的差错反馈已经告知编码器新近帧因分组差错被损坏或者不同地未被正确接收到。编码器仅参考LTRF而不参考最近的短期参考帧来创建下一个新的帧。然而,重要的是,所有的解码器都具有正确的LTRF。本发明的一个实施例适用于源处的编码器,该编码器可操作用于向一个或多个目的地点处的多个解码处理器发送包括参考帧消息的压縮数据。图2A示出数据流程,在203中,编码器创建LTRF并且经由针对多个解码器(包括第一解码器和第二解码器)的经编码的比特流指令中的参考帧消息来用信号通知接收LTRF和参考帧消息以在解码器中建立LTRF。这样的参考帧命令的参考帧消息可以被具有编码器的源发送,来创建新的LTRF或用信号通知经编码的帧使用一个或另一个所存储的LTRF作为帧间编码中的参考。LTRF或与其使用有关的命令在发送期间被损坏的可能性增加了复杂性。所面临的一个问题是用来管理参考帧的命令必须被发送给包括第一和第二解码器的每个解码器。如果分组丢失并且至少一个解码器没有接收到参考帧管理命令,则之后,其将失去与其它一个或多个解码器的同步。在图2A中示出了这样的情况。在205中,第一解码器正确接收到LTRF和用来创建它的参考帧消息。在207中,第二解码器具有一个或多个分组差错,所以它没有接收到要被用作LTRF的帧或它没有正确地接收到参考帧消息。结果,第一和第二解码器处的参考帧库将失去同步。图2A的情况适用于图1A的示例第一和第二解码器是N个解码处理器115-1、……、115-N的集合中两个单独的解码处理器。图2A的情况还适用于多点会议的图1B的示例,其中,第一解码器在第一端点——第一目的地终端处,并且第二解码器在来自两个或多个目的地终端121-1、121-2、……的集合的第二目的地终端处。本发明的一个实施例使用差错反馈方法,差错反馈方法规定解码器在一个版本中,发送肯定确认消息(ACK)来确认参考帧消息的成功接收;在另一版本中,发送否定确认消息(NCK)来指示差错;以及在又一版本中,向编码器发回ACK或NACK来分别指示对参考帧消息的成功或失败接收,例如,指示哪个图片要作为LTRF。在一个实施例中,ACK和NACK被发送来指示对帧(包括其中的任何参考帧命令)的成功接收和解码。在一个实施例中,在包括NACK的模式中,在NACK中存在使得编码器准确地知道哪个帧被损坏的信息。在一个实施例中,这包括在解码器处对切片进行计数,并且当所有的切片都被成功解码时,判定该帧被成功解码。现在,考虑图2A的情况。编码器,特别是编码器的控制功能,可操作用于从关于参考帧消息的目的地解码处理器中的每一个接收有关差错的反馈,例如肯定确认(ACK)(无论何时,只要参考帧被正确接收到),或否定确认(NACK)(无论何时,只要参考帧未被恰当接收)。解码器还可操作用于发送这样的反馈。图2B示出,在213中,正确接收LTRF和参考帧消息到第一解码器向编码器发送回ACK。在215中,检测到差错的第二解码器向编码器发回NACK来指示差错己经发生。在217中,编码器从解码器接收ACK和NACK。本发明一个实施例包括编码器如何处理来自某些而不是所有目的地解码处理器的反馈。在编码器处,一种实施方式包括在没有LTRF可用的情况中,无论何时,只要作为在反馈中使用NACK的情况中接收NACK的结果,编码器(例如控制功能102)确定不是所有的解码器都己经正确接收到所有的分组,或者,无论何时,只要不是所有的解码器都已经发送了确认适当接收的ACK,则控制功能102使得编码器向所有解码器发送I帧。在一个实施例中,仅编码器从所有解码器接收到成功的指示(或者在NACK模式中没有接收到差错指示)导致LTRF可用于对帧进行编码——对用于对帧进行编码有效。有效的长期参考帧(有效的LTRF)是参考帧库中的图片,并且被编码器和所有解码器双方指派用作LTRF。在本发明的实施例中,有效的LTRF是已经被所有目的地解码器确认为已经被成功接收到并且被标记用作可能的LTRF中的一个的LTRF。本发明的一个实施例改进了在判定在所有的目的地接收器处存在差错接收的情况中的I帧的发送,并且包括在这样的差错判定的情况中,编码器使用一个或多个有效参考帧的集合中的一个作为用于帧间编码(时间预测)的参考帧。在一个实施例中,如图2C中所示,当编码器发现在一个或多个接收器处的解码器中的至少一个中,之前的创建LTRF的努力已经失败时,编码器通过创建将是新的LTRF并且将代替之前的LTRF的新的帧来进行响应。之前的LTRF被标记为从不使用。在223中,在一个实施例中,该处理被重复直到新的LTRF被建立在每个侦听解码器中。图2C示出,在225中,第一解码器成功接收新的LTRF和所关联的参考帧消息,并且在227中,第二解码器成功接收新的LTRF和相关联的参考帧消息。图2D示出,第一解码器在233中并且第二解码器在235中以ACK进行响应。在237中,ACK在编码器处被接收到,并且结果,编码器将LTRF标记为有效的和可用的。一个实施例还包括不时地利用更新近的图片来更新有效的参考帧,并且向解码器用信号通知这样的更新。在所有的解码器己经成功确认例如对参考帧消息的接收来更新参考帧库之前,任何经更新的帧不会变得有效。一个实施例还包括当编码器确定在这些解码器的至少一个中的接收中己经存在差错时,在编码器处指派有效的LTRF中的一个为用作预测编码的参考的优选LTRF。一个实施例包括在差错的情况中,不时地地改变哪个有效LTRF被编码器优选为用作LTRF。鄉微丝丄7T^财絲麟在一个实施例中,编码器中的参考帧库和每个目的地解码器中的参考帧库每一个包括标为Np的数目的参考图片,其中,标为NL的数目可以是LTRP。在一个示例实施例中,N产4并且N:^2。因此,在稳定状态中,存在两个有效的LTRF。19在一个实施例中,如图1A或图1B中所示,编码器103可操作用于生成通过网络105在分组中发送的视频数据。在一个或多个目的地处的多个解码器中的每个解码器可操作用于向编码器发送回具有有关其是否正确接收到(ACK)或未接收到(NACK)每个分组的消息。在一个实施例中,根据分组向目的地传播的距离,编码器用来接收该反馈的往返时间通常在300至400ms的范围内,即每秒30帧的6至12个视频帧,但是可以不同。本发明实施例的一个特征包括编码器试图创建新的LTRF,包括使用参考帧消息来用信号通知解码器将新近帧作为LTRF。这样的潜在LTRF称为"试验性LTRF",并且因此,用信号通知解码器将新近帧作为LTRF在这里被称为制作试验性LTRF。因此,实验性LTRF是将在用信号通知解码器被恰当地向编码器确认之后将变成有效LTRF的帧。此外,有效LTRF中的一个在编码器处被指派为是最优的。在一个实施例中,编码器包括被示为更新信号生成处理("更新信号生成")109的时钟处理,更新信号生成处理109被配置为不时地为编码器生成用于创建新的LTRF的信号。因此,试验性LTRF是这样的帧,例如参考帧库中有可能是LTRF但是还未被所有目的地解码器确认为被正确接收到的帧。在一个实施例中,更新信号生成处理109周期地生成信号。在一个实施例中,在周期性而不是非周期性的更新的情况中,周期可编程为任何合理的值。一个示例实施例包括每10秒(例如每秒30帧的每300帧)进行更新。然而,由于是可编程的,所以可以使用任何其它值。注意,尽管一个实施例使用周期性更新,但是在可替换实施例中,非周期性更新也是可能的,例如像随机的一样,例如,更新之间具有平均时间的伪随机调度。一个编码器实施例生成具有与ITURec.H.264兼容的语法的比特流。这样的比特流可以包括用于控制参考帧的参考帧消息,例如,指示编码器和每个解码器的包含经解码的帧的参考帧库中哪个新近解码出的帧用作参考帧,以及哪个指派为LTRF。在一个实施例中,这样的发信号通知(signaling)使用包括存储器管理控制操作(mmco)命令和参考帧语法的H.264i吾法。参见ITU-TRec,H.264标准的03/2005版本的第7章。例如,编码器可以在H.264流中发送命令目的地解码器将最新近的帧变为LTRF的命令。这创建了试验性LTRF。在所有目的地解码器已经确认对参考帧消息的成功接收之后,试验性LTRF变成有效LTRF。实施例的一个特征是在存在至少一个有效LTRF,即一个确认的LTRF之后,在视频序列的持续时间中不再需要I帧,尽管在某些实施例中,编码器可能被配置为例如周期性地或在可替换实施例中出于随机访问的考虑非周期性地不时地发送I帧。一个编码器实施例在编码器中包括状态机,其可操作用于控制对在流中向一个或多个目的地用信号通知的参考图片管理命令的选择。在一个实施例中,状态机是由存储器112中用于由一个或多个编码处理器111执行的指令114的总体集合中的程序指令形成。本发明的一个特征是参考帧消息中的命令使得编码器可以,独立于任何目的地解码器是否之前发送过对差错的指示并且独立于目的地解码器中的参考帧库的状态(包括至少两个解码器处的参考帧库的内容存在不一致和没有不一致的情况),向所有的解码器发送相同的参考帧消息。这样的相同的参考帧消息,根据目的地解码器是否正确接收到参考帧消息并且根据目的地解码器中的参考帧库的状态,可以在一个或多个解码器中引起不同的动作。例如,"去掉长期图片索引1的标记"的命令可以同时使得正确接收到该消息的第一解码器删除索引值为1的LTRF,使得没有正确接收到该LTRF的第二解码器删除坏的或部分接收到的LTRF,对没有正确接收到该参考帧消息的解码器没有影响,并且对没有包含任何LTRF的第三解码器没有影响。在一个实施例中,编码器状态机可以生成编码器所对应于的6个不同命令。以下表1描述了利用命令代码0-6示出的命令以及在编码器处执行的操作。表l:编码系统命令<table>tableseeoriginaldocumentpage22</column></row><table>图3示出针对最多两个有效LTRP的情况的一个状态机的状态转移图。初始时,如状态303所示,可能没有LTRF是有效的。在创建LTRF的努力之后,即,在试验性LTRF被创建并且其被所有解码器确认之后,存在状态305,其中,存在一个有效的LTRF。在将这样的有效LTRF作为优选LTRF的情况中,存在状态307,其中,存在作为优选LTRF的一个有效LTRP。在一个实施例中,编码器尝试创建第二LTRF。如果这继续,则存在状态309,其中,存在其中一个被优选的两个有效LTRF。在任何状态中,每次更新信号生成处理109生成更新信号时,状态机生成命令代码2和3中的一个。此外,当在这些状态中的任何一种中时,当差错条件发生时,例如,解码器中的一个没有恰当地确认对帧中的它的那部分的接收和解码时,状态机生成命令1、4或5中的一个。此外,如果反馈指示解码器恰当地接收到了帧并且在编码器处没有接收到差错条件,则状态机生成命令O来对普通的P帧进行编码。以下表2指示针对每种状态的动作,例如状态机因来自更新信号生成处理109的下一更新信号而发布给编码器的每个命令。表2还针对每种状态指示编码器在确定解码器之一己经有差错(例如分组差错)之后如何对下一帧进行编码。表2包括在下一更新信号之后和在从解码器指示的任何网络差错之后所发布的来自表1的命令代码。表2<table>tableseeoriginaldocumentpage23</column></row><table>参考图3,在开始时,假定不存在有效LTRF(状态303)。在该暂时的起始状态中,任何差错使得制作I帧。在下一更新信号时,如转移311中所示,通过发布命令代码3来创建试验性LTRF。在一个实施例中,动作311包括编码器在等待1帧之后将当前的图片改为LTRF并且通过发送该帧要作为LTRF的参考帧消息来用信号通知解码器。这创建了试验性LTRF。在存在差错的情况中,例如,NACK被接收到,则生成并且发送I帧,并且状态保持在303。然而,如果所有的目的地解码器发送ACK并且所有的ACK都被接收到,则状态机转移到存在一个有效LTRF的状态305。状态305中的网络差错使得使用有效LTRP作为参考帧。状态305是暂时的状态,其持续到如313中所示命令2被发布来将有效LTRF标记为优选LTRF并且制作新的试验性LTRF(例如,在等待1帧之后将当前图片改为LTRF并且将其用信号通知解码器)为止。从而,状态转移到存在一个被优选的有效LTRF的状态307。在该状态中,该状态第一次被达到时,如果不存在网络差错,则状态移至存在两个有效LTRF并且其中一个被优选的状态309。在状态309中,下一次生成更新信号时,状态转移317包括发布命令2来将有效LTRF标记为优选LTRF并且制作新的试验性LTRF,例如在等待1帧之后将当前图片改为LTRP并且将其用信号通知给解码器。这将状态转移回状态307。在状态307中,当存在来自更新信号生成处理109的下一更新信号时,状态转移315包括用来制作新的试验性LTRP(例如在等待l帧之后将当前图片改为LTRF并且将其用信号通知给解码器的命令3)。如果这失败了,如至少一个NACK所指示的,则处理保持在状态307并且在下一个更新信号时,状态转移315再次包括用来制作新的试验性LTRP的命令3。因此,在起始状态303和305之后,状态机保持在状态307或309,并且当所有信令在编码器处被正确接收到时在这两个状态间交替。注意,图3以简化形式示出了状态图。例如,某些状态可以包括暂时等待状态。状态307例如是这样的状态。图4更详细地示出状态307。转移315不从状态307直接回到状态307,而是当下一个更新信号时,新近帧被作为试验性LTRP,转移315转移为编码器等待接收来自所有接收器的ACK的等待状态。如果接收到来自任何一个接收器的NACK,则转移回到相同状态307。如果所有的ACK被接收到,则转移为状态309。参考撒息在一个实施例中,参考帧库,通常经编码的帧缓冲器具有规定了可用于短期参考帧或长期参考帧任一者的数Np帧的大小。一个实施例将存储器管理控制操作(mmco)命令("mmco命令")和参考帧语法的H.264语法的H.264语法用于在用于LTRF替换的比特流中发送的参考消息。参见ITU-TRec.H.264标准的03/2005版本的第7章。图5示出H.264mmco命令的概要和它们的含义。具体地,当在用于LTRF替换的比特流中发送的参考消息未被至少一个解码器接收到,则解码器的参考帧库变得与编码器的参考帧库不同。本发明实施例的一个特征包括以以下方式用信号通知LTRF的信息以及对LTRF的替换对于参考帧库中没有有效LTRF或仅一个有效LTRF的起始状态,当至少一个解码器的参考帧库与编码器的参考帧库之间存在不一致时,与没有不一致发生时一样,相同的信令,即相同的参考帧消息起作用。考虑每300帧生成更新信号的更新信号生成处理109的示例。在一个实施例中,当这样的信号发生时,参考帧消息以mmco命令的形式在将变成新的LTRF的那帧被编码之后一帧在比特流中被发送。在一个实施例中,将变成新的LTRF的那帧在其被转变成长期参考帧之前先被用作短期参考帧。在所有其它情况中,即杂300帧中的299帧中,没有参考帧消息(例如,mmco命令)在比特流中被发送。在一个实施例中,除了使用哪个长期参考索引以外,参考帧消息的内容和格式总是相同的。用"It—index"标注长期参考索引。在示例实施方式中,回想可能的LTRF的数目Np为2。标为long—term_pic—num的LTRJF的索引采用值0或1。在一个实施例中,在稳定状态中,每300帧,在参考帧消息中使用不同的lt一index,除非在最后一次使用LTRF索引时存在差错。参考帧消息由以下伪代码给出Pseudocode1:Referenceframemessagemmco=2《unmax:klongteimrefer抑cdframe)mmco-1《unntaz:lcshorttermirefAirncfi:amft)dlffrncaofpicnumsminus1=1mmco-3(assignlongtrmrfei;enoaindex)mmco-0(endofmmcomessages)其中,lt一index在0和l之间交替,除非不是所有的解码器都成功,在这种情况中,下一个mmco消息使用相同的It—index。在H.264语法中,使用difference—of_pic—nums—minusl(mmco—3或mmco-l)来向短期参考图片指派LTRF索引或将短期参考图片标记为"不用于参考"。使用相同的以上参考帧消息格式具有以下特征如果用于用信号通知帧(LTRF之后的一帧)的某些切片被接收到并且其它的未被接收到,则下一次参考帧被发送并且被正确接收,所有的解码器将同步回到相同的参考帧库状态。这是因为未被标记的图片的lt一index具有与被同时指派为长期的图片的lt—index相同的值(在一个实施例中,为0或1)。例如,假定第一参考帧消息用索引0(即,It—index=0)替代LTRF。在某些解码器没能成功接收第一参考帧消息的情况中,相同的索引将在下次被使用。考虑没能接收第一参考帧消息的那些解码器。接下来的第一参考帧消息将再次用索引0来替换LTRP。假定该下一次是成功的。这使得在参考帧库中用索引0来替换LTRF。另一方面,考虑成功接收第一参考帧消息的那些解码器。索引为0的LTRF现在比失败的解码器中的更新。假定该下一次是成功的。这使得和在其它解码器中一样,在参考帧库中用索引O来替换LTRF。在存在至少一次失败之后,在已经成功的解码器和不成功的解码器两者中,结束状态相同,第二参考帧消息之后的LTRP被所有目的地解码器成功接收导致新的具有索引0的LTRP,并且具有索引1的LTRP保持不变。该格式的另一重要特性是例如,在开始时或在I帧被发送后不久,总是存在未被标记的一个短期图片并且总是存在未被标记的一个长期图片,即使这些图片不是必须存在于参考帧库中。解码器忽略非现有的未被标记的帧。当某些解码器丢失信令图片时,这又是关键的。具有不同格式的特殊参考帧消息不需被发送来修补出错的解码器,而不同的参考帧消息被同时发送给好的解码器。当存在多于一个解码端点的时候,例如在如图1B中所示的多点视频会议中,根据目的地解码器是否已经成功来向不同的目的地解码器发送不同的消息可能变得不能实行。希望编码器针对所有端点仅创建一个比特流。注意,在一个实施例中,计算机可读承载介质承载指令集,该指令集当被编码器的一个或多个处理器执行时使得这一个或多个处理器例如在状态机的控制下执行编码器中如这里所述用信号通知LTRP的方法。尽管这里的描述仅包括P帧,将本发明扩展为包括其它时间预测编码也是可能的。应当明白,尽管已经在ITU-TH.264标准的上下文中描述了本发明,但是本发明不限于这样的上下文并且可以用在各种其它应用和系统中,例如,使用利用参考帧的时间帧间编码进行编码的其它编码器。还应当明白,尽管在已经在ITU-TH.264标准的上下文中描述了本发明,但是本发明不限于这样的上下文并且可以用在各种其它应用和系统中,例如,使用MPEG1、MPEG2、ITU-263或使用利用参考帧的时间帧间编码进行编码的编码器的其它压縮媒体流的系统。此外,本发明不限于任何一种网络体系架构和封装方法,并且因此可以与一种或其它网络体系架构/协议的组合相结合地使用。除非以其他方式特别指明,从以下描述中显而易见,可以明白,贯穿说明书,使用诸如"处理"、"计算"、"确定"等术语的描述是指计算机或计算系统或类似的电子计算装置的动作和/或处理,这些电子计算装置操控被表示为物理量(例如,电子量)的数据并且/或将其变换为被类似地表示为物理量的其它数据。以类似的方式,术语"处理器"可以是指处理例如来自寄存器和/或存储器的电子数据以将电子数据变换成例如可以存储在寄存器和/或存储器中的其它电子数据的任何装置或装置的一部分。"计算机"或"计算机器"或"计算平台"可以包括一个或多个处理器。注意,当描述了包括若干元素(例如,若干步骤)的方法时,这些元素(例如,步骤)的顺序不受限制,除非特别指明。在一个实施例中,这里所描述的方法学可由接受一个或多个计算机可读(也称为机器可读)介质上所编码的计算机可读逻辑的一个或多个处理器来执行,这一个或多个计算机可读介质包含当被一个或多个处理器执行时执行这里所述的方法中的至少一种方法的指令集。能够执行指定要采取的动作的指令集(顺序的或以其他方式)的任何处理器都被包括在内。因此,一个示例是包括一个或多个处理器的典型的处理系统。每个处理器可以包括CPU、图形处理单元和可编程DSP单元中的一个或多个。处理系统还可以包括存储器子系统,存储器子系统包括主RAM和/或静态RAM和/或ROM。可以包括总线系统以用于组件之间的通信。处理系统还可以是具有通过网络耦合的处理器的分布式处理系统。如果处理器系统要求显示器,则可以包括这样的显示器,例如液晶显示器(LCD)或阴极射线管(CRT)显示器。如果需要手动数据输入,则处理系统还包括输入装置,所述输入装置例如是诸如键盘之类的文字数字输入单元、诸如鼠标之类的点选控制装置等中的一个或多个。如果从上下文很清楚并且除非以其他方式清楚地表明,这里使用的术语存储单元也包括诸如盘驱动单元之类的存储系统。某些配置中的处理系统可以包括声音输出装置和网络接口装置。因此,存储子系统包括承载包括指令集的逻辑(例如,软件)的计算机可读承载介质,该指令集当被一个或多个处理器执行时,使得执行这里所述的方法中的一种或多种。软件在其被计算机系统执行期间,可以驻留在硬盘中,或也可以完全或至少部分地驻留在RAM内和/或处理器内。因此,存储器和处理器也构成计算机可读承载介质,在所述计算机可读承载介质上,逻辑例如以指令的形式被编码。此外,计算机可读承载介质可以形成或被包括在计算机程序产品中。在可替换实施例中,这一个或多个处理器用作独立装置或可以在联网部署中被连接,例如,连网至(一个或多个)其它处理器,这一个或多个处理器可以在服务器-客户端网络环境中在服务器或客户端机器的容量中进行操作,或用作对等或分布式网络环境中的对等机器。这一个或多个处理器可以形成个人计算机(PC)、平板PC、机顶盒(STB)、个人数字驻留(PDA)、蜂窝电话、web设备、网络路由器、交换机或桥接器或能够执行指定机器所要采取的动作的指令集(顺序的或以其他方式)的任何机巡益o注意,尽管某一个(或一些)示图仅示出执行包括指令的逻辑的单个处理器和单个存储器,但是本领域技术人员将理解,以上所述的许多组件都被包括但是未被明确示出或按顺序描述,以免混淆创造性的方面。例如,尽管仅示出单个机器,但是术语"机器"应该也可以被认为包括单独28地或共同地执行一个(或多个)指令集来执行这里所描述的方法学中的任何一个或多个的机器的任何集合。因此,这里所述的方法中的每一种的一个实施例是承载指令集的计算机可读承载介质的形式,例如,用于一个或多个处理器上的执行的计算机程序,例如,作为编码器的一部分的一个或多个处理器。因此,如本领域那些技术人员将了解的,本发明的实施例可以被实施为方法、诸如专用设备之类的设备、诸如数据处理系统的设备或诸如计算机程序产品之类的计算机可读承载介质。计算机可读承载介质承载包括了当被一个或多个处理器执行时使得这一个或多个处理器实现方法的指令集的逻辑。因此,本发明的方面可以采用方法、完全硬件实施例、完全软件实施例或组合软件和硬件方面的实施例的形式。此外,本发明可以采用执行介质中所包含的计算机可读程序代码的承载介质(例如,计算机可读存储介质上的计算机程序产品)的形式。软件还可以经由网络接口装置通过网络来发送或接收。尽管在示例实施例中示出承载介质是单个介质,但是术语"承载介质"应该被认为是包括存储一个或多个指令集的单个介质或多个介质(例如,集中的或分布式的数据库,和/或相关联的缓存和服务器)。术语"承载介质"也应被认为包括能够存储、编码或承载用于由一个或多个处理器的执行并且使得一个或多个处理器执行本发明的方法学中的任何一种或多种的指令集的任何介质。承载介质可以采用任何形式,包括但不限于非易失性介质、易失性介质和传输介质。非易失性介质例如包括光盘、磁盘和磁光盘。易失性介质包括动态存储器,例如主存储器。传输介质包括同轴电缆、铜线和光纤,包括包含总线系统的导线。传输介质还可以采用声波或光波的形式,例如无线电波和红外数据通信期间所生成的那些。例如,术语"承载介质"因此应当被认为包括但不限于固体存储器、光介质或磁介质中所包含的计算机产品、承载可由一个或多个处理器中的至少一个处理器检测并且表示当被执行时实现方法的指令集的传播信号的介质、承载可由一个或多个处理器中的至少一个处理器检测、表示指令集、传播信号并且表示指令集的传播信号的载波,和网络中的承载可由一个或多个处理器中的至少一个处理器检测并且表示指令集的传播信号的传输介质。将理解,在一个实施例中,所述方法的步骤由执行存储装置中所存储的指令的处理(即,计算机)系统的适当的一个(或多个)处理器执行。还将理解,本发明不限于任何具体实施方式或编程技术并且本发明可以使用用于实现这里所述的功能的任何适当的技术来实现。本发明不限于任何具体的编程语言或操作系统。贯穿说明书中,对"一个实施例"或"实施例"的提及意味着结合该实施例描述的具体特征、结构或特征被包括在本发明的至少一个实施例中。因此,在说明书的各个位置出现的短语"在一个实施例中"或"在实施例中"不一定但可能都指同一实施例。此外,在一个或多个实施例中,对于本领域普通技术人员之一从本公开中显而易见的是具体地特征、结构或特征可以以任何合适的方式被组合。类似地,应当了解,在以上对本发明示例实施例的描述中,本发明的各种特征有时在单个实施例、示图或其描述中被组到一起,以组织本公开并且帮助理解各种创造性方面中的一个或多个。然而,本公开的该方法不应被解释为反映了所请求保护的发明步骤需要比每项权利要求中所明确引述的特征更多的特征。而是,如权利要求所反映的,创造性的方面在于比单个前述公开实施例的所有特征少。因此,权利要求被清楚地结合到该详细的说明中,每项权利要求自己作为本发明的单独的实施例而存在。此外,尽管这里所描述的某些实施例包括其它实施例中所包括的某些而不是其它特征,但是如本领域技术人员将理解的,不同实施例的特征的组合应该在本发明的范围以内,并且形成不同实施例。例如,在以下权利要求中,可以以任何组合使用所请求保护的实施例中的任何实施例。某些实施例在这里被描述为可以由计算机系统的处理器或通过执行功能的其它手段来实现的方法或方法的元素的组合。因此,具有用于执行这样的方法或方法的元素的必要指令的处理器构成用于执行该方法或方法的元素的手段。此外,设备实施例中这里所描述的元件是用于执行由用于执行本发明的目的的元件所执行的功能的手段的示例。在这里提供的描述中,阐述了大量特定细节。然而,应当理解,本发明实施例可以在没有这些特定细节的情况下被实行。在其它实例中,公知的方法、结构和技术未被示出以免混淆对本描述的理解。除非以其他方式指明,如这里所使用的,使用序数形容词"第一"、"第二""第三"等来描述共同的对象仅指示涉及相似对象的不同实例,而不是意欲暗示这样描述的对象必须为时间上、空间上、排列上或任何其它方式的给定序列。这里所引用的所有公开、专利和专利申请被通过引用结合于此。在本说明书中对现有技术的任何讨论不应被认为是承认这样的现有技术是广为人知的、是公知的或形成本领域常识的一部分。在权利要求和这里的描述中,术语"包含"是指至少包含以下的元素/特征但不排除其它的开放式术语。因此,当用在权利要求中时,术语"包含"应当解释为是之后列出的装置、元素或步骤的限制。例如,表述"装置包括A和B"的范围不应被限制为仅包括元素A和B。这里使用的术语"包括"也是指至少包含术语之后的元素/特征但不排除其它的开放式术语。因此,"包括"与"包含"同义。类似地,应当注意,当用作权利要求中时,术语"耦合"不应被理解为被限制为仅直接连接。可以使用术语"耦合"和"连接"以及它们的派生词。应当理解,这些术语不意欲是相互同义的。因此,表述"装置A耦合到装置B"的范围不应被限制为装置A的输出直接连接到装置B的输入的装置或系统。其意味着,存在A的输出与B的输入之间的路径,该路径可以是包括其它装置的路径。"耦合"可以指两个或多个元件要么直接物理接触要么电接触,或两个或多个元素不是彼此直接相接触但还相互合作或交互。因此,尽管己经描述了什么被确信是本发明的优选实施例,但是本领域技术人员将认识到,可以对其做出其它和进一步的修改而不偏离本发明的精神,并且意欲请求保护落在本发明的范围以内的所有这样的更改和修改。例如,例如,以上给出的任何公式仅仅代表可能被使用的程序。可以31增加或从框图删除功能,并且可以在功能块之间相互交换操作。可以在本发明的范围以内对所述方法增加或删除步骤。权利要求1.一种方法,包括源处的编码器向一个或多个目的地点处的多个解码器发送包括参考帧消息的压缩视频数据,所述参考帧消息用于从所述参考帧消息中所指示的新近帧创建长期参考帧;以及从所述多个解码器接收反馈,所述反馈指示所述解码器是否成功接收到所述参考帧消息并且能利用所指示的新近帧,在所接收到的反馈是这些解码器中的至少一个没有成功接收到所述参考帧消息或不具有所指示的新近帧的情况中,重复向所述多个解码器发送用来从所指示的新近帧创建长期参考帧的参考帧消息,并且接收反馈,直到所述编码器已经从所述多个解码器的每一个解码器都接收到指示所述参考帧消息的成功接收并且指示能利用所述参考帧消息中所指示的新近帧的反馈为止,使得所述编码器具有所有解码器处的成功接收和利用的指示之后,所述编码器在从这些解码器中的至少一个解码器接收到差错反馈之后,可操作用于使用所述长期参考帧作为用于视频的时间预测编码的参考帧,从而使得所述编码器能够在接收到差错反馈之后避免使用独立编码的帧。2.如权利要求1所述的方法,还包括.-所述编码器不时地向一个或多个目的地点处的多个解码器发送另外的参考帧消息,所述另外的参考帧消息用于从所述参考帧消息中所指示的不同新近帧创建不同的长期参考帧,这样,所述长期参考帧利用更新的帧被不时地更新,任何经更新的帧直到所述编码器己经从所有解码器接收到每个解码器都己经成功接收到所述参考帧消息并且具有所述经更新的帧的反馈时才变得对于用作参考帧来说是有效的。3.根据权利要求2所述的方法,其中,所述不时地发送是周期性的。4.根据权利要求2所述的方法,其中,每个解码器处的参考帧库被配置为存储被标记用作长期参考帧的多于一个帧。5.根据权利要求4所述的方法,还包括当所述编码器确认在所述解码器的至少一个中存在接收差错时,在编码器处指派所述有效长期参考帧中的一个作为优选长期参考帧,以用作用于预测编码的参考帧。6.根据权利要求4所述的方法,还包括当所述编码器确认在所述解码器的至少一个中存在接收差错时,在编码器处指派所述有效长期参考帧中的一个作为优选长期参考帧,以用作用于预测编码的参考帧;不时地改变哪个有效长期参考帧是所述优选长期参考帧。7.根据权利要求2所述的方法,其中,所述参考帧消息的发送受状态机的控制。8.根据权利要求2所述的方法,其中,所述参考帧消息中包括这样的命令.*使得所述编码器能够向所有的解码器发送相同的参考帧消息,而与任何目的地解码器是否之前发送过对差错的指示无关,并且与目的地解码器中的参考帧库的状态无关,该状态包括至少两个解码器处的参考帧库的内容存在不一致和没有不一致的情况。9.根据权利要求8所述的方法,其中,所述参考帧消息中包括这样的命令使得如果所述编码器所发送的用作所述长期参考帧的帧中的至少一部分未被任何解码器正确接收到,并且其它解码器正确地接收到了所述编码器所发送的用作所述长期参考帧的帧,则下一次参考帧被发送并且被所有解码器正确接收时,所有的解码器将具有相同的参考帧库状态。10.根据权利要求8所述的方法,其中,所述参考帧消息中包括用来去掉之前在目的地解码器的参考帧库中被标记用作短期参考帧的标记的命令,和用来去掉之前在目的地解码器的参考帧库中被标记用作长期参考帧的标记的命令,其中,在任何具体目的地解码器处,在具体目的地解码器的参考帧库中不存在被命令要去掉标记的帧的情况中,用来去掉标记的命令被忽略。11.根据权利要求1所述的方法,其中,作为所述编码器从所有解码器接收到每个解码器都已经成功接收到所述参考帧消息和所指示的帧的反馈的结果,所述参考帧消息中的所指示的帧仅对用作长期参考帧来说是有效的,并且其中,所述多个解码器中的每一个解码器包括可操作用来存储包括被标记用作可能的长期参考帧的一个或多个帧的参考帧集的参考帧库,使得有效长期参考帧是存在的并且是所述编码器知道存在于每个解码器的所述参考帧参考中、并且被标记用作长期参考帧的一个帧。12.根据权利要求1所述的方法,其中所述多个解码器包括单个目的地处的解码系统的多于一个的解码器,所述解码系统的多于一个的解码器可并行操作来各自对帧的不同部分进行解码。13.根据权利要求2所述的方法,其中所述多个解码器包括不同目的地处的解码器。14.一种设备,包括网络接口,所述网络接口可操作用来耦合到网络;编码器,所述编码器耦合到所述网络接口,并且可操作用来生成压縮视频数据并且在其中嵌入参考帧消息,所述参考帧消息用于命令任何接收解码器从所述参考帧消息中所指示的新近帧创建长期参考帧;控制器,所述控制器耦合到所述网络接口和所述编码器,并且可操作用于使得所述编码器经由所述网络朝向一个或多个目的地点处的多个解码器发送其中嵌入了所述参考帧消息的压縮视频数据,所述控制器还可操作用于接受从所述多个解码器接收到的反馈,所述反馈指示所述解码器是否成功接收到所述参考帧消息并且能利用所指示的新近帧,所述控制器还可操作用于,在所接收到的反馈是所述解码器中的至少一个解码器没有成功接收所述参考帧消息或不具有所指示的新近帧的情况中,使得编码器重复向所述多个解码器发送用来从所指示的新近帧创建长期参考帧的参考帧消息,所述控制器还可操作用于接收反馈直到从所述多个解码器的每一个解码器都接收到指示所述参考帧消息的成功接收并且指示能利用所述参考帧消息中所指示的新近帧的反馈为止,使得所述控制器具有所有解码器处的成功接收和利用的指示之后,所述控制器能够可操作用于在从所述解码器中的至少一个解码器接收到差错反馈的指示之后,使所述编码器使用所述长期参考帧作为用于视频的时间预测编码的参考帧,从而使得作为设备接收到差错反馈的结果,所述编码器能够避免使用独立编码的帧。15.根据权利要求14所述的设备,其中,所述控制器可操作用于使得所述编码器不时地向所述一个或多个目的地点处的多个解码器发送另外的参考帧消息,所述另外的参考帧消息用于从所述参考帧消息中所指示的不同新近帧创建不同的长期参考帧,这样,所述长期参考帧利用经更新的帧被不时地更新,任何经更新的帧直到所述编码器已经从所有解码器接收到每个解码器都已经成功接收到所述参考帧消息并且具有所述经更新的帧的反馈时才变得对于用作参考帧来说是有效的。16.根据权利要求15所述的设备,其中,每个解码器处的参考帧库被配置为存储被标记用作长期参考帧的多于一个的帧。17.根据权利要求16所述的设备,其中,所述控制器还可操作用于当所述控制器确认在所述解码器的至少一个中存在接收差错时,在编码器处指派所述有效长期参考帧中的一个作为优选长期参考帧,以用作用于预测编码的参考帧。18.根据权利要求16所述的设备,其中,所述控制器还可操作用于当所述控制器确认在所述解码器的至少一个中存在接收差错时,在编码器处指派所述有效长期参考帧中的一个作为优选长期参考帧,以用作用于预测编码的参考帧,并且其中所述控制器可操作用于不时地改变哪个有效长期参考帧是所述优选长期参考帧。19.根据权利要求15所述的设备,其中,所述控制器包括用来控制所述参考帧消息的发送的状态机。20.根据权利要求14所述的设备,其中,作为所述编码器从所有解码器接收到每个解码器都已经成功接收到所述参考帧消息和所指示的帧的反馈的结果,所述参考帧消息中的所指示的帧仅对用作长期参考帧来说是有效的,并且其中,所述多个解码器中的每个解码器包括可操作用来存储包括被标记用作可能的长期参考帧的一个或多个帧的参考帧集的参考帧库,使得有效长期参考帧是存在的并且是所述编码器知道存在于每个解码器的参考帧库中、并且被标记用作长期参考帧的一个帧。21.根据权利要求14所述的设备,其中,所述多个解码器包括单个目的地处的解码系统的多于一个的解码器,所述解码系统的多于一个的解码器可并行操作来各自对帧的不同部分进行编码。22.根据权利要求14所述的设备,其中,所述多个解码器包括不同目的地处的解码器。23.—种设备,包括用于对数据进行编码来形成压縮视频数据的装置;用于利用述压縮视频数据嵌入参考帧消息的装置,所述参考帧消息用于命令解码器从所述参考帧消息中所指示的新近帧创建长期参考帧;用于向一个或多个目的地点处的多个解码器发送包括所述参考帧消息的压縮视频数据的装置;以及用于从所述多个解码器接收反馈的装置,所述反馈指示所述解码器是否成功接收到所述参考帧消息并且能利用所指示的新近帧,控制装置,可操作用于在所接收到的反馈是所述解码器中的至少一个解码器没有成功接收所述参考帧消息或不具有所指示的新近帧的情况中,使得用于编码的装置、用于嵌入的装置和用于发送的装置重复向所述多个解码器发送用来从所指示的新近帧创建长期参考帧的参考帧消息,并且可操作用于使得用于接收的装置接收反馈直到从所述多个解码器的每一个解码器都接收到指示所述参考帧消息的成功接收并且指示能利用所述参考帧消息中所指示的新近帧的反馈为止,使得在所述用于接收的装置具有所有解码器处的成功接收和利用的指示之后,所述控制装置可操作用于在用于接收的装置从所述解码器中的至少一个解码器接收到差错反馈之后,使得所述用于编码的装置使用所述长期参考帧作为用于视频的时间预测编码的参考帧,从而使得在所述设备接收到差错反馈之后,所述用于编码的装置能够避免使用独立编码的帧。24.根据权利要求23所述的设备,其中,所述控制装置可操作用于不时地使得向所述一个或多个目的地点处的多个解码器发送另外的参考帧消息,所述另外的参考帧消息用于从所述参考帧消息中所指示的不同新近帧创建不同的长期参考帧,这样,所述长期参考帧利用经更新的帧被不时地更新,任何经更新的帧直到设备已经从所有解码器接收到每个解码器都已经成功接收到所述参考帧消息并且具有所述经更新的帧的反馈时才变得对于用作参考帧来说是有效的。25.—种被编码在编码器处的一个或多个有形介质中的用于执行的逻辑,所述逻辑当被执行时可操作用于实现一种方法,所述方法包括源处的编码器向一个或多个目的地点处的多个解码器发送包括参考帧消息的压縮视频数据,所述参考帧消息用于从所述参考帧消息中所指示的新近帧创建长期参考帧;以及从所述多个解码器接收反馈,所述反馈指示所述解码器是否成功接收到所述参考帧消息并且能利用所指示的新近帧,在所接收到的反馈是这些解码器中的至少一个没有成功接收到所述参考帧消息或不具有所指示的新近帧的情况中,重复向所述多个解码器发送用来从所指示的新近帧创建长期参考帧的参考帧消息,并且接收反馈,直到所述编码器己经从所述多个解码器的每一个解码器都接收到指示所述参考帧消息的成功接收并且指示能利用所述参考帧消息中所指示的新近帧的反馈为止,使得所述编码器具有所有解码器处的成功接收和利用的指示之后,所述编码器在从这些解码器中的至少一个解码器接收到差错反馈之后,可操作用于使用所述长期参考帧作为用于视频的时间预测编码的参考帧,从而使得所述编码器能够在接收到差错反馈之后避免使用独立编码的帧。26.根据权利要求25所述的逻辑,还包括所述编码器不时地向一个或多个目的地点处的多个解码器发送另外的参考帧消息,所述另外的参考帧消息用于从所述参考帧消息中所指示的不同新近帧创建不同的长期参考帧,这样,所述长期参考帧利用更新的帧被不时地更新,任何经更新的帧直到所述编码器已经从所有解码器接收到每个解码器都已经成功接收到所述参考帧消息并且具有所述经更新的帧的反馈时才变得对于用作参考帧来说是有效的。全文摘要编码器处的设备,被编码在有形介质中的软件和方法。该方法包括向一个或多个目的地点处的多个解码器发送包括用来创建长期参考帧的参考帧消息的的压缩视频数据,从解码器接收指示解码器是否成功接收到参考帧消息的反馈,并且在所接收到的反馈是解码器中的至少一个解码器没有成功接收到参考帧消息或不具有所指示的参考帧的情况中,重复发送用来创建长期参考帧的参考帧消息。利用这些方法可以用长期参考帧来替换I帧差错恢复,即使是在对于至少一个解码器,参考帧管理消息丢失的情况中也是如此。文档编号H04N7/12GK101690202SQ200880019395公开日2010年3月31日申请日期2008年4月2日优先权日2007年4月9日发明者J·威廉·穆澈利,毛瑞斯·J·布提姆尔,约瑟夫·T·福瑞尔申请人:思科技术公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1