一种视频序列的编码、解码方法及编码、解码系统的制作方法

专利名称：一种视频序列的编码、解码方法及编码、解码系统的制作方法
技术领域：
本发明涉及图像信息传输和处理领域，具体涉及在进行视频传输过程中的 阻止传输差错扩散的方法。
背景技术：
通过Internet和无线移动网等主要通信网络传输视频时，现有的视频压縮 算法通常采用基于运动补偿的混合编码框架来提高压縮率。对于运动图像专家 组标准(MPEG)视频流，采用三种类型的帧帧内编码帧(以下简称I帧)、 前向预测编码帧(以下简称P帧)和双向预测编码帧(以下简称B帧)。I帧 是一个全帧压縮编码帧，它将全帧图像信息进行压縮编码及传输，解码时仅用 I帧的数据就可重构完整图像；P帧可以由I帧或前面的P帧进行预测，P帧属 于前向预测的帧间编码，压縮比大于I帧；B帧以前面的I或P帧和后面的P 帧为参考帧进行预测，因此压縮比最高。
然而在满足带宽限制条件下，需要克服传输差错的影响。
如图1所示为传统的视频编码方式对传输差错的处理方法。在图1中，采 用帧内编码模式的图像是可以独立解码的，其它的编码图像帧采取帧间编码模 式。图1中所示是一种典型的视频编码码流结构，其中在t时刻和t+n时刻的 图像帧是帧内编码模式，记为I，其它图像帧都采取用前一帧作为参考帧的帧 间编码模式，记为P。
当出现传输差错时，例如在t+i时刻发生错误，则P(t+i)不能正确解码。 由于后续的帧间编码帧都是用前一帧作为参考图像，因此错误解码图像会向后 扩散，直到t+n时刻的帧内编码图像帧为止。在这种情况下，解码错误的时间 间隔为n-i。
传输差错引起视频图像不能正常解码，而且错误图像信息会在时域和空域 上扩散。为了降低视频传输差错及其差错扩散的影响， 一种常用的方法是采用 帧内编码更新技术，但是帧内编码方式会大幅度降低编码效率。
与帧内编码更新相比，参考帧选择(Reference Picture Selection, RPS)具 有更高的编码效率。其基本思想是编码器通过反馈信道得到解码器的丢失情 况，在编码下一个帧间编码帧时选用已被解码器正确接收的较早的帧作为参考 帧。Hideaki Kimata禾口 Yoshiyuki Yashima在文献"A study of key-frame reference picture selection method for error resilient multiple video objects distribution"中提 出了一种新的基于关键参考帧的无反馈关键参考帧选择方法。即以帧内编码帧 (,I帧)作为关键参考帧，每个P帧均以I帧华为参考帧。这种方法虽然可以 有效地阻止差错的扩散，但由于所有的P帧都参考I帧进行编码，编码效率降 低。

发明内容
本发明所要解决的技术问题在于提供了一种视频码流的编码/解码方法， 通过在编码码流中插入核心参考帧，不但可以有效地减少或者阻止视频过程中 由于传输差错引起的图像质量下降，而且不会明显降低视频图像的编码效率。
1、 为了实现上述目的，本发明提供了一种视频序列的编码方法，用于
视频传输的差错控制，包括
歩骤一，对视频序列第一帧图像采取帧内编码I帧方式进行编码，并将该
帧解码重建图像复制到核心参考帧缓冲区；
步骤二，在视频序列中第一帧图像之后数个位置插入核心参考帧； 步骤三，对视频序列中的非核心参考帧图像按照标准的编码方法进行编
码；
步骤四，对视频序列中的核心参考帧图像以当前帧之前的I帧或者核心参 考帧作为参考帧进行编码；或者核心参考帧就是帧内编码I帧，并将核心参考 帧图像的解码重建图像复制到核心参考帧缓冲区。
其中，所述步骤一和步骤四中采取帧内编码I帧方式的图像独立解码。 其中，所述步骤一和步骤四中，所述核心参考帧缓冲区用于存储核心参考
帧图像的参考帧数据及不用于存储非核心参考帧图像的参考帧数据。
其中，所述步骤二中插入核心参考帧包括每隔固定间隔插入核心参考帧，
或根据率失真优化模型选择核心参考帧，或根据反馈信道传回的确认信息自适
应插入核心参考帧。
其中，所述步骤三中的所述图像是I帧、P帧或B帧。
其中，所述步骤三中标准的编码方法为帧间编码方式或者帧内编码方式。 其中，所述帧间编码方式是以当前帧之前或者当前帧之后的一帧作为参考 帧进行编码。
其中，所述帧间编码方式是以当前帧之前和/或者当前帧之后的多帧作为 参考帧进行.编码。 ，
其中，其特征在于，所述参考帧是位于当前帧和当前帧之前的第N个核 心参考帧之间的图像，包括当前帧之前的第N个核心参考帧，N为正整数。
其中，所述参考帧不能是当前帧之前己经编码的核心参考帧之前的核心参 考帧或非核心参考帧。
其中，所述步骤四中对核心参考帧图像采取帧间编码方式编码是以当前帧 之前的I帧或者核心参考帧作为参考帧进行编码。
其中，所述步骤四中对核心参考帧图像采取帧间编码方式编码是以当前帧 之前的正确接收的I帧或者正确接收的核心参考帧作为参考帧进行编码。
其中，所述正确接收的I帧或者正确接收的核心参考帧是编码器已经确认 收到解码器正确解码的I帧或者确认收到解码器正确解码的核心参考帧。
其中，所述步骤一中，无论编码器是否己经确认收到解码器正确解码的帧 内编码I帧，都将该帧解码重建图像复制到核心参考帧缓冲区。
其中，所述歩骤四中，无论编码器是否确认收到解码器正确解码的核心参 考帧图像，都将核心参考帧图像的解码重建图像复制到核心参考帧缓冲区。
本发明还提供一种视频传输的差错控制方法，所述方法包括 对视频序列第一帧图像采取帧内编码I帧方式进行编码，并将该帧解码重
建图像复制到核心参考帧缓冲区；
在视频序列中第一帧图像之后数个位置插入核心参考帧； 对视频序列中的非核心参考帧图像按照标准的编码方法进行编码； 对视频序列中的核心参考帧图像采取帧间编码方式编码；或者采取帧内编
码I帧方式编码。并将核心参考帧图像的解码重建图像复制到核心参考帧缓冲
区；
接收编码的视频序列然后解码并反馈解码信息； 传输编码的视频序列以及反馈的解码信息。
其中，所述采取帧内编码I帧方式的图像独立解码。
其中，所述核心参考帧缓冲区用于存储核心参考帧图像的参考帧数据及不 用于存储非核心参考帧图像的参考帧数据。
其中，所述在视輝序列中第一帧图像之后数个位置插入核心,考帧歩骤包 括在视频序列中每隔固定间隔插入核心参考帧，或根据率失真优化模型选择核 心参考帧，或根据反馈信道传回的确认信息选择核心参考帧。
其中，所述标准的编码方法为采取帧间编码方式编码或者帧内编码方式编码。
其中，所述帧间编码方式是以当前帧之前或者当前帧之后的一帧作为参考 帧进行编码。
其中，所述帧间编码方式是以当前帧之前和/或者当前帧之后的多帧作为 参考帧进行编码。
其中，所述参考帧是位于当前帧和当前帧之前的第N个核心参考帧之间
的图像，包括当前帧之前的第N个核心参考帧，N为正整数。
其中，所述参考帧不能是当前帧之前己经编码的核心参考帧之前的核心参 考帧或非核心参考帧。
其中，所述对视频序列中的核心参考帧图像采取帧间编码方式编码步骤中 是以当前帧之前的I帧或者核心参考帧作为参考帧进行编码。
其中，所述对视频序列中的核心参考帧图像采取帧间编码方式编码步骤中 是以当前帧之前的正确接收的I帧或者正确接收的核心参考帧作为参考帧进行 编码。
其中，所述正确接收的I帧或者正确接收的核心参考帧是编码器确认收到 解码器正确解码的I帧或者确认收到解码器正确解码的核心参考帧。
其中，'所述将该帧解码重建图像复制到核心参考帧缓冲区是指，无论编码 器是否确认收到解码器正确解码的I帧，都将解码重建图像复制到核心参考帧 缓冲区。
其中，所述将核心参考帧图像的解码重建图像复制到核心参考帧缓冲区是指，无论编码器是否确认收到解码器正确解码的核心参考帧，都将解码重建图 像复制到核心参考帧缓冲区。
其中，所述反馈解码信息是通过解码器的解码过程得到图像数据的状态信 息，并将图像数据的状态信息反馈给编码器。
其中，所述反馈解码信息是通过检测传输数据包的完整性得到图像数据的 状态信息，并将图像数据的状态信息反馈给编码器。
本发明还提供一种视频序歹l」的解码方法，所述方法包括 ' 步骤一，对视频序列第一帧图像采取帧内解码方式进行解码，并将该帧解 码重建图像复制到核心参考帧缓冲区；
步骤二，对视频序列中的非核心参考帧图像按照标准的解码方法进行解
码；
歩骤三，对视频序列中的核心参考帧图像按照帧间解码方式进行解码是以 当前帧之前的I帧或者核心参考帧作为参考帧进行解码；或者核心参考帧图像 按照帧内解码方式进行解码，并将核心参考帧图像的解码重建图像复制到核心 参考帧缓冲区。
其中，所述步骤一和步骤三中采取帧内解码方式的图像独立解码。
其中，所述步骤一和步骤三中，所述核心参考帧缓冲区用于存储核心参考
帧图像的参考帧数据及不用于存储非核心参考帧图像的参考帧数据。 其中，所述步骤二中的所述图像是I帧、P帧或B帧。 其中，所述步骤二中标准的解码方法为帧间编码方式或者帧内解码方式。 其中，所述帧间解码方式是以当前帧之前或者当前帧之后的一帧作为参考
帧进行解码。
其中，所述帧间解码方式是以当前帧之前和/或当前帧之后的多帧作为参 考帧进行解码。
其中，所述参考帧是位于当前帧和当前帧之前的第N个核心参考帧之间 的图像，包括当前帧之前的第N个核心参考帧，N为正整数。 .
其中，所述参考帧不能是当前帧之前已经解码的核心参考帧之前的核心参 考帧或非核心参考帧。
其中，所述步骤三中对核心参考帧图像采取帧间解码方式解码是以当前帧 之前的I帧或者核心参考帧作为参考帧进行解码。
其中，所述步骤三中对核心参考帧图像采取帧间解码方式解码是以当前帧 之前的正确的I帧或者正确的核心参考帧作为参考帧进行解码。
其中，所述正确的I帧或者正确的核心参考帧是解码器已经正确解码的I 帧或者解码器已经正确解码的核心参考帧。
其中，所述步骤一中，所述将该帧解.码重建图像复制到核心参考帧缓冲区 是指，无论解码器是否正确解码该帧，都将该帧解码重建图像复制到核心参考 帧缓冲区。
其中，所述步骤三中，所述将核心参考帧图像的解码重建图像复制到核心 参考帧缓冲区是指，无论解码器是否正确解码核心参考帧，都将核心参考帧图 像的解码重建图像复制到核心参考帧缓冲区。
本发明还提供一种视频传输的差错控制系统，包括
编码器，用于对视频序列第一帧图像采取帧内编码方式进行编码，在视频 序列中第一帧图像之后数个位置插入核心参考帧，对视频序列中的非核心参考 帧图像按照标准的编码方法进行编码，并对视频序列中的核心参考帧图像采取 帧间编码方式编码或者帧内编码方式编码；
解码器，用于接收编码的视频码流然后解码，并将解码状况反馈到编码器； 信道，用于传输编码器编码的视频序列以及反馈解码器解码的信息。
其中，所述信道包括
传输信道，用于传输编码器编码的视频序列；
反馈信道，用于反馈解码器解码的信息。
其中，所述编码器、解码器和信道存在时间延迟。
本发明提出了一种通过插入核心参考帧，可以在不明显降低视频编码效率 的条件下，实现视频传输差错控制的方法。与原有的在视频序列中插入I帧或 者关键参考帧的方法相比，具有更高的编码效率，而且能够有效减小或者阻止
传输差错在视频序列上的扩散，从而提高视频传输的质量。


图1所示为传统的视频编码方式对传输差错的处理方法； 图2所示为核心参考帧方法对传输差错的处理方法； 图3所示为采取固定间隔插入核心参考帧的差错控制方法； f 4所示为自适应核心参考帧间隔的差错控，j方法。
具体实施例方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅 仅用以解释本发明，并不用于限定本发明。
为了能够在出现传输差错时减少或者阻止错误解码图像的扩散，本发明提 出了一种在基于核心参考帧的编码/解码方法，可以在不明显降低视频编码效 率的情况下，阻止错误的扩散。图2所示为核心参考帧方法对传输差错的处理 方法。
在进行视频编码的过程中，在某些特定位置插入核心参考帧，记为C，如 图2中的双线所示。
核心参考帧可以采取帧内编码(I帧)方式进行编码，也可以采取帧间编 码(P帧)方法进行编码。
当采取帧内编码(I帧)方式时，核心参考帧的编码方式与普通的I帧编 码方法相同；
当采取帧间编码(P帧)方式时，与普通的帧间编码方法相比，不同之处 在于其参考帧是前面的I帧或者核心参考帧。而且在存在反馈信道条件下，编 码端可以选择解码端正确接收的核心参考帧作为参考图像进行帧间编码。
在进行视频解码的过程中，解码器根据接收到的图像类型是否为核心参考 帧，采取不同的解码过程。
步骤一，对视频序列第一帧图像采取帧内解码方式进行解码。并将解码重 建图像保存；
步骤二，对视频序列第一帧图像之后的图像进行解码。
14 若接收的图像为非核心参考帧，则视频图像数据的解码过程与标准的视频 解码过程一样，例如I帧、P帧和B帧。
若接收的图像为核心参考帧，对视频序列中的核心参考帧图像以当前帧之 前的I帧或者核心参考帧作为参考帧进行解码；或者核心参考帧就按照帧内解 码方式进行解码。并将解码重建图像保存。
例如在图2中，C (t+j)是以I (t)为参考帧，C (t+k)是以C (t+j)为
参考帧。当出得传输差错时，例如在t+i时刻发生错误，则,p(t+i)不能正确解 码。由于后续^I帧间编码帧P (t+i+l)是以p(t+i)作为参考fe像，因此错误解 码图像会向后扩散。
在t+j时刻，由于核心参考帧C (t+j)是以I (t)作为参考帧，与P (t+i) 和P (t+i+l)没有关系，因此核心参考帧C (t+j)可以正确解码。对于t+j之
后的图像帧，没有发生传输差错，图像都能够正确解码。在这种情况下，解码 错误的时间间隔为j-i。
图3所示为根据本发明一示例性实施方式采取固定间隔插入核心参考帧 实现传输差错控制的方法。
视频编码器对视频序列进行实时编码，得到编码视频码流，如图3中的上 半部分所示。然后将编码视频码流传送到视频解码器进行解码，如图3中的下 半部分所示。
由于编码器或者信道传输过程中存在一定的时间延迟，视频解码器接收到 编码视频码流的时刻与真实的视频序列存在一定的时间差。同理，由于视频解 码器和或者反馈信道传输过程存在一定的时间延迟，视频解码器将当前图像解 码信息反馈至视频编码器也存在一定的时间延迟。在图3中假设刻编码器对视 频序列进行编码后，经过信道传输，被解码器接收并解码，然后将解码状况反 馈至编码器所需的时间在4个单位时间以内。即t时刻编码的图像帧被解码器 接收后，在t+4时刻之前编码器可以得到解码器的反馈信息。
解码器端的核心参考帧的解码状态通过反馈信道传送给编码器，ACK表 示该图像帧能够正确解码，NACK表示该图像帧不能正确解码。如图3中I(t)、 C (t+4) 、 C (t+12) 、 C (t+16) 、 C (t+20)等能够正确解码的图像帧通过 ACK反馈至编码器，而不能正确解码的C (t+8)通过NACK反馈至编码器。
编码过程如下
在t时刻，编码器对视频序列的第一帧用帧内编码方式编码，记为I(t)， 并将I (t)保存到核心参考缓冲区中，可以作为后面的核心参考帧图像的参考 图像。
在t+l至t+3时刻，编码器对当前图像采取以前一帧作为参考帧的帧间编 码方式编码，记为P (t+l) 、 P (t+2) 、 P (t+3)。
在t+4时刻，编码器已经接收到解码器反馈的I (t)正确解码ACK信息， 对当前图像采取核心参,帧方式进行编码，即以I (t)作为参考帧进f编码， 记为C (t+4)，并将C (t+4)保存到核心参考缓冲区中，可以作i后面的 核心参考帧图像的参考图像。
在t+5至t+7时刻，编码器对当前图像采取以前一帧作为参考帧的帧间编 码方式编码，记为P (t+5) 、 P (t+6) 、 P (t+7)。为了实现错误恢复，P (t+5)、 P (t+6) 、 P (t+7)都不能以C (t+4)之前的非核心参考帧作为参考图像进 行编码。
在t+8时刻，编码器已经接收到解码器反馈的C (t+4)正确解码ACK 信息，对当前图像采取核心参考帧方式进行编码，即以C (t+4)作为参考帧 进行编码，记为C (t+8，并将C (t+8)保存到核心参考缓冲区中，可以作 为后面的核心参考帧图像的参考图像)。
在t+9至t+11时刻，编码器对当前图像采取以前一帧作为参考帧的帧间 编码方式编码，记为P (t+9) 、 P (t+10) 、 P (t+11)。为了实现错误恢复， P (t+9) 、 P (t+10) 、 P (t+11)都不能以C (t+8)之前的非核心参考帧作 为参考图像进行编码。
在t+12时刻，编码器没有接收到解码器反馈的C (t+8)正确解码ACK 信息，但是按照固定间隔核心参考帧方法需要对当前图像采取核心参考帧方式 进行编码。所以即以前面正确接收的核心参考帧C (t+4)作为参考帧进行编 码，记为C (t+12)，并将C (t+12)保存到核心参考缓冲区中，可以作为 后面的核心参考帧图像的参考图像。
后面时刻的编码方法与前面类似，在此不再重复。
解码过程如下
解码器对接收的视频序列的第一帧图像I (t)用帧内解码方式解码，并将 I (t)保存到核心参考缓冲区中，可以作为后面的核心参考帧图像的参考图像。解码器将I (t)正确解码信息用ACK反馈至编码器。
解码器对接收的P (t+l) 、 P (t+2) 、 P (t+3)采取以前一帧作为参考帧 的帧间解码方式解码。
解码器对接收的C (t+4)采取核心参考帧方式进行解码，其参考帧是I (t)，并将C (t+4)保存到核心参考缓冲区中，可以作为后面的核心参考帧 图像的参考图像。解码器将C (t+4)正确解码信息用ACK反馈至编码器。
解码器对接收的P (t+5) 、 P ，(t+6) 、 P (t+7)采取以前一帧作为参考帧 的帧间解码方式解码。
解码器对接收的C (t+8)采取核心参考帧方式进行解码，并以C (t+4) 作为参考帧进行解码。由于信道错误导致解码器接收的C (t+8)有错，因此 解码器将C (t+8)的错误解码信息NACK反馈至编码器。虽然，C (t+8)不 能正确解码，仍然将C (t+8)保存到核心参考缓冲区中。
解编码器对接收的P (t+9) 、 P (t+10) 、 P (t+11)采取以前一帧作为参 考帧的帧间解码方式解码。
解码器对接收的C (t+12)采取核心参考帧方式进行解码，此时C (t+ 12)以前面正确接收的核心参考帧C (t+4)作为参考帧进行解码，并将C (t + 12)保存到核心参考缓冲区中，可以作为后面的核心参考帧图像的参考图像。 解码器将C (t+12)正确解码信息用ACK反馈至编码器。
后面时刻的编码方法与前面类似，在此不再重复。
图4所示为根据本发明另一示例性实施方式的自适应插入核心参考帧实 现传输差错控制的方法。即在丢包率较低时采取普通帧间编码方法，在丢包率 较高时采取核心参考帧方法。
视频编码器对视频序列迸行实时编码，得到编码视频码流，如图4中的上 半部分所示。然后将编码视频码流传送到视频解码器进行解码，如图4中的下 半部分所示。
由于编码器或者信道传输过程中存在一定的时间延迟，视频解码器接收到 编码视频码流的时刻与真实的视频序列存在一定的时间差。同理，由于视频解 码器和或者反馈信道传输过程存在一定的时间延迟，视频解码器将当前图像解 码信息反馈至视频编码器也存在一定的时间延迟。在图4中假设刻编码器对视 频序列进行编码后，经过信道传输，被解码器接收并解码，然后将解码状况反 馈至编码器所需的时间在2个单位时间以内。即t时刻编码的图像帧被解码器 接收后，在t+2时刻之前编码器可以得到解码器的反馈信息。
解码器端的核心参考帧的解码状态通过反馈信道传送给编码器，ACK表
示该图像帧能够正确解码，NACK表示该图像帧不能正确解码。如图3中I(t)、 C (t+5) 、 C (t+10) 、 C (t+15)等能够正确解码的图像帧通过ACK反馈至 ,编码器，而不能正确解码的P (t+6) 、 C (t，8)通过NACK反馈至编码器。 编码过程如下 '
在t时刻，编码器对视频序列的第一帧用帧内编码方式编码，记为I(t)， 并将I (t)保存到核心参考缓冲区中，可以作为后面的核心参考帧图像的参考 图像。
在t+l至t+4时亥i」，编码器没有收到任何NACK信息，对当前图像采取以 前一帧作为参考帧的帧间编码方式编码，记为P (t+l) 、 P (t+2) 、 P (t+3)、 P (t+4)。
在t+5时刻，编码器没有接收到任何NACK信息，即表明丢包率很低， 对当前帧本应该采取以前一帧作为参考帧的帧间编码方式编码。但是由于很长 时间内没有指定核心参考帧，当前帧和正确核心参考帧的间隔逐渐变远， 一旦 发生差错，需要参考正确核心参考帧编码，编码效率将显著降低。为了提高编 码效率，如图4所示，当每连续编码5个普通帧后，不论当前帧参考那一帧编 码，当前帧都指定为核心参考帧，记为C (t+5)，并将C (t+5)保存到核心 参考缓冲区中，可以作为后面的核心参考帧图像的参考图像。
在t+6至t+7时刻，编码器没有收到任何NACK信息，对当前图像采取以 前一帧作为参考帧的帧间编码方式编码，记为P (t+6) 、 P (t+7)。为了实现 错误恢复，P (t+6) 、 P (t+7)都不能以C (t+5)之前的非核心参考帧作为 参考图像进行编码。
在t+8时刻，编码器接收到NACK信息，P (t+6)不能正确解码。对当前 帧采取核心参考帧方法进行编码，即以最近接收的正确核心参考帧C (t+5) 作为参考图像进行帧间编码，记为C (t+8)，并将C (t+8)保存到核心参考 缓冲区中，可以作为后面的核心参考帧图像的参考图像。
在t+9时刻，编码器没有收到任何NACK信息，对当前图像采取以前一 帧作为参考帧的帧间编码方式编码，记为P(t+9)。为了实现错误恢复，P(t+9) 不能以C (t+8)之前的非核心参考帧作为参考图像进行编码
在t+10时刻，编码器接收到解码器NACK信息，C (t+8)不能正确解 码，对当前图像采取核心参考帧方式进行编码，即以前一个正确解码的核心参 考帧C (t+5)作为参考帧进行编码，记为C (t+10)，并将C (t+10)保存到 核心参考缓冲区中，可以作为后面的核心参考帧图像的参考图像。
在t+.ll至t+14时亥lj，编码器没有收到任何NAC^信息，对当前图像采取 以前一帧作为参考帧的帧间编码方式编码，记为P (t+l 1) 、 P (t+12) 、 P(t+13 )、 P (t+14)。为了实现错误恢复，P (t+11) 、 P (t+12) 、 P (t+13) 、 P (t+14) 都不能以C (t+10)之前的非核心参考帧作为参考图像进行编码
在t+15时刻，编码器没有接收到任何NACK信息，即表明丢包率很低， 对当前帧本应该采取以前一帧作为参考帧的帧间编码方式编码。但是为了提高 编码效率，如图4所示，当每连续编码5个普通帧后，不论当前帧参考那一帧 编码，当前帧都指定为核心参考帧，即以C (t+10)作为参考帧进行帧间编码， 记为C (t+15)，并将C (t+15)保存到核心参考缓冲区中，可以作为后面的 核心参考帧图像的参考图像。
后续时刻的编码方法与前面类似，在此不再重复。
解码过程如下
解码器对接收的视频序列的第一帧图像I (t)用帧内解码方式解码，并将 I (t)保存到核心参考缓冲区中，可以作为后面的核心参考帧图像的参考图像。 解码器将I (t)正确解码信息用ACK反馈至编码器。
解码器对接收的P (t+l) 、 P (t+2) 、 P (t+3) 、 P (t+4)采取以前一帧 作为参考帧的帧间解码方式解码。
解码器对接收的C (t+5.)采取核心参考帧方式进行解码，其参考帧是I (t)，并将C (t+5)保存到核心参考缓冲区中，可以作为后面的核心参考帧 图像的参考图像。解码器将C (t+5)正确解码信息用ACK反馈至编码器。
解码器对接收的P (t+6) 、 P (t+7)采取以前一帧作为参考帧的帧间解码 方式解码。
解码器对接收的C (t+8)采取核心参考帧方式解码，由于C (t+8)以接 收的正确核心参考帧或者I帧作为参考图像，因此C (t+8)以C (t+5)为参
考图像进行帧间解码方式解码。由于信道错误导致解码器接收的C (t+8)有
错，因此解码器将C (t+8)的错误解码信息NACK反馈至编码器。虽然，C (t+8)不能正确解码，仍然将C (t+8)保存到核心参考缓冲区中。
解码器对接收的P (t+9)采取以前一帧作为参考帧的帧间解码方式解码。
解码器对接收的C (t+10)采取核心参考帧方式进行解码，即以前一个正 确解码的核心参考帧C (t+5)作为参考帧按照帧间解码方式进行解码，并将C (t+10)保存到核今参考缓冲区中，可以作为后面的核心参考帧图像的参考图 l ,
解码器对接收到的P (t+11) 、 P (t+12) 、 P (t+13) 、 P (t+14)采取以 前一帧作为参考帧的帧间解码方式解码。
解码器对接收的C (t+15)采取核心参考帧方式解码，以C (t+5)为参 考图像进行帧间解码方式解码，并将C (t+15)保存到核心参考缓冲区中，可 以作为后面的核心参考帧图像的参考图像。
后续时刻的编码方法与前面类似，在此不再重复。 .
当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情 况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但 这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
权利要求
1、一种视频序列的编码方法，其特征在于，包括步骤一，对视频序列第一帧图像采取帧内编码I帧方式进行编码，并将该帧解码重建图像复制到核心参考帧缓冲区；步骤二，在视频序列中第一帧图像之后数个位置插入核心参考帧；步骤三，对视频序列中的非核心参考帧图像按照标准的编码方法进行编码；步骤四，对视频序列中的核心参考帧图像以当前帧之前的I帧或者核心参考帧作为参考帧进行编码；或者核心参考帧就是帧内编码I帧，并将核心参考帧图像的解码重建图像复制到核心参考帧缓冲区。
2、 根据权利要求1所述的视频序列的编码方法，其特征在于，所述步 骤一和步骤四中采取帧内编码I帧方式的图像独立解码。
3、 根据权利要求1所述的视频序列的编码方法，其特征在于，所述步 骤一和步骤四中，所述核心参考帧缓冲区用于存储核心参考帧图像的参考帧数 据及不用于存储非核心参考帧图像的参考帧数据。
4、 根据权利要求1所述的视频序列的编码方法，其特征在于，所述步 骤二中插入核心参考帧包括每隔固定间隔插入核心参考帧，或根据率失真优化 模型选择核心参考帧，或根据反馈信道传回的确认信息自适应插入核心参考 帧。
5、 根据权利要求1所述的视频序列的编码方法，其特征在于，所述步 骤三中的所述图像是I帧、P帧或B帧。
6、 根据权利要求1所述的视频序列的编码方法，其特征在于，所述步 骤三中标准的编码方法为帧间编码方式或者帧内编码方式。
7、 根据权利要求6所述的视频序列的编码方法，其特征在于，所述帧 间编码方式是以当前帧之前或者当前帧之后的一帧作为参考帧进行编码。
8、 根据权利要求6所述的视频序列的编码方法，其特征在于，所述帧 间编码方式是以当前帧之前和/或者当前帧之后的多帧作为参考帧进行编码。
9、 根据权利要求7或权利要求8所述的视频序列的编码方法，其特征 在于，所述参考帧是位于当前帧和当前帧之前的第N个核心参考帧之间的图像，包括当前帧之前的第N个核心参考帧，N为正整数。
10、 根据权利要求9所述的视频序列的编码方法，其特征在于，所述参 考帧不能是当前帧之前己经编码的核心参考帧之前的核心参考帧或非核心参 考帧。
11、 根据权利要求1所述的视频序列的编码方法，其特征在于，所述步 骤四中对核心参考帧图像采取帧间编码方式编码是以当前帧之前的I帧或者核 心参考帧作为参考帧进行编码。 ，
12、 根据权利要求1所述的视频序列的编码方法，其特征在于，所述步 骤四中对核心参考帧图像采取帧间编码方式编码是以当前帧之前的正确接收 的I帧或者正确接收的核心参考帧作为参考帧进行编码。
13、 根据权利要求12所述的视频序列的编码方法，其特征在于，所述正确接收的I帧或者正确接收的核心参考帧是编码器已经确认收到解码器正确解 码的I帧或者确认收到解码器正确解码的核心参考帧。
14、 根据权利要求l所述的视频序列的编码方法，其特征在于，所述步 骤一中，无论编码器是否已经确认收到解码器正确解码的帧内编码I帧，都将 该帧解码重建图像复制到核心参考帧缓冲区。
15、 根据权利要求l所述的视频序列的编码方法，其特征在于，所述步 骤四中，无论编码器是否确认收到解码器正确.解码的核心参考帧图像，都将核 心参考帧图像的解码重建图像复制到核心参考帧缓冲区。
16、 一种视频传输的差错控制方法，其特征在于，包括对视频序列第一帧图像采取帧内编码I帧方式进行编码，并将该帧解码重建图像复制到核心参考帧缓冲区；在视频序列中第一帧图像之后数个位置插入核心参考帧；对视频序列中的非核心参考帧图像按照标准的编码方法进行编码； 对视频序列中的核心参考帧图像采取帧间编码方式编码；或者采取帧内编码I帧方式编码。并将核心参考帧图像的解码重建图像复制到核心参考帧缓冲区；接收编码的视频序列然后解码并反馈解码信息； 传输编码的视频序列以及反馈的解码信息。
17、 根据权利要求16所述的视频传输的差错控制方法，其特征在于，所述采取帧内编码I帧方式的图像独立解码。
18、 根据权利要求16所述的视频传输的差错控制方法，其特征在于，所 述核心参考帧缓冲区用于存储核心参考帧图像的参考帧数据及不用于存储非 核心参考帧图像的参考帧数据。
19、 根据权利要求16所述的视频传输的差错控制方法，其特征在于，所 述在视频序列中第一帧图像之后数个位置插入核心参考帧步骤包括在视频序 列中每^固定间隔插入核心参考帧，或根据率失真,化模型选择核心参考帧， 或根据反馈信道传回的确认信息选择核心参考帧。'
20、 根据权利要求16所述的视频传输的差错控制方法，其特征在于，所述标准的编码方法为采取帧间编码方式编码或者帧内编码方式编码。
21、 根据权利要求20所述的视频传输的差错控制方法，其特征在于，所 述帧间编码方式是以当前帧之前或者当前帧之后的一帧作为参考帧进行编码。
22、 根据权利要求20所述的视频序列的差错控制方法，其特征在于，所 述帧间编码方式是以当前帧之前和/或者当前帧之后的多帧作为参考帧进行编 码。
23、 根据权利要求21或权利要求22所述的视频序列的差错控制方法， 其特征在于，所述参考帧是位于当前帧和当前帧之前的第N个核心参考帧之 间的图像，包括当前帧之前的第N个核心参考帧，N为正整数。
24、 根据权利要求23所述的视频序列的差错控制方法，其特征在于，所 述参考帧不能是当前帧之前已经编码的核心参考帧之前的核心参考帧或非核 心参考帧。
25、 根据权利要求16所述的视频传输的差错控制方法，其特征在于，所 述对视频序列中的核心参考帧屈像采取帧间编码方式编码步骤中是以当前帧 之前的I帧或者核心参考帧作为参考帧进行编码。
26、 根据权利要求16所述的视频传输的差错控制方法，其特征在于，所 述对视频序列中的核心参考帧图像采取帧间编码方式编码步骤中是以当前帧 之前的正确接收的I帧或者正确接收的核心参考帧作为参考帧进行编码。
27、 根据权利要求26所述的视频传输的差错控制方法，其特征在于，所 述正确接收的I帧或者正确接收的核心参考帧是编码器确认收到解码器正确解 码的I帧或者确认收到解码器正确解码的核心参考帧。
28、 根据权利要求16所述的视频传输的差错控制方法，其特征在于，所述将该帧解码重建图像复制到核心参考帧缓冲区是指，无论编码器是否确认收到解码器正确解码的I帧，都将解码重建图像复制到核心参考帧缓冲区。
29、 根据权利要求16所述的视频传输的差错控制方法，其特征在于，所述将核心参考帧图像的解码重建图像复制到核心参考帧缓冲区是指，无论编码器是否确认收到解码器正确解码的核心参考帧，都将解码重建图像复制到核心参考帧缓冲区。
30、 根据权利要求16所述的视频传输的差错控制方法，'其特征在于，所 述反馈解码信息是通过解码器的解码过程得到图像数据的状态信息，并将图像数据的状态信息反馈给编码器。
31、 根据权利要求16所述的视频传输的差错控制方法，其特征在于，所 述反馈解码信息是通过检测传输数据包的完整性得到图像数据的状态信息，并 将图像数据的状态信息反馈给编码器。
32、 一种视频序列的解码方法，其特征在于，包括步骤一，对视频序列第一帧图像采取帧内解码方式进行解码，并将该帧解 码重建图像复制到核心参考帧缓冲区；步骤二，对视频序列中的非核心参考帧图像按照标准的解码方法进行解码；步骤三，对视频序列中的核心参考帧图像按照帧间解码方式进行解码是以 当前帧之前的I帧或者核心参考帧作为参考帧进行解码；或者核心参考帧图像 按照帧内解码方式进行解码，并将核心参考帧图像的解码重建图像复制到核心 参考帧缓冲区。
33、 根据权利要求32所述的视频序列的解码方法，其特征在于，所述步 骤一和步骤三中采取帧内解码方式的图像独立解码。
34、 根据权利要求32所述的视频序列的解码方法，其特征在于，所述步 骤一和步骤三中，所述核心参考帧缓冲区用于存储核心参考帧图像的参考帧数 据及不用于存储非核心参考帧图像的参考帧数据。
35、 根据权利要求32所述的视频序列的解码方法，其特征在于，所述步 骤二中的所述图像是I帧、P帧或B帧。
36、 根据权利要求32所述的视频序列的解码方法，其特征在于，所述步骤二中标准的解码方法为帧间编码方式或者帧内解码方式。
37、 根据权利要求36所述的视频序列的解码方法，其特征在于，所述帧 间解码方式是以当前帧之前或者当前帧之后的一帧作为参考帧进行解码。
38、 根据权利要求36所述的视频序列的解码方法，其特征在于，所述帧 间解码方式是以当前帧之前和/或当前帧之后的多帧作为参考帧进行解码。
39、 根据权利要求37或权利要求38所述的视频序列的解码方法，其特 征在于，所述参考帧是位f当前帧和当前帧之前的第N个核心参考帧^间的 图像，包括当前帧之前的第N个核心参考帧，N为正整数。 '
40、 根据权利要求39所述的视频序列的解码方法，其特征在于，所述参 考帧不能是当前帧之前已经解码的核心参考帧之前的核心参考帧或非核心参 考帧。
41、 根据权利要求32所述的视频序列的解码方法，其特征在于，所述步 骤三中对核心参考帧图像采取帧间解码方式解码是以当前帧之前的I帧或者核 心参考帧作为参考帧进行解码。
42、 根据权利要求32所述的视频序列的解码方法，其特征在于，所述步 骤三中对核心参考帧图像采取帧间解码方式解码是以当前帧之前的正确的I帧 或者正确的核心参考帧作为参考帧进行解码。
43、 根据权利要求42所述的视频序列的解码方法，其特征在于，所述正 确的I帧或者正确的核心参考帧是解码器已经正确解码的I帧或者解码器已经 正确解码的核心参考帧。
44、 根据权利要求32所述的视频序列的解码方法，其特征在于，所述步 骤一中，所述将该帧解码重建图像复制到核心参考帧缓冲区是指，无论解码器 是否正确解码该帧，都将该帧解码重建图像复制到核心参考帧缓冲区。
45、 根据权利要求32所述的视频序列的编码方法，其特征在于，所述步 骤三中，所述将核心参考帧图像的解码重建图像复制到核心参考帧缓冲区是 指，无论解码器是否正确解码核心参考帧，都将核心参考帧图像的解码重建图 像复制到核心参考帧缓冲区。 .
46、 一种视频传输的差错控制系统，其特征在于，包括编码器，用于对视频序列第一帧图像釆取帧内编码方式进行编码，在视频 序列中第一帧图像之后数个位置插入核心参考帧，对视频序列中的非核心参考帧图像按照标准的编码方法进行编码，并对视频序列中的核心参考帧图像采取 帧间编码方式编码或者帧内编码方式编码；解码器，用于接收编码的视频码流然后解码，并将解码状况反馈到编码器;信道，用于传输编码器编码的视频序列以及反馈解码器解码的信息。
47、 根据权利要求46所述的视频传输的差错控制系统，其特征在于，所述信道包括传输信道，用于传输编码器编^的视频序列； 反馈信道，用于反馈解码器解码的信息。
48、 根据权利要求47所述的视频传输的差错控制系统，其特征在于，所述编码器、解码器和信道存在时间延迟。
全文摘要
本发明提供了一种视频序列的编码/解码方法，用于视频传输的差错控制，包括步骤一，对视频序列第一帧图像采取帧内编码方式进行编码；步骤二，在视频序列中第一帧图像之后数个位置插入核心参考帧；步骤三，对视频序列中的非核心参考帧图像按照标准的编码方法进行编码；步骤四，对视频序列中的核心参考帧图像以当前帧之前的I帧或者核心参考帧作为参考帧进行编码；或者核心参考帧就是I帧。通过在编码码流中插入核心参考帧，不但可以有效地减少或者阻止视频过程中由于传输差错引起的图像质量下降，而且不会明显降低视频图像的编码效率。
文档编号H04N7/26GK101207813SQ200710125278
公开日2008年6月25日 申请日期2007年12月18日 优先权日2007年12月18日
发明者睿 陈 申请人:中兴通讯股份有限公司