专利名称：一种视频序列的编码方法
技术领域：
本发明涉及图像信息传输和处理领域，具体涉及在进行视频传输过程中的 阻止传输差错扩散的方法。
背景技术：
通过Internet和无线移动网等主要通信网络传输视频时，现有的视频压縮 算法通常采用基于运动补偿的混合编码框架来提高压縮率。对于运动图像专家 组标准(MPEG)视频流，采用三种类型的帧帧内编码帧(以下简称I帧)、 前向预测编码帧(以下简称P帧)和双向预测编码帧(以下简称B帧)。I帧 是一个全帧压縮编码帧，它将全帧图像信息进行压縮编码及传输，解码时仅用 I帧的数据就可重构完整图像；P帧可以由I帧或前面的P帧进行预测，P帧属 于前向预测的帧间编码，压縮比大于I帧；B帧以前面的I或P帧和后面的P 帧为参考帧进行预测，因此压縮比最高。
然而在满足带宽限制条件下，需要克服传输差错的影响。
如图1所示为传统的视频编码方式对传输差错的处理方法。在图1中，采 用帧内编码模式的图像是可以独立解码的，其它的编码图像帧采取帧间编码模 式。图1中所示是一种典型的视频编码码流结构，其中在t时刻和t+n时刻的 图像帧是帧内编码模式，记为I，其它图像帧都采取用前一帧作为参考帧的帧 间编码模式，记为P。
当出现传输差错时，例如在t+i时刻发生错误，则P(t+i)不能正确解码。 由于后续的帧间编码帧都是用前一帧作为参考图像，因此错误解码图像会向后 扩散，直到t+n时刻的帧内编码图像帧为止。在这种情况下，解码错误的时间 间隔为n-i。
传输差错引起视频图像不能正常解码，而且错误图像信息会在时域和空域 上扩散。为了降低视频传输差错及其差错扩散的影响， 一种常用的方法是采用 帧内编码更新技术，但是帧内编码方式会大幅度降低编码效率。 与帧内编码更新相比，参考帧选择(Reference Picture Selection, RPS)具 有更高的编码效率。其基本思想是编码器通过反馈信道得到解码器的丢失情 况，在编码下一个帧间编码帧时选用已被解码器正确接收的较早的帧作为参考 帧。Hideaki Kimata禾卩Yoshiyuki Yashima在文献"A study of key-frame reference picture selection method for error resilient multiple video objects distribution"中提 出了一种新的基于关键参考帧的无反馈关键参考帧选择方法。即以帧内编码帧 (I帧)作为关键参考帧，每个P帧均以I帧作为参考帧。这种方法虽然可以. 有效地阻止差错的扩散，但由于所有的P帧都参考I帧进行编码，编码效率降 低。
发明内容
本发明所要解决的技术问题在于提供了一种视频码流的编码/解码方法， 通过在编码码流中插入核心参考帧，不但可以有效地减少或者阻止视频过程中 由于传输差错引起的图像质量下降，而且不会明显降低视频图像的编码效率。
为了实现上述目的，本发明提供了一种视频序列的编码方法，用于视频传
输的差错控制，包括
歩骤一，对视频序列第一帧图像采取帧内编码方式进行编码； 步骤二，在视频序列中第一帧图像之后数个位置插入核心参考帧； 步骤三，对视频序列中的非核心参考帧图像按照标准的编码方法进行编
码；
步骤四，对视频序列中的核心参考帧图像以当前帧之前的I帧或者核心参 考帧作为参考帧进行编码；或者核心参考帧就是I帧。
本发明提出了一种通过插入核心参考帧，可以在不明显降低视频编码效率 的条件下，实现视频传输差错控制的方法。与原有的在视频序列中插入I帧或 者关键参考帧的方法相比，具有更高的编码效率，而且能够有效减小或者阻止 传输差错在视频序列上的扩散，从而提高视频传输的质量。
图1所示为传统的视频编码方式对传输差错的处理方法； 图2所示为核心参考帧方法对传输差错的处理方法； 图3所示为采取固定间隔插入核心参考帧的差错控制方法； 图4所示为自适应核心参考帧间隔的差错控制方法。
具体实施例方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅 仅用以解释本发明，并不用于限定本发明。
为了能够在出现传输差错时减少或者阻止错误解码图像的扩散，本发明提 出了一种在基于核心参考帧的编码方法，可以在不明显降低视频编码效率的情
况下，阻止错误的扩散。图2所示为核心参考帧方法对传输差错的处理方法。 在进行视频编码的过程中，在某些特定位置插入核心参考帧，记为C，如
图2中的双线所示。
核心参考帧可以采取帧内编码(I帧)方式进行编码，也可以采取帧间编
码(P帧)方法进行编码。
当采取帧内编码(I帧)方式时，核心参考帧的编码方式与普通的I帧编
码方法相同；
当采取帧间编码(P帧)方式时，与普通的帧间编码方法相比，不同之处 在于其参考帧是前面的I帧或者核心参考帧。而且在存在反馈信道条件下，编
码端可以选择解码端正确接收的核心参考帧作为参考图像进行帧间编码。
例如在图2中，C (t+j)是以I (t)为参考帧，C (t+k)是以C (t+j)为 参考帧。当出现传输差错时，例如在t+i时刻发生错误，则P(t+i)不能正确解 码。由于后续的帧间编码帧P (t+i+l)是以P(t+i)作为参考图像，因此错误解 码图像会向后扩散。 '
在t+j时刻，由于核心参考帧C (t+j)是以I (t)作为参考帧，与P (t+i) 和P (t+i+l)没有关系，因此核心参考帧C (t+j)可以正确解码。对于t+j之 后的图像帧，没有发生传输差错，图像都能够正确解码。在这种情况下，解码 错误的时间间隔为j-i。 '
图3所示为根据本发明一示例性实施方式采取固定间隔插入核心参考帧 实现传输差错控制的方法。
视频编码器对视频序列进行实时编码，得到编码视频码流，如图3中的上
半部分所示。然后将编码视频码流传送到视频解码器进行解码，如图3中的下 半部分所示。
由于编码器或者信道传输过程中存在一定的时间延迟，视频解码器接收到 编码视频码流的时刻与真实的视频序列存在一定的时间差。同理，由于视频解 码器和或者反馈信道传输过程存在一定的时间延迟，视频解码器将当前图像解 码信息反馈至视频编码器也存在一定的时间延迟。在图3中假设刻编码器对视 频序列进行编码后，经过信道传输，被解码器接收并解码，然后将解码状况反 馈至编码器所需的时间在4个单位时间以内。即t时刻编码的图像帧被解码器
接收后，在t+4时刻之前编码器可以得到解码器的反馈信息。
解码器端的核心参考帧的解码状态通过反馈信道传送给编码器，ACK表
示该图像帧能够正确解码，NACK表示该图像帧不能正确解码。如图3中I(t)、
C (t+4) 、 C (t+12) 、 C (t+16) 、 C (t+20)等能够正确解码的图像帧通过
ACK反馈至编码器，而不能正确解码的C (t+8)通过NACK反馈至编码器。 在t时刻，编码器对视频序列的第一帧用帧内编码方式编码，记为I(t)。 在t+l至t+3时刻，编码器对当前图像采取以前一帧作为参考帧的帧间编
码方式编码，记为P (t+l) 、 P (t+2) 、 P (t+3)。
在t+4时刻，编码器已经接收到解码器反馈的I (t)正确解码ACK信息，
对当前图像采取核心参考帧方式进行编码，即以I (t)作为参考帧进行编码，
记为C (t+4)。
在t+5至t+7时刻，编码器对当前图像采取以前一帧作为参考帧的帧间编 码方式编码，记为P (t+5) 、 P (t+6) 、 P (t+7)。
在t+8时刻，编码器已经接收到解码器反馈的C (t+4)正确解码ACK 信息，对当前图像采取核心参考帧方式进行编码，即以C (t+4)作为参考帧 进行编码，记为C (t+8)。
在t+9至t+11时刻，编码器对当前图像采取以前一帧作为参考帧的帧间 编码方式编码，记为P (t+9) 、 P (t+10) 、 P (t+11)。
在t+12时亥U，编码器没有接收到解码器反馈的C (t+8)正确解码ACK 信息，但是按照固定间隔核心参考帧方法需要对当前图像采取核心参考帧方式 进行编码。所以即以前面正确接收的核心参考帧C (t+4)作为参考帧进行编 码，记为C (t+12)。
后面时刻的编码方法与前面类似，在此不再重复。
图4所示为根据本发明另一示例性实施方式的自适应插入核心参考帧实 现传输差错控制的方法。即在丢包率较低时采取普通帧间编码方法，在丢包率 较高时采取核心参考帧方法。
视频编码器对视频序列进行实时编码，得到编码视频码流，如图4中的上
半部分所示。然后将编码视频码流传送到视频解码器进行解码，如图4中的下
半部分所示。
由于编码器或者信道传输过程中存在一定的时间延迟，视频解码器接收到 编码视频码流的时刻与真实的视频序列存在一定的时间差。同理，由于视频解 码器和或者反馈信道传输过程存在一定的时间延迟，视频解码器将当前图像解
码信息反馈至视频编码器也存在一定的时间延迟。在图4中假设刻编码器对视 频序列进行编码后，经过信道传输，被解码器接收并解码，然后将解码状况反 馈至编码器所需的时间在2个单位时间以内。即t时刻编码的图像帧被解码器 接收后，在t+2时刻之前编码器可以得到解码器的反馈信息。
解码器端的核心参考帧的解码状态通过反馈信道传送给编码器，ACK表 示该图像帧能够正确解码，NACK表示该图像帧不能正确解码。如图3中I(t)、 C (t+5) 、 C (t+10) 、 C (t+15)等能够正确解码的图像帧通过ACK反馈至 编码器，而不能正确解码的P (t+6) 、 C (t+8)通过NACK反馈至编码器。 在t时刻，编码器对视频序列的第一帧用帧内编码方式编码，记为I(t)。 在t+l至t+4时刻，编码器没有收到任何NACK信息，对当前图像采取以 前一帧作为参考帧的帧间编码方式编码，记为P (t+l) 、 P (t+2) 、 P (t+3)、 P (t+4)。
在t+5时刻，编码器没有接收到任何NACK信息，即表明丢包率很低， 对当前帧本应该采取以前一帧作为参考帧的帧间编码方式编码。但是由于很长 时间内没有指定核心参考帧，当前帧和正确核心参考帧的间隔逐渐变远， 一旦 发生差错，需要参考正确核心参考帧编码，编码效率将显著降低。为了提高编 码效率，如图4所示，当每连续编码5个普通帧后，不论当前帧参考那一帧编 码，当前帧都指定为核心参考帧。
在t+6至t+7时刻，编码器没有收到任何NACK信息，对当前图像采取以 前一帧作为参考帧的帧间编码方式编码，记为P (t+6) 、 P (t+7)。
在t+8时刻，编码器接收到NACK信息，P (t+6)不能正确解码。对当前 帧采取核心参考帧方法进行编码，即以最近接收的正确核心参考帧C (t+5) 作为参考图像进行帧间编码，记为C (t+8)。
在t+9时亥U，编码器没有收到任何NACK信息，对当前图像采取以前一 帧作为参考帧的帧间编码方式编码，记为P (t+9)。
在t+10时刻，编码器接收到解码器NACK信息，C (t+8)不能正确解 码，对当前图像采取核心参考帧方式进行编码，即以前一个正确解码的核心参 考帧C (t+5)作为参考帧进行编码，记为C (t+10)。
在t+ll至t+14时刻，编码器没有收到任何NACK信息，对当前图像采取 以前一帧作为参考帧的帧间编码方式编码，记为P(t+ll)、P(t+12)、P(t+13)、 P (t+14)。
在t+15时刻，编码器没有接收到任何NACK信息，即表明丢包率很低， 对当前帧本应该采取以前一帧作为参考帧的帧间编码方式编码。但是为了提高 编码效率，如图4所示，当每连续编码5个普通帧后，不论当前帧参考那一帧 编码，当前帧都指定为核心参考帧，即以C(t+10)作为参考帧进行帧间编码， 记为C (t+15)。
后续时刻的编码方法与前面类似，在此不再重复。
当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情 况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但 这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
权利要求
1、一种视频序列的编码方法，其特征在于，包括步骤一，对视频序列第一帧图像采取内编码方式进行编码；步骤二，在视频序列中第一帧图像之后数个位置插入核心参考帧；步骤三，对视频序列中的非核心参考帧图像按照标准的编码方法进行编码；步骤四，对视频序列中的核心参考帧图像以当前帧之前的I帧或者核心参考帧作为参考帧进行编码；或者核心参考帧就是I帧。
2、 根据权利要求1所述的视频序列的编码方法，其特征在于，所述步骤 一中采取帧内编码方式的图像独立解码。
3、 根据权利要求1所述的视频序列的编码方法，其特征在于，所述步骤 二中插入核心参考帧包括每隔固定间隔插入核心参考帧，或根据率失真优化模 型选择核心参考帧，或根据反馈信道传回的确认信息自适应插入核心参考帧。
4、 根据权利要求1所述的视频序列的编码方法，其特征在于，所述步骤 三中的所述图像是I帧、P帧或B帧。
5、 根据权利要求1所述的视频序列的编码方法，其特征在于，所述步骤 三中标准的编码方法为帧间编码方式。
6、 根据权利要求5所述的视频序列的编码方法，其特征在于，所述帧间 编码方式是以当前帧的前一帧作为参考帧进行编码。
7、 根据权利要求1所述的视频序列的编码方法，其特征在于，所述步骤 四中对核心参考帧图像采取帧间编码方式编码是以当前帧之前的I帧或者核心 参考帧作为参考帧进行编码。
8、 根据权利要求7所述的视频序列编码方法，其特征在于，所述步骤四 中对核心参考帧图像采取帧间编码方式编码是以当前帧之前的正确接收的I帧 或者正确接收的核心参考帧作为参考帧进行编码。
9、 一种视频传输的差错控制方法，其特征在于，包括 对视频序列第一帧图像采取帧内编码方式进行编码； 在视频序列中第一帧图像之后数个位置插入核心参考帧； 对视频序列中的非核心参考帧图像按照标准的编码方法进行编码； 对视频序列中的核心参考帧图像采取帧间编码方式编码；或者采取帧内编 码方式编码；接收编码的视频序列然后解码并反馈解码信息； 传输编码的视频序列以及反馈的解码信息。
10、 根据权利要求9所述的视频传输的差错控制方法，其特征在于，所述 在视频序列中第一帧图像之后数个位置插入核心参考帧步骤包括在视频序列 中每隔固定间隔插入核心参考帧，或根据率失真优化模型选择核心参考帧，或 根据反馈信道传回的确认信息选择核心参考帧。
11、 根据权利要求9所述的视频传输的差错控制方法，其特征在于，所述 标准的编码方法为采取帧间编码方式编码。
12、 根据权利要求11所述的视频传输的差错控制方法，其特征在于，所 述帧间编码方式采取以当前帧的前一帧作为参考帧。
13、 根据权利要求9所述的视频传输的差错控制方法，其特征在于，所述 对视频序列中的核心参考帧图像采取帧间编码方式编码步骤中是以当前帧之 前的I帧或者核心参考帧作为参考帧进行编码。
14、 一种视频传输的差错控制系统，其特征在于，包括编码器，用于对视频序列第一帧图像采取帧内编码方式进行编码，在视频 序列中第一帧图像之后数个位置插入核心参考帧，对视频序列中的非核心参考 帧图像按照标准的编码方法进行编码并对视频序列中的核心参考帧图像采取 帧间编码方式编码；解码器，用于接收编码的视频序列然后解码，并将解码状况反馈到编码器； 信道，用于传输编码器编码的视频序列以及反馈解码器解码的信息。
15、 根据权利要求14所述的视频传输的差错控制系统，其特征在于，所 述信道包括传输信道，用于传输编码起编码的视频序列； 反馈信道，用于反馈解码器解码的信息。
16、 根据权利要求14所述的视频传输的差错控制系统，其特征在于，所 述编码器、解码器和信道存在时间延迟。
全文摘要
本发明提供了一种视频序列的编码方法，用于视频传输的差错控制，包括步骤一，对视频序列第一帧图像采取帧内编码方式进行编码；步骤二，在视频序列中第一帧图像之后数个位置插入核心参考帧；步骤三，对视频序列中的非核心参考帧图像按照标准的编码方法进行编码；步骤四，对视频序列中的核心参考帧图像以当前帧之前的I帧或者核心参考帧作为参考帧进行编码；或者核心参考帧就是I帧。通过在编码码流中插入核心参考帧，不但可以有效地减少或者阻止视频过程中由于传输差错引起的图像质量下降，而且不会明显降低视频图像的编码效率。
文档编号H04N7/26GK101188760SQ20071016975
公开日2008年5月28日 申请日期2007年11月16日 优先权日2007年11月16日
发明者睿 陈 申请人:中兴通讯股份有限公司