专利名称：压缩编码图像传输中的误码处理方法
技术领域：
本发明涉及多媒体技术中的图像通信领域，特别是涉及经压缩编码的图像在传输中产生的误码的处理方法。
会议电视和可视电话都应用到图像通信技术，以及对图像压缩编码后传输的技术。在实时双向视频通信中，如会议电视，视频信息按照国际标准压缩为码流数据进行传输。目前通常采用的图像编码国际标准为ITU-T(国际电联)提出的H.26X标准(如H.261和H.263)，在H.26X标准中将数字视频格式定义为CIF(公共中间格式)和QCIF(四分之一CIF)，作为会议电视统一的图像信号格式，以适应国际上流行的PAL、NTSC、SECAM等不同电视制式。
下面以CIF格式为例简单介绍H.26X标准中定义的数字视频格式的结构。
图1和图2分别示出了H.261CIF格式和H.263CIF格式的组成结构，如图1及图2所示，每帧图像被划分为多个GOB(块组)，每一GOB又被划分为多个MB(宏块)，MB又被进一步划分因与本发明不相关不再赘述。与图像的划分格式相对应，H.26X标准的压缩编码图像在传输中的的数据码流分为若干层，图像层包含图像层头和GOB层数据，GOB层包含GOB层头和MB层数据，MB层又包含MB层头和下一层的数据，等等。由于压缩码流的信息冗余度较低，因而在传输过程中引入的传输信道误码对接收端图像质量影响很大。
一般接收端都会设置误码检测的手段，如利用前向纠错(FEC)进行误码检测，在发现误码的情况下，现有技术中的一种误码处理方法，利用多点会议的FastUpdate指令，当接收端检测出有误码时，即凝固本接收端的显示，即暂停将图像数据解码为可直接播放的视频数据的解码操作，通过会议控制向发送端发出FastUpdate指令。发送端收到指令，即编码发送帧内帧，将当前帧进行帧内编码并发送，并在码流中将Freeze Release位置为有效。接收端检测出FreezeRelease位为有效后，即解除显示凝固，继续将图像数据解码为可直接播放的视频数据。
现有技术的缺点在于，即使在误码不大的情况下，解码图像也有较频繁的图像凝固与质量较差的帧内编码图像出现，尤其在一个多方参与的电视会议中，一个终端正在被广播，如果某个接收广播的终端线路有误码，这一误码处理方式会导致整个会议所有终端看到较频繁的质量较差的帧内编码图像出现，用户对这一现象表示很难接受。
本发明的目的在于提出一种压缩编码图像传输中的误码处理方法，其可避免或减少发送端的帧内编码发送及接收端的图像凝固，提高图像质量。
本发明的目的是这样实现的一种压缩编码图像传输中的误码处理方法，其特征在于当接收端检测出有误码时在图像码流数据解码前丢弃有误码的图像码流数据，并采用前帧相应位置的图像数据替代被丢弃的图像数据，然后再进行图像码流数据解码。
较佳地，对应于解码前的图像码流数据，接收端设置标志数组用以记录出现误码的位置。
较佳地，在图像编码标准为H.261的情况下，接收端在图像数据解码前丢弃有误码的图像数据，具体为丢弃含有误码的GOB的数据。
较佳地，在图像编码标准为H.263的情况下，接收端在图像数据解码前丢弃有误码的图像数据，具体为在误码发生在一帧的第一个GOB中的情况下，则丢弃误码发生帧的整帧数据；在误码不是发生在一帧的第一个GOB中，且发生误码的GOB的GFID与相邻的下一个GOB的GFID相同的情况下，则丢弃误码所在的GOB的数据；在误码不是发生在一帧的第一个GOB中，且发生误码的GOB的GFID与相邻的下一个GOB的GFID不相同的情况下，接收端向后搜索下一个帧头，并丢弃从误码所在的GOB的起始处到该下一个帧头的起始处之间的数据。
较佳地，发送端将每帧中固定数目的多个MB强制设为帧内编码方式，且相邻帧的所述被强制设为帧内编码方式的MB在屏幕位置上相邻。
较佳地，对于CIF图像每帧中所述的被强制设为帧内编码方式的MB为三个，对于其它格式图像每帧中所述的被强制设为帧内编码方式的MB个数可随图像大小做等比例调整。
较佳地，对大误码与小误码采用不同的对策，在大误码的情况下，接收端输出一特定的图像。
本发明相较于现有技术更多地考虑了用户的实际需求及会议的具体状态，可以避免或减少发送端的帧内编码发送及接收端的图像凝固。由于开会时场景变化很少，所以可以使误码能被掩盖得很好，从而提高了图像质量。
为使本发明的目的、技术方案和优点更加清楚明白，以下举实施例并结合附图，对本发明进一步详细说明。其中图1示出了H.261CIF格式的组成结构。
图2示出了H.263CIF格式的组成结构。
现有技术中接收端在检出误码后，即凝固显示，通过会议控制向发送端发出FastUpdate指令。发送端收到指令，即编码发送帧内帧，并在码流中将FreezeRelease位置为有效。接收端检测出Freeze Release位为有效后，即解除显示凝固。现有技术中的误码处理方法，即使在小误码的情况下，解码图像也会有较频繁的图像凝固与质量较差的帧内编码图像出现，导致图像质量很难为用户接受。
本发明认识到，在会议电视中或可视电话业务中，图像的场景一般变化很小，因此在很多情况下不需要凝固显示重传数据，而只需采用前帧相应位置的数据覆盖有误码的数据即可。经过如此的误码处理措施，接收端的图像质量得到提高，更易获得用户认可。
在本发明的一个较佳实施例中，接收端接收的码流在复用层先接受循环冗余(CRC)校验，然后将视频数据通过视频接收缓冲传递给视频解码层。视频接收缓冲中的数据是FEC帧结构的，解码器对这一数据进行检错、去帧结构，取出单纯的图像码流数据，放于一纯码流缓冲中等待由解码器进行解码。本较佳实施例中对应于纯码流缓冲设置了标志数组，用于记录出现误码的位置。该标志数组可以是与纯码流缓冲一一对应的，即该标志数组的长度与纯码流缓冲中码流数据的长度相同，标志数组的各位的数值用于表示纯码流缓冲中的对应码流数据位是否为误码。
本实施例中将误码情况区分为大误码情况和小误码情况分别处理。
对小误码情况，首先采用标准H.261与H.263中推荐的FEC方法进行检错。若检出有误码，则丢弃该FEC帧，并在标志数组相应的位置标记为误码。
在处理去FEC帧结构后的单纯码流数据时，首先检查标志数组中是否有误码标记，若没有误码标记，则可以直接将数据送给码流解码模块。若检测到误码标记，则需要进行弃数据处理。如果协议为H.263，在本实施例中需要做的工作可分为A、B、C三个步骤如下A、确定误码发生的GOB序号及缓冲中GOB的起始位置。这一工作通过向前搜索GOB头可以实现。
B、若为一帧的第一个GOB，则向后搜索下一帧的帧头。丢弃误码发生帧的整帧数据。
C、若不是一帧的第一个GOB，则向前搜索上一个GOB的头并记录GFID，向后搜索下一个GOB的头并记录GFID。若两个GFID相同，则丢弃误码所在GOB的数据。若两个GFID不同，则向后搜索下一帧的帧头，丢弃误码所在GOB起始处到下一帧头起始处之间的所有数据。这里所说的GFID是在H.263中定义的一个标志位，表示了该GOB所在帧的序号，如果两个GFID不同，则说明两个GOB位于不同的帧中，如果两个GFID相同，则说明两个GOB位于同一帧中。
如果协议为H.261，只需确定缓冲中误码所在GOB的起始位置与下一GOB的开始位置，丢弃之间的所有数据。这一工作通过向前搜索GOB头，向后搜索GOB头可以实现。
丢弃数据完成后，解码端需进行错误掩盖。掩盖方法是用前一帧的相应数据替代被丢弃的图像内容。
经过上述处理，开会时由于场景变化很少，所以小误码能被掩盖得很好。但画面存在较大活动对象时，活动部分会留下较明显的拖尾。为此可采用强制帧内块策略消除拖尾的扩散。对于CIF图像，即每帧将三个MB强制设为帧内编码方式，不管原来是帧间编码方式，还是无需编码方式。一帧中三个MB的空间位置可以是相邻的，如三个MB一个挨一个的排成一排，或是一个挨一个的排成一列，或是一个挨一个的排成一个对角线，也可以是间隔开的，但当前帧中的三个MB应与前一帧中的三个MB在屏幕位置上相邻，例如是前一帧中的三个MB按照帧内MB序号递增或递减的顺序选取的。由于错误图像的扩散总是发生在相邻的MB中，顺序方式相对一般的随机方式能更有效地消除拖尾的扩散。
对大误码情况，即使经过处理，图像质量劣化仍较大，此时输出一特定的图像，例如兰屏，并叠加显示字幕，说明有误码。
本发明相较于现有技术更多地考虑了用户的实际需求及会议的具体状态，可以避免或减少接收端的图像凝固。由于开会时场景一般变化很少，所以可以把误码能被掩盖得很好，从而提高了图像质量。
本领域的普通技术人员应当理解的是，以上实施例仅用以说明本发明而非限制，可以对本发明进行修改、等同替换，或者将不同特征进行组合，而不脱离本发明的精神和范围，其均应涵盖在本发明的权利要求范围当中。
权利要求
1.一种压缩编码图像传输中的误码处理方法，其特征在于当接收端检测出有误码时在图像码流数据解码前丢弃有误码的图像码流数据，并采用前帧相应位置的图像数据替代被丢弃的图像数据，然后再进行图像码流数据解码。
2.如权利要求1所述的压缩编码图像传输中的误码处理方法，其特征在于对应于解码前的图像码流数据，接收端设置标志数组用以记录出现误码的位置。
3.如权利要求1所述的压缩编码图像传输中的误码处理方法，其特征在于在图像编码标准为H.261的情况下，接收端在图像数据解码前丢弃有误码的图像数据，具体为丢弃含有误码的GOB的数据。
4.如权利要求1所述的压缩编码图像传输中的误码处理方法，其特征在于在图像编码标准为H.263的情况下，接收端在图像数据解码前丢弃有误码的图像数据，具体为在误码发生在一帧的第一个GOB中的情况下，则丢弃误码发生帧的整帧数据；在误码不是发生在一帧的第一个GOB中，且发生误码的GOB的GFID与相邻的下一个GOB的GFID相同的情况下，则丢弃误码所在的GOB的数据；在误码不是发生在一帧的第一个GOB中，且发生误码的GOB的GFID与相邻的下一个GOB的GFID不相同的情况下，接收端向后搜索下一个帧头，并丢弃从误码所在的GOB的起始处到该下一个帧头的起始处之间的数据。
5.如权利要求1所述的压缩编码图像传输中的误码处理方法，其特征在于发送端将每帧中固定数目的多个MB强制设为帧内编码方式，且相邻帧的所述被强制设为帧内编码方式的MB在屏幕位置上相邻。
6.如权利要求5所述的压缩编码图像传输中的误码处理方法，其特征在于对于CIF图像每帧中所述的被强制设为帧内编码方式的MB为三个，对于其它格式图像每帧中所述的被强制设为帧内编码方式的MB个数可随图像大小做等比例调整。
7.如权利要求1所述的压缩编码图像传输中的误码处理方法，其特征在于对大误码与小误码采用不同的对策，在大误码的情况下，接收端输出一特定的图像。
全文摘要
一种压缩编码图像传输中的误码处理方法,其中当接收端检测出有误码时在图像码流数据解码前丢弃有误码的图像码流数据,并采用前帧相应位置的图像数据替代被丢弃的图像数据,然后再进行图像码流数据解码。且较佳地,对应于解码前的图像码流数据,接收端设置标志数组用以记录出现误码的位置。可以避免或减少发送端的帧内编码发送及接收端的图像凝固,提高图像质量。
文档编号H04N7/68GK1364031SQ0110054
公开日2002年8月14日 申请日期2001年1月10日 优先权日2001年1月10日
发明者王静, 陈震 申请人:华为技术有限公司