专利名称：地面数字电视广播中的视频差错隐藏方法
技术领域：
本发明属于地面数字电视广播的多媒体传输技术领域，涉及采用MPEG-2视频压缩标准和有关地面数字电视广播系统中多媒体传输的可靠接收技术。
当前，美国、欧洲和日本已经制订了相应的地面数字电视广播(DjgitalTerrestrial TV Broadcasting:DTTB)标准，中国也在积极组织制订适合于中国的地面数字电视广播协议。在地面数字广播中，阴影效应、多径衰落、多普勒频移以及各种噪声和干扰会使接收信号功率产生很大的波动，其波动幅度可以达到10 dB甚至更高，这将严重影响数字视频信号传输的可靠性。地面数字电视广播中的视频信源采用MPEG-2压缩标准，然而现行标准中并没有包含对抗地面传播差错的信源编译码方法的有关细节。因此，基于MPEG-2的视频传输差错隐藏算法是DTTB系统的一个非常重要并且亟待解决的技术。
已有的研究论文中提出了一些视频差错隐藏算法，包括以下几类时域运动补偿利用视频图像的时域相关性，根据周围正确接收图像信息的运动矢量信息来预测并恢复因差错而丢失的图像信息。该算法对于低码率视频压缩数据有较好的差错隐减效果，但并不适用于高码率视频图像。
块匹配运动搜索利片运动搜索找到最佳匹配位置来恢复丢失的图像信息，可达到很好的差错恢复效果，但其实用性由于高运算复杂度而受到限制。
空域差错隐藏技术这类技术在细节较多的图像部分往往会产生明显的“块效应”，其图像恢复效果不令人满意。
本发明的目的在于，为克服已有技术的不足之处，提出一种新的视频差错隐藏方法，可以相对较小的计算复杂度实现有效的差错图像恢复，从而提高地面数字电视广播系统中视频传输的可靠性。
本发明提出的一种地面数字电视广播系统中的视频差错隐藏方法，其特征在于，在接收端视频解码发现差错时，进行差错隐藏，包括以下步骤1)当前帧或参考帧中的时域补偿根据当前帧错误宏块周围的正确宏块的运动矢量，或者参考帧中与错误宏块相同位置及其周围位置的正确宏块的运动矢量，来预测错误宏块的时域补偿矢量，得到预测的时域补偿矢量以及在参考帧中相应的补偿位置；2)参考帧中的块匹配搜索将上一步得到的补偿位置作为起始位置，在参考帧的一定范围内对错误宏块上方或下方的宏块进行块匹配搜索，得到匹配矢量以及相应的匹配位置；3)错误宏块隐藏将上一步得到的匹配矢量作为错误宏块的匹配矢量，将参考帧中相应匹配位置的宏块拷贝到当前帧中来替代错误宏块。
本发明的效果是，在相对较低的计算复杂度下，提高了差错隐藏的效果，从而提高地面数字电视广播系统中视频传输的可靠性。
附图简要说明
图1为本发明的视频差错隐藏算法流程图。
图2为本发明的时域补偿方法的示意图；其中，a为当前帧内，b为参考帧内图3为本发明的错误宏块隐藏方法的示意图。
图4为采用本发明的视频差错隐藏算法的MPEG-2视频解码流程图。
图5为本发明实施例中经过传输后的视频图像重建效果对比图。
下面结合各附图及实施例对本发明的原理进行详细说明。
本发明提出一种地面数字电视广播系统中的视频差错隐藏方法。首先在接收端视频解码过程中进行差错检测，一般来讲采用基于视频压缩码流的语法语义的差错检测方法，来判断视频码流中是否发生了错误。如果发现码流中有错误，在接收端视频解码时依次进行以下的差错隐藏处理步骤(如图1所示)1)当前帧或参考帧中的时域补偿，预测得到错误宏块的时域补偿矢量及其在参考帧中相应的补偿位置；2)参考帧中的块匹配搜索，将上一步时域补偿中得到的参考帧中的补偿位置作为搜索范围的中心位置，在参考帧的一定搜索范围内对错误宏块上方或者下方的宏块进行块匹配搜索，得到匹配矢量；3)错误宏块隐藏，以第一步时域补偿得到的参考帧中的补偿位置为起点，将上一步块匹配搜索得到的匹配矢量指向的参考帧中匹配位置的宏块拷贝到当前帧来替代错误宏块。
所说的时域补偿是根据错误宏块(EMB)周围的正确宏块的运动矢量来预测错误宏块的时域补偿矢量，其计算方法如下，MVEMB=1k×Σi=1kMVi----(1)]]>其中MVEMB为错误宏块时域补偿矢量的预测结果，MVi为错误宏块周围正确宏块的运动矢量，k为周围采用帧间预测编码的正确宏块的数目。当错误宏块采用帧间预测编码时，选取当前帧内错误宏块周围不包括左右两侧的正确宏块，如图2a中的宏块1、宏块2、…、宏块6,k最大为6；当错误宏块采用帧内编码时，选取参考帧内包含当前位置及其周围的正确宏块，如图2b中的宏块0为参考帧中与错误宏块相同位置的宏块，而图2b中的宏块1、宏块2、…、宏块8为宏块0周围的8个宏块，k最大为9。预测得到MVFVB后，则相应得到参考帧内的补偿位置上的宏块。
所说的块匹配搜索是指在一定范围搜索内，对于各个位置上的N×N大小的宏块，按照平均绝对值误差准则(Mean Absolute Difference,MAD)进行如下匹配检测，MAD(x,y)=Σi=0n-1Σj=0n-1|Fc(k+i,l+j)-Fp(k+x+i,l+y+j)|----(2)]]>其中，Fc(.,.)为当前帧中位于错误宏块上方或下方的宏块中的像素值，Fp(.,.)表示参考帧中位于当前检测位置的宏块上方或下方的宏块中的像素值，(k,l)代表当前检测块左上角像素的坐标，(x,y)表示当前检测块相对于搜索起始位置的偏移，N为宏块的边长(像素点数)。通过检测搜索范围内的全部位置，可以得到平均绝对值误差(MAD)最小的位置及相应的匹配矢量。也就是说，我们对当前帧中错误宏块上方或下方的宏块，在参考帧的一定范围内中进行匹配搜索得到匹配矢量。这里的参考帧中的一定范围是指以上一步得到的补偿位置为中心的正方形区域，各边与中心的距离为W个像素点，W为整数，所以整个正方形区域的边长为(2×W+1)个像素点，共包含(2×W+1)2个像素点。
所说的错误宏块隐藏是指用参考帧中的一个宏块来替代当前帧中的错误宏块。如图3所示，首先以参考帧内与错误宏块(EMB)相同位置的宏块为起点，根据第一步时域补偿得到的补偿矢量而获得补偿位置，再以这个补偿位置为起点，根据上一步块匹配搜索得到的匹配矢量而获得匹配位置，这个匹配位置上的宏块就被用来替代当前帧中的错误宏块。
下面结合实施例对本发明作进一步的说明。
表1．信源特征
在本实施例中，信源码流分组长度为188字节，信道误码造成的平均误分组率为3×10-2。给定信源特性如表1所示，视频信源为MPEG-2标准视频序列，每个亮度帧的分辨率为720×576个像素点，色度格式为Y∶U∶V=4∶2∶2，信源编码帧速率为25帧/秒，信源编码比特率约为5M比特/秒。
在本实施例中，采用的MPEG-2视频解码流程如图4所示。在解码过程中，对输入的视频压缩码流进行基于视频码流语法语义的差错检测，如果没有发现错误则进行正常的视频解码重建。如果发现有错误，首先进行再同步，即跳过包含错误的整个视频图像层(Slice)的码流，找到下一个视频图像层码流的起始位置来恢复视频解码同步，继续对后面的视频码流进行解码；同时，在包含错误的视频图像层中包括了许多图像宏块，对于每个这样的图像宏块都认为是错误宏块，并对其进行差错隐藏处理。差错隐藏处理需要未发现错误的码流信息作为参考信息，其具体步骤已经在上面进行了描述，并将在下面作进一步说明。
在本实施例中，视频解码器会检测到许多发生错误的宏块，对于每个错误宏块都采用上面所描述的差错隐藏算法进行处理，来恢复丢失的图像宏块信息。下面以对一个错误宏块进行的处理为例，来进一步说明本发明提出的差错隐藏方法。
在本实施例中，所有宏块的边长均为16个像素点。选取的错误宏块在第二帧中，其左上角的像素点位于从上向下数第161行，从左向右数第145列，即其左上角像素位于第二帧中的(145,161)像素点位置。
第一步进行时域补偿。由于该错误宏块采用帧间预测编码，所以采用当前帧内在它周围的6个正确宏块来预测时域补偿矢量，如图2左侧图中所示的宏块1、宏块2、…、宏块6,k=6，根据式1可以得到其时域补偿矢量为MVEMB=(20,0)，则得到相应的时域补偿位置为参考帧中的(165,161)像素点位置。
第二步进行块匹配搜索。在这个实施例中对位于错误宏块上方的宏块进行块匹配搜索，选取以参考帧(165,161)像素点位置为中心，边长为5个像素点的正方形搜索区域，按照式2来计算MAD，即计算参考帧中左上角像素位于该正方形区域中的宏块正上方的宏块与错误宏块上方宏块间的平均绝对值误差(MAD)，找到MAD最小的一个宏块位置。实际结果是左上角像素位于参考帧(165,159)像素点位置的宏块上方的宏块为MAD最小的宏块，即匹配矢量为(0,-2)，相应的错误宏块匹配位置为(165,159)。
第三步进行错误宏块替代。根据上面两个步骤得到的结果，用参考帧中左上角像素位于(165,159)的宏块拷贝到当前帧来替代错误宏块。
对于检测到的每个错误宏块，按照类似于上面的步骤进行处理。为了对本算法的效果进行客观评价，这里采用重建图像的峰值信噪比对本算法性能进行评估。峰值信噪比(Peak Signal to Noise Ratio,PSNR)的定义为PSNR=10×log255×255i≤M,j≤N[Σ|f(i,j)-fr(i,j)|2]/(M×N)]]>其中，PSNR为图像的峰值信噪比，f(i,j)表示原始图像中各个像素点的像素值，fr(i,j)表示重建图像中各个像素值，M和N分别为图像的宽和高。图5中是本实施例的重建视频图像的PSNR曲线。其中，最上面的曲线是视频编码器端重建的视频图像的峰值信噪比(Peak Signal to Noise Ratio,PSNR)曲线，也就是无误传输后在视频解码器端的重建视频图像的PSNR曲线；最下面的曲线是不进行差错隐藏时解码器端得到的重建视频图像的PSNR曲线；中间的曲线是采用上面的差错隐藏处理后解码器端得到的重建视频图像的PSNR曲线。这三条曲线的平均PSNR分别为27.6dB,24.0dB和26.9dB。
权利要求
1.一种地面数字电视广播系统中的视频差错隐藏方法，其特征在于，在接收端视频解码发现差错时，进行差错隐藏，包括以下步骤1)当前帧或参考帧中的时域补偿根据当前帧错误宏块周围的正确宏块的运动矢量，或者参考帧中与错误宏块相同位置及其周围位置的正确宏块的运动矢量，来预测错误宏块的时域补偿矢量，得到预测的时域补偿矢量以及在参考帧中相应的补偿位置；2)参考帧中的块匹配搜索将上一步得到的补偿位置作为起始位置，在参考帧的一定范围内对错误宏块上方或下方的宏块进行块匹配搜索，得到匹配矢量以及相应的匹配位置；3)错误宏块隐藏将上一步得到的匹配矢量作为错误宏块的匹配矢量，将参考帧中相应匹配位置的宏块拷贝到当前帧中来替代错误宏块。
全文摘要
本发明属于地面数字电视广播中的多媒体传输技术领域。本发明在接收端对数字视频信号进行解码时,可以根据视频压缩数据的时域和空域的相关性来有效地恢复因传输差错而丢失的视频图像信息。包括当前帧或参考帧中的时域补偿,参考帧中的块匹配搜索,错误宏块隐藏三个步骤。利用本发明的方法能显著提高地面数字电视广播系统的视频传输的可靠性,因而本发明的技术将是地面数字电视广播系统必备的可靠接收技术之一。
文档编号H04N5/14GK1324155SQ0111867
公开日2001年11月28日 申请日期2001年6月8日 优先权日2001年6月8日
发明者李楚翔, 陆建华, 顾钧 申请人:清华大学