专利名称：一种恢复视频传输信号错误的方法
技术领域：
本发明涉及视频通信系统，特别涉及一种用于恢复视频系统传输信号错误的方法。
背景技术：
视频已经成为人们学习、工作、娱乐和生活中一个不可缺少的组成部分，其应用范围涉及视频会议、可视电话、视频监控、远程教学、视频点播以及无线视频通信等。但是在许多应用场合，视频数据在网络传输过程中的丢包或者噪声干扰造成视频通信系统的接收端的码流出错。这种出错会使解码器端显示的视频画面质量严重下降。如果不对这些丢失或者出错的视频数据进行恢复，这种错误效应将会进一步累积并严重影响重构视频的视觉效果。
由于视频媒体数据量大，在视频存储和传输中要对原始视频序列进行压缩编码。经过多年的发展，产生了一系列的视频编码和压缩国际国内标准。其中，国际标准有ITU-T所建议的H.261和H.263；由运动图像专家组所发布的MPEG标准系列如MPEG-1，MPEG-2和MPEG-4；以及ITU-T和MPEG联合发表的H.264或者MPEG-4Part10。国内的视频编解码标准有AVS。这些标准已经广泛应用于许多视频通信系统以及相关的电子产品。然而，在一个带宽受限的有线视频传输网络或者具有衰落信道的无线视频通信网络中传输压缩视频流时，网络的拥塞造成的视频数据包丢失或者噪声干扰所造成的视频流误码，这些都将导致接收端视频画面质量严重下降并影响视觉效果和主观感受。
在现有的视频编码标准中考虑到传输网络的特征，在编码器端加入了一系列冗余信息以保护码流，并在网络传输中用前向错误控制来对编码视频在网络传输中进行保护，以减少视频流在发生丢包或者比特误码时所造成的错误传播。由于视频编码标准采用可变长的熵编码和运动补偿方法以尽可能多地消除视频中的冗余，以达到视频通信中信道带宽的要求。在现有标准中视频数据的打包形式常以片组(Slice)为基础。一般而言一幅图像可以划分成若干个Slice，而每个Slice中则是有若干个宏块(MB)组成，而每个MB则是由大小为N×N的象素区域构成(N＝16)。在视频传输中的丢包或者出错会直接导致该Slice中所对应的MB内容丢失或出错，并有可能会影响其它Slice的中MB的解码。如上所述，压缩视频流中的误码(哪怕仅仅有限的几个比特)或者丢失都有可能会使得其它码流无偿正常解码，从而使得错误效应的累积和传播，通常造成视频中大块的区域出错。
为了提高压缩视频码流的抗误码性能，通常在编码器端进行冗余的编码(ER)，在传输过程中进行前向差错控制机制(FEC)，并且在解码器端进行错误恢复(EC)。而ER和FEC中加入的冗余信息是一种预防性的策略，其目的是防止在出错情况下的错误传播。而EC是一种后处理方法，其目的是利用视频数据在时间、空间上的相关特性进行错误恢复，以最大限度的提供重构视频的画面质量。
中国专利CN1499845A公开了一种视频错误补偿方法以及装置，是一种基于错误宏块空间排列的顺序恢复方法，其采用空间上的排列顺序进行恢复并且使用邻域正确MB作为参考。但是在存在连通的出错区域情况下，邻域参考MB的数目有限或者没有，恢复的效果不理想，达不到很好恢复出错视频画面的目的。如上所述，在一个或者多个Slice出错的情况下，很容易造成错误的累积和传播，造成出错区域连成一片。在这种情况下出错宏块的邻域正确的宏块相对较少，因此，在恢复时可以获得的参考信息也相对较少。这样恢复的效果不令人满意，恢复的视频中存在明显的块效应，而且还会影响后续帧的视频画面质量，造成误差在图像之间传播。
发明内容
本发明针对现有视频错误补偿方法所存在的不足，提供了一种能显著提高最终视频画面质量的视频传输信号错误的恢复方法，其可根据出错MB区域的邻域空间纹理参考信息，自动确定恢复顺序，然后调用相应的错误恢复单元进行恢复。
为达到以上目的，本发明是采用如下技术方案予以实现的一种恢复视频传输信号错误的方法，包括以下步骤首先在视频解码器中执行步骤S1，根据视频流的标志信息确定相应的视频解码标准来对视频比特流内容进行解码；然后在错误检测单元中执行步骤S2，对照码表来进行错误检测；接着执行步骤S3，检测码流是否出错，当检测到有码流出错，则执行步骤S4，标记这些出错信息；在视频错误恢复单元中包括两部分其一是连通出错区域判断单元，其二是连通出错区域恢复单元，在连通出错区域判断单元执行步骤S5，确定出错连通区域；接下来在连通出错恢复单元中执行步骤S6，自动确定出错MB的恢复顺序，并进行恢复；最后在视频显示单元中执行步骤S7，显示恢复后的视频内容；在步骤S3中，当检测到码流未出错，则直接跳到步骤S7。
上述技术方案中，所述步骤S4、S5和S6中，标记、确定和恢复一个连通的出错MB区域具体包括下述执行步骤在步骤S10中按解码顺序标记出出错宏块区域；在步骤S11中确定连通的出错MB区域的数目；在步骤S12中确定每个出错连通区域的出错MB的个数；在步骤S13中计算连通区域中每个出错MB的外部边界参考纹理强度；在步骤S14中选择外部参考强度最大的出错MB，并根据该最大的出错MB，自动确定出错MB的恢复顺序；在步骤S15中，对于当前纹理强度最大的出错MB首先进行恢复，并对当前出错的MB，用置信度计算和加权的方法在参考帧中搜索与外部边界最佳匹配的MB区域进行替换；在步骤S16中，对于已恢复的出错MB，更新该MB的4-邻域未恢复的出错MB的外部边界纹理强度；在步骤S17中判断连通区域中出错MB是否全部恢复，当全部恢复则在视频显示单元显示恢复后的视频帧，否则继续进行步骤S14到步骤S17的循环。
所述步骤S15中，置信度的计算是，用MAP(p，q)来表示第(p，q)个MB是否正确或者已经恢复，如下式所示 其中，w表示该MB为恢复其4-邻域出错MB区域进行恢复时所提供的权值信息，其取值范围是0＜w＜1；所述步骤S13中，对于第(p，q)个MB，假设其是当前准备恢复的出错MB，该MB邻域中MB所提供的外部边界纹理强度ECorder(p，q)如下式所示
ECorder(p,q)=MAP(p,q-1)×TSTDM(p,q-1)+MAP(p,q+1)×TSTDM(p,q+1)]]>+MAP(p-1,q)×TSTDM(p-1,q)+MAP(p+1,q)×TSTDM(p+1,q)---(4)]]>其中，MAP(p，q)表示第(p，q)个MB的边界区域所提供的权值，TSTDM(p，q)表示第(p，q)个MB的边界区域的纹理强度。
所述的步骤S15中，对于当前出错MB，其外部边界区域在给定偏移量(dx，dy)的情况下，其平均匹配误差MAD(dx，dy)是由该出错MB的4-邻域中边界区域按照置信度加权的形式进行计算，其具体计算方式如下MAD(dx,dy)=MAP(p,q-1)×MADT(dx,dy)+MAP(p,q+1)×MADB(dx,dy)]]>+MAP(p-1,q)×MADL(dx,dy)+MAP(p+1,q)×MADR(dx,dy)---(9)]]>式中，MAD(dx，dy)为出错MB的外部边界区域在(dx，dy)下的平均匹配误差。
本发明所提供的恢复视频信号错误方法与现有视频错误补偿方法相比，其有益效果表现在，通过邻域正确的MB或者已经恢复MB的纹理信息来自动判断连通的出错MB区域的恢复顺序，并用恢复后的MB所提供的参考信息对其邻域内出错的MB提供参考，以最大可能地恢复出错视频，提高最终视频输出单元的画面质量。此外，本发明方法不具体针对特定的视频编码、解码标准而设计，可适用于当前任一种类型的视频编解码标准。
图1为通用视频通信系统的基本结构框图。
图2为本发明方法所涉及装置的结构框图。
图3为本发明方法在图2装置上的一种执行步骤流程图。
图4为图3中标记、确定和恢复连通的出错MB区域步骤的具体执行流程图，其中步骤S10对应于步骤S4的具体流程；步骤S11和步骤S12对应于步骤S5中的两个分步骤；步骤S13至步骤S17对应于步骤S6中的几个具体执行步骤。
图5为本发明中一个出错MB的外部4-连通的MB区域及其所对的外部MB边界区域宽度，其具体应用于S13中的计算连通出错区域的出错宏块参考纹理强度。
图6为本发明方法与现有方法对同一个具体的连通出错MB区域的恢复顺序和相应的恢复结果图像的比较，其中图6A是经过解码后所检测到出错的视频帧，图6B、6E分别是出错区域及邻域MB的局部放大图和未出错区域及邻域MB的局部放大图；图6C、6F分别是采用专利CN1499845A中的出错MB恢复的顺序和恢复的效果图；图6D、6G分别是本发明中的出错MB的恢复顺序和恢复效果图。
具体实施例方式
以下结合附图及实施例对本发明作进一步的详细说明。
图1示出了通用视频通信系统的基本结构框图。其直观的显示了视频传输中的几个组成部分以及各个部分所承担的功能，其中包括视频编码器10用于压缩原始视频，以使压缩码流符合网络传输的要求；视频传输网络20，用于发送编码器压缩的视频流，视频流在带宽受限的有线网络或者存在噪声干扰的无线网络中进行传输时会发生丢包或者比特流受到噪声干扰而出错；视频解码器30用于判断压缩视频流的编码类型，并调用相应的解码器来解码接收到的视频流；视频错误检测单元40，用于检测接收到的视频流是否发生错误以及出错的位置；视频错误恢复单元50，用于恢复检测到的视频错误；视频显示单元60，用于可视化的显示视频内容。
图2为按照本发明的错误恢复方法所涉及的装置结构框图。其包括视频解码单元30、用于检测出错MB区域的错误检测单元40；用于恢复检测错误的错误恢复单元50，其中包括两个部分其一是连通出错宏块区域的判断单元51，用于判定连通出错区域的个数以及每个连通出错区域MB数目，其二是连通出错区域恢复单元51，用于自动确定每个连通区域的恢复顺序，并进行恢复；以及最终显示视频输出的显示单元60。
如图3所示，本发明的恢复视频传输信号错误的方法，包括下述步骤首先执行步骤S1，解码器30根据视频流的标志信息确定相应的视频解码标准来对视频比特流内容进行解码；然后执行步骤S2，错误检测单元40对照码表来进行错误检测；接着执行步骤S3，检测码流是否出错，如果检测到有码流出错，则执行步骤S4，标记这些出错信息；再在连通出错区域判断单元51通过步骤S5确定出错连通区域；接下来在连通出错区域恢复单元52通过步骤S6自动确定恢复顺序，并进行恢复；最后在视频显示单元60中执行步骤S7，显示恢复后的视频内容。上述步骤S3中，如果检测到码流未出错，则直接跳到步骤S7。
图4示出了标记、确定和恢复一个连通的出错MB区域的具体执行步骤流程图，其对应的是图3中步骤S4至步骤S6的详细流程，其所执行的单元对应的是图2的错误检测单元40、连通出错区域判断单元51、恢复单元52；在这里采用4-连通区域。确定一个连通的出错MB区域顺序的方法是要充分考虑到邻域正确或者已经恢复的出错MB的边界区域纹理强度信息，以及这些信息所提供的参考情况。具体实现步骤如下在步骤S10中按解码顺序标记出出错宏块区域；在步骤S11中确定连通的出错MB区域的数目；在步骤S12中确定每个出错连通区域的出错MB的个数；在步骤S13中计算连通区域中每个出错MB的外部边界参考纹理强度；在步骤S14中选择外部参考强度最大的出错MB，并根据该最大的出错MB，自动确定出错MB的恢复顺序；在步骤S15中，对当前纹理强度最大的出错MB首先进行恢复，并对当前出错MB，采用外部边界置信度计算和加权的方法在参考帧中搜索与外部边界最佳匹配的MB区域进行替换；在步骤S16中，对于已恢复的出错MB，更新该MB的4-邻域中未恢复的出错MB的外部边界纹理强度；在步骤S17中判断连通区域中出错MB是否全部恢复，如果全部恢复则在视频显示单元60显示恢复的视频帧，否则继续进行步骤S14到步骤S17的循环。
图5给出了一个出错MB与其4-邻域中上端宏块210，下端宏块220，左端宏块230以及右端宏块240之间的关系，以及该出错MB与其4-邻域MB中的上端边界区域211，下端边界区域221，左端边界区域231和右端边界区域241的关系，图中外部边界的边界宽度等于4象素。其具体应用于步骤S13中的计算连通出错区域的出错宏块参考纹理强度。下面给出了步骤S13中对每个出错MB进行外部纹理计算过程的详细说明。
在具体计算出错MB的外部边界的参考纹理强度时用边界区域211，221，231和241中的标准差来代表边界区域的参考纹理强度。假设外部边界区域的边界宽度为M的情况下，则对于一个出错区域其外部边界区域的大小是M×N(如左端边界区域230和右端边界区域240)或者N×M(如上端边界区域230和下端边界区域240)的区域，并设该区域中每个坐标点的象素为Pel(i，j)的标准差TSTDM，其计算方法如下TSTDM=1N×M-1Σi=1NΣj=1M(Pel(i,j)-μ)2---(1)]]>μ=1N×MΣi=1NΣj=1MPel(i,j)---(2)]]>其中μ是此M×N象素区域的灰度均值。
公式(1)和(2)给出了如何计算一个外部边界区域的纹理强度问题，在步骤S16中，对于已恢复的出错MB，用公式(1)、(2)来更新该MB的4-邻域中未恢复的出错MB的外部边界纹理强度。
当计算一个出错MB的外部边界的参考纹理强度时，需要根据邻域MB的边界区域纹理信息以及其是否可用的情况来进行置信度计算。我们用MAP(p，q)来表示第(p，q)个MB是否正确或者已经恢复 其中，w表示该MB为恢复其4-邻域出错MB区域进行恢复时所提供的权值信息，具体而言，其表示该恢复的出错区域对于其它尚未恢复区域的贡献程度，其取值范围是0＜w＜1。
对于第(p，q)个MB，假设其是当前准备恢复的出错MB，该MB邻域中MB所提供的外部边界纹理强度用ECorder(p，q)表示ECorder(p,q)=MAP(p,q-1)×TSTDM(p,q-1)+MAP(p,q+1)×TSTDM(p,q+1)]]>+MAP(p-1,q)×TSTDM(p-1,q)+MAP(p+1,q)×TSTDM(p+1,q)---(4)]]>式中的MAP(p，q)表示第(p，q)个MB的边界区域所提供的权值，具体的计算方法由公式(3)所示，TSTDM(p，q)表示第(p，q)个MB的边界区域的纹理强度，具体的计算方法由公式(1)和公式(2)所示。
公式(4)在步骤S14中用于计算连通区域中每个出错MB的外部边界参考纹理强度。对于连通的出错MB区域，采用公式(4)计算每个出错MB的外部边界区域纹理强度，外部边界可提供的纹理信息越强说明该出错区域在恢复时可获得的外部参考信息就越强，在恢复时的准确度就越高，这样为后续出错MB的恢复提供的参考信息相对而言更精确。因此对于连通的出错MB区域，需要选择外部边界纹理最强的出错MB作为第一个恢复。
在恢复过程中则是按照外部边界区域置信度加权的边缘匹配的方法来在参考帧中搜索一个最优的匹配块来替换出错MB。具体而言，在搜索最佳匹配MB区域时所用的准则是匹配其4-邻域边界区域同参考帧的匹配情况。令MADT(dx，dy)，MADB(dx，dy)，MADL(dx，dy)，和MADR(dx，dy)分别表示如图5所示中的上端边界区域211，下端边界区域221，左端边界区域231和右端边界区域241在与参考帧中与当前MB坐标(x0，y0)的偏移量为(dx，dy)的平均匹配误差。它们的求解方式如下MADT(dx,dy)=1M×NΣx=0N-1Σy=-M-1|f(x0+x,y0+y,cur)-f(x0+dx+x,y0+dy+y,ref)|---(5)]]>MADB(dx,dy)=1M×NΣx=0N-1Σy=0M-1|f(x0+x,y0+N+y,cur)-f(x0+dx+x,y0+N+dy+y,ref)|---(6)]]>MADL(dx,dy)=1M×NΣx=-M-1Σy=0N-1|f(x0+x,y0+y,cur)-f(x0+dx+x,y0+dy+y,ref)|---(7)]]>MADR(dx,dy)=1M×NΣx=0M-1Σy=0N-1|f(x0+N+x,y0+y,cur)-f(x0+N+dx+x,y0+dy+y,ref)|---(8)]]>其中cur和ref分别表示当前帧和参考帧的帧号；f(x，y，cur)和f(x，y，ref)分别表示当前帧cur和参考帧ref在坐标为(x，y)处的象素值。
对于当前出错MB，在给定偏移量(dx，dy)的情况下，其平均匹配误差是由该出错MB的4-邻域中边界区域按照置信度加权的形式进行计算，具体表达方式如下MAD(dx,dy)=MAP(p,q-1)×MADT(dx,dy)+MAP(p,q+1)×MADB(dx,dy)]]>+MAP(p-1,q)×MADL(dx,dy)+MAP(p+1,q)×MADR(dx,dy)---(9)]]>式中MAD(dx，dy)为出错MB的外部边界区域在(dx，dy)下的平均匹配误差。
在步骤S15中，可按照公式(9)采用外部边界置信度加权的方法在参考帧中搜索与外部边界最佳匹配的MB区域进行替换。
在给定搜索区域范围内，在参考帧中搜索一个匹配误差较小的作为当前出错MB最佳替换的恢复结果，其中最佳替换所对应的偏移量(dx0，dy0)的判断方法如公式(10)确定(dx0,dy0)=argmin-SR≤dy,dx≤SRMAD(dx,dy)---(10)]]>
图6为错误恢复方法顺序不同及相应的图像恢复效果的差异。图6A中的黑色区域表示经过错误检测步骤所得出的一个连通的出错MB区域，该区域连同其邻域MB的放大图如图6B所示。图6C为采用顺序恢复方法所对应的出错MB处理顺序；图6D为采用本发明方法所对应的出错MB处理顺序；比较图6C和图6D可以看出采用本发明方法所确定的错误恢复顺序，是沿着外部纹理强度最大的方向进行恢复，这样得到的图像恢复效果相对更加精确。图6E为没有出错下的效果，图6F为采用图6C顺序处理方法的恢复效果，图6G为本发明处理方法的恢复效果。可以看出本发明中所提出的错误恢复方法达到了较好的视觉画面质量。
权利要求
1.一种恢复视频传输信号错误的方法，其特征是，包括以下步骤首先在视频解码器中执行步骤S1，根据视频流的标志信息确定相应的视频解码标准来对视频比特流内容进行解码；然后在错误检测单元中执行步骤S2，对照码表来进行错误检测；接着执行步骤S3，检测码流是否出错，当检测到有码流出错，则执行步骤S4，标记这些出错信息；在视频错误恢复单元中包括两部分其一是连通出错区域判断单元，其二是连通出错区域恢复单元，在连通出错区域判断单元执行步骤S5，确定出错连通区域；接下来在连通出错恢复单元中执行步骤S6，自动确定出错MB的恢复顺序，并进行恢复；最后在视频显示单元中执行步骤S7，显示恢复后的视频内容；在步骤S3中，当检测到码流未出错，则直接跳到步骤S7。
2.根据权利要求1所述的恢复视频传输信号错误的方法，其特征是，所述步骤S4、步骤S5和步骤S6中，标记、确定和恢复一个连通的出错MB区域具体包括下述执行步骤在步骤S10中按解码顺序标记出出错MB区域；在步骤S11中确定连通的出错区域的数目，在步骤S12中确定每个出错连通区域的出错MB的个数；在步骤S13中计算连通区域中每个出错MB的外部边界参考纹理强度；在步骤S14中选择外部参考强度最大的出错MB，并根据该最大的出错MB，自动确定出错MB的恢复顺序；在步骤S15中对当前纹理强度最大的出错MB首先进行恢复，并对当前出错的MB，按照置信度计算和加权的方法在参考帧中搜索与外部边界最佳匹配的MB区域进行替换；在步骤S16中，对于已恢复的出错MB，更新该MB的4-邻域中未恢复的出错MB的外部边界纹理强度；在步骤S17中判断连通区域中出错MB是否全部恢复，当全部恢复则在在视频显示单元中显示恢复后的视频帧，否则继续进行步骤S14到步骤S17的循环。
3.根据权利要求2所述的恢复视频传输信号错误的方法，其特征是，所述步骤S15中，置信度计算是，用MAP(p，q)来表示第(p，q)个MB是否正确或者已经恢复，该MAP(p，q)如下式所示 其中，w表示该MB为恢复其4-邻域出错MB区域进行恢复时所提供的权值信息，其取值范围是0＜w＜1。
4.根据权利要求2所述的恢复视频传输信号错误的方法，其特征是，所述步骤S13中，对于第(p，q)个MB，假设其是当前准备恢复的出错MB，该MB邻域中MB所提供的外部边界纹理强度ECorder(p，q)如下式所示ECorder(p,q)=MAP(p,q-1)×TSTDM(p,q-1)+MAP(p,q+1)×TSTDM(p,q+1)]]>+MAP(p-1,q)×TSTDM(p-1,q)+MAP(p+1,q)×TSTDM(P+1,q)---(4)]]>其中，MAP(p，q)表示第(p，q)个MB的边界区域所提供的权值，TSTDM(p，q)表示第(p，q)个MB的边界区域的纹理强度。
5.根据权利要求2所述的恢复视频传输信号错误的方法，其特征是，所述的步骤S15中，对于当前出错MB，在给定偏移量(dx，dy)的情况下，其平均匹配误差是由该出错MB的4-邻域中边界区域按照置信度加权的形式进行计算，具体表达方式如下MAD(dx，dy)＝MAP(p，q-1)×MADT(dx，dy)+MAP(p，q+1)×MADB(dx，dy)+MAP(p-1，q)×MADL(dx，dy)+MAP(p+1，q)×MADR(dx，dy) (9)式中，MAD(dx，dy)为出错MB的外部边界区域在(dx，dy)下的平均匹配误差；MADT(dx，dy)、MADB(dx，dy)、MADL(dx，dy)和MADR(dx，dy)分别表示上部、下部、左部和右部边界区域的匹配误差。
全文摘要
本发明针对现有视频错误补偿的顺序恢复方法所存在的恢复效果不理想的问题，提供了一种能显著提高最终视频画面质量的视频传输信号错误的恢复方法，包括以下步骤首先解码器对视频比特流内容进行解码；然后错误检测单元对照码表来进行错误检测；当检测到有码流出错，则标记这些出错信息；再确定连通区域，得出出错连通区域的数目以及每个连通区域中出错MB的数目；接下来根据每个出错区域中外部边界的参考纹理强度自动确定恢复顺序，并按照置信度计算和加权的方法在参考帧中搜索最佳替换块；最后在视频显示单元中显示恢复后的视频内容。用本发明的方法可最大限度地恢复出错视频，提高最终视频输出单元的画面质量。
文档编号H04N7/64GK1997163SQ200610104989
公开日2007年7月11日 申请日期2006年11月28日 优先权日2006年11月28日
发明者钱学明, 刘贵忠 申请人:西安交通大学