用于视频信号处理器的时-空差错隐蔽的设备及方法

专利名称：用于视频信号处理器的时-空差错隐蔽的设备及方法
技术领域：
本发明涉及用来在再生图像中代替已损坏或已丢失像素值二维块的差错隐蔽设备。
在例如利用离散余弦变换、以块为基础压缩视频数据的这类视频信号传输系统中，经常以块为基础(例如，16×16个像素阵)出现数据丢失和/或数据损坏。这些传输系统一般并不支持以足够的额外消耗来校正全部差错，而是依靠差错隐蔽技术，提供非常近似于已丢失数据的代替数据。Werner Keesen等人在1989年2月21日颁布的No.4807033美国专利中，公开了一个用来代替图像数据二维块的差错隐蔽系统。这个系统包括用来检出已丢失块，并且，用来以根据周围像素通过内插产生的像素值代替在空间领域内已丢失的图像数据的设备。先检查周围像素，以决定是否存在着图像边缘(梯度)，然后，执行内插，以产生代替已丢失或已损坏像素值块的像素值块。
方向内插用在这里是用来通过执行偏爱某一特殊方向的内插、产生像素值的过程。参看

图1，其中，各个正方形或块表示相应图像区，这些区形成以块为基础进行压缩的基础。各个正方形或块里的点表示像素值，在这个例子中，表示白或黑的图像点。没有点的中央那一块表示已损坏的块，对其要产生代替像素。例如，如果适当地检查限于中央块内两排像素中的各对像素，就可以决定存在着的图像梯度，作为一个例子，如通过块B1和B9的倾斜白线。然后，基于该对角线信息，在检出的占优势的梯度方向上执行内插。图1中，根据相邻块中、随着延长各个箭头而出现的像素，产生落在给定箭头上的像素。
Keesen等人的设备检出图像梯度信息，对单一梯度执行一个方向的内插。如果检出了一个以上的强梯度，则对每一个强梯度执行一次方向内插，把各个方向内插像素块的算术和用作为代替块。
像素的各个内插块之和给出等权的相应像素值，倾向于模糊的图像特性。考虑在垂直黑线之后包括水平白线的灰图像。垂直内插将产生包括垂直黑线的灰像素块。水平内插将产生包括水平白线的灰像素块。这些内插块的算术平均将是包括比黑垂直线亮的、及比白水平线暗的灰像素块，在这些线的交点上有灰区。
本发明是在Keesen等人差错隐蔽设备上的改进，包括用来产生已丢失块的代替数据的块差错隐蔽装置。内插设备产生用来隐蔽已丢失块的、在空间和时间上的内插或预测数据块。把空间和时间上各个内插数据块中的像素数据变换成为表示频谱的系数。从按照预定的准则来自这两种变换块的系数，把代替的系数块装配出来。把代替块变回到空域，以便代替已丢失的像素值。
在特定实施例中，决定在与漏块相邻块中参数的相对相关性。如果相对相关性落入预定的范围内，就把前述代替块用作差错隐蔽块。另一方面，如果相对相关性超过或小于该范围，就把时间预测块和空间内插块分别用作差错隐蔽块。
图1为表示图像的像素值块的一部分块的形象化表示，这种形象化表示在描述本发明中有用；图2为用来去压视频信号，并且，包括基于实施本发明差错隐蔽设备方框的设备方框图；图3为用于本发明差错隐蔽过程的形象化表示；图4为可以实现图2中元件26的，示范性隐蔽设备的方框图；图5为在描述用来决定占优势的图像边缘或方向和描述方向空间内插中有用的变换系数的形象化表示；图6为示出块位置的形象化图，从这种块取出运动矢量，以便估计图像的运动；图7为示出图4设备操作的流程图；图8为部分地说明图7中过程61的流程图；图9为用来产生组合的时-空内插差错隐蔽块的设备方框图；图10为用来计算用于图9设备中可变参数“e”的设备方框图。
为了执行以块为基础的差错隐蔽，需要能够确定信号中已丢失或已损坏的块。为此，假定，把示范性实施例中要处理的传送分组内的发射信号格式化。每一个分组包括头部、有效负载和连续性和/或检验字节。头部包括识别有效负载中所运载已压缩视频数据各个块在再生图像中空间位置的足够信息。检验字节可以是允许把基本上全部可能的差错检出，并且，至少部分地纠错的形式。这种信号格式的例子可在No.5247363美国专利中找到。当然，存在着也可以实现的，用来检出已丢失块的其它已知方法。
参看示出用来处理上述信号的接收机一般形式的图2。把例如来自天线(未示出)的发射信号加到提供基带信号的调谐器/解调器10上。把基带信号加到前向纠错(FEC)解码器12上，该解码器12检查发射信号，并按照其纠错能力纠正传输通道中所引起的差错。把已纠错的数据从FEC解码器12加到速率缓冲器14上，该缓冲器14从FEC解码器12接收速率相对恒定的数据，并且，根据请求把数据输出到后继的处理元件上。把数据从缓冲器耦合到帧检验顺序(FCS)解码器16上，该解码器16按照附加到传送分组上的FCS检验比特(或者，例如，连续性检验计数值)检查已纠错的数据是否有未纠正的差错。
FCS解码器16把传送分组D、与指示各个传送分组是否包括数据差错的差错信号ED一起通入元件18。元件18响应于差错数据，把包括数据差错的传送分组废弃。把无差错的传送分组分离成视频数据和传送头部数据。利用传送头部数据和差错数据ED确定已丢失的数据。有关这些过程更具体的信息，请读者查阅1993年2月13日提交，序列号为08/017 455，标题为“ApparatusFor Concealing Errors in a Digital Video Processing System(用来隐蔽数字视频处理系统中差错的设备)”的美国专利申请书(RCA 86409A)，元件18把无差错视频数据和差错标记ED通入去压缩器20。差错标记可以提供几种功能。例如，在特殊的帧类型中，特殊的差错标记可以控制去压缩器，以简单地跳过已丢失的块。在此情况下，简单地重复来自前一帧中并置图像区的已去压数据，即时间内插或块代替的形式。换句话说，把其它差错标记通入另一个差错隐蔽处理器26中。
在去压缩过程中，去压缩器20利用存储器22中的帧。可以把存储器22配置成为存储已压缩和已解码的视频信号帧，以便用于运动补偿预测解码的处理和差错隐蔽中。把已解码的图像信息连续传送到显示存储器24上，可以以光栅格式从该存储器取数，以便显示。在这种配置中，控制去压缩器至少把一帧的一部分运动矢量存储到存储器22中，以便用于差错隐蔽。
差错隐蔽单元26与存储器22中的数据交互作用，产生用于由差错标记识别的像素值块的代替图像数据。利用类似的过程把亮度和色度信号分量分开去压缩，然后，把它们重新组合起来，以便显示。下列有关差错隐蔽的讨论指向亮度分量中的差错隐蔽。色度分量中的差错可以利用类似的并行设备(未示出)、以类似的方式进行隐蔽。然而，可以对单一信号分量(例如，亮度)执行估计，可以把估计的结果用于确定对所有分量的差错隐蔽块类型。
图3形象化地示出图2中差错隐蔽设备26一个实施例的功能。图3中，方框30和31表示存储器，从这两个存储器可以取出已去压缩的数据。来自单元30的数据为已丢失块B周围的数据。来自单元31的数据TR最好是，利用运动矢量从丢失块垂直上方那个块确定预测值的该丢失块的时间预测。换句话说，块TR可以表示来自前一帧与块B并置的数据。应该认识到，如果块B右方和左方的块包括到与块B同一传送分组内，它们也可能丢失或漏掉。然而，即使情况确实如此，如果系统从左向右执行差错隐蔽，在此情况下，块B左方的块可能是代替块，只有块B右方的块也可能漏掉。对来自单元30和31的数据进行估计，以便确定对漏块B要执行差错隐蔽的方式。为了减轻这一估计，首先，用某种预定值(例如，表示灰的；或者，可能用块TR的平均亮度电平)来代替块B可能还有块B右方和左方(如果它们也漏掉的话)块的漏数据，可能是有利的。
32执行2、3种图像估计，以便确定要执行的隐蔽方式。第一种估计是对图像运动。下面要描述的图像估计的一个例子注视漏块的上方块和下方块运动矢量的大小和相对相关性。第二种估计是占优势的图像特性，例如边缘或梯度。下面要描述边缘估计的一个例子确定在已丢失块B周围区域中占优势的边缘，并置块TR中占优势的边缘，还检查在块B和TR中边缘之间的相关性。第三种估计取出在已解码的当前帧中一个区域与前一帧的并置区域之间、图像差值的一般度量。从前述的估计得到一个严格的度量，取决于这一度量的相对值而执行三种差错隐蔽方式之一。
当在当前帧与前一帧之间存在着高相关性时所执行的第一种隐蔽方式35是，利用时间预测块TR简单地暂时代替已丢失的块B。当严格的度量指示为低相关性时所执行的第二种代替34是利用空间内插的隐蔽。在此情况下的内插为，按照占优势边缘，或者在相邻图像区域中所确定边缘的方向的方向内插。第三种代替方式33把前两种方式组合起来。这种组合在空间频域内执行，其中，把占优势边缘的频率分量与块TR中除了表示该边缘的频率分量以外的频率分量以非叠加方式组合起来。对这种已组合的频率分量进行反变换，以便产生丢失块的隐蔽数据。
这一类型的差错隐蔽过程允许在产生高分辨率代替块、与当运动通过图像的不运动区和图像的显著运动区时产生减小了人工产物的块之间，实现很有利的折衷。对于具有中等相关性图像的空间和时间内插的组合，有利地提供了分辨率较低但是运动人工产物较少的前景图像和空间分辨率高的背景图像，倾向于使整个代替图像块外观的空间分辨率高。
图4以方框图的形式示出示范性差错隐蔽设备。可以把所示功能编程到专用处理器[例如，可从CA 95035 Milpitas(米尔皮塔斯)市的C-Cube Microsystems(C-立方微型系统公司)买到的CLM4100多媒体加速度器]的软件中，或者，可以利用单个的电路元件来实现。该设备包括称为变换、反变换装置的单元43。变换和反变换将分别通过快速富里叶变换FFT和反快速富里叶变换IFFT来描述。然而，那些熟悉这种信号处理技术的人将意识到，可以利用其它变换，例如，特别是离散余弦变换DCT和反离散余弦变换IDCT。
图4中，来自去压缩器20的差错数据触发可以是微处理器的隐蔽控制器40，以便产生已丢失数据块的内插数据。在这一过程的推进中，控制器40从存储器22取出已丢失块周围的运动矢量和已去压缩图像数据，并从前一图像帧取出相应于块TR的并置数据。可以把这一数据传送到工作存储器41中，以便至少是部分地防止在隐蔽处理操作期间内存储器22的存取竞争。
在隐蔽控制器40的控制下，数字信号处理器42执行图像分析。数字信号处理器(DSP)可以是，例如可以从Texas(得克萨斯)州Dallas(达拉斯)市的Texas Instrument Inc.(得克萨斯仪表公司)买到TMS320系列的DSP。从工作存储器取出适当的图像数据，以便对已丢失块周围的图像区执行边缘或梯度分析。例如，如果已丢失块包括N×N个像素的矩阵，就可以从存储器41取出其中心为已丢失块的2N×2N个像素的超块。在分析以前，可以用中等灰值代替已丢失的像素数据。确定超块中占优势的梯度，将其角度Theta(M)记录下来。从存储器41取出例如来自前一帧，或者，最接近的固定帧的像素值预测块(TR)，并将其加到数字信号处理器42上，以便进行梯度分析。确定块(TR)的占优势的梯度，将角度Theta(T)记录下来。然后，将Theta(M)和Theta(T)值加到数字信号处理器上，以便按照下列函数求出相关性rd＝cos(Theta(M)－Theta(T))此处，rd称为图像梯度的相关性度量。
在空域中，把DSP42编程，以便确定用已丢失块周围的像素表示的显著图像梯度；然后，选择1、2个梯度最大的方向，这种方向倾向于识别占优势的局部图像轮廓(或者，特征最强的图像边缘的取向)。
可按如下确定图像的边缘或梯度。根据下列方程式，计算相应像素位置x(i，j)的局部边缘梯度gx和gygx＝xi－1，j＋1－xi－1，j－1＋xi，j＋1－xi，j－1＋xi＋1，j＋1－xi＋1，j－1(1)gy＝xi＋1，j－1－xi－1，j－1＋xi＋1，j－xi－1，j＋xi＋1，j＋1－xi－1，j＋1(2)这相当于应用下列3×3Prewitt卷积掩蔽运算子gx=-101-101-101]]>gy=-1-1-1000111]]>在(i，j)点上，梯度的大小G和角度方向 ，由下式给出G=gx2+gy2]]>Φ=tan-1(gy／gx)(3)对漏掉或已损坏块周围的每一个(i，j)坐标，计算这种梯度度量。把各个梯度角度的数值舍入到例如最接近的22.5°上，这样，相应于8种方向D1～D8之一。如果通过一个相应的相邻像素坐标(i，j)以梯度角度所确定的方向画一条直线，则将通过该漏掉的块，给该特殊的像素坐标(i，j)一个表决权。通过把有关方向上梯度的大小相加，使表决坐标的8种方向D1～D8互相排斥地累加起来。即，把具有方向种类D1的表决坐标的大小累加起来，形成一个和；把具有方向种类D2的表决坐标的大小累加起来，形成第二个和；等等。呈现为最大累加和的那种方向确定像素内插的方向。
将参看图5描述检出梯度信息的另一种方法。图5中的小圈表示相对于垂直频率轴fV和水平频率轴fH配置的超块FFT系数值。这些系数表示图像的空间频率系数，在这一例子中，这些系数相应于16×16个像素的矩阵。在fV轴与fH轴交点上的系数相应于整个矩阵的直流或平均亮度电平。垂直轴fV右方的系数表示增大的水平频率，水平轴fH上方的系数表示增大的垂直频率。垂直轴左方和水平轴下方的系数表示前述频率分量的共轭值。
在图5示范性系数群中，示出标为135°FILTER(滤波器)、90°FILTER和H FILTER的各群。在标为H FILTER的群中，系数包括一般相应于水平图像梯度的选定系数。在标为90°FILTER的群中，系数包括一般相应于垂直图像梯度的选定系数。在标为135°FILTER的群中，系数包括一般相应于对水平轴为135°的图像梯度的选定系数；等等。因此，可以看出，可以把各个群配置成为多个图像梯度方向。为了确定占优势图像梯度的方向，只需要把各个群中的系数相加(每一个群表示一个特殊的方向)；把和归一化；比较各个已归一化的和；确定最大的归一化和。与具有最大归一化的群有关的角度Theta(M)就是占优势的图像梯度。
可以这样对超块执行梯度分析，即把适当的像素数据从存储器41加到变换设备43上，以便产生相应的系数；把这些系数存储到存储器41中，以便进行上述分析，这种分析可以在数字信号处理器(DSP)42中执行。可以类似地确定预测块TR的图像梯度，即通过单元43中变换块TR的像素数据，把系数存储到存储器41中，并分析各个系数群。如果采用这种梯度分析方法，变换系数将保留在存储器中，以便进行下述的进一步处理。
还执行图像的运动分析。一种示范性的运动分析产生6种运动矢量相关性的度量，并且，作为方向大小的相关性度量rm，形成了那6种度量的加权平均值。在这种分析中采用的运动矢量为与标为TOP(最高)－1、TOP、TOP＋1、BOT(最低)－1、BOT和BOT＋1的，即位于该漏掉的块上方和下方的块有关的矢量，如图6所示。注意，对于MPEG数据，运动矢量与宏块有关，宏块包括2×2个亮度表示块的矩阵，每个亮度表示块表示8×8个像素的矩阵。如果对8×8个像素的单元执行块代替(隐蔽)，则一个方向大小的相关值将服务4个块。然而，因为在MPEG环境中，只丢失宏块中的一个块是不可能的，而是相应宏块中的全部块将同时丢失，全部分析将在宏块的基础上进行，而且，隐蔽将在宏块的基础上进行。应该假定，对于MPEG环境，图6所画的块表示宏块。
从存储器41取出与相邻于该已丢失块的块有关的运动矢量，将其加到DSP42上。利用控制器40控制DSP42，以便计算下列相关系数r1=VTOP*VTOP-1|VTOP||VTOP-1|]]>r2=VTOP*VTOP+1|VTOP||VTOP+1|)]]>r3=VBOT*VBOT-1|VBOT||VBOT-1|)]]>r4=VBOT*VBOT+1|VBOT||VBOT+1|)]]>r5=VBOT*VTOP|VBOT||VTOP|)]]>r6=|VBOT||VTOP|(MAX(|VBOT||VTOP|))2]]>此外，V(i)是与块i有关的运动矢量。例如，VBOT－1是与块BOT－1有关的运动矢量。按照这一关系，产生方向大小的相关性度量rm，rm＝(K1)Max(r5，0)＋(K2)Max(Max(r1，r2)，0)＋(K3)Max(Max(r1，r2)，0)＋(K4)r6.常数K1～K4的示范性值分别为0.6、0.15、0.15、0.1。注意，为了减少工作量，可以利用适当的比例因子K，只利用r1、r2、r5进行上述计算；这只使效率稍有降低。
前述矢量分析假定，各个块具有形式类似的运动矢量。然而，MPEG已压缩视频信号的规约支持没有运动矢量的块(I帧)，具有前向运动矢量的块(P帧)，具有前向和后向运动矢量的块(B帧)，和具有每一种运动矢量混合的帧。如果具有在r1～r6的每一个方程式中所包括运动矢量的相应宏块对的类型相同，前述运动矢量相关性的分析才有意义。因此，在包括到方程式中以前，对相应运动矢量对执行了测试。这些测试可以利用控制器40、或DSP42、或二者的组合来执行。
图8示出考虑到运动矢量类型不同的可能性的运动矢量相关性的另一种计算。取出图6所示各对块的块类型{80}，测试这些块{81}，以便确定它们是否包括类型相同的矢量。如果矢量的类型不同，就把这一对块的矢量相关性r(n)设定为零{83}。如果这一对块包括同一类型的矢量，则测试这一对块{82}，以便确定它们是否都是I块。如果它们都是I块，则它们不包括矢量，把对于这一对块的矢量相关性设定为零{84}。如果这一对块不都是I块{82}，则测试这一对块{85}，以便确定它们是否都包括后向矢量。如果它们都包括后向矢量，则按照下列方程式计算矢量相关性{86}v(n)＝cos(vb(i)与vb(i＋1)之间的夹角)此处，vb(i)和vb(i＋1)相应于分别来自块(i)和块(i＋1)的后向矢量。
如果在{85}中，这一对块不都包括后向矢量，则进行测试{87}，以便确定是否这两个块都只包括前向矢量。如果它们都只包括前向矢量，则按照下列方程式计算矢量相关性v(n){88}v(n)＝cos(vf(i)与vf(i＋1)之间的夹角)此处，vf(i)和vf(i＋1)相应于分别来自块(i)和块(i＋1)的前向矢量。
如果这两个块不是只包括前向矢量，也不是只包括后向矢量；这时，它们必定都包括前向矢量和后向矢量。对这一对后向矢量，计算矢量相关性v1；对这一对前向矢量，计算矢量相关性v2，此处v1＝cos(vb(i)与vb(i＋1)之间的夹角)；以及v2＝coS(vf(i)与vf(i＋1)之间的夹角)这一对块的矢量相关性v(n)是v1和v2中的较大者{89}。在检查完每一对块(例如，如图6所示，TOP、TOP－1；TOP、TOP＋1；BOT、BOT－1；BOT、BOT＋1；BOT、TOP)，并且确定了相应的矢量相关性以后，进行检验{90}，以便确定是否已处理了全部所需块的对(或宏块)。如果全部块的对并未处理完，则取出下一对{80}，并加以处理。如果它们已经处理完了，则按照下列方程式产生相关性度量rmrm=Σ1NK(n)v(n)]]>此处，K(n)对于前向和后向类型，数值相同；但是，对于与包括前向和后向矢量的那一对块有关的v(n)，K(n)的数值较大。
按照下列方程式执行时间相关性度量或差错分析rp，rp=(Σj=015Σi=015TOPijTOPPij)16-Σi=015TOPijΣj=015TOPPij16STD(TOP)STD(TOPP)]]>此处，TOPij涉及在漏块上方块中的像素值，假定，一个块为16×16个像素；TOPPij涉及对相应于漏块上方块的预测块的像素值；STD代表标准偏差。在确定预测块TOPP时，利用来自块TOP的运动矢量，除非块TOP为I型块；在TOP为I型块的情况下，利用数值为0的运动矢量。对rp的计算可以在DSP42、控制器40或二者的组合中执行。
对于下方块BOT及其时间预测值BOTP可以进行同样的计算，或者，可以根据需要只执行第一种计算。如果对顶部块(TOP)和底部块(BOT)执行了计算，则选择rp值中较大者作为时间相关性度量rp。
按照下列关系，把不同的相关性度量rp、rm和rd相加，以便产生一般相关性参数rr＝β1(rp)＋β2(rd)＋β3(rm)此处，β1、β2、β3为参数，其示范性值分别为0.6、0.2、0.3。差错隐蔽方式由r的相对大小表确定。如果r大于指示相邻图像相关性高值的门限值TH1，漏块的隐蔽则采用时间代替，即利用来自前一帧的预测块。如果r小于指示相邻图像相关性较高的门限值TH2(TH2＜TH1)，漏块的隐蔽则采用由空间内插产生的块来代替。如果TH2≤r≤TH1，隐蔽则采用下面要讨论的空间内插和时间代替的组合来进行。TH1和TH2的示范性值分别为0.9和0.4。
不需要计算和采用全部三种相关性度量，例如，只采用两种相关性度量，仍可得到可以接受的结果。换句话说，可以把其它相关值/度量加到r值的混合形式上。此外，可以把系数β1、β2和β3中的某一个设定为零。
在图7的流程图中，回顾了前述过程。可以意识到，确定系数度量rm、rp和rd的次序可以互换。图7中，首先，计算度量rp{60}。然后，取出适当的运动矢量，并且确定相关性度量rm{61}。取出相邻于已丢失块的各块的像素值{62}，并且，确定边缘梯度rd{63}。把各个度量rp、rm和rd加权，相加，以产生周围块在空间上和时间上的相关性度量{64}。
在隐蔽控制器40中，把相关性参数r与两个门限值TH1和TH2加以比较。如果r大于TH1，则通过时间代替产生对坏块或漏块的代替块。在控制器40中，这样来执行，即在当前的帧周期内，在存储器22的显示部分中，以块TR代替漏掉的块。如果r值小于TH2，则通过代入空间内插块进行隐蔽。这可以通过从工作存储器41取出超块，并且，把该像素矩阵加到空间内插器44上来执行。内插器44可以利用已知的内插方法产生代替块，这些方法包括按照占优势图像梯度或各梯度的方向空间内插或双向空间内插。换句话说，如果TH2≤r≤TH1，则利用将参看图9描述的空间内插和时间内插的组合来实现隐蔽。
图9中，块900相应于前面讨论的用来产生占优势边缘或梯度的超块。单元901表示用来检出占优势边缘或梯度的设备。把指示占优势边缘方向的标记加到梯度掩蔽(mask)904上。把超块加到FFT903上，把FFT产生的变换系数加到梯度掩蔽904上。掩蔽904响应于来自检出器901的标记，选择与占优势边缘有关的那些系数。参看图5，如果占优势的边缘位于135°，梯度掩蔽904将形成包括那些落入标为135°FILTER(图5中)群中系数的超块系数矩阵，并且，把其余系数设定为零。把这一矩阵加到反FFT906上，对系数进行反变换，以便产生超块空间像素矩阵908(项目908表示工作存储器41的一部分，FFT903和IFFT906相应于图4中的单元43，梯度掩蔽可以通过控制器40的适当编程而实现)。把超块加到提取相应于漏块像素矩阵的选择器910上。即，消除了形成相邻块部分的超块像素值，只剩下漏块M。这一个块M相应于已方向滤波的块，并且，当参数r发信号通知了这种代替方式时可以将其用为空间内插代替块。为了当前之用，把块M加到产生已变换块M′(916)的FFT914上。此外，从存储器912取出来自前一帧的预测块TR，并且，将其加到产生已变换块TR′(918)的FFT914上。把块M′和TR′的相应FFT系数加到减法器920上，减法器920形成各个相应系数之差的绝对值矩阵。在比较器922中，把各个差值|M′[i，j]－TR[i，j]|与变量“e”加以比较。比较器922的输出控制从块M′和TR′中的系数形成系数矩阵Y[i，j](927)的选择器926。如果相应于系数[i，j]的差值小于或等于“e”，则控制选择器926选择块M′中的系数M[i，j]，用作系数Y[i，j]。换句话说，如果相应于系数[i，j]的差值大于“e”，则控制选择器926选择块TR′中的系数TR[i，j]，用作相应的系数Y[i，j]。把矩阵Y[i，j]加到产生像素值代替块的反FFT元件928上。可以把这一矩阵返回到存储器900中，并且，根据需要，重复这一过程(注意，可以把单元910和926归入图4的单元40中，可以把单元920和922归入单元42中，可以把单元914和928归入单元43中)。
指定方框927中的点线框指示块的系数Y[i，j]可以是已低通滤波的。低通滤波可以通过把相应块中的高频系数忽略或切掉而简单地实现。低通滤波可以作为选择器926中选择过程的一部分而执行，而且，可以使之取决于相关性度量r之值。作为一种r功能的低通滤波，有利地减少了空间与时间相关性较小的图像可能引起的人工产物。r值较大时，需要较弱的或不需要滤波；r值较小时，需要较强地滤波。换句话说，滤波可以在FFT 914中执行，以便减少单元920和922所需的处理量。在这种情况下，将对块M′和TR′独立地，但是，类似地进行滤波。
取决于r之值，还可能配置滤波器926，以便执行各个数据块的选择。即该选择器可以包括用来把r与门限值TH1和TH2加以比较的比较器，按照r的相对大小，选择块M′、或TR′、或M′与TR′的组合。
变量“e”可以是一个预编程序的常数，或者，是一个由用户选择的值。换句话说，它可以作为信号的函数而自动地产生。图10示出一种自动地产生变量“e”的方式。图10中，把当前块TOP(1001)与预测块TOPP(1002)的相应像素值加到产生差值矩阵的减法器1003上。在二维FFT(1004)中，对这些差值进行变换并将其加到单元1005上，元件1005作为一个差函数[在这里，作为差值变换系数的函数F(DIFF)]产生变量“e”。一个示范性函数F(DIFF)的例子是，把变量“e”设定为等于差值变换系数的90％。换句话说，可以把变量e设定为等于以比例因子δ加权的系数的一个标准偏差值σ，δ可以通过实验由经验确定e＝δ乘σ对F(DIFF)＝e的另一个值可以是系数的加权平均值me＝K4乘m此处，K4为由实验确定的常数。利用是视频信号函数的“e”值以确定在代替块中各个系数Y[i，j]的选择，这有一个优点，即在图像中相关变化之间的相关性差值大时，使差错最小。
以从梯度掩蔽到选择器926的点线提出了产生时空内插代替块的另一种方式。在这种方式中，利用占优势的梯度控制选择器926，以便通过从块M′中只选择那些相应于表示占优势梯度的系数M[i，j]，并且，从块TR′中选择提供其余系数值的系数，形成矩阵Y[i，j]。
权利要求
1.一种用来产生对像素数据的丢失或损坏块的代替块的设备，其特征是表示相应图像的像素数据源(20)和指示可能丢失或损坏的所述像素数据(下文中，称为坏像素数据)块的差错数据源；响应于所述差错数据，用来从所述源取出空间上相邻于坏像素数据的块和时间上相应于所述坏像素数据块的预测数据块的控制器(40)；对所述空间上相邻于坏像素数据块的像素数据进行运算，用来产生空间内插像素数据块的内插器(44)；用来提供表示所述空间内插像素数据块的变换系数的矩阵，并且，用来产生表示所述时间预测数据块第二个变换系数矩阵的变换电路(43)；响应于预定的准则，用来除了按照所述准则从所述表示所述空间内插块的变换系数矩阵，或者，从所述第二个变换系数矩阵之外，还通过在第三矩阵中选择相应系数，形成第三个变换系数矩阵的选择器(426)；以及用来反变换所述第三个矩阵，以便产生所述像素数据代替块的反变换电路(928)。
2.根据权利要求1中所述的设备，其特征是所述内插器包括对所述空间上相邻于坏像素数据块的所述像素数据进行运算，用来检出在图像区中用空间上相邻于坏像素数据块的像素数据表示的占优势图像梯度的数字信号处理设备。
3.根据权利要求2中所述的设备，其特征是，所述用来形成第三个矩阵的选择器，从所述表示所述空间内插块的所述变换系数矩阵，产生包括表示相应于所述占优势图像梯度的方向图像信息的变换系数的变换系数矩阵；并且，从所述另一个系数矩阵，选择除了表示相应于所述占优势边缘梯度的方向信息的系数之外的变换系数。
4.根据权利要求1中所述的设备，其特征是，所述选择器包括用来确定在表示所述空间内插像素数据块的所述变换系数矩阵中，和在所述第二个变换系数矩阵中，相应变换系数之间相应差值的电路；用来把相应差值与预定变量“e”加以比较的比较器；而且，其中，所述选择器当相应差值小于所述变量“e”时，从所述表示所述空间内插像素数据块的变换系数矩阵选择相应的系数，当相应差值大于所述变量“e”时，从所述另一变换系数矩阵选择相应的系数。
5.根据权利要求4中所述的设备，其特征是，所述选择器还包括用来从位置相邻于所述坏数据的图像信息，产生所述变量“e”的装置。
6.根据权利要求4中所述的设备，其进一步特征是响应于表示相邻于所述坏像素数据块的图像区中图像信息的数据，用来确定在相邻于所述坏像素数据块的所述图像区中图像特性的相关性度量r的设备；门限值TH1的源；用来把所述相关性度量r与门限值TH1加以比较；并且，如果相关性度量r大于TH1，则控制所述选择器只从所述另一个矩阵选择系数，如果相关性度量r小于TH1，则控制所述选择器按照所述预定的准则选择系数的比较器。
7.根据权利要求6中所述的设备，其进一步特征是第二个门限值TH2的源，此处，TH2小于TH1；而且，其中，把所述比较器配置成为，把所述相关性度量r与所述另一门限值TH2加以比较；并且，如果相关性度量r小于TH2，则控制所述选择器只从表示所述空间内插像素数据块的所述变换系数矩阵选择系数，如果TH2＜r＜TH1，则控制所述选择器按照所述预定的准则选择系数。
8.根据权利要求1中所述的设备，其进一步特征是响应于表示相邻于所述坏像素数据块的图像区中图像信息的数据，用来确定在相邻于所述坏像素数据块的所述图像区中图像特性的相关性度量r的设备；门限值TH1的源；用来产生代替像素数据块的装置；用来把所述相关性度量r与门限值TH1加以比较；并且，如果相关性度量r大于TH1，则控制所述用来产生代替像素数据块的装置，以便提供所述时间预测数据块，如果相关性度量r小于TH1，则从所述选择器提供数据块的比较器。
9.根据权利要求8中所述的设备，其进一步特征是第二个门限值TH2的源，此处，TH2小于TH1；而且，其中，把所述比较器配置成为，把所述相关性度量r与所述另一门限值TH2加以比较，并且，如果相关性度量r小于TH2，则控制所述用来产生代替像素数据块的装置，以便提供所述空间内插像素数据块，如果TH2＜r＜TH1，则从所述选择器提供数据块。
10.根据权利要求8中所述的设备，其特征是，所述响应于表示相邻于所述坏像素数据块的图像区中图像信息的数据，用来确定图像特性的相关性度量r的设备包括用来至少确定在相邻于所述坏像素数据块的各像素数据块中，图像梯度的相对相关性的设备。
11.根据权利要求10中所述的设备，其特征是，所述响应于表示相邻于所述坏像素数据块的图像区中图像信息的数据，用来确定图像特性的相关性度量r的设备还包括用来确定在相邻于所述坏像素数据块的各像素数据块中图像运动的相对相关性的设备；以及用来提供表示图像运动的所述相对相关性与图像梯度的所述相对相关性的数值之加权和的设备。
12.根据权利要求11中所述的设备，其特征是，所述响应于表示相邻于所述坏像素数据块的图像区中图像信息的数据，用来确定图像特性的相关性度量r的设备还包括用来确定在相邻于所述坏像素数据块的块与相邻于所述坏像素数据块的块的预测块的块之间时间相关性度量的装置；以及用来提供表示图像运动的所述相对相关性与图像梯度的所述相对相关性和所述时间相关性度量的数值之加权和，以产生所述相关性度量r的设备。
13.根据权利要求11中所述的设备，其特征是，用来确定图像运动相对相关性的所述设备包括，用来计算与相邻于所述坏像素数据块的已压缩视频数据块有关的运动矢量的相对相关性的设备。
14.一种用来产生对像素数据的丢失或损坏块(下文中，称为坏块)的像素数据块的方法，其特征是提供像素数据块和指示所述块中哪些块为坏块的差错信号；确定在相邻于坏块的像素块中占优势的图像梯度；响应于所述差错信号，按照所述占优势的图像梯度，空间内插对所述坏块的代替数据块；响应于所述差错信号，时间预测对所述坏块的代替数据块；把空间内插代替块变换成为表示频谱的变换系数块TC1；把时间预测代替块变换成为表示频谱的变换系数块TC2；按照预定的准则，通过从所述变换系数块TC1和TC2选择相应的系数，形成第三个系数块；反变换所述第三个系数块，以便产生像素数据的代替块。
15.根据权利要求14中所述的方法，其特征是，确定在相邻于坏块的像素块中占优势的图像梯度，并且，按照所述占优势的图像梯度进行空间内插；其中，所述选择步骤包括从所述变换系数块TC1中，只选择表示沿着占优势梯度的图像信息的系数；而且，从变换系数块TC2中，选择其余系数。
16.根据权利要求14中所述的方法，其特征是，所述选择步骤包括提供差错值“e”；确定在变换系数块TC1和TC2中，相应系数之间的差值；以及如果相应差值小于差错值“e”，则从变换系数块TC1中选择系数，否则，从变换系数块TC2中选择相应系数。
17.根据权利要求16中所述的方法，其特征是，所述提供数值“e”的步骤包括提供相邻于坏块的数据块和相应于相邻于所述坏块的所述数据块的时间预测块；确定在所述时间预测块和相应块中.相应数据之间的差值；以及统计分析这种差值，从这种差值的统计结果产生数值“e”。
全文摘要
一种视频去压缩系统包括用来产生已丢失像素数据块的代替数据的块差错隐蔽装置(22、41、42)。内插器产生用来隐蔽已丢失块的空间(44)和时间(40)上的内插或预测数据块。把空间和时间上各个内插数据块中的像素数据变换(43)成为表示频谱的系数。从按照预定的准则来自这两种变换块的系数，把代替的系数块装配出来。把代替块变回到空域，以便代替已丢失的像素值。
文档编号H03M13/00GK1141561SQ9610204
公开日1997年1月29日 申请日期1996年2月15日 优先权日1995年2月16日
发明者M·钱, H·-F·孙, W·郭 申请人:汤姆森多媒体公司