专利名称：响应于边缘模式的解交错算法的制作方法
技术领域：
本发明涉及一种在图像行之间内插的算法。
背景技术：
在使用一帧两场的交错扫描方法从摄像机、摄像机—录像机(camcorder)、电视机(TV)或盒式磁带录像机(VCR)的移动图像信号中抽取一帧图像以获得非交错扫描方法的图像信号的情况下，如果由于第一场与第二场之间的时间差异或者手抖动等等而产生移动图像中的运动，则各个场之间的差异很显眼，从而在具有运动的图像的边缘部分处会产生阶梯状或齿状的现象。
为了消除这一现象，必须使用交错扫描方法正确地修改图像数据。该过程被称为“解交错”。此类方法包括其中内插一场的行数据以生成一帧的数据的场内方法，以及其中使用来自至少两场的数据以生成一帧数据的场间方法。
场内类型的方法可以包括线性内插、中值过滤、嵌套中值过滤(“NestMedian Filter，NMF”)/中值平均过滤(“Median Averaging Filter，MAF”)、边缘自适应内插等等。场间类型方法可以包括运动自适应方法、垂直时间(“VT”)过滤、运动补偿(“MC”)、加权中值过滤等等。另外，解交错方法可以是混合类型方法，包括内插一场的行数据以生成一帧数据的方法与使用至少两帧的数据以生成一帧数据的方法相结合。在目前的技术中，经常使用边缘自适应内插与混合类型方法。
与线性内插相比，基于边缘方向的边缘自适应内插使用被称为“边缘”的其他信息，如下定义作为简单边缘自适应内插方法的边缘行平均(edge lineaverage)。
xi(i,j,n)=x(i-d^,j-1,n)+x(i+d^,j+1,n)2]]>在等式1中， 为水平边缘运动的值，根据以下规则使用差异值获得 d^=argmin-1≤d≤1diff(d)]]>在等式2中，从以下等式3计算差异值diff(d)。
diff(d)＝|x(i-d，j-1，n)-x(i+d，j+1，n)|因为即使在水平方向上也与在垂直方向上一样出现边缘特性，所以不仅很好地保持了轮廓线，而且因为当进行依赖边缘的内插(“EDI”)过程时将垂直解析度用做关于水平方向的信息，所以与线性方法相比可以更好地消除混叠(aliasing)。然而，在图像信号包含噪声的情况下，在对于具有相同亮度值的背景提供薄边缘(thin edge)的情况下，在例如格子模式的相同模式反复出现的情况下，在边缘边界不清楚的情况下，或者在同一区域上亮度值不同的情况下，例如，使用依赖边缘内插的解交错一般错误地估计边缘方向，由此在解交错过程中造成错误与人造假象。
发明内容
因此，本发明针对一种基于水平边缘模式的解交错算法，该算法极大地消除了由于现有技术的局限与缺点而带来的一个或多个问题。本发明的特征在于提供一种可以将交错扫描方法的图像数据恢复为接近原始图像帧的图像帧的解交错算法。
本发明另外的特征和优点一部分将在下面的描述中进行阐述，一部分本领域技术人员可从下面的描述中很明显地看出来，或者可从本发明的实施中得知。本发明的特征与其他优点将由在此处写明的说明书与权利要求以及附图中具体指出的结构实现并获得。
根据本发明的一个方面，提供了一种解交错方法，包括接收第一与第三图像行；在第一图像行中选择具有N个数目的像素的上向量，并且在第三图像行中选择具有N个数目的像素的下向量；根据上向量内像素之间的关系以及下向量内像素之间的关系，取得加权值；根据所选择的上向量、所选择的下向量、以及所取得的加权值，选择边缘方向；以及根据所选择的边缘方向，内插属于第一与第三图像行之间的第二图像行的像素。
在优选实施例中，所述加权值取得步骤包括根据上向量内像素之间的关系，将上图像模式分类，并且根据下向量内像素之间的关系，将下图像模式分类；以及根据被分类的上图像模式以及下图像模式，取得所述加权值。
根据上向量内相邻像素之间的亮度差异来分类所述上图像模式，并且根据下向量内相邻像素之间的亮度差异来分类所述下图像模式。
所述上图像模式具有(N-1)个数目的符号，所述符号根据上向量内两个相邻像素之间的亮度差异被分别定义为increase(I)、decrease(D)或者fixity(F)；所述下图像模式具有(N-1)个数目的符号，所述符号根据下向量内两个相邻像素之间的亮度差异被分别定义为increase(I)、decrease(D)或者fixity(F)。
在该实施例中，提供(N-1)个数目的加权值，分别相应于对于上图像模式的(N-1)个数目的符号以及对于下图像模式的(N-1)个数目的符号。
在该实施例中，如果对于上图像模式第n个(n＝1，2，...N-1)符号为increase(I)，并且对于下图像模式第n个符号为increase(I)，则将第n个加权值设置为第一值。如果对于上图像模式第n个(n＝1，2，...N-1)符号为decrease(D)，并且对于下图像模式第n个符号为decrease(D)，则将第n个加权值设置为第一值。如果对于上图像模式第n个(n＝1，2，...N-1)符号为fixity(F)，并且对于下图像模式第n个符号为increase(I)或decrease(D)，则将第n个加权值设置为第二值。如果对于下图像模式第n个(n＝1，2，...N-1)符号为fixity(F)，并且对于上图像模式第n个符号为increase(I)或decrease(D)，则第n个加权值被设置为第二值。如果对于下图像模式第n个(n＝1，2，...N-1)符号为fixity(F)，并且对于上图像模式第n个符号为increase(I)或decrease(D)，则将第n个加权值设置为第二值如果对于上图像模式第n个(n＝1，2，...N-1)符号为increase(I)，并且对于下图像模式第n个符号为decrease(D)，则将第n个加权值设置为第三值。如果对于上图像模式第n个(n＝1，2，...N-1)符号为decrease(D)，并且对于下图像模式第n个符号为increase(I)，则将第n个加权值设置为第三值。如果对于上图像模式第n个(n＝1，2，...N-1)符号为fixity(F)，并且对于下图像模式第n个符号为fixity(F)，则将第n个加权值设置为第二值。所述第三值大于所述第二值，并且所述第二值大于所述第一值。
在优选实施例中，所述边缘选择步骤包括以下步骤将所述加权值乘以上向量与下向量之间差的绝对值，以计算所述上向量与下向量之间的差异；以及根据具有上向量与下向量之间最小差异的上向量与下向量，选择所述边缘方向。
在优选实施例中，所述门限值被设置为与图像数据局部区域的方差值成比例，并且与分别相应于所述局部区域的频率曲线的上20％以及下20％的亮度之间的差异成比例。
根据本发明的另一方面，提供了一种解交错设备，包括第一与第二行存储器，用来分别在其中存储第一与第三图像行；图像模式分类器，用于从在第一行存储器中存储的第一图像行中选择具有N个数目的像素的上向量，并且根据所选择的上向量内的像素之间的关系，将上图像模式分类，并且从在第二行存储器中存储的第三图像行中选择具有N个数目的像素的下向量，并且根据所选择的下向量内的像素之间的关系，将下图像模式分类；加权值确定器，用来根据由图像模式分类器所分类的上图像模式以及下图像模式，取得至少一个加权值；边缘方向选择器，用来根据所选择的上向量、所选择的下向量、以及所取得的加权值，选择边缘方向；以及边缘内插器，用来根据所选择的边缘方向，内插属于第一与第三图像行之间的第二图像行的像素。
在优选实施例中，所述图像模式分类器根据门限值与上向量内相邻像素之间亮度差异的比较结果来分类上图像模式，并且根据门限值与下向量内相邻像素之间亮度差异的比较结果来分类下图像模式。
在该实施例中，所述门限值被设置为与图像数据局部区域的方差值成比例，并且与分别相应于所述局部区域的频率曲线的上20％以及下20％的亮度之间的差异成比例应该理解上述发明内容以及以下对本发明的详细描述都是示范性与解释性的，并且旨在提供对所要求的本发明的进一步的解释。
附图被包含用来提供对于本发明的进一步的理解，并且构成本申请的一部分，其显示了本发明的(多个)实施例，并与说明书一起解释本发明的原理。其中图1为显示沿边缘方向排列的水平模式与垂直模式的例子的图；图2为显示大小为3的上向量与下向量的一个例子的图；图3为显示大小为3的向量的各种模式的图；图4A与4B为显示传统技术缺点的图；图5为显示根据本发明优选实施例的、用于执行解交错算法的硬件的图；
图6为显示根据本发明优选实施例的解交错算法的流程图；图7为显示局部区域(32×32)的频率曲线的图；和图8为显示在根据本发明的优选实施例对移动序列解交错时，一般线性内插、依赖于边缘的内插(“EDI”)以及峰值信噪比(“PSNR”)的比较的图。
具体实施例方式
现在将详细参照在附图中显示了其例子的本发明的优选实施例。然而，本发明不限于此后所示的实施例，并且此处的实施例主要是用来提供对于本发明的范围与精神的容易并且完整的理解。
如图1所示，通过标号100来总体地表示右三角边缘。一般地，边缘模式(edge pattern)沿边缘方向出现。然而，即使沿水平方向或垂直方向也和沿边缘方向一样出现边缘模式。图1直接显示了这一特征。图1中所示的右三角边缘对于垂直方向与水平方向保持了特定模式。该模式沿水平/垂直方向以及每一对象而显现不同，并且可以用于图像数据的内插，即解交错过程。
根据本发明的基于水平边缘模式的解交错算法是基于大小为N的向量而不是基于像素单位。基于该向量的解交错算法对于诸如噪声等主要的外部原因比较不敏感。
转到图2，通过标号200来总体地表示上与下向量。图2为显示大小为3的上向量与下向量的图。
转到图3，通过标号300来总体地表示向量模式。图3为显示大小为3的向量的各种模式的图。图3的每个模式都具有相同亮度的中间像素。然而，根据相邻像素的亮度变化，每个模式都具有不同的格式。
返回参照图2，从上水平行(j-1)与下水平行(j+1)的图像数据来内插属于将被内插的水平行j的像素x(i，j)的图像数据。为了内插像素x(i，j)，可以将上向量与下向量分别定义为u(l，d)以及v(m，d)。
u(l,d)=x(i+d^+l-1,j-1)x(i+d^+l,j-1)x(i+d^+l+1,j-1)=T1T2T3]]>[等式5]
v(m,d)=x(i-d^+m-1,j+1)x(i-d^+m,j+1)x(i-d^+m+1,j+1)=B1B2B3]]>在等式4与5中，l与m分别代表用于表示在水平方向上在应被内插的像素x(i，j)的位置处的向量位置的参数， 为边缘的斜率，T1、T2以及T3表示在上向量中各个像素的亮度值，B1、B2以及B3表示在下向量中各个像素的亮度值。
如上所述，在具有上向量与下向量之间差异的最小总和的方向上估计边缘方向。然而，在存在噪声或边缘较薄的情况下，无法希望传统的只依赖于上向量与下向量之间差异的解交错算法具有良好的性能。图4A与4B显示了传统技术的缺点。
如图4A与4B所示，分别通过标号400与450来总体地表示原始帧与图像行。在使用交错方法扫描图4A中所示的原始帧的情况下，如图4B所示地提供第(j-1)行以及第(j+1)的图像数据。此时，第j行的图像数据应该被内插。在内插像素x(i，j)时，因为该边缘较薄，并且背景较大，所以可以根据背景而不是对象边缘来内插像素x(i，j)。为了克服这一缺点，本发明使用边缘模式来进行轮廓线内插。
如上所述，边缘模式主要沿边缘方向、垂直方向以及水平方向上存在。本发明公开了一种只基于水平模式的解交错算法。然而，本领域技术人员可以容易地实施例如基于垂直模式的解交错算法。
转到图5，通过标号500来总体地表示解交错装置。图5为显示根据本发明优选实施例的、用于执行解交错算法的硬件的图。
转到图6，通过标号600来总体地表示显示根据本发明优选实施例的解交错算法的流程图。
返回参照图5，一帧的第(j-1)个水平行的图像数据存储在行存储器101中，第(j+1)个水平行的图像数据存储在行存储器102中(S200)。行存储器101与102分别具有允许同时在其中存储一个水平行的图像数据的大小。
水平模式分类器130将存储在行存储器101与102中的数据的图像模式进行分类。为了分类图像模式，应该如图2所示地选择上与下向量。在该实施例中，上向量与下向量的大小N分别为3。即，上向量包括三个像素T1、T2以及T3，下向量包括三个像素B1、B2以及B3。
水平模式分类器130根据所选择的上向量与下向量内两个相邻像素之间的关系将图像模式分类。图像模式被分类为三组。
class0(Increase)IT1，T2|T1-T2|＞th and T2-T1＞0class1(Decrease)DT1，T2|T1-T2|＞th and T2-T1＜0class2(Flat)FT1，T2|T1-T2|＜th当两个相邻图像数据之间的差异大于门限值(th)，并且T2大于T1时，该图像模式被分类为第一组，即“increase(增加)”。当两个相邻像素之间的差异大于门限值(th)，并且T1大于T2时，该图像模式被分类为第二组，即“decrease(减少)”。最后，如果两个相邻图像数据之间的差异小于门限值(th)，则其被分类为第三组，即“fixity(固定)”。分类到“increase”的图像模式表示为“I“，分类到“decrease”的图像模式表示为“D”，分类到“fixity”的图像模式表示为“F”。在上面的方法中，将T2与T3、B1与B2、以及B2与B3的图像模式分类。下文中将详细描述门限值(th)。
加权值确定器140根据被分类的上图像模式与下图像模式来确定加权值w1与w2(S250)。因为在本发明中上图像向量与下图像向量分别包括三个像素，所以得到两个加权值。如果上向量与下向量分别包括5个像素，则得到四个加权值。得到加权值的一种方法如随后的等式7所示。
if ((IT1，T2& & IB1，B2)or(DT1，T2& & DB1，B2))w1＝1else if ((FT1，T2& & IB1，B2)or(FT1，T2& & DB1，B2))w1＝2else if ((IT1，T2& & FB1，B2)or(DT1，T2& & FB1，B2))w1＝2else if ((IT1，T2& & DB1，B2)or(DT1，T2& & IB1，B2))w1＝3else w1＝2此处，如果上向量的模式为increase(IT1，T2)并且下向量的模式为increase(IB1，B2)，或者如果上向量的模式为decrease(DT1，T2)并且下向量的模式为decrease(DB1，B2)，则加权值变小(w1＝1)。相反，如果上向量的模式为increase(IT1，T2)并且下向量的模式为decrease(DB1，B2)，或者如果上向量的模式为decrease(DT1，T2)并且下向量的模式为decrease(IT1，T2)，则加权值变大(w1＝3)。此处，注意在上向量与下向量的模式都是fixity(FT1，T2，FB1，B2)的情况下，将适当的中间加权值设置为中间值(w1＝2)。如前面在图4A中所述的，在边缘较薄的情况下，当发现背景部分时，由于向量像素具有类似的亮度而将图像模式分类为“fixity(F)”，从而加权值被确定为大于随原始边缘方向的部分。因此，可以准确地找到边缘方向。
等式7显示了一种从T1、T2、B1与B2取得加权值w1的方法，并且通过类似的方法可以从T2、T3、B2与B3取得加权值w2。
边缘方向选择器150根据加权值w1与w2选择边缘方向(S260)。
diff(l，m，d)＝|u(l，d)-v(m，d)|×w1×w2另外，如下确定 [等式9](I^,m^,d^)=argmin-i≤l,m≤1-R≤d≤Rdiff(l,m,d)]]>此处，l与m范围为-1到1，并且表示边缘方向斜率的d的范围为从-R到R。根据R的大小，确定用于找到边缘方向斜率的角度限制。
边缘内插器160根据在等式9中确定的 与 内插第j行的像素x(i，j)(S270)。
x(i,j)=x(i-1,j+a)+x(i-1,j+b)+x(i+1,j+c)x(i+1,j+e)4]]>此处，a、b、c以及e根据下面的等式11确定。
此处， 为表示边缘方向的值。另外，为了以边缘的子像素单位(此处为0.5像素单位)来操作边缘方向，甚至 与 也被再次操作。因此，本发明可以根据 与 估计子像素单位的边缘方向。
如上所述，水平模式分类器130需要门限值(th)，以根据所选择的上向量与下向量内的两个相邻像素之间的差异分类图像模式。与局部方差成比例地确定该门限值。然而，因为即使仅在一个图像内亮度水平也各不相同，并且在处理几个图像时每个图像的亮度对比也不同，所以不希望只与局部方差成比例地确定门限值。例如，在图像总体较黑或较亮的情况下，该图像受亮度自身以及诸如局部方差等微波分量的影响很大。为了克服此缺点，本发明使用了图像的频率曲线。图5中所示的局部方差与频率曲线计算器110根据一帧的图像数据计算局部方差与频率曲线(S210)。
现在转到图7，通过标号700来总体地表示局部32×32像素区域的频率曲线。在图7中，H20为表示上20％点的亮度的值，L20为表示下20％点的亮度的值。H20-L20为表示对比度的标准。门限值计算器120根据所计算的局部方差(Var)以及H20-L20计算门限值(th)。
th=th‾×tan-1((H20-L20)×Var×k)+th~]]>在等式12中， 以及k为常量，并且var为局部区域的方差。每一帧都自动计算门限值(th)。
如图8所示，通过标号800来总体地表示移动序列。图8为显示在根据本发明的优选实施例对移动序列解交错时，一般线性内插、EDI(依赖于边缘的内插)以及PSNR(峰值信噪比)的比较的图。如图8所示，与一般线性内插或EDI比较，本发明的解交错算法具有明显出色的性能。
如上所述，在图像信号包含噪声的情况下，在对于具有相同亮度值的背景提供了较薄边缘的情况下，在诸如格子模式的相同模式反复出现的情况下，在边缘边界不清楚的情况下，或者在同一区域处亮度值不同的情况下，本发明具有改进的解交错结果。因此，该交错方法的图像数据可以恢复为接近原始图像帧。
本领域技术人员应该理解可以在本发明中进行各种修改与变化。因此，本发明意在覆盖本发明的各种修改与变化，只要它们落在所附权利要求及其等价物的范围之内。
权利要求
1.一种解交错方法，包括接收第一与第三图像行；在第一图像行中选择具有N个数目的像素的上向量，并且在第三图像行中选择具有N个数目的像素的下向量；根据上向量内像素之间的关系以及下向量内像素之间的关系，取得加权值；根据所选择的上向量、所选择的下向量、以及所取得的加权值，选择边缘方向；以及根据所选择的边缘方向，内插属于第一与第三图像行之间的第二图像行的像素。
2.根据权利要求1的解交错方法，其中所述加权值取得步骤包括根据上向量内像素之间的关系，将上图像模式分类，并且根据下向量内像素之间的关系，将下图像模式分类；以及根据被分类的上图像模式以及下图像模式，取得所述加权值。
3.根据权利要求2的解交错方法，其中根据上向量内相邻像素之间的亮度差异来分类所述上图像模式，并且根据下向量内相邻像素之间的亮度差异来分类所述下图像模式。
4.根据权利要求2的解交错方法，其中根据门限值与上向量内相邻像素之间亮度差异的比较结果来分类所述上图像模式，并且根据门限值与下向量内相邻像素之间亮度差异的比较结果来分类所述下图像模式。
5.根据权利要求4的解交错方法，其中所述上图像模式具有(N-1)个数目的符号，所述符号根据上向量内两个相邻像素之间的亮度差异被分别定义为increase(I)、decrease(D)或者fixity(F)；以及其中所述下图像模式具有(N-1)个数目的符号，所述符号根据下向量内两个相邻像素之间的亮度差异被分别定义为increase(I)、decrease(D)或者fixity(F)。
6.根据权利要求5的解交错方法，其中提供(N-1)个数目的加权值，分别相应于对于上图像模式的(N-1)个数目的符号以及对于下图像模式的(N-1)个数目的符号。
7.根据权利要求6的解交错方法，其中如果对于上图像模式第n个(n＝1，2，...N-1)符号为increase(I)，并且对于下图像模式第n个符号为increase(I)，则将第n个加权值设置为第一值。
8.根据权利要求7的解交错方法，其中如果对于上图像模式第n个(n＝1，2，...N-1)符号为decrease(D)，并且对于下图像模式第n个符号为decrease(D)，则将第n个加权值设置为第一值。
9.根据权利要求8的解交错方法，其中如果对于上图像模式第n个(n＝1，2，...N-1)符号为fixity(F)，并且对于下图像模式第n个符号为increase(I)或decrease(D)，则将第n个加权值设置为第二值。
10.根据权利要求9的解交错方法，其中如果对于下图像模式第n个(n＝1，2，...N-1)符号为fixity(F)，并且对于上图像模式第n个符号为increase(I)或decrease(D)，则将第n个加权值设置为第二值。
11.根据权利要求10的解交错方法，其中如果对于上图像模式第n个(n＝1，2，...N-1)符号为increase(I)，并且对于下图像模式第n个符号为decrease(D)，则将第n个加权值设置为第三值。
12.根据权利要求11的解交错方法，其中如果对于上图像模式第n个(n＝1，2，...N-1)符号为decrease(D)，并且对于下图像模式第n个符号为increase(I)，则将第n个加权值设置为第三值。
13.根据权利要求12的解交错方法，其中如果对于上图像模式第n个(n＝1，2，...N-1)符号为fixity(F)，并且对于下图像模式第n个符号为fixity(F)，则将第n个加权值设置为第二值。
14.根据权利要求13的解交错方法，其中所述第三值大于所述第二值，并且所述第二值大于所述第一值。
15.根据权利要求14的解交错方法，其中所述边缘方向选择步骤包括以下步骤将所述加权值乘以上向量与下向量之间差异的绝对值，以计算所述上向量与下向量之间的差异。
16.根据权利要求15的解交错方法，还包括以下步骤根据具有上向量与下向量之间最小差异的上向量与下向量，选择所述边缘方向。
17.根据权利要求4的解交错方法，其中所述门限值被设置为与图像数据局部区域的方差值成比例。
18.根据权利要求17的解交错方法，其中所述门限值与分别相应于所述局部区域的频率曲线的上20％以及下20％的亮度之间的差异成比例。
19.一种解交错设备，包括第一与第二行存储器，用来分别在其中存储第一与第三图像行；图像模式分类器，用于从在第一行存储器中存储的第一图像行中选择具有N个数目的像素的上向量，并且根据所选择的上向量内的像素之间的关系，将上图像模式分类，并且从在第二行存储器中存储的第三图像行中选择具有N个数目的像素的下向量，并且根据所选择的下向量内的像素之间的关系，将下图像模式分类；加权值确定器，用来根据由图像模式分类器所分类的上图像模式以及下图像模式，取得至少一个加权值；边缘方向选择器，用来根据所选择的上向量、所选择的下向量、以及所取得的加权值，选择边缘方向；以及边缘内插器，用来根据所选择的边缘方向，内插属于第一与第三图像行之间的第二图像行的像素。
20.根据权利要求19的解交错设备，其中所述图像模式分类器根据门限值与上向量内相邻像素之间亮度差异的比较结果来分类上图像模式，并且根据门限值与下向量内相邻像素之间亮度差异的比较结果来分类下图像模式。
21.根据权利要求20，其中所述门限值被设置为与图像数据局部区域的方差值成比例。
22.根据权利要求21的解交错设备，其中所述门限值与分别相应于所述局部区域的频率曲线的上20％以及下20％的亮度之间的差异成比例。
23.一种可由机器读取的程序存储设备，其有形地实施可由该机器执行的程序指令，以进行解交错图像的方法步骤，所述方法步骤包括接收所述交错图像的第一与第三图像行；从第一图像行中选择具有多个像素的上向量，并且从第三图像行中选择具有多个像素的下向量；响应于上向量内像素之间的关系以及下向量内像素之间的关系，取得加权值；响应于所选择的上向量、所选择的下向量、以及所取得的加权值，选择边缘方向；以及根据所选择的边缘方向，内插置于第一与第三图像行之间的第二图像行的像素。
全文摘要
提供了一种解交错方法，包括接收第一与第三图像行；在第一图像行中选择具有N个数目的像素的上向量，并且在第三图像行中选择具有N个数目的像素的下向量；根据上向量内像素之间的关系以及下向量内像素之间的关系，取得加权值；根据所选择的上向量、所选择的下向量、以及所取得的加权值，选择边缘方向；以及根据所选择的边缘方向，内插属于第一与第三图像行之间的第二图像行的像素。
文档编号H04N5/44GK1581931SQ20041005669
公开日2005年2月16日 申请日期2004年8月12日 优先权日2003年8月12日
发明者姜文基, 朴珉奎 申请人:三星电子株式会社