专利名称：具有帧速率转换的图像处理装置及其方法
技术领域：
本发明涉及一种使用运动估计技术的帧速率转换器，更具体地涉及一种具有帧速率转换的图像处理装置及其方法用来为运动向量提供适当的过滤和补偿。
背景技术：
一般高质量图像显示中的图像处理方法，如数字电视或等离子显示屏(PDP)，采用逐行扫描方法。在逐行扫描方法中，视频帧的整幅图像在帧单元内被同时再现，正如同电影投影到屏幕上一样。
图1是传统数字显示装置中图像处理装置部分的方框图。该部分包括去交错处理单元100、1帧延迟单元110、第一像素块120、第二像素块130、绝对差值之和映射器(SAD map)140、运动向量提取单元150、帧速率转换(FRC)单元160和交错处理单元170。
去交错处理单元100将输入图像由场转换成帧。
1帧延迟单元110将帧延迟，以使先前帧(P帧)与当前帧(C帧)进行比较。
第一像素块120从C帧中提取C×C的像素块，此处C＝2n。
第二像素块130从P帧中提取C×C的像素块。
SAD映射器140将C帧和P帧像素块进行相互比较，从而获得两像素块之间的差异并储存结果。
运动向量提取单元150通过利用SAD映射器140的值估算当前像素块的运动向量。
FRC160为提取出的运动向量执行帧速率转换。
交错处理单元170将帧速率转换过的图像再转换成场。
在图1所示的图像处理装置中，为了精确地执行帧速率转换，C帧和P帧具有相同的分辨率。然而，包括当前和先前场的输入交错处理图像在这两场之间具有像素差异，该像素差异存在于垂直方向上。两场之间的像素差异可能会导致在比较两场和提取运动向量时产生问题。因此，去交错处理单元100执行垂直图像插值，并保护两图像间的像素差异。去交错处理图像存储于存储器中(未示出)，并且从当前去交错处理图像(C帧)提取预定的块与在1-帧延迟单元110中延迟的、处在先前去交错处理图像(P帧)中相同位置的块进行比较。先前帧与当前帧中提取的块通过SAD映射器140进行比较，以估计先前帧在哪里、产生了什么程度的运动，从而运动向量提取单元150能够确定图像的运动向量。预定块为C×C的正方形块。因为垂直方向上的像素数量经去交错处理后加倍，该C×C正方形块用于运动向量估计。当使用交错处理显示格式时，水平方向上的像素数量是垂直方向上像素数量的二倍，并且C×C/2的块用作运动向量估计。经过估计的运动向量被输入到生成一个新的帧的FRC单元，并输出到交错处理单元170中，交错处理单元170将帧改编成输出显示格式，在该显示格式中新的帧垂直方向上的像素数量减少一半。
在上述的图像处理装置中，由于输入图像在早期经过了去交错处理，因此就需要较高的存储容量，与存储容量相应操作量也提高了。而且在最后阶段图像交错处理时，更需要附加的存储器。由于对大存储容量的需求以及大量的操作，图像处理硬件不仅变大了，而且也导致了散热问题和信号处理的错误。另外，经过去交错处理和交错处理后的图像与原始图像是不同的，图像的质量变差了。
发明内容
本发明提供了一种具有帧速率转换的图像处理装置及其方法，其中省略了输入图像的去交错处理阶段，从而提高了图像处理的操作效率。
根据本发明的一个方面，提供了一种具有帧速率转换(FRC)的处理图像的装置，该装置包括块提取单元，其从输入场中提取预定的块；运动向量提取单元，其通过互相比较两个连续输入场的块来确定该预定块的运动向量；运动过滤器，其通过利用块的预定范围内像素的运动向量来确定是否存在任何运动；运动补偿单元，如果确定在块的预定范围内存在运动，则不变地传输运动向量的值，否则，将运动向量的值改为0；以及帧速率转换单元，其对从运动补偿单元接收来的运动向量执行帧速率转换。
优选地，块提取单元所提取的块大小为C×C/2，此处C＝2n(n＝0，1...)。
优选地，块提取单元进一步包括延迟单元，将输入的交错处理图像延迟一场；第一块提取单元，从延迟输入交错处理的图像中提取一块；及第二块提取单元，从当前输入交错处理的图像中提取一块。
优选地，进一步包括绝对差值和(SAD)映射表，该映射表相互比较第一块提取单元和第二块提取单元中的像素，以获得二者之间的差异。
优选地，运动向量提取单元从SAD映射表中估计输入场的运动向量。
优选地，运动过滤器设有一个预定的屏蔽块，计算从运动过滤器输出的运动向量的绝对值，并确定绝对值等于或小于预定像素数量的运动向量数量是否等于或大于预定的数量。
优选地，如果绝对值等于或小于预定像素数量的运动向量数量等于或大于预定的数量，则运动补偿单元将屏蔽块中运动向量的绝对值转换为0。
优选地，如果绝对值等于或小于预定像素数量的运动向量数量小于预定的数量，则运动补偿单元使屏蔽块中的运动向量保持不变通过。
优选地，像素的预定数目为1，该预定数目是被屏蔽块覆盖的像素数目。
根据本发明的另一方面，提供了一种具有帧速率转换(FRC)的图像处理方法，该方法包括从输入交错处理图像中提取一个预定块；通过比较两幅连续输入交错处理图像的块，在预定块中估计像素的运动向量；通过考虑在块预定范围内的像素运动向量的值，来确定是否存在运动；如果确定存在运动，则使在块预定范围内的运动向量的值保持不变通过，如果确定未发生运动，则使块预定范围内的像素的运动向量值强制为0；以及对结果向量执行帧速率转换(FRC)。
优选地，提取预定块其大小为C×C/2，此处C＝2n(n＝0，1，...)。
优选地，提取预定块的步骤包括将输入的交错处理图像延迟一场，并从所延迟的输入交错处理图像中提取第一块；以及从当前输入的交错处理图像中提取第二块。
优选地，进一步包括比较第一块和第二块的对应像素，以获得二者之间的差异。
优选地，进一步包括从所述差异中估计输入交错处理图像的运动向量，并存储结果。
优选地，确定存在运动的步骤包括设置预定的屏蔽块；计算运动向量的绝对值；以及确定被预定屏蔽块所覆盖的且绝对值等于或小于预定像素数量的像素的运动向量数量是否等于或大于预定的数量。
优选地，确定存在运动的步骤包括，如果绝对值等于或小于预定像素数量的运动向量数量等于或大于预定的数量，则将被屏蔽块所覆盖的运动向量的绝对值强制变为0。
优选地，确定存在运动的步骤包括，如果绝对值等于或小于预定像素数量的运动向量数量小于预定的数量，则使屏蔽块中的运动向量保持不变通过。
优选地，像素的预定数量为1，该预定数量是被屏蔽块覆盖的像素数量。
优选地，所述预定屏蔽块的大小为3×3像素，像素的预定数量为9。
根据本发明的另一方面，提供了一种具有帧速率转换(FRC)的处理图像的装置，该装置包括运动过滤器，确定从输入交错处理图像中估计的运动向量是否是由奇数和偶数场之间的线偏移引起的；及运动补偿单元，如果不是由线偏移所引起的，则使运动向量保持不变通过，否则，将运动向量的值改为0。
根据本发明的另一方面，提供了具有帧速率转换(FRC)的图像处理方法，该方法包括确定从输入交错处理图像中估计的运动向量是否是由奇数和偶数场之间的线偏移引起的；及如果不是由线偏移所引起的，则使运动向量保持不变通过来补偿运动向量，否则，将运动向量的值改为零向量。
通过对参照附图的优选实施方式的详细描述，本发明的上述和其它方面及优点将变得更加明确图1是传统图像处理装置的方框图；图2是根据本发明优选实施方式的图像处理装置的方框图；图3是根据本发明优选实施方式的运动过滤方法的流程图；图4是原始输入图像的实例；图5示出了图4中原始输入图像经图像处理的局部结果，该图像处理具有去交错处理和交错处理两个阶段；图6示出了图4中原始输入图像经图像处理的局部结果，该图像处理不包括去交错处理阶段；及图7示出了图4中原始输入图像根据本发明所述图像处理的局部结果。
具体实施例方式
图2是根据本发明第一实施方式的图像处理装置的方框图。该装置包括1场延迟单元200、第一图像块提取单元210、第二图像块提取单元220、绝对差值之和映射器(SAD map)230、运动向量提取单元240、存储单元250、运动过滤器260、运动向量补偿单元270和帧速率转换(FRC)单元280。
1场(field)延迟单元200将输入到该单元的图像延迟一场，以允许当前输入图像与先前输入图像进行比较。
第一图像块提取单元210从当前输入图像中提取出一块。该块的尺寸为C×C/2像素，此处C＝2n，并且n＝0，1，...。如上所述，经去交错处理的场在垂直方向上的像素数量相当于经去交错处理的帧结果的一半。
第二图像块提取单元220从先前输入图像中提取出一块。该块的形状和位置与从当前输入图像中提取的块相同。
SAD映射器230比较第一图像块提取单元210和第二图像块提取单元220中的块，以获得两块间的像素差异，并存储该像素差异值。
运动向量提取单元240利用SAD映射器230的值来确定当前输入图像的所述块的每个像素的运动向量。
存储单元250存储从运动向量提取单元240中提取的运动向量值。
运动过滤器260根据运动向量的绝对值从存储单元250中挑选出不正确确定的运动向量值。换句话说，运动过滤器260检查从输入图像中估计的运动向量(该运动向量是交错处理图像)是否在奇数场和偶数场之间产生了基于像素差异的线(line)偏移，如果是，确定此运动向量是一个错误的运动向量。
运动向量补偿单元270将从运动过滤器260中收到的错误运动向量的值改变为“0”，保留正确的运动向量不变。
FRC单元280对从运动向量补偿单元270中接收到的运动向量执行帧速率转换。
现将描述图2所示装置的操作方法。
1场延迟单元200将输入的(交错处理)图像延迟一场，使得从延迟一场的先前输入图像中提取出的块可以与当前输入图像的块进行比较，其中该矩形像素块为C×C/2的形式，例如C＝32。
SAD映射器230将从延迟一场的先前输入图像中提取出的块与从当前输入图像中提取出的块的对应像素进行比较，并获得它们之间的像素差异。
利用该像素差异，运动向量提取单元240确定输入图像的每个像素的运动向量MV(vx，vy)，并将该运动向量存储到存储单元250中。
通过取得由输入图像的“运动”而引起的连续输入图像之间的距离，运动过滤器260纠正从存储单元250中接收的错误运动向量，该连续输入图像为偶数和奇数场图像(输入顺序可颠倒)。
运动过滤器260设置一个为A×B形式的屏蔽(块)，例如，A＝B＝3。运动过滤器260然后计算出被屏蔽覆盖的像素的运动向量绝对值，并确定等于或小于预定像素差异的运动向量绝对值数量是否等于或大于预定的数量。该预定像素差异，也即偶数和奇数场图像之间的距离，可以是1，并且在这种情况下，预定的数量优选等于被屏蔽块所覆盖的像素数量(即，由于A＝B＝3，所以预定的数量为9)。
当被屏蔽块所覆盖的像素的运动向量绝对值中等于或小于“1”的数量等于9时，运动向量补偿单元270将运动向量的绝对值转换为“0”，零向量，说明相应的块没有“运动”。如果被屏蔽块所覆盖的像素的运动向量绝对值中等于或小于“1”的数量小于9时，运动向量补偿单元270确定相应的块存在“运动”，并保持不变的输出该运动向量。
屏蔽块的大小可由用户任意定义。
获取运动向量的绝对值是因为，仅需要块的运动范围信息，并不考虑运动方向。确定运动向量坐标的绝对值是否小于一个预定的阈值坐标值(th1，th2)，如果是，计数值增加。优选的方式是预定的阈值坐标(th1，th2)为(2，2)。在该屏蔽块的每个像素点上都执行C×C/2块的运动向量绝对值与预定的阈值坐标的比较。
运动过滤器确保静止图像无错误运动。由于偶数和奇数场图像之间具有1像素的偏差，因此一幅输入的(静止)交错图像即使无运动，其纵坐标值仍为vy＝1。在偶数和奇数场图像之间，内插的场可选择“0”或“1”作为其vy值，使得在输出的静止图像中可以看到1像素的直线偏离。
在图像输出时，对于静止图像，运动向量补偿单元270使vy值始终为“0”，从而防止了图像偏离。
图3是根据本发明优选实施方式的运动过滤方法的流程图。
假设连续输入的两场图像的C×C/2预定块中，像素的估计运动向量表示为坐标MV(vx，vy)。
运动向量存储于存储单元，并一个接一个地被运动过滤。
运动过滤启动，在步骤300中设置一个A×B屏蔽块来检测所估计和存储的运动向量是否为一个真实的运动向量。
在步骤310，计算A×B屏蔽块中(i，j)像素位置的运动向量绝对值MV(vxi，vyi)。其可以表示为等式(1)。
xi＝abs(vxi)，yi＝abs(vyi)(1)通过仅获取图像的运动范围而不考虑图像的运动方向，对运动向量绝对值的计算减少了确定一个无运动图像是否为运动图像的概率。
在步骤320，确定坐标(vxi，vyi)的绝对值是否超过了预定的坐标(th1，th2)的阈值(绝对值)。每个坐标值(th1，th2)可能是一个大于一的数(单个像素数)，例如(2，2)。
在步骤330，如果运动向量坐标的绝对值小于阈值(th1，th2)，计数值增加1。
在步骤340，检查屏蔽块所覆盖的所有像素是否都执行了步骤320和330。如果屏蔽块是一个3×3块，则步骤320和330将在9个像素上执行。
在步骤350，确定计数值是否达到阈值th3，只要运动向量的绝对值小于阈值(th1，th2)，计数值就增加1。也即检查屏蔽块的所有像素的运动向量绝对值是否均小于或等于1。在步骤350，如果计数值未超过阈值th3，则确定屏蔽块中一些像素的运动向量绝对值大于2，在这种情况下，确定屏蔽块存在运动。如此，在步骤360，C×C/2预定块的运动向量MV(vx，xy)保持原始值通过运动过滤器。
在步骤350，如果计数值等于或大于阈值th3，则确定屏蔽块的所有或大多数像素的绝对值等于或小于“1”，在这种情况下，确定屏蔽块无运动。如此，在步骤370，屏蔽块所覆盖的像素的运动向量值被强制改为0，以防止输出图像的直线偏离，所产生的直线偏离是由于即使无运动，运动向量的值也显示为“1”。
到此为止，描述了运动过滤方法。在步骤380，在运动过滤过程之后，经步骤360和370过滤的最终运动向量进行FRC转换并输出。
以上所描述的本发明在硬件执行方面产生了如下效果1、由于用于确定运动向量的块减小了一半(即C×C→C×C/2)，所以存储器的消耗和相应的操作量可以减半。
2、由于省略了去交错处理和交错处理，图像处理变得更简单，这导致了信号处理减少和速度提高。
尽管在硬件执行上产生了效果，但由于在寻找图像的正确位置时可能会出现错误，因此传统图像处理装置中并不能省略去交错处理，该错误是由于奇数和偶数场画面中像素位置产生偏差而造成的。然而在本发明的优选实施方式中，提供了运动过滤算法以解决这个问题。该运动过滤算法使看上去产生了运动但实际无运动的运动向量值强制为“0”，以保护输出图像的直线偏移。
图4是原始输入图像的实例。
图5示出了图4中原始输入图像经图像处理的局部结果，该图像处理具有去交错处理和交错处理两个阶段；图6示出了图4中原始输入图像经图像处理的局部结果，该图像处理不包括去交错处理阶段。省略了去交错处理，从而引起了运动向量处理的错误。在图6标注的圈中，可看到直线偏移。
图7示出了图4中原始输入图像根据本发明所述图像处理的局部结果。在本发明中，省略了去交错处理，替代地提供了运动过滤器来补偿运动向量的错误。在图7中，观察不到线偏移。
根据本发明，利用运动过滤器可以减少对帧速率转换的图像处理硬件需求，以降低耗费并提高操作效率。
尽管本发明已经参照优选实施方式进行了详细地示出和描述，但是本领域熟练技术人员将会理解到对于本发明可以在形式和细节上进行各种改变，而不离开本发明的实质和范围，本发明的范围将由所附的权利要求限定。
权利要求
1.一种具有帧速率转换(FRC)的处理图像的装置，该装置包括块提取单元，其从输入场中提取预定的块；运动向量提取单元，其通过互相比较两个连续输入场的块来确定该预定块的运动向量；运动过滤器，其通过利用块的预定范围内像素的运动向量来确定是否存在任何运动；运动补偿单元，如果确定在块的预定范围内存在运动，则不变地传输运动向量的值，否则，将运动向量的值改为0；以及帧速率转换单元，其对从运动补偿单元接收来的运动向量执行帧速率转换。
2.如权利要求1所述的装置，其特征在于，所述块提取单元所提取的块大小为C×C/2，此处C＝2n(n＝0，1，…)。
3.如权利要求1所述的装置，其特征在于，所述块提取单元进一步包括延迟单元，将输入的交错处理图像延迟一场；第一块提取单元，从延迟输入交错处理的图像中提取一块；及第二块提取单元，从当前输入交错处理的图像中提取一块。
4.如权利要求3所述的装置，其特征在于，进一步包括绝对差值和(SAD)映射表，该映射表相互比较第一块提取单元和第二块提取单元中的像素，以获得二者之间的差异。
5.如权利要求4所述的装置，其特征在于，运动向量提取单元从SAD映射表中估计输入场的运动向量。
6.如权利要求1所述的装置，其特征在于，运动过滤器设有一个预定的屏蔽块，计算从运动过滤器输出的运动向量的绝对值，并确定绝对值等于或小于预定像素数量的运动向量数量是否等于或大于预定的数量。
7.如权利要求6所述的装置，其特征在于，如果绝对值等于或小于预定像素数量的运动向量数量等于或大于预定的数量，则运动补偿单元将屏蔽块中运动向量的绝对值转换为0。
8.如权利要求6所述的装置，其特征在于，如果绝对值等于或小于预定像素数量的运动向量数量小于预定的数量，则运动补偿单元使屏蔽块中的运动向量保持不变通过。
9.如权利要求8所述的装置，其特征在于，像素的预定数目为1，该预定数目是被屏蔽块覆盖的像素数目。
10.一种具有帧速率转换的图像处理方法，该方法包括从输入交错处理图像中提取一个预定块；通过比较两个连续输入交错处理图像的块，在预定块中估计像素的运动向量；通过考虑在块预定范围内的像素运动向量的值，来确定是否存在运动；如果确定存在运动，则使在块预定范围内的运动向量的值保持不变通过，如果确定未发生运动，则使块预定范围内的像素的运动向量值强制为0；以及对结果向量执行帧速率转换(FRC)。
11.如权利要求10所述的方法，其特征在于，提取预定块其大小为C×C/2，此处C＝2n(n＝0，1，…)。
12.如权利要求10所述的方法，其特征在于，该提取预定块的步骤包括将输入的交错处理图像延迟一场，并从所延迟的输入交错处理图像中提取第一块；以及从当前输入的交错处理图像中提取第二块。
13.如权利要求12所述的方法，其特征在于，进一步包括比较第一块和第二块的对应像素，以获得二者之间的差异。
14.如权利要求13所述的方法，其特征在于，进一步包括从所述差异中估计输入交错处理图像的运动向量，并存储结果。
15.如权利要求10所述的方法，其特征在于，确定存在运动的步骤包括设置预定的屏蔽块；计算运动向量的绝对值；以及确定被预定屏蔽块所覆盖的且绝对值等于或小于预定像素数量的像素的运动向量数量是否等于或大于预定的数量。
16.如权利要求15所述的方法，其特征在于，确定存在运动的步骤包括，如果绝对值等于或小于预定像素数量的运动向量数量等于或大于预定的数量，则将被屏蔽块所覆盖的运动向量的绝对值强制变为0。
17.如权利要求15所述的方法，其特征在于，确定存在运动的步骤包括，如果绝对值等于或小于预定像素数量的运动向量数量小于预定的数量，则使屏蔽块中的运动向量保持不变通过。
18.如权利要求16或17所述的方法，其特征在于，像素的预定数量为1，该预定数量是被屏蔽块覆盖的像素数量。
19.如权利要求18所述的方法，其特征在于，所述预定屏蔽块的大小为3×3像素，像素的预定数量为9。
20.一种具有帧速率转换(FRC)的处理图像的装置，该装置包括运动过滤器，确定从输入交错处理图像中估计的运动向量是否是由奇数和偶数场之间的线偏离引起的；及运动补偿单元，如果不是由线偏离所引起的，则使运动向量保持不变通过，否则，将运动向量的值改为0。
21.具有帧速率转换(FRC)的图像处理方法，该方法包括确定从输入交错处理图像中估计的运动向量是否是由奇数和偶数场之间的线偏离引起的；及如果不是由线偏离所引起的，则使运动向量保持不变通过来补偿运动向量，否则，将运动向量的值改为零向量。
全文摘要
本发明提供了一种具有帧速率转换的图像处理装置及其方法。该装置包括块提取单元，其从输入场中提取预定的块；运动向量提取单元，其通过互相比较两个连续输入场的块来确定该预定块的运动向量；运动过滤器，其通过利用块的预定范围内像素的运动向量来确定是否存在任何运动；运动补偿单元，如果确定在块的预定范围内存在运动，则不变地传输运动向量的值，否则，将运动向量的值改为0；以及帧速率转换单元，其对从运动补偿单元接收来的运动向量执行帧速率转换。
文档编号G06T7/20GK1520180SQ20041000581
公开日2004年8月11日 申请日期2004年2月3日 优先权日2003年2月3日
发明者姜政佑, 闵钟述, 孙永旭 申请人:三星电子株式会社