基于方向性插值的图像边缘平滑系统与方法

专利名称：基于方向性插值的图像边缘平滑系统与方法
技术领域：
本发明有关数字显示系统。具体地说，本发明是关于对视频图像信号进行处理以增强其视觉品质的发明。
背景技术：
鉴于先进半导体处理技术的发展，集成电路(ICs)的功能及复杂程度大大的得到了强化。随着处理及存储能力的增加，许多以前由模拟方式完成的工作现在都能以数字的方式完成。例如，图像、音频甚至视频信号都能以数字的方式进行生成、传播及使用。


图1描述了通常在电视系统中使用的隔行视频流100的一部分。隔行视频流100包含一系列隔行视频场100_1至100_N，图1画出了其中的前10场。偶场包含场景的偶数行，而奇场包含了场景的奇数行。例如，对一个由400行，每行640个像素组成的场景，偶场将包含第2，4，…，400行，而奇场将包含第1，3，…，399行。通常，隔行视频流中的每一场是在不同时刻生成的。例如，一个隔行视频生成设备(如一个数字摄像机)在时间T捕捉及存储场景的奇数行以生成视频场100_1，而在时间T+1捕捉及存储场景的偶数行以生成视频场100_2。这个过程将不断重复以生成隔行视频流。
由于带宽的限制，当逐行视频显示的帧频要求无法满足时，我们就使用隔行视频系统。具体的说，两组30场/秒的隔行视频场奇偶交替显示便可以达到类似60帧/秒的显示效果，这是因为电视上的像素在扫描过后可以保持一小段时间。逐行视频流使用的是完整的图像帧，既包括偶行又包括奇行的信息。显然，使用逐行扫描可以达到更高的显示质量，所以，在传统的隔行电视系统出现多年以后，现在的计算机显示器通常都使用逐行扫描的方法。而且，现在很多先进的电视及视频设备也开始使用逐行扫描的视频流。为与现存的隔行视频系统相兼容，现代逐行扫描视频系统可使用隔行到逐行转换技术将隔行视频流转化成逐行视频流。
图2(a)和2(b)描述了一种从隔行视频流100转换到逐行视频流200的典型方法。具体的说，隔行视频流100中的每一隔行视频场100_X被转换为逐行视频流200中的逐行视频图像帧200_X。这个转换是通过以拷贝或插值的方法产生缺失扫描行来完成的。以图2(b)为例，场100_1有行100_1_1，100_1_3，100_1_5，…，100_1_N，它被转换成图象帧200_1，方法是以行100_1_X作为奇行200_1_X(X为奇数)，并产生偶行200_1_Y(Y为偶数)。偶行200_1_Y是以拷贝前一奇行200_1_Y-1来产生的。这种技术通常称为行重复。运用插值的方法产生缺失行可以得到更好的效果。例如，一种简单的插值方法是利用奇行200_1_Y-1和奇行200_1_Y+1的平均来作为偶行200_1_Y。其它插值方法还包括以加权平均或更复杂的数据组合方法来从已存在的扫描行产生缺失的扫描行。利用同一视频场中的数据来产生视频帧的隔行到逐行转换技术通常被称为场内隔行到逐行转换技术或2D隔行到逐行转换技术。场内隔行到逐行转换技术的一个常见问题是其所产生的视频帧中的倾斜边缘会出现锯齿。
为减小这种锯齿现象，多数隔行到逐行转换技术使用了一种称为场间隔行到逐行转换或3D隔行到逐行转换的方法。场间隔行到逐行转换利用了临近场中的视频数据来产生当前场的缺失行。场间隔行到逐行转换技术可以较好地消除静止倾斜边缘处发生的锯齿现象，但是无法处理发生在非静止倾斜边缘处，例如一个运动物体的倾斜边缘处的锯齿现象。
因此，开发一种能够消除发生在运动物体倾斜边缘处的锯齿的系统与方法是必要的。

发明内容
本发明提供了一种消除发生在运动物体倾斜边缘处的锯齿以提升视频图像品质的系统与方法。在基于本发明的一种系统和方法中，一个图像增强单元被用来判断一个当前像素是否是静止的。如果当前像素不是静止的，那么当前像素的像素值将被改变以达到消除锯齿的目的。具体地说，一个像素合并单元将像素合并产生一个由合并像素组成的平滑滤波器。平滑像素由平滑滤波器中的合并像素计算产生。
具体地说，我们通过对平滑滤波器的分析来选取一条中选边缘的边缘方向。在基于本发明的一些系统和方法中，中选边缘即是平滑滤波器中的主导边缘。而基于本发明的另一些系统和方法通过分析平滑滤波器中的主导边缘和次主导边缘来决定哪一个作为中选边缘。接着，对于中选边缘在平滑滤波器中计算产生它的一个第一边缘端点像素和一个第二边缘端点像素。在基于本发明的一种系统和方法中，平滑像素等于第一边缘端点像素，第二边缘端点像素，和平滑滤波器的中心合并像素的线性组合。
基于本发明的一些系统和方法还包含一个像素结构特征检测单元，用以分析当前像素的一个邻域并提取其像素结构特征，该像素结构特征被用来判断平滑像素是否会破坏图像中的精细结构。像素结构特征检测单元包括一个像素比较单元，用以产生一系列像素结构检验和位元组，并由这些像素结构检验和位元组产生一个像素结构检验和。像素结构检验和是一个查找表的索引，该查找表中存储了对应于每一个像素结构检验和的像素结构特征。对于本发明中的图像边缘平滑系统来说，像素结构特征描述的是图像中精细结构处的像素结构。
以下结合附图的描述将使本发明更易于理解。
图1描述了一个隔行视频流。
图2(a)和2(b)描述了一个隔行到逐行的转换过程。
图3描述了基于本发明的一种系统和方法中使用的图像平滑系统的方框图。
图4描述了基于本发明的一种系统和方法中使用的视频缓存及其中的像素。
图5描述了基于本发明的一种系统和方法中使用的像素合并单元的方框图。
图6描述了基于本发明的一种系统和方法中使用的平滑滤波器。
图7描述了基于本发明的一种系统和方法中使用的边缘检测单元的方框图。
图8描述了基于本发明的一种系统和方法中使用的边缘检测量计算单元的方框图。
图9(a)-9(f)描述了基于本发明的一种系统和方法中使用的边缘阈值检测单元及其各组成部分的方框图。
图10描述了基于本发明的一种系统和方法中使用的平滑像素计算单元的方框图。
图11描述了基于本发明的一种系统和方法中使用的输出像素选择单元的方框图。
图12(a)和12(b)描述了基于本发明的一种系统和方法中使用的精细结构检测单元的方框图。
图13(a)-13(p)描述了基于本发明的一种系统和方法中使用的像素精细结构模式。
具体实施例方式
如前所述，经隔行到逐行转换得到的逐行视频帧通常会在运动物体的倾斜边缘上出现锯齿。为减小这种锯齿现象，本发明对非静止像素进行了方向性的插值平滑。图3描述了基于本发明的一种系统和方法中使用的图像平滑系统300的方框图。图像平滑系统300包括一个视频缓存310，一个静止像素检测单元320，一个像素合并单元330，一个平滑滤波器340，一个边缘检测单元350，一个边缘阈值检测单元360，一个平滑像素计算单元370，一个精细结构检测单元380，和一个输出像素选择单元390。
图像中边缘平滑的操作是对当前逐行视频帧中的每一个当前像素P(i，j)逐点进行的。图像平滑过程中只使用了像素的亮度值，所以，下文中的像素值如不作特别说明均指像素的亮度值。例如，在一个方程EXAMPLE＝2*P(x，y)中，EXAMPLE等于2乘以像素P(x，y)的亮度值。通常当前逐行视频帧中的像素数据以YUV的格式存储在视频缓存310中，所以像素的亮度值是已知的。当视频数据以RGB或其他格式存储时，像素的亮度值必须通过特定的转换得到。视频缓存310中的视频数据被提供给静止像素检测单元320，像素合并单元330，精细结构检测单元380，和输出像素选择单元390。静止像素检测单元320用以判断当前像素P(i，j)是否是静止的，并产生一个静止像素信号STILL_P给输出像素选择单元390。像素合并单元330计算产生合并像素，并如下所述用以构成平滑滤波器340。平滑滤波器340将合并像素数据C_P_D提供给边缘检测单元350，边缘阈值检测单元360，和平滑像素计算单元370。边缘检测单元350通过分析由平滑滤波器340提供的合并像素数据C_P_D确定平滑滤波器340中存在的主导边缘及次主导边缘。主导边缘信息D_E_I和次主导边缘信息S_E_I被提供给边缘阈值检测单元360，用以判断主导边缘和次主导边缘是否足够强且可以进行平滑操作。边缘阈值检测单元360(将在下文中做详细描述)产生一个边缘阈值控制信号E_T_C给输出像素选择单元390，并产生一个第一边缘端点像素FEEP和一个第二边缘端点像素SEEP给平滑像素计算单元370。平滑像素计算单元370利用平滑滤波器340所提供的合并像素数据C_P_D，和边缘阈值检测单元360所提供的第一边缘端点像素FEEP及第二边缘端点像素SEEP产生一个平滑像素SP(i，j)。基于本发明的某些系统和方法并不产生或利用次主导边缘信息S_E_I。当某些条件满足(或不满足)时，平滑像素SP(i，j)，如下所述，将被用来代替当前像素P(i，j)。精细结构检测单元380用以判断在当前像素P(i，j)的附近是否存在不应被平滑操作破坏的精细结构。精细结构检测单元380产生一个精细结构信号SS给输出像素选择单元390。输出像素选择单元390根据得到的静止像素信号STILL_P，精细结构信号SS，和边缘阈值控制信号E_T_C的状态决定选取当前像素P(i，j)或平滑像素SP(i，j)作为当前输出像素OP(i，j)。
这里视频缓存310指的是一系列的行缓存器。视频缓存310中包含的行缓存器的数目与平滑滤波器340的大小有关。为叙述清楚起见，这里我们用一个3×3平滑滤波器为例，而熟悉相关技术的人员可以方便地将本发明所描述的方法运用于不同大小的平滑滤波器。对一个3×3平滑滤波器而言，视频缓存310包含三条行缓存器。这三条行缓存器将被循环使用，故任何时刻视频缓存310中都包含了一个当前行，一个前行(即当前行的上一行)，及一个后行(即当前行的下一行)。图4描述了视频缓存310中围绕当前像素P(i，j)的一段视频数据。为清楚起见，当前像素P(i，j)周围的像素都利用了一个以P(i，j)为中心的坐标系来表示，第一坐标给出了像素的垂直位置，第二坐标给出了像素的水平位置。因此，当前像素P(i，j)正上方的像素为P(i-1，j)，而当前像素P(i，j)正下方的像素为P(i+1，j)。当前像素P(i，j)左方的紧邻像素为P(i，j-1)，而当前像素P(i，j)右方的紧邻像素为P(i，j+1)。
如上所述，运动物体的倾斜边缘会存在锯齿。所以，基于本发明的大多数系统和方法只对非静止像素(即运动像素)进行平滑处理。因此，图像平滑系统300包含一个静止像素检测单元320来判断当前像素是否静止。像素的静止判断不属于本发明所涵盖的范围，用户可以自行选取像素静止判断的方法。例如，本发明在此所引用的于2003年9月9日递交的美国专利申请(系列号10/659,038-3279)“Still Pixel Detection Using Multiple Windows andThresholds”(发明人朱舸，等)中描述的像素静止判断的方法可以应用在本发明的静止像素检测单元320中。该方法也见于2003年5月23日递交的中国专利申请第03128819.7号。静止像素检测单元320产生一个静止像素信号STILL_P用以表示当前像素是否静止，并提供给输出像素选择单元390。在图像平滑系统300中，当当前像素P(i，j)为静止时，静止像素信号STILL_P为逻辑高状态。相反的，当当前像素P(i，j)为运动时，静止像素信号STILL_P为逻辑低状态。
像素合并单元330产生合并像素，并构成平滑滤波器340。一个合并像素是由同一视频行中连续的CS个像素的归一化得到的，其中CS为合并大小。在产生一个合并像素时，我们假设每一个原图像像素的大小均为一。合并大小CS可以是任何正实数(即，CS不必为整数)，故合并像素的产生可能会利用个别像素的一部分而不是其全部。为清楚起见，产生一个合并像素所利用的像素的集合被称为一个合并范围。
图6描述了平滑滤波器340。如前所述，我们用一个3×3的平滑滤波器340为例，即该平滑滤波器包含3×3＝9个合并像素。基于本发明的其他系统和方法可以利用不同大小的平滑滤波器，其中包含的合并像素数目也相应改变，即合并像素数目等于平滑滤波器的大小。3×3的平滑滤波器340由位于当前像素P(i，j)处的一个合并像素，和当前像素P(i，j)周围的八个合并像素构成。如图6所示，平滑滤波器的中心合并像素C_P4表示位于当前像素P(i，j)处的合并像素，而合并像素C_P0，C_P1，C_P2，C_P3，C_P5，C_P6，C_P7，C_P8依次为位于当前像素P(i，j)左上方，正上方，右上方，左方，右方，左下方，正下方，和右下方的合并像素。合并像素C_P0，C_P1和C_P2由视频图像帧中的第i-1行，即前行中的视频数据产生。合并像素C_P3，C_P4和C_P5由视频图像帧中的第i行，即当前行中的视频数据产生。合并像素C_P6，C_P7和C_P8由视频图像帧中的第i+1行，即后行中的视频数据产生。
同一视频行中相邻合并像素所对应的合并范围是连续的。例如，如果合并大小CS是2，那么，位于当前像素P(i，j)处的合并像素C_P4的值就由当前像素P(i，j)，像素P(i，j-1)的一半，和像素P(i，j+1)的一半进行归一化得到。方程EQ1描述了合并像素C_P4在CS为2时的产生方法。
C_P4＝{P(i，j)+[P(i，j-1)+P(i，j+1)]/2}/2 (EQ1)合并像素C_P3的合并范围与合并像素C_P4的合并范围左邻，即包含了像素P(i，j-1)的一半，像素P(i，j-2)，和像素P(i，j-3)的一半。类似地，方程EQ2描述了合并像素C_P3在CS为2时的产生方法。
C_P3＝{P(i，j-2)+[P(i，j-1)+P(i，j-3)]/2}/2 (EQ2)合并像素C_P5的合并范围与合并像素C_P4的合并范围右邻，即包含了像素P(i，j+1)的一半，像素P(i，j+2)，和像素P(i，j+3)的一半。方程EQ3描述了合并像素C_P5在CS为2时的产生方法。
C_P5＝{P(i，j+2)+[P(i，j+1)+P(i，j+3)]/2}/2 (EQ3)类似地，合并像素C_P0，C_P1和C_P2分别由C_P3，C_P4和C_P5所对应的像素正上方的像素计算产生，而合并像素C_P6，C_P7和C_P8分别由C_P3，C_P4和C_P5所对应的像素正下方的像素计算产生。方程EQ4，EQ5，EQ6，EQ7，EQ8和EQ9分别给出了合并像素C_P0，C_P1，C_P2，C_P6，C_P7和C_P8在CS为2时的产生方法。
C_P0＝{P(i-1，j-2)+[P(i-1，j-1)+P(i-1，j-3)]/2}/2 (EQ4)C_P1＝{P(i-1，j)+[P(i-1，j-1)+P(i-1，j+1)]/2}/2 (EQ5)
C_P2＝{P(i-1，j+2)+[P(i-1，j+1)+P(i-1，j+3)]/2}/2 (EQ6)C_P6＝{P(i+1，j-2)+[P(i+1，j-1)+P(i+1，j-3)]/2}/2 (EQ7)C_P7＝{P(i+1，j)+[P(i+1，j-1)+P(i+1，j+1)]/2}/2 (EQ8)C_P8＝{P(i+1，j+2)+[P(i+1，j+1)+P(i+1，j+3)]/2}/2 (EQ9)方程EQ10描述了合并像素C_P4在CS为任意正实数时的产生方法。在方程EQ10中，z等于CS加1的和的一半的整数部分，即z＝int((CS+1)/2)。
C_P4=[p(i,j+z)+p(i,j-z)]*[CS-(2*z-1)]2+Σn=j-z+1j+z-1p(i,n)CS---(EQ10)]]>方程EQ10中的累加部分得到的是合并范围中所有完整像素的像素值的和。系数[CS-(2*z-1)]称为部分像素系数PPP，代表了像素P(i，j+z)和像素P(i，j-z)处于合并范围中的那部分的大小。例如，如果合并大小CS为2，则部分像素系数PPP为0.5，由此像素P(i，j+1)的一半和像素P(i，j-1)的一半属于合并范围，应当和当前像素P(i，j)一起用于产生合并像素C_P4。当合并大小CS为奇数时，部分像素系数PPP总为零，即像素P(i，j+z)和像素P(i，j-z)恰好处在合并范围之外，故将不被用于产生合并像素C_P4。
合并像素C_P3的合并范围截止于像素P(i，j-z)之内(或当CS为奇数时恰好包含完整像素P(i，j-z))。因为一行中的合并像素彼此相连，所以像素P(i，j-z)处于合并像素C_P3的合并范围之内的部分即为其处于合并像素C_P4的合并范围之外的部分。因此，像素P(i，j-z)处于合并像素C_P3的合并范围之内的部分是{1-[CS-(2*z-1)]/2}。合并像素C_P3的合并范围起始于像素P(i，j-zl)之内，其中zl等于1.5乘以CS与0.5的和的整数部分，即zl＝int(1.5*CS+0.5)。像素P(i，j-zl)处于C_P3合并范围之内的部分的大小等于CS减去C_P3合并范围中完整像素的个数，再减去像素P(i，j-z)处于C_P3合并范围之内的部分的大小，即((CS-(1-(CS-(2*z-1))/2)-int((CS-(1-(CS-(2*z-1))/2))经简化可得(1.5*CS-1.5+z)-int(1.5*CS-1.5+z)。方程EQ11给出了合并像素C_P3的产生方法。
{p(i,j-zl)*((1.5CS-1.5+z)-int(1.5*CS-1.5+z))+]]>C_P3=p(i,j-z)]*(1-(CS-(2*z-1))2)+Σn=j-zl+1j-(z+1)p(i,n)CS---(EQ11)]]>类似地，方程EQ12给出了合并像素C_P5的产生方法。
{p(i,j+zl)*((1.5CS-1.5+z)-int(1.5*CS-1.5+z))+]]>C_P5=p(i,j+z)]*(1-(CS-(2*z-1))2)+Σn=j+z+1j+zl-1p(i,n)}CS---(EQ12)]]>合并像素C_P0，C_P1和C_P2可在将i替换成i-1后分别由方程EQ11，EQ10和EQ12产生(即利用合并像素C_P3，C_P4和C_P5所对应的像素正上方的像素)。类似地，合并像素C_P6，C_P7和C_P8可在将i替换成i+1后分别由方程EQ11，EQ10和EQ12产生(即利用合并像素C_P3，C_P4和C_P5所对应的像素正下方的像素)。
通常，平滑斜率较小的倾斜边缘需要使用较大的合并范围，即合并大小CS应较大。基于本发明的大多数系统和方法将合并大小CS取值范围定在1到5(包含5)。而且，我们通常将CS选取为奇数以减少运算量(注意CS为奇数时合并范围中将只包含完整像素)。当CS为奇数时，数值(CS-1)/2+1总是整数，而z也就等于(CS-1)/2+1。这样一来，部分像素系数PPP，即[CS-(2*z-1)]，总为零。由此，方程EQ10可被简化为方程EQ13。方程EQ13给出了当CS为奇数时合并像素C_P4的产生方法。
C_P4=Σn=j-z+1j+z-1p(i,n)CS---(EQ13)]]>类似地，方程EQ11可被简化为方程EQ14。方程EQ14给出了当CS为奇数时合并像素C_P3的产生方法。
C_P3=p(i,j-z)+Σn=j-zl+1j-(z+1)p(i,n)CS---(EQ14)]]>方程EQ14可被进一步简化为方程EQ15。
C_P3=Σn=j-zl+1j-zp(i,n)CS---(EQ15)]]>同样，方程EQ12可被简化为方程EQ16。方程EQ16给出了当CS为奇数时合并像素C_P5的产生方法。
C_P5=Σn=j+zj+zl-1p(i,n)CS---(EQ16)]]>当CS为奇数时，合并像素C_P0，C_P1和C_P2可在将i替换成i-1后分别由方程EQ15，EQ13和EQ16产生(即利用合并像素C_P3，C_P4和C_P5所对应的像素正上方的像素)。类似地，合并像素C_P6，C_P7和C_P8可在将i替换成i+1后分别由方程EQ15，EQ13和EQ16产生(即利用合并像素C_P3，C_P4和C_P5所对应的像素正下方的像素)。
图5描述了当CS为奇数时的一个像素合并单元500的方框图。具体地说，合并大小CS等于2*m+1，其中m为零或正整数。像素合并单元500包括一个加法器510和一个除法器520。加法器510有2*m+1个输入口，即I_P(-m)…I_P(-1)，I_P(0)，I_P(1)…I_P(m)。加法器510将这2*m+1个输入相加产生并输出一个和给除法器520的被除数输入端I_N。除法器520将被除数输入端I_N得到的数除以其除数输入端I_D得到的数以产生一个商，并由其输出端O输出。如图5所示，当加法器510的输入口I_P(-m)…I_P(-1)，I_P(0)，I_P(1)，…I_P(m)分别接收像素P(i，j-m)，…，P(i，j-1)，P(i，j)，P(i，j+1)，…，P(i，j+m)，且当合并大小CS为除法器520的除数输入端I_D时，像素合并单元500将在除法器520的输出端O输出合并像素C_P4。类似地，在CS为奇数2*m+1时，按照方程EQ13，EQ15和EQ16将对应的像素作为加法器510的输入，像素合并单元500可以计算产生平滑滤波器340中的所有其它合并像素。
如前所述，边缘检测单元350被用以确定平滑滤波器340中的主导边缘及次主导边缘。具体地说，对平滑滤波器340中所有可能的边缘都产生一个边缘检测量。边缘检测量可以有各种不同的定义，例如基于本发明的一种系统和方法将边缘检测量定义为横穿边缘的图像亮度的变化率。具有最高边缘检测量的边缘被称为主导边缘，而具有次最高边缘检测量的边缘被称为次主导边缘。基于本发明的一种系统和方法检验了在水平，垂直，45度及135度四个方向上的边缘。基于本发明的其它系统和方法也可以检验其它可能方向上的边缘。
图7是基于本发明的一种系统和方法中使用的边缘检测单元700的一个方框图。边缘检测单元700包括一个边缘检测量计算单元710和一个边缘排序器720。边缘检测量计算单元710包括一个用以产生水平边缘检测量E_H_M的水平边缘检测量计算单元712，一个用以产生垂直边缘检测量E_V_M的垂直边缘检测量计算单元714，一个用以产生45度边缘检测量E_45_M的45度边缘检测量计算单元716，和一个用以产生135度边缘检测量E_135_M的135度边缘检测量计算单元718。边缘检测单元700利用由图3中的平滑滤波器340提供的合并像素数据C_P_D来产生一系列的边缘检测量。边缘排序器720基于一系列边缘检测量产生一个主导边缘信息D_E_I。D_E_I包含一个等于最大边缘检测量的主导边缘检测量D_E_M(图中未标出)，和一个沿最大边缘检测量所对应方向的主导边缘方向D_E_D(图中未标出)。边缘排序器720也产生一个次主导边缘信息S_E_I。S_E_I包含一个等于次最大边缘检测量的次主导边缘检测量S_E_M(图中未标出)，和一个沿次最大边缘检测量所对应方向的次主导边缘方向S_E_D(图中未标出)。在基于本发明的某些系统和方法中并不产生和使用次主导边缘信息S_E_I，即在这些系统和方法中边缘排序器720不需要产生次主导边缘信息S_E_I。
在图7中，平滑滤波器340中合并像素的变化率被用来表示边缘检测量。这里，合并像素的变化方向被定义为横穿某一边缘的方向，故合并像素的变化率的方向和边缘方向间有90度的角度差。因此，水平边缘检测量E_H_M描述的是平滑滤波器340中合并像素在垂直方向上的变化率。方程EQ17，EQ18，EQ19和EQ20分别给出了水平边缘检测量E_H_M，垂直边缘检测量E_V_M，45度边缘检测量E_45_M和135度边缘检测量E_135_M产生方法。
图8是一个水平边缘检测量计算单元712的详细方框图，其中包括了一个6输入加法器810，一个3输入加法器815，一个加倍器820，一个减法器825，一个绝对值求取电路830，一个6输入加法器840，一个3输入加法器845，一个加倍器850，一个减法器855，一个绝对值求取电路860，和一个2输入加法器880。6输入加法器810有I0，I1，I2，I3，I4，和I5共6个输入口，分别接收合并像素C_P0，C_P1，C_P2，C_P3，C_P4和C_P5。6输入加法器810将6个输入的和由其输出端O输出并提供给减法器825的正输入端I_P。3输入加法器815有I0，I1和I2共3个输入口，分别接收合并像素C_P6，C_P7和C_P8。3输入加法器815将3个输入的和由其输出端O输出并提供给加倍器820的输入端IN。加倍器820进行的是一个乘2操作，可以方便地由将输入数据左移一位来完成，其输出连接减法器825的负输入端I_N。减法器825在输出端O输出其正输入端I_P的输入数减去负输入端I_N的输入数得到的差。经绝对值求取电路830得到减法器825输出的差的绝对值，并作为2输入加法器880的I0输入。
6输入加法器840有I0，I1，I2，I3，I4，和I5共6个输入口，分别接收合并像素C_P6，C_P7，C_P8，C_P3，C_P4和C_P5。6输入加法器840将6个输入的和由其输出端O输出并提供给减法器855的正输入端I_P。3输入加法器845有I0，I1和I2共3个输入口，分别接收合并像素C_P0，C_P1和C_P2。3输入加法器845将3个输入的和由其输出端O输出并提供给加倍器850的输入端IN。加倍器850进行的是一个乘2操作，可以方便地由将输入数据左移一位来完成，其输出连接减法器855的负输入端I_N。减法器855在输出端O输出其正输入端I_P的输入数减去负输入端I_N的输入数得到的差。经绝对值求取电路860得到减法器855输出的差的绝对值，并作为2输入加法器880的I1输入。2输入加法器880将其I0端和I1端的输入相加，得到水平边缘检测量E_H_M。垂直边缘检测量计算单元714，45度边缘检测量计算单元716，和135度边缘检测量计算单元718均可利用图8中的方框图实现，但各输入端应接收相应的合并像素。一个本领域熟练的技术人员可以依照方程EQ17，EQ18，EQ19和EQ20方便地完成这些修改。
图9(a)描述了图3中的边缘阈值检测单元360的一个详细方框图，其中包括一个边缘主导阈值检测单元910，两个边缘端点像素选取单元920和930，一个边缘选取单元940，和一个最小边缘阈值检测单元950。边缘主导阈值检测单元910用以判断主导边缘的强度是否比次主导边缘的强度大得多。具体地说，边缘主导阈值检测单元910将主导边缘检测量D_E_M和次主导边缘检测量S_E_M之间的差的绝对值与一个边缘主导阈值E_D_T作比较。当主导边缘检测量D_E_M和次主导边缘检测量S_E_M之间的差的绝对值小于或等于E_D_T时，边缘主导阈值检测单元910将一个主导信号DOM设置为一个“非主导”逻辑状态(通常为逻辑低状态)，即表示由边缘检测单元350得到的主导边缘的强度并不明显强于次主导边缘。在这种情况下，我们需要作进一步处理以决定应用主导边缘还是次主导边缘。当主导边缘检测量D_E_M和次主导边缘检测量S_E_M之间的差的绝对值大于E_D_T时，边缘主导阈值检测单元910将主导信号DOM设置为一个“主导”逻辑状态(通常为逻辑高状态)，即表示由边缘检测单元350得到的主导边缘的强度明显强于次主导边缘。主导信号DOM被输入边缘选取单元940。
边缘端点像素选取单元920和930在平滑滤波器中沿一条边缘的方向选取两个合并像素作为边缘端点。如图9(a)所示，边缘端点像素选取单元920接收主导边缘方向D_E_D并产生一个第一主导边缘端点像素FDEEP和一个第二主导边缘端点像素SDEEP。而边缘端点像素选取单元930接收次主导边缘方向S_E_D并产生一个第一次主导边缘端点像素FSEEP和一个第二次主导边缘端点像素SSEEP。表1中给出了不同边缘方向上的边缘端点像素。边缘端点像素的选取顺序，即哪个合并像素是第一端点，哪个是第二端点并不重要，故在图9(a)中并未标出。
表1边缘方向边缘端点像素水平 C_P3 and C_P5垂直 C_P1 and C_P745度 C_P2 and C_P6135度 C_P0 and C_P8边缘选取单元940在主导边缘和次主导边缘中选出第一边缘端点像素FEEP和第二边缘端点像素SEEP。边缘选取单元940从边缘主导阈值检测单元910接收主导信号DOM，从边缘端点像素选取单元920接收第一主导边缘端点像素FDEEP和第二主导边缘端点像素SDEEP，从图3中的平滑滤波器340接收合并像素数据C_P_D，从边缘端点像素选取单元930接收第一次主导边缘端点像素FSEEP和第二次主导边缘端点像素SSEEP。当主导信号DOM为“主导”逻辑状态时，边缘选取单元940选择主导边缘，从而第一边缘端点像素FEEP就等于第一主导边缘端点像素FDEEP，而第二边缘端点像素SEEP就等于第二主导边缘端点像素SDEEP。当主导信号DOM为“非主导”逻辑状态时，边缘选取单元940将依据方程EQ21产生一个主导边缘特征DEC，即DEC等于合并像素C_P4与FDEEP的差的绝对值与合并像素C_P4与SDEEP的差的绝对值的和。
DEC＝|C_P4-FDEEP|+|C_P4-SDEEP|(EQ21)当主导信号DOM为“非主导”逻辑状态时，边缘选取单元940同时还将依据方程EQ22产生一个次主导边缘特征SEC，即SEC等于合并像素C_P4与FSEEP的差的绝对值与合并像素C_P4与SSEEP的差的绝对值的和。
SEC＝|C_P4-FSEEP|+|C_P4-SSEEP| (EQ22)当主导信号DOM为“非主导”逻辑状态，并且主导边缘特征DEC大于或等于次主导边缘特征SEC时，边缘选取单元940将选取主导边缘，从而第一边缘端点像素FEEP就等于第一主导边缘端点像素FDEEP，而第二边缘端点像素SEEP就等于第二主导边缘端点像素SDEEP。另一方面，当主导信号DOM为“非主导”逻辑状态，并且主导边缘特征DEC小于次主导边缘特征SEC时，边缘选取单元940将选取次主导边缘，从而第一边缘端点像素FEEP就等于第一次主导边缘端点像素FSEEP，而第二边缘端点像素SEEP就等于第二次主导边缘端点像素SSEEP。
最小边缘阈值检测单元950根据输入的第一边缘端点像素FEEP，第二边缘端点像素SEEP，一个最小边缘阈值M_E_T，和合并像素C_P4产生一个边缘阈值控制信号E_T_C。具体地说，当C_P4减去FEEP的绝对值大于M_E_T，或C_P4减去SEEP的绝对值大于M_E_T时，边缘阈值控制信号E_T_C被设置为一个边缘阈值满足状态(通常为逻辑高状态)，表示当前像素P(i，j)在如下所述的进一步判断成立时应当被平滑。否则，边缘阈值控制信号E_T_C被设置为一个边缘阈值不满足状态(通常为逻辑低状态)，表示当前像素P(i，j)不应当被平滑。
图9(b)描述了边缘主导阈值检测单元910的一种详细方框图，图中包括一个减法器912，一个绝对值求取电路914，和一个比较器916。减法器912的正输入端接收主导边缘检测量D_E_M，负输入端接收次主导边缘检测量S_E_M。减法器912的输出即为其正输入端输入数减去其负输入端输入数的差。该差通过绝对值求取电路914得到其绝对值，并和边缘主导阈值E_D_T一起输入给比较器916。当由绝对值求取电路914得到的数值小于或等于边缘主导阈值E_D_T时，比较器916将主导信号DOM设置为非主导逻辑状态(通常为逻辑低状态)。当由绝对值求取电路914得到的数值大于边缘主导阈值E_D_T时，比较器916将主导信号DOM设置为主导逻辑状态(通常为逻辑高状态)。
图9(c)描述了边缘端点像素选取单元920的一种详细方框图，图中包括两个多路选择器922和924。多路选择器922有一个输出端用以输出第一主导边缘端点像素FDEEP，及四个输入端00，01，10和11分别用以接收合并像素C_P3，C_P1，C_P2，和C_P0。类似地，多路选择器924有一个输出端用以输出第二主导边缘端点像素SDEEP，及四个输入端00，01，10和11分别用以接收合并像素C_P5，C_P7，C_P6，和C_P8。多路选择器922和924均由主导边缘方向信号D_E_D控制。主导边缘方向信号D_E_D为一个两位元的二进制数xy，xy为00，01，10和11时分别对应水平方向，垂直方向，45度方向，和135度方向。因为多路选择器922和924由主导边缘方向信号D_E_D控制，所以边缘端点像素选取单元920将依照如前所述的表1选择相应的合并像素。同样地，边缘端点像素选取单元930也可以由图9(c)描述的方框图实现，而其中多路选择器将由次主导边缘方向信号S_E_D控制。
图9(d)描述了边缘选取单元940的一种详细方框图，图中包括两个边缘特征提取单元942和944，一个比较器945，一个“或”门946，和两个多路选择器947和948。边缘特征提取单元942根据输入的第一主导边缘端点像素FDEEP，第二主导边缘端点像素SDEEP，和合并像素C_P4，依照方程EQ21产生主导边缘特征DEC。而边缘特征提取单元944根据输入的第一次主导边缘端点像素FSEEP，第二次主导边缘端点像素SSEEP，和合并像素C_P4，依照方程EQ22产生次主导边缘特征SEC。比较器945将主导边缘特征DEC和次主导边缘特征SEC进行比较。当DEC大于或等于SEC时，比较器945将“或”门946的一个第一输入端设置为逻辑高状态；否则，比较器945将“或”门946的第一输入端设置为逻辑低状态。“或”门946的第二输入端连接主导信号DOM。“或”门946的输出被用来控制两个多路选择器947和948。当“或”门946的输出为逻辑高状态时，多路选择器947选取第一主导边缘端点像素FDEEP作为第一边缘端点像素FEEP，而多路选择器948选取第二主导边缘端点像素SDEEP作为第二边缘端点像素SEEP；当“或”门946的输出为逻辑低状态时，多路选择器947选取第一次主导边缘端点像素FSEEP作为第一边缘端点像素FEEP，而多路选择器948选取第二次主导边缘端点像素SSEEP作为第二边缘端点像素SEEP。
图9(e)描述了边缘特征提取单元942的一种详细方框图，图中包括两个减法器962和964，两个绝对值求取电路963和965，以及一个加法器966。减法器962产生C_P4减去第一主导边缘端点像素FDEEP的差，并通过绝对值求取电路963得到该差的绝对值，再输入到加法器966。类似地，减法器964产生C_P4减去第二主导边缘端点像素SDEEP的差，并通过绝对值求取电路965得到该差的绝对值，再输入到加法器966。加法器966的输出即为主导边缘特征DEC。图9(e)描述的方框图也可用来实现边缘特征提取单元944，其中的主导边缘端点像素输入需相应地改为次主导边缘端点像素。
图9(f)描述了最小边缘阈值检测单元950的一种详细方框图，图中包括两个减法器952和955，两个绝对值求取电路953和956，两个比较器954和957，和一个“或”门958。减法器952产生C_P4减去第一边缘端点像素FEEP的差，并通过绝对值求取电路953得到该差的绝对值，再输入到比较器954与最小边缘阈值M_E_T作比较。如果绝对值求取电路953输出的数值大于M_E_T，则比较器954将“或”门958的一个第一输入端设置为逻辑高状态；否则，比较器954将“或”门958的第一输入端设置为逻辑低状态。类似地，减法器955产生C_P4减去第二边缘端点像素SEEP的差，并通过绝对值求取电路956得到该差的绝对值，再输入到比较器957与最小边缘阈值M_E_T作比较。如果绝对值求取电路956输出的数值大于M_E_T，则比较器957将“或”门958的一个第二输入端设置为逻辑高状态；否则，比较器957将“或”门958的第二输入端设置为逻辑低状态。“或”门958的输出即为边缘阈值控制信号E_T_C。
图3中的平滑像素计算单元370根据第一边缘端点像素FEEP，第二边缘端点像素SEEP，和合并像素C_P4产生平滑像素SP(i，j)。具体地说，平滑像素SP(i，j)等于FEEP，SEEP和C_P4的归一化的线性组合。合并像素C_P4，第一边缘端点像素FEEP，及第二边缘端点像素SEEP在线性组合中可以拥有不同的权值。图10描述了平滑像素计算单元的一种详细方框图，图中包括了三个乘法器1010，1020和1030，二个3输入加法器1040和1050，及一个除法器1060。乘法器1010，1020和1030分别产生C_P4与权值W1，FEEP与权值W2，和SEEP与权值W3的乘积，而这三个乘积分别连接到3输入加法器1040的三个输入端I0，I1和I2。3输入加法器1040的输出作为除法器1060的被除数输入I_N。而3输入加法器1050则产生三个权值W1，W2及W3的和，并作为除法器1060的除数输入I_D。除法器1060的输出即为平滑像素SP(i，j)，由其输出端口O_Q得到。在基于本发明的某些系统和方法中，三个权值W1，W2及W3为相同数值，这样归一化线性组合操作就简化为平均操作，即平滑像素SP(i，j)等于合并像素C_P4，第一边缘端点像素FEEP，及第二边缘端点像素SEEP的平均值，也就是SP(i，j)＝(C_P4+FEEP+SEEP)/3在这些系统和方法中，图10中的乘法器1010，1020和1030，以及3输入加法器1050将不再必要。将除法器1060的除数输入I_D设置为数值3，被除数输入I_N为C_P4，FEEP及SEEP的和就可得到平滑像素SP(i，j)。
精细结构检测单元380在收到平滑像素SP(i，j)后判断平滑操作是否会破坏原视频图像帧中存在的精细结构，若是则不进行平滑操作，即不用SP(i，j)代替当前像素P(i，j)。精细结构检测单元产生一个精细结构控制信号SS给输出像素选择单元390以在SP(i，j)和P(i，j)之间作出选择。在基于本发明的一种系统和方法中，如果平滑像素SP(i，j)大于所有与当前像素P(i，j)对角相邻的像素(即像素P(i-1，j-1)，P(i-1，j+1)，P(i+1，j-1)和P(i+1，j+1))，或平滑像素SP(i，j)小于所有与当前像素P(i，j)对角相邻的像素，或平滑像素SP(i，j)大于所有与当前像素P(i，j)直接相邻的像素(即像素P(i-1，j)，P(i，j-1)，P(i，j+1)和P(i+1，j))，或平滑像素SP(i，j)小于所有与当前像素P(i，j)直接相邻的像素，那么当前像素P(i，j)将不被平滑，而精细结构控制信号SS将被设置为“精细”逻辑状态(通常为逻辑低状态)。否则，精细结构控制信号SS将被设置为“非精细”逻辑状态(通常为逻辑高状态)，而当前像素P(i，j)将被平滑，即被平滑像素SP(i，j)所取代。
图12(a)给出了基于本发明的另一种系统和方法所使用的精细结构检测单元1200a的一种详细方框图，图中包括了8个比较器1210～1217，精细结构检验和寄存器1220，和精细结构查找表1230。该方法通过比较SP(i，j)和一组精细结构像素来决定是否进行平滑操作。在图12(a)中，精细结构像素即为围绕当前像素P(i，j)的8个像素。具体地说，由精细结构像素组中亮度值小于SP(i，j)的像素构成的像素模式将和一系列预先设定的像素模式作比较。如果由精细结构像素组中亮度值小于SP(i，j)的像素构成的像素模式与某一预先设定的像素模式匹配，则进行平滑操作，即用SP(i，j)替换当前像素P(i，j)，并将精细结构控制信号SS设置为“非精细”逻辑状态(通常为逻辑高状态)。否则不进行平滑操作，即维持当前像素P(i，j)不变，并将精细结构控制信号SS设置为“精细”逻辑状态(通常为逻辑低状态)。通常，预先设定的一系列像素模式代表的是图像中高频内容，如边缘附近的一些局部像素结构。
比较器1210～1217每个都有一个第一输入端IP0，一个第二输入端IP1，和一个输出端OP。平滑像素SP(i，j)连接着每个比较器的第一输入端。像素P(i+1，j+1)，P(i+1，j)，P(i+1，j-1)，P(i，j+1)，P(i，j-1)，P(i-1，j+1)，P(i-1，j)和P(i-1，j-1)分别连接着比较器1210，1211，1212，1213，1214，1215，1216和1217的第二输入端。比较器1210，1211，1212，1213，1214，1215，1216和1217的输出端则分别作为精细结构检验和寄存器1220中精细结构检验和的8个二进制位元SSCS0，SSCS1，SSCS2，SSCS3，SSCS4，SSCS5，SSCS6和SSCS7。比较器1210～1217在其第一输入端IP0的输入数大于第二输入端IP1的输入数时输出逻辑高状态，而在相反情况时输出逻辑低状态。二进制位元SSCS0～SSCS7构成了一个8位二进制数(即精细结构检验和SSCS)，并存储于精细结构检验和寄存器1220中，其中SSCS0是最低位，而SSCS7是最高位。通常，如果精细结构检验和属于一组预先设定的检验和数值，则进行平滑操作；否则不进行平滑操作。每一个预先设定的检验和对应一个上面提到的预先设定的像素模式。
具体地说，精细结构检验和SSCS被用作一个长度为256的精细结构查找表1230的索引。精细结构查找表1230中的每一项均为一个一位(1bit)二进制位元。当精细结构检验和SSCS与一个预先设定的检验和数值相等时(即对应一个预先设定的像素模式)，其所对应的精细结构查找表1230中的项就被设为“非精细”逻辑状态。精细结构查找表1230中的其它项(即那些索引不与任何一个预先设定的检验和数值相等的项)则为“精细”逻辑状态。精细结构查找表1230的输出，即依照精细结构检验和SSCS所查得的二进制位元，就是精细结构控制信号SS。
在基于本发明的一种系统和方法中，预先设定的检验和数值包括7，11，15，22，23，31，47，104，151，208，224，232，233，240，244和248。图13(a)～13(p)分别给出了当精细结构检验和SSCS为这些数值时所对应的像素模式，图中包含了当前像素P(i，j)及围绕P(i，j)的8个精细结构像素。带阴影的像素对应于那些亮度值小于平滑像素SP(i，j)的像素。如图13(a)所示，SSCS为7，对应的像素模式中处在后行(即第i+1行)中的三个像素均小于SP(i，j)。图13(b)中，SSCS为11，对应的像素模式中处在右下方的三个像素均小于SP(i，j)。图13(c)中，SSCS为15，对应的像素模式中处在右下方的三个像素和处在左下方的一个像素均小于SP(i，j)。图13(d)中，SSCS为22，对应的像素模式中处在左下方的三个像素均小于SP(i，j)。
图13(e)中，SSCS为23，对应的像素模式中处在左下方的三个像素和处在右下方的一个像素均小于SP(i，j)。图13(f)中，SSCS为31，对应的像素模式中处在下方的三个像素，处在左方的一个像素和处在右方的一个像素均小于SP(i，j)。图13(g)中，SSCS为47，对应的像素模式中处在下方及右方的像素均小于SP(i，j)。图13(h)中，SSCS为104，对应的像素模式中处在右上方的三个像素均小于SP(i，j)。
图13(i)中，SSCS为151，对应的像素模式中处在下方及左方的像素均小于SP(i，j)。图13(j)中，SSCS为208，对应的像素模式中处在左上方的三个像素均小于SP(i，j)。图13(k)中，SSCS为224，对应的像素模式中处在上方的三个像素均小于SP(i，j)。图13(1)中，SSCS为232，对应的像素模式中处在右上方的三个像素和处在左上方的一个像素均小于SP(i，j)。
图13(m)中，SSCS为233，对应的像素模式中处在上方及右方的像素均小于SP(i，j)。图13(n)中，SSCS为240，对应的像素模式中处在左上方的三个像素和处在右上方的一个像素均小于SP(i，j)。图13(o)中，SSCS为244，对应的像素模式中处在上方及左方的像素均小于SP(i，j)。图13(p)中，SSCS为248，对应的像素模式中处在上方的三个像素，处在左方的一个像素和处在右方的一个像素均小于SP(i，j)。基于本发明的其它系统和方法可以定义与使用和图13(a)～13(p)中所示像素模式不完全相同的像素模式。基于本发明的某些系统和方法还可以重新定义图13(a)～13(p)中的某些像素模式，或定义与使用图13(a)～13(p)中所示像素模式之外的额外的像素模式。而且，基于本发明的某些系统和方法还可以定义与使用不同数目的精细结构像素，而不必如图12(a)中所示利用8个精细结构像素。
图12(a)中精细结构检测单元1200a是图12(b)中所示的结构检测单元1200b的一个特例。具体地说，精细结构检测单元1200a是为图像平滑系统300而设计的。虽然通常结构检测是在判断是否由一个新产生的像素(如平滑像素SP(i，j))取代当前像素P(i，j)时使用，但图12(b)中所示的结构检测单元1200b的原理可被应用于任何视频图像处理过程中的结构检测。结构检测单元1200b包括一个像素比较单元1240，一个结构检验和寄存器1250，和一个结构查找表1260。像素比较单元1240接收一个处理后的像素PP(i，j)，一组当前像素附近的像素数据P_DATA，和一组比较参数C_PARAM，并产生结构检验和位元组SCSBG_0，SCSBG_1，…SCSBG_N，存储于结构检验和寄存器1250中。结构检验和位元组SCSBG_0，SCSBG_1，…SCSBG_N构成了结构检验和SCS，被用作结构查找表1260的索引。结构查找表1260的输出为一个结构特征S_CHAR，即对应于SCS的表项，描述了当前像素P(i，j)附近的图像像素结构。在许多基于本发明的系统和方法中，结构检验和寄存器1250被包含于像素比较单元1240中。在这些系统和方法中，结构检验和寄存器1250将被省略。
像素比较单元1240的具体实现和具体的图像处理过程有关。例如，在图12(a)中所示的精细结构检测单元1200a中，像素比较单元使用了平滑像素SP(i，j)，即等价于处理后的像素PP(i，j)，而像素数据P_DATA包括围绕当前像素P(i，j)的8个像素，所产生的结构检验和位元组即为一位(1bit)二进制位元组SSCS0～SSCS7。而且，这里没有定义和使用任何的比较参数C_PARAM。然而，在像素比较单元1240的某些其它应用中，我们可能需要进行更加繁复和精确的比较。例如，在基于本发明的一种系统和方法中，像素比较单元1240可以产生结构检验和位元组SCSBG_X，来表示处理后的像素PP(i，j)是否比一个像素P_X超出一个阈值，而这个阈值就由比较参数C_PARAM确定。在基于本发明的另一种系统和方法中，像素比较单元1240可以产生一组两位(2bit)的结构检验和位元组SCSBG_X，来表示处理后的像素PP(i，j)是否小于(即SCSBG_X＝00)，大于(即SCSBG_X＝11)，或属于(即SCSBG_X＝10)由像素P_X和P_X+1定义的一个范围。
结构检验和寄存器1250被用来存储结构检验和位元组，并提供结构检验和SCS作为结构查找表1260的索引。结构查找表1260中存储了对应于不同结构检验和SCS的结构特征。具体的结构特征的定义依赖于具体的图像处理过程。例如，对精细结构检测单元1200a来说，结构特征就是一个单位元(1bit)的状态，用以表示是否在所给的SCS下检测到了图像的精细结构。而在其它应用中结构特征可能是包含多个位元的信息。例如，在基于本发明的一种系统和方法中，存储在结构查找表1260中的结构特征可以表示当前像素P(i，j)处的主导边缘方向，即结构特征为00，01，10和11分别表示水平，垂直，45度及135度的方向。
输出像素选择单元390从当前像素P(i，j)和平滑像素SP(i，j)中选取一个作为输出像素OP(i，j)。具体地说，如果静止像素控制信号STILL_P处于逻辑低状态(即当前像素P(i，j)为一个运动像素)，边缘阈值控制信号E_T_C处于阈值满足状态(通常为逻辑高状态)，精细结构控制信号SS处于“非精细”状态(通常为逻辑高状态)，那么输出像素OP(i，j)就等于平滑像素SP(i，j)；否则输出像素OP(i，j)就等于当前像素P(i，j)。图11描述了输出像素选择单元390的方框图，图中包括了一个“非”门1110，一个3输入“与”门1120，和一个多路选择器1130。静止像素控制信号STILL_P经“非”门1110后连接到3输入“与”门1120的一个第一输入端，边缘阈值控制信号E_T_C和精细结构控制信号SS分别连接3输入“与”门1120的一个第二输入端和一个第三输入端。3输入“与”门1120的输出控制多路选择器1130。平滑像素SP(i，j)连接多路选择器1130的逻辑高输入端I_1(即多路选择器在其控制输入端C为逻辑高状态时选取I_1)，而当前像素P(i，j)连接多路选择器1130的逻辑低输入端I_0(即多路选择器在其控制输入端C为逻辑低状态时选取I_0)。多路选择器1130的输出即为输出像素OP(i，j)。
以上介绍了基于本发明对视频图像边缘进行锯齿平滑的各种系统和方法的实现架构。以上介绍的各种方法与系统架构仅作为说明参考使用，并不限制本发明的适用范围。例如，在阅读了本说明书后，熟练的技术人员可以自行定义不同的平滑滤波器，像素合并单元，合并大小，静止像素检测单元，边缘检测单元，平滑像素计算单元，精细结构检测单元，像素模式，边缘阈值检测单元，输出像素选择单元，等等，并且运用这些新的定义在本发明所描述的准则下设计出新的方法，电路和系统。鉴于此，本发明的适用范围仅受如下权项的限制。
权利要求
1.一种对视频图像帧中的一个当前像素处的图像边缘进行平滑的方法，该方法包括产生一个由一系列合并像素组成的平滑滤波器；利用平滑滤波器中的合并像素值产生一个平滑像素。
2.如权利要求1所述的方法，其特征在于所述的利用平滑滤波器中的合并像素值产生一个平滑像素的操作进一步包括在平滑滤波器中选取一个边缘方向。
3.如权利要求2所述的方法，其特征在于所述的在平滑滤波器中选取一个边缘方向的操作进一步包括选取一个主导边缘检测量所对应的主导边缘；和选取一个次主导边缘检测量所对应的次主导边缘。
4.如权利要求3所述的方法，其特征在于所述的在平滑滤波器中选取一个边缘方向的操作进一步包括产生平滑滤波器中一系列边缘中的每一个边缘所对应的边缘检测量；和将所有边缘按其所对应的边缘检测量排序。
5.如权利要求3所述的方法，其特征在于所述的主导边缘在主导边缘检测量与次主导边缘检测量之间的差的绝对值大于一个边缘主导阈值时作为所选的边缘。
6.如权利要求2所述的方法，其特征在于所述的利用平滑滤波器中的合并像素值产生一个平滑像素的操作进一步包括产生一个第一边缘端点像素；产生一个第二边缘端点像素；利用第一边缘端点像素，第二边缘端点像素和平滑滤波器的一个中心合并像素的归一化的线性组合产生平滑像素。
7.如权利要求6所述的方法，其特征在于所述的平滑像素值等于第一边缘端点像素，第二边缘端点像素和平滑滤波器的中心合并像素的归一化的线性组合。
8.如权利要求6所述的方法，其特征在于其进一步包括产生一个输出像素，其中，当平滑滤波器的中心合并像素与第一边缘端点像素之间的差的绝对值大于一个最小边缘阈值时，输出像素等于平滑像素；当平滑滤波器的中心合并像素与第二边缘端点像素之间的差的绝对值大于最小边缘阈值时，输出像素等于平滑像素；当平滑滤波器的中心合并像素与第一边缘端点像素之间的差的绝对值小于或等于最小边缘阈值，并且平滑滤波器的中心合并像素与第二边缘端点像素之间的差的绝对值小于或等于最小边缘阈值时，输出像素等于当前像素。
9.如权利要求6所述的方法，其特征在于所述的平滑像素等于第一边缘端点像素，第二边缘端点像素和平滑滤波器的中心合并像素的平均。
10.如权利要求1所述的方法，其特征在于所述的利用平滑滤波器中的合并像素值产生一个平滑像素的操作进一步包括选取一个主导边缘检测量所对应的主导边缘；和选取一个次主导边缘检测量所对应的次主导边缘。选取一个第一主导边缘端点像素和一个第二主导边缘端点像素；和选取一个第一次主导边缘端点像素和一个第二次主导边缘端点像素。
11.如权利要求10所述的方法，其特征在于所述的利用平滑滤波器中的合并像素值产生一个平滑像素的操作进一步包括利用第一主导边缘端点像素，平滑滤波器的中心合并像素和第二主导边缘端点像素产生一个主导边缘特征；和利用第一次主导边缘端点像素，平滑滤波器的中心合并像素和第二次主导边缘端点像素产生一个次主导边缘特征。
12.如权利要求11所述的方法，其特征在于所述的利用平滑滤波器中的合并像素值产生一个平滑像素的操作进一步包括当主导边缘检测量与次主导边缘检测量之间的差的绝对值大于一个边缘主导阈值时，选取第一主导边缘端点像素作为一个第一边缘端点像素，和选取第二主导边缘端点像素作为一个第二边缘端点像素。
13.如权利要求12所述的方法，其特征在于所述的利用平滑滤波器中的合并像素值产生一个平滑像素的操作进一步包括当主导边缘检测量与次主导边缘检测量之间的差的绝对值小于或等于边缘主导阈值，并且主导边缘特征大于或等于次主导边缘特征时，选取第一主导边缘端点像素作为一个第一边缘端点像素，和选取第二主导边缘端点像素作为一个第二边缘端点像素。
14.如权利要求13所述的方法，其特征在于所述的利用平滑滤波器中的合并像素值产生一个平滑像素的操作进一步包括当主导边缘检测量与次主导边缘检测量之间的差的绝对值小于或等于边缘主导阈值，并且主导边缘特征小于次主导边缘特征时，选取第一次主导边缘端点像素作为一个第一边缘端点像素，和选取第二次主导边缘端点像素作为一个第二边缘端点像素。
15.如权利要求12所述的方法，其特征在于所述的平滑像素等于第一边缘端点像素，第二边缘端点像素和平滑滤波器的中心合并像素的归一化的线性组合。
16.如权利要求15所述的方法，其特征在于其进一步包括产生一个输出像素，其中，当平滑滤波器的中心合并像素与第一边缘端点像素之间的差的绝对值大于一个最小边缘阈值时，输出像素等于平滑像素；当平滑滤波器的中心合并像素与第二边缘端点像素之间的差的绝对值大于最小边缘阈值时，输出像素等于平滑像素；当平滑滤波器的中心合并像素与第一边缘端点像素之间的差的绝对值小于或等于最小边缘阈值，并且平滑滤波器的中心合并像素与第二边缘端点像素之间的差的绝对值小于或等于最小边缘阈值时，输出像素等于当前像素。
17.如权利要求1所述的方法，其特征在于其进一步包括产生一个输出像素。
18.如权利要求17所述的方法，其特征在于其进一步包括判断当前像素是否是一个静止像素；其中在当前像素是一个静止像素时，输出像素等于当前像素，而在当前像素不是一个静止像素时，输出像素等于平滑像素。
19.如权利要求17所述的方法，其特征在于其进一步包括检测当前像素附近的精细结构。
20.如权利要求19所述的方法，其特征在于在当前像素附近检测到精细结构时输出像素等于当前像素，而在当前像素附近未检测到精细结构时输出像素等于平滑像素。
21.如权利要求19所述的方法，其特征在于所述的检测当前像素附近的精细结构的操作进一步包括产生一个精细结构检验和；及将所产生的精细结构检验和与一系列预先定义的检验和数值进行比较，其中预先定义的检验和中的每一个数值对应于一系列预先定义的像素模式中的一个像素模式。
22.如权利要求21所述的方法，其特征在于所述的产生一个精细结构检验和的操作包括通过将平滑像素与围绕当前像素的一系列精细结构像素进行比较产生一系列精细结构检验和位元，其中精细结构检验和由精细结构检验和位元组成。
23.如权利要求21所述的方法，其特征在于所述的将所产生的精细结构检验和与一系列预先定义的检验和数值进行比较的操作进一步包括以所产生的精细结构检验和作为一个查找表的索引。
24.如权利要求19所述的方法，其特征在于当平滑像素大于与当前像素对角相邻的像素的最大值，及当平滑像素小于与当前像素对角相邻的像素的最小值时，即为检测到了精细结构。
25.如权利要求19所述的方法，其特征在于当平滑像素大于与当前像素直接相邻的像素的最大值，及当平滑像素小于与当前像素直接相邻的像素的最小值时，即为检测到了精细结构。
26.如权利要求1所述的方法，其特征在于所述的产生一个由一系列合并像素组成的平滑滤波器的操作进一步包括每一个合并像素由一组像素的归一化产生，其中每组像素的多少等于合并大小。
27.如权利要求1所述的方法，其特征在于所述的产生一个由一系列合并像素组成的平滑滤波器的操作进一步包括通过对当前行中包含当前像素的一个第一合并范围内的像素进行归一化产生平滑滤波器的一个中心合并像素，其中第一合并范围内的像素以当前像素为中心；通过对当前行中的一个第二合并范围内的像素进行归一化产生平滑滤波器的一个右中心合并像素，其中第二合并范围处于第一合并范围的右侧并与之相邻；及通过对当前行中的一个第三合并范围内的像素进行归一化产生平滑滤波器的一个左中心合并像素，其中第三合并范围处于第一合并范围的左侧并与之相邻。
28.如权利要求27所述的方法，其特征在于所述的第一合并范围包括一个第一像素的一个第一部分和一个第二像素的一个第一部分，第二合并范围包括第一像素的一个第二部分，及第三合并范围包括第二像素的一个第二部分。
29.如权利要求27所述的方法，其特征在于所述的产生一个由一系列合并像素组成的平滑滤波器的操作进一步包括通过对当前行中的一个第四合并范围内的像素进行归一化产生平滑滤波器的一个第二右中心合并像素，其中第四合并范围处于第二合并范围的右侧并与之相邻。
30.如权利要求27所述的方法，其特征在于所述的产生一个由一系列合并像素组成的平滑滤波器的操作进一步包括通过对视频图像帧中的前行中的一个第四合并范围内的像素进行归一化产生平滑滤波器的一个上中心合并像素，其中第四合并范围内的像素在前行中的位置与第一合并范围内的像素在当前行中的位置相同。
31.如权利要求30所述的方法，其特征在于所述的产生一个由一系列合并像素组成的平滑滤波器的操作进一步包括通过对视频图像帧中的前行中的一个第五合并范围内的像素进行归一化产生平滑滤波器的一个右上合并像素，其中第五合并范围处于第四合并范围的右侧并与之相邻；及通过对视频图像帧中的前行中的一个第六合并范围内的像素进行归一化产生平滑滤波器的一个左上合并像素，其中第六合并范围处于第四合并范围的左侧并与之相邻。
32.如权利要求31所述的方法，其特征在于所述的产生一个由一系列合并像素组成的平滑滤波器的操作进一步包括通过对视频图像帧中的后行中的一个第七合并范围内的像素进行归一化产生平滑滤波器的一个下中心合并像素，其中第七合并范围内的像素在后行中的位置与第一合并范围内的像素在当前行中的位置相同；通过对视频图像帧中的后行中的一个第八合并范围内的像素进行归一化产生平滑滤波器的一个右下合并像素，其中第八合并范围处于第七合并范围的右侧并与之相邻；及通过对视频图像帧中的后行中的一个第九合并范围内的像素进行归一化产生平滑滤波器的一个左下合并像素，其中第九合并范围处于第七合并范围的左侧并与之相邻。
33.一种对视频图像帧中的一个当前像素处的图像边缘进行平滑的系统，该系统包括产生一个由一系列合并像素组成的平滑滤波器的方法与途径；利用平滑滤波器中的合并像素产生一个平滑像素的方法与途径。
34.如权利要求33所述的系统，其特征在于所述的利用平滑滤波器中的合并像素产生一个平滑像素的方法与途径进一步包括在平滑滤波器中选取一个边缘方向的方法与途径。
35.如权利要求34所述的系统，其特征在于所述的利用平滑滤波器中的合并像素产生一个平滑像素的方法与途径进一步包括产生一个第一边缘端点像素的方法与途径；产生一个第二边缘端点像素的方法与途径；利用第一边缘端点像素，第二边缘端点像素和平滑滤波器的一个中心合并像素的归一化的线性组合产生平滑像素的方法与途径。
36.如权利要求35所述的系统，其特征在于所述的平滑像素值等于第一边缘端点像素，第二边缘端点像素和平滑滤波器的中心合并像素的归一化的线性组合。
37.如权利要求34所述的系统，其特征在于其进一步包括产生一个输出像素的方法与途径，其中，当平滑滤波器的中心合并像素与第一边缘端点像素之间的差的绝对值大于一个最小边缘阈值时，输出像素等于平滑像素；当平滑滤波器的中心合并像素与第二边缘端点像素之间的差的绝对值大于最小边缘阈值时，输出像素等于平滑像素；当平滑滤波器的中心合并像素与第一边缘端点像素之间的差的绝对值小于或等于最小边缘阈值，并且平滑滤波器的中心合并像素与第二边缘端点像素之间的差的绝对值小于或等于最小边缘阈值时，输出像素等于当前像素。
38.如权利要求33所述的系统，其特征在于所述的利用平滑滤波器中的合并像素产生一个平滑像素的方法与途径进一步包括选取一个主导边缘检测量所对应的主导边缘的方法与途径；和选取一个次主导边缘检测量所对应的次主导边缘的方法与途径。选取一个第一主导边缘端点像素和一个第二主导边缘端点像素的方法与途径；和选取一个第一次主导边缘端点像素和一个第二次主导边缘端点像素的方法与途径。
39.如权利要求38所述的系统，其特征在于所述的利用平滑滤波器中的合并像素产生一个平滑像素的方法与途径进一步包括利用第一主导边缘端点像素，平滑滤波器的中心合并像素和第二主导边缘端点像素产生一个主导边缘特征的方法与途径；和利用第一次主导边缘端点像素，平滑滤波器的中心合并像素和第二次主导边缘端点像素产生一个次主导边缘特征的方法与途径。
40.如权利要求39所述的系统，其特征在于所述的利用平滑滤波器中的合并像素产生一个平滑像素的方法与途径进一步包括当主导边缘检测量与次主导边缘检测量之间的差的绝对值大于一个边缘主导阈值时，选取第一主导边缘端点像素作为一个第一边缘端点像素，和选取第二主导边缘端点像素作为一个第二边缘端点像素的方法与途径。
41.如权利要求40所述的系统，其特征在于所述的利用平滑滤波器中的合并像素产生一个平滑像素的方法与途径进一步包括当主导边缘检测量与次主导边缘检测量之间的差的绝对值小于或等于边缘主导阈值，并且主导边缘特征大于或等于次主导边缘特征时，选取第一主导边缘端点像素作为一个第一边缘端点像素，和选取第二主导边缘端点像素作为一个第二边缘端点像素的方法与途径。
42.如权利要求41所述的系统，其特征在于所述的利用平滑滤波器中的合并像素产生一个平滑像素的方法与途径进一步包括当主导边缘检测量与次主导边缘检测量之间的差的绝对值小于或等于边缘主导阈值，并且主导边缘特征小于次主导边缘特征时，选取第一次主导边缘端点像素作为一个第一边缘端点像素，和选取第二次主导边缘端点像素作为一个第二边缘端点像素的方法与途径。
43.如权利要求33所述的系统，其特征在于其进一步包括产生一个输出像素的方法与途径。
44.如权利要求43所述的系统，其特征在于其进一步包括判断当前像素是否是一个静止像素的方法与途径；其中在当前像素是一个静止像素时，输出像素等于当前像素，而在当前像素不是一个静止像素时，输出像素等于平滑像素。
45.如权利要求43所述的系统，其特征在于其进一步包括检测当前像素附近的精细结构的方法与途径。
46.如权利要求45所述的系统，其特征在于在当前像素附近检测到精细结构时输出像素等于当前像素，而在当前像素附近未检测到精细结构时输出像素等于平滑像素。
47.如权利要求45所述的系统，其特征在于所述的检测当前像素附近的精细结构的方法与途径进一步包括产生一个精细结构检验和的方法与途径；及将所产生的精细结构检验和与一系列预先定义的检验和数值进行比较的方法与途径，其中预先定义的检验和中的每一个数值对应于一系列预先定义的像素模式中的一个像素模式。
48.如权利要求47所述的系统，其特征在于所述的产生一个精细结构检验和的方法与途径包括通过将平滑像素与围绕当前像素的一系列精细结构像素进行比较产生一系列精细结构检验和位元，其中精细结构检验和由精细结构检验和位元组成的方法与途径。
49.如权利要求47所述的系统，其特征在于所述的将所产生的精细结构检验和与一系列预先定义的检验和数值进行比较的方法与途径进一步包括以所产生的精细结构检验和作为一个查找表的索引的方法与途径。
50.如权利要求33所述的系统，其特征在于所述的产生一个由一系列合并像素组成的平滑滤波器的方法与途径进一步包括每一个合并像素由一组像素的归一化产生的方法与途径，其中每组像素的多少等于合并大小。
51.如权利要求33所述的系统，其特征在于所述的产生一个由一系列合并像素组成的平滑滤波器的方法与途径进一步包括通过对当前行中包含当前像素的一个第一合并范围内的像素进行归一化产生平滑滤波器的一个中心合并像素的方法与途径，其中第一合并范围内的像素以当前像素为中心；通过对当前行中的一个第二合并范围内的像素进行归一化产生平滑滤波器的一个右中心合并像素的方法与途径，其中第二合并范围处于第一合并范围的右侧并与之相邻；及通过对当前行中的一个第三合并范围内的像素进行归一化产生平滑滤波器的一个左中心合并像素的方法与途径，其中第三合并范围处于第一合并范围的左侧并与之相邻。
52.如权利要求51所述的系统，其特征在于所述的第一合并范围包括一个第一像素的一个第一部分和一个第二像素的一个第一部分，第二合并范围包括第一像素的一个第二部分，及第三合并范围包括第二像素的一个第二部分。
53.如权利要求51所述的系统，其特征在于所述的产生一个由一系列合并像素组成的平滑滤波器的方法与途径进一步包括通过对当前行中的一个第四合并范围内的像素进行归一化产生平滑滤波器的一个第二右中心合并像素的方法与途径，其中第四合并范围处于第二合并范围的右侧并与之相邻。
54.如权利要求51所述的系统，其特征在于所述的产生一个由一系列合并像素组成的平滑滤波器的方法与途径进一步包括通过对视频图像帧中的前行中的一个第四合并范围内的像素进行归一化产生平滑滤波器的一个上中心合并像素的方法与途径，其中第四合并范围内的像素在前行中的位置与第一合并范围内的像素在当前行中的位置相同。
55.如权利要求54所述的系统，其特征在于所述的产生一个由一系列合并像素组成的平滑滤波器的方法与途径进一步包括通过对视频图像帧中的前行中的一个第五合并范围内的像素进行归一化产生平滑滤波器的一个右上合并像素的方法与途径，其中第五合并范围处于第四合并范围的右侧并与之相邻；及通过对视频图像帧中的前行中的一个第六合并范围内的像素进行归一化产生平滑滤波器的一个左上合并像素的方法与途径，其中第六合并范围处于第四合并范围的左侧并与之相邻。
56.如权利要求55所述的系统，其特征在于所述的产生一个由一系列合并像素组成的平滑滤波器的方法与途径进一步包括通过对视频图像帧中的后行中的一个第七合并范围内的像素进行归一化产生平滑滤波器的一个下中心合并像素的方法与途径，其中第七合并范围内的像素在后行中的位置与第一合并范围内的像素在当前行中的位置相同；通过对视频图像帧中的后行中的一个第八合并范围内的像素进行归一化产生平滑滤波器的一个右下合并像素的方法与途径，其中第八合并范围处于第七合并范围的右侧并与之相邻；及通过对视频图像帧中的后行中的一个第九合并范围内的像素进行归一化产生平滑滤波器的一个左下合并像素的方法与途径，其中第九合并范围处于第七合并范围的左侧并与之相邻
57.一个用以产生一个平滑像素以代替一个当前视频图像帧中的一个当前像素的图像平滑单元，该图像平滑单元包括一个用以在当前视频图像帧中进行像素合并的像素合并单元；和一个与像素合并单元相联的平滑像素计算单元，该平滑像素计算单元利用像素合并单元提供的数据产生平滑像素。
58.如权利要求57所述的图像平滑单元，其特征在于所述的像素合并单元被用以产生一个由一系列合并像素组成的平滑滤波器。
59.如权利要求58所述的图像平滑单元，其特征在于其进一步包括一个与像素合并单元相联的边缘检测单元，该边缘检测单元在一个由像素合并单元所定义的平滑滤波器中选取一个主导边缘的主导边缘信息，和一个次主导边缘的次主导边缘信息。
60.如权利要求59所述的图像平滑单元，其特征在于所述的主导边缘信息包含一个主导边缘检测量，而次主导边缘信息包含一个次主导边缘检测量，其中主导边缘检测量大于或等于次主导边缘检测量。
61.如权利要求59所述的图像平滑单元，其特征在于其进一步包括一个与边缘检测单元相联的边缘阈值检测单元，该边缘阈值检测单元为平滑像素计算单元提供一个第一边缘端点像素和一个第二边缘端点像素。
62.如权利要求61所述的图像平滑单元，其特征在于所述的平滑像素计算单元利用第一边缘端点像素，第二边缘端点像素和平滑滤波器的中心合并像素计算产生平滑像素。
63.如权利要求57所述的图像平滑单元，其特征在于其进一步包括一个输出像素选择单元，该输出像素选择单元从平滑像素计算单元接收所产生的平滑像素。
64.如权利要求63所述的图像平滑单元，其特征在于其进一步包括一个与输出像素选择单元相联的静止像素检测单元。
65.如权利要求64所述的图像平滑单元，其特征在于所述的输出像素选择单元在静止像素检测单元检测到当前像素是一个运动像素时，选择平滑像素作为输出像素。
66.如权利要求63所述的图像平滑单元，其特征在于其进一步包括一个与输出像素选择单元相联的精细结构检测单元。
67.如权利要求66所述的图像平滑单元，其特征在于所述的输出像素选择单元在精细结构检测单元检测到当前像素附近存在精细结构时，选择当前像素作为输出像素。
全文摘要
本发明提供了一种对视频图像帧进行平滑以消除边缘锯齿的方法和系统。该方法和系统利用合并像素产生一个平滑滤波器。通过对平滑滤波器中存在的边缘的分析选择进行平滑操作的边缘方向。平滑像素是基于一个第一边缘端点像素，一个第二边缘端点像素，和平滑滤波器的中心合并像素的归一化的线性组合来产生的。对精细结构的检测可以用来确定是否应当用所产生的平滑像素代替当前像素。
文档编号H04N5/21GK1658667SQ20041001639
公开日2005年8月24日 申请日期2004年2月18日 优先权日2004年2月18日
发明者朱舸 申请人:华亚微电子(上海)有限公司