专利名称：改进的斜线增强的上变换的制作方法
技术领域：
本发明涉及上变换隔行视频为逐行(非隔行)视频的领域。本发明尤其涉及去隔行算法领域。
背景技术：
两个对角线平均和一个垂直平均之间选择的基础理念可能已经由很多其他人在以前使用，并在九十年代早期由Sarnoff研究实验室(Sarnoff)在Thomson(这里的受让人)资助的研究课题中进行探究。
对亮度像素的一场去隔行以建立像素行的简单方法是直接向上并向下平均像素值以建立每个输出像素，空间上像素行在场中存在的行之间。该方法在诸如不水平的台阶或在旗子在风中飘动并且角度改变时旗子上的条纹的边缘的场中的斜线细节上产生锯齿状边缘。
增强斜线细节的较好方法在三个像素平均之间选择先前描述的垂直平均以及左和右对角线平均。左对角线平均通过平均被插入位置的左上方的像素值和右下方的像素值进行计算。同样，右对角线是插入位置的右上方和左下方像素的平均。
在两个对角线平均和垂直平均之间的选择的基础理念在九十年代早期由Sarnoff研究实验室(Sarnoff)在Thomson(这里的受让人)资助的研究课题中进行探究。由Sarnoff评估的三种选择之间的最简单的算法选择在他们的报告中表示为DIAG1算法。Sarnoff研究并模拟以试图解决噪声判决问题的其他算法表示为DIAG3、DIAG3W、DIAG3WW。DIAG3使用比DIAG1更复杂的判决算法。DIAG3W向DIAG3算法中加入噪声抑制。
用于在两个对角线平均和一个垂直平均之间选择的DIAG1算法用与平均值相同的像素值计算并比较三个差。对每个平均，对应的差被计算并且那些差的绝对值进行比较以找到最小值。对应于最小差值的像素平均选为内插值。
所提到的Sarnoff工作在两个报告中提供1990年12月31日的对于数字特征电视的空间自适应去隔行技术(Spatially-Adaptive De-InterlacingTechniques for Digital Feature TV)和1991年3月31日的数字特征电视投影最终报告(Digital Feature TV Project Final Report)。
尽管通过多个选择使用考虑空间内插估计，现存算法不能增强较低角度的斜线的图像质量。对于对较低角度斜线有效的改进算法存在长久的需求。
发明内容
一种更精确的空间估计能够通过评估附近的斜线获得。向两个对角线平均和一个垂直平均之间选择的判决处理中加入噪声抑制有益地改进了存在斜线细节的区域的图像质量。一个抑制能够有益地加入，使得在不明确的情况下算法优先选择垂直平均。
该方案在同时提出的对应申请中说明并表示为DIAG1T算法。一对抑制有益地施加到DIAG1平均选择算法。首先，如果最小差不唯一，选择垂直平均，其次，如果选择的平均不位于插入位置以上和以下的像素之间的值的范围内，则选择垂直平均，产生的对角线相邻像素以显示图像中的角度排成行，该图像对应于或取决于采样率。例如，对于一个具有4×3宽高比的720×480图像，校正后的对角线对应于与水平方向有大约41度的角。DIAG1T算法只能够改善比该角度更陡的图像中的斜线特征。然而，DIAG1T以实现相当简单并能够以相当低成本实现的方式提供图像质量的很大改进。
本申请涉及比DIAG1T更复杂的一种方法，它改善比DIAG1T小很多的角度的斜线增强。第二左和第二右对角线平均也被包括作为在多选择处理中的一个选项，在这种情况下产生五种方式选择处理，表示为DIAG5T算法。第二左对角线平均能够是在插入位置的左和上方的两个像素值和插入像素位置的右和下方的两个像素的像素值之间的平均。第二右对角线平均能够是插入像素位置的右和上方的两个像素和插入像素位置左和下方的两个像素的像素值的平均。
DIAG5T算法在以下五种选择中作出选择。首先，算法通过比较相关差值在第一左对角线和第二左对角线之间选择。如果差值相等，具有最小差值的对角线最好用优选的第一对角线选择。第二，和第一步骤类似，以类似的方式算法在第一右对角线和第二右对角线之间进行选择。第三，使用与DIAG1T算法相同的逻辑，通过选择的对角线平均值和差值取代DIAG1T中引用的对角线平均值和差值，对于内插值的算法选择从选择的左对角线、垂直平均和选择的右对角线三个选择中进行选择。
例如，在具有4×3宽高比的720×480图像中，校正后的对角线对应于与水平方向大约24度的角度，这在DIAG1T能够影响的角度范围上有所改善。具有大于该角(24度)的图像中的斜线细节能够用DIAG5T算法有益地改善。
图1是DIAG1T斜线增强上变换系统的框图。
图2是用于解释原始和内插像素的空间方向的图。
图3是说明图1中的平均值和差值(AVG-DIF)块的细节的框图。
图4是说明图1所示的DIAG1T电路中信号流向的框图。
图5是图4所示的DIAG1判决逻辑的框图。
图6是说明图4中的DIAG1T抑制逻辑的框图。
图7是按照本发明的DIAG5T斜线增强上变换系统的第一部分的框图。
图8是按照本发明的DIAG5T垂直增强上变换系统的第二部分的框图。
具体实施例方式
DIAG5T去隔行算法能够只用作空间(内部场)算法或用作活动自适应去隔行算法中的空间估计。DIAG5T合并了DIAG1和DIAG1T算法的特定元素，因此这些将首先说明。
按照以下方式两个连续的输入视频行上亮度像素值标注为Xij并且插入的逐行输出行像素标记为Yij，且如图2所示输入行1X11 X12 X13 X14 X15输出行Y11 Y12 Y13 Y14 Y15输入行2X21 X22 X23 X24 X25一个取样行平均空间估计将是Y1j＝(X1j+X2j)/2以下给出的DIAG1T的说明将关注对输出位置Y13空间估计的计算。对于其他输出像素，说明中的像素索引将相应地进行调整。当需要的输入像素不可得时，算法的实施能够选择以在行的开始和结束时修改这里描述的处理。
对于Y13，DISG1T算法如下计算3个像素平均和3个像素差，并如图1所示y1L＝(X12+X24)/2； d1L＝abs(X12-X24)；y1V＝(X13+X23)/2； d1V＝abs(X13-X23)；y1R＝(X14+X22)/2； d1R＝abs(X14-X22)；这些平均值和差值对应于左对角线、垂直和右对角线估计。示例的用于提供所有这些平均值和差值的电路10的框图在图1中示出，它包括多个以触发器和其他适当器件形式的延迟电路12，14，16，18和20。例如延迟电路16可以是行延迟。电路进一步包括最小化电路22、最大化电路24以及AVG-DIF块26，28和30。诸如图1中的AVG-DIF块26的示例的AVG-DIF块的细节如图3所示。在设备或块的平均部分中的AVG-DIF块26最好包括用于将像素值相加的加法器34和除以2电路38。在不同的部分，块26还包括一个减法器26和一个绝对值函数39。
按照如下方式，基础的DIAG1算法选择对应于最小差值的估计，如图5所示Y＝y1V；d＝d1V；if(d1L＜d) {y＝y1L；d＝d1L；}if(d1R＜d)y＝y1R；Y13＝y；更特别的是，基础DIAG1判决逻辑42能够用图5所示耦合的比较器52和58以及复用器54、56和59来提供上述DIAG1算法的功能，尽管本发明不限于此。注意DIAG1算法或DIAG1判决逻辑42形成图1和4所示的整体DIAG1T判决逻辑32的一部分。
图4和6所示的噪声抑制或DIAG1T限制逻辑44进一步强调给定输出像素(Y13)的值落入确定给定输出像素的垂直平均的顶像素和底像素的值的范围内，图4和6所示的噪声抑制或DIAG1T限制逻辑44用于清除DIAG1中的判决噪声并在这一点上将DIAG1T与DIAG1区分开。就等式而言，这表示为X13≤Y13≤X23或者X13≥Y13≥X23如果不满足该限制，则输出Y13＝y1V。
区分DIAG1T的一个附加的限制是左对角线差值等于或基本上等于右对角线差值。换句话说，左对角线差值和右对角线差值需要是唯一的。就等式而言为ifd1L＝d1R，then output Y13＝y1V。
这些进一步的限制在图4和6中进行说明。特别是，图6所示的DIAG1T限制逻辑44能够通过如图所示排列和耦合的比较器60，62和64、或门电路66和复用器68实现，从而提供上述功能。
DIAG5T算法使用很多DIAG1T算法的电路和方法。假定视频信号是分量形式并且只有亮度分量用DIAG5T算法处理。简单的行平均对于去隔行两个较低清晰度的色度分量是满意的。
对于Y13，如下所示DIAG5T算法计算5个像素平均和5个像素差，并如图7所示(DIAG5T的部分1)y1L2＝(X11+X25)/2； d1L2＝abs(X11-X25)；y1L1＝(X12+X24)/2； d1L1＝abs(X1 2-X24)；y1V＝(X13+X23)/2； d1V＝abs(X13-X23)；y1R1＝(X14+X22)/2； d1R1＝abs(X14-X22)；y1R2＝(X15+X21)/2； d1R2＝abs(X15-X21)；这些平均值和差值对应于第二和第一左对角线、垂直以及第一和第二右对角线估计。一个用于提供所有这些平均值和差值的电路70的示例框图在图7中示出，图7包括触发器和其他适当器件的形式的多个延迟电路71、72、73、74、75、76、77、78和79。例如，延迟电路75能够是一个行延迟。电路还包括最小化电路86、最大化电路88以及AVG-DIF块80、81、82、83和84。用在电路70中的示例的AVG-DIF块的细节将与图1和3所示的AVG-DIF块26类似。
首先，按照以下方式DIAG5T算法选择一个左对角线和一个右对角线，并且如图8所示。
左对角线选择是if(d1L2＜d1L) {y1L＝y1L2；d1L＝d1L2；}else y1L＝y1L1； d1L＝d1L1右对角线选择是if(d1R2＜d1R) {y1R＝y1R2；d1R＝d1R2；}
else y1R＝y1R1；d1R＝d1R1特别是，图8所示的DIAG5T对角线选择逻辑90能够用比较器94和97、输送它们各个输出到图4所示的DIAG1T判决逻辑32的复用器93、95、96和98，并进而如图所示排列和连接，从而提供上述功能。注意电路91包括用于处理左和第二左对角线平均值和差值的比较器94和复用器93和95，并且电路92包括用于处理右和第二右对角线平均值和差值的比较器97和复用器96和98。
接着，DIAG5T算法使用产生的3个平均值和差值(y1L，y1V，y1R，d1L，d1V，d1R)，使用与DIAG1T算法相同的处理，首先按照以下方式选择平均Y＝y1V；d＝d1V；if(d1L＜d) {y＝y1L；d＝d1L；}if(d1R＜d)y＝y1R；Y13＝y；接着，检查以下与DIAG1T算法相同的限制，DIAG5T强调X13＜Y13＜X23或者X13＞Y13＞X23如果不满足该限制，则输出Y13设为y1V。一个附加的强制限制是如果d1L和d1R相等，则输出Y13设为y1V。
图8说明了DIAG5T算法的第二部分，从图7的部分1中接收输入信号。一个用于处理两个左对角线的逻辑块从y1L1、y1L2、d1L1和d1L2产生y1L和d1L。一个用于处理两个右对角线的逻辑块从y1R1，y1R2，d1R1和d1R2产生y1R和d1R。这些逻辑块的输出和图7的VMIN、y1V、d1V和VMAX输出被输入到对应于DIAG1T算法的判决逻辑，以产生内插的输出像素y。DIAG5T算法包括一个选择步骤，即如果平均中的差值不确定，就限制结果(y)为垂直平均。注意在DIAG5T算法中，两个左对角线平均能够相等或“不确定”(y1L1＝y1L2)，并且两个右对角线平均能够相等或“不确定”(y1R1＝y1R2)，然而它是DIAG5T算法的最终的DIAG1T限制，而如果选择的左对角线和选择的右对角线不确定或相等或不唯一(y1L＝y1R)，它就限制内插值为垂直平均。因而，如上所示，在原始的5个平均中，最小值可不必是唯一的。Thmoson’s Princeton Engine实时数字视频模拟器被编程来演示DIAG5T算法。在静止或活动视频演示中，具有斜线细节的区域被明显改善。一种这样的可观察到的场景有在风中飘动的美国国旗。在旗子上的条纹随着旗子在风中的运动中从水平改变到各种倾斜角。在一些倾斜角上锯齿状边缘的改善很明显。DIAG5T算法与例如DIAG1T算法相比能够改善具有离水平方向很小角度的旗子的条纹之间的边缘。DIAG5T在DIAG1T上的改善大约比DIAG1T在简单的垂直平均上的改善大50％。
当DIAG5T算法用作运动自适应算法的空间估计时，很大程度上改善了图像的活动区域。图像的固定区域已经比视频的相邻场具有较细致的细节。而且，在具有4×3宽高比的720×480图像中，DIAG5T算法对对应于相对与水平大约24度那么小的角度和更陡的斜线提供增强。
根据本发明以上的说明，应当意识到本发明能够用硬件、软件或硬件和软件的组合来实现。当根据本发明的上变换隔行视频为逐行视频时内插给定输出像素值的方法能够以集中的方式在一个处理系统中实现，或者以不同的元件分散在几个相互连接的系统中的分离方式实现。任何种类的计算机系统或适于执行上述方法的其他装置都适用。硬件和软件的典型组合能够是具有计算机程序的通用计算机处理器或数字信号处理器，当该计算机程序被装载并执行时，控制计算机系统执行这里所述的方法。
本发明也能够嵌入计算机程序产品，计算机程序产品包括使这里描述的方法执行的所有特征，并且当装入计算机系统时能够执行这些方法。本上下文中的计算机程序或应用程序表示任意表达方式，用任意语言、一组指令的代码或符号，该指令意图使具有信息处理功能的系统直接或进行以下任一个或全部步骤后执行特定功能，a)转换为另一种语言、代码或符号；b)以不同的材料形式再现。
另外，除了在随后的权利要求中提出的方式外，以上描述仅仅意图通过示例的形式并不意图以任何方式限制本发明。
权利要求
1.一种用于上变换隔行的视频为逐行以改进斜线增强的视频的方法，包括步骤从给定输出像素附近的不同像素确定(用70)多个平均值和差值，包括垂直平均(y1V)、第一左对角线平均(y1L1)、第二左对角线平均(y1L2)、第二右对角线平均(y1R2)、垂直差(d1V)、第一左对角线差(d1L1)、第二左对角线差(d1L2)、第一右对角线差(d1R1)和第二右对角线差(d1R2)；根据差值(d1V，d1L1，d1L2，d1R1，d1R2)中的最小差的绝对值在平均值(y1V，y1L1，y1L2，y1R1，y1R2)中进行选择(用90)；和如果平均值中的差值不确定，限制(用44)选择步骤为垂直平均(y1V)。
2.按照权利要求1的方法，其中在平均值中选择的步骤包括根据差值中的最小差，在第一左对角线平均和第二左对角线平均中选择(用91)以提供一个选择的左对角线平均(y1L)，和在第一右对角线平均和第二右对角线平均之间选择(用92)以提供选择的右对角线平均(y1R)的步骤。
3.按照权利要求2的方法，其中选择步骤进一步包括根据各个差中的最小差，在选择的左对角线平均(y1L)、选择的右对角线平均(y1R)和垂直平均(y1V)之中进行选择的步骤。
4.按照权利要求2的方法，其中选择步骤进一步包括当第一左对角线平均和第二左对角线平均相等时选择第一左对角线平均，并且当第一右对角线平均和第二右对角线平均相等时选择第一右对角线平均的步骤。
5.按照权利要求1的方法，其中垂直平均通过将给定输出像素上面的垂直相邻像素的亮度分量值和给定输出像素下面的垂直相邻像素的亮度分量值相加以形成一个和，再将和除以二获得。
6.按照权利要求1的方法，其中左对角线平均通过将给定输出像素的左上方的对角线相邻像素的亮度分量值和给定输出像素的右下方对角线相邻像素的亮度分量值相加以形成一个和，再将和除以二获得，其中右对角线平均通过将给定输出像素的右上方对角线相邻像素的亮度分量值和给定输出像素的左下方对角线相邻像素的亮度分量值相加以形成一个和，再将和除以二获得。
7.按照权利要求1的方法，其中第二左对角线平均通过将给定输出像素左方和上方的两个像素的像素值和给定输出像素右方和下方的两个像素的像素值平均获得。
8.按照权利要求1的方法，其中第二右对角线平均通过将给定输出像素右方和上方的两个像素的像素值和给定输出像素左方和下方的两个像素的像素值平均获得。
9.按照权利要求1的方法，其中限制步骤包括如果给定输出像素的值不在由给定输出像素上方的相邻像素和给定输出像素的下方相邻像素确定的值的范围内，限制选择步骤为垂直平均。
10.按照权利要求2的方法，其中限制步骤包括如果选择的左对角线平均的对应的差基本上等于选择的右对角线平均的对应的差，则限制选择步骤为垂直平均。
11.按照权利要求1的方法，其中垂直平均是基于与给定输出像素垂直相邻的像素的；第一左对角线平均是基于左上和右下对角线相邻像素的；第一右对角线平均是基于右上和左下对角线相邻像素的；第二左对角线平均是基于给定输出像素的左和上方的两个像素和给定输出像素的右和下方的两个像素的；和第二右对角线平均是基于给定输出像素的右和上方的两个像素和给定输出像素的左和下方的两个像素的。
12.按照权利要求11的方法，其中选择步骤包括步骤根据最小差，在第一左对角线平均和第二左对角线平均之间选择(用91)以提供一个选择的左对角线平均(y1L)；和在第一右对角线平均和第二右对角线平均之间选择(用92)以提供一个选择的右对角线平均(y1R)。
13.按照权利要求12的方法，其中选择步骤进一步包括根据各个差中的最小差，在选择的左对角线平均(y1L)、选择的右对角线平均(y1R)和垂直平均(y1V)中进行选择的步骤。
14.按照权利要求12的方法，其中选择步骤进一步包括步骤当左对角线平均和第二左对角线平均相等时选择左对角线平均；和当右对角线平均和第二右对角线平均相等时选择右对角线平均。
15.一种用于上变换隔行视频为逐行视频的去隔行电路，包括用于从给定输出像素附近的不同像素确定多个平均值和差值的装置(70)，包括垂直平均(y1V)、第一左对角线平均(y1L1)、第二左对角线平均(y1L2)、第一右对角线平均(y1R1)、第二右对角线平均(y1R2)、垂直差(d1V)、第一左对角线差(d1L1)、第二左对角线差(d1L2)、第一右对角线差(d1R1)和第二右对角线差(d1R2)；用于根据差值(d1V，d1L1，d1L2，d1R1，d1R2)中的最小差的绝对值在平均值(y1V，y1L1，y1L2，y1R1，y1R2)中进行选择的装置(90)；和用于如果平均值中的差值不确定，限制选择步骤为垂直平均(y1V)的装置(44)。
16.按照权利要求15的去隔行电路，其中当给定输出像素的值不在由给定输出像素上方的相邻像素和给定输出像素的下方相邻像素确定的值的范围内；或者各个差中的最小差不唯一时，最小差不确定。
17.按照权利要求15的去隔行电路，其中垂直平均从与给定输出像素垂直相邻的像素确定；第一左对角线平均从左上和右下对角线相邻像素确定；第一右对角线平均从右上和左下对角线相邻像素确定；第二左对角线平均从给定输出像素的左和上方的两个像素和给定输出像素的右和下方的两个像素确定；和第二右对角线平均从给定输出像素的右和上方的两个像素和给定输出像素的左和下方的两个像素确定。
18.按照权利要求15的去隔行电路，其中选择装置(90)包括根据最小差，左对角线选择装置(91)，用于在第一左对角线平均和第二左对角线平均之间选择以提供一个选择的左对角线平均(y1L)；和右对角线选择装置(92)，用于在第一右对角线平均和第二右对角线平均之间选择以提供一个选择的右对角线平均(y1R)。
19.按照权利要求18的去隔行电路，其中选择装置(90)包括输出选择装置(32)，用于根据各个差中的最小差，在选择的左对角线平均(y1L)、选择的右对角线平均(y1R)和垂直平均(y1V)中进行选择。
20.按照权利要求18的去隔行电路，其中当左对角线平均和第二左对角线平均相等时，第一左对角线选择装置(91)选择左对角线平均；和当右对角线平均和第二右对角线平均相等时，第一右对角线选择装置(92)选择右对角线平均。
全文摘要
从逐行到隔行的上变换视频具有改进的斜线增强。从给定输出像素附近的不同像素确定(用70)多个平均值和差值，包括垂直平均(y1V)，第一和第二左对角线平均(y1L1，y1L2)，第一和第二右对角线平均(y1R1，y1R2)，垂直差(d1V)，第一和第二左对角线差(d1L1，d1L2)，以及第一和第二右对角线差(d1R1，d1R2)。根据差值中的最小差的绝对值在平均值中作出选择(用90)。如果平均值中的差值不确定，即当给定输出像素值不在由与给定输出像素垂直相邻的像素确定的值的范围内或者当各个差中的最小差不唯一时，选择被限制(用44)以选择垂直平均。
文档编号H04N5/44GK1643916SQ03806801
公开日2005年7月20日 申请日期2003年3月19日 优先权日2002年3月27日
发明者约翰·K·勒夫金 申请人:汤姆森特许公司