专利名称：具有噪声抑制的对角线增强的上变换的制作方法
技术领域：
本发明涉及将隔行视频上变换为逐行(非隔行)视频的领域。更具体地说，本发明涉及去交织算法的领域。
背景技术：
当将隔行视频变换为逐行扫描格式时，去交织算法一般在没有检测到运动的区域中使用时间估计(场间)，但在运动区域中使用空间估计(场内)。基于在同一场中缺失行的上面和下面的行，使用空间内插为所缺失的行产生一个估计。
一种去交织亮度像素的场、以创建空间上在场的现有行之间的像素行的简单方法是直接平均其上面和下面的像素值、以创建每个新的像素。然而，这种方法在场中的对角线细节上产生锯齿状的边缘，诸如在不是水平的台阶(step)上，或在风中飘动和角度改变时的旗帜上的直立条纹。
一种用于增强的对角线细节的较好的方法是在三个像素平均中进行选择前面描述的垂直平均以及左、右对角线平均。所述左对角线平均是通过对被内插的位置的左上方的像素和右下方的像素的值进行平均来计算的。同样，右对角线平均是右上方的像素和左下方的像素的平均。
在两个对角线平均和垂直平均之间进行选择的基本思想在由汤姆森Thomson(这里的受让人)资助的1990早期的一个研究项目中的SarnoffResearch Laboratories(萨尔诺夫研究实验室，Sarnoff)进行了研究。在三个选项之间进行选择的最简单的算法在他们的报告中被表示为DIAG1算法。
选择这三个平均中的一个的简单的算法被Sarnoff算出并表示为DIAG1。用于在两个对角线平均和一个垂直平均之间进行选择的DIAG1算法使用与平均同样的像素值计算并比较三个差值。对于每个平均，计算相应的差值，并且比较那些差值的绝对值以找到最小值。对应于该最小差值的像素平均被选择为内插值。
所提到的Sarnoff工作被记录在两篇报告中Spatially-AdaptiveDe-Interlacing Techniques for Digital Feature TV(数字特征电视的空间自适应去交织技术)，1990年12月31日，以及Digital Feature TV Project Final Report(数字特征电视计划最终报告)，1991年3月31日。即使是有具有多个选项考虑空间内插估计的明显优点，DIAG1的现有判定处理也表现得有点随机和有噪声，因为最小值并不总是最好的选项。对于一种相对简单和实施便宜，而又有较小随机性和噪声的改进的判定处理，是人们长期所需求的。
发明内容
依照发明的配置，为在两个对角线平均和垂直平均之间进行选择的判定处理加入噪声抑制，有利地改善了在存在对角线细节的区域中的画面质量。这个噪声抑制导致了新的算法，标为DIAG1T，以在不明确的情况下选择(prefer)垂直平均。
更具体地说，DIAG1T算法在两种条件下有利地选择垂直平均，代表除了DIAG1平均选择算法的进一步判定步骤。首先，如果最小差值不是唯一的，则选择垂直平均。第二，如果所选择的平均并不处于在被内插的位置之上和之下的像素之间的值的范围内，则选择垂直平均。
对角线相邻像素对应或依赖于采样率，所以在显示画面中以一定角度进行排列。例如，对于具有4×3屏幕高宽比的720×480画面，对角线对应于大约水平线以上41度的角度。改善的算法能够改善在画面中比这个角度陡峭的对角线特性。
图1是依照本发明的DIAG1T对角线增强上变换系统的框图。
图2是用于解释原始和内插的像素的空间方位的图形。
图3是说明图1中的平均和差值(AVG-DIF)块的细节的框图。
图4是说明图1中所示的DIAG1T电路中的信号流的框图。
图5是图4中所示的DIAG1判定逻辑的框图。
图6是说明图4中的DIAG1T抑制逻辑的框图。
具体实施例方式
依照发明配置的去交织算法在这里标为DIAG1T。该DIAG1T去交织算法可以被用作只是空间(场内)的算法或用作在运动自适应去交织算法中的空间估计。由DIAG1T算法所实现的改进，在用于代替简单行平均(lineaverage)的空间估计时是意义重大的。
在下面的描述中，假设视频信号是以分量形式存在的，并且只对亮度分量使用DIAG1T算法进行处理。因此，这里使用的“亮度像素值”或“像素值”是指亮度分量。简单行平均对于去交织两个较低分辨率的色度分量是令人满意的。
如下所示，将关于输入视频的两个连续行的亮度像素值标记为Xij，并将内插的逐行输出行像素标记为Yij，并且如图2中所示输入行1X11 X12 X13 X14 X15输出行Y11 Y12 Y13 Y14 Y15输入行2X21 X22 X23 X24 X25简单行平均空间估计将为Y1j＝(X1j+X2j)/2下面给出的对DIAG1T算法的描述将集中在为输出位置Y13计算空间估计。对于其它的输出像素，在描述中的像素标记将相应的调整。当得不到所需像素时，该算法的一个实施可以在行的起点和终点进行选择，以改变这里所描述的处理。
对于Y13，DIAG1T算法如下计算3像素平均和3像素差值，并且如图1中所示y1L＝(X12+X24)/2；d1L＝abs(X12-X24)；y1V＝(X13+X23)/2；d1V＝abs(X13-X23)；y1R＝(X14+X22)/2；d1R＝abs(X14-X22)；这些平均和差值对应于左对角线、垂直和右对角线估计。用于提供所有这些平均和差值的电路10的示例框图被表示在图1中，包括多个双稳态多谐振荡器形式的延迟电路12、14、16、18和20，以及其它适当的器件。例如，延迟电路16可以是一个行延迟。该电路还包括最小值电路22、最大值电路24，以及AVG-DIFF块26、28和30。诸如图1中的AVG-DIF块26的示例AVG-DIF块的细节在图3中示出。AVG-DIF块26最好在器件或块的平均部分包括用于相加相邻像素值的加法器34和二分电路38。在差值部分中，块26还包括减法器36和绝对值功能部件39。
如下所示，基本DIAG1算法选择对应于最小差值的估计，并且如图5中所示y＝y1V；d＝d1V；if(d1L＜d){y＝y1L；d＝d1L；}if(d1R＜d)y＝y1R；Y13＝y；更具体地说，基本DIAG1判定逻辑42能够如下来表示，使用如图5中所示连接的比较器52和58，以及多路复用器54、56和59，以提供上述DIAG1算法的功能性，尽管本发明并不局限于此。应当注意到DIAG1算法或DIAG1判定逻辑42形成了图1和4中所示的总DIAG1T判定逻辑32的一部分。
图4和6中所示的噪声抑制或DIAG1T抑制逻辑44被用来清除在DIAG1中的判定噪声，并且这样做区别开DIAG1T和DIAG1，进一步强调给定的输出像素(Y13)的值落入定义给定的输出像素的垂直平均的顶部像素和底部象素的值的范围内。根据公式也如此X13≤Y13≤X23或X13≥Y13≥X23如果不满足这个约束，则输出Y13＝y1V。
一个区别DIAG1T的附加抑制是左对角线差值等于或基本等于右对角线差值。换句话说，左对角线相邻像素与右对角线相邻像素的差值需要是唯一，或d1R必须不同于d1L。按照公式如果d1L＝d1R，则输出Y13＝y1V。
这些另外的抑制在图4和6中说明。特别是，图6中所示的DIAG1T抑制逻辑44能够由如所示配置和连接的比较器60、62和64，或门(OR)66和多路复用器68来具体体现，以提供上述功能。
Thomson的Princeton Engine实时数字视频模拟器被编程，以论证Sarnoff的DAIG1、DIAG2和DIAG3W去交织算法和Thomson的新的DIAG1T去交织算法。Princeton Engine被编程以作为只是空间(场内)去交织器和作为运动自适应去交织算法的空间估计来执行每种算法。
这些算法对各种不同的观察者进行了模拟和论证，首先采用固定测试图案、帧速率扫描，然后用静止视频场景，最后用实时运动视频。
在帧速率扫描测试图案中，存在多种水平、垂直和对角线频率。所有的Sarnoff去交织算法导致去交织的测试图案出现各种由可视边界定义的区域，其中一些区域由垂直平均估计，而其它区域是用左或右对角线平均估计。在4种算法DIAg1、DIAG3、DIAG3W和DIAG1T之间的主要的可以看得见的不同在于区域之间的边界的特性。当数字地产生帧速率扫描图案时，边界非常干净和笔直。然而，当测试图案由具有一些噪声的模拟源形成时，边界就定义的不太好了，并且是锯齿状的。而使用DIAG3W和DIAG1T的边界则显而易见的更清楚一些。DIAG3与DIAG1相比有一定改进。在DIAG3W和DIAG1T的表现之间的差别很小，但是DIAG1T算法更简单，而且比DIAG3W更容易实现。与使用DIAG1算法相比，用DIAG1T算法的区域边界更是非常的清楚。
在使用静止或移动视频的仿真中，具有对角线细节的区域明显地改进了。一个观察到的这样的场景有一个在风中摇动的美国国旗。当旗子随风移动时，旗子上的条纹从水平改变到各种角度的对角线，而明显地改进了在具有对角线细节的这样的区域中细节。在某些对角线角度上的锯齿状边缘的改进是显著的。
当作为运动自适应算法的空间估计使用时，DIAG1T算法显著地改进画面的移动区域，而没有显著地增加复杂度或成本。画面的固定区域已经从视频的相邻场中有了较多的细节。
根据前述本发明的描述，应该认识到本发明能够以硬件、软件或硬件和软件的组合来实现。根据本发明的当将隔行视频上变换为逐行视频时，内插给定的输出像素值的方法能够在一个处理系统中以集中的方式实现，或以不同元件被分开到几个互相连接的系统中的分布的方式实现。任何类型的计算机系统，或其它适用于实施这里描述的方法的装置是合适的。硬件和软件的典型组合可以是具有计算机程序的通用计算机或数字信号处理器，该计算机程序当被载入并运行时，控制计算机系统，以便实施这里描述的方法。
本发明也可以用计算机程序产品来具体体现，该计算机程序产品包括所有使这里描述的方法能够实施的所有特征，并且当其载入计算机系统时，能够执行这些方法。这里上下文中的计算机程序或应用是指任何表达形式的、任何语言、代码或符号的、能够使具有信息处理能力的系统直接执行，或在下面步骤之一或两个之后执行特定功能的一组指令a)转换为另一种语言、代码或符号；b)以不同的材料形式再现。
此外，上面的描述只是为了示例，而不是为了以任何方式限制本发明，除了在下面权利要求中所作的限定。
权利要求
1.一种用噪声抑制对角线增强将隔行视频上变换为逐行视频的方法，包括下列步骤对于给定的输出像素确定垂直平均(y1V)、左对角线平均(y1L)、右对角线平均(y1R)、垂直差值(d1V)、左对角线差值(d1L)和右对角线差值(d1R)；基于在垂直差值(d1V)、左对角线差值(d1L)和右对角线差值(d1R)之中的最小差值，在垂直平均(y1V)、左对角线平均(y1L)、右对角线平均(y1R)之中进行选择；以及，如果左对角线差值基本上等于右对角线差值(d1L≈d1R)，则将选择步骤约束到垂直平均(y1V)。
2.如权利要求1所述的方法，其中该方法还包括步骤如果给定的输出像素(例如，y13)的值不在定义给定的输出像素的垂直平均的顶部像素(例如，x13)和底部像素(例如，x23)的值的范围之间，则约束选择步骤到垂直平均(y1V)。
3.如权利要求1所述的方法，其中该方法还包括步骤如果给定的输出像素的值不在由给定的输出像素的上面的相邻像素和给定的输出像素的下面的相邻像素所定义的值的范围之间，则约束选择步骤到垂直平均。
4.如权利要求1所述的方法，其中垂直平均是通过将给定的输出像素的上面的垂直相邻像素的亮度分量值与给定的输出像素的下面的垂直相邻像素的亮度分量值相加，得到一个和数并且除以2而获得的。
5.如权利要求1所述的方法，其中左对角线平均是通过将给定的输出像素的左上方的对角线相邻像素的亮度分量值与给定的输出像素的右下方的对角线相邻像素的亮度分量值相加，得到一个和数并且除以2而获得的。
6.如权利要求1所述的方法，其中右对角线平均是通过将给定的输出像素的右上方的对角线相邻像素的亮度分量值与给出的输出像素的左下方的对角线相邻像素的亮度分量值相加，得到一个和数并且除以2而获得的。
7.如权利要求1所述的方法，其中在垂直差值、左对角线差值和右对角线差值之中的最小差值是通过比较垂直差值、左对角线差值和右对角线差值的绝对值，和在垂直差值、左对角线差值和右对角线差值之中选择最小值来确定的。
8.如权利要求1所述的方法，其中约束步骤包括如果左对角线差值等于右对角线差值，则约束选择步骤到垂直平均。
9.如权利要求1所述的方法，其中垂直平均基于垂直相邻像素；左对角线平均基于左上方和右下方的对角线相邻的像素；以及，右对角线平均基于右上方和左下方的对角线相邻的像素。
10.如权利要求9所述的方法，其中在垂直相邻像素、左对角线相邻像素和右对角线相邻像素之中选择给定的输出像素的内插值的步骤基于在垂直相邻像素、左对角线相邻像素和右对角线相邻像素分别的差值之中的绝对值的最小差值。
11.一种用于将隔行视频上变换为逐行视频的去交织电路，包括用于对给定的输出像素确定垂直平均(y1V)、左对角线平均(y1L)、右对角线平均(y1R)、垂直差值(d1V)、左对角线差值(d1L)和右对角线差值(d1R)的装置(26、28、30)；用于基于在垂直差值(d1V)、左对角线差值(d1L)和右对角线差值(d1R)之中的最小差值，在垂直平均(y1V)、左对角线平均(y1L)、右对角线平均(y1R)之中进行选择的装置(32)；以及用于如果最小差值不确定时，则将选择步骤约束到垂直平均(y1V)的装置(44)。
12.如权利要求11所述的去交织电路，其中，如果给定的输出像素的值不在由给定的输出像素的上面的相邻像素和给定的输出像素的下面的相邻像素所定义的值的范围之间，则在垂直差值(d1V)、左对角线差值(d1L)和右对角线差值(d1R)之中的最小差值是不确定的。
13.如权利要求11所述的去交织电路，其中，如果左对角线相邻像素和右对角线相邻像素的平均值基本上相等，在垂直差值(d1V)、左对角线差值(d1L)和右对角线差值(d1R)之中的最小差值是不确定的。
14.如权利要求11所述的去交织电路，其中，确定、选择和约束是指只实施空间去交织。
15.如权利要求11所述的去交织电路，其中，确定、选择和约束是指实施运动自适应去交织算法的空间估计。
全文摘要
一种当将隔行视频上变换为逐行视频时内插给定的输出像素值的方法，包括确定给定的输出像素的垂直相邻像素、左对角线相邻像素和右对角线相邻像素的平均值的步骤，和确定在垂直相邻像素、左对角线相邻像素和右对角线相邻像素之间的差值的步骤(28、30和26)。基于在差值之中的绝对值的最小差值，进一步在平均值之中为给定的输出像素选择(42)一个内插值，并且如果给定的输出像素的值不在由给定的输出像素的上面和下面的相邻像素所定义的值的范围内，或如果所选择的最小差值不是唯一的，则进一步约束(44)内插值到垂直相邻像素(y1V)的平均值。
文档编号H04N5/217GK1643917SQ03807005
公开日2005年7月20日 申请日期2003年3月19日 优先权日2002年3月27日
发明者约翰·K·勒夫金 申请人:汤姆森特许公司