专利名称：改善的视频图像的空间分辨率的制作方法
技术领域：
本发明涉及改善视频图像分辨率的方法和设备。
背景技术：
每当视频行中的像素数目或输入视频信号中视频行的数目不同于显示所要求的数目，都必须进行空间缩放。例如在隔行扫描的视频信号必须解交织(de-interlace)以提供逐行扫描(progressive)视频信号、或者在由于显示设备所要求的图像宽高比与原始信号可提供的宽高比不同而必须修改宽高比的情况中，就是如此。通过使用内插低通滤波器按比例增加来实现高质量空间缩放。在此滤波器中，首先以两倍于所希望带宽的抽样频率对输入信号进行抽样，内插抽样并随后利用填零方法进行十中抽一抽样。输入信号的带宽并没有被降级，但是也没有附加的频谱成分可以用来改善图像。
在T.Doyle等人在Signal Processing of HDTV，II上发表的“Progressive ScanConversion using Edge Information(利用边缘信息的逐行扫描制式转换)”中，描述了一种图像的二维相关性的使用。利用此种相关性，有可能依照最大相关性，即沿边缘来内插像素。在图像的一行像素的色度或亮度快速变化时，边缘出现在图像中。建议参看图1示出的三个不同值的像素对儿。在图1中，描述了在连续的隔行扫描图像中的一个图像，每个像素2，4利用一个值(例如8bit比特值)来表示。此值表示所表示的图像的空间相应位置中像素2，4的彩色或强度。
图1所示的画面矩阵利用垂直像素列v和水平像素行h来表示。每个图像表示画面的一半，由表示该画面的另一半的随后图像完成整个画面。为了产生逐行扫描视频信号，通过内插利用丢失的像素来填充每个图像。在图1中，黑色的像素2表示视频信号中的实际像素，而白色的像素4表示丢失的而需要内插的像素。
建议参看和水平方向分别成+45度、-45度、90度的方向中像素2的三对儿a，b，c的亮度值。通过使用具有最小亮度值差的一像素对的值来内插中间像素4a，因为假设该对儿像素不会跨越图像中的边缘。
此方法的一个缺陷在于贯穿像素4a的细的垂直行导致三个像素对儿a，b，c具有同样的差值，内插随后会在图像中引起噪音和赝象(artifact)。如果在相关测试中包括靠近水平方向中的边缘，则这一问题将趋重。这种情况的产生主要是因为差值的测量要跨越一个比图像的最大细节还大的距离的事实。
发明内容
本发明的一个目的是增加画面的清晰度(sharpness)。为实现上述目的，本发明提供一种如独立权利要求所述的方法和设备，从属权利要求描述了优选的实施方式。
有益地，可以减小由于内插引起的噪音和赝象。有益地，可通过边缘方向相关的本身非线性的内插提供新的频谱成分。
在第一轴上，由高通滤波器滤波低细节区域；在具有低细节的区域中，适用不同的内插方法。高通滤波的结果可以用于图像的进一步处理。
为了减小与第一方向具有0度和45度角的边缘的影响，沿第二轴，低通滤波器滤波高细节。此外，低通滤波器减小了前置滤波器的噪音敏感度。
前置滤波器的输出是在第一轴线上具有增加细节和在第二轴线上具有减少细节的图像。
由于前置滤波器的输出只包含极少数具有不等于零值的像素，所以数字信号处理器可以用于进一步的处理，具体地，内插。通过检测经前置滤波的图像中的零交叉可以从前置滤波器的输出中检测空间边缘。当连续像素的像素值快速地从负值变成正值或从正值变成负值时，可发现零交叉。
在检测到边缘之后，检测边缘的方向(角度)，然后沿检测到的边缘进行内插。
根据权利要求2，边缘的角度对应于沿低通滤波的轴具有相似值的像素的条(bar)的长度。通过对像素超过或者低于一个可调阈值的像素数目进行计数，可计算出条的长度，此长度包含有关边缘角度的信息。
并且，相邻条的位置可用于确定边缘的方向。根据权利要求3，根据零交义可计算出沿高通滤波的轴的相邻行上的黑白条的低通滤波轴的极端(extreme)位置，并且可根据极端位置的距离来计算边缘的角度。
具体地说，优选-1/4、+1/2、-1/4FIR高通滤波器和+1/3、+1/3、+1/3FIR低通滤波器。优选诸如水平轴线和垂直轴线的正交轴线。
进一步建议权利要求4所述的内插。从原始视频图像中，边缘的方向可根据一个零交叉周围的无变化(monotonous)区域上的像素数目来计算。通过结合上述两种技术，有可能降低内插误差。一般地，都是应用高通和低通滤波实现内插，但是在某些情况下此内插不精确，即，当具有不同边缘的区域彼此接近时，就会出现具有不同边缘的条假定来自同一个边缘并且被连接的情况。在这种情况下，内插就不正确。最好从两种内插选择方法中选择出和高通滤波轴最靠近的计算角度。
为了改善已解交织的视频信号，建议了权利要求5所述的方法。具体地说，所述高通滤波器的结果可被用于确定边缘的检测。在这种情况下，根据本发明的内插将优于标准内插。通过指示一多路复用器或者一调节器(fader)在标准(例如运动矢量补偿的)内插图像和已经通过高通与低通滤波以及边缘预测而被内插的图像之间进行多路复用/衰落，可改善视频信号中一些图像的清晰度。上述对已经解交织的视频信号的后处理改善了图像质量。
本发明的优选使用可以针对MPEG编解码系统，特别是那些不具有运动检测的编解码系统。另一优选应用针对使用扫描速率转换的高端电视(High-EndTV)系统。
关于本发明的上述内容以及其它方面从下文的实施例中将是显而易见的并且将结合这些实施例进行阐明。
在附图中，图1表示隔行扫描图像中的像素矩阵；图2图示根据本发明的内插；和图3图示根据本发明的后处理。
具体实施例方式
图2表示视频信号输入端口6、前置滤波电路8、内插角度检测电路10、边缘相关内插电路12以及视频信号输出端口14。
为了实现图像宽高比转换，即，当4∶3电视信号必须转换成16∶9电视信号时，就必须在水平像素之间实现内插，以便在已存在的像素之间增加新的像素。为了获得好的内插效果，应对内插的像素进行良好地预测并使其与实际图像相匹配。
把逐行扫描电视信号提供给视频信号输入端口6。前置滤波电路8实现水平的空间高通滤波以及垂直的空间低通滤波。这些滤波器滤出了例如输入视频信号的亮度分量。因此，高通滤波被应用于其中需要新像素的方向，而低通滤波应用于另一个方向。如果图2所示的设备用于产生附加行，则使用垂直高通滤波和水平低通滤波。如果本发明将用于例如首先在水平方向生成附加像素，并且随后在垂直方向中生成附加行(上述顺序当然可以被颠倒)，在第一内插步骤中，使用图2所示的设备用于水平高通滤波与垂直低通滤波，并且在第二内插步骤中，图2的设备用于水平低通滤波与垂直高通滤波。
通过沿垂直轴的高通滤波，可通过垂直方向中的高细节。在水平行的情况下，垂直空间频率是高的。垂直行可利用不同的方法更好地被内插。因此，高通滤波器的输出可以用于确定应使用不同内插的位置。
利用沿水平轴的低通滤波，降低了水平方向中的细节。这意味着垂直行并没有通过低通滤波器。
在前置滤波之后，由角度检测电路10检测边缘及其角度。首先，沿水平轴检测零交叉，这些零交叉提供图像中边缘的信息。如果在一个水平行上至少有两个正像素和两个负像素相邻，则检测到零交叉。
在零交叉上，黑白条的长度反映出所需的内插角度。从零交叉点开始，检测位于相邻行之上与之下的正负条的极端水平位置。在不同行上的最右和最左位置之间的差值确定所要求的角度。
内插信息用于在边缘相关内插电路12中内插原始视频信号，该边缘相关内插电路12的输出被传送给视频输出端口14。
除了图2之外，图3还示出判定电路16、多路复用器18以及运动补偿解交织电路20。
在利用扫描速率转换的高端电视中，边缘相关内插将给出比运动相关内插更好的结果。通过结合上述两种方法，可改善输出视频信号。
前置滤波电路8的输出给出有关是否确实已经检测到边缘的信息。在确实检测到边缘的情况下，根据本发明的内插优于运动补偿解交织电路20完成的运动补偿的隔行扫描。在图3所示的实施例中，前置滤波器8和边缘相关内插器12只使用原始行，而不使用经运动补偿解交织器20进行内插的行。
判定电路16判定是否确实检测到了边缘。在这种情况中，判定电路16的输出指示多路复用器18(通过其控制输入s)利用边缘相关内插电路12的输出信号。在所有其他的情况下，应利用来自运动补偿解交织器20的内插信号。输出信号显示在显示设备D上。
通过多路复用这两种内插方法，视频信号输出端口14上的输出视频信号的质量有所改善。可使用调节器(软切换)来代替多路复用器(硬切换)。
根据本发明的方法也可用于把标准分辨率按比例转换成高分辨率。在这种情况下，根据本发明的内插首先在垂直域中实现，并且然后在水平域中实现。在视频图像中具有清楚边缘的情况中，根据本发明的内插改善画面的清晰度。
应注意上述实施例只是对本发明作出了说明，而不作为本发明的限定，并且本领域技术人员可以在不脱离后附权利要求书的范围内设计许多供选择的实施例。在权利要求书中，括号中的任何附图标记并不应被作为权利要求的限定。字“包括”并不排除在权利要求中所列举的元素或步骤之外的元素或步骤的存在；在元素之前的“一”并不排除多个这样的元素的存在。本发明可以利用包括几个不同元素的硬件以及利用经适当编程的计算机来实施。在列举出几种装置的设备权利要求中，这些装置之中的几个可以利用同一个硬件来实施完成。在相互不同的从属权利要求中描述某些手段的唯一事实并不表示不能把这些手段结合起来以产生有益效果。
附图标记2图像像素4内插的像素6视频信号输入端口8前置滤波电路10角度检测电路12边缘相关内插电路14视频信号输出端口16判定电路18多路复用器20运动补偿解交织器D显示设备
权利要求
1.空间内插输入视频图像以便在第一方向中获得在所述输入视频图像的已存在像素之间的新像素的一种方法，该方法包括以下步骤通过在所述的第一方向中对所述输入视频图像进行空间高通滤波以及在第二方向中对所述输入视频图像进行空间低通滤波，前置滤波(8)所述输入视频图像；根据所述前置滤波(8)的输出，计算(10)所述输入视频图像中边缘的空间方向；以及沿所述边缘的所述空间方向内插(12)所述新像素。
2.如权利要求1所述的方法，其特征在于，通过对所述输入视频图像中在所述低通滤波轴中定向的低于或高于一个阈值的像素的数目进行计数，根据所述前置滤波的所述输出信号计算所述边缘的所述空间方向。
3.如权利要求1所述的方法，其特征在于，利用沿所述高通滤波轴的至少一个像素的偏移，通过分别沿所述低通滤波轴定位像素的第一零交叉、针对所述第一零交叉定位围绕所述的第一零交叉对称安排的至少两个零交叉，从所述前置滤波的所述输出信号中计算空间边缘的所述方向。
4.如权利要求1所述的方法，其特征在于，计算所述经前置滤波图像中一个零交叉周围的无变化区域中像素的数目，利用所述像素的数目计算所述边缘的方向，比较根据所述前置滤波计算的所述边缘的所述空间方向和根据所述像素数目计算出的所述表源的所述空间方向，并判定边缘的哪个方向最靠近所述轴之一。
5.如权利要求1所述的方法，其特征在于判定(16)是否检测到一个边缘方向；对输入视频信号解交织(20)，以提供逐行视频信号；和根据边缘检测的判定(16)，在所述解交织(20)和所述内插(12)之间进行多路复用或衰落(18)。
6.用于空间内插输入视频图像以便在第一方向中在所述输入视频图像的已存在像素之间获得新像素的一种设备，该设备包括前置滤波装置(8)，用于通过在所述的第一方向中进行空间高通滤波和在第二方向中进行空间低通滤波；计算装置(10)，用于根据所述前置滤波装置(8)的输出计算所述输入视频图像中边缘的方向；以及内插装置(12)，用于沿所述计算的边缘内插所述的新像素。
7.一种显示设备，包括如权利要求6所述的内插设备(8，10，12)，用于产生内插图像；和显示装置(D)，用于显示所述内插图像。
全文摘要
本发明涉及通过沿图像边缘内插来增加图像分辨率的方法和设备。检测图像边缘并计算其方向(10)，沿着边缘的方向内插(12)新像素。根据本发明，使用前置滤波器(8)，在内插新像素的方向中高通滤波，并在另一个方向中低通滤波。
文档编号H04N7/01GK1582458SQ02821784
公开日2005年2月16日 申请日期2002年10月18日 优先权日2001年11月1日
发明者G·德哈安, R·洛德 申请人:皇家飞利浦电子股份有限公司