专利名称：用于图像缩放的单元和方法
技术领域：
本发明涉及一种图像变换单元，用于把具有第一分辨率的第一图像变换为具有第二分辨率的第二图像，该图像变换单元包括一个系数计算装置，用于以第一图像的像素值为基础计算第一滤波系数；一个自适应滤波装置，用于以第一图像的第一个像素值和第一滤波系数为基础计算第二图像的第二像素值。
本发明还涉及一种把具有第一分辨率的第一图像变换为具有第二分辨率的第二图像的方法，该方法包括以第一图像的像素值为基础计算第一滤波系数；以第一图像的第一个像素值和第一滤波系数为基础计算第二图像的第二像素值。
本发明还涉及一种图像处理设备，包括接收装置，用于接收对应于第一图像的一个信号；和以上提到的用于把第一图像变换为第二图像的图像转换单元。
HDTV的出现增强了对于空间上变换技术的需求，该技术使得标准清晰度(SD)材料能够在高清晰度(HD)电视(TV)显示器上观看。传统技术是诸如双线性内插的线性内插方法和使用多相低通内插滤波器的方法。前者由于它的质量低而不受欢迎，而后者可通过市场上可获得的IC得到。使用线性方法，帧中的像素数增加，但频谱的高频部分没有扩展，即察觉得到的图像锐度没有增加。换句话说，没有充分发挥显示器的性能。
除了传统的线性技术，也提出了许多非线性算法来实现该上变换。有时，这些技术称为基于内容或依赖边缘的空间上变换。一些这样的技术已经能够在消费电子市场上获得。
起始段落中描述的这种图像变换单元的一个实例可以从以下文章“New Edge-Directed Interpolation”(新的边缘控制的内插)中获知，它由Xin Li等撰写，发表在IEEE Transactions on ImageProcessing，Vol.10，No 10，2001年10月，1521-1527页。在该图像变换单元中，内插上变换滤波器的滤波系数适合于局部图像内容。内插上变换滤波缝隙使用公式1指定的第四阶次内插算法FHD(2(i+1),2(j+1))=Σk=01Σk=01w2k+1FSD(2i+2k,2j+2l)---(1)]]>其中，FHD(i，j)是HD输出像素的亮度值，FSD(i，j)是输入像素的亮度值，w1是滤波系数。滤波系数使用最小均方(LMS)优化方法从一个较大缝隙获得。在提到的文章中解释了滤波系数是如何计算的。根据现有技术的方法也与图1A和图1B结合进行解释。该方法试图沿着它们的边缘而不是跨越它们来进行内插，从而防止模糊。作者作出了切合实际的设想，即边缘取方不随缩放比例变化。因此，系数能够通过使用LMS方法从一个局部窗口内的SD输入图像来近似。
尽管根据提出的现有技术的“新的边缘控制的内插”方法在很多图像部分做的相当好，但是对于具有丰富细节的图像区域中的上变换却存在问题。
本发明的一个目的是提供一种起始段落中描述的那种图像变换单元，它在具有丰富细节的图像区域中具有改善的性能。
本发明的目的在下述情况下得到实现，即该图像变换单元还包括用于对第一图像进行滤波以产生滤波后的像素值的另一个滤波装置，并且该系数计算装置被安排成用于以滤波后的像素值为基础计算第一滤波系数。像素值是亮度值或颜色值。通过一个图像变换单元实现的基于现有技术算法的一个假设，即边缘的取向不随着缩放比例改变，在这些区域不再有效。这是因为，尽管这些系数在较低密度格栅上得到优化，但却不能防止该格栅上的混淆现象。根据本发明的图像转换单元在计算滤波系数之前还包括一个另外的滤波装置。注意，该另外的滤波装置不是在将第一图像的输入像素处理成输出像素(即第二图像的像素)的直接路径上，而是在用于确定滤波系数的控制路径上。最好，另外的滤波装置包括一个空间低通滤波器。
在根据本发明的图像变换单元的一个实施例中，空间低通滤波器具有基本上对应于第一图像采样频率的四分之一的通带。该低通滤波器符合采样定理。
空间低通滤波器可能是一个一维滤波器或两个正交滤波器的级联，但也可以应用一个二维滤波器。在根据本发明的图像变换单元的实施例中，空间低通滤波器设计成通过对第一图像的像素块的像素值取平均值来计算第一个滤波后的像素值。根据本发明的这一实施例的优点在于相当简单。像素块可能对应于例如2×2或2×3或4×4像素。
本发明的另一个目的在于提供一种起始段落中描述的那种方法，它对具有丰富细节的图像区域具有改善的性能。
本发明的该目的在下列情况下得以实现，即该方法还包括对第一图像进行滤波从而产生滤波后的像素值，并以滤波后的像素值为基础计算第一滤波系数。
本发明的另一个目的是提供一个在起始段落中描述的那种图像处理设备，它在具有丰富细节的图像区域中具有改善的性能。
本发明的该目的是这样实现的，即在这种图像处理设备的图像转换单元中还包括一个另外的滤波装置，用于对第一图像进行滤波从而产生滤波后的像素值，还包括系数计算装置，它设计成以滤波后的像素值为基础计算第一滤波系数。图像处理设备任选的包括一个显示设备，用于显示第二图像。该图像处理设备可能例如是一台电视机，一个机顶盒，一个VCR(盒带式录像机)播放器或一个DVD(数字通用盘)播放器。
图像变换单元的修改和它的变化可以对应于描述的方法和图像处理设备的修改和变化。
根据本发明的图像变换单元、方法和图像处理设备的这些和其他方面将通过以下参照附图描述的执行方式和实施例变得明显并对于它们进行说明，其中图1A示意性示出了根据现有技术的图像变换单元的一个实施例；图1B示意性示出了许多像素来解释根据现有技术的方法；图2A示意性示出了许多像素来解释根据本发明的方法；图2B示意性示出了根据本发明的图像变换单元的实施例；图3A示意性示出了SD输入图像；图3B示意性示出在图3A的SD输入图像，在其上面添加了像素以便增加分辨率；
图3C示意性示出了把图3B的图像旋转45度之后的图像；图3D示意性示出了从图3A的SD输入图像得出的HD输出图像；知图4示意性示出了根据本发明的图像处理设备的实施例。
在所有图中相同的参考数字用于表示类似的部分。
具体实施例方式
图1A示意性示出了根据现有技术的图像变换单元100的一个实施例。图像变换单元100在图像连接器108提供标准清晰度(SD)图像并在输出连接器110提供高清晰度(HD)图像。图像变换单元100包括一个像素获取单元102，它用于获取在各SD输入图像的第一个图像内特定位置的第一相邻位置的像素1-4的第一组值，该位置对应于HD输出像素的位置，并在各SD输入图像的第一个图像内特定位置的第二相邻位置获取像素1-16的第二组值；一个滤波系数计算单元106，它用于在像素1-4的第一组值和像素1-16的第二组值的基础上计算滤波系数。换句话说，滤波系数是从局部窗口内的SD输入图像近似地得到的。这是通过使用最小均方(LMS)方法完成的，这要结合图1B来解释。
一个自适应滤波单元104，用于在像素1-4的第一组值和由公式1确定的滤波系数的基础上计算HD输出像素的值。因此，滤波系数计算单元106用于控制自适应滤波单元104。
图1B示意性示出了一个SD输入图像的多个像素1-16和一个HD输出图像的一个HD像素，以便解释根据现有技术的方法。HD输出像素作为4个像素1-4的加权平均进行内插。这意味着HD输出像素FHD的亮度值是作为它的4个SD相邻像素的加权和而产生的FHD＝w1FSD(1)+w2FSD(2)+w3FSD(3)+w4FSD(4)，(2)其中FSD(1)到FSD(4)是4个SD输入像素1-4的值，w1到w4是将被计算的滤波系数。所引用的描述了现有技术的文章的作者作出了切合实际的假设，即边缘取向不随着缩放比例而改变。该假设的结果是在标准分辨率格栅上优化的滤波系数与要内插的系数相同
-像素1来自5，7，11和4(这表示像素1能够从它的4个相邻像素获得)-像素2来自6，8，3和12-像素3来自9，2，13和15-像素4来自1，10，14和16这给出了一组4个线性等式，从这些等式能够使用LSM优化找到内插HD输出像素的最佳的4个滤波系数。
用M表示用于计算4个权重的在SD格栅上的像素组，在优化中在组M上的均方误差(MSE)能够写成原始SD像素FSD和插入的SD像素FSI之间的平方差的和MSE=ΣFSD(i,j)∈M(FSD(2i+2,2j+2)-FSl(2i+2,2j+2))2---(3)]]>它用矩阵表达为MSE=||y→-w→C||2---(4)]]>这里， 包含M(像素FSD(1，1)到FSD(1，4)，FSD(2，1)到FSD(2，4)，FSD(3，1)到FSD(3，4)，FSD(4，1)到FSD(4，4))中的SD像素，C是一个4×M2矩阵，它的第k行包含 中每个SD像素的四个对角线SD相邻像素的加权和。每行的加权和描述一个用在等式3中的像素FSI。为了找到最小的MSE，即LMS，计算 上的MSE的导数∂(MSE)∂w→=0---(5)]]>-2y→C+2w→C2=0---(6)]]>w→=(CTC)-1(CTy→)---(7)]]>通过解出公式7得到滤波系数，通过使用公式2能够计算HD输出像素的值。
在该例子中，使用了4乘4像素来计算滤波系数。在较大窗口上的LMS优化，例如用8乘8代替4乘4将给出较好的结果。
为了进一步说明本发明，将解释本发明的一个非常简单例子的实施，其中另外的滤波装置是一个4像素平均滤波器，并且LMS方法被应用于要进行内插的HD像素周围的一个5乘5的块上。像素的编号参照图2A。首先，使用它们的对角线相邻像素的平均值计算低密度格栅上的滤波后的像素，即-像素a＝(5+6+9+1)/4-像素b＝(6+7+1+2)/4-......
-......
-像素i＝(4+12+15+16)/4接着，必须计算作为像素1，2，3和4的加权和的用于内插像素HD(与像素e在相同位置)的优化滤波系数。为此，应用了LMS方法以解决对来自它们的四个对角线相邻位置的9个滤波后的像素a，b，c，...i的优化内插。例如，像素e根据像素a，c，g和i而作内插。图2A将必须延伸，因为像素a，b，c，d，f，g，h和I的对角线相邻位置在该图中未示出。
很明显，用于LMS算法的缝隙能够扩展到例如5乘5，或7乘7，并且更高阶次的滤波器能够有利地代替4像素平均滤波器。而且，一个具有奇数个抽头的对称滤波器能够在块的大小为4乘4，8乘8等的情况下使用。此外，缝隙的形状不一定是矩形的。
图2B示意性示出了根据本发明的图像变换单元200的一个实施例。图像变换单元200在输入连接器108提供标准清晰度(SD)图像并在输出连接器110提供高清晰度(HD)图像。SD输入图像具有在CCIR-601中指定的像素矩阵，例如625×720像素或520×720像素。HD输出图像具有该水平和垂直方向上的像素数例如两倍或一倍半数量的像素矩阵。图像变换单元200包括；-一个像素获取单元102，它用于获取在各SD输入图像的第一个图像内特定位置的第一相邻位置的像素1-4的第一组值，该位置对应于输出像素HD的位置，和获取该特定处的第二相邻处的像素1-16的第二组值；-一个低通滤波器112，用于在像素1-16的第二组值的基础上计算一组平均值a，b，c，...i，即滤波后的像素值a，b，c，...i；-一个滤波系数计算单元106，用于在该组滤波后的像素a，b，c，...i和像素1-16的第二组值的基础上计算滤波系数。换句话说，滤波系数是从局部窗口内滤波后的SD输入图像近似地得到的。这是通过使用最小均方(LMS)方法完成的，并将结合图1B和图2A来解释；和-一个自适应滤波单元104，用于在像素1-4的第二组值的基础上计算HD输出图像的像素值。HD输出像素作为像素1-4的加权和来计算。
像素获取单元102，低通滤波器112，滤波系数计算单元106和自适应滤波单元104可以用一个处理器来实现。通常，这些功能在一个软件程序产品的控制下执行。在执行期间，软件程序产品通常装到一个像RAM的存储器中，并从那里执行程序。程序可以从后台存储器装入，象ROM，硬盘或磁性和/或光学存储器，或者可以通过象因特网的网络装入。可选地是用一个专用集成电路提供该公开了的功能。
为了把一个SD输入图像变换为一个HD输出图像，需要一系列处理步骤。通过图3A-3D来解释这些处理步骤。图3A示意性示出了一个SD输入图像；图3D示意性示出了一个从图3A的SD输入图像得出的HD输出图像，图3B和3C示意性示出了中间结果。
-图3A示意性示出了一个SD输入图像，每个X符号对应于各个像素。
-图3B示意性示出了图3A的SD输入图像，在其中加入了各像素以便增加分辨率。加入的像素用+符号表示。这些加入的像素是用各个对角线的相邻像素经内插计算而得。对于内插的滤波系数按照结合图2B描述的方式而确定。
-图3C示意性示出了图3B旋转45度后的图像。用来在图3A的基础上计算图3B中所显示的图像的同一个图像变换单元200能够用于在图3b所示的图像的基础上计算图3D所示的图像。这意示着新的像素值是用各个对角线相邻像素经内插而计算的。
-图3D示意性示出了最后的HD输出图像。在最后的变换步骤中加入的像素用o符号表示。
图4示意性示出了根据本发明的图像处理设备400的实施例，包括-接收装置402，用于接收代表SD图像的一个信号。该信号可以是通过天线或电缆接收的广播信号，但也可以是来自象VCR(盒带式录像机)或数字通用盘(DVD)的存储设备的信号。信号在输入连接器408处提供；图像变换单元404，如与图2B结合所描述的；和-一个显示设备406，用于显示图像变换单元200的HD输出图像。该显示设备406是任选的。
图像处理设备400可能是例如一个电视机。或者该图像处理设备400不包括任选的显示设备，但提供HD图像给含有显示设备406的一个装置。因此图像处理设备400可能是例如一个机顶盒，一个卫星调谐器，一个VCR播放器或一个DVD播放器。但它也可能是由一个摄影棚或广播公司所用的系统。
应当注意到，上述实施例说明而不是限制本发明，本领域技术人员将能够在不脱离随附的权利要求的条件下涉及替换的实施例。在权利要求中，放在括号中的任何参考标记将不作为对权利要求的限制。词语“包括”不排除没有列在权利要求中的元件或步骤的存在。在元件之前的冠词“a”或“an”(一个)并不排除存在多个这样的元件。本发明能够通过包括几个分离元件的硬件或者适当编程后的计算机实现。在列举了几个装置的装置权利要求中，这几个装置能够通过一个或相同的硬件实现。
权利要求
1.一种图像变换单元，用于把具有第一分辨率的第一图像变换为具有第二分辨率的第二图像，该图像变换单元包括一个系数计算装置，用于以第一图像的像素值为基础计算第一滤波系数；一个自适应滤波装置，用于以第一图像的第一个像素值和第一滤波系数为基础计算第二图像的第二像素值，其特征在于图像变换单元还包括用于对第一图像进行滤波以产生滤波后的像素值的另一个滤波装置，和该系数计算装置被安排成用于在滤波后的像素值基础上计算第一滤波系数。
2.如权利要求1所要求的图像变换单元，其特征在于该另一个滤波装置包括一个空间低通滤波器。
3.如权利要求2所要求的图像变换单元，其特征在于该空间低通滤波器具有基本上对应于第一图像的采样频率的四分之一的通带。
4.如权利要求2所要求的图像变换单元，其特征在于空间低通滤波器用于通过对第一图像的像素块的像素值取平均值来计算第一个滤波后的像素值。
5.一种把具有第一分辨率的第一图像变换为具有第二分辨率的第二图像的方法，该方法包括以第一图像的像素值为基础计算第一滤波系数；以第一图像的第一个像素值和第一滤波系数为基础计算第二图像的第二像素值，其特征在于该方法还包括对第一图像滤波以产生滤波后的像素值并在滤波后的像素值的基础上计算第一滤波系数。
6.一种图像处理设备包括用于接收一个对应于第一图像的信号的接收装置；和如权利要求1所要求的用于把第一图像变换为第二图像图像变换单元。
7.如权利要求6所要求的图像处理设备，还包括一个用于显示第二图像的显示设备。
全文摘要
一种用于把具有第一分辨率的第一图像变换为具有高于第一分辨率的第二分辨率的图像变换单元(200)包括一个滤波器(112)，用来把第一图像的滤波后的像素值提供到一个用于在滤波后的像素值的基础上计算第一滤波系数的系数计算装置(106)。系数计算装置(106)用于控制自适应滤波装置(104)以便在第一图像的第一像素值和第一滤波系数的基础上计算第二图像的第二像素值。
文档编号G06T3/40GK1682244SQ03821508
公开日2005年10月12日 申请日期2003年8月5日 优先权日2002年9月11日
发明者G·德哈安 申请人:皇家飞利浦电子股份有限公司