专利名称：一种图像缩放方法及图像缩放器系统的制作方法
技术领域：
本发明有关数字图像及视频处理。具体地说，本发明是关于对视频图像缩放过程中的清晰度实施控制以减少图像模糊，颗粒化及锯齿等瑕疵的方法和系统的发明。
背景技术：
鉴于先进半导体处理技术的发展，集成电路(ICs)的功能及复杂程度大为增强。随着处理及存储能力的增加，许多以前由模拟方式完成的工作现在都能以数字的方式完成。例如，许多数字视频显示系统，如液晶显示器和等离子显示器等，均可以用来取代传统的模拟电视系统。这些数字显示系统包含有一系列像素，即其自然显示分辨率。例如，大尺寸液晶显示器的自然显示分辨率可高达1920×1080像素。而小尺寸的便携式数字显示系统的自然显示分辨率则可低至320×200像素。
不同的视频规格具有不同的显示分辨率。例如，NTSC制的分辨率通常为720×480，PAL制的分辨率通常为720×576，而高清晰度电视标准的分辨率则包括1920×1080，1280×720，和640×480等。为达到正确显示视频信号的目的，数字显示系统必须对视频图像进行缩放处理以匹配显示系统的显示分辨率。例如，如图1所示，一个原始图像110经放大处理后成为显示图像120。相反的，在图2中原始图像110经缩小处理后成为显示图像220。
在图像缩放过程中，对缩放后图像中的每一个像素经相应的映射关系计算出其在原始图像中对应的插值位置，再由该插值位置附近的一组原始图像像素经一定的插值处理产生其像素值。如图3所示，缩放后图像320中的一个像素321经相应的映射关系对应于原始图像310中的插值位置321b，该插值位置处于原始图像310中的像素311，312，313和314之间。一些传统的图像缩放器将缩放后图像320中的像素321的像素值，如YUV格式下的亮度值Y及色度值U和V，直接设置为原始图像310中离相应插值位置321b最近像素的像素值。而另一些传统的图像缩放器通过双线性插值法利用原始图像310中离相应插值位置321b最近的4个像素，即图3中的像素311，312，313和314来插值产生缩放后图像320中的像素321的像素值。其他格式如RGB格式的图像也可利用这些方法进行缩放处理。为清楚起见，我们利用YUV格式为例对本发明进行描述，而一个本领域熟练的技术人员可以方便的将本发明所介绍的方法应用于其他格式的视频图像。
缩放后图像中的一个像素在原始图像中的相应插值位置可由该像素在缩放后图像中的位置及一个水平比例因子HSF和一个竖直比例因子VSF计算产生。比例因子表示的是由原始图像到缩放后图像的相对尺度关系。为清楚起见，在本发明的描述中均假设原始图像每行有I个像素而每列有J个像素，缩放后图像每行有X个像素而每列有Y个像素。缩放后图像中的一个像素P(x，y)处于缩放后图像的第x列第y行，P(0，0)为缩放后图像的左上角像素，而P(X-1，Y-1)为缩放后图像的右下角像素。水平比例因子HSF等于原始图像的宽(以像素为单位)减1除以缩放后图像的宽(以像素为单位)减1，即HSF＝(I-1)/(X-1)。而在某些系统中水平比例因子HSF经常被简化的设置为HSF＝I/X。类似的，竖直比例因子VSF等于原始图像的高(以像素为单位)减1除以缩放后图像的高(以像素为单位)减1，即VSF＝(J-1)/(Y-1)。而在某些系统中竖直比例因子VSF经常被简化的设置为VSF＝J/Y。
像素P(x，y)的相应插值位置由一个水平位置HP(x)和一个竖直位置VP(y)决定。水平位置HP(x)等于x乘以水平比例因子HSF，即HP(x)＝x*HSF。竖直位置VP(y)等于y乘以竖直比例因子VSF，即VP(y)＝y*VSF。
当数字显示系统的显示分辨率较高时，传统缩放器的一些缺陷就会暴露出来。例如，图像在放大后会被模糊化，这是因为图像放大的操作可以等效为一个低通滤波的过程，放大后图像的清晰度与原始图像相比较差。在利用零阶缩放器时，放大后图像清晰度的损失并不十分明显，但存在图像呈块状的问题。这个问题是由于零阶缩放器将多个放大后图像的像素映射到单个原始图像像素造成的。
传统缩放器的另一种缺陷是在图像放大时斜向边缘会呈现较明显的锯齿。理论上说，由于数字显示系统的显示分辨率总是有限的，所以斜向边缘上的锯齿总是存在的。通常，在分辨率较高的数字显示系统上，锯齿不易被观察者察觉。但当图像被放大时，由于一个原始图像像素的信息被用来产生多个放大后图像的像素，所以锯齿可能会变得更明显。
图像缩小的操作也会带来一些图像缺陷。例如，缩小的图像通常会呈现颗粒状瑕疵。具体地说，图像缩小的操作等效于一个高通滤拨器，所以图像中快速变化的区域会被增强，从而导致结果图像的颗粒化。
鉴于此，我们需要一种方法或系统来避免传统缩放器所带来的图像模糊化，锯齿，图像呈块状及图像颗粒化等缺陷。
发明内容
鉴于此，本发明提供了一种图像缩放方法及图像缩放器系统，对视频图像进行缩放，缩放过程中使用了高频调整位置而不是传统方法中的相应插值位置。高频调整位置是基于相应插值位置附近像素处的图像高频信息产生的。通过引入相应插值位置附近像素处的图像高频信息，基于本发明的图像缩放器可以产生较高品质的图像。而且，基于本发明的某些实施例还可以对清晰度进行调控以进一步减少传统缩放器存在的缺陷。
一个基于本发明的图像缩放器被用来由一个原始图像产生一个缩放后图像。该图像缩放器针对缩放后图像中的一个当前像素计算产生一个原始图像中的相应插值位置。相应插值位置包含一个水平位置和一个竖直位置。图像缩放器还计算产生一个原始图像中与当前像素对应的高频调整位置，其包括一个高频调整水平位置和一个高频调整竖直位置。当前像素的像素值由原始图像中的相应像素在高频调整位置处而不是相应插值位置处计算产生。通常，高频调整位置在水平方向上由相应插值位置向水平高频分量较高的方向移动，而在竖直方向上由相应插值位置向竖直高频分量较高的方向移动。
基于本发明的某些实施例还对缩放后图像进行清晰度补偿。清晰度补偿值与原始图像中高频调整位置附近的像素处的高频信息的插值成比例。例如，在基于本发明的一种实施例中，清晰度补偿值由原始图像中离高频调整位置最近的四个像素处的高频信息进行双线性插值产生。所产生的清晰度补偿值被加入当前像素的亮度值中。
如下各图有助于更好地理解本发明。
图1描述了一个图像放大的过程。
图2描述了一个图像缩小的过程。
图3描述了一个缩放后图像中的一个像素与其在一个原始图像中的相应插值位置间的关系。
图4描述了基于本发明的一种实施例的简单框图。
图5描述了在基于本发明的一种实施例下一个高频调整位置HFAP与一个相应插值位置间的关系。
图6描述了在基于本发明的一种实施例下的一个相应插值位置周围的像素及一个高频调整位置HFAP。
具体实施例方式
如上所述，传统缩放器在进行图像放大时可能产生图像模糊化，锯齿状和图像呈块状等缺陷，而在进行图像缩小时则可能产生图像颗粒化的缺陷。为减小锯齿缺陷，本发明利用了一个高频调整位置HFAP来取代相应插值位置计算产生缩放后图像中的像素P(x，y)的像素值。具体地说，高频调整位置在水平方向上由相应插值位置向水平高频分量较高的方向移动。类似地，高频调整位置在竖直方向上由相应插值位置向竖直高频分量较高的方向移动。移动的大小和相应插值位置周围像素的高频分量成一定的比例关系。本发明通过对清晰度的调整来减少缩放后图像的缺陷。具体地说，本发明计算产生一个清晰度补偿值来调整缩放后图像中一个像素的像素值。
图4描述了基于本发明的一种实施例下的一个缩放器400的简单框图。图像缩放器400包含一个相应插值位置计算单元410，两个加法器420和440，一个缩放单元430，一个视频缓存450，一个局部高频分量计算单元(LHFCCU)460，一个插值位置调整单元470，和一个清晰度补偿单元480。图像缩放器400利用存储于视频缓存450中的原始图像信息来产生缩放后图像的像素。为减少视频缓存450，缩放后图像是按一行接一行的方式(在一行中是一个像素接一个像素)产生的，所以视频缓存450中只需存储少数若干行的视频信息。通常，视频缓存450中的一条行缓存对应视频图像的一行像素。视频缓存450中所需存储的视频数据的多少由缩放单元430中使用的视频缩放方法和局部高频分量计算单元(LHFCCU)460中使用的局部高频分量计算方法决定。视频缓存450通常被设计成循环使用的缓存，其中存储缩放单元430和局部高频分量计算单元(LHFCCU)460所需的视频数据。在实际中，因数据预读的需要可增大视频缓存450的容量。例如，在基于本发明的一种实施例下需要四条行缓存视频数据来完成缩放计算的系统可能会在视频缓存450中提供多于四条行缓存。
为产生缩放后图像的像素P(x，y)，相应插值位置计算单元410利用前面描述的方法计算产生像素P(x，y)对应的相应插值位置CP(如图5中所示)的水平位置HP(x)和竖直位置VP(y)。加法器420将一个水平高频位置调整分量HHFPA和水平位置HP(x)相加得到一个高频调整水平位置HFAHP。加法器420也将一个竖直高频位置调整分量VHFPA和竖直位置VP(y)相加得到一个高频调整竖直位置HFAVP。水平高频位置调整分量HHFPA和竖直高频位置调整分量VHFPA由下面要介绍的插值位置调整单元470提供。高频调整水平位置HFAHP和高频调整竖直位置HFAVP决定了高频调整位置HFAP的坐标(如图5中所示)。
图5描述了相应插值位置CP与高频调整位置HFAP间的关系。具体地说，相应插值位置CP的水平坐标为水平位置HP(x)，竖直坐标为竖直位置VP(y)，而高频调整位置HFAP的水平坐标为高频调整水平位置HFAHP，竖直坐标为高频调整竖直位置HFAVP。高频调整水平位置HFAHP等于水平位置HP(x)加水平高频位置调整分量HHFPA，即HFAHP＝HP(x)+HHFPA。高频调整竖直位置HFAVP等于竖直位置VP(y)加竖直高频位置调整分量VHFPA，即 HFAVP＝VP(y)+VHFPA。
回到图4，缩放单元430利用高频调整水平位置HFAHP，高频调整竖直位置HFAVP和视频缓存450中存储的原始图像像素数据产生一个中间结果像素IP(x，y)。缩放单元430中使用的具体的缩放方法不在本发明讨论的范围之内。例如，基于本发明的某些实施例可使用双线性缩放方法，基于本发明的另一些实施例可使用零阶缩放方法，而基于本发明的还有一些实施例可使用双三次多项式，样条或其他方法。在基于本发明的大多数实施例中，缩放单元430利用高频调整水平位置HFAHP和高频调整竖直位置HFAVP产生中间结果像素IP(x，y)的亮度值和色度值。而在基于本发明的某些实施例中，中间结果像素IP(x，y)的色度值可以利用水平位置HP(x)和竖直位置VP(y)来产生。
加法器440将一个清晰度补偿值S_C和中间结果像素IP(x，y)的亮度值相加得到缩放后图像像素P(x，y)的亮度值。清晰度补偿值S_C由清晰度补偿单元480按下面介绍的方法产生。中间结果像素IP(x，y)的色度值不受清晰度补偿值S_C的影响。
局部高频分量计算单元460计算产生相应插值位置CP周围像素处的高频分量。为清楚起见，图6表示了相应插值位置CP周围像素的排列。具体地说，离相应插值位置CP最近的4个像素为P6，P7，P10和P11，其中P6处于相应插值位置CP的左上方，P7处于相应插值位置CP的右上方，P10处于相应插值位置CP的左下方，P11处于相应插值位置CP的右下方。而且，相应插值位置CP周围的下一圈12个像素为P1，P2，P3，P4，P5，P8，P9，P12，P13，P14，P15和P16。P1到P16共16个像素在相应插值位置CP周围排列成一个4×4的阵列。相应插值位置CP在水平方向上离P6的距离为H_O，在竖直方向上离P6的距离为V_O。若相应插值位置CP与一个像素重合，则该像素被设为像素P6，而这种情况下H_O和V_O均为零。
局部高频分量计算单元460计算产生相应插值位置CP周围最近的4个像素，即P6，P7，P10和P11处的局部高频分量。计算产生局部高频分量有多种方法。具体地说，在一个像素处的局部高频分量即为该处信号经高通滤波后的结果。因此，例如拉普拉斯算子或高斯差(Difference of Gaussian)算子等高通滤波算子均可用来求取局部高频分量。在基于本发明的某些实施例中，局部高频分量计算单元460在像素P6，P7，P10和P11处分别计算产生一个水平局部高频分量和一个竖直局部高频分量。在基于本发明的一个具体实施例中，一个像素处的水平局部高频分量等于该像素亮度值的两倍减去其左方相邻像素的亮度值再减去其右方相邻像素的亮度值。例如，像素P6处的水平局部高频分量(即HHFC6)就等于P6亮度值的两倍减去像素P5的亮度值再减去像素P7的亮度值。为清楚起见，像素Pt的亮度值表示为Yt。例如，像素P6的亮度值为Y6。方程EQ1a，EQ2a，EQ3a和EQ4a给出了在这种基于本发明的具体实施例中像素P6，P7，P10和P11处水平局部高频分量HHFC6，HHFC7，HHFC10和HHFC11的表达式。
HFC6＝2*Y6-Y5-Y7(EQ1a) HHFC7＝2*Y7-Y6-Y8 (EQ2a) HHFC10＝2*Y10-Y9-Y11(EQ3a) HHFC11＝2*Y11-Y10-Y12 (EQ4a)
在利用方程EQ1a，EQ2a，EQ3a和EQ4a的这种基于本发明的具体实施例中，一个像素处的竖直局部高频分量被定义为该像素亮度值的两倍减去其上方相邻像素的亮度值再减去其下方相邻像素的亮度值。例如，像素P6处的竖直局部高频分量(即VHFC6)就等于P6亮度值的两倍减去像素P2的亮度值再减去像素P10的亮度值。方程EQ1b，EQ2b，EQ3b和EQ4b给出了在这种基于本发明的具体实施例中像素P6，P7，P10和P11处竖直局部高频分量VHFC6，VHFC7，VHFC10和VHFC11的表达式。
VHFC6＝2*Y6-Y2-Y10 (EQ1b) VHFC7＝2*Y7-Y3-Y11 (EQ2b) VHFC10＝2*Y10-Y6-Y14 (EQ3b) VHFC11＝2*Y11-Y7-Y15 (EQ4b)
如上所述，一个像素处的局部高频分量信息可以通过多种方法来产生。方程EQ1a，EQ2a，EQ3a，EQ4a，EQ1b，EQ2b，EQ3b和EQ4b只是基于本发明的一个具体实施例中使用的方法。一个本领域熟练的技术人员可以方便地利用本发明中介绍的方法定义其他计算产生局部高频分量的表达式。
在一个图像的边缘处或边缘附近，某些局部高频分量可能无法定义。例如，在一个图像的底部，像素P13，P14，P15和P16并不存在，从而无法计算产生竖直局部高频分量。在大多数基于本发明的实施例中，当某些局部高频分量无法定义时，高频调整位置HFAP就与相应插值位置CP重合。
由局部高频分量计算单元460产生的高频分量信息(HFCs)被提供给插值位置调整单元470和清晰度补偿单元480。插值位置调整单元470计算产生水平高频位置调整分量HHFPA和竖直高频位置调整分量VHFPA。如前所述，高频调整位置HFAP在水平方向上由相应插值位置向水平高频分量较高的方向移动，而在竖直方向上由相应插值位置向竖直高频分量较高的方向移动。因此，插值位置调整单元470提供了水平高频位置调整分量HHFPA和竖直高频位置调整分量VHFPA。
为产生水平高频位置调整分量HHFPA，插值位置调整单元470先计算产生一个左高频分量LHFC。LHFC等于相应插值位置CP左方离其最近的两个像素处的水平局部高频分量的一个线性组合，即像素P6和P10处水平局部高频分量的一个线性组合。具体地说，左高频分量LHFC等于像素P6处水平局部高频分量HHFC6与1减去V_O的差的乘积加上像素P10处水平局部高频分量HHFC10与V_O的乘积。方程EQ5给出了LHFC的表达式。
LHFC＝HHFC6*(1-V_O)+HHFC10*V_O(EQ5)
类似地，插值位置调整单元470还计算产生一个右高频分量RHFC。RHFC等于相应插值位置CP右方离其最近的两个像素处的水平局部高频分量的一个线性组合，即像素P7和P11处水平局部高频分量的一个线性组合。具体地说，右高频分量RHFC等于像素P7处水平局部高频分量HHFC7与1减去V_O的差的乘积加上像素P11处水平局部高频分量HHFC11与V_O的乘积。方程EQ6给出了RHFC的表达式。
RHFC＝HHFC7*(1-V_O)+HHFC11*V_O(EQ6)
如前所述，高频调整位置HFAP在水平方向上由相应插值位置向水平高频分量较高的方向移动。一个水平高频分量的大小被定义为该水平高频分量的绝对值。因此，当右高频分量RHFC的绝对值大于左高频分量LHFC的绝对值时，高频调整位置HFAP将在水平方向上由相应插值位置CP向右移动，而当右高频分量RHFC的绝对值小于左高频分量LHFC的绝对值时，高频调整位置HFAP将在水平方向上由相应插值位置CP向左移动。然而，当右高频分量RHFC的绝对值等于左高频分量LHFC的绝对值时，高频调整位置HFAP相对于相应插值位置CP不发生水平方向上的移动，即水平高频位置调整分量HHFPA为零。
水平高频位置调整分量的大小与左右高频分量绝对值的差的绝对值成正比。插值位置调整单元470产生一个水平高频差量HHFD，HHFD等于右高频分量RHFC的绝对值与左高频分量LHFC的绝对值的差的绝对值。方程EQ7给出了HHFD的表达式。
HHFD＝||RHFC|-|LHFC|| (EQ7)
在计算产生水平高频位置调整分量HHFPA时，我们提供了两个用户可调的控制参数。第一个参数是一个高频差量阈值HFDT，用以规定水平高频差量HHFD的上限。具体地说，如果水平高频差量HHFD大于高频差量阈值HFDT时，水平高频差量HHFD就被重置为高频差量阈值HFDT。在稍后的介绍中会看到，由于高频差量阈值HFDT将作为一个除数，所以为实现水平高频位置调整分量HHFPA的计算方便，HFDT通常可选取为2的幂指数的形式。另一种方法是引入另一个用户可调寄存器存储HFDT的倒数，即1/HFDT的数值，从而用与HFDT的倒数的乘积来取代相应HFDT的除法运算。在基于本发明的一种实施例中，HFDT的缺省值为16。
第二个用户可调的控制参数是一个插值点调整参数IPAP，其范围从0到1，包含0和1。IPAP被用来进一步控制高频调整位置HFAP的产生。高频位置调整分量的大小与IPAP成正比。当插值点调整参数IPAP为零时，不发生位置的调整。通常，IPAP被设置为缺省值0.5。
水平位置调整大小MHPA等于水平比例因子HSF乘以插值点调整参数IPAP，再乘以水平高频差量HHFD(HHFD已经过HFDT限幅)，再除以高频差量阈值HFDT。如前所述，对高频差量阈值HFDT的除法运算可以通过HFDT的倒数的乘法运算来进行(HFDT的倒数可由一个用户可调的寄存器设置)。方程EQ8给出了MHPA的表达式，其中的水平比例因子HSF相当于缩放后图像中水平相邻的两个像素在原始图像中的“水平步长”。
MHPA＝HSF*IPAP*(HHFD/HFDT)(EQ8)
当右高频分量RHFC的绝对值大于左高频分量LHFC的绝对值时，高频调整位置HFAP将在水平方向上由相应插值位置CP向右移动。然而，在基于本发明的大多数实施例中，高频调整位置HFAP不应超出像素P6，P7，P10和P11的矩形范围，以避免需要引入额外的像素数据进行插值。例如，如果高频调整位置HFAP被移动到像素P10和P11之下，那么相应的插值运算将需要像素P14和P15下方的像素，即需要一条额外的视频行缓存。因此，当右高频分量RHFC的绝对值大于左高频分量LHFC的绝对值，并且1减去H_O的差大于或等于水平位置调整大小MHPA时，水平高频位置调整分量HHFPA等于水平位置调整大小MHPA。而当右高频分量RHFC的绝对值大于左高频分量LHFC的绝对值，并且1减去H_O的差小于水平位置调整大小MHPA时，那么水平高频位置调整分量HHFPA等于1减去H_O。
相反地，当右高频分量RHFC的绝对值小于左高频分量LHFC的绝对值时，高频调整位置HFAP将在水平方向上由相应插值位置CP向左移动。然而，如前所述高频调整位置HFAP不应超出像素P6和P10。因此，当右高频分量RHFC的绝对值小于左高频分量LHFC的绝对值，并且H_O大于或等于水平位置调整大小MHPA时，水平高频位置调整分量HHFPA等于水平位置调整大小MHPA乘以负一。而当右高频分量RHFC的绝对值小于左高频分量LHFC的绝对值，并且H_O小于水平位置调整大小MHPA时，那么水平高频位置调整分量HHFPA等于H_O乘以负一。
当右高频分量RHFC的绝对值等于左高频分量LHFC的绝对值时，不发生水平方向的位置调整，即水平高频位置调整分量HHFPA等于零。
表1中给出了产生水平高频位置调整分量HHFPA的伪码程序。
表1. { IF|LHFC|＞|RHFC|then { IFH_O＞＝MHPA then HHFPA＝-MHPA ELSE HHFPA＝-H_O； } ELSE IF|LHFC|＜|RHFC|then {<!-- SIPO <DP n="9"> --><dp n="d9"/> IF(1-H_O)＞＝MHPA then HHFPA＝MHPA ELSE HHFPA＝(1-H_O)； } ELSE IF|LHFC|＝|RHFC|then HHFPA＝0 ； }
为计算产生竖直高频位置调整分量VHFPA，插值位置调整单元470先计算产生一个上高频分量THFC。THFC等于相应插值位置CP上方离其最近的两个像素处的竖直局部高频分量的一个线性组合，即像素P6和P7处竖直局部高频分量的一个线性组合。具体地说，上高频分量THFC等于像素P6处竖直局部高频分量VHFC6与1减去H_O的差的乘积加上像素P7处竖直局部高频分量VHFC7与H_O的乘积。方程EQ9给出了THFC的表达式。
THFC＝VHFC6*(1-H_O)+VHFC7*H_O(EQ9)
类似地，插值位置调整单元470还计算产生一个下高频分量BHFC。BHFC等于相应插值位置CP下方离其最近的两个像素处的竖直局部高频分量的一个线性组合，即像素P10和P11处竖直局部高频分量的一个线性组合。具体地说，下高频分量BHFC等于像素P10处竖直局部高频分量VHFC10与1减去H_O的差的乘积加上像素P11处竖直局部高频分量VHFC11与H_O的乘积。方程EQ10给出了BHFC的表达式。
BHFC＝VHFC10*(1-H_O)+VHFC11*H_O (EQ10)
如前所述，高频调整位置HFAP在竖直方向上由相应插值位置CP向竖直高频分量较高的方向移动。一个竖直高频分量的大小被定义为该竖直高频分量的绝对值。因此，当下高频分量BHFC的绝对值大于上高频分量THFC的绝对值时，高频调整位置HFAP将在竖直方向上由相应插值位置CP向下移动，而当下高频分量BHFC的绝对值小于上高频分量THFC的绝对值时，高频调整位置HFAP将在竖直方向上由相应插值位置CP向上移动。然而，当下高频分量BHFC的绝对值等于上高频分量THFC的绝对值时，高频调整位置HFAP相对于相应插值位置CP不发生竖直方向上的移动，即竖直高频位置调整分量VHFPA为零。
竖直高频位置调整分量的大小与上下高频分量绝对值的差的绝对值成正比。插值位置调整单元470产生一个竖直高频差量VHFD，VHFD等于下高频分量BHFC的绝对值与上高频分量THFC的绝对值的差的绝对值。方程EQ11给出了VHFD的表达式。
VHFD＝||BHFC|-|THFC||(EQ11)
与水平高频位置调整分量HHFPA的情况相似，高频差量阈值HFDT也被用来对竖直高频差量VHFD作限幅。具体地说，如果竖直高频差量VHFD大于高频差量阈值HFDT时，竖直高频差量VHFD就被重置为高频差量阈值HFDT。而且，插值点调整参数IPAP也被用来进一步控制高频调整位置HFAP在竖直方向上的调整。
竖直位置调整大小MVPA等于竖直比例因子VSF乘以插值点调整参数IPAP，再乘以竖直高频差量VHFD(VHFD已经过HFDT限幅)，再除以高频差量阈值HFDT。如前所述，对高频差量阈值HFDT的除法运算可以通过HFDT的倒数的乘法运算来进行(HFDT的倒数可由一个用户可调的寄存器设置)。方程EQ12给出了MVPA的表达式，其中的竖直比例因子VSF相当于缩放后图像中竖直相邻的两个像素在原始图像中的“竖直步长”。
MVPA＝VSF*IPAP*(VHFD/HFDT) (EQ12)
当下高频分量BHFC的绝对值大于上高频分量THFC的绝对值时，高频调整位置HFAP将在竖直方向上由相应插值位置CP向下移动。然而，如前所述在基于本发明的大多数实施例中，高频调整位置HFAP不应超出像素P6，P7，P10和P11的矩形范围，以避免需要引入额外的像素数据进行插值。因此，当下高频分量BHFC的绝对值大于上高频分量THFC的绝对值，并且1减去V_O的差大于或等于竖直位置调整大小MVPA时，竖直高频位置调整分量VHFPA等于竖直位置调整大小MVPA。而当下高频分量BHFC的绝对值大于上高频分量THFC的绝对值，并且1减去V_O的差小于竖直位置调整大小MVPA时，那么竖直高频位置调整分量VHFPA等于1减去V_O。
相反地，当下高频分量BHFC的绝对值小于上高频分量THFC的绝对值时，高频调整位置HFAP将在竖直方向上由相应插值位置CP向上移动。然而，如前所述高频调整位置HFAP不应超出像素P6和P7。因此，当下高频分量BHFC的绝对值小于上高频分量THFC的绝对值，并且V_O大于或等于竖直位置调整大小MVPA时，竖直高频位置调整分量VHFPA等于竖直位置调整大小MVPA乘以负一。而当下高频分量BHFC的绝对值小于上高频分量THFC的绝对值，并且V_O小于竖直位置调整大小MVPA时，那么竖直高频位置调整分量VHFPA等于V_O乘以负一。
当下高频分量BHFC的绝对值等于上高频分量THFC的绝对值时，不发生竖直方向的位置调整，即竖直高频位置调整分量VHFPA等于零。
表2中给出了产生竖直高频位置调整分量VHFPA的伪码程序。
表2. {IF|THFC|＞|BHFC|then{IFV_O＞＝MVPA then VHFPA＝-MVPAELSE VHFPA＝-V_O；}ELSE IF|THFC|＜|BHFC|then{IF(1-V_O)＞＝MVPA then VHFPA＝MVPAELSE VHFPA＝(1-V_O)；}ELSE IF|THFC|＝|BHFC|then VHFPA＝0；}
回到图4，其中的清晰度补偿单元480从局部高频分量计算单元460接收各种高频分量计算结果，并从插值位置调整单元470接收水平高频位置调整分量HHFPA和竖直高频位置调整分量VHFPA，及接收一个用户可调的清晰度控制参数SCP，产生清晰度补偿值S_C给加法器440。具体地说，清晰度补偿单元480所产生的清晰度补偿值S_C等于清晰度控制参数SCP乘以一个像素P6，P7，P10和P11的高频分量在高频调整位置HFAP处的插值。例如，在基于本发明的一种实施例中，该插值使用零阶的方法，故清晰度补偿值S_C等于清晰度控制参数SCP乘以离高频调整位置HFAP最近的像素处的各高频分量的和。基于本发明的另一种实施例使用双线性插值，即清晰度补偿值S_C等于清晰度控制参数SCP乘以像素P6，P7，P10和P11的高频分量在高频调整位置HFAP处的双线性插值。方程EQ13给出了利用双线性插值计算清晰度补偿值S_C的表达式。
S_C＝SCP*[(V_O+VHFPA)*(HHFC10+VHFC10- HHFC6-VHFC6)+ (H_O+HHFPA)*(V_O+VHFPA)* (HHFC6+VHFC6+HHFC11+VHFC11-(EQ13) HHFC7-VHFC7-HHFC10-VHFC10)+ (H_O+HHFPA)*(HHFC7+VHFC7- HHFC6-VHFC6)+HHFC6+VHFC6] 用户也可选用更高阶的插值方法来产生清晰度补偿值S_C。而选用更高阶的插值方法来可能会需要额外的像素。
理论上讲清晰度控制参数SCP可以为任何实数。然而为了简化清晰度补偿单元480的实现，SCP通常会被限制在一个较小的范围内，如-8到8。正的清晰度控制参数SCP可增强结果图像的清晰度，而负的清晰度控制参数SCP可降低结果图像的清晰度。所以，在图像缩放器400对一个图像进行放大操作时，清晰度控制参数SCP通常取为正值以提高清晰度克服前面提到的图像模糊化的问题。而在图像缩放器400对一个图像进行缩小操作时，清晰度控制参数SCP通常取为负值以降低清晰度克服前面提到的图像颗粒化的问题。将清晰度控制参数SCP设置为零使清晰度补偿值S_C等于零，等效于将清晰度补偿功能关闭。
在基于本发明的某些实施例中，清晰度补偿单元480中包含一个清晰度补偿阈值SCT，用以限制清晰度补偿值S_C的幅度。具体地说，当清晰度补偿值S_C大于清晰度补偿阈值SCT时，清晰度补偿值S_C将被重置为清晰度补偿阈值SCT的值。而当清晰度补偿值S_C小于清晰度补偿阈值SCT与负一的乘积时，清晰度补偿值S_C将被重置为清晰度补偿阈值SCT与负一的乘积。基于本发明的某些实施例还引入了一个清晰度补偿死区控制参数SCCT。当清晰度补偿值S_C大于清晰度补偿死区控制参数SCCT与负一的乘积而小于SCCT时，S_C被设置为零。清晰度补偿死区控制参数SCCT可以起到防止噪音影响的作用。
在基于本发明的各种方法中，我们对视频图像缩放过程中的清晰度调整进行了描述。如上描述的基于本发明的各种方法与结构只作说明与描述用途，并不限制本发明的应用范围。例如，在阅读本文件后一个本领域熟练的工程师可以依照本发明所介绍的原则自行定义其它的缩放算法，高频分量，缩放单元，插值位置调整单元，清晰度补偿单元和视频缓存，等等，以及运用这些定义重新设计以实现基于本发明的方法、电路与系统。因此，本发明仅由权利要求所限定。
权利要求
1.一种图像缩放方法，该方法包括
针对缩放后图像中的一个当前像素，计算产生位于原始图像中的一个相应插值位置，该相应插值位置包含一个水平位置和一个竖直位置；
对缩放后图像中的当前像素计算产生位于原始图像中的一个高频调整位置，该高频调整位置包含一个高频调整水平位置和一个高频调整竖直位置；及
利用高频调整位置产生当前像素的像素值。
2.根据权利要求1中所述的图像缩放方法，其特征在于其中的高频调整位置在水平方向上由相应插值位置向水平高频分量较高的方向移动。
3.根据权利要求2中所述的图像缩放方法，其特征在于其中的高频调整位置在竖直方向上由相应插值位置向竖直高频分量较高的方向移动。
4.根据权利要求1中所述的图像缩放方法，其特征在于其中的对缩放后图像中的当前像素计算产生位于原始图像中的一个高频调整位置的操作进一步包括计算产生一个左高频分量和一个右高频分量。
5.根据权利要求4中所述的图像缩放方法，其特征在于在右高频分量的绝对值大于左高频分量的绝对值时，高频调整水平位置处于水平位置的右方。
6.根据权利要求5中所述的图像缩放方法，其特征在于在左高频分量的绝对值大于右高频分量的绝对值时，高频调整水平位置处于水平位置的左方。
7.根据权利要求6中所述的图像缩放方法，其特征在于在左高频分量的绝对值等于右高频分量的绝对值时，高频调整水平位置处于水平位置。
8.根据权利要求4中所述的图像缩放方法，其特征在于进一步包括计算产生一个水平高频差量，该水平高频差量等于右高频分量的绝对值与左高频分量的绝对值的差的绝对值。
9.根据权利要求8中所述的图像缩放方法，其特征在于高频调整水平位置与水平位置之间的水平距离和其中的水平高频差量成正比。
10.根据权利要求4中所述的图像缩放方法，其特征在于其中的对缩放后图像中的当前像素计算产生位于原始图像中的一个高频调整位置的操作进一步包括计算产生一个上高频分量和一个下高频分量。
11.根据权利要求10中所述的图像缩放方法，其特征在于
在上高频分量的绝对值大于下高频分量的绝对值时，其中的高频调整竖直位置处于竖直位置的上方；
在下高频分量的绝对值大于上高频分量的绝对值时，其中的高频调整竖直位置处于竖直位置的下方；
在上高频分量的绝对值等于下高频分量的绝对值时，其中的高频调整竖直位置处于竖直位置。
12.根据权利要求10中所述的图像缩放方法，其特征在于进一步包括计算产生一个竖直高频差量，该竖直高频差量等于上高频分量的绝对值与下高频分量的绝对值的差的绝对值。
13.根据权利要求12中所述的图像缩放方法，其特征在于高频调整竖直位置与竖直位置之间的竖直距离和其中的竖直高频差量成正比。
14.根据权利要求1中所述的图像缩放方法，其特征在于其中的对缩放后图像中的当前像素计算产生位于原始图像中的一个高频调整位置的操作进一步包括计算产生一个上高频分量和一个下高频分量。
15.根据权利要求14中所述的图像缩放方法，其特征在于
在上高频分量的绝对值大于下高频分量的绝对值时，其中的高频调整竖直位置处于竖直位置的上方；
在下高频分量的绝对值大于上高频分量的绝对值时，其中的高频调整竖直位置处于竖直位置的下方；
在上高频分量的绝对值等于下高频分量的绝对值时，其中的高频调整竖直位置处于竖直位置。
16.根据权利要求1中所述的图像缩放方法，其特征在于其中的对缩放后图像中的当前像素计算产生位于原始图像中的一个高频调整位置的操作进一步包括
计算产生一个水平高频位置调整分量；及
计算产生一个竖直高频位置调整分量。
17.根据权利要求16中所述的图像缩放方法，其特征在于其中的水平高频位置调整分量等于高频调整水平位置减去水平位置，而竖直高频位置调整分量等于高频调整竖直位置减去竖直位置。
18.根据权利要求16中所述的图像缩放方法，其特征在于进一步包括计算产生一系列高频分量。
19.根据权利要求18中所述的图像缩放方法，其特征在于其中的一系列高频分量包含一系列水平高频分量和一系列竖直高频分量。
20.根据权利要求19中所述的图像缩放方法，其特征在于
其中的相应插值位置被限定在一个由四个原始图像像素构成的范围内，其中的第一像素处于相应插值位置的左上方，第二像素处于相应插值位置的右上方，第三像素处于相应插值位置的左下方，第四像素处于相应插值位置的右下方；
其中的一系列竖直高频分量包含一个第一竖直高频分量，一个第二竖直高频分量，一个第三竖直高频分量和一个第四竖直高频分量，它们分别对应于第一像素，第二像素，第三像素和第四像素；及
其中的一系列水平高频分量包含一个第一水平高频分量，一个第二水平高频分量，一个第三水平高频分量和一个第四水平高频分量，它们分别对应于第一像素，第二像素，第三像素和第四像素。
21.根据权利要求20中所述的图像缩放方法，其特征在于其中的对缩放后图像中的当前像素计算产生位于原始图像中的一个高频调整位置的操作进一步包括计算产生一个左高频分量和一个右高频分量，其中左高频分量等于第一水平高频分量和第三水平高频分量的一个第一加权和，而右高频分量等于第二水平高频分量和第四水平高频分量的一个第二加权和。
22.根据权利要求21中所述的图像缩放方法，其特征在于
在右高频分量的绝对值大于左高频分量的绝对值时，其中的高频调整水平位置处于水平位置的右方；
在左高频分量的绝对值大于右高频分量的绝对值时，其中的高频调整水平位置处于水平位置的左方；及
在左高频分量的绝对值等于右高频分量的绝对值时，其中的高频调整水平位置处于水平位置。
23.根据权利要求22中所述的图像缩放方法，其特征在于进一步包括计算产生一个水平高频差量，该水平高频差量等于右高频分量的绝对值与左高频分量的绝对值的差的绝对值。
24.根据权利要求23中所述的图像缩放方法，其特征在于高频调整水平位置与水平位置之间的水平距离和其中的水平高频差量成正比。
25.根据权利要求20中所述的图像缩放方法，其特征在于其中的对缩放后图像中的当前像素计算产生位于原始图像中的一个高频调整位置的操作进一步包括计算产生一个上高频分量和一个下高频分量，其中上高频分量等于第一竖直高频分量和第二竖直高频分量的一个第一加权和，而下高频分量等于第三竖直高频分量和第四竖直高频分量的一个第二加权和。
26.根据权利要求25中所述的图像缩放方法，其特征在于
在上高频分量的绝对值大于下高频分量的绝对值时，其中的高频调整竖直位置处于竖直位置的上方；
在下高频分量的绝对值大于上高频分量的绝对值时，其中的高频调整竖直位置处于竖直位置的下方；
在上高频分量的绝对值等于下高频分量的绝对值时，其中的高频调整竖直位置处于竖直位置。
27.根据权利要求26中所述的图像缩放方法，其特征在于进一步包括计算产生一个竖直高频差量，该竖直高频差量等于上高频分量的绝对值与下高频分量的绝对值的差的绝对值。
28.根据权利要求27中所述的图像缩放方法，其特征在于高频调整竖直位置与竖直位置之间的竖直距离和其中的竖直高频差量成正比。
29.根据权利要求1中所述的图像缩放方法，其特征在于其中的像素值包含一个像素亮度值，及进一步包含将一个清晰度补偿值加入像素亮度值。
30.根据权利要求29中所述的图像缩放方法，其特征在于其中的清晰度补偿值与相应插值位置附近的一系列像素处的高频分量在高频调整位置处的插值成正比。
31.根据权利要求30中所述的图像缩放方法，其特征在于其中的一系列像素包含离相应插值位置最近的四个像素。
32.根据权利要求30中所述的图像缩放方法，其特征在于其中的一系列像素包含一个处于相应插值位置的左上方的第一像素，一个处于相应插值位置的右上方的第二像素，一个处于相应插值位置的左下方的第三像素，及一个处于相应插值位置的右下方的第四像素。
33.根据权利要求29中所述的图像缩放方法，其特征在于其中的清晰度补偿值等于一个清晰度补偿参数乘以离相应插值位置最近的四个像素处的高频分量在高频调整位置处的双线性插值。
34.一种图像缩放器系统，用以由一个原始图像产生一个缩放后图像，该系统包括
针对缩放后图像中的一个当前像素，计算产生位于原始图像中的一个相应插值位置的装置，该相应插值位置包含一个水平位置和一个竖直位置；
对缩放后图像中的当前像素计算产生位于原始图像中的一个高频调整位置的装置，该高频调整位置包含一个高频调整水平位置和一个高频调整竖直位置；及
利用高频调整位置产生当前像素的像素值的装置。
35.根据权利要求34中所述的图像缩放器系统，其特征在于其中的高频调整位置在水平方向上由相应插值位置向水平高频分量较高的方向移动。
36.根据权利要求35中所述的图像缩放器系统，其特征在于其中的高频调整位置在竖直方向上由相应插值位置向竖直高频分量较高的方向移动。
37.根据权利要求34中所述的图像缩放器系统，其特征在于其中的对缩放后图像中的当前像素计算产生位于原始图像中的一个高频调整位置的装置进一步包括计算产生一个左高频分量和一个右高频分量的装置。
38.根据权利要求37中所述的图像缩放器系统，其特征在于
在右高频分量的绝对值大于左高频分量的绝对值时，其中的高频调整水平位置处于水平位置的右方；
在左高频分量的绝对值大于右高频分量的绝对值时，其中的高频调整水平位置处于水平位置的左方；及
在左高频分量的绝对值等于右高频分量的绝对值时，其中的高频调整水平位置处于水平位置。
39.权利要求37中所述的图像缩放器系统进一步包括计算产生一个水平高频差量的装置，该水平高频差量等于右高频分量的绝对值与左高频分量的绝对值的差的绝对值。
40.根据权利要求39中所述的图像缩放器系统，其特征在于高频调整水平位置与水平位置之间的水平距离和其中的水平高频差量成正比。
41.根据权利要求37中所述的图像缩放器系统，其特征在于其中的对缩放后图像中的当前像素计算产生位于原始图像中的一个高频调整位置的装置进一步包括计算产生一个上高频分量和一个下高频分量的装置。
42.根据权利要求41中所述的图像缩放器系统，其特征在于
在上高频分量的绝对值大于下高频分量的绝对值时，其中的高频调整竖直位置处于竖直位置的上方；
在下高频分量的绝对值大于上高频分量的绝对值时，其中的高频调整竖直位置处于竖直位置的下方；
在上高频分量的绝对值等于下高频分量的绝对值时，其中的高频调整竖直位置处于竖直位置。
43.权利要求41中所述的图像缩放器系统进一步包括计算产生一个竖直高频差量的装置，该竖直高频差量等于上高频分量的绝对值与下高频分量的绝对值的差的绝对值。
44.根据权利要求43中所述的图像缩放器系统，其特征在于高频调整竖直位置与竖直位置之间的竖直距离和其中的竖直高频差量成正比。
45.根据权利要求34中所述的图像缩放器系统，其特征在于其中的对缩放后图像中的当前像素计算产生位于原始图像中的一个高频调整位置的装置进一步包括
计算产生一个水平高频位置调整分量的装置；及
计算产生一个竖直高频位置调整分量的装置。
46.根据权利要求45中所述的图像缩放器系统，其特征在于其中的水平高频位置调整分量等于高频调整水平位置减去水平位置，而竖直高频位置调整分量等于高频调整竖直位置减去竖直位置。
47.权利要求46中所述的图像缩放器系统进一步包括计算产生一系列高频分量的装置。
48.根据权利要求47中所述的图像缩放器系统，其特征在于其中的一系列高频分量包含一系列水平高频分量和一系列竖直高频分量。
49.根据权利要求48中所述的图像缩放器系统，其特征在于
其中的相应插值位置被限定在一个由四个原始图像像素构成的范围内，其中的第一像素处于相应插值位置的左上方，第二像素处于相应插值位置的右上方，第三像素处于相应插值位置的左下方，及第四像素处于相应插值位置的右下方；
其中的一系列竖直高频分量包含一个第一竖直高频分量，一个第二竖直高频分量，一个第三竖直高频分量和一个第四竖直高频分量，它们分别对应于第一像素，第二像素，第三像素和第四像素；及
其中的一系列水平高频分量包含一个第一水平高频分量，一个第二水平高频分量，一个第三水平高频分量和一个第四水平高频分量，它们分别对应于第一像素，第二像素，第三像素和第四像素。
50.根据权利要求49中所述的图像缩放器系统，其特征在于其中的对缩放后图像中的当前像素计算产生位于原始图像中的一个高频调整位置的装置进一步包括
计算产生一个左高频分量和一个右高频分量的装置，其中左高频分量等于第一水平高频分量和第三水平高频分量的一个第一加权和，而右高频分量等于第二水平高频分量和第四水平高频分量的一个第二加权和；及
计算产生一个上高频分量和一个下高频分量的装置，其中上高频分量等于第一竖直高频分量和第二竖直高频分量的一个第一加权和，而下高频分量等于第三竖直高频分量和第四竖直高频分量的一个第二加权和。
51.根据权利要求50中所述的图像缩放器系统，其特征在于
在右高频分量的绝对值大于左高频分量的绝对值时，其中的高频调整水平位置处于水平位置的右方；
在左高频分量的绝对值大于右高频分量的绝对值时，其中的高频调整水平位置处于水平位置的左方；及
在左高频分量的绝对值等于右高频分量的绝对值时，其中的高频调整水平位置处于水平位置。
在上高频分量的绝对值大于下高频分量的绝对值时，其中的高频调整竖直位置处于竖直位置的上方；
在下高频分量的绝对值大于上高频分量的绝对值时，其中的高频调整竖直位置处于竖直位置的下方；及
在上高频分量的绝对值等于下高频分量的绝对值时，其中的高频调整竖直位置处于竖直位置。
52.权利要求41中所述的图像缩放器系统进一步包括
计算产生一个水平高频差量的装置，该水平高频差量等于右高频分量的绝对值与左高频分量的绝对值的差的绝对值。
计算产生一个竖直高频差量的装置，该竖直高频差量等于上高频分量的绝对值与下高频分量的绝对值的差的绝对值。
53.根据权利要求52中所述的图像缩放器系统，其特征在于高频调整水平位置与水平位置之间的水平距离和其中的水平高频差量成正比，而高频调整竖直位置与竖直位置之间的竖直距离和其中的竖直高频差量成正比。
54.根据权利要求34中所述的图像缩放器系统，其特征在于其中的像素值包含一个像素亮度值，及进一步包含将一个清晰度补偿值加入像素亮度值的装置。
55.根据权利要求54中所述的图像缩放器系统，其特征在于其中的清晰度补偿值与相应插值位置附近的一系列像素处的高频分量在高频调整位置处的插值成正比。
56.根据权利要求55中所述的图像缩放器系统，其特征在于其中的一系列像素包含一个处于相应插值位置的左上方的第一像素，一个处于相应插值位置的右上方的第二像素，一个处于相应插值位置的左下方的第三像素，及一个处于相应插值位置的右下方的第四像素。
57.根据权利要求54中所述的图像缩放器系统，其特征在于其中的清晰度补偿值等于一个清晰度补偿参数乘以离相应插值位置最近的四个像素处的高频分量在高频调整位置处的双线性插值。
58.一种图像缩放器系统，用以由一个原始图像产生一个缩放后图像，该系统包括
一个相应插值位置计算单元，用以针对缩放后图像中的一个当前像素，计算产生位于原始图像中的一个相应插值位置，该相应插值位置包含一个水平位置和一个竖直位置；
一个插值位置调整单元，用以计算产生一个水平高频位置调整分量和一个竖直高频位置调整分量；
一个与相应插值位置计算单元和插值位置调整单元相联的第一加法器，用以针对缩放后图像中的当前像素，计算产生位于原始图像中的一个高频调整位置，该高频调整位置包含一个高频调整水平位置和一个高频调整竖直位置，其中高频调整水平位置等于水平位置加上水平高频位置调整分量，而高频调整竖直位置等于竖直位置加上竖直高频位置调整分量；及
一个缩放单元，用以利用高频调整位置计算产生当前像素的像素值。
59.根据权利要求58中所述的图像缩放器系统，其特征在于其中的高频调整位置在水平方向上由相应插值位置向水平高频分量较高的方向移动。
60.根据权利要求59中所述的图像缩放器系统，其特征在于其中的高频调整位置在竖直方向上由相应插值位置向竖直高频分量较高的方向移动。
61.根据权利要求58中所述的图像缩放器系统，其特征在于进一步包括一个与插值位置调整单元相联的局部高频分量计算单元。
62.根据权利要求61中所述的图像缩放器系统，其特征在于其中的局部高频分量计算单元计算产生原始图像中一系列像素处的高频分量。
63.根据权利要求61中所述的图像缩放器系统，其特征在于进一步包括一个与局部高频分量计算单元相联的清晰度补偿单元。
64.根据权利要求63中所述的图像缩放器系统，其特征在于其中的清晰度补偿单元计算产生与当前像素相对应的一个清晰度补偿值。
65.根据权利要求64中所述的图像缩放器系统，其特征在于进一步包括一个与缩放单元和清晰度补偿单元相联的第二加法器。
66.根据权利要求65中所述的图像缩放器系统，其特征在于其中的第二加法器用以将清晰度补偿值加入当前像素的像素值。
全文摘要
本发明提供了一种对视频图像进行缩放的方法与系统。该方法与系统利用一个处于原始图像中的高频调整位置而不是传统的相应插值位置来产生缩放后图像的像素值。高频调整位置是基于相应插值位置附近像素的高频信息计算得到的。与由传统的相应插值位置产生的缩放后图像的像素值相比，由高频调整位置产生的缩放后图像的像素值可以提高缩放后图像的品质。而且，基于本发明的某些方法与系统还通过对清晰度的补偿进一步提高缩放后图像的品质。
文档编号H04N5/14GK1684497SQ20051002433
公开日2005年10月19日 申请日期2005年3月11日 优先权日2005年3月11日
发明者朱舸, 张琦, 张杰德 申请人:华亚微电子(上海)有限公司