图像处理装置、图像捕捉装置和图像处理方法与流程

本发明涉及用于锐化由图像捕捉产生的图像的技术。

背景技术：

通过光学系统的图像捕捉提供了根据光学系统的点扩展函数(PSF)的随着点像的扩展(模糊)而劣化的捕捉的图像。

另一方面，已知如下的反锐化掩模处理：该反锐化掩模处理将反锐化掩模应用于作为捕捉的图像的输入图像以产生反锐化图像，并且通过使用通过向输入图像相加反锐化图像与输入图像之间的差异或从输入图像中减去该差异而得到的校正分量来锐化输入图像。这种反锐化掩模处理进一步锐化了输入图像的与反锐化图像的差异较大的图像区域。

然而，使用旋转对称滤波器作为反锐化掩模的常规反锐化掩模处理使得难以锐化由于具有诸如不对称像差和矢状光环(sagittal halo)之类的复杂形状的PSF而劣化的模糊图像。就是说，校正在方位方向上生成的大像差导致在生成小像差的另一方位方向上的下冲(undershoot)，并且减小下冲使得不可能充分校正大像差。

日本专利特开No.2010-081263公开了向布置在像高方向(即，在子午方位方向)上的像素信号行应用一维不对称滤波器以减小PSF的影响的方法。

此外，在天体物理学中，使用莫法特(Moffat)函数来拟合测光天文体。

Sebastian Berisha、James Nagy、Robert J.Plemmons的“Estimation of Atmospheric PSF Parameters for Hyperspectral Imaging”公开了通过使用通过椭圆化莫法特函数产生的椭圆莫法特函数来对PSF建模的方法。使用这种函数来拟合光学系统的PSF使得能够使用系数来近似PSF。

然而，日本专利特开No.2010-081263中公开的方法仅考虑像高方向上的不对称性并且使用一维校正滤波器，这不能改善除像高方向之外的方向上的不对称性。此外，该方法通过负抽头系数的数量来调整校正滤波器的不对称性，使得其在像高方向上的不对称性不满足由光学系统的PSF造成的模糊，这无法充分地锐化像素信号行。此外，在Sebastian Berisha、James Nagy、Robert J.Plemmons的“Estimation of Atmospheric PSF Parameters for Hyperspectral Imaging”中公开的椭圆莫法特函数无法再现复杂形状，诸如光学系统的不对称像差和矢状光环。

技术实现要素：

本发明提供了能够充分地再现光学系统的复杂形状的PSF并且减少再现所需的数据量的图像处理装置等。

作为本发明的一个方面，其提供了图像处理装置，其被配置为对通过光学系统进行图像捕捉而产生的输入图像执行图像处理。该装置包括：第一分布生成器，被配置为通过使用用于近似点扩展函数的数据来产生第一分布，该点扩展函数对应于与图像捕捉有关的条件；第二分布生成器，被配置为通过镜像第一分布的一部分来产生第二分布；滤波器生成器，被配置为通过使用第二分布来产生要被用于锐化处理的第一滤波器；以及处理器，被配置为通过使用第一滤波器对输入图像执行锐化处理以产生锐化图像。

作为本发明的另一方面，其提供了图像捕捉装置，该图像捕捉装置包括：图像传感器，被配置为执行图像捕捉以用于产生输入图像；以及以上的图像处理装置。

作为本发明的另一方面，其提供了图像处理方法，用来对通过光学系统进行图像捕捉而产生的输入图像执行图像处理。该方法包括通过使用用于近似点扩展函数的数据来产生第一分布的步骤，该点扩展函数对应于与图像捕捉有关的条件，通过镜像第一分布的一部分来产生第二分布的步骤，通过使用第二分布来产生要被用于锐化处理的第一滤波器的步骤，以及通过使用第一滤波器对输入图像执行锐化处理以产生锐化图像的步骤。

本发明的另外特征和方面根据参考附图对示例性实施例的以下描述将变得清楚。

附图说明

图1是例示出本发明的实施例1至实施例3中的图像处理(锐化处理)的流程图。

图2是例示出每个实施例的图像捕捉装置的配置的框图。

图3A和图3B例示出每个实施例中的通过反锐化掩模处理的锐化。

图4A和图4B示意性地例示出每个实施例中的图像捕捉光学系统的PSF。

图5A至图5C示意性地例示出每个实施例中的使用旋转对称反锐化掩模的锐化。

图6A至图6C示意性地例示出每个实施例中的使用非旋转对称反锐化掩模的锐化。

图7A和图7B是每个实施例中的反锐化掩模的示意图和截面图。

图8示意性地例示出拜耳布置。

图9A至图9F是每个实施例中的可由函数表达的分布的等值线图。

图10是例示出每个实施例中的系数计算处理的流程图。

图11例示出每个实施例中的近似PSF和设计值的关系。

图12A至图12F例示出每个实施例中的椭圆分布的镜像处理。

图13A和图13B例示出每个实施例中的反锐化掩模的插值。

具体实施方式

下面将参考附图描述本发明的示例性实施例。

首先，在描述具体实施例之前，将描述这些实施例共有的特征。图3A和图3B示意性地例示出每个实施例中的作为反锐化掩模处理的锐化处理。在这些图中的每个中，横轴指示坐标，并且纵轴指示像素值或亮度值。在图3A中，实线指示由通过图像捕捉光学系统的图像捕捉而产生的输入图像(捕捉的图像)，断线指示通过使用反锐化掩模使输入图像反锐化而产生的反锐化图像，并且点线指示锐化之后的锐化图像。在图3B中，实线指示与输入图像和反锐化图像之间的差异相对应的校正分量。图3A和图3B例示出稍后描述的图4A和图4B中的x方向上的部分。

当f(x，y)表示输入图像并且h(x，y)表示校正分量时，锐化图像g(x，y)由以下表达式(1)表达。

g(x，y)＝f(x，y)+m×h(x，y) (1)

在表达式(1)中，m表示用于改变校正强度的调整系数。改变调整系数m的值使得能够调整校正量。调整系数m可以是固定的而不管输入图像中的位置如何，或者可以根据输入图像中的位置被改变以使被表达为m(x，y)。根据输入图像中的位置而改变的调整系数m使得能够根据位置来调整校正量。调整系数m可以根据在图像捕捉时设置的图像捕捉条件(诸如图像捕捉光学系统的焦距和F数以及图像捕捉距离(或物距))而改变。

校正分量h(x，y)由以下表达式(2)表达，其中USM(x，y)表示反锐化掩模。

h(x，y)＝f(x，y)-f(x，y)*USM(x，y) (2)

符号*表示卷积，并且USM(x，y)指示例如坐标(x，y)处的抽头值。

变换表达式(2)的右侧给出以下表达式(3)。

h(x，y)＝f(x，y)*(δ(x，y)-USM(x，y)) (3)

在表达式(3)中，δ表示delta函数。delta函数被表达为其抽头数等于USM(x，y)的抽头数并且其中心抽头值为1且其它抽头值为0的滤波器；该滤波器(第二滤波器)是基于理想的点像而产生的。

变换表达式(2)使得能够表达表达式(3)，以使得表达式(2)等价于表达式(3)。因此，在下文中将描述通过使用表达式(2)来产生校正分量。

表达式(2)取得输入图像f(x，y)与通过使用反锐化掩模对输入图像f(x，y)进行反锐化而产生的反锐化图像之间的差异，并基于该差异产生校正分量h(x，y)。典型的反锐化掩模处理使用诸如高斯滤波器、中值滤波器和移动平均滤波器之类的平滑滤波器作为反锐化掩模。例如，对于由图3A中的实线所示的输入图像f(x，y)使用高斯滤波器作为反锐化掩模提供了通过使输入图像f(x，y)反锐化而产生的反锐化图像，如图3A中的断线所示。如由表达式(2)表达的，校正分量h(x，y)对应于输入图像f(x，y)和反锐化图像之间的差异，故从图3A中的实线减去断线提供由图3B中的实线表达的分量。

使用如上所述计算的校正分量执行表达式(1)的计算使得能够锐化由图3A中的实线所示的输入图像f(x，y)以产生由其中的点线所示的锐化图像。

接下来，将描述通过反锐化掩模处理来锐化通过图像捕捉光学系统而劣化的捕捉的图像的情况。

通过图像捕捉光学系统获取的捕捉的图像(输入图像)f(x，y)由以下表达式(4)表达，其中I(x，y)表示要被捕捉的原始图像(物体)并且psf(x，y)表示点扩展函数PSF，该点扩展函数PSF是表达图像捕捉光学系统对点光源的响应的函数。

f(x，y)＝I(x，y)*psf(x，y) (4)

当图像捕捉光学系统是旋转对称同轴光学系统时，与捕捉的图像的中心部分相对应的PSF具有旋转对称形状。因此，将旋转对称的反锐化掩模USM应用于捕捉的图像的中心部分使得能够锐化捕捉的图像f(x，y)，以提供接近原始图像I(x，y)的锐化图像。该处理提供与捕捉的图像和由反锐化掩模反锐化的反锐化捕捉图像之间的差异值相对应的校正量。因此，为了精确地锐化(校正)捕捉的图像，更希望使用其形状更接近psf(x，y)的形状的掩模而不是简单的平滑滤波器作为反锐化掩模。例如，在捕捉的图像由于球面像差的影响而劣化的情况下，虽然球面像差旋转对称地影响捕捉的图像，但是诸如高斯滤波器之类的平滑滤波器具有与对应于球面像差的PFS的分布形状不同的分布形状。因此，即使在减少旋转对称模糊的这种影响时，使用图像捕捉光学系统的PSF使得能够更精确地校正捕捉的图像。

每个实施例使用PSF来产生反锐化掩模USM(x，y)。虽然图3A中所示的捕捉的图像f(x，y)简单地具有对称(旋转对称)形状，但是捕捉的图像可具有除这种对称形状之外的其它形状。即使当原始图像I(x，y)具有不对称(非旋转对称)形状时，只要指示对应于psf(x，y)并影响原始图像I(x，y)的劣化的劣化函数是旋转对称的，则使用旋转对称的反锐化掩模就使得能够锐化捕捉的图像。

另一方面，即使当图像捕捉光学系统是旋转对称同轴光学系统时，PSF在捕捉的图像的除了其中心部分之外的周边部分中也具有非旋转对称形状。图4A和图4B例示出图像捕捉光学系统在x-y平面中的PSF的示例。x方向对应于水平方向，并且y方向对应于垂直方向。图4A例示出轴上(中心)PSF，并且图4B例示出离轴(外围)PSF。例如，当原始图像(物体)是理想的点像时，如由表达式(4)表达的，捕捉的图像f(x，y)对应于图像捕捉光学系统的PSF。当理想的点像存在于对应于图4B的外围视场角处，并且因此原始图像由于图像捕捉光学系统的PSF的影响而被劣化时，捕捉的图像变成如图4B中所示的不对称模糊图像。将描述通过反锐化掩模处理对这种不对称模糊图像执行锐化的情况。

图5A至图5C和图6A至图6C例示出对不对称劣化(模糊)捕捉的图像执行的反锐化掩模处理的示例。图5A至图5C例示出使用旋转对称反锐化掩模执行处理的情况，并且图6A至图6C例示出使用旋转不对称反锐化掩模执行处理的情况。如图3A和图3B中的那样，这些图中的横轴和纵轴分别指示坐标和像素值或亮度值。

在图5A和图6A中的每个中，实线指示图4B中所示的y方向上的不对称模糊捕捉的图像的部分，并且点线指示由反锐化掩模反锐化的反锐化图像的相同部分。在下文中将捕捉的图像由于图像捕捉光学系统的PSF而模糊并因此其底部扩展的一侧称为y方向上的“正侧”。在图5A中，使用高斯滤波器作为旋转对称反锐化掩模。另一方面，在图6A中，使用图像捕捉光学系统的PSF作为旋转不对称反锐化掩模。

在图5B和图6B中的每个中，实线指示作为由反锐化掩模反锐化的反锐化图像和捕捉的图像之间的差异的校正分量。在图5A中，反锐化图像和捕捉的图像之间的差异相对于实线的峰值位置在正侧小，并且相对于实线的峰值位置在负侧大。因此，图5B中示出的校正分量相对于中心峰值位置在负侧比在正侧具有小的极值。

如从图5A和图5B之间的比较可以理解的，作为校正分量的量的校正量在正侧小，并且在捕捉的图像的底部扩展的负侧大。由于这个原因，利用这种校正分量根据表达式(4)执行锐化无法充分地校正不对称(非旋转对称)模糊。图5C中的实线指示当调整系数m为1时作为锐化的结果的锐化图像。图5C表明，虽然锐化图像比图5A中的实线(捕捉的图像)更锐化，但是不对称模糊不被校正，因为图5C中的实线在负侧比在正侧更显著地凹陷。

将描述通过改变表达式(1)中的调整系数m而不改变反锐化掩模来调整校正量的情况。将调整系数m的值设置为大以充分地校正捕捉的图像的正侧部分造成捕捉的图像的负侧部分中的过度校正(下冲)。相反，设置调整系数m的值以使捕捉的图像的负侧部分的校正量适当造成捕捉的图像的正侧部分中的校正不足。

如刚刚所描述的，通过使用旋转对称反锐化掩模对非旋转对称模糊图像执行反锐化掩模处理使得难以减小捕捉的图像的不对称性来锐化捕捉的图像。当使用除高斯滤波器以外的旋转对称滤波器作为旋转对称反锐化掩模时，也会造成这样的问题。

另一方面，在图6A中，其正侧部分更加反锐化的反锐化图像和捕捉的图像之间的差异值相对于实线的峰值位置在正侧大，并且在负侧小，这与图5A中成相反的关系。因此，图6B中示出的校正分量相对于其中心峰位置在正侧比负侧具有小的极值。将该校正分量应用于由图6A中的实线所示的捕捉的图像使得相对于捕捉的图像更模糊的峰值位置校正量在正侧较，并且使得在捕捉的图像较不模糊的负侧校正量小。当使用这种非旋转对称反锐化掩模时，捕捉的图像(输入图像)在正侧和负侧的模糊水平之间的平衡与校正分量在正侧和负侧的校正量之间的平衡相一致。这种一致性减少了校正中的过度和不足，这是在使用旋转对称反锐化掩模的情况下的问题。

图6C例示出当调整系数m为1时作为锐化的结果的锐化图像。锐化图像比图6中的实线(捕捉的图像)更锐化，并且在图5C中明显的，负侧的凹陷形状相对于正侧的形状被减少。另外，因为与使用旋转对称反锐化掩模的情况相比该锐化产生较少的过度校正，因此表达式(1)中的调整系数m的值可以被设置为相对大，这使得能够进一步锐化捕捉的图像同时减少其不对称性。此外，校正分量的校正量对应于反锐化图像和捕捉的图像之间的差异。因此，为了以更高的精度执行校正，需要使捕捉的图像的由于图像捕捉光学系统的PSF大大模糊的部分比其其它部分被反锐化掩模更加反锐化。因此，为了以更高的精度执行校正，理想的是使用图像捕捉光学系统的PSF作为反锐化掩模。

接下来，将描述用于产生反锐化掩模USM的系数。如上所述，每个实施例使用图像捕捉光学系统的PSF作为反锐化掩模。图像捕捉光学系统的PSF根据诸如像高、焦距、F数和图像捕捉距离(即，离待被聚焦物体的距离)之类的图像捕捉条件(在上面部分地提到)而变化。因此，当执行锐化时，需要产生适合于图像捕捉条件的反锐化掩模。可以采用以下方法：为了根据取决于图像捕捉条件而变化的PSF改变反锐化掩模，该方法计算所有互不相同的图像捕捉条件的PSF并选择PSF中的合适的一个作为反锐化掩模。然而，该方法在将反锐化掩模应用于捕捉的图像时降低了处理速度，并且需要大量的存储量来保持(存储)关于所有计算出的PSF的数据，这是不期望的。

因此，每个实施例存储关于用于近似图像捕捉光学系统的PSF的系数的数据，并通过在反锐化掩模的产生中使用关于系数的数据来重构(近似)PSF。该方法使得能够在减少要保持的数据量的同时使锐化的效果最大化。每个实施例使用连续函数和关于其中包含的系数的数据作为通过近似PSF来产生反锐化掩模的方法。

首先，将描述用于近似图像捕捉光学系统的PSF的连续函数。如上所述，在天体物理学中，由以下表达式(5)表达的被称为莫法特函数的函数P(x，y)经常被用来拟合测光天文体。

在表达式(5)中，α和β是系数。当β＝1时，该函数被称为洛伦兹函数。当通过使用表达式(5)对PSF建模时，将表达式(5)的函数与测量或计算出的PSF的分布拟合使得能够计算这些系数α和β。然后，使用计算出的系数α和β以及表达式(5)使得能够对PSF建模。虽然使用表达式(5)使得能够产生近似的PSF，但是表达式(5)的函数是仅能够表达旋转对称分布的函数，故不可能使用表达式(5)产生非旋转对称分布。

提供了由以下表达式(6)(和表达式(6a))表达的函数，其通过变换表达式(5)而得到并且能够表达非旋转对称椭圆形状。该函数被称为椭圆莫法特函数。

在表达式(6)中，α、β和γ是系数。表达式(6a)表达角度θ的旋转矩阵。组合表达式(6)和(6a)提供以下表达式(7)。

P(x,y)＝(σ+ax²+2bxy+cy²)^-β (7)

在表达式(7)中，a、b、c、α和β是系数。为了在使用表达式(7)时保持椭圆形状，系数a、b和c有必要满足关系b²-ac<0。

使用该表达式(7)(或表达式(6))使得能够再现无法由表达式(5)表达的椭圆形分布，这与使用表达式(5)时相比提高了校正的精度。然而，即使当使用表达式(7)来拟合图像捕捉光学系统的PSF时，也不可能再现诸如图像捕捉光学系统的不对称像差和矢状光环之类的复杂形状。

因此，每个实施例使用由以下表达式(8)((8a)、(8b)和(8c))表达的函数作为能够再现诸如不对称像差和矢状光环之类的复杂形状的函数。

当x≥0并且y≥0时，

P(x,y)＝(σ+ax²+2bxy+cy²)^-β-e (8a)

当x≥0并且y<0时，

P(x,y)＝(σ+ax²+2bdxy+cd²y²)^-β-e (8b)，并且

当x<0时，

P(x,y)＝P(-x,y)。 (8c)

在表达式(8)中，a、b、c、d、e、σ和β是系数。如表达式(7)中一样，表达式(8)中的系数a、b和c有必要满足b²-ac<0的关系。

图9A至图9F例示出可由基于表达式(8)的函数表达的分布形状的示例。图9A例示出X-Y坐标系中的旋转对称分布；分布形状可由表达式(5)至(8)中的任何函数表达。当图像捕捉光学系统是同轴光学系统并且像点位于其光轴上时，PSF具有旋转对称形状，故图9A的分布形状可由表达式(5)至(8)中的任何函数表达。

图9B和图9C例示出椭圆形分布(在下文中各自称为“椭圆分布”)，其长轴和短轴与X轴和Y轴重叠。这些椭圆分布不能由表达式(5)的函数表达，而可以以提高的精度由表达式(6)至(8)中的任何函数近似。

图9D例示出椭圆分布，其长轴和短轴不与X轴和Y轴重叠。该椭圆分布不能由表达式(5)和(6)的函数表达，而可以以足够的精度由表达式(7)和(8)中的任何函数近似。

图9E和9F例示出关于Y轴(即，在Y方向上)对称和关于X轴(即，在X方向上)不对称的分布形状。图9E的分布对应于通过关于Y轴向-X侧镜像图9D的椭圆分布的位于相对于Y轴的更+X侧的+X侧部分而得到的分布。图9F的分布形状对应于通过关于Y轴镜像其长轴与Y轴重叠并且其短轴不与X轴重叠的椭圆分布的相对于X轴的上部并且通过向其相对于X轴的下部提供同心半圆形而得到的分布形状。

表达式(5)至(7)的函数不能表达图9E和图9F中所示的线对称分布形状。另一方面，在每个实施例中使用的表达式(8)的函数可以以足够精度近似图9E和图9F中所示的分布形状。

如上所述，虽然在图像捕捉光学系统的光轴上的像点处的PSF具有旋转对称分布形状，但是在与光轴正交的平面(像面)中不位于光轴上的像点处的PSF不一定具有这种旋转对称分布形状。然而，当图像捕捉光学系统是同轴光学系统时，即使不位于光轴上的像点处的PSF在与如下方向(子午方向)正交的方向上(矢状方向)也具有旋转对称分布形状：在该方向中连接该像点和光轴的直线在像面中延伸。如刚才所述，虽然图像捕捉光学系统的PSF不一定具有旋转对称分布形状，但是其在矢状方向上具有对称分布形状。因此，使表达式(8)中的x方向(即，图9E和图9F中的X方向)与矢状方向匹配并使y方向(即，图9E和图9F中的Y方向)与子午方向匹配使得能够校正复杂的不对称像差。

接下来，将详细描述表达式(8)中的系数。在表达式(8)中的系数中，a、b和c是用于产生如图9D所示的其长轴和短轴不与X轴和Y轴重叠的椭圆分布的系数。控制这些系数a、b和c使得能够控制椭圆分布在X和Y方向上的不对称性。另外，如在图9E和9F中示出的，控制系数a、b和c使得能够表达难以由其它函数表达的像差，诸如其中其长轴和短轴中的至少一个不与X轴和Y轴重叠的椭圆分布仅关于Y轴对称的矢状光环。

系数d是用于使椭圆分布在Y方向(特定方向)上不对称的系数。控制该系数d使得能够校正在子午方向上具有不对称形状的像差。例如，控制系数d使得能够以提高的精度近似彗形像差。

系数e、σ和β是用于控制椭圆分布的扩展的系数。当近似的椭圆分布形状的扩展大时增大系数σ并当近似的椭圆分布形状在其峰值附近显著改变时增大系数β使得能够提高近似精度。系数e是用于限制椭圆分布的扩展的系数。当系数e为0时，根据表达式(8)，椭圆分布在外围部分逐渐接近P(x，y)＝0。

因此，当椭圆分布的扩展小时，使系数e大于0(e>0)使得能够提高近似精度。

为了近似图像捕捉光学系统的PSF，椭圆分布有必要满足P(x，y)≥0。因此，当e>0时，在外围部分中P(x，y)<0。然而，在这种情况下，P(x，y)可被限幅在0处(即，P(x，y)＝0)。

接下来，将描述实施例1至实施例3中的反锐化掩模处理的基本表达式。在第三实施例(实施例3)中，使用从表达式(1)和(2)得出的以下表达式(11)来执行锐化。

g(x，y)＝f(x，y)+m×[f(x，y)-f(x，y)*USM(x，y)](11)

在第二实施例(实施例2)中，使用从表达式(1)和(3)得出的以下表达式(12)来执行锐化。

g(x，y)＝f(x，y)+m×f(x，y)*[δ(x，y)-USM(x，y)](12)

在第一实施例(实施例1)中，使用通过进一步变换表达式(12)而得到的以下表达式(13)来执行锐化。

g(x，y)＝f(x，y)*[δ(x，y)+m×(δ(x，y)-USM(x，y))](13)

如上所述，PSF根据诸如(由图像捕捉光学系统形成的物体图像的)像高、图像捕捉光学系统的焦距和F数以及图像捕捉距离之类的图像捕捉条件而变化。虽然下面描述的每个实施例作为示例考虑像高作为图像捕捉条件，但是备选实施例可以获得根据焦距、F数和图像捕捉距离而变化的像差信息，并且基于其产生反锐化掩模。

[实施例1]

图2例示出作为实施例1的图像捕捉装置100的配置。图像捕捉装置100设置有其中安装了图像处理程序的存储器120。图像处理程序是使图像处理器(图像处理装置)104对作为输入图像的捕捉的图像执行锐化处理(反锐化掩模处理)的计算机程序。图像处理器104可包括其中安装了图像处理程序的存储器，或者可包括被设计为操作以执行锐化处理的电路。

存储器120由ROM、硬盘等构成。存储器120还可以用作稍后描述的记录器108。

图像捕捉装置100包括图像捕捉光学系统101和照相机主体(未示出)。图像捕捉光学系统101包括孔径光阑101a和聚焦透镜101b。图像捕捉光学系统101与照相机主体一体地提供或可拆卸地可附连到照相机主体。

图像传感器102由诸如CCD(电荷耦合器件)传感器或CMOS(互补金属氧化物半导体)传感器之类的二维光电转换元件构成。图像传感器102捕捉(光电转换)由图像捕捉光学系统101形成的物体图像(成像光)以输出模拟图像捕捉信号。模拟图像捕捉信号被A/D转换器103转换为数字图像捕捉信号，并且数字图像捕捉信号被输入到图像处理器104。

图像处理器104对数字图像捕捉信号执行预定处理以产生捕捉的图像并对捕捉的图像执行锐化处理。虽然在本实施例中，内建在图像捕捉装置100中的图像处理器104执行锐化处理，但是与图像捕捉装置分离的诸如个人计算机(PC)之类的图像处理装置可执行锐化处理。

图像处理器104从状态检测器107获取关于图像捕捉条件的信息。如上所述，图像捕捉条件包括图像捕捉光学系统101的焦距和F数以及图像捕捉距离(或物距)。状态检测器107从系统控制器106直接获取关于图像捕捉条件的信息，并且可从光学系统控制器105获取关于与图像捕捉光学系统101有关的图像捕捉条件的信息。

图像处理器104包括椭圆分布生成器(作为第一分布生成器)201、镜像处理器(作为第二分布生成器)202和锐化处理器(作为滤波器生成器和处理器)203。稍后将描述由图像处理器104执行的处理。作为由通过图像处理器104执行的锐化处理产生的输出图像的锐化图像以预定格式存储在记录器108中。

除了上述图像处理程序之外，存储器120还存储(保持)指示图像捕捉光学系统101的图像捕捉条件与图像捕捉光学系统101的PSF之间的关系的信息。通过系数计算器(稍后描述)预先计算表达式(8)中的用于在锐化处理中拟合(近似)PSF的系数a、b、c、d、e、σ和β。这些系数的数据(该数据在下文中称为“系数数据”)由存储器120保持。

图像显示器112被配置为显示捕捉的图像和锐化图像。

上述操作和处理由系统控制器106控制。系统控制器106由包括CPU、存储器等的微型计算机构成。光学系统控制器105响应于来自系统控制器106的指令而控制图像捕捉光学系统101的机械驱动。

图像捕捉光学系统101可包括诸如低通滤波器和红外截止(infrared-cutting)滤波器之类的光学元件。当使用诸如影响PSF的低通滤波器之类的光学元件时，在产生反锐化掩模时考虑到该光学元件的影响使得能够以更高的精度执行锐化处理。使用红外截止滤波器影响RGB通道(RGB颜色分量)的PSF，特别是R通道的PSF，故希望在产生反锐化掩模时考虑该影响。

接下来，将参考图10的流程图描述由系数计算器执行的系数计算处理。在图10中，符号S指示步骤。这也适用于稍后描述的另一流程图。系数计算器通过使用图像捕捉光学系统101的设计值来计算用于产生反锐化掩模的系数。

首先在步骤S1处，系数计算器获取计算系数所必要的信息。具体而言，系数计算器获取为之计算系数的用于产生捕捉的图像的图像捕捉时的图像捕捉条件，并获取近似PSF时的目标值。

接下来在步骤S2处，系数计算器根据与在步骤S1获取的图像捕捉条件相对应的图像捕捉光学系统101的设计值的数据来计算图像捕捉光学系统101的PSF(在下文中称为“设计PSF”)。图11例示出在步骤S2处计算的设计PSF的部分和稍后描述的在步骤S4处产生的近似PSF的部分。如图11中所示，在步骤S2处计算的设计PSF以N的分割数(抽头数)和间隔Do被离散化。如从图11清楚的是，设计PSF的大小(核大小)由间隔Do和抽头数N的乘积表达。就是说，在离散化的设计PSF中，已知间隔Do、抽头数和核大小中的两个唯一地提供剩余的一个。例如，当间隔Do为2.0μm并且抽头数为11时，核大小Dox(N-1)为20μm。DoxN可以被称为核大小。在这种情况下，核大小DoxN为22μm。间隔Do变成拟合时的间距，故希望间隔Do小于现有图像传感器的像素间距。在拟合时使用这种更小像素间距的拟合可用于具有各种像素间距的图像传感器。

虽然本实施例在拟合时使用图像捕捉光学系统101的设计值的数据，但是可以使用图像捕捉光学系统的通过使用图表等的捕捉的图像进行估计而得到的估计PSF的数据。

接下来在步骤S3处，系数计算器设置用于近似PSF的系数a、b、c、d、e、σ和β的初始值。因为系数在后续处理被更新，因此系数计算器在步骤S3将假设值设置为初始值。

接下来在步骤S4处，系数计算器将所设置的系数代入表达式(8)，即，近似PSF以产生近似PSF。该系数计算处理通过拟合设计值来得出最佳系数，并因此使近似PSF离散化。离散化时的分割数和间隔与在步骤S2处计算的设计PSF的分割数和间隔相同。

接下来在步骤S5处，系数计算器评估在步骤S2处计算的设计PSF与在步骤S4产生的近似PSF之间的差异。在对设计PSF和近似PSF之间的差异的估计中，系数计算器计算设计PSF和近似PSF之间的差异的均方根值，以使用计算结果作为评估值E。较小的评估值E意味着近似PSF更接近设计PSF。

接下来在步骤S6处，系数计算器使用在步骤S5处计算的评估值E和在步骤S1处获取的目标值来执行判定。评估值E不仅可包括关于设计PSF和近似PSF之间的差异的信息，而且还可包括关于近似PSF中的系数的信息。本实施例使用表达式(8)作为用于近似PSF的函数(模型)，故如上所述，系数a、b和c有必要满足关系b²-ac<0。因此，当系数a、b和c不满足该条件时，即具有b²-ac≥0的关系，未得到期望的结果。在这种情况下，计算估计值E以使得估计值E随着b²-ac的正值的增大而增大使得能够高效地执行拟合。另外，当每个系数具有可以设置该系数的极限范围时，如上改变评估值E可以提高拟合的效率和精度。

在该步骤处，系数计算器将如此计算的评估值E与预设的目标值进行比较。当评估值E等于或小于目标值时，系数计算器结束拟合，即，产生近似PSF，以输出已用其产生近似PSF的系数的数据。当评估值E大于目标值时，由于拟合不充分，因此系数计算器继续进行到步骤S7。

在步骤S7处，系数计算器改变(更新)系数中的一个或多个。在改变一个或多个系数之后，系数计算器返回到步骤S4以再次计算近似PSF，并且然后在步骤S5处计算评估值E。然后，在步骤S6处，系数计算器重复从步骤S4到步骤S7的处理，直到评估值E变得等于或小于目标值为止。

当在系数更新之后的评估值E未变得小于更新之前的评估值E时，系数计算器可使用更新之前的评估值E来再次执行从步骤S4起的处理，或者可返回到步骤S3以便从局部解中移出(move out)并再次设置初始值。

上述系数计算处理使得能够在存储器120中保持预先针对各种图像捕捉光学系统101(当它们可互换时)和各种图像捕捉条件计算的近似PSF的系数的数据。预先计算并保持近似PSF的系数使得能够仅通过在锐化处理中获取所计算的系数的数据来重构(再现)适合于图像捕捉光学系统101和图像捕捉时的图像捕捉条件的近似PSF。

接下来，参照图1的流程图，将描述由图像处理器104执行的锐化处理。该流程图中所示的锐化处理包括预处理(步骤S11至步骤S13)和主处理(步骤S14至步骤S16)；在主处理中执行作为反锐化掩模处理的实际锐化处理。

首先在步骤S11处，图像处理器104获取捕捉的图像作为输入图像。输入图像例如是去马赛克之后的G通道图像数据。替代地，可以使用R通道图像数据、B通道图像数据、全RGB通道图像数据或去马赛克之前的图像数据作为输入数据。

图8例示出全RGB通道图像数据。在所示的图像数据中，R、G1、G2和B通道的数据以拜耳布置进行布置。

例如，从所示图像数据中简单地提取G1通道数据或G2通道数据使得能够产生G通道图像数据。G通道被分成两个通道，即，分成G1通道和G2通道，使得提取R、G1、G2和B通道数据中的任一个通道数据的图像数据使得能够获取具有相同分辨率的图像数据，这促进在其上执行的处理和数据变换。

接下来在步骤S12处，图像处理器104获取用于锐化处理(主处理)的信息。具体而言，获取的信息包括用于指定图像捕捉光学系统101的ID号(透镜ID)、图像捕捉条件(焦距、F数、图像捕捉距离等的组合)、图像传感器102的像素间距以及反锐化掩模的抽头数。所获取的透镜ID和图像捕捉条件被用于获取系数数据，并且像素间距和反锐化掩模的抽头数被用于使近似PSF离散化以产生反锐化掩模。

将参考图7A和图7B来描述反锐化掩模USM。根据图像捕捉光学系统101的像差特性和所需的锐化精度来设置反锐化掩模USM的抽头数。图7A例示出具有11×11的抽头的二维反锐化掩模USM。在图7A中，省略了抽头的值(抽头值)。图7B例示出该反锐化掩模USM的部分。在图7B中，横轴指示抽头，并且纵轴指示抽头值。反锐化掩模USM理想地具有与由于像差而扩展的信号值(即，图像捕捉光学系统101的PSF)的分布相对应的抽头值分布。

接下来在步骤S13处，图像处理器104获取与在步骤S12处获取的透镜ID和图像捕捉条件相对应的用于重构图像捕捉光学系统101的PSF的表达式(8)的函数的系数a、b、c、d、e、σ和β。为了产生对应于某一像点的近似PSF，不一定需要获取所有这些系数的数据。例如，如上所述，光轴上的PSF具有旋转对称形状，故a＝c、b＝0并且d＝1。此外，系数β是幂项，并因此改变系数β增加处理负荷，故系数β可被固定为1。如上所述，与系数β可改变的情况相比，使系数β固定减小了可表达的形状，但是使得可以减少要保持在存储器120中的系数数据量并减少处理负荷。

另外，为了提高近似精度，可添加其它系数。例如，其分布扩展小且其峰值高的PSF难以通过连续函数精确拟合，故可将峰值或峰值附近的值直接设置为系数。直接设置分布急剧变化的峰值区域作为系数使得能够把要通过使用函数再现的区域限制到除峰值区域之外的其它区域，这提高了近似精度。另外，在步骤S13处，系数计算器不但可获取系数数据，而且还可获取在锐化处理时使用的调整系数m。

该实施例因此获取系数数据，使用系数数据产生近似PSF，并产生对应于近似PSF的反锐化掩模USM。因此，与直接保持图像捕捉光学系统101的PSF的数据的情况相比，本实施例使得能够在保持校正精度的同时显著减少要被保持的数据量。例如，当反锐化掩模USM如图7A和图7B所示具有11×11的抽头时，有必要保持121个抽头的数据。此外，当分别保持R、G和B通道数据时，有必要保持三倍于121的363个抽头的数据。另一方面，当保持系数的数据时，因为表达式(8)中的系数的数目是七，所以即使当分别保持R、G和B通道数据时，也仅需要保持21个系数的数据。因此，本实施例保持系数的数据以使得能够减少要被保持的数据量。

接下来，在步骤S14处，图像处理器104(椭圆分布生成器201)通过使用表达式(8)的函数和在步骤S13获取的系数数据来产生椭圆分布作为第一分布，其是非旋转对称分布。

图12A例示出由椭圆分布生成器201产生的椭圆分布。在图12A中，点C是通过使用表达式(8)的函数产生的椭圆分布的中心。中心C位于处理目标像素上。当在作为处理目标像素的某一像点上重构近似PSF时，本实施例产生椭圆分布，使得相对于图像捕捉光学系统101，X轴对应于矢状方向并且Y轴对应于子午方向。Y轴对应于连接输入图像的中心和输入图像中的处理目标像素的直线。

仅需要使用表达式(6a)的旋转矩阵以便使X轴和Y轴分别与矢状方向和子午方向一致。对在步骤S14处产生的椭圆分布执行旋转处理或对在下一步骤S15处重构的近似PSF执行旋转处理使得能够产生具有适合于任意像点的形状的椭圆分布。

当使用表达式(8)的函数时，系数d提供在Y≥0和Y<0的区域中具有互不相同形状的椭圆分布。如上所述，控制该系数d使得能够校正在子午方向上具有不对称形状的像差。虽然图12A例示出包括x<0的区域的分布的椭圆分布，因为x<0的区域的分布是在下一步骤S15处根据x≥0的区域的分布产生的，因此椭圆分布生成器201可仅产生x≥0的区域中的椭圆分布。

接下来，在步骤S15，图像处理器104(镜像处理器202)关于Y轴镜像(即，对称化)在步骤S14处产生的椭圆分布以产生第二分布。图12D例示出通过在作为X方向的矢状方向上关于Y轴(即，包括Y轴的平面)镜像作为图12A中所示的椭圆分布的一部分的x≥0的区域的分布而产生的分布。通过镜像产生的x<0的区域的分布对应于表达式(8c)。虽然表达式(8)的函数如图12A所示是表达中心位于X轴和Y轴的交点处的椭圆分布的函数，但是不一定需要椭圆分布的中心位于X轴和Y轴的交点处。图12B例示出在椭圆分布的中心不位于X轴和Y轴的交点处的情况下的椭圆分布。平移(translating)图12A中所示的椭圆分布产生这种椭圆分布。图12E例示出通过在矢状方向上关于Y轴镜像作为图12B所示的椭圆分布的一部分的x≥0的区域的分布而产生的分布。

图12C还例示出其中心不位于X轴和Y轴的交点处的椭圆分布，以及图12B中所示的椭圆分布。然而，在矢状方向上关于Y轴镜像这样的椭圆分布产生如图12F所示分成两个的分布。这种分成两个的分布不太可能正确地近似图像捕捉光学系统的PSF。因此，使用该分布执行锐化处理很可能不提供令人满意的锐化图像。

因此，当使用其中心不位于X轴和Y轴的交点处的椭圆分布时，本实施例产生如下分布：其中至少两个分布彼此部分重叠，如图12E所示。换言之，本实施例产生如第一分布的椭圆分布以使得该椭圆分布与连接输入图像的中心和处理目标像素的直线(Y轴)重叠，并且通过关于包括该直线的平面镜像椭圆分布的一部分(即，x≥0的区域的分布)而产生第二分布。

两个椭圆分布的重叠可以例如通过评估镜像之后的Y轴上的值来确定。

图像处理器104(锐化处理器203)使用如上所述的由镜像处理器202镜像椭圆分布的一部分而产生的分布作为近似分布，以产生作为与近似PSF相对应的第一滤波器的反锐化掩模USM。

使用在步骤S12处获取的抽头数作为所产生的反锐化掩模的抽头数。

接下来在步骤S16处，锐化处理器203通过使用在步骤S15处产生的反锐化掩模USM根据表达式(13)对输入图像执行锐化处理。通过考虑图像噪声以及校正过量和校正不足来设置调整系数m。在下面的描述中，作为表达式(13)的一部分的[δ(x，y)+m×(δ(x，y)-USM(x，y))]在下文中被称为“锐化滤波器”。使用反锐化掩模USM来产生锐化滤波器。因为用于产生反锐化掩模USM的PSF随着像高而改变，因此为了提高校正精度，希望随着像高而改变反锐化掩模。

表达式(13)可以被如下变换。

g(x，y)＝f(x，y)*[(1+m)×δ(x，y)-m×USM(x，y)] (14)

如上所述，δ(x，y)仅在其中心抽头处起作用，故除锐化滤波器的中心抽头之外的抽头由m×USM(x，y)设置。

另外，因为锐化滤波器在校正之前和之后保持亮度，因此有必要将锐化滤波器的抽头值的总和设置为1。因此，当m×USM(x，y)被设置时，锐化滤波器的中心抽头的抽头值被自动设置。如刚刚描述的，可以通过将δ(x，y)视为不仅是一个滤波器而且是被分成中心抽头和除中心抽头之外的其它抽头的滤波器来产生锐化滤波器。通过使用表达式(13)产生的锐化滤波器和通过使用表达式(14)产生的锐化滤波器表示相互等价的处理。

图13A例示出产生反锐化掩模的位置与输入图像之间的关系。白色圆圈指示输入图像中产生反锐化掩模的位置。在图13A中，针对输入图像中的离散化的81个位置中的每个位置产生反锐化掩模。对这些反锐化掩模执行线性插值等使得能够针对输入图像中的任何位置产生反锐化掩模，这使得能够向任何像高位置应用适当的反锐化掩模。

虽然图13A例示出产生反锐化掩模的81(＝9×9)个位置，但是可以减少位置的数目以减少处理负荷，并且可增加其数目以便增强校正精度。

另外，虽然可在图13A中的白色圆圈的各个位置处直接重构PSF以产生反锐化掩模，但是也可以通过插值产生这些反锐化掩模。图13B例示出通过插值为各个位置产生反锐化掩模的情况的示例。图13B中的黑点例示出在步骤S14处产生的反锐化掩模的位置。图像捕捉光学系统的PSF通常关于光轴旋转对称，故反锐化掩模也是旋转对称的。图13B的示例使用以上特性为从输入图像的中心向下的方向上的十个点产生反锐化掩模并且关于输入图像的中心旋转这些反锐化掩模，以通过插值产生白色圆圈的各个位置。该处理消除了为输入图像中的所有位置产生反锐化掩模的必要性，这减少了处理负荷。

该实施例通过在步骤S15处镜像椭圆分布而产生的近似PSF来产生反锐化掩模，使得当执行对反锐化掩模的插值时仅需要为与图13B中的黑点相对应的位置产生近似PSF。

另外，当根据像高改变调整系数m时，执行对调整系数m以及反锐化掩模的插值使得能够产生与各个位置相对应的调整系数m。如刚刚描述的，使用插值的调整系数m使得能够针对像高连续地调整校正量。

此外，虽然表达式(1)被表达为第一项和第二项的相加，但是这是因为调整系数m是正值。当调整系数m是负值时，表达式(1)将被表示为其相减。如刚刚描述的，加法和减法仅依赖于调整系数m的符号，并因此具有基本上相同的含义。因此，可以根据调整系数m的符号任意选择加法和减法。

本实施例使用根据对应于图像捕捉光学系统的PFS的表达式(8)产生的近似PSF及其系数来产生反锐化掩模。因此，本实施例使得能够以足够的精度来锐化输入图像的由于图像捕捉光学系统的不对称PSF而产生的并且经常在输入图像的外围部分中见到的劣化。

[实施例2]

接下来，将描述作为实施例2的图像捕捉光学系统。图像捕捉装置具有与图像捕捉光学系统实施例1的配置相同的配置。本实施例执行与图1所示的步骤S11至步骤S15中的处理相同的处理，并且在步骤16执行与实施例1的处理不同的锐化处理。

在本实施例中，在步骤S16处，锐化处理器203使用在步骤S15处产生的反锐化掩模根据表达式(12)对输入图像执行锐化处理。虽然实施例1通过产生锐化滤波器并在输入图像上卷积锐化滤波器来执行锐化，但是实施例2通过从反锐化掩模USM产生校正分量、利用调整系数m调整校正分量并且随后向输入图像相加调整后的校正分量或从输入图像减去调整后的校正分量来执行锐化。

在该实施例中，基于关于PSF的信息产生的锐化滤波器是反锐化掩模USM，并且作为表达式(12)的一部分的f(x，y)*[δ(x，y)-USM(x，y)]是校正分量(校正数据)。

虽然本实施例在产生校正分量之后用调整系数m调整校正分量，但是可首先将调整系数m应用于反锐化掩模USM或理想的点像。

虽然本实施例执行与表达式(13)所表达的处理不同的处理，但是与实施例1中一样，本实施例使得能够以足够的精度来锐化由于图像捕捉光学系统的不对称PSF而劣化的输入图像。

[实施例3]

接下来，将描述作为实施例3的图像捕捉装置。图像捕捉装置具有与图像捕捉光学系统实施例1的配置相同的配置。本实施例执行与图1所示的步骤S11至步骤S15中的处理相同的处理，并且在步骤16处执行与实施例1的处理不同的锐化处理。

在本实施例中，在步骤S16处，锐化处理器203使用在步骤S15处产生的反锐化掩模根据表达式(11)对输入图像执行锐化处理。本实施例以及实施例2通过从反锐化掩模USM产生校正分量、利用调整系数m调整校正分量并且随后向输入图像添加调整后的校正分量或从输入图像减去调整后的校正分量来执行锐化。然而，本实施例在校正分量上与实施例2不同。本实施例通过取得输入图像和通过在输入图像上卷积反锐化掩模USM而产生的图像之间的差异来产生校正分量，并且使用该校正分量来执行锐化。在本实施例中，基于关于PSF的信息产生的锐化滤波器是反锐化掩模USM。另外，作为表达式(11)的一部分的[f(x，y)-f(x，y)*USM(x，y)]是校正分量(校正数据)。

虽然本实施例也在产生校正分量之后用调整系数m调整校正分量，但是可以首先将调整系数m应用于输入图像和通过在输入图像上卷积反锐化掩模USM而产生的图像。

虽然本实施例执行与由表达式(12)和(13)表达的处理不同的处理，但是本实施例以及实施例1和实施例2使得能够以足够的精度锐化由于图像捕捉光学系统的不对称PSF而劣化的输入图像。

虽然以上实施例中的每个都描述了椭圆分布作为非旋转对称分布的示例，但是非旋转对称分布包括除椭圆分布之外的并且可以通过函数近似的任何分布。

以上实施例中的每个都使用从通过镜像第一分布产生的第二分布获得的第一滤波器执行锐化处理，这使得能够锐化由于图像捕捉光学系统的复杂形状的PSF而劣化的输入图像。

另外，与直接近似复杂形状的PSF的情况相比，上述实施例中的每个可以减少所需的数据量。

其它实施例

本发明的一个或多个实施例也可以由读出并执行在存储介质(其也可被更完整地称作‘非瞬时计算机可读存储介质’)上记录的计算机可执行指令(例如，一个或多个程序)以执行上述实施例中的一个或多个实施例的功能和/或包括用于执行上述实施例中的一个或多个实施例的功能的一个或多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机来实现，以及通过由系统或装置的计算机例如通过读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或多个实施例的功能并且/或者控制一个或多个电路以执行上述实施例中的一个或多个实施例的功能来执行的方法来实现。计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))并且可以包括用来读出并执行计算机可执行指令的单独计算机或单独处理器的网络。计算机可执行指令可以例如从网络或者存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储装置、光盘(诸如紧凑盘(CD)、数字多用途盘(DVD)或者蓝光盘(BD)^TM)、闪存设备、存储卡等中的一个或多个。

虽然已经参考示例性实施例描述了本发明，但是将会明白，本发明不限于所公开的示例性实施例。以下权利要求的范围应被赋予最宽广的解释以包含所有这种修改以及等价的结构和功能。