专利名称：图像处理装置和图像拾取装置的制作方法
技术领域：
本发明涉及将因图像拾取系统的像差而劣化的(劣化)图像恢复成(原始)图像或 劣化前的图像的图像处理装置和图像拾取装置。
背景技术：
一种常规已知的技术是恢复由于光学系统的像差而劣化的图像(下文称为“图像 恢复处理”)。一种图像恢复处理是使用光学系统的光学传递函数(“0TF”)或者与OTF具有 傅里叶变换关系的点扩散函数(“PSF”)的信息的方法。
OTF具有实部和虚部，通常作为二维数据存储在存贮器(诸如存储器)中。以下将 将该二维数据称为“0TF数据”。在一般的图像恢复处理中，为每个RGB准备OTF数据，并且 用于一个图像高度的OTF数据是X方向上的抽头数量Xy方向上的抽头数量X2(实部、虚 部)X3 (色度成分)。OTF和PSF根据捕获条件(诸如通过光学系统捕获的图像的图像高度 以及光学系统的焦距、F值和物距)而不同。
日本专利特开No. (“JP”)2005_308490提出了一种用于对具有任意物距的玻璃的 光学特性进行插值的方法，JP 2003-132351采取椭圆PSF和通过根据图像高度位置进行插 值来产生PSF的方法。
以上存储关于每种色度成分和至少一种捕获条件的OTF数据的方法使得数据量 庞大。因此，本发明人尝试存储与图像处理装置(或图像拾取装置)中的代表性捕获条件对 应的离散OTF数据并且通过利用所存储的OTF数据进行插值来产生与其余捕获条件对应的 OTF数据。此时，在OTF数据的减少数据量与插值精度(图像恢复精度)之间存在权衡关系。
然而，当在用于插值的PSF的重心位置彼此不一致(或者OTF的相的一次成分彼此 不一致)时对PSF或OTF数据进行插值时，插值不可能是高精度的。现有技术未提及该问题 的解决方案。发明内容
本发明提供一种能抑制要存储的OTF数据容量并执行高精度图像恢复的图像处 理装置和图像拾取装置。
虽然以上常规问题论述了 0TF，但是PSF与OTF具有傅里叶变换关系，因此当PSF 数据被存储且用于图像恢复处理时，发生相同问题。
根据本发明的图像处理装置或图像拾取装置包括存储器，配置为存储图像拾取 光学系统关于至少一种捕获条件的光学传递函数或点扩散函数的信息；以及图像处理器， 配置为在重心位置或最大强度位置彼此一致或者点扩散函数的微分均方根值最小时，通过 基于与不同捕获条件对应并且从存储在所述存储器中的信息得到的至少两个光学传递函 数或点扩散函数进行插值，来产生与通过所述图像拾取光学系统捕获的图像的捕获条件对 应的光学传递函数的相的二次和更高次成分或者点扩散函数的形状成分，并且利用从通过 所述插值产生的光学传递函数得到的光学传递函数或者从通过所述插值产生的点扩散函数得到的光学传递函数来恢复所述图像。
从以下参照附图对示例性实施例的描述，本发明的进一步特征将会变得显然。
图1A是图像处理装置的框图，图1B是根据第一实施例的图像恢复处理的流程图。
图2A和图2B是用于说明根据第一实施例的存储在图1A所示的存储器中的数据的生成例子的视图。
图3A和图3B是用于说明根据第一实施例的图1B所示的S16的视图。
图4是根据第二实施例的数字摄像机的框图。
具体实施方式
在图像恢复中，建立以下表达式，其中(x，y)是实空间，f(x，y)是被光学系统劣化之前的原始图像，h(x, y)是PSF, g(x，y)是劣化图像。
g (X，y) = / / f (X，Y) · h (x-X, y-Y) dXdY (I)
通过下述方式建立以下表达式，S卩，对表达式(I)进行傅里叶变换以将实空间 (X，y)转换为频率空间(U，V),其中，F(U，V)是f(x，y)的傅里叶变换，G(u, V)是g(x，y)的傅里叶变换，H(u，v)是h(x，y)的傅里叶变换和光学传递函数(“0TF”)
G (U，V) =F (U，V) · H(u, v) (2)从表达式(I)和⑵建立以下表达式
F (U，V) =G (U，V)/H (U，V) (3)
因此，F(u, v)可通过在频率空间中将傅里叶变换G(u，v)除以H(u，v)而获得，原始图像f(x，y)可通过对F(u，v)进行逆傅里叶变换而获得。
因为以上处理实际上放大了噪声，所以已知的是可将以下维纳滤波器用于表达式 3中的1/H(u，v)，其中Γ是用于减小噪声放大量的常数
1/H (u，v) E 1/H (U，ν) · | H (U，v) |2/ (| H (u, v) |2+ Γ ) (4)
将具有光学系统的频率和相信息的OTF乘以表达式(4)可用使由光学系统的衍射和像差引起的PSF的相为零，放大振幅的频率特性，并且提供高精度的、良好恢复的图像。
虽然因此需要获得图像拾取光学系统的精确OTF信息，但是用于摄像机的图像拾取光学系统的光学性能(诸如F值和像差)通常在图像高度之间显著地波动。为了校正物体图像的劣化，表达式(4)不能照原样用于频率空间中的批量计算，对于每个图像高度，表达式(4)转换为实空间中的(图像恢复)滤波器。
在利用图像恢复滤波器的图像恢复中，需要在装置中存储图像恢复滤波器或者用于生成图像恢复滤波器的OTF信息。当图像恢复滤波器的信息存储在图像拾取装置中时， 用于校正图像劣化的计算仅是滤波处理，处理变得更快。然而，图像恢复滤波器的改变变得不可能，并且难以控制劣化校正的水平。
另一方面，如果用于生成图像恢复滤波器的OTF信息被存储，则可以根据物体图像的劣化程度来自由地控制劣化校正的水平。图像恢复滤波器可通过对OTF信息进行傅里叶变换来产生。
OTF是具有实部和虚部的二维数据。在一般的图像恢复中，波长用RGB三种色度成分的变量来表达，因此一个图像高度的OTF数据用X方向上的抽头数量Xy方向上的抽头 数量X2 (实部、虚部)X3 (色度成分)来表达。另外，OTF根据捕获条件(诸如图像高度、焦 距、F值和物距)而不同。因此，存储关于每种色度成分和至少一种捕获条件的OTF数据使 数据量不切实际地庞大。
因此，将与代表性捕获条件对应的离散OTF数据存储在图像处理装置(或图像拾 取装置)中，并且通过利用所存储的OTF数据进行插值来产生与其余的捕获条件对应的OTF 数据。此时，在OTF数据的减少数据量与插值精度(图像恢复精度)之间存在权衡关系。
关于一般图像拾取光学系统中的像差的绝对量，由波长之间的横向色差引起的对 于每个波长的像点位置偏移量大于PSF的扩散，并且在离轴物点处变得特别显著。这对应 于OTF的相的一次成分。OTF的相成分是atan (Im(OTF) /Re (OTF))，一次成分将被称为一次 相。
然而，即使对于相同波长，PSF (点图像)的重心位置也根据捕获条件而不同。例 如，当通过利用具有第一位置(诸如(0，a))处的重心位置的PSF和具有第二位置(诸如(0， b))处的重心位置的PSF执行线性插值来产生位于XY坐标系中的该第一位置与该第二位置 之间的目标位置处的PSF时，插值了的PSF的形状崩坏。
因此，在对PSF的形状进行高精度插值时，本实施例使两个重心位置一致(对准或 匹配)(例如，通过将它们移到原点)，并且通过根据这两个重心位置进行加权来对形状进行 插值。换句话说，在频率空间中消除代表PSF的重心位置的OTF的相的一次成分，并且使用 二次和更高次成分用于插值。
第一实施例
图1A是根据第一实施例的图像处理装置20的框图。图1B是由根据第一实施例 的图像处理装置20执行的图像恢复处理的流程图，“S”代表步骤。图1B所示的图像处理 方法(图像处理程序)用于指示计算机为每个步骤服务。
图像处理装置20是与图1A的摄像机(图像拾取装置)10分开的单元，但是可如稍 后所述那样与摄像机10集成。摄像机10产生因图像拾取光学系统的像差而劣化的物体图 像(劣化图像)。物体图像作为图像拾取元件对图像拾取光学系统所捕获的光学图像进行光 电转换的结果而产生。
图像处理装置20包括图像处理/操作单元22和存储器24，并且可包括计算机和 安装在计算机中的软件(图像处理程序)。
图像处理/操作单元22是配置为提供包括图像恢复处理的图像处理的图像处理 器，并且包括微计算机(处理器)。图像处理/操作单元22可通过利用存储在存储器24中 的光学传递函数(“0TF”)或点扩散函数(“PSF”)的信息来恢复图像。
存储器24存储程序，该程序包含图像处理(包括图像恢复处理)和摄像机的图像 拾取光学系统关于至少一种捕获条件(诸如图像高度、焦距、F值和物距)的OTF或PSF的信 息。本实施例允许除了图像高度、焦距、F值和物距的组合之外的捕获条件。因为存储器24 仅存储关于捕获条件的组合的一部分的OTF或PSF的信息，所以可减小存储容量。
根据本实施例，存储在存储器24中的OTF (0TF数据)或PSF的信息是从其消除 了 OTF的相的一次成分的二次和更高次成分的信息，或者从其消除了 PSF的重心位置成分 的形状成分的信息。然而，存储在存储器24中的OTF或PSF信息可以包含OTF的相的一次成分或者PSF的重心。在这种情况下，图像处理/操作单元22使用该信息来产生从其消除了 OTF的相的一次成分的二次和更高次成分的插值前信息，或者从其消除了 PSF的重心位置成分的形状成分的信息。
图2A和图2B是用于说明存储在存储器24中的数据的生成例子的视图。OTF是通过PSF的傅里叶变换而计算的PSF的频率响应，PSF和OTF拥有等价信息。获得PSF的方法可包括计算光学系统的波前像差，产生瞳孔函数，对瞳孔函数进行傅里叶变换和对所得绝对值取平方。
在计算波前像差中，选择参考波长和参考球面的方法是任意的。例如，所获取的 PSF在通过光学系统的傍轴放大倍率确定的理想图像高度附近的计算与通过实际光学系统的光线跟踪获得的主光线的终点附近的计算之间是不同的。
根据前一种计算，PSF包含参考波长的失真成分，因此，整个PSF偏移失真量。根据后一种计算，PSF不包含参考波长的失真成分，并且PSF不偏移。
本实施例可任意地设置计算PSF时的参考球面的中心，但是如果参考球面的中心没有设置到主光线的终点，则对于计算PSF之后所计算的波长，消除了参考波长的所产生的失真成分。
将给出当两个PSF之间仅焦距不同时，在一个示范性变焦光学系统中通过插值产生具有中间焦距的PSF的描述。图像高度之间、F值之间以及物距之间的PSF插值可利用类似的方法。
用于插值的PSF可对应于单个波长，但是当波长根据任意光源的光谱强度分布而进行加权并且被累加时，可对应于多个波长。
一开始，图像处理/操作单元22选择与第一捕获条件(hi，fl, Fl, dl)对应的PSF 和与第二捕获条件(hl，f2，F l，dl)对应的PSF作为用于插值的两个不同的PSF数据。同时， 与不同捕获条件对应的至少两个PSF或OTF用于插值是足够的。通过插值产生的PSF数据被设置为与具有图像高度h1、焦距fj、F值Fk和物距dl的捕获条件(hi，fj, Fk, dl)对应的 PSF。
横向色差成分在与不同捕获条件对应的PSF (比如，第一捕获条件(11141，？1，(11) 的PSF和与第二捕获条件(hi，f2，Fl，dl)对应的PSF)之间是不同的。假设f (x，y_a)表示与第一捕获条件(hl，fl, Fl, dl)对应的PSF，g(x，y-b)表示与第二捕获条件(hl，f2, Fl, dl) 对应的PSF。那么，每个PSF的重心位置由于横向色差成分而在y方向上偏移“a”和“b”。 XY坐标与作为用表达式(I)描述的PSF的h(x, y)的xy坐标一致。
因此，图像处理/操作单元22将两个PSF的最大强度位置或重心位置移到坐标原点，并且使这两个PSF的重心位置彼此一致。当PSF的重心位置彼此一致时，使OTF的相的一次成分大致相等。
接着，图像处理/操作单元22对PSF进行傅里叶变换，以便将它转换为0TF，并且将它存储在存储器24中。OTF的数量对应于捕获条件的数量。如图2A中的实线所包围的那样，Hl (u，ν)表示与第一捕获条件对应的OFT，H2 (u，ν)表示与第二捕获条件对应的0TF。 这些OTF存储在存储器24中。
在获得作为与图像的捕获条件(11^3，？1，(11)对应的0^的!13(11，0时，与第一捕获条件(hl，fl，Fl，dl)对应的OTF和与第二捕获条件(hl，f2, Fl, dl)对应的OTF被从存储器24获得，并被加权和累加。
例如，在具有关系hl〈h2〈h3的图像高度，可对具有图像高度hi和h3的OTF进行插值，并且可产生具有图像高度h2的0TF。当变焦时的焦距具有关系fl < f2 < f3时，可对具有焦距fl和f3的OTF进行插值，并且可产生具有焦距f2的0TF。在具有F值关系 Fl ^ F2 ^ F3的光圈状态下，可对具有光圈状态Fl和F3的OTF进行插值，并且可产生具有光圈状态F2的0TF。在dl< d2 < d3的物距中，可对具有物距dl和d3的OTF进行插值， 并且可产生具有物距d2的OTF。
如图2B所示，存储器24存储其中PSF的最大强度位置或重心位置偏移到原点位置的PSF数据，并且可用于以上处理。换句话说，在图2B中，均被实线包围的两个PSF (f (X，y)和g (X，y))存储在存储器24中。可以确定PSF的偏移量使得PSF的RMS值对于每种色度成分可以最小化。
例如，在具有关系hl〈h2〈h3的图像高度，可对具有图像高度hi和h3的PSF进行插值，并且可产生具有图像高度h2的PSF。当变焦时的焦距具有关系fI < f2 < f3时，可对具有焦距Π和f3的PSF进行插值，并且可产生具有焦距f2的PSF。在具有F值关系 Fl ^ F2 ^ F3的光圈状态下，可对具有光圈状态Fl和F3的PSF进行插值，并且可产生具有光圈状态F2的PSF。在dl< d2 < d3的物距中，可对具有物距dl和d3的PSF进行插值， 并且可产生具有物距d2的PSF。
这是因为使用PSF的插值等价于使用OTF的插值。一个例子示于下面
权利要求
1.一种图像处理装置，包括存储器，所述存储器配置为存储图像拾取光学系统关于捕获条件中的至少一种的光学传递函数或点扩散函数的信息，其特征在于 所述图像处理装置还包括图像处理器，所述图像处理器配置为 在所述点扩散函数的微分均方根值最小或者重心位置或最大强度位置彼此一致时，通过基于与不同的捕获条件对应且从存储在所述存储器中的所述信息得到的至少两个光学传递函数或点扩散函数进行插值来产生与通过所述图像拾取光学系统捕获的图像的捕获条件对应的光学传递函数的相的二次成分和更高次成分或者点扩散函数的形状成分，并且 利用从通过所述插值已经产生的光学传递函数得到的光学传递函数或者从通过所述插值已经产生的点扩散函数得到的光学传递函数来恢复所述图像。
2.根据权利要求1所述的图像处理装置，其中，存储在所述存储器中的所述信息是所述光学传递函数的相中从其消除了一次成分的二次成分和更高次成分、或者从其消除了重心位置成分的点扩散函数的形状成分的信息。
3.根据权利要求1所述的图像处理装置，其中，存储在所述存储器中的所述信息包含所述光学传递函数的相的一次成分或所述点扩散函数的重心位置成分，并且 其中，所述图像处理器利用存储在所述存储器中的所述信息来产生所述光学传递函数的相中从其消除了所述一次成分的二次成分和更高次成分的插值前信息、或者从其消除了所述点扩散函数的重心成分的形状成分的插值前信息，并且利用所述插值前信息来执行所述插值。
4.根据权利要求1所述的图像处理装置，其中，所述图像处理器通过将所述光学传递函数的相的一次成分加到通过所述插值产生的光学传递函数或者加到通过对通过所述插值产生的点扩散函数进行傅里叶变换得到的光学传递函数来恢复所述图像。
5.根据权利要求1所述的图像处理装置，其中，所述图像处理器利用通过所述插值产生的光学传递函数或者通过对通过所述插值产生的点扩散函数进行傅里叶变换得到的光学传递函数来恢复所述图像，并且对所恢复的图像执行用于减小横向色差或失真的处理。
6.根据权利要求1所述的图像处理装置，其中，所述图像处理器在与不同捕获条件对应的两个点扩散函数的重心位置彼此一致时对所述两个点扩散函数进行傅里叶变换，并且通过对通过傅里叶变换产生的两个光学传递函数的相的二次成分和更高次成分进行插值来产生与所述图像的捕获条件对应的光学传递函数的相的二次成分和更高次成分。
7.根据权利要求1所述的图像处理装置，其中，所述图像处理器在与不同捕获条件对应的两个点扩散函数的重心位置彼此一致时通过所述插值获得与所述图像的捕获条件对应的点扩散函数的形状成分，然后通过傅里叶变换产生与所述图像的捕获条件对应的光学传递函数的相的二次成分和更高次成分。
8.根据权利要求1所述的图像处理装置，其中，所述图像处理器对于RGB中的每种色度成分通过所述插值产生所述光学传递函数或所述点扩散函数。
9.根据权利要求1所述的图像处理装置，其中，在具有关系hl〈h2〈h3的图像高度，所述不同捕获条件包括图像高度hi和h3，并且所述图像的捕获条件具有图像高度h2。
10.根据权利要求1所述的图像处理装置，其中，当变焦时的焦距具有关系f I ^ f2 ^ f3时，所述不同捕获条件包括焦距f I和f3，并且所述图像的捕获条件具有焦距f20
11.根据权利要求1所述的图像处理装置，其中，在具有关系Fl< F2 < F3的光圈状态下，所述不同捕获条件包括光圈状态Fl和F3，并且所述图像的捕获条件具有光圈状态F2。
12.根据权利要求1所述的图像处理装置，其中，在dl^ d2 ^ d3的物距中，所述不同捕获条件包括物距dl和d3，并且所述图像的捕获条件具有物距d2。
13.根据权利要求1所述的图像处理装置，其中，所述捕获条件包括图像高度、焦距、F值和物距。
14.一种图像处理装置，包括存储器，所述存储器配置为存储图像拾取光学系统关于捕获条件中的至少一种的光学传递函数或点扩散函数的信息，其特征在于， 所述图像处理装置还包括图像处理器，所述图像处理器配置为 在与不同捕获条件对应的两个点扩散函数的重心位置彼此不一致时对所述两个点扩散函数进行傅里叶变换； 从通过对所述两个点扩散函数进行傅里叶变换而形成的两个光学传递函数消除相的一次成分； 通过对所述两个光学传递函数进行插值来产生与通过所述图像拾取光学系统捕获的图像的捕获条件对应的光学传递函数的相的二次成分和更高次成分；以及利用与所述捕获条件对应的所述光学传递函数来恢复所述图像。
15.一种图像拾取装置，包括存储器，所述存储器配置为存储图像拾取光学系统关于捕获条件中的至少一种的光学传递函数或点扩散函数的信息，其特征在于， 所述图像拾取装置还包括图像处理器，所述图像处理器配置为 在所述点扩散函数的微分均方根值最小或者重心位置或最大强度位置彼此一致时，通过基于与不同的捕获条件对应且从存储在所述存储器中的所述信息得到的至少两个光学传递函数或点扩散函数进行插值来产生与通过所述图像拾取光学系统捕获的图像的捕获条件对应的光学传递函数的相的二次成分和更高次成分或者点扩散函数的形状成分，并且利用从通过所述插值已经产生的光学传递函数得到的光学传递函数或者从通过所述插值已经产生的点扩散函数得到的光学传递函数来恢复所述图像。
16.—种图像处理方法,包括 将图像拾取光学系统关于捕获条件中的至少一种的光学传递函数或点扩散函数的信息存储在存储器中； 在所述点扩散函数的微分均方根值最小或者重心位置或最大强度位置彼此一致时，通过基于与不同的捕获条件对应且从存储在所述存储器中的所述信息得到的至少两个光学传递函数或点扩散函数进行插值来产生与通过所述图像拾取光学系统捕获的图像的捕获条件对应的光学传递函数的相的二次成分和更高次成分或者点扩散函数的形状成分；以及利用从通过所述插值已经产生的光学传递函数得到的光学传递函数或者从通过所述插值已经产生的点扩散函数得到的光学传递函数来恢复所述图像。
17.一种图像处理设备，包括 用于将图像拾取光学系统关于捕获条件中的至少一种的光学传递函数或点扩散函数的信息存储在存储器中的装置； 用于在所述点扩散函数的微分均方根值最小或者重心位置或最大强度位置彼此一致时，通过基于与不同的捕获条件对应且从存储在所述存储器中的所述信息得到的至少两个光学传递函数或点扩散函数进行插值来产生与通过所述图像拾取光学系统捕获的图像的捕获条件对应的光学传递函数的相的二次成分和更高次成分或者点扩散函数的形状成分的装置；以及 用于利用从通过所述插值已经 产生的光学传递函数得到的光学传递函数或者从通过所述插值已经产生的点扩散函数得到的光学传递函数来恢复所述图像的装置。
全文摘要
本发明提供图像处理装置和图像拾取装置。一种图像处理装置包括存储器，配置为存储光学系统关于至少一种捕获条件的OTF或PSF的信息；以及图像处理器，配置为在点扩散函数的微分均方根值最小或者重心位置或最大强度位置彼此一致时，通过基于存储器中的至少两个OTF或PSF进行插值来产生与所捕获的图像的捕获条件对应的OTF的相的二次和更高次成分或者PSF的形状成分，并利用所生成的OTF或从所生成的PSF得到的OTF来恢复图像。
文档编号G06T5/00GK103020903SQ20121022494
公开日2013年4月3日 申请日期2012年6月29日 优先权日2011年7月4日
发明者渡边武史 申请人:佳能株式会社