原滤波器，针对 在图像数据取得步骤中取得的亮度系图像数据实施复原处理。
[0043] 另外，本发明提供一种图像处理方法，具有：图像数据取得步骤，取得通过具有光 学系统的摄像装置得到的图像数据；复原处理步骤，使用通过复原滤波器生成方法来生成 的复原滤波器，针对在图像数据取得步骤中取得的图像数据，实施复原处理。
[0044] 另外，本发明提供一种程序，使计算机执行生成复原滤波器的处理，该复原滤波器 用于针对根据由具有光学系统的摄像装置得到的各颜色的图像数据来生成的、与亮度相关 的图像数据即亮度系图像数据进行复原处理，其中，程序具备：信息取得步骤，取得表示光 学系统的光学传递函数的取决于颜色的波动的波动信息；以及复原滤波器生成步骤，生成 复原滤波器，在复原滤波器生成步骤中，根据在信息取得步骤中取得的波动信息来生成复 原滤波器，该复原滤波器根据取决于颜色的波动来减弱复原强度，与假定为没有取决于颜 色的波动而确定的理想滤波器的复原强度相比，减弱复原强度。
[0045] 另外，本发明提供一种程序，使计算机执行生成复原滤波器的处理，该复原滤波器 用于针对由具有光学系统的摄像装置得到的图像数据进行复原处理，其中，程序具备：信息 取得步骤，作为表示光学系统的光学传递函数的、由光学系统的制造引起的波动的波动信 息，取得光学系统的制造引起的波动设为服从正态分布而计算出的光学传递函数的方差； 以及复原滤波器生成步骤，生成复原滤波器，在复原滤波器生成步骤中，根据取得的波动信 息来生成复原滤波器，该复原滤波器根据由光学系统的制造引起的波动来减弱复原强度， 通过根据方差的项被设置于分母的算式来计算复原强度，与假定为没有由光学系统的制造 引起的波动而确定的理想滤波器的复原强度相比，减弱复原强度。
[0046] 另外，本发明提供一种程序，使计算机执行生成复原滤波器的处理，该复原滤波器 用于针对由具有光学系统的摄像装置得到的图像数据进行复原处理，其中，程序具备：信息 取得步骤，作为表示光学系统的光学传递函数的取决于摄影条件的波动的波动信息，取得 取决于摄影条件的波动设为服从正态分布而计算出的光学传递函数的方差；以及复原滤波 器生成步骤，生成复原滤波器，在复原滤波器生成步骤中，根据在信息取得步骤中取得的波 动信息来生成复原滤波器，该复原滤波器根据取决于摄影条件的波动来减弱复原强度，通 过根据方差的项被设置于分母的算式来计算复原强度，与假定为没有取决于摄影条件的波 动而确定的理想滤波器的复原强度相比，减弱复原强度。
[0047] 另外本发明提供一个计算机可读记录介质，记录了上述方式中的任一个所涉及的 程序。
[0048] 发明效果
[0049] 根据本发明，能够根据光学传递函数的波动来降低过校正。
【附图说明】
[0050] 图1是示出包括应用本发明的复原滤波器生成装置与作为图像处理装置的一个 例子的数码相机的系统结构例的框图。
[0051] 图2是用于说明点图像复原处理的原理的说明图。
[0052] 图3是用于说明振幅校正与相位校正的差异的说明图。
[0053] 图4是用于说明取决于颜色而在光学传递函数中产生波动的说明图。
[0054] 图5是用于说明采用同样的概率论来处理取决于颜色的OTF波动与由制造导致的 OTF波动的说明图。
[0055] 图6是示出复原滤波器生成处理的一个例子的概略的流程图。
[0056] 图7是示出点图像复原处理的一个例子的概略的框图。
[0057] 图8是示出关于是否实施相位校正的切换处理的概略的流程图。
[0058] 图9是示出用于说明复原滤波器生成处理的复原处理模型的图。
[0059] 图10是示出第一实施方式中的复原滤波器生成处理例的流程的流程图。
[0060] 图11示出光学传递函数的正态分布中的针对空间频率ω的平均μ、平均μ +标 准差σ、平均μ -标准差σ的例子。
[0061] 图12是示出数码相机的硬件结构例的框图。
[0062] 图13是示出图12的图像处理电路的结构例的框图。
[0063] 图14是示出复原滤波器生成装置的硬件结构例的框图。
[0064] 图15是包括复原滤波器生成装置以及图像处理装置的数码相机的框图。
[0065] 图16是包括复原滤波器生成装置以及图像处理装置的计算机装置的框图。
[0066] 图17是示出具备EDoF光学系统的摄像模块的一种方式的框图。
[0067] 图18是示出EDoF光学系统的一个例子的图。
[0068] 图19是示出具备EDoF光学系统的数码相机的复原处理部中的复原处理的一个例 子的流程图。
[0069] 图20是示出智能手机的外观图。
[0070] 图21是示出图20所示的智能手机的结构的框图。
【具体实施方式】
[0071 ] 参照附图，说明本发明的实施方式。
[0072] 〈系统结构例〉
[0073] 图1是示出包括应用本发明的复原滤波器生成装置以及作为图像处理装置的一 个例子的数码相机的系统结构例的框图。
[0074] 数码相机10 (摄像装置）构成为包括具有光学系统14以及摄像元件16的摄像部 18、根据通过摄像部18而得到的多种颜色（在本例子中，R、G、B)的各颜色的图像数据来生 成作为与亮度相关的图像数据的亮度系图像数据的亮度系图像数据生成部22、储存用于针 对亮度系图像数据（或者各颜色的图像数据）进行复原处理的复原滤波器F的复原滤波器 储存部24、以及使用在复原滤波器储存部24中储存了的复原滤波器F来针对亮度系图像数 据（或者各颜色的图像数据）实施点图像复原处理的复原处理部26。
[0075] 复原滤波器生成装置80构成为包括取得与数码相机10的光学系统14中的点图 像分布对应的光学传递函数以及表示光学传递函数的波动的波动信息（以下，也称为"0TF 波动"）的信息取得部82、根据通过信息取得部82取得的信息来生成复原滤波器F的复原 滤波器生成部84、以及针对是否使复原滤波器F进行亮度系图像数据（或者各颜色的图像 数据）的相位校正进行切换的切换部86。
[0076] 作为通过信息取得部82取得的"光学传递函数"，可列举例如PSF(Point Spread Function :以下也称为"点图像分布函数"或者"点扩散函数"）、以及对PSF进行傅立叶变 换而得到的所谓0TF(0ptical Transfer Function :以下也称为"复0TF"或者"复光学传递 函数"）。复OTF由MTF (Modulation Transfer Function:以下也称为"调制传递函数"或 者"振幅传递函数"）、以及PTF (Phase Transfer Function :以下也称为"相位传递函数"） 构成。也包括作为"光学传递函数"而仅取得MTF或者仅取得PTF的情况。另外，也可以是 "光学传递函数"包括调制分量（以下，也称为"振幅分量"）以及相位分量中的至少一方、 并且根据光学传递函数计算MTF以及PTF中的至少一方的情况。即，"光学传递函数"间接 包括表示MTF以及PTF中的至少一方的信息。
[0077] 作为通过信息取得部82取得的光学传递函数的波动信息（也称为"0TF波动"）， 可列举例如基于亮度系图像数据（或者各颜色的图像数据）所表示的颜色（某个表色系的 颜色空间上的颜色）的OTF波动、由光学系统14的制造导致的个体波动、以及由通过数码 相机10 (摄像装置）进行摄影时的摄影条件导致的OTF波动。此处，"光学系统的光学传递 函数的基于颜色的波动"是指光学系统中的各颜色的光学传递函数间的波动。
[0078] 本例的信息取得部82也可以取得各颜色的光学传递函数，根据该各颜色的光学 传递函数，来计算光学传递函数的基于颜色的波动。
[0079] 复原滤波器生成部84根据通过信息取得部82取得的信息（光学传递函数以及波 动信息），来生成根据光学传递函数的波动而减弱复原强度的复原滤波器。具体来说，复原 滤波器生成部84针对每个空间频率，与假定为没有光学传递函数的波动而确定的理想滤 波器的复原强度相比，使所生成的复原滤波器的复原强度减弱。
[0080] 〈复原处理〉
[0081] 图2是用于说明点图像复原处理的原理的说明图。在图2中，为了容易理解，不出 了作为被摄体像而对点图像进行摄像的情况。被摄体像经由包括透镜11以及光圈12的光 学系统14,被成像于摄像元件16的摄像面，通过该摄像元件16来进行摄像。从该摄像元件 16输出由于光学系统14的像差而被摄体像劣化了的图像数据即劣化图像数据。因此，作为 与摄影条件（例如，光圈值、焦距、被摄体距离、透镜种类等）相应的光学传递函数，预先求 出光学系统14中的劣化的特性。另外，通过图1的复原滤波器生成部84,根据光学传递函 数以及波动信息，来生成点图像复原处理用的复原滤波器F。通过图1的复原处理部26,使 用复原滤波器F，进行消除劣化图像数据的劣化的点图像复原处理（复原处理）。于是，能 够得到消除了劣化的复原图像数据。
[0082] 如图3所示，点图像复原处理能够大致分为"相位校正"（也称为"相位复原"）与 "振幅校正"（也称为"振幅复原"。"相位校正"是在光学系统中复原劣化了的相位特性 (PTF)的图像处理。通过相位校正，能够将非对称的点扩散形状校正成点对称的点扩散形 状。"振幅校正"是在光学系统中复原劣化了的振幅特性（MTF)的图像处理。通过振幅校 正，能够将点扩散形状校正成点（S函数）。但是，如果模糊严重或者SN比恶化，则有时无 法完全返回到点形状。
[0083] 另外，光学系统的像差根据波长而不同，所以理想的是，优选针对每种颜色（例如 R、G、B)而使用不同的复原滤波器来进行点图像复原处理。然而，如果针对多种颜色（例如 R、G、B)中的每种颜色的图像数据分别进行点图像复原处理，则运算处理的负荷大。因此， 有时通过图1的复原处理部26来针对视觉上的效果大的亮度系图像数据进行点图像复原 处理。在这种情况下，图1的复原滤波器生成部84生成亮度系图像数据用的复原滤波器F。
[0084] 〈与光学传递函数波动相应的复原处理〉
[0085] 图4是用于说明取决于颜色而在光学传递函数中产生波动的说明图。此外，在图 中，"白色点"的PSF形状示出了在对白色点进行摄像时合成了 R、G、B图像数据的合成图像 中的点扩散的形状。另外，图中的"R"、"G"、"B"的PSF形状分别示出了 R、G、B图像数据中 的点扩散的形状。此外，为了方便图示，在"白色点"的PSF形状中，越白则光的强度越大， 在" R"、"G"、"B"的psF形状中，越黑则光的强度越大。如图4所示，在 R(红）的PSF形状、 G(绿）的PSF形状以及B(蓝）的PSF形状中产生波动。这样的PSF形状的波动对应于由 MTF(调制传递函数）以及PTF(相位传递函数）构成的复OTF的波动。
[0086] 在针对亮度系图像数据执行点图像复原处理的情况下，与针对R、G、B的各颜色的 图像数据（R图像数据、G图像数据、B图像数据）分别执行单独的点图像复原处理的情况不 同，对于所有颜色都只能执行相同的校正。因此，根据颜色，产生由于过校正而反而画质劣 化这样的弊端的问题。
[0087] 在本发明中，掌握为取决于颜色而"PSF形状在概率上发生波动"。即，作为概率分 布来处理基于颜色的光学传递函数的波动。
[0088] 图5是用于说明采用同样的概率论来处理取决于颜色的OTF波动、以及由制造导 致的OTF波动的说明图。
[0089] 在图5中，"透镜#1"以及"透镜#2"表示以同一设计规格制造了的不同的单个 光学系统14。在"透镜#1"与"透镜#2"中，R(红）的PSF形状、G(绿）的PSF形状以及 B(蓝）的PSF形状不同。这样，PSF形状不仅根据颜色而产生波动，还取决于光学系统14 的制造而产生波动（个体波动）。
[0090] 如果将PSF形状的波动定义为"概率分布"，则能够采用同样的概率论来处理基于 颜色的PSF形状的波动与由制造导致的PSF形状的波动。具体来说，在亮度系图像数据中 的复OTF设为h y，将空间频率设为（ωχ，coy)时，将基于颜色的复OTF的波动以及由制造导 致的复OTF的波动定义为概率分WP yQiy I ωχ，coy)。即，求出基于颜色的OTF波动以及由制 造导致的OTF波动，作为正态分布中的概率分布？ ￥的方差。
[0091] 图6是示出由复原滤波器生成部84实施的复原滤波器生成处理的一个例子的概 略的流程图。
[0092] 在步骤Sl中，通过信息取得部82,按多种颜色（例如R、G、B这3色）的各颜色来 取得光学系统14中的光学传递函数。
[0093] 在步骤S2中，通过信息取得部82,根据通过步骤Sl取得的各颜色的光学传递函 数，针对每个空间频率（ω χ，coy)计算正态分布中的光学传递函数的平均以及方差。即，设 为在某个表色系的颜色空间中光学传递函数的波动服从正态分布，作为用于计算复原强度 的参数，计算正态分布中的光学传递函数的平均μ (ωχ，COy)以及方差σ 2(ωχ，COy)。此处， 方差。2(ω χ，coy)是通过信息取得部82取得（计算）的"波动信息"，平均μ (ωχ，coy)可 以说是表示光学传递函数的波动的中心的光学传递函数的代表。
[0094] 在步骤S3中，通过复原滤波器生成部84,根据由步骤S2计算出的平均μ (ωχ， ?y)以及方差。2(ωχ，co y)，来计算复原滤波器的复原强度。
[0095] 在步骤S4中，通过复原滤波器生成部84,来生成具有通过步骤S3计算出的复原强 度的复原滤波器。
[0096] 此外，本发明不限定于生成具有相位校正功能以及振幅校正功能这两者的复原滤 波器的情况，也可以生成具有相位校正功能以及振幅校正功能中的至少一方的复原滤波 器。
[0097] 图7是示出点图像复原处理的一个例子的概略的框图。
[0098] 点图像复原处理是使用复原滤波器F来根据劣化图像数据制作复原图像数据的 处理。点图像复原处理使用通过例如NXM(N、M为2以上的整数）个抽头来构成的实际空 间上的复原滤波器来进行。由此，通过对被分配给各抽头的滤波器系数与对应的图像数据 (劣化图像数据的处理对象像素数据以及相邻像素数据）进行卷积运算，能够计算点图像 复原处理后的像素数据（复原图像数据）。依次代替对象像素，将使用该复原滤波器F的卷 积运算应用于构成图像数据的全部像素数据，从而能够进行点图像复原处理。
[0099] 此处，通过NXM个抽头来构成的实际空间上的复原滤波器能够通过对频率空间 (也称为"空间频率区域"）上的复原滤波器进行傅立叶逆变换来导出。因此，实际空间上 的复原滤波器确定成为基础的频率空间上的复原滤波器，指定实际空间上的复原滤波器的 抽头数，从而能够适当计算。
[0100] 〈复原滤波器生成的切换处理〉
[0101] 图8是示出由图1的复原滤波器生成装置80的切换部86进行的关于是否实施相 位校正的切换处理的概略的流程图。
[0102] 在图8中，切换部86判定是否使复原滤波器F在针对亮度系图像数据的点图像复 原处理中进行相位校正（相位复原）（步骤S11)。
[0103] 在使复原滤波器F进行相位校正的情况下（在步骤Sll中的"是"的情况下）， 复原滤波器生成部84生成作为具有在针对亮度系图像数据的点图像复原处理中进行相位 校正的功能的复原滤波器的、降低了亮度系图像数据的相位的过校正的复原滤波器（步骤 S12) 〇
[0104]