图像处理装置、滤波器获取装置、图像处理方法、滤波器获取方法、程序及记录介质与流程

本发明涉及一种图像处理装置、滤波器获取装置、图像处理方法、滤波器获取方法、程序及记录介质，尤其涉及一种图像滤波处理及在图像滤波处理中可使用的滤波器的获取方法。

背景技术：

提出有用于改善画质的滤波处理或用于赋予特殊的视觉效果的滤波处理等各种图像滤波处理技术。已知有使用滤波器来复原原来的图像的点像复原处理，所述滤波器是根据表示例如由摄影透镜的像差等引起的像劣化特性的点扩散函数(点像分布函数(PSF：Point Spread Function))而确定的。

专利文献1公开一种以通过基于PSF数据进行的图像处理来复原图像为目的的图像记录装置。该图像记录装置中，由“表示根据成像透镜的设计值获得的PSF的设计PSF数据”和“根据调整用图的摄影数据获得的测量PSF数据”推测其他区域PSF数据，并使用测量PSF数据及其他区域PSF数据来复原图像数据。如此使用根据调整用图的摄影数据获得的测量PSF数据来复原图像数据，从而即使在由于图像记录装置的个体差而图像数据的劣化程度在装置之间不同的情况下，也能够进行与个体差相应的复原。

以往技术文献

专利文献

专利文献1：日本特开2010-177919号公报

非专利文献

非专利文献1：J.A.Fessler and A.O.Hero，“Space-Alternating Gener alized Expectation-Maximization Algorithm，”IEEETransactionS on Si gnalProcessing，Vol.17，No.10，pp.2664-2677，1994.

非专利文献2：B.H.Fleury，M.Tschudin，R.Heddergott，D.Dahlhaus，and K.I.Pedersen，“Channel Parameter Estimation in Mobile Radio Envi ronments Using the SAGE Algorithm，”IEEE J.Selected Areas in Commun ications，Vol.17，No.3，pp.434-449，Mar.1999.

非专利文献3：Y.Pati，R.Rezaiifar，P.Krishnaprasad，“Orthogonal Matching Pursuit：recursive function approximation with application to wavelet decomposition”，in Asilomar Conf.on Signals，Systems and Comput.，1993.

技术实现要素：

发明要解决的技术课题

如利用了上述点扩散函数(PSF)的图像滤波处理那样，根据光学系统的光学特性确定透镜的像差等的像劣化特性，并使用根据其像劣化特性而设计的滤波器来进行滤波处理，从而能够复原原来的图像。

因此，关于以理想状态制造的光学系统，能够由设计值预先确定光学特性，理论上，能够由设计值制作使用该理想的光学系统摄影的图像的复原性能优异的高精度的滤波器。然而，实际制造出的光学系统的个体之间有偏差，光学系统的光学特性因制造误差等而发生变动，因此实际上仅由光学系统的设计值制造图像复原性能优异的滤波器并不一定容易。

专利文献1中所记载的图像记录装置中，通过由设计PSF数据及测量PSF数据推测其他区域PSF数据，可进行与个体差相应的图像数据的复原处理。然而，专利文献1中所记载的方法中，例如在一个光学系统(透镜等)中中央部的制造误差与边缘部的制造误差的相差较大时，未必能够高精度地进行图像数据的复原。

并且，为了进行反映有光学系统的个体差的图像滤波处理，通常需要在获取各光学系统的具体的光学特性(例如像劣化特性等)之后，根据该具体的光学特性重新设计滤波器。例如，在根据点扩散函数(PSF)生成滤波器的情况中，由按光学系统而获取将点扩散函数进行博立叶变换而获得的光学传递函数(OTF：Optical Transfer Function)，并根据其光学传递函数通过维纳(Wiener)滤波器等的任意设计基准计算图像复原用滤波器。通过由多个抽头(抽头系数)构成如此算出的滤波器，能够在实际空间中对由多个像素数据构成的图像数据简便地应用滤波器。

对滤波器的抽头数量没有限制时，能够通过带有任意的抽头数量的FIR(Finite Impulse Response)滤波器来实现通过将由维纳滤波器等所表示的频率空间滤波器进行博立叶逆变换而获得的频率特性。然而，实际可使用的硬件受限时，滤波器的抽头数量也受到限制。在滤波器的抽头数量受限的条件下，为了计算具有所希望的频率特性的抽头系数，需要解决非线性最优化问题，因此需要非常多的计算量。

因此，在光学系统的制造阶段或基于用户的使用阶段，重新设计反应了光学系统的个体差的滤波器(抽头系数)时，获取各光学系统的具体的光学特性之后，需要进行大量的运算处理。例如，利用实际摄影时所使用的相机由用户本身进行滤波器的校准时，需要用于无压力地进行这种大量的运算处理的能力较高的紧凑型运算电路及存储区域(ROM：Read Only Memory)。尤其在获取点扩散函数等的像劣化特性之后立即进行图像滤波处理时，为了计算实际所使用的抽头系数而需要确保大量的计算资源。然而，从实际构建图像处理系统的观点出发，事先确保这种计算资源并不一定优选。

并且，若图像滤波处理中所使用的滤波器的种类及数量增加，则由于滤波器整体的数据量显著增加，因此需要具有较大的存储容量的存储器。即，图像滤波处理中所使用的滤波器根据多个条件而被确定时，必要的滤波器的数据量以指数函数的比例增加。例如，光学系统的点扩散函数根据光圈值(F值)、变焦值(焦点距离)、被摄体距离、聚焦位置、光学系统类型、成像元件的传感器SN比(Signal-Noise ratio)、像高(图像内位置)及光学系统个体差等摄影条件而发生变化。然而，若对于各摄影条件的所有组合准备特有的滤波器，则这些滤波器所需的整个数据量变得庞大。

并且，考虑到特定的各向异性或频率特性的图像滤波处理中，导致所需的滤波器的图形数量增加。进而根据像素位置改变所使用的滤波器(滤波器系数)时，滤波器的数据量根据处理对象的图像的像素数而增加。

理想的是，优选预先准备与所有条件的组合相关的滤波器而预先存储于存储器。然而，由于需要确保庞大的存储容量，并且需要准备昂贵的存储器，因此从实际构建图像处理系统的观点考虑，预先准备并存储对应于所有条件的滤波器并不一定优选。

本发明是鉴于上述情况而完成的，其目的在于提供一种能够通过简单的运算处理高精度地实现根据各光学系统的光学特性而确定的所希望的图像滤波处理的图像处理方法。

并且，其目的在于提供一种能够获取在这种图像滤波处理中可优选使用的滤波器的滤波器获取方法。

用于解决技术课题的手段

本发明的一形态涉及一种图像处理装置，其具备滤波处理部，所述滤波处理部通过对原图像数据进行包括多次滤波处理的图像滤波处理来获取处理图像数据，滤波处理部在多次滤波处理的每一次处理中，对处理对象数据应用滤波器而获取滤波器应用处理数据，并对滤波器应用处理数据应用增益而获取增益应用处理数据，且由增益应用处理数据获取滤波处理数据，在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益根据图像滤波处理的作为目标的频率特性而获取，所述频率特性根据获取原图像数据时所使用的光学系统的个别的光学特性而确定。

根据本形态，多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益根据图像滤波处理的作为目标的频率特性来获取，该图像滤波处理的作为目标的频率特性根据获取原图像数据时所使用的光学系统的个别的光学特性来确定。通过以这样的方式进行增益调整，从而能够通过简单的运算处理高精度地实现根据各光学系统的光学特性而确定的所希望的图像滤波处理。并且，可降低各滤波处理中应用于处理对象数据的滤波器的数据量，同时可进行高精度的滤波处理。

另外，“频率特性”为与频率相关的特性，且表示处理后的图像数据的每频率成分的振幅与处理前的图像数据的每频率成分的振幅的比(＝处理后的图像数据的每频率成分的振幅/处理前的图像数据的每频率成分的振幅)，并表示与频率对应的响应。

作为在此所说的“光学特性”优选为了摄影获取成为图像滤波处理的对象的原图像数据而使用的摄影光学系统的光学特性。例如，能够将基于点扩散函数PSF或光学传递函数OTF(包括MTF：Modulation Transfer Function及PTF：Phase Transfer Function)的特性设为“光学特性”，并且可通过使用利用了维纳滤波器等的任意设计基准的反向滤波器(inverse filter)设计方法来表示“图像滤波处理的作为目标的频率特性”。

优选的是，图像处理装置还具备增益候补数据存储部及增益确定部，所述增益候补数据存储部存储将在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益的候补数据与光学系统的个别的光学特性建立对应关联的增益表信息，所述增益确定部参考增益表信息并将与获取原图像数据时所使用的光学系统的个别的光学特性建立对应关联的候补数据作为在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益而确定，滤波处理部在多次滤波处理的每一次处理中将增益确定部所确定的增益应用于滤波器应用处理数据来获取增益应用处理数据。

根据本形态，能够从增益的候补数据中简单地确定应用于滤波器应用处理数据的增益。

另外，“增益表信息”的形式只要是将增益的候补数据与光学系统的个别的光学特性适当地建立对应关联的形式，则并无特别限定。光学系统的个别的光学特性能够与增益的候补数据直接或间接地建立对应关联，增益表信息可以是将例如确定各光学系统的信息(光学系统的ID信息等)与增益的候补数据建立对应关联的信息。

优选的是，图像处理装置还具备增益获取部，所述增益获取部获取表示获取原图像数据时所使用的光学系统的个别的光学特性的数据，并根据表示个别的光学特性的数据确定图像滤波处理的作为目标的频率特性，且根据所确定的作为目标的频率特性获取多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益。

根据本形态，根据表示光学系统的个别的光学特性的数据确定图像滤波处理的作为目标的频率特性，并获取应用于滤波器应用处理数据的增益。在此所说的“表示光学系统的个别的光学特性的数据”只要是直接或间接地表示光学系统的个别的光学特性的数据，则可以将例如确定各光学系统的信息(光学系统的ID信息等)作为“表示光学系统的个别的光学特性数据”。

优选的是，增益通过对图像滤波处理的作为目标的频率特性根据多次滤波处理的各频率特性以最小二乘法来拟合图像滤波处理的频率特性而获取。

根据本形态，能够根据最小二乘法高精度地获取用于实现图像滤波处理的作为目标的频率特性的增益。

优选在最小二乘法中根据频率进行加权。

尤其，优选在最小二乘法中频率特性的近似误差评价函数根据频率进行加权。在此所说的近似误差评价函数为表示近似程度(即误差程度)的评价的函数，例如能够使用后述的“基于加权最小二乘准则的类函数(J_LMS[g])”作为近似误差评价函数。根据本形态，通过增加受到重视的频带的权重，并减小未受到重视的频带的权重，从而能够高精度地获取对应于实际要求的增益。

优选在最小二乘法中将低频带中的加权设定为大于高频带中的加权。

根据本形态，能够获取高精度地实现图像滤波处理的作为目标的频率特性中尤其低频带中的频率特性的增益。在人类的视觉特性方面，低频成分比高频成分更容易被感知，因此增大低频带的加权来获取增益，从而能够通过图像滤波处理生成可见性优异的处理图像数据。

在此所说的“低频带”优选根据实际所要求的画质特性而确定，例如，能够在采样频率的1/4(＝0.25fs＝奈奎斯特频率的1/2)以下的范围内设定“低频带”。

优选在最小二乘法中根据获取原图像数据时的摄影条件将高频带中的加权设定为大于低频带中的加权。

根据本形态，根据获取原图像数据时的摄影条件，能够获取高精度地实现图像滤波处理的作为目标的频率特性中尤其高频带中的频率特性的增益。通常，高频带中的MTF劣化较大而摄像系统的噪声较多时，有时噪声因图像滤波处理而被放大且画质恶化。因此在预计高频带中SN比较差的摄影条件下所获取的原图像数据的图像滤波处理中，有时优选作为“近似于图像滤波处理的作为目标的频率特性”的精度，使高频成分优先于低频成分。

在此所说的“高频带”优选根据实际要求的画质特性来确定，并能够根据所设想的噪声的频率特性，例如在大于采样频率的1/4(＝0.25fs)且1/2(＝0.5fs)以下的范围内设定“高频带”。

并且，“获取原图像数据时的摄影条件”根据可影响噪声的任意因素来确定。例如，可将选自获取原图像数据时所使用的摄影光学系统的设定条件或被摄体本身的状态条件(场景条件)等中的1个或多个条件设为“获取原图像数据时的摄影条件”。

优选最小二乘法中的加权根据原图像数据中的像素位置来确定。

根据本形态，能够根据原图像数据中的像素位置来改变最小二乘法中的加权，并能够进行与像素位置相应的图像滤波处理。例如在要求清晰的画质的像素位置中可将高频带的加权设为大于低频带的加权，在要求可见性优异的画质的像素位置中可将低频带的加权设为大于高频带的加权。

优选的是，在最小二乘法中，在原图像数据的距离图像中心为第1距离以下的像素位置，高频带中的加权大于原图像数据的距离图像中心比第1距离远的像素位置。

根据本形态，能够获取相较于图像周边部在图像中央部高频成分的再现性优异的增益。本形态优选适用于例如在图像中央部配置主要被摄体的情况等，在图像中央部要求清晰度的情况。

在此所说的“第1距离”并无特别限定，可根据重视高频带的图像范围而适当地设定。

优选的是，在最小二乘法中，在原图像数据的距离图像中心比第2距离更远的像素位置，低频带中的加权大于原图像数据的距离图像中心为第2距离以下的像素位置。

根据本形态，能够获取相较于图像中央部在图像周边部低频成分的再现性优异的增益。本形态可优选适用于例如在图像周边部可配置观察对象的被摄体的情况等、在图像周边部要求优异的可见性的情况。

在此所说的“第2距离”并无特别限定，可根据重视低频带的图像范围而适当地设定。

优选的是，滤波处理部在图像滤波处理的作为目标的频率特性中处理图像数据相对于原图像数据的比例小于1的频率中，在多次滤波处理的每一次处理中，使用使滤波处理数据与处理对象数据相等的滤波器。

若使用值过小的数据进行图像滤波处理，则处理后的数据中不仅容易混入噪声，而且有时这种噪声被放大，结果有时导致画质劣化。根据本形态，通过使用将滤波处理数据设为与处理对象数据相等的滤波器，能够有效地防止这种噪声混入及噪声放大。

优选的是，滤波处理部在多次滤波处理中的至少任一次的滤波处理中，使用根据光学系统的被推测的特性而确定的滤波器来获取滤波器应用处理数据。

根据本形态，至少进行一次基于光学系统的被推测的特性的滤波处理。

优选的是，根据光学系统的特性确定的滤波器为根据光学系统的点扩散函数确定的滤波器。

根据本形态，至少进行一次基于光学系统的点扩散函数的滤波处理。

优选的是，滤波处理部在多次滤波处理中的至少任一次的滤波处理中，利用与通过摄影获取原图像数据时所使用的光学系统的特性无关地被确定的滤波器来获取滤波器应用处理数据。

根据本形态，至少进行一次与光学系统的特性无关的滤波处理。

优选的是，与光学系统的特性无关地被确定的滤波器是轮廓增强滤波器。

根据本形态，至少进行一次与轮廓增强(边缘增强)相关的滤波处理。另外，轮廓增强滤波器可具有对应于处理对象数据中的像素位置的频率特性，也可以具有不依赖于处理对象数据中的像素位置的共同的频率特性。

优选的是，滤波处理部在多次滤波处理中的至少任一次滤波处理中，利用具有处理对象数据中的对应于像素位置的频率特性的滤波器来获取滤波器应用处理数据。

根据本形态，至少进行一次具有处理对象数据中的对应于像素位置的频率特性的滤波处理。

优选的是，多次滤波处理至少包括第1滤波处理及第2滤波处理，滤波处理部将通过第1滤波处理获取的滤波处理数据用作第2滤波处理中的处理对象数据。

根据本形态，连续地进行第1滤波处理及第2滤波处理。

优选的是，多次滤波处理至少包括第1滤波处理及第2滤波处理，滤波处理部在第1滤波处理及第2滤波处理中将相同的数据用作处理对象数据，根据通过第1滤波处理获取的滤波处理数据和通过第2滤波处理获取的滤波处理数据来获取处理图像数据。

根据本形态，可并行地进行第1滤波处理及第2滤波处理。

优选的是，多次滤波处理至少包括第1滤波处理及第2滤波处理，滤波处理部具有：第1滤波器应用部，通过对第1滤波处理的处理对象数据应用第1滤波处理用的滤波器来获取滤波器应用处理数据；第1增益应用部，通过对由第1滤波器应用部获取的滤波器应用处理数据应用第1滤波处理用增益来获取增益应用处理数据；第2滤波器应用部，通过对第2滤波处理的处理对象数据应用第2滤波处理用滤波器来获取滤波器应用处理数据；及第2增益应用部，通过对由第2滤波器应用部获取的滤波器应用处理数据应用第2滤波处理用增益来获取增益应用处理数据。

根据本形态，通过“滤波器应用部(第1滤波器应用部及第2滤波器应用部)”及“增益应用部(第1增益应用部及第2增益应用部)”来进行第1滤波处理及第2滤波处理，处理流程变得简单。

优选的是，多次滤波处理至少包括第1滤波处理及第2滤波处理，滤波处理部具有：滤波器应用部，对处理对象数据应用滤波器来获取滤波器应用处理数据；及增益应用部，对滤波器应用处理数据应用增益来获取增益应用处理数据，滤波器应用部在第1滤波处理中使用第1滤波处理用滤波器来获取滤波器应用处理数据，且在第2滤波处理中使用第2滤波处理用滤波器来获取滤波器应用处理数据，增益应用部在第1滤波处理中使用第1滤波处理用增益来获取增益应用处理数据，且在第2滤波处理中使用第2滤波处理用增益来获取增益应用处理数据。

根据本形态，通过相同的“滤波器应用部”及“增益应用部”来进行第1滤波处理及第2滤波处理，从而硬件结构(电路结构)变得简单。

优选的是，多次滤波处理至少包括第1滤波处理及第2滤波处理，滤波处理部在第1滤波处理中使用根据图像滤波处理的多种频率特性的平均而确定的基准滤波器来获取滤波器应用处理数据，且在第2滤波处理中使用根据图像滤波处理的多种频率特性的方差而确定的方差滤波器来获取滤波器应用处理数据。

根据本形态，由于使用根据图像滤波处理的多种频率特性的平均及方差而确定的基准滤波器及方差滤波器，因此能够平均地高精度地进行欲应用的图像滤波处理。

另外，方差滤波器只要直接或间接地与图像滤波处理的多种频率特性的方差相应即可，例如可根据由方差导出的标准偏差而确定方差滤波器，也可除了方差之外根据其他因素(例如平均等)而确定方差滤波器。

本发明的其他形态涉及一种图像处理装置，其具备通过对原图像数据进行包括多次滤波处理的图像滤波处理来获取处理图像数据的滤波处理部，多次滤波处理至少包括第1滤波处理及第2滤波处理，滤波处理部在多次滤波处理的每一次处理中对处理对象数据应用滤波器来获取滤波器应用处理数据，并对滤波器应用处理数据应用增益来获取增益应用处理数据，从增益应用处理数据获取滤波处理数据，在第1滤波处理中，使用根据频率特性的平均而确定的基准滤波器来获取滤波器应用处理数据，所述频率特性为多种图像滤波处理的频率特性且为根据获取原图像数据时所使用的光学系统的个别的光学特性而确定的多种图像滤波处理的频率特性，在第2滤波处理中，使用根据频率特性的方差而确定的方差滤波器来获取滤波器应用处理数据，所述频率特性为多种图像滤波处理的频率特性且为根据获取原图像数据时所使用的光学系统的个别的光学特性而确定的多种图像滤波处理的频率特性，在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益根据获取原图像数据时所使用的光学系统的个别的光学特性而确定。

根据本形态，在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益根据获取原图像数据时所使用的光学系统的个别的光学特性而确定。以这种方式进行增益调整，由此能够通过简单的运算处理高精度地实现根据各光学系统的光学特性而确定的所希望的图像滤波处理。并且，由于使用根据光学系统的个别的光学特性而确定的多种图像滤波处理的频率特性的平均及方差相应的基准滤波器及方差滤波器，因此能够平均地高精度地进行图像滤波处理。

本发明的其他形态涉及一种滤波器获取装置，其具备滤波器计算部，所述滤波器计算部基于根据多个光学系统的光学特性而确定的多种图像滤波处理的频率特性来获取根据多种图像滤波处理的频率特性的平均而确定的基准滤波器，并且根据多种图像滤波处理的频率特性获取根据多种图像滤波处理的频率特性的方差而确定的至少一个方差滤波器。

根据本形态，能够获取可稳定且高精度地进行图像滤波处理的基准滤波器及方差滤波器。以这种方式获取的基准滤波器及方差滤波器可在多次滤波处理的每一次处理中优选使用。

优选的是，滤波器计算部根据分类到多个滤波器组的多种图像滤波处理的频率特性中多个滤波器组的每一个所包含的多种图像滤波处理的频率特性获取与多个滤波器组的每一个相关的基准滤波器及至少一个方差滤波器。

根据本形态，即使在多种图像滤波处理的频率特性的偏差比较大的情况下，多种图像滤波处理的频率特性被分类到多个滤波器组，按每个滤波器组获取基准滤波器及方差滤波器。由此，能够提供可高精度地实现多种图像滤波处理的频率特性的每一特性的滤波器。

另外，将多种图像滤波处理的频率特性分类到多个滤波器组的方法并无特别限定，例如能够根据图像滤波处理的频率特性的相似性进行分类。在此所说的“相似性”可由用户适当地进行判断，也可通过根据特定的基准自动分析图像滤波处理的频率特性来获取。

优选的是，滤波器获取装置还具备以混合正态分布为基准将多种图像滤波处理的频率特性分类到多个滤波器组的滤波器组分类部。

根据本形态，以混合正态分布为基准高精度地被分类到滤波器组。

优选的是，滤波器计算部获取具有多个抽头且对各抽头分配有系数的基准滤波器，并且获取具有多个抽头且对各抽头分配有系数的至少一个方差滤波器。

根据本形态，能够由多个抽头(抽头系数)构成基准滤波器及方差滤波器的每一个。

优选的是，滤波器计算部根据偏差分布函数计算分配到至少一个方差滤波器的各抽头的系数，所述偏差分布函数表示多种图像滤波处理的频率特性的方差且根据分配到基准滤波器的各抽头的系数而确定。

根据本形态，能够根据表示多种图像滤波处理的频率特性的方差的偏差分布函数高精度地计算分配到方差滤波器的各抽头的系数。

优选的是，就滤波器计算部而言，在将I设为2以上的整数时，获取第1个到第I个方差滤波器，并由根据分配到基准滤波器的各抽头的系数而确定的偏差分布函数计算分配到第1个方差滤波器的各抽头的系数，在将J设为2以上且I以下的整数时，由根据分配到基准滤波器的各抽头的系数和分配到第1个到第J-1个方差滤波器的每一个的各抽头的系数而确定的偏差分布函数计算分配到第J个方差滤波器的各抽头的系数。

根据本形态，能够由根据基准滤波器和其他方差滤波器(第1～第J-1个方差滤波器)而确定的偏差分布函数高精度地计算分配到某一方差滤波器(第J个方差滤波器)的各抽头的系数。

优选的是，滤波器计算部根据偏差分布函数来更新分配到基准滤波器及至少一个方差滤波器中的至少任一个的各抽头的系数，所述偏差分布函数为表示多种图像滤波处理的频率特性的方差的偏差分布函数且为根据分配到基准滤波器及至少一个方差滤波器的每一个的各抽头的系数而确定的偏差分布函数。

根据本形态，更新分配到基准滤波器及至少一个方差滤波器中的至少任一个的各抽头的系数，而能够提高滤波器的精度。

优选的是，滤波器计算部根据SAGE算法或OMP算法来计算分配到基准滤波器及至少一个方差滤波器的每一个的各抽头的系数。

根据本形态，能够根据SAGE(Space Alternative Generalized Expectation)算法或OMP(Orthogonal Matching Pursuit)算法高精度地计算分配到各抽头的系数。

本发明的其他形态涉及一种图像处理方法，所述方法通过对原图像数据进行包括多次滤波处理的图像滤波处理来获取处理图像数据，所述方法中，在多次滤波处理的每一次处理中，对处理对象数据应用滤波器来获取滤波器应用处理数据，且对滤波器应用处理数据应用增益来获取增益应用处理数据，并从增益应用处理数据获取滤波处理数据，在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益根据频率特性来获取，所述频率特性为根据获取原图像数据时所使用的光学系统的个别的光学特性而确定的图像滤波处理的作为目标的频率特性。

本发明的其他形态涉及一种图像处理方法，所述方法通过对原图像数据进行包括多次滤波处理的图像滤波处理来获取处理图像数据，所述方法中，多次滤波处理至少包括第1滤波处理及第2滤波处理，在多次滤波处理的每一次处理中，对处理对象数据应用滤波器来获取滤波器应用处理数据，且对该滤波器应用处理数据应用增益来获取增益应用处理数据，并从该增益应用处理数据获取滤波处理数据，在第1滤波处理中，使用根据频率特性的平均而确定的基准滤波器来获取滤波器应用处理数据，所述频率特性为多种图像滤波处理的频率特性且为根据获取原图像数据时所使用的光学系统的个别的光学特性而确定的多种图像滤波处理的频率特性，在第2滤波处理中，使用根据频率特性的方差而确定的方差滤波器来获取滤波器应用处理数据，所述频率特性为多种图像滤波处理的频率特性且为根据获取原图像数据时所使用的光学系统的个别的光学特性而确定的多种图像滤波处理的频率特性，在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益是根据获取原图像数据时所使用的光学系统的个别的光学特性而确定。

本发明的其他形态涉及一种滤波器获取方法，所述方法基于根据多个光学系统的光学特性而确定的多种图像滤波处理的频率特性来获取根据多种图像滤波处理的频率特性的平均而确定的基准滤波器，并且根据多种图像滤波处理的频率特性来获取根据多种图像滤波处理的频率特性的方差而确定的至少一个方差滤波器。

本发明的其他形态涉及一种程序，其用于使计算机实现通过对原图像数据进行包括多次滤波处理的图像滤波处理来获取处理图像数据的功能，所述程序中，在多次滤波处理的每一次处理中，使计算机执行以下步骤：对处理对象数据应用滤波器来获取滤波器应用处理数据的步骤；对滤波器应用处理数据应用增益来获取增益应用处理数据的步骤；及从增益应用处理数据获取滤波处理数据的步骤，在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益根据频率特性来获取，所述频率特性为根据获取原图像数据时所使用的光学系统的个别的光学特性而确定的图像滤波处理的作为目标的频率特性。

本发明的其他形态涉及一种程序，其用于使计算机实现通过对原图像数据进行包括多次滤波处理的图像滤波处理来获取处理图像数据的功能，所述程序中，多次滤波处理至少包括第1滤波处理及第2滤波处理，在多次滤波处理的每一次处理中，使计算机执行以下步骤：对处理对象数据应用滤波器来获取滤波器应用处理数据的步骤；对滤波器应用处理数据应用增益来获取增益应用处理数据的步骤；及从增益应用处理数据获取滤波处理数据的步骤，在第1滤波处理中，使计算机执行如下步骤：使用根据频率特性的平均而确定的基准滤波器来获取滤波器应用处理数据，所述频率特性为多种图像滤波处理的频率特性且为根据获取原图像数据时所使用的光学系统的个别的光学特性而确定的多种图像滤波处理的频率特性，在第2滤波处理中，使计算机执行如下步骤：使用根据频率特性的方差而确定的方差滤波器来获取滤波器应用处理数据，所述频率特性为多种图像滤波处理的频率特性且为根据获取原图像数据时所使用的光学系统的个别的光学特性而确定的多种图像滤波处理的频率特性，在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益根据获取原图像数据时所使用的光学系统的个别的光学特性而确定。

本发明的其他形态涉及一种程序，其用于使计算机执行如下步骤：基于根据多个光学系统的光学特性而确定的多种图像滤波处理的频率特性来获取根据多种图像滤波处理的频率特性的平均而确定的基准滤波器的步骤；及根据多种图像滤波处理的频率特性获取根据多种图像滤波处理的频率特性的方差而确定的至少一个方差滤波器的步骤。

本发明的其他形态涉及一种计算机可读取的记录介质，所述记录介质中记录有程序，所述程序用于使计算机实现通过对原图像数据进行包括多次滤波处理的图像滤波处理来获取处理图像数据的功能，所述程序中，在多次滤波处理的每一次处理中，使计算机执行如下步骤：对处理对象数据应用滤波器来获取滤波器应用处理数据的步骤；对滤波器应用处理数据应用增益来获取增益应用处理数据的步骤；及从增益应用处理数据获取滤波处理数据的步骤，在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益根据频率特性来获取，所述频率特性为根据获取原图像数据时所使用的光学系统的个别的光学特性而确定的图像滤波处理的作为目标的频率特性。

本发明的其他形态涉及一种计算机可读取的记录介质，所述记录介质中记录有程序，所述程序用于使计算机实现通过对原图像数据进行包括多次滤波处理的图像滤波处理来获取处理图像数据的功能，所述程序中，多次滤波处理至少包括第1滤波处理及第2滤波处理，在多次滤波处理的每一次处理中，使计算机执行如下步骤：对处理对象数据应用滤波器来获取滤波器应用处理数据的步骤；对滤波器应用处理数据应用增益来获取增益应用处理数据的步骤；及从增益应用处理数据获取滤波处理数据的步骤，在第1滤波处理中，使计算机执行如下步骤：使用根据频率特性的平均而确定的基准滤波器来获取滤波器应用处理数据，所述频率特性为多种图像滤波处理的频率特性且为根据获取原图像数据时所使用的光学系统的个别的光学特性而确定的多种图像滤波处理的频率特性，在第2滤波处理中，使计算机执行如下步骤：使用根据频率特性的方差而确定的方差滤波器来获取滤波器应用处理数据，所述频率特性为多种图像滤波处理的频率特性且为根据获取原图像数据时所使用的光学系统的个别的光学特性而确定的多种图像滤波处理的频率特性，在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益根据获取原图像数据时所使用的光学系统的个别的光学特性而确定。

本发明的其他形态涉及一种计算机可读取的记录介质，所述记录介质中记录有程序，所述程序用于使计算机执行如下步骤：基于根据多个光学系统的光学特性而确定的多种图像滤波处理的频率特性获取根据多种图像滤波处理的频率特性的平均而确定的基准滤波器的步骤；及根据多种图像滤波处理的频率特性获取根据多种图像滤波处理的频率特性的方差而确定的至少一个方差滤波器的步骤。

发明效果

根据本形态，能够根据图像滤波处理的作为目标的频率特性获取在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益，该图像滤波处理的作为目标的频率特性根据获取原图像数据时所使用的光学系统的个别的光学特性而确定。由此，能够通过简单的运算处理而高精度地实现根据各光学系统的光学特性而确定的所希望的图像滤波处理。并且，能够减小在各滤波处理中应用于处理对象数据的滤波器的数据量，且能够进行高精度的滤波处理。

并且，根据本发明，能够获取根据多种图像滤波处理的频率特性的平均及方差而确定的基准滤波器及方差滤波器。通过使用以这种方式获取的基准滤波器及方差滤波器进行滤波器应用处理，从而能够平均地高精度地进行图像滤波处理。

附图说明

图1是表示与计算机连接的数码相机的框图。

图2是表示主体控制器的结构例的框图。

图3是表示图像处理部的功能结构的一例的框图。

图4是表示图像处理部的功能结构的其他例子的框图。

图5是表示图像处理部的功能结构的其他例子的框图。

图6是图像滤波处理的概念图。

图7是第n滤波处理(其中“n”为1以上且N以下的整数)的概念图。

图8是表示滤波处理部的电路结构的一例的图。

图9是表示滤波处理部的电路结构的其他例子的图。

图10是表示滤波处理部的电路结构的其他例子的图。

图11是表示滤波处理部的电路结构的其他例子的图。

图12是表示增益获取部的功能结构的一例的框图，并表示与图3所示的图像处理部优选组合的增益获取部。

图13是表示图12所示的增益获取部的增益获取流程的流程图。

图14是表示增益获取部的功能结构的其他例子的框图，并表示与图4及图5所示的图像处理部优选组合的增益获取部。

图15是表示图14所示的频率分析部的频率特性获取流程的流程图。

图16是表示图14所示的增益获取部的增益获取流程的流程图。

图17是表示显示部中的摄影引导件的一例的图。

图18是表示适于图17所示的引导件显示的被摄体的一例的图。

图19是表示显示部中的摄影引导件的其他例子的图。

图20是表示显示部中的摄影引导件的其他例子的图。

图21是表示主体控制器中的显示控制部、参考图像获取部及图像判定部的功能结构例的框图。

图22是表示显示部中的摄影引导件的其他例子的图。

图23是表示显示部中的摄影引导件的其他例子的图。

图24是表示显示部中的摄影引导件的其他例子的图。

图25是表示滤波器获取装置的功能结构的一例的框图。

图26是表示滤波器计算部的功能结构的一例的框图。

图27是以单峰型分布表示多种图像滤波处理的频率特性的偏差的概念图。

图28是以多峰型分布表示多种图像滤波处理的频率特性的偏差的概念图。

图29是概略表示可分类到单峰型分布的多种图像滤波处理的频率特性的一例的图，横轴表示频率，纵轴表示响应。

图30是概略表示图29所示的多种图像滤波处理的频率特性的方差的一例的图，横轴表示频率，纵轴表示方差。

图31是概略表示根据图29所示的多种图像滤波处理的频率特性的平均及方差获取的基底滤波器(特征矢量)的一例的图，图31(a)表示“φ₀”，图31(b)表示“φ₁”，图31(c)表示“φ₂”。

图32表示与具有图10所示的电路结构的滤波处理部所进行的图像滤波处理(第1滤波处理～第3滤波处理)相关的频率特性(参考图32(a))及增益例(参考图32(b))。

图33是表示根据单峰型分布计算滤波器系数的滤波器计算部的功能结构的一例的框图。

图34是概略表示可分类到多峰型分布的图像滤波处理的频率特性的一例的图，横轴表示频率，纵轴表示响应。

图35是概略表示图34所示的多种图像滤波处理的频率特性的方差的一例的图，图35(a)表示分类到第1偏差分布的第1图像滤波处理～第3图像滤波处理的频率特性数据的方差，图35(b)表示分类到第2偏差分布的第4图像滤波处理～第6图像滤波处理的频率特性数据的方差。

图36是概略表示根据分类到第1偏差分布的第1图像滤波处理～第3图像滤波处理的频率特性的平均及方差获取的基底滤波器(特征矢量)的一例的图，图36(a)表示“φ₀”，图36(b)表示“φ₁”，图36(c)表示“φ₂”。

图37是概略表示根据分类到第2偏差分布的第4图像滤波处理～第6图像滤波处理的频率特性的平均及方差获取的基底滤波器(特征矢量)的一例的图，图37(a)表示“φ₀”，图37(b)表示“φ₁”，图37(c)表示“φ₂”。

图38表示与具有图10所示的电路结构的滤波处理部所进行的图像滤波处理(第1滤波处理～第3滤波处理)相关的频率特性(参考图38(a))及增益例(参考图38(b))。

图39是表示根据多峰型分布计算滤波器系数的滤波器计算部的功能结构的一例的框图。

图40是通过滤波器组分类部分类到多个滤波器组的多种图像滤波处理(频率特性)的概念图。

图41表示由设计值导出的“光学系统(透镜)的MTF”的一例的曲线图，图41(a)表示光学系统的中央部分的MTF，图41(b)表示光学系统的周边部分的MTF。

图42是表示由实测值导出的“光学系统(透镜)的MTF”的一例的曲线图，图42(a)表示光学系统的中央部分的MTF，图42(b)表示光学系统的周边部分的MTF。

图43是表示根据图41所示的MTF进行滤波器应用处理PF及增益应用处理PG时的“与图像滤波处理相关的MTF”的一例的曲线图，图43(a)表示光学系统的中央部分的MTF，图43(b)表示光学系统的周边部分的MTF。

图44是表示根据图42所示的MTF进行滤波器应用处理PF及增益应用处理PG时的“与图像滤波处理相关的MTF”的一例的曲线图，图44(a)表示光学系统的中央部分的MTF，图44(b)表示光学系统的周边部分的MTF。

图45是表示根据图42所示的MTF进行滤波器应用处理PF及增益应用处理PG时的“光学系统(透镜)的MTF”的一例的曲线图，图45(a)表示光学系统的中央部分的MTF，图45(b)表示光学系统的周边部分的MTF。

图46是表示根据图42所示的MTF组合下述点像复原处理及轮廓增强处理时的“光学系统(透镜)的MTF”的一例的曲线图，图46(a)表示光学系统的中央部分的MTF，图46(b)表示光学系统的周边部分的MTF。

图47是表示进行使用了由点扩散函数导出的滤波器的滤波处理的电路与进行使用了轮廓增强滤波器的滤波处理的电路被串联连接的情况的一例的电路结构图。

图48是表示进行使用了由点扩散函数导出的滤波器的滤波处理的电路与进行使用了轮廓增强滤波器的滤波处理的电路被并联连接的情况的一例的电路结构图。

图49是表示进行使用了由点扩散函数导出的滤波器的滤波处理的电路与进行使用了轮廓增强滤波器的滤波处理的电路被并联连接的情况的一例的电路结构图。

图50是表示具备EDoF光学系统的摄像模块的一形态的框图。

图51是表示EDoF光学系统的一例的图。

图52是表示基于图50所示的复原处理块的复原处理流程的一例的图。

图53是表示经由EDoF光学系统而获取的图像的复原例的图，图53(a)表示复原处理前的模糊的图像，图53(b)表示复原处理后的模糊已被消除的图像(点像)。

图54是表示智能手机的外观的图。

图55是表示图54所示的智能手机的结构的框图。

具体实施方式

参考附图对本发明的实施方式进行说明。在以下的实施方式中，作为一例，对将本发明应用于可与计算机(PC：个人计算机)连接的数码相机(摄像装置)的情况进行说明。

图1是表示连接于计算机92的数码相机10的框图。

本例的数码相机10具有可替换的透镜单元11及具备成像元件24的相机主体12，透镜单元11与相机主体12经由透镜单元11的透镜单元输入输出部20和相机主体12的相机主体输入输出部28而电性连接。

透镜单元11具备包括透镜14和光圈15的光学系统及控制该光学系统的光学系统操作部17。光学系统操作部17包括连接于透镜单元输入输出部20的透镜单元控制器18、存储光学系统信息等各种信息的透镜单元存储部19及对光学系统进行操作的致动器(省略图示)。透镜单元控制器18根据从相机主体12经由透镜单元输入输出部20发送过来的控制信号，并经由致动器控制光学系统，进行例如基于透镜移动的聚焦控制或变焦控制及光圈15的光圈量控制等。并且，透镜单元控制器18根据从相机主体12经由透镜单元输入输出部20发送过来的控制信号，读出存储于透镜单元存储部19的各种信息而发送到相机主体12(主体控制器25)。

相机主体12的成像元件24具有聚光用微型透镜、R(红)G(绿)B(蓝)等的滤色器及由CMOS(Complementary Metal Oxide Semiconductor)或CCD(Charge Coupled Device)等构成的图像传感器(光电二极管)。该成像元件24将经由透镜单元11的光学系统(透镜14及光圈15等)照射的被摄体像的光转换为电信号，并将图像信号(图像数据)发送到主体控制器25。

关于主体控制器25，其详细内容将在后面进行叙述(参考图2)，其具有作为设备控制部的功能及作为图像处理部(图像处理装置)的功能，所述设备控制部集中地控制数码相机10的各部，所述图像处理部进行从成像元件24发送过来的图像数据的图像处理。

数码相机10还具备进行拍摄等时所需的其他设备类(释放按钮等)，这些设备类的一部分构成可通过用户进行确认及操作的用户界面26。图1所示的例子中，在相机主体12设置有用户界面26，但用户界面26可配置于透镜单元11和/或相机主体12。用户能够经由用户界面26进行用于摄影等的各种设定(EV值(Exposure Value)等)的确定及变更、摄影命令及实时预览图像和摄影图像的确认等。用户界面26连接于主体控制器25，由用户确定并变更的各种设定及各种命令被反映到主体控制器25中的各种处理。另外，本实施方式中，如后述，用户通过用户界面26所包括的显示部27(EVF：Electronic View Finder、背面液晶显示部)中的显示而被引导，并且指示用于检测光学系统(透镜14及光圈15等)的光学特性的参考图像的摄影。

在主体控制器25中经图像处理的图像数据存储于设置在相机主体12的主体存储部29，根据需要，经由输入输出接口30发送到计算机92等外部设备类。主体存储部29由任意的存储器设备构成，可优选使用存储器卡等可更换的存储器。从主体控制器25输出的图像数据的格式并无特别限定，主体控制器25能够生成并输出具有RAW、JPEG(Joint Photographic Experts Group)和/或TIFF(Tagged Image File Format)等格式的图像数据。并且，主体控制器25如所谓的Exif(Exchangeable Image File Format)那样，将标题信息(摄影信息(摄影日期和时间、机种、像素数、光圈值等)等)、主图像数据及缩略图图像数据等多个关联数据彼此建立对应关联而构成为一个图像文件，并可输出该图像文件。

计算机92经由相机主体12的输入输出接口30及计算机输入输出部93而与数码相机10连接，并接收从相机主体12发送过来的图像数据等数据类。计算机控制器94集中地控制计算机92，对来自数码相机10的图像数据进行图像处理，并且控制与经由互联网等网络96而连接于计算机输入输出部93的服务器97等的通信。计算机92具有显示器95，计算机控制器94中的处理内容等根据需要而显示于显示器95。用户通过一边确认显示器95的显示一边对键盘等输入机构(省略图示)进行操作，能够对计算机控制器94输入数据或指令。由此，用户能够对计算机92或连接于计算机92的设备类(数码相机10及服务器97等)进行控制。

服务器97具有服务器输入输出部98及服务器控制器99。服务器输入输出部98构成与计算机92等的外部设备类的收发连接部，并经由互联网等网络96而与计算机92的计算机输入输出部93连接。服务器控制器99根据来自计算机92的控制命令信号，与计算机控制器94协作，根据需要在与计算机控制器94之间进行数据类的收发，进行运算处理并将其运算结果发送到计算机92。

各控制器(透镜单元控制器18、主体控制器25、计算机控制器94及服务器控制器99)具有控制处理所需的电路类，例如具备运算处理电路(CPU(Cen tral Processing Unit)等)或存储器等。并且，数码相机10、计算机92及服务器97之间的通信既可以是有限通信，也可以是无线通信。并且，也可一体构成计算机92及服务器97，并且也可省略计算机92和/或服务器97。并且，也可以是，使数码相机10具有与服务器97的通信功能，并在数码相机10与服务器97之间直接进行数据类的收发。

图2是表示主体控制器25的结构例的框图。主体控制器25具有设备控制部34和图像处理部(图像处理装置)35，并且集中地控制相机主体12。

设备控制部34适当地控制数码相机10所具备的各种设备类，例如控制成像元件24来控制来自成像元件24的图像信号(图像数据)的输出，生成用于控制透镜单元11的控制信号并经由相机主体输入输出部28发送到透镜单元11(透镜单元控制器18)，将图像处理前后的图像数据(RAW数据及JPEG数据等)存储于主体存储部29，并对经由输入输出接口30而连接的外部设备类(计算机92等)发送图像处理前后的图像数据(RAW数据及JPEG数据等)。尤其，本例的设备控制部34包括对显示部27进行控制的显示控制部36，该显示控制部36如后述那样与图像处理部35协作而能够将引导用户的摄影操作的引导件显示于显示部27。

另一方面，图像处理部35对从成像元件24输出的图像信号进行对应于需要而进行任意的图像处理。例如，在图像处理部35中能够适当地进行传感器校正处理、去马赛克(同步化)处理、像素插值处理、颜色校正处理(偏移校正处理、白平衡处理、颜色矩阵处理及伽马转换处理等)、RGB图像处理(锐度处理、色调校正处理、曝光校正处理及轮廓校正处理等)、RGB/YCrCb转换处理及图像压缩处理等各种图像处理。

图3是表示图像处理部35的功能结构的一例的框图。

图像处理部35具备通过对原图像数据D1进行包括多次滤波处理的图像滤波处理来获取处理图像数据D2的滤波处理部41。并且，本例的图像处理部35除了滤波处理部41之外还具备增益确定部43、增益候补数据存储部44、预处理部40及后处理部42。

滤波处理部41在多次滤波处理的每一次处理中，对处理对象数据应用滤波器来获取滤波器应用处理数据，且对该滤波器应用处理数据利用增益来获取增益应用处理数据，并从该增益应用处理数据获取滤波处理数据。

增益候补数据存储部44存储“增益表信息”，所述增益表信息是将在滤波处理部41中的多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益的候补数据与光学系统的个别的光学特性建立对应关联而得。包括增益的候补数据的该增益表信息通过增益获取部45根据光学系统的个别的光学特性而预先获取并存储于增益候补数据存储部44。针对与光学系统的个别的光学特性相对应的增益(候补数据)的获取方法的具体例将在后面进行叙述。

增益确定部43参考存储于增益候补数据存储部44的增益表信息，将与获取成为图像滤波处理的对象的原图像数据D1时所使用的光学系统的个别的光学特性建立对应关联的候补数据，作为在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益而确定，并发送到滤波处理部41。本例的增益确定部43获取在获取原图像数据D1时所使用的光学系统的个别的光学特性，并从增益候补数据存储部44读出与其光学特性建立有对应关联的增益的候补数据，作为应用于滤波器应用处理数据的增益发送到滤波处理部41。另外，基于增益确定部43的与光学系统的个别的光学特性相关的信息的获取方法并无特别限定，增益确定部43例如可从主体控制器25的未图示的存储器所保持的摄影条件信息获取对获取原图像数据D1时所使用的各光学系统进行确定的信息来作为间接地显示光学系统的个别的光学特性的信息。

滤波处理部41在多次滤波处理的每一次处理中，将增益确定部43所确定的增益应用于滤波器应用处理数据来获取增益应用处理数据。

图像处理部35中，还可进行上述图像滤波处理以外的图像处理。图像滤波处理以外的各种图像处理既可在设置于滤波处理部41的前级的预处理部40中进行，也可在设置于滤波处理部41的后级的后处理部42中进行。即，将接受在预处理部40中进行的各种图像处理而得到的数据作为原图像数据D1进行滤波处理部41中的图像滤波处理，并且，在后处理部42中对接受滤波处理部41中的图像滤波处理而得到的处理图像数据D2进行各种图像处理。

此外，在本例中，将从预处理部40输入到滤波处理部41的图像数据称为“原图像数据D1”，将从滤波处理部41输出到后处理部42的图像数据称为“处理图像数据D2”

图4是表示图像处理部35的功能结构的其他例子的框图。

在图3所示的例子中，参考预先存储于增益候补数据存储部44的增益表信息获取在滤波处理中所使用的增益，但在图4所示的例子中，不预先获取并存储增益表信息(增益的候补数据)，而执行滤波处理并获取增益。即，在图4所示的例子中，增益获取部45与滤波处理部41连接，在滤波处理部41中进行的多次滤波处理中所使用的增益从增益获取部45被直接供给到滤波处理部41。增益获取部45获取表示获取原图像数据D1时所使用的光学系统的个别的光学特性的数据，并根据表示其个别的光学特性的数据确定图像滤波处理的作为目标的频率特性，根据所确定的其“图像滤波处理的作为目标的频率特性”获取在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益，并将该所获取的增益供给到滤波处理部41。

该增益获取部45可如图4所示那样作为图像处理部35的一部分而设置，也可如图5所示那样作为与图像处理部35分体的处理部而设置。

另外，在图4及图5所示的例子中，上述图像滤波处理以外的图像处理既可在设置于滤波处理部41的前级的预处理部40进行，也可在设置于滤波处理部41的后级的后处理部42进行。

接着，对在滤波处理部41中进行的图像滤波处理(多次滤波处理)的具体例进行说明。

理想的是，对于根据相同的设计值而制造的多个光学系统的每一个系统，可期待显示出一定的光学特性。然而，实际上即使是根据相同的设计值而制造的光学系统，因制造误差等而在个体间产生偏差，并不一定显示出相同的光学特性。因此，为了使用基于光学特性的滤波器而高精度地进行图像滤波处理，即使根据相同的设计值而制造也无法视为多个光学系统的光学特性相同，需要在获取各光学系统的准确的光学特性之后独立设计与各光学系统相关的滤波器。然而，为了根据各光学系统的光学特性来构建实际所使用的滤波器，需要大量的运算处理，并且需要确保用于存储滤波器的庞大的存储容量。通常，使用由有限的多个抽头构成的FIR滤波器进行图像滤波处理(滤波处理)时，在获取各光学系统的光学特性之后，计算与其光学特性相对应的滤波器的频率特性，之后，需要计算用于实现其滤波器的频率特性的抽头系数。这些一系列的处理带有繁琐的运算，所计算的抽头系数的数据量庞大，因此，例如在要求在短时间内计算出抽头系数的情况中，需要高性能的运算处理电路及存储器。

为了实现图像滤波处理所需的这种运算处理的低负载化及数据量的减小化，在以下实施方式中，代替构建与各光学系统的光学特性相对应的理想的滤波器，应用多次滤波处理并根据光学系统的个别的光学特性调整在各滤波处理中所使用的增益，从而可实现适合于在获取原图像数据时所使用的各光学系统的光学特性的图像滤波处理。

另外，在此所说的各光学系统的光学特性并不仅限定于由制造误差等而导致在各光学系统之间不同的光学特性，例如可以是根据光学系统的类别而原本就不同的光学特性。即，光学系统的个别的光学特性不限制于由于上述制造误差等而在个体间存在偏差的光学特性。本发明还可应用于使用具有按每个类别而不同的光学特性的光学系统来获取的原图像数据，作为光学系统的个别的光学特性，还包括按每个光学类别而不同的光学特性。

图6是图像滤波处理P的概念图。本例的图像滤波处理P包括多次滤波处理(第1滤波处理F1～第N滤波处理FN(其中“N”为2以上的整数))。通过该“包括多次滤波处理的图像滤波处理P”，由原图像数据D1生成处理图像数据D2。

图7是第n滤波处理Fn(其中“n”为1以上且N以下的整数)的概念图。图像滤波处理P的各滤波处理(第n滤波处理Fn)包括滤波器应用处理PF及增益应用处理PG。滤波器应用处理PF为对处理对象数据D3应用滤波器来获取滤波器应用处理数据D4的处理，增益应用处理PG为对滤波器应用处理数据D4应用增益来获取增益应用处理数据D5的处理。

在通过滤波处理部41进行的图像滤波处理P所包括的多次滤波处理(第1滤波处理F1～第N滤波处理FN)的每一次处理中，滤波器应用处理PF中应用于处理对象数据D3的滤波器并无特别限定。

例如，滤波处理部41在多次滤波处理(第1滤波处理F1～第N滤波处理FN)中的至少任一次滤波处理中，可使用根据光学系统(透镜14及光圈15等)的被推测的特性(光学特性)而确定的滤波器来获取滤波器应用处理数据D4。

作为这种“根据光学系统的被推测的光学特性而确定的滤波器”，例如能够优选使用根据光学系统(透镜14及光圈15等)的点扩散函数而确定的滤波器。例如预先推测基于制造误差的光学系统间的光学特性的偏差，预先求出对弥补该被推测的光学特性的偏差有效的滤波器，该所求出的滤波器可在滤波处理部41中的多次滤波处理中使用。推测光学系统的光学特性的偏差的方法并无特别限定，基于制造误差的光学系统间的光学特性的偏差可以经实验而求出，也可利用被模型化的函数求出。并且，对于滤波器的设计方法的一例将在后面进行叙述，但能够以利用了维纳滤波器等的任意的设计基准的反向滤波器设计方法设计滤波器。

并且，滤波处理部41可在多次滤波处理(第1滤波处理F1～第N滤波处理FN)中使用多个滤波器，所述多个滤波器为基于光学系统(透镜14及光圈15等)的点扩散函数的多个滤波器，且为通过改变影响点扩散函数的特性的因素而得到的多个滤波器。作为影响点扩散函数的特性的因素，例如可举出光圈值(F值)、变焦值(焦点距离)、被摄体距离、聚焦位置、光学系统类别、成像元件24的传感器SN比、像高(图像内位置)及光学系统个体差等摄影条件。根据这些因素中一个或多个因素的特性数据不同的点扩散函数所导出的滤波器可在各滤波器应用处理PF中使用。

另外，“根据光学系统的特性而确定的滤波器”并不限于基于点扩散函数的滤波器，可将轮廓增强滤波器或其他滤波器用作“根据光学系统的特性而确定的滤波器”。即使在为基于点扩散函数的滤波器以外的滤波器(轮廓增强滤波器等)的情况下，也可根据各种条件(例如上述光圈值(F值)等各种因素)调整滤波器(轮廓增强滤波器等)，也可在各滤波器应用处理PF中使用具有基于根据各种条件(例如上述光圈值(F值)等各种因素)而改变的光学特性而被调整的滤波器系数(抽头系数)的轮廓增强滤波器等滤波器。

并且，滤波处理部41在多次滤波处理(第1滤波处理F1～第N滤波处理FN)中的至少任一次滤波处理中，可使用与通过摄影获取原图像数据D1时所使用的光学系统(透镜14及光圈15等)的特性无关地被确定的滤波器来获取滤波器应用处理数据D4。作为这种“与光学系统的特性无关地被确定的滤波器”，例如能够优选使用轮廓增强滤波器。

并且，在滤波器应用处理PF中所使用的滤波器可根据处理对象数据D3的像素位置而改变。滤波处理部41在多次滤波处理(第1滤波处理F1～第N滤波处理FN)中的至少任一次滤波处理中，可使用具有与处理对象数据D3中的像素位置相对应的频率特性的滤波器来获取滤波器应用处理数据D4。并且，无论处理对象数据D3的像素位置如何，相同的滤波器可应用于处理对象数据D3。滤波处理部41在多次滤波处理中的至少任一次滤波处理中，可使用具有与处理对象数据D3中像素位置无关的频率特性的滤波器来获取滤波器应用处理数据D4。

另一方面，在图像滤波处理P中的多次滤波处理(第1滤波处理F1～第N滤波处理FN)的每一次处理中，在增益应用处理PG中应用于滤波器应用处理数据D4的增益是基于根据获取原图像数据D1时所使用的光学系统的个别的光学特性而确定的“图像滤波处理P的作为目标的频率特性”来获取。例如，通过基于由摄影获取原图像数据D1时所使用的光学系统(透镜14及光圈15等)的点扩散函数(光学传递函数)的频率特性，能够显示出图像滤波处理P的作为目标的频率特性，并能够使用利用了维纳滤波器等的任意的设计基准的反向滤波器设计方法。对该增益的获取方法的详细内容将在后面进行叙述。

另外，图像滤波处理P的作为目标的频率特性并不限于基于光学系统(透镜14及光圈15等)的点扩散函数(光学传递函数)的频率特性，能够将根据光学系统(透镜14及光圈15等)的摄影条件(上述光圈值(F值)等各种因素)导出的各种频率特性设为“图像滤波处理P的作为目标的频率特性”。因此，例如“根据光圈值(F值)而峰值不同的频率特性”也可设定为“图像滤波处理P的作为目标的频率特性”。

接着，对进行图像滤波处理P(多次滤波处理)的电路结构例进行说明。

构成图像滤波处理P的滤波处理(第1滤波处理F1～第N滤波处理FN)的数N优选小于通过如以往的方法根据因素设计滤波器时的滤波器的总数M。以优选为M的50％以下，进一步优选为30％以下，进一步优选为10％以下的方式设定构成图像滤波处理P的滤波处理的数N。其中，对于构成图像滤波处理P的滤波处理的数N，多次滤波处理中所使用的滤波器中抽头数量最大的滤波器的抽头数量(最大抽头数量)成为上限。这是因为，若为滤波器的抽头数量以上，则无法增加滤波器的种类。

另外，构成图像滤波处理P的滤波处理的数N优选为10以下，进一步优选为6以下，进一步优选为4以下，但滤波处理的数N的具体的数值例并不限于这些。并且，构成图像滤波处理P的多次滤波处理(滤波处理部41)中所使用的多个滤波器的抽头数量在滤波器之间可相同也可不同。

在以下与图8～图11相关的说明中，为了方便，假设“N＝2”，对滤波处理部41中所进行的多次滤波处理由第1滤波处理F1及第2滤波处理F2构成的情况进行说明。其中，“N”为3以上的整数，在滤波处理部41进行3次以上的滤波处理的情况下，也可通过相同的设计方法实现滤波处理部41。

图8是表示滤波处理部41的电路结构的一例的图。图8中示出有串联连接进行第1滤波处理F1～第N滤波处理FN(其中，本例中“N＝2”)的每一次处理的电路的情况的一例。

本例的滤波处理部41将在第1滤波处理F1中获取的滤波处理数据D6-1用作第2滤波处理F2中的处理对象数据D3-2。即，滤波处理部41具有第1滤波器应用部48-1、第1增益应用部49-1及第1处理数据计算部50-1，且通过它们进行第1滤波处理F1。并且，滤波处理部41具有第2滤波器应用部48-2、第2增益应用部49-2及第2处理数据计算部50-2，且通过它们进行第2滤波处理F2。

第1滤波器应用部48-1对第1滤波处理F1的处理对象数据D3-1应用第1滤波处理用滤波器来获取滤波器应用处理数据D4-1。第1增益应用部49-1对从第1滤波器应用部48-1输出的滤波器应用处理数据D4-1应用第1滤波处理用增益g₀来获取增益应用处理数据D5-1。同样地，第2滤波器应用部48-2对第2滤波处理F2的处理对象数据D3-2应用第2滤波处理用滤波器来获取滤波器应用处理数据D4-2。第2增益应用部49-2对从第2滤波器应用部48-2输出的滤波器应用处理数据D4-2应用第2滤波处理用增益g₁来获取增益应用处理数据D5-2。

另外，在各滤波处理中所使用的滤波器既可以由各滤波器应用部48(第1滤波器应用部48-1及第2滤波器应用部48-2)保持，也可以存储于未图示的存储器而由各滤波器应用部48适当地读出。并且，在各滤波处理中所使用的增益可通过图3所示的增益确定部43或图4及图5所示的增益获取部45供给到各增益应用部49(第1增益应用部49-1及第2增益应用部49-2)。

并且，本例的滤波处理部41还具有将处理对象数据D3与增益应用处理数据D5相加并输出滤波处理数据D6的第1处理数据计算部50-1及第2处理数据计算部50-2。即，第1处理数据计算部50-1对从第1增益应用部49-1输出的增益应用处理数据D5-1加上处理对象数据D3-1并输出滤波处理数据D6-1。同样地，第2处理数据计算部50-2对从第2增益应用部49-2输出的增益应用处理数据D5-2加上处理对象数据D3-2并输出滤波处理数据D6-2。

另外，在通过第1滤波处理F1及第2滤波处理F2构成图像滤波处理P的本例中，第1滤波处理F1中的处理对象数据D3-1为原图像数据D1，第2滤波处理F2中的滤波处理数据D6-2成为处理图像数据D2。

图9是表示滤波处理部41的电路结构的其他例子的图。图9中示出有并联连接进行第1滤波处理F1～第N滤波处理FN(其中，本例中“N＝2”)的每一次处理的电路的情况的一例。

本例中，串联连接与第1滤波处理F1相关的第1滤波器应用部48-1和第1增益应用部49-1，且串联连接与第2滤波处理F2相关的第2滤波器应用部48-2和第2增益应用部49-2。并且，并联连接“与第1滤波处理F1相关的第1滤波器应用部48-1及第1增益应用部49-1”与“与第2滤波处理F2相关的第2滤波器应用部48-2及第2增益应用部49-2”。并且，滤波处理部41具有将从第1增益应用部49-1输出的增益应用处理数据D5-1与从第2增益应用部49-2输出的增益应用处理数据D5-2相加的加法器52。另外，设置有通过将加算数据D7和处理对象数据D3相加来获取处理图像数据D2的处理图像数据计算部51，所述加算数据D7通过与在所有滤波处理(本例中为第1滤波处理F1及第2滤波处理F2)中所获取的增益应用处理数据D5(滤波处理数据D6)相加而获得。

具有该图9所示的电路结构的本例的滤波处理部41在第1滤波处理F1及第2滤波处理F2中使用相同的数据(即原图像数据D1)来作为处理对象数据D3。并且，滤波处理部41根据在第1滤波处理F1中获取的滤波处理数据D6-1和在第2滤波处理F2中获取的滤波处理数据D6-2来获取处理图像数据D2。另外，本例中，从各滤波处理的增益应用部49输出的增益应用处理数据D5成为在各滤波处理中获得的滤波处理数据D6。

图10是表示滤波处理部41的电路结构的其他例子的图。图10中示出有并联连接进行第1滤波处理F1～第N滤波处理FN(其中，本例中“N＝2”)的每一次处理的电路的其他例子。

本例中，与图9所示的例子同样地，串联连接与第1滤波处理F1相关的第1滤波器应用部48-1和第1增益应用部49-1，且串联连接与第2滤波处理F2相关的第2滤波器应用部48-2和第2增益应用部49-2。并且，并联连接“与第1滤波处理F1相关的第1滤波器应用部48-1及第1增益应用部49-1”与“与第2滤波处理F2相关的第2滤波器应用部48-2及第2增益应用部49-2”。因此，本例的滤波处理部41在第1滤波处理F1及第2滤波处理F2中也使用相同的数据(即原图像数据D1)来作为处理对象数据D3。

其中，在本例中，通过处理图像数据计算部51加算所有滤波处理(本例中为第1滤波处理F1及第2滤波处理F2)中所获取的增益应用处理数据D5(滤波处理数据D6)，从而获取处理图像数据D2。即，滤波处理部41通过在处理图像数据计算部51中将在第1滤波处理F1中获取的滤波处理数据D6-1与在第2滤波处理F2中获取的滤波处理数据D6-2相加来获取处理图像数据D2。另外，在本例中，从各滤波处理的增益应用部49输出的增益应用处理数据D5成为在各滤波处理中所获得的滤波处理数据D6。

并且，本例的图像滤波处理P(第1滤波处理F1～第N滤波处理FN)为了防止处理对象图像的亮度(DC(Direct Current)成分)发生变化，优选频率(ω)为0时的滤波器响应被设定为1且设定为(φ_n(0)＝1)，且关于任意的增益，亮度被调整为恒定。

在上述图8～图10所示的例子中，在多次滤波处理的每一次处理中设置独立的“滤波器应用部48及增益应用部49”，但也可通过共同的“滤波器应用部48及增益应用部49”进行多次滤波处理。

图11是表示滤波处理部41的电路结构的另一例子的图。图11中示出有通过单一的滤波器应用部48及单一的增益应用部49进行多次滤波处理的电路结构的例子。图11所示的电路结构例在滤波器应用处理PF及增益应用处理PG中发挥与上述图8所示的串联连接类型的电路结构等效的功能，但在通过单一的“滤波器应用部48及增益应用部49”进行多次滤波处理的方面与图8所示的电路结构不同。

即，本例的滤波处理部41具有：滤波器应用部48，对处理对象数据D3应用滤波器来获取滤波器应用处理数据D4；及增益应用部49，对滤波器应用处理数据D4应用增益来获取增益应用处理数据D5。并且，滤波处理部41具有：处理数据计算部50，将增益应用处理数据D5与处理对象数据D3相加而获取滤波处理数据D6；及反复运算判定部54，判定是否反复滤波器应用部48、增益应用部49及处理数据计算部50中的运算处理。

反复运算判定部54判定通过滤波器应用部48、增益应用部49及处理数据计算部50进行的滤波处理的次数是否达到预先确定的N次(本例中“N＝2”)。当通过滤波器应用部48、增益应用部49及处理数据计算部50进行的滤波处理的次数未达到N次时，反复运算判定部54对从处理数据计算部50输出的滤波处理数据D6进行反馈。若滤波处理数据D6被反馈，则滤波器应用部48、增益应用部49及处理数据计算部50将所反馈的滤波处理数据D6作为新的处理对象数据D3反复一系列的处理。当通过滤波器应用部48、增益应用部49及处理数据计算部50进行的滤波处理的次数达到N次时，反复运算判定部54将从处理数据计算部50最终输出的滤波处理数据D6作为处理图像数据D2来输出。

在本例中，滤波器应用部48中所使用的滤波器h_n从滤波器供给部56被供给到滤波器应用部48，增益应用部49中所使用的增益g_n从增益供给部55被供给到增益应用部49。即，“在第n次滤波处理(其中“1≤n≤N”)中所使用的滤波器h_n-1及增益g_n-1的信息”在滤波器供给部56及增益供给部55中被保持，或者被未图示的存储器所保持。滤波器供给部56及增益供给部55，从反复运算判定部54发送“接着在滤波器应用部48、增益应用部49及处理数据计算部50中进行的滤波处理为第n次”这样的信息，并根据来自该反复运算判定部54的信息对滤波器应用部48及增益应用部49供给滤波器h_n-1及增益g_n-1。

因此，图11所示的滤波器应用部48在第1滤波处理F1中使用第1滤波处理用滤波器h₀获取滤波器应用处理数据D4，并在第2滤波处理F2中使用第2滤波处理用滤波器h₁获取滤波器应用处理数据D4。并且，增益应用部49在第1滤波处理F1中使用第1滤波处理用增益g₀获取增益应用处理数据D5，并在第2滤波处理F2中使用第2滤波处理用增益g₁获取增益应用处理数据D5。

另外，关于对增益应用部49供给增益的增益供给部55，当图像处理部35具有图3所示的系统结构时由增益确定部43构成，并且当图像处理部35具有图4或图5所示的系统结构时由增益获取部45构成。

上述图8～图11所示的电路结构仅为一例，进行多次滤波处理的滤波处理部41可由各种电路结构实现，并且具体的电路结构并无特别限定。

例如，图11中示出有通过单一的“滤波器应用部48及增益应用部49”进行与图8所示的串联连接类型同等的滤波处理(图像滤波处理P)的电路结构例，但同样地，也可通过具有单一的“滤波器应用部48及增益应用部49”的电路结构进行与图9或图10所示的并联连接类型同等的滤波处理(图像滤波处理P)。

并且，在图8所示的串联连接类型的电路结构中，可省略第1处理数据计算部50-1及第2处理数据计算部50-2。即，可将从第1增益应用部49-1输出的增益应用处理数据D5-1设为第1滤波处理F1的滤波处理数据D6-1及第2滤波处理F2的处理对象数据D3-2，也可将从第2增益应用部49-2输出的增益应用处理数据D5-2设为第2滤波处理F2的滤波处理数据D6-2及处理图像数据D2。同样地，在图11所示的电路结构中可省略处理数据计算部50，也可将从增益应用部49输出的增益应用处理数据D5设为滤波处理数据D6。

<增益确定方法>

接着，对在增益应用部49(第1增益应用部49-1～第N增益应用部49-N)中所使用的增益的确定方法进行说明。

图12是表示增益获取部45的功能结构的一例的框图，并且表示与图3所示的图像处理部35优选组合的增益获取部45。本例的增益获取部45具有参考图像获取部60、参考图像分析部61、目标频率特性获取部62及应用增益计算部63。

参考图像获取部60获取反映了在获取成为图像滤波处理P的对象的原图像数据D1时所使用的光学系统的个别的光学特性的参考图像数据。通过参考图像获取部60获取参考图像数据的方法并无特别限定。例如，如后述那样，通过在将包括测量对象的光学系统的透镜单元11安装于相机主体12的状态下引导用户来进行拍摄，从而可从成像元件24对参考图像获取部60输入参考图像数据。并且，预先进行利用包括测量对象的光学系统的透镜单元11进行的拍摄来获取的参考图像数据被保存于存储器(图1所示的主体存储部29等)时，参考图像获取部60可从该存储器读出与测量对象的光学系统相关的参考图像数据。

另外，参考图像数据的被摄体并无特别限定，即可通过具有特定的形状、模样及颜色的被摄体的摄影来获取参考图像数据，也可通过具有不特定的形状、模样及颜色的被摄体的摄影来获取参考图像数据。当通过具有特定的形状、模样及颜色的被摄体的摄影来获取参考图像数据时，优选参考图像获取部60如后述那样与设备控制部34(显示控制部36等)协作而控制显示部27中的显示等，并引导用户来进行这种被摄体的摄影的引导。并且，当通过具有不特定的形状、模样及颜色的被摄体的摄影获取参考图像数据时，参考图像获取部60也可对保存于主体存储部29的过去的摄影图像数据进行分析，并且从过去的摄影图像数据中选择数据而作为参考图像数据进行特定，所述数据为使用包括测量对象的光学系统的透镜单元11获取的数据，且为具有作为参考图像数据优选的图像特性的数据。

参考图像分析部61进行通过参考图像获取部60获取的参考图像数据的分析，并且获取在获取原图像数据D1时所使用的光学系统的个别的光学特性。具体而言，参考图像分析部61进行参考图像数据的频率分析，并且例如可获取点扩散函数(光学传递函数)来作为测量对象即光学系统的个别的光学特性。

目标频率特性获取部62根据参考图像分析部61所获取的光学系统的个别的光学特性来确定在使用该光学系统摄影获取的原图像数据D1的图像滤波处理P中作为目标的频率特性。例如，当图像滤波处理P为意图消除光学系统的点扩散现象的点像复原处理时，目标频率特性获取部62根据参考图像分析部61所获取的光学系统的个别的点扩散函数(光学传递函数)，以利用了维纳滤波器等的任意设计基准的反向滤波器设计方法构建滤波器，由此可获取图像滤波处理P的作为目标的频率特性。

应用增益计算部63根据目标频率特性获取部62所确定的“图像滤波处理P的作为目标的频率特性”获取在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益(候补数据)。基于应用增益计算部63的增益的获取方法并无特别限定，例如可通过最小二乘法计算增益。即，应用增益计算部63相对于目标频率特性获取部62所确定的“图像滤波处理P的作为目标的频率特性”，根据多次滤波处理的每一次处理中的频率特性以最小二乘法拟合图像滤波处理P的频率特性，从而可获取在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益。

应用增益计算部63将所获取的增益作为“增益的候补数据”存储于增益候补数据存储部44。优选增益的候补数据在与增益选定条件建立对应关联的状态下存储于增益候补数据存储部44，所述增益选定条件与图像滤波处理P的作为目标的频率特性相关联。作为增益选定条件，可优选使用表示可影响图像滤波处理P的作为目标的频率特性的各种因素的特性数据。因此，图像滤波处理P的作为目标的频率特性为“基于通过摄影获取原图像数据D1时所使用的光学系统(透镜14及光圈15等)的点扩散函数(光学传递函数)的频率特性”时，与影响该点扩散函数的各种因素(例如用于获取原图像数据D1的摄影时的光圈值(F值)、变焦值(焦点距离)、被摄体距离、聚焦位置、光学系统类别、成像元件24的传感器SN比、像高(图像内位置)及光学系统个体差等摄影条件)相关的特性数据可作为“增益选定条件”而与增益的候补数据建立对应关联。

如此将增益的候补数据与增益选定条件建立对应关联来存储于增益候补数据存储部44时，参考图像获取部60优选获取在多个增益选定条件下摄影获取的多个参考图像数据，参考图像分析部61优选对在多个增益选定条件下摄影获取的多个参考图像数据进行分析来获取光学特性。并且，目标频率特性获取部62优选从多个增益选定条件下的光学特性获取与多个增益选定条件相关的图像滤波处理P的作为目标的频率特性，应用增益计算部63优选获取与多个增益选定条件建立关联的增益，并将该增益与对应的增益选定条件建立对应关联来存储于增益候补数据存储部44。

图13是表示图12所示的增益获取部45的增益获取流程的流程图。在本例中，如上所述，首先通过参考图像获取部60获取使用测量对象的光学系统(透镜单元11)摄影获取的参考图像数据(图13的S11)，并通过参考图像分析部61进行该参考图像数据的分析而获取测量对象的光学系统的个别的光学特性(S12)。而且，根据测量对象的光学系统的个别的光学特性通过目标频率特性获取部62获取图像滤波处理P的作为目标的频率特性(S13)，并根据该作为目标的频率特性通过应用增益计算部63获取增益的候补数据(S14)。

如此获取的增益的候补数据作为与测量对象的光学系统的个别的光学特性建立关联的“增益表信息”，通过应用增益计算部63被存储于增益候补数据存储部44(S15)。由此，增益确定部43从存储于增益候补数据存储部44的增益的候补数据中，确定在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益，并能够将该所确定的增益发送到滤波处理部41。

图14是表示增益获取部45的功能结构的其他例子的框图，并且表示与图4及图5所示的图像处理部35优选组合的增益获取部45。本例的增益获取部45具有目标频率特性获取部62及应用增益计算部63，目标频率特性获取部62从频率分析部66的频率特性存储部68获取图像滤波处理P的作为目标的频率特性。

频率分析部66具有参考图像获取部60、参考图像分析部61、目标频率特性确定部67及频率特性存储部68。本例的参考图像获取部60及参考图像分析部61与图12所示的上述参考图像获取部60及参考图像分析部61同样地获取参考图像数据，并获取在获取原图像数据D1时所使用的光学系统的个别的光学特性。并且，本例的目标频率特性确定部67与图12所示的上述目标频率特性获取部62同样地，根据参考图像分析部61所获取的光学系统的个别的光学特性而确定在使用该光学系统摄影获取的原图像数据D1的图像滤波处理P中作为目标的频率特性。

其中，本例的目标频率特性确定部67将与所确定的图像滤波处理P的作为目标的频率特性相关的数据与对应的光学系统的数据建立对应关联而存储于频率特性存储部68。在此所说的“对应的光学系统的数据”为可确定测量对象的各光学系统的任意的数据，例如可由分配到各光学系统的ID号码等表示。

本例的目标频率特性获取部62获取滤波处理部41中的成为图像滤波处理P的对象的原图像数据D1的摄影时所使用的光学系统的ID号码(对应的光学系统的数据)，并从频率特性存储部68获取与根据该ID号码来拍摄原图像数据D1时所使用的光学系统建立有对应关联的与图像滤波处理P的作为目标的频率特性相关的数据。应用增益计算部63根据目标频率特性获取部62所确定的“图像滤波处理P的作为目标的频率特性”，获取在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益并供给到滤波处理部41。

如此，本例的增益获取部45从频率特性存储部68读出与原图像数据D1的摄影时所使用的光学系统相关的“图像滤波处理P的作为目标的频率特性”来获取增益。因此，能够将频率分析部66中的“用于获取图像滤波处理P的作为目标的频率特性的处理”与增益获取部45中的“用于获取滤波处理部41中实际使用的增益的处理”分开。

图15是表示图14所示的频率分析部66的频率特性获取流程的流程图。本例中，如上所述，首先通过参考图像获取部60获取使用测量对象的光学系统而摄影获取的参考图像数据(图15的S21)，通过参考图像分析部61进行该参考图像数据的分析来获取测量对象的光学系统的个别的光学特性(S22)。而且，通过目标频率特性确定部67根据测量对象的光学系统的个别的光学特性确定图像滤波处理P的作为目标的频率特性(S23)，存储于频率特性存储部68(S24)。

图16是表示图14所示的增益获取部45的增益获取流程的流程图。本例中，如上所述，首先通过目标频率特性获取部62从频率特性存储部68获取与滤波处理部41中的成为图像滤波处理P的对象的原图像数据D1的摄影时所使用的光学系统建立对应关联的图像滤波处理P的作为目标的频率特性相关的数据(图16的S31)。而且，通过应用增益计算部63根据该作为目标的频率特性获取在滤波处理中所使用的增益(S32)，供给到滤波处理部41(S33)。

<增益系数(增益值矢量)的计算方法>

以下，对上述增益获取部45(尤其应用增益计算部63)中的运算处理的具体的流程进行说明。作为一例，主要对滤波处理部41具有图10所示的电路结构的情况进行说明，但对于滤波处理部41具有其他电路结构(参考图8～图9及图11)的情况也可通过同样的运算处理计算增益。

以下的方法采用根据频率及图像内的位置(像素位置)的每一个进行加权的最小二乘基准，并以使通过滤波处理部41进行的图像滤波处理P整体的频率特性接近作为目标的所希望的频率特性的方式求出增益。

在图10所示的电路结构中，由“φ_n-1(ω)”表示进行第n滤波处理Fn(其中“1≤n≤N”)的滤波器应用部48-n中所使用的滤波器的频率特性，并且若由“g_n-1”表示增益应用部49-n中所使用的增益，则第n滤波处理Fn的频率特性由“g_n-1φ_n-1(ω)”来表示。因此，若由“f(ω)”表示滤波处理部41所进行的图像滤波处理P(第1滤波处理F1～第N滤波处理FN)整体的频率特性，则“f(ω)＝g₀φ₀(ω)……+g_N-1φ_N-1(ω)(其中“N”为2以上的整数)”成立。

另外，在图8及图11所示的电路结构中，若由“1+g_n-1(ψ_n-1(ω)-1)”表示第n滤波处理Fn整体的频率特性，则在各滤波器应用部48中所使用的滤波器的频率特性φ_n-1(ω)由“φ_n-1(ω)＝ψ_n-1(ω)-1”来表示，图像滤波处理P整体的频率特性f(ω)由“f(ω)＝(1+g₀φ₀(ω))……×(1+g_N-1φ_N-1(ω))”来表示。并且，在图9所示的电路结构中，图像滤波处理P整体的频率特性f(ω)由“f(ω)＝1+g₀φ₀(ω)……+g_N-1φ_N-1(ω)”来表示。

因此，下述与图10的电路结构相关的说明中，通过将图10的电路结构的频率特性“f(ω)＝g₀φ₀(ω)……+g_N-1φ_N-1(ω)”应用于频率特性“f(ω)＝1+g₀φ₀(ω)……+g_N-1φ_N-1(ω)”，从而也能够应用于图9所示的电路结构。例如，将图9的电路结构的上述频率特性f(ω)中的“1+g₀φ₀(ω)”作为“图10的电路结构的上述频率特性f(ω)中的“g₀φ₀(ω)””进行处理，从而与图10的电路结构相关的下述说明还可应用到图9所示的电路结构。同样地，与图10的电路结构相关的下述说明中，通过将图10的电路结构的频率特性“f(ω)＝g₀φ₀(ω)……+g_N-1φ_N-1(ω)”应用到“f(ω)＝(1+g₀φ₀(ω))……×(1+g_N-1φ_N-1(ω))”，从而还可应用到图8及图11所示的电路结构。另外，在该情况下，通过利用对数化处理，从而图8及图11所示的电路结构的频率特性f(ω)的积的运算式被转换为和的运算式，可容易地将与图10的电路结构相关的下述说明应用到图8及图11所示的电路结构。

在此，假设第n滤波处理Fn的滤波器应用部48-n中所使用的滤波器为基于以拍摄获取原图像数据D1时所使用的光学系统(透镜14及光圈15等)的点扩散函数的图像复原用滤波器。基于点扩散函数的图像复原用滤波器，如下所述，关于频率ω具有二维自由度，并且关于图像内位置(像素位置)r具有二维自由度，因此成为具有总计“4自由度”的频率特性。

[数式1]

ω∈R²

r∈R²

R²：二维实数列矢量空间

若使用这种频率矢量ω及图像内位置矢量r，则能够由“φ_n-1(ω，r)”表示在第n滤波处理Fn的滤波器应用部48-n中所使用的滤波器的频率特性。通过关于针对频率为N_ω个且针对图像内位置为N_r个的采样点进行滤波器的频率特性φ_n(ω，r)的离散化来获得下述矢量φ_n。

[数式2]

C^N：N维复数列矢量空间

Kronecker积

e_j：N_ω维列矢量空间的标准基底

e_k：N_r维列矢量空间的标准基底

另外，频率“ω_j”及图像内位置“r_k”可由下述式表示，“ω_j”表示与频率相关的N_ω个采样点，“r_k”表示与图像内位置相关的N_r个采样点。

[数式3]

由在多次滤波处理(第1滤波处理F1～第N滤波处理FN)中所使用的增益构成的增益矢量(增益组)g由下述式表示。

[数式4]

g＝[g₀ g₁ ··· g_N-1]^T

T：转置(Transpose)

设定有由上述式表示的增益的图像滤波处理P整体(整个滤波处理部41)的频率特性「f(ω，r|g)」在图10所示的电路结构中，由下述式表示。

[数式5]

另一方面，欲实现的“图像滤波处理P的作为目标的频率特性“d(ω，r)””可通过任意的方法来确定，其确定方法并无特别限定。通常，基于点扩散函数的复原滤波器能够通过卷积型滤波器适当地实现。作为确定基于点扩散函数的滤波器的频率特性的方法有各种方法，例如广泛使用考虑到摄影光学系统的SN比的维纳滤波器。维纳滤波器能够通过下述式并根据点扩散函数的光学传递函数(OTF)及SN比的信息表示滤波器的频率特性。因此，可根据该维纳滤波器确定欲实现的图像滤波处理P的作为目标的频率特性“d(ω，r)”。

[数式6]

H(ω，r)：光学系统的OTF

H^*(ω，r)：光学系统的OTF的复共轭

SNR(ω，r)：摄像系统的SN比

由“f(ω，r|g)”表示图像滤波处理P整体的频率特性，由“d(ω，r)”表示欲实现的图像滤波处理P的作为目标的频率特性，由“w(ω，r)”表示近似加权函数。此时，能够将对由下述式表示的基于加权最小二乘准则的类函数“J_LMS[g]”进行最小化的增益矢量设为图像滤波处理P中的表示最佳频率特性的增益矢量。

[数式7]

J_LMS[g]＝∫∫w(ω，r)||f(ω，r|g)-d(ω，r)||²dωdr

若通过频率及图像内位置的采样点对上述式进行离散化，则可获得下述式。

[数式8]

J′_LMS[g]＝||W^1/2(Ag-d)||²

其中

W＝diag[w]

A＝[φ₀ φ₁ ··· φ_N-1]

上述式中“diag”表示将参数矢量设为对角元素的对角矩阵，上述式的“w”及“d”以与“矢量φ_n”相关的上述方法相同的方式分别将“w(ω，r)”及“d(ω，r)”矢量化。

根据上述式，增益矢量的最优解g_OPT由下述式来表示。

[数式9]

H：伴随矩延(Hermitian Transpose)

如果近似加权函数及各滤波器的频率特性(滤波器系数)被确定，则上述式中的“(A^HWA)^-1A^HW”的部分由可预先计算的矩阵表示。如此，增益矢量的最优解g_OPT能够通过对根据表示个别的像劣化特性的点扩散函数而获取的滤波器特性应用矩阵的运算来计算。

另外，当滤波处理部41采用图10所示的电路结构时，优选除了上述条件之外，还可应用为了防止图像的DC成分(亮度)的改变而将DC成分的放大率(增益)设为1.0倍这样的约束条件。具体而言，按照下述式获取增益矢量的最优解g_OPT的情况相当于“将DC成分的放大率设为1.0倍而未改变图像整体的亮度”的情况。

[数式10]

上述式能够作为QP(Quadratic Programming)问题进行处理，“N”较小时，能够以较小的计算量解决。并且，如作为一例以下述式表示那样，通过对各滤波器的DC成分的放大率设置限制，能够排除DC成分的放大率的限制(约束条件)。

[数式11]

φ₀(0)＝1，φ_i(0)＝0(1≤i＜N)

<加权的设计>

上述最小二乘法中，如由“w(ω，r)”所表示那样，根据频率及图像内位置(像素位置)的每一个对频率特性的近似精度进行加权。例如，根据上述近似误差评价函数J_LMS[g]进行基于最小二乘法的频率特性的近似时，其近似误差评价函数J_LMS[g]根据频率和图像内位置(像素位置)进行加权。通过调整该加权能够控制画质。即，通过最小二乘法而近似于图像滤波处理P的作为目标的频率特性时，通过对特定的频率或特定的像素位置调整加权，能够在最小二乘法中提高与特定的频率或特定的像素位置相关的近似精度，并且能够控制画质。

例如，上述最小二乘法中，可将低频带中的加权设定为大于高频带中的加权。通常，在人类的视觉特性上，低频成分比高频成分更容易被感知，因此作为“近似于图像滤波处理P的作为目标的频率特性”的精度使低频成分优先于高频成分，从而能够高精度地处理低频成分。

另外，在此所说的“低频带(低频成分)”及“高频带(高频成分)”表示相对频率范围(频带)。例如，可将采样频率的1/4(＝0.25fs)以下的范围视为“低频带(低频成分)”，并且将大于0.25fs且为0.5fs以下范围视为“高频带(高频成分)”。

并且，在上述最小二乘法中，可根据获取原图像数据D1时的摄影条件，将高频带中的加权设定为大于低频带中的加权。通常，噪声较多时，若滤波器的高频特性差，则会导致噪声放大。因此，在可预想到噪声较多的摄影条件下获取的原图像数据D1的图像滤波处理P中，有时优选作为“近似于图像滤波处理P的作为目标的频率特性”的精度而使高频成分优先于低频成分。

另外，在此所说的“获取原图像数据D1时的摄影条件”并无特别限定。能够将可影响噪声量的任意的因素设为摄影条件，例如可采用光圈值(F值)或成像元件24的摄影感度来作为可影响噪声量的“获取原图像数据D1时的摄影条件”。

并且，上述最小二乘法中的加权可根据原图像数据D1中的像素位置来确定。例如，当通过使用一般用户所使用的通常的数码相机进行拍摄而获取原图像数据D1时，通常主要被摄体配置于图像中央部，因此有重视图像中央部的像素位置的高频成分的倾向。另一方面，在监控摄像机等中摄影范围的边界附近的图像的重要性较高时，有重视图像周边部的像素位置的高频成分的倾向。如此，有时根据原图像数据D1中的像素位置而重要度不同，并且可根据摄像装置的种类或摄影图像的用途(产品)来确定加权较高的像素位置(被优先的像素位置)。

例如，在一般用户所使用的数码相机10所具备的光学系统中，中央部具有通常分辨率较高且不依赖于频率的优异的分辨特性，周边部有分辨性能下降的倾向。因此，在通过使用图1所示的数码相机10进行拍摄而获取的原图像数据D1的图像滤波处理P中，在图像中央部增加高频带的加权，在图像周边部增加低频带的加权，从而能够进行与光学特性相应的画质改善。即，在上述最小二乘法中，在原图像数据D1的距离图像中心为第1距离以下的像素位置(低像高的像素位置)，可将高频带中的加权设为大于原图像数据D1的距离图像中心比第l距离远的像素位置(高像高的像素位置)。并且，在上述最小二乘法中，在原图像数据D1的距离图像中心比第2距离远的像素位置(高像高的像素位置)，可将低频带中的加权设为大于原图像数据D1的距离图像中心为第2距离以下的像素位置(低像高的像素位置)。

另外，在此所说的“高频带”优选包含于大于0.25fs且为0.5fs以下的范围，“低频带”优选包含于0.25fs以下的范围。并且，在此所说的“第1距离”与“第2距离”既可相同，也可不同。

<滤波器的频率特性不包括频率衰减时的设计>

通过具有如图8所示的串联连接类型的电路结构的滤波处理部41进行多次滤波处理时，优选根据在各滤波器应用部48中应用于处理对象数据D3的滤波器的频率特性是否具有频率衰减来设计控制方法。频率衰减在“由光学系统的点扩散函数表示的点像的扩散(模糊)的程度较大”且“SN比较低”时尤其有效地发挥作用，并且带来抑制高频带中的噪声成分的效果。

例如，在各滤波器应用部48中所使用的滤波器无需具有频率衰减效果时，能够根据下述式设定图10所示的滤波处理部41的各滤波器应用部48中所使用的滤波器的频率特性φ_n(ω)。

[数式12]

上述式表示当在各滤波器应用部48中所使用的滤波器的频率特性φ_n(ω)满足“|φ_n(ω)|＞1”时，使用具有本来的频率特性φ_n(ω)的滤波器，且当满足“|φ_n(ω)|≤1”时，使用成为“频率特性(响应)＝1”的滤波器。

另外，各滤波器应用部48中所使用的滤波器无需具有频率衰减效果时，图8～图9及图11所示的滤波处理部41的各滤波器应用部48中所使用的滤波器的频率特性φ_n(ω)例如能够根据下述式来设定。

[数式13]

并且，构成滤波处理部41的电路结构为如图8所示的串联连接类型时，图像滤波处理P整体的频率特性根据在各滤波器应用部48中所使用的滤波器的频率特性的积来表现。为了与“并联连接类型的图像滤波处理P整体的频率特性”同样地处理该“串联连接类型的图像滤波处理P整体的频率特性”，优选通过将在串联连接类型的图像滤波处理P中所使用的所有滤波器的频率特性对数化而将“积”的问题转换为“和”的问题。此时，通过与具有并联连接类型的电路结构的滤波处理部41相关的增益矢量的最优解g_OPT的计算方法相同的运算处理，能够计算与具有串联连接类型的电路结构的滤波处理部41相关的增益矢量的最优解g_OPT。另外，在滤波器的频率特性不包括衰减特性的情况中，通过上述对数化，滤波器的频率特性不会成为较大的负值，能够利用下述式进行复数的对数化。

[数式14]

log z＝log|z|+j(∠Z+2nπ)

z：复数(＝x+jy＝re^j0)

j：虚数单位

r_c：绝对值

x＝＝r_ccosθ

y＝r_csinθ

θ：偏角(＝∠z)

<滤波器的频率特性包括频率衰减时的设计>

例如，在具有如图8所示的串联连接类型的电路结构的滤波处理部41中，各滤波器应用部48中所使用的滤波器的频率特性包括频率衰减时，优选注意以下方面。即，频率放大率接近0倍时，对数化后的值成为较大的负值，因此在进行对数化处理之后以最小二乘准则进行频率特性的拟合的情况等，可能导致其较大的负值支配频率特性近似的基准。因此，优选在对数化时以预先确定的最小负值进行剪辑(clipping)，或者实行较小地调节容易引起频率衰减的频带的加权等对策。

例如，通过剪辑进行对应时，滤波处理部41在图像滤波处理P的作为目标的频率特性中处理图像数据D2与原图像数据D1的比例小于1的频率中，在多次滤波处理的每一次处理中优选使用将滤波处理数据D6设为与滤波器应用处理数据D4相等的滤波器。

通过以如上所述的方法确定且调整各滤波处理中所使用的增益，与例如关于摄影条件的所有组合保持基于点扩散函数的滤波器(滤波器系数)的情况相比，能够显著减少应保持的参数个数。并且，在通常的方法中，若如点扩散函数那样的像劣化特性不是已知的，则难以适当地进行滤波器设计(滤波器系数设计)，但根据本实施方式，在掌握各像劣化特性之前，可预先结束需要较多的计算量的有限抽头长度的FIR滤波器的设计。此时，能够在获取具体的像劣化特性之后通过简单的计算来计算最佳的增益矢量。

<参考图像数据的获取>

以下对通过显示部27中的引导显示提示用户进行参考图像的摄影的方法的一例进行说明。另外，以下所说明的“基于显示控制部36的显示部27的显示控制”在参考图像获取部60(参考图12及图14)的控制下进行。

通过参考图像获取部60被控制的显示控制部36(参考图2)控制显示部27(参考图1)，并将用于提示用户进行参考图像的摄影的引导部显示于显示部27。用户一边被显示于显示部27的引导部辅助，一边将包括测量对象的光学系统的透镜单元11安装于相机主体12并进行参考图像的摄影来获取参考图像数据。

图17是表示显示部27中的摄影引导件的一例的图。图17(a)～图17(d)的每一个中图示有通过显示控制部36显示于显示部27的引导部70，并显示有引导部70的显示图案。另外，图17(a)～图17(d)的每一个所示的例子中，显示部27的中央部显示有自动对焦区域71。

在以下的说明中，使用了“右”、“左”、“下”及“上”之类的表现，但这些表现分别以“朝向附图为右”、“朝向附图为左”、“朝向附图为下”及“朝向附图为上”的含义来使用。

图17(a)～图17(d)所示的引导部70具有沿显示于显示部27的摄影图像中的切向方向的直线形状。在此所说的引导部70的直线形状只要是直线状的形状，则并无特别限定，引导部70例如可以是实线的直线，也可以是虚线的直线，还可以是半透明的直线以便能够看到摄影图像。

另外，引导部70优选为沿摄影图像中的弧矢方向或切向方向的直线形状。尤其，滤波器为基于光学传递函数的滤波器时，从调节图像滤波处理P的参数的观点考虑，优选在摄影图像中沿弧矢方向或切向方向配置引导部70。即，当拍摄如与摄影图像中沿弧矢方向或切向方向配置的引导部70一致的被摄体时，从调整基于光学传递函数的滤波器的参数的观点考虑，能够获得有用的数据。

在此所说的“沿弧矢方向或切向方向的引导部70”在不阻碍效果的范围内可偏离弧矢方向或切向方向。

并且，弧矢方向及切向方向的基准作为摄影图像。本来，优选规定为投射到成像元件24的受光面上的光学图像的弧矢方向或切向方向，但只有根据通过成像元件24受光且获取的图像数据才可获得图像数据。因此，以摄影图像为基准而考虑弧矢方向及切向方向也没有问题。在此，所谓切向方向是指相对于以摄影图像的中心为基准的圆周的切线方向，所谓弧矢方向是指与切向方向垂直相交的方向。

图17(a)中，作为引导显示图案1，引导部70配置于显示部27中的左上方区域。用户参考图17(a)所示的引导部70，对参考图像进行拍摄来获取摄影图像数据。此时，根据图17(a)所示的引导部70而确定的图像(例如参考后述的图18的符号“72a”)成为参考图像。

在图17(b)中，作为引导显示图案2，2个引导部70a、70b的每一个配置于显示部27中的左上方区域及右上方区域。另外，图17(b)所示的2个引导部由“第1引导部70a”及“不与第1引导部70a平行的第2引导部70b”构成。即，配置于图17(b)的显示部27的左上方区域的引导部(第1引导部)70a与配置于右上方的引导部(第2引导部)70b配置成彼此不平行。

在图17(c)中，作为引导显示图案3，2个引导部70a、70c的每一个配置于显示部27中的左上方区域及右下方区域。在图17(d)中，作为引导显示图案4，4个引导部70a、70b、70c、70d的每一个配置于显示部27中的左上方区域、右上方区域、右下方区域及左下方区域。

另外，并不限定于图17(a)至图17(d)所示的引导部70的显示中的引导显示图案，能够采用各种形态的引导显示图案。

图18是表示适合于图17所示的引导显示的被摄体W的一例的图。例如，图17(a)所示的引导显示图案1中，优选沿引导部70拍摄被摄体W中由图18的符号“72a”表示的黑色部分的图像。并且，图17(b)所示的引导显示图案2中，优选沿引导部70拍摄被摄体W中由图18的符号“72a”及符号“72b”所表示的黑色部分的图像。并且，图17(c)所示的引导显示图案3中，沿引导部70拍摄被摄体W中由图18的符号“72a”及符号“72c”表示的黑色部分的图像。并且，图17(d)所示的引导显示图案2中，沿引导部70拍摄被摄体W中由图18的符号“72a”、符号“72b”、符号“72c”及符号“72d”表示的黑色部分的图像。

图19是表示显示部27中的摄影引导件的其他例子的图。在本例中，由摄影引导件以按4个角的每一个引导部70的显示进行拍摄的方式进行如满足显示部27的4个角的每一个引导部70的显示那样的被摄体的摄影。即，在本例中，首先，进行如满足如图19(a)所示那样配置于左上方的引导部70a那样的摄影图像的拍摄。然后，进行如满足如图19(b)所示那样配置于右上方的引导部70b的摄影图像的拍摄。然后，进行如满足如图19(c)所示那样配置于右下方的引导部70c的摄影图像的拍摄。然后，进行满足如图19(d)所示那样配置于左下方的引导部70d的摄影图像的拍摄。这样，通过图19(a)～图19(d)所示的引导部70a～70d被辅助而获取的4个摄影图像数据作为第2图像来获取。

另外，如图19所示，引导部70的显示并不限定于4个，可将显示位置不同的任意数量的引导部70显示于显示部27来提示用户进行拍摄。根据本例，容易发现满足引导部70a～70d的每一个的被摄体，并能够获取可靠地满足引导部70a～70d的摄影图像。

图20是表示显示部27中的摄影引导件的其他例子的图。在本例中，摄影条件显示部73与引导部70一同显示于显示部27。即，显示控制部36将用于摄影获取参考图像数据的摄影条件显示部73显示于显示部27，并告知用户所需的摄影条件。由此，用户在所需摄影条件下进行拍摄而能够获取参考图像数据。

具体而言，图20(a)及图20(b)中，与像高位置相关的摄影条件显示部73显示于显示部27。即，图20(a)所示的例子中，辅助获取像高位置较高的部位(摄影图像的周边部位)中如满足引导部70那样的参考图像数据。另一方面，图20(b)所示的例子中，辅助获取像高较低的部位(摄影图像的中央部位)中如满足引导部70那样的参考图像数据。如此，根据摄影图像的像高来配置引导部70，由此能够获取与像高相对应的参考图像数据。

并且，图20(c)及图20(d)中，将到被摄体为止的距离(被摄体距离)作为摄影条件显示部73而显示于显示部27。即，图20(c)所示的例子中，辅助获取到被摄体为止的摄影距离为50cm的参考图像数据。另一方面，图20(d)所示的例子中，辅助获取到被摄体为止的摄影距离为1m的参考图像数据。如此，表示到被摄体为止的摄影距离的摄影条件显示部73与引导部70一同显示于显示部27，由此能够获取具有所希望的到被摄体为止的摄影距离的参考图像数据。

如此根据图20所示的例子，能够通过摄影条件显示部73在适当的摄影条件下摄影获取参考图像数据。

图21是表示主体控制器25中的显示控制部36、参考图像获取部60及图像判定部38的功能结构例的框图。

本例的主体控制器25除了上述显示控制部36及参考图像获取部60之外，还具有图像判定部38。图像判定部38判定由上述引导部70提示进行拍摄并通过成像元件24所生成的摄影图像数据是否满足第1基准。参考图像获取部60获取在图像判定部38中判定为满足第1基准的摄影图像数据而作为“参考图像数据”，并发送到参考图像分析部61。因此，在本实施方式中所获得的参考图像数据为满足第1基准的摄影图像数据。

另一方面，当在图像判定部38中判定为由引导部70提示进行拍摄并通过成像元件24所生成的摄影图像数据不满足第1基准时，显示控制部36再次将用于提示用户进行参考图像的拍摄的引导部70显示于显示部27。

另外，成为参考图像数据是否合适的基准的“第1基准”并无特别限定，例如可将引导部70与实际拍摄的参考图像的匹配度作为“第1基准”。即，图像判定部38可根据该匹配度判定被引导部70引导而进行拍摄的摄影图像数据作为参考图像数据是否合适。

引导部70与摄影图像数据的匹配度，具体而言可判别为引导部70与摄影图像数据的视角的重叠度。在此所说的匹配并不一定是指严格意义上的匹配。即，在能够获取可使用的参考图像数据的范围内引导部70与摄影图像数据匹配即可。具体而言，引导部70与摄影图像数据的参考图像只要相当于引导部70的40％的部分以上重叠即可，优选为相当于引导部70的60％的部分以上重叠即可，进一步优选为相当于引导部70的80％的部分以上重叠即可。

图22是表示显示部27中的摄影引导件的其他例子的图。本例的显示控制部36将判定信息部74与引导部70一同显示于显示部27，所述判定信息部74根据与引导部70的匹配度来表示是否为满足第1基准的合适的摄影图像数据。

具体而言，图22(a)表示由引导部70提示而摄影获取的摄影图像数据不与引导部70充分地匹配且不满足第1基准的情况。在图22(a)所示的例子中，被摄体W不与配置于左上方的引导部70匹配。并且，“请修正被摄体”的判定信息部74显示于显示部27。另一方面，图22(b)表示由引导部70提示而摄影获取的摄影图像数据与引导部70充分地匹配并满足第1基准的情况。在图22(b)所示的例子中，被摄体W与配置于左上方的引导部70匹配。而且，“为正确的被摄体”的判定信息部74显示于显示部27。

图23是表示显示部27中的摄影引导件的其他例子的图。在本例中，当摄影图像数据不满足第1基准时，提示用户再次进行拍摄。即，图22所示的例子中，判定信息部74的内容成为提示不同的被摄体的拍摄的内容(参考图22(a))，相对于此，图23所示的本例的判定信息部74的内容成为提示用户再次进行拍摄的信息。

图24是表示显示部27中的摄影引导件的其他例子的图。如图24(a)及图24(b)所示，引导部70可配置于显示部27的4个角以外的部位，显示部27中的引导部70的配置方式并无特别限定。

若对图24(a)所示的引导显示图案和图24(b)所示的引导显示图案进行比较，则各引导部70在两者之间旋转90°。即，图24(a)所示的引导部70具有沿摄影图像中的切向方向的直线形状，但图24(b)所示的引导部70具有沿摄影图像中的弧矢方向的直线形状。这样，引导部70不仅可配置于切向方向，还可配置于弧矢方向。

如此，用户能够按照显示部27中的引导部70的引导适当地摄影获取与参考图像相关的参考图像数据。

<滤波器的设计方法>

接着，对在滤波处理部41的各滤波器应用部48中使用的滤波器的设计方法的具体例进行说明。

图25是表示滤波器获取装置76的功能结构的一例的框图。

进行在各滤波器应用部48中所使用的滤波器的设计及获取的滤波器获取装置76具有滤波器计算部77。本例的滤波器计算部77获取根据多个光学系统的光学特性而确定的多种图像滤波处理(第1图像滤波处理P1～第k图像滤波处理Pk(其中“k”为2以上的整数))的频率特性数据，并输出包括基准滤波器h_b及方差滤波器h_v的多个滤波器。即，滤波器计算部77基于根据多个光学系统的光学特性而确定的多种图像滤波处理P1～Pk的频率特性来获取根据多种图像滤波处理P1～Pk的频率特性的平均而确定的基准滤波器h_b。并且，滤波器计算部77根据多种图像滤波处理P1～Pk的频率特性获取根据多种图像滤波处理P1～Pk的频率特性的方差而确定的至少一个方差滤波器h_v。

图26是表示滤波器计算部77的功能结构的一例的框图。

本例的滤波器计算部77具有平均计算部78、方差计算部79及滤波器特性获取部80。平均计算部78由多种图像滤波处理P1～Pk的频率特性数据计算多种图像滤波处理P1～Pk的频率特性的平均。方差计算部79由多种图像滤波处理P1～Pk的频率特性数据计算多种图像滤波处理P1～Pk的频率特性的方差。滤波器特性获取部80根据由平均计算部78计算出的多种图像滤波处理P1～Pk的频率特性的平均来计算基准滤波器h_b。并且，滤波器特性获取部80根据由平均计算部78计算出的多种图像滤波处理P1～Pk的频率特性的平均和由方差计算部79计算出的多种图像滤波处理P1～Pk的频率特性的方差来计算方差滤波器h_v。

另外，在本例的滤波器计算部77(平均计算部78、方差计算部79及滤波器特性获取部80)中所使用的多种图像滤波处理P1～Pk的频率特性数据根据多个光学系统的光学特性而确定。如此，以多个光学系统为基准确定成为滤波器(基准滤波器h_b及方差滤波器h_v)的计算基础的“多种图像滤波处理P1～Pk的频率特性数据”，由此能够计算适于这种多个光学系统的滤波器(基准滤波器h_b及方差滤波器h_v)。因此，作为这种“多个光学系统”，设想反映了因制造误差产生的光学特性的偏差的多个光学系统，由此能够通过滤波处理部41高精度地实现“图像滤波处理的作为目标的频率特性”。

<多种图像滤波处理的频率特性>

在此所说的“多种图像滤波处理P1～Pk”的每一个处理的频率特性构成“图像滤波处理P的作为目标的频率特性”，且在本例中通过基于拍摄时所使用的光学系统的光学特性的频率特性而确定。

例如，“多种图像滤波处理P1～Pk的频率特性”为基于光学系统的点扩散函数的频率特性时，点扩散函数受到因制造误差产生的光学系统的光学特性的偏差的影响而可发生变动。因此，能够根据基于光学系统的光学特性的偏差而推测的多种点扩散函数的频率特性来确定“多种图像滤波处理P1～Pk的频率特性”。并且，例如，“多种图像滤波处理P1～Pk的频率特性”为基于光学系统的点扩散函数的频率特性时，若摄影条件发生变化则点扩散函数发生变动，因此能够根据不同摄影条件下的多种点扩散函数的频率特性确定“多种图像滤波处理P1～Pk的频率特性”。该“多种点扩散函数”可通过任意方法获取，也可根据实测值获取，还可根据估计值获取。“多种图像滤波处理P1～Pk的频率特性”可使用所获取的多种点扩散函数并根据维纳滤波器等的任意的设计基准来计算。

该“多种图像滤波处理P1～Pk的频率特性”能够通过任意装置获取，例如，既可以在滤波器获取装置76中获取，也可通过其他装置获取，还可通过滤波器获取装置76的滤波器计算部77从未图示的存储器读出而获取。

<多种图像滤波处理的频率特性的偏差>

多种图像滤波处理的频率特性的偏差可根据单峰型分布来表现，也可根据多峰型分布来表现。

图27是以单峰型分布表示多种图像滤波处理的频率特性的偏差的概念图。图28是以多峰型分布表示多种图像滤波处理的频率特性的偏差的概念图。

基于图27所示的单峰型分布的偏差表现方法为通过一个多维复数正态分布(参考图27的“偏差分布G”)来表现多种图像滤波处理的频率特性的偏差的方法。另一方面，基于多峰型分布的表现方法为通过多个多维复数正态分布(参考图28的“第1偏差分布G1”及“第2偏差分布G2”)来表现多种图像滤波处理的频率特性的偏差的方法。

图27中示出有通过第1滤波处理F1的滤波器的频率特性φ₀、第2滤波处理F2的滤波器的频率特性φ₁及第3滤波处理F3的滤波器的频率特性φ₂表现多种图像滤波处理的频率特性的偏差分布G的情况。并且，图28中示出有通过第1滤波处理F1的滤波器的频率特性(φ₀⁽¹⁾、φ₀⁽²⁾)、第2滤波处理F2的滤波器的频率特性(φ₁⁽¹⁾、φ₁⁽²⁾)及第3滤波处理F3的滤波器的频率特性(φ₂⁽¹⁾、φ₂⁽²⁾)表现构成多种图像滤波处理的频率特性的偏差分布G的第1偏差分布G1及第2偏差分布G2的每一个的情况。另外，图27及图28中图示有作为一例以滤波处理部41具有图10所示的电路结构的情况为前提的滤波器的频率特性φ₀～φ₂。

多种图像滤波处理的频率特性的偏差具有例如如图27所示那样的椭圆形状的偏差分布G时，为了通过多个滤波处理(图27所示的例子中为第1滤波处理F1～第3滤波处理F3)高精度地实现各图像滤波处理，优选根据偏差分布G的中心、长轴及短轴确定各滤波处理的频率特性φ₀、φ₁、φ₂。同样地，多种图像滤波处理的频率特性的偏差具有例如如图28所示那样的椭圆形状的第1偏差分布G1及第2偏差分布G2时，为了通过多个滤波处理(图28所示的例子中为第1滤波处理F1～第3滤波处理F3)高精度地显示第1偏差分布G1及第2偏差分布G2所包括的各图像滤波处理，优选关于第1偏差分布G1及第2偏差分布G2的每一个，根据中心、长轴及短轴确定各滤波处理的频率特性φ₀⁽¹⁾、φ₁⁽¹⁾、φ₂⁽¹⁾、φ₀⁽²⁾、φ₁⁽²⁾、φ₂⁽²⁾。

<单峰型分布>

接着，对将多种图像滤波处理的频率特性的偏差视为单峰型分布时(参考图27)的、滤波器及增益的设计方法例进行说明。

以下的方法有关一种在实际获取任意个数的多种图像滤波处理的频率特性的偏差样品时，求出能够高精度地补偿其图像滤波处理的频率特性的偏差的所希望个数的基底滤波器(FIR滤波器)的频率特性的方法。并且，对将单峰型分布设为多维复数正态分布来进行模型化并进行ML(Maximum Likelihood)推定的情况进行说明。

单峰型分布的偏差分布G可根据多维复数正态分布来表现，其多维复数正态分布通过协方差矩阵被赋予特征，并通过下式获得。

[数式15]

在上述式中，“β_i”表示通过根据频率(ω)及位置(r)对关于多种图像滤波处理的每一个处理个别地获取的频率特性β(ω，r)进行离散化而获得的矢量，“N_p”表示多种图像滤波处理的数量。因此，上述式的“Ψ₀”表示多种图像滤波处理的频率特性的平均(平均矩阵)，上述式的“R₀”表示多种图像滤波处理的频率特性的方差(协方差矩阵)。

通过按照下述式进行由上述式所表示的协方差矩阵的特征值分解，能够获得特征矢量Ψ_i(其中“i”为1以上且N_p以下的整数)。

[数式16]

根据Karhunen-Loeve展开，为了通过维度m的线性子空间使偏差分布平均地近似，最佳为使用通过从特征值较大的开始依次通过m个相对应的特征矢量Ψ_i(其中“i”为1以上且m以下的整数)展开的子空间。

因此，用于高精度地重现具有单峰型的偏差分布G的多种图像滤波处理的每一个处理的频率特性的滤波处理的滤波器的最佳频率特性φ₀～φ_N-1能够根据下述式来获取。

[数式17]

另外，第1滤波处理F1的滤波器的频率特性φ₀如上所述相当于多种图像滤波处理的频率特性的分布的中心，因此从对分布中心进行固定而使处理稳定化的观点考虑，优选第1滤波处理F1中的增益固定为“1.0”。对于其他滤波处理中的增益，例如能够通过上述加权最小二乘准则来求出最佳值。

图29是概略表示可分类到单峰型分布的多种图像滤波处理的频率特性的一例的图，横轴表示频率(ω)，纵轴表示响应。在此所说的响应是各图像滤波处理前后的频率分量的比(＝处理后的频率分量/处理前数据的频率分量)，“响应＝1”表示数据在图像滤波处理的前后相同。

图29中示出有4种图像滤波处理(第1图像滤波处理P1、第2图像滤波处理P2、第3图像滤波处理P3及第4图像滤波处理P4)的频率特性。这些4种图像滤波处理P1～P4分别表示不同的频率特性，但频率(ω)为“0”时的响应均表示“1”。

图30是概略表示图29所示的多种图像滤波处理的频率特性的方差的一例的图，横轴表示频率(ω)，纵轴表示方差。另外，为了便于说明，图30并不一定是在严格意义上表示图29所示的多种图像滤波处理P1～P4的频率特性的方差的图。

图29所示的4种图像滤波处理P1～P4，在频率(ω)为“0”时的响应均为“1”，因此频率(ω)为“0”时的方差均为“0”。在图30所示的例子中，关于多种图像滤波处理P1～P4的频率特性，显示出“表示第一大的偏差的成分(参考图30的符号“H1”)”及“表示第二大的偏差的成分(参考图30的符号“H2”)”。

图31是概略表示根据图29所示的多种图像滤波处理的频率特性的平均及方差获取的基底滤波器(特征矢量)的一例的图，图31(a)表示“φ₀”，图31(b)表示“φ₁”，图31(c)表示“φ₂”。

如上所述，在第1滤波处理F1中所使用的滤波器的频率特性φ₀优选根据多种图像滤波处理P1～P4的频率特性的分布中心(平均)而确定。

并且，在其他滤波处理中所使用的滤波器的频率特性优选从图30所示的多种图像滤波处理P1～P4的频率特性的偏差(方差)较大的成分依次确定。因此，在第2滤波处理F2中所使用的滤波器的频率特性φ₁优选根据多种图像滤波处理P1～P4的频率特性的偏差最大的成分(参考图30的“H1”)而确定。同样地，在第3滤波处理F3中所使用的滤波器的频率特性φ₂优选根据多种图像滤波处理的频率特性的偏差第二大的成分(参考图30的“H2”)而确定。

另外，上述例与图像滤波处理P包括第1滤波处理F1～第3滤波处理F3的情况有关，但图像滤波处理P既可由两种滤波处理构成，也可由4种以上的滤波处理构成。例如，由第1滤波处理F1及第2滤波处理F2构成图像滤波处理P时，能够根据上述“φ₀”(参考图31(a))确定在第1滤波处理F1中所使用的滤波器的频率特性，并能够根据上述“φ₁”(参考图31(b))确定在第2滤波处理F2中所使用的滤波器的频率特性。

图32表示与具有图10所示的电路结构的滤波处理部41所进行的图像滤波处理P(第1滤波处理F1～第3滤波处理F3)相关的频率特性f(ω)(参考图32(a))及增益例(参考图32(b))。

如上所述，从对多种图像滤波处理的频率特性的分布中心进行固定而使处理稳定化的观点考虑，优选第1滤波处理F1中的增益g₀固定为“1.0”。因此，图32(b)中例示有增益g₀～g₂，所述增益g₀～g₂在对具有图10所示的电路结构的滤波处理部41的各滤波器应用部48中所使用的滤波器进行固定，并且将第1滤波处理F1中的增益g₀固定为“1.0”时，用于通过如图32(a)所示的整个系统的频率特性高精度地实现图29所示的图像滤波处理P1～P4的每一个处理的频率特性。

如图32(b)所示，根据上述例，能够将多种图像滤波处理P1～P4的频率特性的数据压缩到3个滤波器的频率特性φ₀～φ₂(抽头系数)和12个增益(将g₀固定为“1.0”时是8个增益)。

如此，本例的滤波处理部41在第1滤波处理F1中，作为“滤波器的频率特性φ₀”使用根据多种图像滤波处理P1～P4的频率特性的平均而确定的基准滤波器h_b的频率特性来获取滤波器应用处理数据D4-1，在第2滤波处理F2及第3滤波处理F3中，作为“滤波器的频率特性φ₁”及“滤波器的频率特性φ₂”使用根据多种图像滤波处理P1～P4的频率特性的方差而确定的两个方差滤波器h_v的频率特性来获取滤波器应用处理数据D4-2、D4-3。

尤其优选滤波处理部41在第1滤波处理F1中使用“基于根据获取原图像数据D1时所使用的光学系统的个别的光学特性而确定的多种图像滤波处理的频率特性的平均而确定的基准滤波器h_b”来获取滤波器应用处理数据D4-1，并在第2滤波处理F2及第3滤波处理F3中，使用“基于根据获取原图像数据D1时所使用的光学系统的个别的光学特性而确定的多种图像滤波处理的频率特性的方差而确定的方差滤波器h_v”来获取滤波器应用处理数据D4-2、D4-3。在该情况下，优选在多次滤波处理的每一次处理中应用于滤波器应用处理数据D4的增益根据获取原图像数据D1时所使用的光学系统的个别的光学特性而确定。

图33是表示根据单峰型分布计算滤波器系数的滤波器计算部77的功能结构的一例的框图。为了由以频率空间所表示的滤波器特性计算以实际空间所表示的滤波器系数，本例的滤波器计算部77除了上述平均计算部78、方差计算部79及滤波器特性获取部80(参考图26)之外还具有抽头系数运算部81。

该滤波器计算部77的抽头系数运算部81获取具有多个抽头且对各抽头分配系数的基准滤波器h_b，并且获取具有多个抽头且对各抽头分配系数的至少一个方差滤波器h_v。“对各抽头分配系数的方法”并无特别限定，抽头系数运算部81(滤波器计算部77)例如能够根据后述的SAGE算法或OMP算法计算分配到基准滤波器h_b及至少一个方差滤波器h_v的每一个滤波器的各抽头的系数。

<多峰型分布>

接着，对将多种图像滤波处理的频率特性的偏差作为多峰型分布来处理时(参考图28)的滤波器及增益的设计方法例进行说明。

在图28所示的例子中，在将整体作为一个分布(单峰型分布)处理时，多种图像滤波处理的频率特性的偏差分布能够由图28所示的“偏差分布G”表示，但近似精度变差。另一方面，将多种图像滤波处理的频率特性的偏差分布通过图28的“第1偏差分布G1”及“第2偏差分布G2”进行分离来表示，并将“第1偏差分布G1”及“第2偏差分布G2”的每一个作为独立的多维复数正态分布(多峰型分布)进行处理，从而能够提高近似精度。作为该多峰型分布中的ML推定的参数推定算法，例如能够优选利用基于EM(Expectation Max imization)算法的混合正态分布的推定，并能够进行有效的参数推定。

基于多峰型分布的滤波器的确定方法基本上能够以与基于上述单峰型分布的滤波器确定方法相同的方法进行。即，将多种图像滤波处理的频率特性分类到构成多峰型分布的多个分布(图28所示的例子中为第1偏差分布G1及第2偏差分布G2)，关于各分布，能够以与上述单峰型分布的“偏差分布G”相同的步骤求出滤波器。

图34是概略表示可分类到多峰型分布的图像滤波处理的频率特性的一例的图，横轴表示频率(ω)，纵轴表示响应。

图34中示出有6种图像滤波处理(第1图像滤波处理P1、第2图像滤波处理P2、第3图像滤波处理P3、第4图像滤波处理P4、第5图像滤波处理P5及第6图像滤波处理P6)的频率特性。这些6种图像滤波处理P1～P6分别表示不同的频率特性，但频率(ω)为“0”时的响应均表示“1”。

在图34所示的例子中，例如能够将“第1图像滤波处理P1的频率特性数据、第2图像滤波处理P2的频率特性数据及第3图像滤波处理P3的频率特性数据”分类到第1偏差分布G1，并将“第4图像滤波处理P4的频率特性数据、第5图像滤波处理P5的频率特性数据及第6图像滤波处理P6的频率特性数据”分类到第2偏差分布G2。

图35是概略表示图34所示的多种图像滤波处理的频率特性的方差的一例的图，图35(a)表示分类到第1偏差分布G1的第1图像滤波处理P1～第3图像滤波处理P3的频率特性数据的方差，图35(b)表示分类到第2偏差分布G2的第4图像滤波处理P4～第6图像滤波处理P6的频率特性数据的方差。图35(a)及图35(b)的横轴表示频率(ω)，纵轴表示方差。另外，为了便于说明，图35(a)及图35(b)不一定是在严格意义上表示图34所示的多种图像滤波处理P1～P6的频率特性的方差。

图34所示的6种图像滤波处理P1～P6的频率特性，频率(ω)为“0”时的响应均为“1”，因此频率(ω)为“0”时的方差均成为“0”。如图35(a)及图35(b)所示，关于第1偏差分布G1及第2偏差分布G2的每一个的“图像滤波处理的频率特性的方差”，显示“表示最大偏差的成分(参考图35(a)及图35(b)的“H1”)”及“表示第二大偏差的成分(参考图35(a)及图35(b)的“H2”)”。

图36是概略表示根据分类到第1偏差分布G1的第1图像滤波处理P1～第3图像滤波处理P3的频率特性的平均及方差获取的基底滤波器(特征矢量)的一例的图，图36(a)表示“φ₀”，图36(b)表示“φ₁”，图36(c)表示“φ₂”。图37是概略表示根据分类到第2偏差分布G2的第4图像滤波处理P4～第6图像滤波处理P6的频率特性的平均及方差获取的基底滤波器(特征矢量)的一例的图，图37(a)表示“φ₀”，图37(b)表示“φ₁”，图37(c)表示“φ₂”。

如上所述，优选在第1滤波处理F1中所使用的滤波器的频率特性φ₀根据多种图像滤波处理的频率特性的分布中心(平均)而确定。

并且，在其他滤波处理中所使用的滤波器的频率特性优选根据图35(a)和图35(b)的每一个所示的多种图像滤波处理的频率特性的偏差(方差)较大的成分而确定。因此，在第2滤波处理F2中所使用的滤波器的频率特性φ₁优选根据多种图像滤波处理的频率特性的偏差最大的成分(参考图35(a)及图35(b)的“H1”)而确定。同样地，在第3滤波处理F3中所使用的滤波器的频率特性φ₂优选根据多种图像滤波处理的频率特性的偏差第二大的成分(参考图35(a)及图35(b)的“H2”)而确定。

图38表示与具有图10所示的电路结构的滤波处理部41所进行的图像滤波处理P(第1滤波处理F1～第3滤波处理F3)相关的频率特性f(ω)(参考图38(a))及增益例(参考图38(b))。在与图38所示的多峰型分布相关的频率特性f(ω)中，“φ₀⁽ⁱ⁾(ω)”表示在第1滤波处理F1的第1滤波器应用部48-1中所使用的滤波器的频率特性，“g₀”表示在第1滤波处理F1的第1增益应用部49-1中所使用的增益。并且，“φ₁⁽ⁱ⁾(ω)”表示在第2滤波处理F2的第2滤波器应用部48-2中所使用的滤波器的频率特性，“g₁”表示在第2滤波处理F2的第2增益应用部49-2中所使用的增益。并且“φ₂⁽ⁱ⁾(ω)”表示在第3滤波处理F3的第3滤波器应用部48-3中所使用的滤波器的频率特性，“g₂”表示在第3滤波处理F3的第3增益应用部49-3中所使用的增益。

各滤波器的频率特性φ₁⁽ⁱ⁾(ω)～φ₃⁽ⁱ⁾(ω)中的符号“i”表示簇索引，所述簇索引表示按照多峰型分布进行分类的组。例如，分类到第1偏差分布G1的第1图像滤波处理P1～第3图像滤波处理P3中，能够如图38(b)所示那样分配“1”作为簇索引i。另一方面，分类到第2偏差分布G2的第4图像滤波处理P4～第6图像滤波处理P6中，能够如图38(b)所示那样分配“2”作为簇索引i。

另外，图38(b)中例示有增益g₀～g₂，所述增益g₀～g₂在对具有图10所示的电路结构的滤波处理部41的各滤波器应用部48中所使用的滤波器进行固定，并且将在第1滤波处理F1中所使用的增益g₀固定为“1.0”时，用于通过图38(a)所示的整个系统的频率特性高精度地实现图34所示的图像滤波处理P1～P6的每一个处理的频率特性。

如图38(b)所示，根据上述例子，能够将多种图像滤波处理P1～P6的频率特性的数据压缩为6个滤波器频率特性φ₀⁽¹⁾～φ₂⁽¹⁾、φ₀⁽²⁾～φ₂⁽²⁾(抽头系数)和18个增益(将g₀固定为“1.0”时是12个增益)。

如此，根据基于多峰型分布的滤波器的确定方法，需要与构成多峰型分布的组(图28所示的例子中为第1偏差分布G1及第2偏差分布G2)的个数相应的滤波器组。因此，在利用多峰型分布时，与利用单峰型分布时相比，需要预先存储于存储器的滤波器的数量增加，所需的存储容量也增大。并且，为了将各滤波器与所分类的组建立对应关联，如上述簇索引那样的相关信息也需要预先存储于存储器。

图39是表示根据多峰型分布计算滤波器系数的滤波器计算部77的功能结构的一例的框图。本例的滤波器计算部77为了将图像滤波处理的多种频率特性分类到构成多峰型分布的多个组，除了上述平均计算部78、方差计算部79、滤波器特性获取部80及抽头系数运算部81(参考图33)之外还具有滤波器组分类部82。

本例的滤波器组分类部82以混合正态分布为基准，将多种图像滤波处理(图34所示的例子中为第1图像滤波处理P1～第6图像滤波处理P6)的频率特性分类到多个滤波器组(图28所示的例子中为第1偏差分布G1及第2偏差分布G2)。

图40是通过滤波器组分类部82分类到多个滤波器组的多种图像滤波处理(频率特性)的概念图。滤波器组分类部82对多种图像滤波处理的频率特性数据的相似性进行分析，并将各图像滤波处理的频率特性分类到对应的滤波器组。在上述例中，通过滤波器组分类部82，第1图像滤波处理P1～第3图像滤波处理P3被分类到第1偏差分布G1的滤波器组，第4图像滤波处理P4～第6图像滤波处理P6被分类到第2偏差分布G2的滤波器组。

构成滤波器计算部77的其他平均计算部78、方差计算部79、滤波器特性获取部80及抽头系数运算部81根据分类到多个滤波器组的多种图像滤波处理的频率特性中多个滤波器组的每一个所包括的多种图像滤波处理的频率特性获取与多个滤波器组的每一个相关的基准滤波器h_b及至少一个方差滤波器h_v。

根据上述例，在多种图像滤波处理的频率特性的偏差的分布为已知的情况下，能够高精度地设计用于覆盖该偏差的最佳的滤波器。尤其，通过根据多种图像滤波处理的频率特性的偏差的分布选择单峰型分布及多峰型分布中合适的分布类型，能够获取可高精度地重现作为目标的图像滤波处理的频率特性的滤波器(滤波器系数)及增益。

如上所述，根据本实施方式，能够减少滤波器数(数据量)，并能够避免保持与所有条件有关的FIR滤波器(滤波器系数(抽头系数))，而能够平均地进行使用了良好的滤波器的图像滤波处理。

<FIR滤波器的设计>

接着，对抽头数量设置限制的FIR滤波器的设计方法进行说明。

通过利用上述方法灵活地调整滤波器的频率特性，能够设计用于有效地弥补多种图像滤波处理的频率特性的偏差的最佳的滤波器。然而，通过对抽头数量设定限制的FIR滤波器实现实际使用的滤波器时，难以理想地获得所希望的频率特性。

通常，以较少的抽头数量实现陡峭的频率特性是非常困难的。尤其与较小的特征值对应的特征矢量倾向于具有陡峭的锯齿形状。因此，即使通过上述方法获取滤波器的理想的频率特性，在没有充分准备实际所使用的滤波器的抽头数量的情况下，也难以充分覆盖多种图像滤波处理的频率特性的偏差。

该问题与如下问题类似，即关于基底为非线性且参数化的函数，以通过尽量较少的数量的基底的线性和使一定矢量近似为目的确定基底的参数。提出有用于解决这种问题的各种方法。例如SAGE算法为在电波传播中的来波分析等中所使用的算法，并且为根据EM算法的构思以使残差最小的方式逐个求出基底的方法。并且，OMP算法为在压缩感知(Compressed Sensing)的领域使用过完备库(overcomplete dictionary)求出稀疏的系数矢量时所使用的算法。OMP的方法本身并不是求出参数化的基底的方法，但通过将选白OMP中的库(dictionary)的情况设定改变为选择接近于参数化的基底函数的基底函数的情况设定，由此能够将OMP的方法应用于FIR滤波器的设计。

对SAGE算法及OMP算法的具体运算方法例将在后面说明，滤波器计算部77的抽头系数运算部81(参考图33及图39)能够根据这些算法由偏差分布函数计算分配到至少一个方差滤波器hv的各抽头的系数，所述偏差分布函数为表示多种图像滤波处理的频率特性的方差的偏差分布函数，且为根据分配到基准滤波器h_b的各抽头的系数而确定的偏差分布函数(参考后述协方差矩阵“R_i”)。

根据后述SAGE算法及OMP算法，滤波器计算部77的抽头系数运算部81在将“T”设为2以上的整数时，获取第1个至第I个方差滤波器h_v，并由根据分配到基准滤波器h_b的各抽头的系数而确定的偏差分布函数计算分配到第1个方差滤波器h_v的各抽头的系数。并且，滤波器计算部77的抽头系数运算部81在将“J”设为2以上且I以下的整数时，由偏差分布函数计算分配到第J个方差滤波器h_v的各抽头的系数，所述偏差分布函数根据分配到基准滤波器h_b的各抽头的系数和分配到第1个至第J-1个方差滤波器h_v的每一个滤波器的各抽头的系数而确定。

在SAGE算法中，滤波器计算部77的抽头系数运算部81进一步根据偏差分布函数(参考后述协方差矩阵“Q_j”)来更新分配到基准滤波器h_b及至少一个方差滤波器h_v中的至少任一个的各抽头的系数，所述偏差分布函数为表示多种图像滤波处理的频率特性的方差的偏差分布函数，且表示根据分配到基准滤波器h_b及至少一个方差滤波器h_v的每一个滤波器的各抽头的系数而确定的残差成分。

另外，SAGE算法及OMP算法在各种文献中被进行说明，例如可参考非专利文献1、非专利文献2及非专利文献3。其中，SAGE算法及OMP算法这两者均以矢量的基底分解为目的，原本就不是处理滤波器设计中的子空间近似，因此需要对计算式适当地加以修改。

<应用了OMP算法的最佳滤波器组的计算>

以下对基于OMP算法的滤波器设计的一例进行说明。下述各步骤的处理基本上在滤波器计算部77(抽头系数运算部81)中进行，但各步骤的处理的一部分或全部可在其他部中进行。

以下对以单峰型分布为前提的情况进行说明。另外，关于以多峰型分布为前提的情况，如上所述能够应用以单峰型分布为前提的情况。即，通过将多个滤波器组(图28所示的例子中为第1偏差分布G1及第2偏差分布G2)的每一个滤波器作为单峰型分布的偏差分布G进行处理，由此还能够对应以多峰型分布为前提的情况。

·步骤1

首先，通过任意方法获取最接近由上述“Ψ₀”所表示的多种图像滤波处理的频率特性的平均(中心值)的FIR滤波器的抽头系数，并将通过该抽头系数实际实现的滤波器的频率特性作为“在第1滤波处理F1中所使用的滤波器的频率特性φ₀”。

·步骤2

根据下述式计算将上述“在第1滤波处理F1中实际使用的滤波器的频率特性φ₀”假设为多种图像滤波处理的频率特性的平均(中心值)时的协方差矩阵R₀。

[数式18]

·步骤3

如下述式所示，协方差矩阵R₀被设定为协方差矩阵R₁，参数“i”被设定为“1”。

[数式19]

R_i＝R₀

i←1

·步骤4

与协方差矩阵R_i的最大的特征值对应的特征矢量Ψ_i通过上述方法求出。

·步骤5

最接近特征矢量Ψ_i的频率特性的FIR滤波器的抽头系数通过任意方法来获取，并通过该抽头系数而实际实现的滤波器的频率特性被设定为“φ_i”。具有该频率特性φ_i的滤波器与在第“i+1”滤波处理中所使用的滤波器相对应，若例如为“i＝1”，则求出在第2滤波处理F2中所使用的滤波器的频率特性φ₂。与该“φ_i+1”相关的滤波器的抽头系数存储于未图示的存储器。

·步骤6

将已经求出的“φ₁～φ_i”作为基底，从协方差矩阵排除可通过该基底的展开子空间表现的成分，并计算残差。例如，若将“i”设为3以上的整数而定义为“Φ_i＝[φ₁φ₂……φ_i]”，则在以“Φ_i⁺”表示Φ_i的Moore-Penrose广义逆时，由“Φ_iΦ_i⁺”来表示对span{φ₁，φ₂，……，φ_i}的正投影矩阵。若使用该正投影矩阵Φ_iΦ_i⁺，则协方差矩阵“R_i+1”由下述式所表示。

[数式20]

I：单位矩阵

·步骤7

如下述式那样重新设定“i”作为“i＝i+1”，反复“步骤4”～“步骤7”直至成为“i＝N-1”。以这种方法求出滤波器的频率特性φ₁～φ_N-1。

[数式21]

i←i+1

<应用了SAGE算法的最佳滤波器组的计算>

接着，对基于SAGE算法的滤波器设计的一例进行说明。以下对以单峰型分布为前提的情况进行说明，但在对以多峰型分布为前提的情况也可应用本例的方面与上述OMP算法相同。

SAGE算法在以下两个方面与OMP算法不同：是基于只选择进行上述步骤6中的协方差矩阵的残差的更新的基底(FIR滤波器)的减法运算的算法；在暂时求出所有基底之后也对各基底继续单独进行更新。

更具体而言，上述OMP算法的步骤1～步骤5在SAGE算法中也同样地进行。其中，在上述OMP算法的步骤6中所使用的协方差矩阵“R_i+1”在SAGE算法中通过下述式求出。

[数式22]

R_i+1＝(I-φ_iφ_i^H)R_i(I-φ_iφ_i^H)^H

上述OMP算法的步骤7在SAGE算法中也同样地进行。其中，SAGE算法中，在步骤7之后进行下述步骤8～步骤12。

·步骤8

如由下述式所表示那样，参数“j”被设定为初始值“1”。

[数式23]

j←1

·步骤9

如由下述式所表示那样，从协方差矩阵排除可由排除了第j个基底而得的基底的展开子空间表现的成分，并计算残差。

[数式24]

Ψ_j＝[φ₁ φ₂ … φ_j-1 φ_j+1 … φ_N-1]

·步骤10

与表示由上述式所表示的残差成分的协方差矩阵Qj的最大特征值对应的特征矢量Ψ_j可根据上述方法求出。

·步骤11

最接近特征矢量Ψ_j的频率特性的FIR滤波器的抽头系数通过任意的方法获取，通过该抽头系数实际实现的滤波器的频率特性被设定为“φ_j”。由此，在第“j+1”滤波处理中所使用的滤波器的频率特性φ_j(抽头系数)被更新，并存储于未图示的存储器。

·步骤12

由下述式定义的整体的近似误差“J_TOTAL”在特定的目标范围内，或者循环次数(计算时间)达到特定的上限为止，如由下述式所表示那样改变参数“j”的同时反复进行“步骤9”～“步骤12”。

[数式25]

Φ_ALL＝[φ₁ φ₂ … φ_N-1]

tr：trace(对角和)

通过利用上述SAGE算法或OMP算法，只要能够掌握多种图像滤波处理的频率特性的偏差(例如平均及方差)，就能够高精度地设计FIR滤波器的抽头系数。并且，在掌握个别的具体的图像滤波处理的频率特性之前，能够确定在图像滤波处理(多个滤波处理)中可实际使用的滤波器的抽头系数。

<基于点扩散函数的滤波器与轮廓增强滤波器的组合>

点扩散函数(PSF)由光学系统的设计值计算，这为最容易，但光学系统并不一定是按照设计值来制造的，实际的光学系统的点扩散函数有时表示与由设计值导出的频率特性不同的频率特性。

例如，光学系统中所包括的透镜14的中央部分的实际MTF与由设计值假设的MTF不同时，即使进行基于点扩散函数的图像滤波处理，有时也无法充分改善原图像数据D1的中央部分的分辨率。为了对应这种情况，还考虑比预想更强地设定滤波器响应，但此时，虽然原图像数据D1的中央部分(低像高部分)的分辨率有所改善，但有时原图像数据D1的周边部分(高像高部分)的分辨率与中央部分的分辨率相比过高。

上述问题不仅在产生设计及制造的偏差的情况中发生，在产生光学系统的个体偏差的情况中也同样地发生。

作为针对这种问题的途径方法之一，关于各光学系统(透镜14)的中央部分及周边部分的每一个部分实际测量点扩散函数，考虑根据该测量的点扩散函数，单独制作关于各光学系统的中央部分及周边部分的每一个部分的滤波器。

然而，按光学系统的每个位置测量点扩散函数来制作滤波器的处理的负载非常重，并且制成的滤波器的数据量也非常庞大，从而需要高性能且昂贵的运算电路及存储器等资源。尤其由用户本身进行校准时，需要在数码相机10的产品本身组装这种运算处理电路及存储器，相对于各种输入算法稳定地发挥作用且保证品质，这成为较大的负载。

图41是表示由设计值导出的“光学系统(透镜14)的MTF”的一例的曲线图，图41(a)表示光学系统的中央部分的MTF，图41(b)表示光学系统的周边部分的MTF。在图41(a)及图41(b)的每一个图中，横轴表示频率，纵轴表示经标准化的MTF。图42是表示由实测值导出的“光学系统(透镜14)的MTF”的一例的曲线图，图42(a)表示光学系统的中央部分的MTF，图42(b)表示光学系统的周边部分的MTF。在图42(a)及图42(b)的每一个图中，横轴表示频率，纵轴表示经标准化的MTF。若图41及图42为与相同的光学系统相关的图，则在本例中关于光学系统的“周边部分”由实测值导出的MTF(参考图42(b))与由设计值导出的MTF(参考图41(b))大致一致，但关于光学系统的“中央部分”，由实测值导出的MTF(参考图42(a))比由设计值导出的MTF(参考图41(a))良好。

对使用这种光学系统拍摄获取的图像数据进行了滤波器应用处理PF及增益应用处理PG时的MTF进行研究。

图43是表示根据图41所示的MTF进行滤波器应用处理PF及增益应用处理PG时的“与图像滤波处理相关的MTF”的一例的曲线图，图43(a)表示光学系统的中央部分的MTF，图43(b)表示光学系统的周边部分的MTF。图44是表示根据图42所示的MTF进行滤波器应用处理PF及增益应用处理PG时的“与图像滤波处理相关的MTF”的一例的曲线图，图44(a)表示光学系统的中央部分的MTF，图44(b)表示光学系统的周边部分的MTF。在图43及图44所示的例子中，表示两者在滤波器应用处理PF中均使用相同的滤波器，并且在增益应用处理PG中均使用相同的增益“1.0”的例子。在本例中根据设计值获取在滤波器应用处理PF中所使用的滤波器，因此以设计值为基准时(参考图43(a)及图43(b))获得适当的MTF，但以实测值为基准时，有时会导致光学系统的中央部和/或周边部的MTF变得过大。即，在图44所示的例子中，光学系统的周边部分的MTF落在容许范围内(参考图44(b))，但光学系统的中央部分的MTF因频带而导致变得过大(参考图44(a))。

图45是表示根据图42所示的MTF进行滤波器应用处理PF及增益应用处理PG时的“光学系统(透镜14)的MTF”的一例的曲线图，图45(a)表示光学系统的中央部分的MTF，图45(b)表示光学系统的周边部分的MTF。在图45所示的例子中，在滤波器应用处理PF中使用与图44所示的例子相同的滤波器，但在增益应用处理PG中使用比图44所示的例子中所使用的增益小的增益(＜1.0)。在图45所示的例子中，光学系统的中央部分的MTF落在容许范围内(参考图45(a))，但光学系统的周边部分的MTF因频带而导致变得过小(参考图45(b))。

如上所述，难以平衡良好地调整光学系统(透镜14)的所有位置(中央部分及周边部分)的点扩散函数。

在以下的实施方式中，通过将使用了由点扩散函数导出的滤波器的滤波处理(以下称为“点像复原处理”)和使用了轮廓增强滤波器的滤波处理(以下还称为“轮廓增强处理”)进行组合而良好地调整整个光学系统的点扩散函数。图46是表示根据图42所示的MTF组合下述点像复原处理及轮廓增强处理时的“光学系统(透镜14)的MTF”的一例的曲线图，图46(a)表示光学系统的中央部分的MTF，图46(b)表示光学系统的周边部分的MTF。根据以下的实施方式，如图46(a)及图46(b)所示，能够在光学系统的中央部分及周边部分的两个区域中实现良好的MTF。

另外，在以下的实施方式中，“由点扩散函数导出的滤波器”作为依赖于图像内位置(像素位置)而频率特性发生变化的滤波器而构成，另一方面，“轮廓增强滤波器”作为不依赖于图像内位置(像素位置)而具有恒定的频率特性的滤波器而构成。

图47是表示进行使用了由点扩散函数导出的滤波器的滤波处理的电路与进行使用了轮廓增强滤波器的滤波处理的电路串联连接的情况的一例的电路结构图。图47所示的电路结构例与图8所示的电路结构例大致相同。即，在图8所示的电路结构例中设为“N＝2”，将在第1滤波器应用部48-1中使用的滤波器设为“由点扩散函数导出的滤波器”，将在第2滤波器应用部48-2中使用的滤波器设为“轮廓增强滤波器”，从而成为图47所示的电路结构。

图48是表示进行使用了由点扩散函数导出的滤波器的滤波处理的电路与进行使用了轮廓增强滤波器的滤波处理的电路并联连接的情况的一例的电路结构图。图48所示的电路结构例与图9所示的电路结构例大致相同。即，在图9所示的电路结构例中设为“N＝2”，将在第1滤波器应用部48-1中使用的滤波器设为“由点扩散函数导出的滤波器”，将在第2滤波器应用部48-2中使用的滤波器设为“轮廓增强滤波器”，从而成为图48所示的电路结构。

图49是表示进行使用了由点扩散函数导出的滤波器的滤波处理的电路与进行使用了轮廓增强滤波器的滤波处理的电路并联连接的情况的一例的电路结构图。图49所示的电路结构例与图10所示的电路结构例大致相同。即，在图10所示的电路结构例中设为“N＝2”，将在第1滤波器应用部48-1中使用的滤波器设为“由点扩散函数导出的滤波器”，将在第2滤波器应用部48-2中使用的滤波器设为“轮廓增强滤波器”，从而成为图49所示的电路结构。

在图47～图49所示的例子中，也与上述图8～图10所示的例子同样地，通过调整在第1增益应用部49-1及第2增益应用部49-2中所使用的增益g₀、g₁而近似地实现“图像滤波处理的作为目标的频率特性”。总之，在图47～图49所示的例子中，光学系统的中央部分与周边部分之间调整增益g₀、g₁，以免对分辨率产生过大的偏差。由此，无需重新设计滤波器(尤其由点扩散函数导出的滤波器)，能够降低关于许多摄影条件应保持的参数个数(抽头系数等)。并且，在用于校正光学系统的个体偏差的校准中，无需进行需要大量计算量的有限抽头长度的FIR滤波器的设计工作。

以下，作为一例，主要对滤波处理部41具有图49所示的电路结构时的增益的计算方法进行说明。

如上所述，在第1滤波处理F1中进行使用了“由点扩散函数导出的滤波器”的点像复原处理，在第2滤波处理F2中进行使用了“轮廓增强滤波器”的轮廓增强处理。

由“φ₀(ω，r)”表示在点像复原处理中所使用的滤波器(即在第1滤波器应用部48-1中所使用的滤波器)的频率特性，关于针对频率为N_ω个且针对图像内位置(像素位置)为N_r个的采样点进行“φ₀(ω，r)”的离散化，从而如上所述，使用Kronecker积而使下述式成立。

[数式26]

另一方面，以“T(ω)”表示在轮廓增强处理中所使用的滤波器(即在第2滤波器应用部48-2中所使用的滤波器)的频率特性。该轮廓增强滤波器的频率特性“τ(ω)”不依赖于图像内位置，如以与上述点像复原处理的滤波器的频率特性相同的公式格式所表示那样，关于“τ(ω)”的离散化，下述式成立。

[数式27]

此时，由在第1滤波处理F1及第2滤波处理F2中所使用的增益构成的增益矢量(增益组)g由下述式表示。

[数式28]

g＝[g₀ g₁]^T

若通过“f(ω，r|g)”表示设定有由上述式所表示的增益的图像滤波处理P整体(滤波处理部41整体)的频率特性，通过“d(ω，r)”表示欲实现的图像滤波处理P的作为目标的频率特性，通过“w(ω，r)”表示近似加权函数，则以与图10相关的上述处理相同的方法获得下述关系式。

[数式29]

J_LMS[g]＝∫∫w(ω，r)||f(ω，r|g)-d(ω，r)||²dωdr

J_LMS[g]＝||W^1/2(Ag-d)||²

其中

W＝diag[w]

A＝[φ₀ τ]

如上所述，“(A^HWA)^-1A^HW”的一部分由可预先计算的矩阵(2×2矩阵)表示，因此增益矢量的最优解g_OPT能够通过对根据表示个别的像劣化特性的点扩散函数而获取的滤波器特性应用矩阵的运算来计算。

另外，优选当滤波处理部41采用图49所示的电路结构时，除了应用上述条件之外，为了防止图像的DC成分(亮度)发生变化，还应用将DC成分的放大率(增益)设为1.0倍的约束条件。具体而言，按照下述式获取增益矢量的最优解g_OPT，这相当于“将DC成分的放大率设为1.0倍而不改变图像整体的亮度”。

[数式30]

subject to：g₀×φ_i(0)+g₁×τ(0)＝1

上述式能够作为QP问题来处理，在维数较小的最优化中能够以较少的计算量解决。并且，作为一例，如由下述式所表示那样，通过对各滤波器的DC成分的放大率设置限制，能够排除DC成分的放大率的限制(约束条件)。

[数式31]

φ_i(0)＝1，ψ(0)＝0

<轮廓增强滤波器的设计方法>

在由摄影条件或个体偏差引起的点扩散函数(PSF)的偏差的分布信息为已知的情况下，能够设计用于弥补其点扩散函数的偏差的最佳的轮廓增强滤波器。

能够使用在频率空间上表现点扩散函数的OTF并通过下述“OTF_i(ω，r)”表示成为点扩散函数的偏差的样品的点扩散函数的实测值或估计值的集合。

[数式32]

通过“d_i(ω，r)”由下述式表示根据该“OTF_i(ω，r)”独立计算出的最佳滤波器的频率，并通过“φ_i(ω，r)”由下述式表示关于各样品的摄影条件预先被确定的点像复原处理的滤波器的频率。

[数式33]

此时，如上所述，与第i个样品相关的最佳增益矢量“g_i”由下述式表示。

[数式34]

W＝diag[w]

A＝[φ_i τ]

此时，通过滤波处理部41进行的图像滤波处理P(第1滤波处理F1及第2滤波处理F2)整体的频率特性由下述式表示。

[数式35]

在此与“P”相关的下述式表示对下述线性子空间「R(W^1/2A)」的正投影矩阵。

[数式36]

与该线性子空间“正交的空间”由下述式表示。

[数式37]

R(W^1/2A)^⊥

近似误差能够通过对该“正交的空间”的投影矩阵来表现，因此由下述式所表示。

[数式38]

将该近似误差的样品平均最小化的轮廓增强滤波器的频率特性为计算对象，其最小化基准能够作为下述式的类函数来表现。

[数式39]

将该基准最小化的频率特性τ能够平均地最好地弥补频率的偏差。因此，优选设计近似地实现以这种方式计算出的频率特性τ的有限抽头长度FIR滤波器，并将在轮廓增强处理(第2增益应用部49-2)中使用该F1R滤波器作为轮廓增强滤波器。

<其他变形例>

上述各功能结构可通过任意的硬件、软件或两者的组合实现。例如，对使计算机执行上述各装置及处理部中的图像处理方法(图像处理步骤及功能)、增益获取方法(增益获取处理步骤及功能)及滤波器获取方法(滤波器获取处理步骤及功能)的程序、记录了该程序的计算机可读取的记录介质(非暂时记录介质)、或者可安装该程序的计算机也能够应用本发明。

并且，图像滤波处理(多次滤波处理)的目的也并无特别限定，在各滤波处理(各滤波器应用部48)中，可使用以改善画质为目的的基于点扩散函数的复原滤波器或轮廓增强滤波器、以赋予特殊效果为目的的艺术滤波器或模糊滤波器等各种滤波器。

<对EDoF系统的应用例>

例如，对于针对通过具有被放大的景深(焦深)(EDoF：Extended Depth of Field(Focus))的光学系统(摄影透镜等)拍摄获取的图像数据(原图像数据D1)的复原处理，也能够应用本发明所涉及的图像滤波处理。针对通过EDoF光学系统在景深(焦深)被放大的状态下拍摄获取的模糊图像的图像数据进行复原处理，从而能够在广范围内复原生成对焦状态的高分辨率的图像数据。此时使用复原滤波器进行复原处理，所述复原滤波器为基于EDoF光学系统的光学传递函数(PSF、OTF、MTF、PTF等)的复原滤波器，并且具有设定成能够在被放大的景深(焦深)的范围内进行良好的图像复原的具有滤波器系数的复原滤波器。

以下对与经由EDoF光学系统摄影获取的图像数据的复原相关的系统(EDoF系统)的一例进行说明。另外，在以下所示的例子中，对针对由去马赛克处理后的图像数据(RGB数据)获得的亮度信号(Y数据)进行复原处理的例子进行说明，但进行复原处理的时机并无特别限定，例如可对“去马赛克处理前的图像数据(马赛克图像数据)”或“去马赛克处理后且亮度信号转换处理前的图像数据(去马赛克图像数据)”进行复原处理。

图50是表示具备EDoF光学系统的摄像模块101的一方式的框图。本例的摄像模块(数码相机等)101包含EDoF光学系统(透镜单元)110、成像元件112、AD转换部114及复原处理块(图像处理部35)120。

图51是表示EDoF光学系统110的一例的图。本例的EDoF光学系统110具有单焦点的被固定的摄影透镜11OA及配置于光瞳位置的滤光器111。滤光器111调制相位，并以获得被放大的景深(焦深)(EDoF)的方式将EDoF光学系统110(摄影透镜110A)EDoF化。如此，摄影透镜110A和滤光器111构成调制相位来扩大景深的透镜部。

另外，EDoF光学系统110根据需要包含其他构成要件，例如在滤光器111附近配设有光圈(省略图示)。并且，滤光器111可以是一个，也可以组合多个。并且，滤光器111仅仅是光学相位调制机构的一例，还可以通过其他机构实现EDoF光学系统110(摄影透镜110A)的EDoF化。例如，可通过以具有与本例的滤光器111相同功能的方式进行透镜设计而得的摄影透镜110A实现EDoF光学系统110的EDoF化代替滤光器二111的设置。

即，能够通过使对成像元件112的受光面的成像的波面发生变化的各种机构，实现EDoF光学系统110的EDoF化。例如，可将“厚度发生变化的光学元件”、“折射率发生变化的光学元件(折射率分布型波面调制透镜等)”、“通过对透镜表面进行编码等而厚度或折射率发生变化的光学元件(在波面调制混合式透镜、透镜面上作为相位面而形成的光学元件等)”、“能够调制光的相位分布的液晶元件(液晶空间相位调制元件等)”用作EDoF光学系统110的EDoF化机构。如此，不仅能够对可通过光波面调制元件(滤光器111(相位板))形成规则地分散而得的图像的情况应用本发明，而且能够对可不使用光波面调制元件而通过摄影透镜110A本身形成与使用光波面调制元件时相同的分散图像的情况应用本发明。

图51所示的EDoF光学系统110可以省略机械地进行调焦的调焦机构，因此能够实现小型化，可优选搭载于带相机的移动电话或移动信息终端。

通过被EDoF化的EDoF光学系统110之后的光学像成像于图50所示的成像元件112，在此转换成电信号。

成像元件112由以规定的图案排列(拜耳排列、G条纹R/G全方格、X-Trans排列或蜂窝排列等)配置成矩阵状的多个像素构成，各像素包含微透镜、滤色器(本例中为RGB滤色器)及光电二极管而构成。经由EDoF光学系统110入射到成像元件112的受光面的光学像通过排列于该受光面的各光电二极管而转换成与入射光量相应的量的信号电荷。并且，积蓄在各光电二极管的R、G、B的信号电荷作为每个像素的电压信号(图像信号)被依次输出。

AD转换部114将从成像元件112按每个像素被输出的模拟R、G、B图像信号转换成数字RGB图像信号。通过AD转换部114转换成数字图像信号的数字图像信号被加入到复原处理块120。

复原处理块120例如包括黑电平调整部122、白平衡增益部123、伽马处理部124、去马赛克处理部125、RGB/YCrCb转换部126及Y信号复原处理部127。

黑电平调整部122对从AD转换部114输出的数字图像信号实施黑电平调整。在黑电平调整中，可采用公知的方法。例如，在着眼于某一有效光电转换元件的情况下，求出与在包括该有效光电转换元件的光电转换元件行中所包含的多个0B光电转换元件的每一个对应的暗电流量获取用信号的平均值，从与该有效光电转换元件对应的暗电流量获取用信号减去该平均值，从而进行黑电平调整。

白平衡增益部123进行与在调整了黑电平数据的数字图像信号中所包含的RGB各颜色信号的白平衡增益对应的增益调整。

伽马处理部124进行执行半色调等的灰度校正的伽马校正，使得白平衡调整后的R、G、B图像信号成为期望的伽马特性。

去马赛克处理部125对伽马校正后的R、G、B图像信号施加去马赛克处理。具体而言，去马赛克处理部125通过对R、G、B的图像信号施加颜色插值处理，生成从摄像元件112的各受光像素输出的一组图像信号(R信号、G信号、B信号)。即，虽然在颜色去马赛克处理前，来自各受光像素的像素信号是R、G、B的图像信号中的任一个图像信号，但在颜色去马赛克处理后，输出与各受光像素对应的R、G、B信号的3个像素信号的组。

RGB/YCrCb转换部126将经去马赛克处理的每个像素的R、G、B信号转换为亮度信号Y和色差信号Cr、Cb，并输出每个像素的亮度信号Y及色差信号Cr、Cb。

Y信号复原处理部127根据预先存储的复原滤波器，对来自RGB/YCrCb转换部126的亮度信号Y进行复原处理。复原滤波器例如包括具有7×7的核尺寸的反卷积核(与M＝7、N＝7的抽头数量对应)和与该反卷积核对应的运算系数(与复原增益数据、滤波系数对应)，使用于光学滤波器111的相位调制量的反卷积处理(反卷积运算处理)。另外，复原滤波器将与光学滤波器111对应的部分存储到未图示的存储器(例如，附随地设有Y信号复原处理部127的存储器)中。此外，反卷积核的核尺寸并不限于7×7。另外，Y信号复原处理部127具有上述图像处理部35中的锐化处理的功能。

接着，对基于复原处理块120的复原处理进行说明。图52是表示基于图50所示的复原处理块120的复原处理流程的一例的图。

在黑电平调整部122的一个输入中，由AD转换部114被施加数字图像信号，在其他输入中被施加黑电平数据，黑电平调整部122根据数字图像信号减去黑电平数据，并将减去了黑电平数据的数字图像信号输出到白平衡增益部123(S41)。由此，在数字图像信号中不包括黑电平成分，表示黑电平的数字图像信号成为0。

对进行黑电平调整后的图像数据依次实施通过白平衡增益部123、伽马处理部124进行的处理(S42及S43)。

被伽马校正的R、G、B信号在去马赛克处理部125中进行去马赛克处理之后，在RGB/YCrCb转换部126中转换为亮度信号Y和色差信号Cr、Cb(S44)。

Y信号复原处理部127进行对亮度信号Y应用EDoF光学系统110的光学滤波器111的相位调制量的反卷积处理的复原处理(S45)。即，Y信号复原处理部127进行与以任意的处理对象的像素为中心的规定单位的像素组对应的亮度信号(在此为7×7像素的亮度信号)和预先存储在存储器等中的复原滤波器(7×7的反卷积核和其运算系数)的反卷积处理(反卷积运算处理)。Y信号复原处理部127通过以覆盖摄像面的整个区域的方式反复该规定单位的每个像素组的反卷积处理，从而进行去除图像整体的像模糊的复原处理。复原滤波器是根据实施反卷积处理的像素组的中心的位置而确定的。即，对接近的像素组应用共同的复原滤波器。进一步为了简化复原处理，优选对所有像素组应用共同的复原滤波器。

如图53(a)所示，通过EDoF光学系统110之后的亮度信号的点像(光学像)作为较大的点像(模糊的图像)成像于成像元件112，但通过Y信号复原处理部127中的反卷积处理而复原为如图53(b)所示那样较小的点像(高分辨率的图像)。

如上所述，通过对去马赛克处理后的亮度信号应用复原处理，无需按RGB不同而具有复原处理的参数，能够使复原处理高速化。此外，由于不是将与位于分散的位置的R、G、B的像素对应的R、G、B的图像信号分别汇集为一个单位而进行反卷积处理，而是将接近的像素的亮度信号彼此以预定的单位汇集，对该单位应用共同的复原滤波器而进行反卷积处理，所以复原处理的精度提高。另外，关于色差信号Cr、Cb，在基于肉眼的视觉特性上，即使在复原处理中不提高分辨率，在画质上也被允许。此外，在以如JPEG这样的压缩形式来记录图像的情况下，色差信号以比亮度信号高的压缩率被压缩，所以缺少在复原处理中提高分辨率的必要性。这样一来，能够兼顾复原精度的提高和处理的简化及高速化。

对于如以上进行说明那样的EDoF系统的复原处理，也能够应用上述实施方式所涉及的图像滤波处理。

并且，能够应用本发明的方式并不限定于数码相机及计算机(服务器)，除了以摄像为主要功能的相机类之外，对于除了摄像功能以外还具备摄像以外的其他功能(通话功能、通信功能、其他计算机功能)的移动设备类，也能够应用本发明。作为能够应用本发明的其他方式，例如可举出具有相机功能的移动电话和智能手机、PDA(Personal Digital Assistants)、便携式游戏机。以下，对能够应用本发明的智能手机的一例进行说明。

<对智能手机的应用例>

图54是表示智能手机201的外观的图。图54所示的智能手机201具有平板状框体202，在框体202的一侧面具备作为显示部的显示面板221与作为输入部的操作面板222成为一体的显示输入部220。并且，这种框体202具备扬声器231、麦克风232、操作部240及相机部241。另外，框体202的结构并不限定于此，例如能够采用显示部与输入部独立的结构，或者采用具有折叠结构或滑动机构的结构。

图55是表示图54所示的智能手机201的结构的框图。如图55所示，作为智能手机的主要构成要件，具备无线通信部210、显示输入部220、通话部230、操作部240、相机部241、存储部250、外部输入输出部260、GPS(Global Positioning System)接收部270、动作传感器部280、电源部290及主控制部200(包括上述主体控制器25)。并且，作为智能手机201的主要功能，具备经由基站装置BS和移动通信网NW进行移动无线通信的无线通信功能。

无线通信部210根据主控制部200的命令，对容纳于移动通信网Nw的基站装置BS进行无线通信。使用该无线通信，进行语音数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据或流数据等的接收。

显示输入部220是通过主控制部200的控制，显示图像(静态图像及动态图像)和文字信息等来视觉性地向用户传递信息，并且检测用户对所显示的信息的操作的所谓的触控面板，具备显示面板221及操作面板222。

显示面板221是将LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)等用作显示设备的装置。操作面板222是以能够视觉辨认显示于显示面板221的显示面上的图像的方式载置，并检测通过用户的手指或触控笔操作的一个或多个坐标的设备。若通过用户的手指或触控笔操作该设备，则将因操作而产生的检测信号输出至主控制部200。接着，主控制部200根据所接收的检测信号检测显示面板221上的操作位置(坐标)。

如图54所示，作为本发明的摄像装置的一实施方式来例示的智能手机201的显示面板221与操作面板222成为一体而构成显示输入部220，但配置成操作面板222完全覆盖显示面板221。采用该配置时，操作面板222可以对显示面板221以外的区域也具备检测用户操作的功能。换言之，操作面板222可具备针对与显示面板221重叠的重叠部分的检测区域(以下，称为显示区域)和针对除此以外的不与显示面板221重叠的外缘部分的检测区域(以下，称为非显示区域)。

另外，可使显示区域的大小与显示面板221的大小完全一致，但无需一定使两者一致。并且，操作面板222可具备外缘部分和除此以外的内侧部分这两个感应区域。而且，外缘部分的宽度根据框体202的大小等而适当设计。此外，作为在操作面板222中所采用的位置检测方式，可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，可采用任意方式。

通话部230具备扬声器231和麦克风232，所述通话部将通过麦克风232输入的用户的语音转换成能够在主控制部200中处理的语音数据来输出至主控制部200，或者对通过无线通信部210或外部输入输出部260接收的语音数据进行解码而从扬声器231输出。并且，如图54所示，例如能够将扬声器231搭载于与设置有显示输入部220的面相同的面，将麦克风232搭载于框体202的侧面。

操作部240为使用键开关等的硬件键，且接收来自用户的命令。例如，如图54所示，操作部240搭载于智能手机201的框体202的侧面，且是若被手指等按下则开启，若将手指移开则通过弹簧等的复原力而成为关闭状态的按钮式开关。

存储部250存储主控制部200的控制程序和控制数据、应用软件、将通信对象的名称和电话号码等建立对应关联的地址数据、所收发的电子邮件的数据、通过Web浏览下载的Web数据和已下载的内容数据，并且暂时存储流数据等。并且，存储部250由智能手机内置的内部存储部251和具有装卸自如的外部存储器插槽的外部存储部252构成。另外，构成存储部250的各个内部存储部251与外部存储部252各自通过使用闪存类型(flash memory type)、硬盘类型(hard disk type)、微型多媒体卡类型(multimedia card micro type)、卡类型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(Random Acc ess Memory)或ROM(Read Only Memory)等存储介质来实现。

外部输入输出部260发挥与连结于智能手机201的所有外部设备的接口的作用，并用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如，互联网、无线LAN、蓝牙(Bluetooth(注册商标))、RFID(Radio Frequency Identification)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(Ultra Wideband)(注册商标)或紫蜂(ZigBee)(注册商标)等)直接或间接地与其他外部设备连接。

作为与智能手机201连结的外部设备，例如有：有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡插槽连接的存储卡(Memory card)或SIM(Subscriber Identity Module Card)/UIM(User Identitv Module Card)卡、经由音频/视频I/O(Input/Output)端子连接的外部音频/视频设备、无线连接的外部音频/视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的耳机等。外部输入输出部能够将从这种外部设备接收到传送的数据传递至智能手机201内部的各构成要件或将智能手机201内部的数据传送至外部设备。

GPS接收部270按照主控制部200的命令，接收从GPS卫星ST1～STn发送的GPS信号，执行基于所接收的多个GPS信号的测位运算处理，检测智能手机201的包括纬度、经度、高度的位置。GPS接收部270在能够从无线通信部210或外部输入输出部260(例如无线LAN)获取位置信息时，还能够利用该位置信息检测位置。

动作传感器部280例如具备3轴加速度传感器等，根据主控制部200的命令，检测智能手机201的物理动作。通过检测智能手机201的物理动作，可检测智能手机201的移动方向或加速度。该检测结果被输出至主控制部200。

电源部290按照主控制部200的命令，向智能手机201的各部供给积蓄在电池(未图示)中的电力。

主控制部200具备微处理器，并根据存储部250所存储的控制程序或控制数据进行动作，集中控制智能手机201的各部。并且，主控制部200为了通过无线通信部210进行语音通信或数据通信，具备控制通信系统的各部的移动通信控制功能及应用处理功能。

应用处理功能通过主控制部200根据存储部250所存储的应用软件进行动作来实现。作为应用处理功能，例如有控制外部输入输出部260来与对象设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、浏览Web页的Web浏览功能等。

并且，主控制部200具备根据接收数据或所下载的流数据等图像数据(静态图像或动态图像的数据)而在显示输入部220显示影像等图像处理功能。图像处理功能是指主控制部200对上述图像数据进行解码，对该解码结果实施图像处理并将图像显示于显示输入部220的功能。

而且，主控制部200执行对显示面板221的显示控制和检测通过操作部240、操作面板222进行的用户操作的操作检测控制。

通过执行显示控制，主控制部200显示用于启动应用软件的图标或滚动条等软件键，或者显示用于创建电子邮件的窗口。另外，滚动条是指用于针对无法完全落入显示面板221的显示区域的较大图像等，接收使图像的显示部分移动的命令的软件键。

并且，通过执行操作检测控制，主控制部200检测通过操作部240进行的用户操作，或者通过操作面板222接收对上述图标的操作或对上述窗口的输入栏的字符串的输入，或者接收通过滚动条进行的显示图像的滚动请求。

而且，通过执行操作检测控制，主控制部200具备判定对操作面板222进行操作的位置是与显示面板221重叠的重叠部分(显示区域)还是除此以外的不与显示面板221重叠的外缘部分(非显示区域)，并控制操作面板222的感应区域或软件键的显示位置的触控面板控制功能。

并且，主控制部200还能够检测对操作面板222的手势操作，并根据检测出的手势操作执行预先设定的功能。所谓手势操作表示并非以往的单纯的触控操作，而是通过手指等描绘轨迹、或者同时确定多个位置或者组合这些来对多个位置中至少一个描绘轨迹的操作。

相机部241是使用CMOS或CCD等成像元件进行电子摄影的数码相机。并且，相机部241能够通过主控制部200的控制，将通过拍摄获得的图像数据转换成例如JPEG等的被压缩的图像数据并记录于存储部250，或者能够通过外部输入输出部260和无线通信部210输出。在图54所示的智能手机201中，相机部241搭载于与显示输入部220相同的面，但相机部241的搭载位置并不限于此，还可搭载于显示输入部220的背面，或者也可以搭载有多个相机部241。另外，搭载有多个相机部241时，还能够切换供于拍摄的相机部241来单独进行拍摄、或者同时使用多个相机部241来进行拍摄。

并且，相机部241能够利用于智能手机201的各种功能中。例如，能够在显示面板221显示由相机部241获取的图像，或者能够作为操作面板222的操作输入之一而利用相机部241的图像。并且，当GPS接收部270检测位置时，还能够参考来自相机部241的图像来检测位置。而且，还能够参考来自相机部241的图像，不使用3轴加速度传感器或者与3轴加速度传感器并用来判断智能手机201的相机部241的光轴方向，或判断当前的使用环境。当然，还能够在应用软件内利用来自相机部241的图像。

另外，能够在静态图像或动态图像的图像数据上附加通过GPS接收部270获取的位置信息、通过麦克风232获取的语音信息(也可通过主控制部等进行语音文本转换而成为文本信息)、通过动作传感器部280获取的姿势信息等来记录于存储部250，或者还能够通过外部输入输出部260或无线通信部210输出。

上述图像处理部35(滤波处理部41)例如可通过主控制部200来实现。

本发明并不限定于上述实施方式，当然也能够在不脱离本发明的宗旨的范围内进行各种变形。

符号说明

10-数码相机，11-透镜单元，12-相机主体，14-透镜，15-光圈，17-光学系统操作部，18-透镜单元控制器，19-透镜单元存储部，20-透镜单元输入输出部，24-成像元件，25-主体控制器，26-用户界面，27-显示部，28-相机主体输入输出部，29-主体存储部，30-输入输出接口，34-设备控制部，35-图像处理部，36-显示控制部，38-图像判定部，40-预处理部，41-滤波处理部，42-后处理部，43-增益确定部，44-增益候补数据存储部，45-增益获取部，48-滤波器应用部，49-增益应用部，50-处理数据计算部，51-处理图像数据计算部，52-加法器，54-反复运算判定部，55-增益供给部，56-滤波器供给部，60-参考图像获取部，61-参考图像分析部，62-目标频率特性获取部，63-应用增益计算部，66-频率分析部，67-目标频率特性确定部，68-频率特性存储部，70-引导部，70a-第1引导部，70b-第2引导部，70c-引导部，70d-引导部，71-自动对焦区域，73-摄影条件显示部，74-判定信息部，76-滤波器获取装置，77-滤波器计算部，78-平均计算部，79-方差计算部，80-滤波器特性获取部，81-抽头系数运算部，82-滤波器组分类部，92-计算机，93-计算机输入输出部，94-计算机控制器，95-显示器，96-网络，97-服务器，98-服务器输入输出部，99-服务器控制器，101-摄像模块，110-EDoF光学系统，110A-摄影透镜，111-滤光器，112-成像元件，114-AD转换部，120-复原处理块，122-黑电平调整部，123-白平衡增益部，124-伽马处理部，125-去马赛克处理部，126-YCrCb转换部，127-Y信号复原处理部，200-主控制部，201-智能手机，202-框体，210-无线通信部，220-显示输入部，221-显示面板，222-操作面板，230-通话部，231-扬声器，232-麦克风，240-操作部，241-相机部，250-存储部，251-内部存储部，252-外部存储部，260-外部输入输出部，270-GPS接收部，280-动作传感器部，290-电源部。