图像处理装置、图像处理方法、程序及记录介质与流程

本发明涉及一种图像处理装置、图像处理方法、程序及记录介质，尤其涉及一种图像滤波处理。

背景技术：

提出有用于改善画质的滤波处理或用于赋予特殊的视觉效果的滤波处理等各种图像滤波处理技术。已知有使用滤波器来复原原来的图像的点像复原处理，所述滤波器是根据表示例如由摄影透镜的像差等引起的像劣化特性的点扩散函数(点像分布函数(psf：pointspreadfunction))而确定的。

专利文献1公开一种以改善制造上的公差来抑制制造偏差为目的的摄像装置。该摄像装置具备像差控制光学系统及图像处理部。像差控制光学系统在光轴中心附近向周边部分较大地产生球面像差。图像处理部进行因球面像差而降低的成分的恢复处理，将通过图像处理而增加的噪声量以标准偏差保持在2倍以下。这样，通过在远离光轴的部位有目的地产生球面像差来改善透镜的制造公差，并且通过使用滤波器进行的图像处理来复原mtf，由此可进行因球面像差而降低的成分的恢复处理。

并且，专利文献2公开一种摄像装置，其通过拍摄图像后的图像处理生成景深被放大的图像及具有任意景深的图像。该专利文献2中提出，关于原图像中的所有像素位置直接计算点扩散函数(psf)时，处理量变多且处理时间变长，因此只关于代表像素位置直接计算点扩散函数，与非代表像素位置有关的点扩散函数通过根据与附近的代表像素位置有关的点扩散函数进行插值而获取。

以往技术文献

专利文献

专利文献1：日本特开2009-206822号公报

专利文献2：日本特开2010-147926号公报

非专利文献

非专利文献1：j.a.fessleranda.o.hero，“space-alternatinggeneralizedexpectation-maximizationalgorithm，”ieeetransactionsonsignalprocessing，vol.17，no.10，pp.2664-2677，1994.

非专利文献2：b.h.fleury，m.tschudin，r.heddergott，d.dahlhaus，andk.i.pedersen，“channelparameterestimationinmobileradioenvironmentsusingthesagealgorithm，”ieeej.selectedareasincommunications，vol.17，no.3，pp.434-449，mar.1999.

非专利文献3：y.pati，r.rezaiifar，p.krishnaprasad，“orthogonalmatchingpursuit：recursivefunctionapproximationwithapplicationtowaveletdecomposition”，inasilomarconf.onsignals，systemsandcomput.，1993.

技术实现要素：

发明要解决的技术课题

若通过如上述的图像滤波处理所使用的滤波器的种类及数量增加，则滤波器整体的数据量显著地增大，因此需要确保庞大的存储区域(rom：readonlymemory)。

即，通过图像滤波处理所使用的滤波器根据多个条件而被确定时，必要的滤波器的数据量以指数函数的比例增加。这是因为例如摄影光学系统的点扩散函数根据光圈值(f值)、变焦值(焦点距离)、被摄体距离、聚焦位置、光学系统类型、成像元件的传感器sn比(signat-noiseratio)、像高(图像内位置)及光学系统个体差等摄影条件而发生变化。然而，若对于各摄影条件的所有组合准备特有的滤波器，则这些滤波器所需的整个数据量变得庞大。

尤其优选的是，点扩散函数根据光学系统的像高而变动且根据以光轴为中心的位角连续发生变化，因此制作基于点扩散函数的滤波器时，理想的是关于光学系统的所有位置测量点扩散函数并设计滤波器而进行保持。然而，在光学系统的所有位置的每一个位置设计最佳化的滤波器而进行保持的情况下，不仅需要大量的运算量，还需要用于保持滤波器的庞大的存储容量。将具有这种较大的存储容量的存储器配置于有限的空间时，需要准备小型且大容量的昂贵的存储器，因此，从实际构建图像处理系统的观点考虑，预先准备且存储与光学系统的所有位置对应的滤波器并不一定优选。

专利文献1中公开有，制作对基于有意地产生的球面像差而引起的点扩散进行恢复的滤波器，并使用该滤波器来改善mtf，但完全没有提及随着滤波器数量的增加而导致的上述弊端及用于解决这种弊端的方法。

并且，在专利文献2中所记载的摄像装置中，通过只关于代表像素位置直接计算点扩散函数来减轻点扩散函数的计算负载。然而，如上所述，点扩散函数根据像素位置以外的f值或焦点距离等多个条件而发生变化，因此即使仅为代表像素位置，关于这些多个条件的所有组合保持最佳化的滤波器仍然需要庞大的存储容量。并且，在专利文献2的摄像装置中，与非代表像素位置有关的点扩散函数通过插值来推定，因此无法保证通过该所推定的点扩散函数而适当地实现与非代表像素位置有关的实际的点扩散函数。

并且，考虑到特定的各向异性或频率特性的图像滤波处理中，导致所需的滤波器的图形数量增加。进而根据像素位置改变所使用的滤波器(滤波器系数)时，滤波器的数据量根据处理对象的图像的像素数而增加。

并且，在使用多个滤波器的图像滤波处理中，存在用于确定滤波器系数的计算量增大的问题。例如，以抽头数量受限制的fir(finiteimpulseresponse)滤波器来实现图像滤波处理所使用的滤波器时，分配到各抽头的滤波器系数的运算所需的计算量增加。

例如，在根据点扩散函数生成滤波器的情况下，能够由将点扩散函数(psf)进行博立叶变换而获得的光学传递函数(otf：opticaltransferfunction)计算维纳(wiener)滤波器。当滤波器的抽头数量没有限制时，能够通过具有任意的抽头数量的滤波器实现通过该维纳滤波器的博立叶逆变换而获得的所希望的频率特性。

然而，若实际可使用的硬件受限制，则滤波器的抽头数量也受限制。并且，在滤波器的抽头数量受限制的条件下，计算具有所希望的频率特性的抽头系数时，需要解决非线性优化问题，因此需要非常多的计算量。

因此，在获取点扩散函数等的像劣化特性之后立即进行图像滤波处理时，为了计算实际所使用的抽头系数而需要确保大量的计算资源。然而，从实际构建图像处理系统的观点考虑，事先确保这种计算资源并不一定优选。

本发明是鉴于上述情况而完成的，其目的在于提供一种能够兼顾高精度的滤波处理和所需的存储容量的降低化的图像处理方法。

用于解决技术课题的手段

本发明的一形态涉及一种图像处理装置，其具备滤波处理部，所述滤波处理部通过对原图像数据进行包括多次滤波处理的图像滤波处理来获取处理图像数据，滤波处理部在多次滤波处理的每一次处理中，对处理对象数据应用滤波器而获取滤波器应用处理数据，并对滤波器应用处理数据应用增益而获取增益应用处理数据，且由增益应用处理数据获取滤波处理数据，在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益根据按照原图像数据的像素位置而确定的图像滤波处理的作为目标的频率特性而获取。

根据本形态，多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益根据图像滤波处理的作为目标的频率特性来获取，该作为目标的频率特性根据原图像数据中的像素位置来确定。通过以这样的方式进行增益调整，可减少各滤波处理中应用于处理对象数据的滤波器的数据量，同时可进行与像素位置相应的高精度的滤波处理。

另外，“频率特性”为与频率相关的特性，且表示处理后的图像数据的每频率成分的振幅与处理前的图像数据的每频率成分的振幅的比(＝处理后的图像数据的每频率成分的振幅/处理前的图像数据的每频率成分的振幅)，并表示与频率对应的响应。

优选图像滤波处理的作为目标的频率特性是基于光学特性的频率特性。

根据本形态，能够根据光学特性进行图像滤波处理。

作为在此所说的“光学特性”优选为了摄影获取成为图像滤波处理的对象的原图像数据而使用的摄影光学系统的光学特性。例如，能够将基于点扩散函数psf或光学传递函数otf(包括mtf：modulationtransferfunction及ptf：phasetransferfunction)的特性设为“光学特性”，并且可通过使用利用了维纳滤波器等的任意基准的反向滤波器(inversefilter)设计方法来表示“图像滤波处理的作为目标的频率特性”。

优选图像处理装置还具备增益候补数据存储部及增益确定部，所述增益候补数据存储部存储将在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益的候补数据与像素位置建立关联的增益表信息，所述增益确定部参考增益表信息将与像素滤波处理的作为目标的频率特性对应的像素位置建立关联的候补数据作为在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益而确定，滤波处理部在多次滤波处理的每一次处理中将增益确定部所确定的增益应用于滤波器应用处理数据来获取增益应用处理数据。

根据本形态，能够从增益的候补数据中简单地确定应用于滤波器应用处理数据的增益。

另外，“增益表信息”的形式只要是将增益的候补数据与像素位置适当地建立关联的形式，则并无特别限定。例如，图像滤波处理的作为目标的频率特性为基于点扩散函数的情况下，可将增益的候补数据与可影响该点扩散函数的因素(例如光圈值(f值)、变焦值(焦点距离)、被摄体距离、聚焦位置、光学系统类别、成像元件的传感器sn比、像高(像素位置)及光学系统个体差等)建立关联。

优选滤波处理部按原图像数据的每一个像素进行多次滤波处理，增益确定部获取表示成为多次滤波处理的对象的原图像数据的像素位置的处理像素信息，将与处理像素信息所表示的像素位置建立有关联的候补数据作为在多次滤波处理的每一次处理中应用于滤波应用处理数据的增益而确定。

根据本形态，根据处理像素信息能够从候补数据中简单地确定在多次滤波处理中使用的增益。

优选的是，增益通过对图像滤波处理的作为目标的频率特性根据多次滤波处理的各频率特性以最小二乘法来拟合图像滤波处理的频率特性而获取。

根据本形态，能够根据最小二乘法高精度地获取用于实现图像滤波处理的作为目标的频率特性的增益。

优选在最小二乘法中根据频率进行加权。

尤其，优选在最小二乘法中频率特性的近似误差评价函数根据频率进行加权。在此所说的近似误差评价函数为表示近似程度(即误差程度)的评价的函数，例如能够使用后述的“基于加权最小二乘准则的类函数(jlms[g])”作为近似误差评价函数。根据本形态，通过增加受到重视的频带的权重，并减小未受到重视的频带的权重，从而能够高精度地获取对应于实际要求的增益。

优选在最小二乘法中将低频带中的加权设定为大于高频带中的加权。

根据本形态，能够获取高精度地实现图像滤波处理的作为目标的频率特性中尤其低频带中的频率特性的增益。在人类的视觉特性方面，低频成分比高频成分更容易被感知，因此增大低频带的加权来获取增益，从而能够通过图像滤波处理生成可见性优异的处理图像数据。

在此所说的“低频带”优选根据实际所要求的画质特性而确定，例如，能够在采样频率的1/4(＝0.25fs＝奈奎斯特频率的1/2)以下的范围内设定“低频带”。

优选在最小二乘法中根据获取原图像数据时的摄影条件将高频带中的加权设定为大于低频带中的加权。

根据本形态，根据获取原图像数据时的摄影条件，能够获取高精度地实现图像滤波处理的作为目标的频率特性中尤其高频带中的频率特性的增益。通常，高频带中的mtf劣化较大而摄像系统的噪声较多时，有时噪声因图像滤波处理而被放大且画质恶化。因此在预计高频带中sn比较差的摄影条件下所获取的原图像数据的图像滤波处理中，有时优选作为“近似于图像滤波处理的作为目标的频率特性”的精度，使高频成分优先于低频成分。

在此所说的“高频带”优选根据实际要求的画质特性来确定，并能够根据所设想的噪声的频率特性，例如在大于采样频率的1/4(＝0.25fs)且1/2(＝0.5fs)以下的范围内设定“高频带”。

并且，“获取原图像数据时的摄影条件”根据可影响噪声的任意因素来确定。例如，可将选自获取原图像数据时所使用的摄影光学系统的设定条件或被摄体本身的状态条件(场景条件)等中的1个或多个条件设为“获取原图像数据时的摄影条件”。

优选最小二乘法中的加权根据原图像数据中的像素位置来确定。

根据本形态，能够根据原图像数据中的像素位置来改变最小二乘法中的加权，并能够进行与像素位置相应的图像滤波处理。例如在要求清晰的画质的像素位置中可将高频带的加权设为大于低频带的加权，在要求可见性优异的画质的像素位置中可将低频带的加权设为大于高频带的加权。

优选的是，在最小二乘法中，在原图像数据的距离图像中心为第1距离以下的像素位置，高频带中的加权大于原图像数据的距离图像中心比第1距离远的像素位置。

根据本形态，能够获取与图像周边部相比在图像中央部中高频成分的再现性优异的增益。本形态可适当地应用于例如在图像中央部配置主要被摄体的情况等，在图像中央部要求清晰度的情况。

在此所说的“第1距离”并无特别限定，可根据重视高频带的图像范围而适当地设定。

优选的是，在最小二乘法中，在原图像数据的距离图像中心比第2距离更远的像素位置，低频带中的加权大于原图像数据的距离图像中心为第2距离以下的像素位置。

根据本形态，能够获取相较于图像中央部在图像周边部低频成分的再现性优异的增益。本形态可优选适用于例如在图像周边部可配置观察对象的被摄体的情况等、在图像周边部要求优异的可见性的情况。

在此所说的“第2距离”并无特别限定，可根据重视低频带的图像范围而适当地设定。

优选的是，滤波处理部在图像滤波处理的作为目标的频率特性中处理图像数据相对于原图像数据的比例小于1的频率中，在多次滤波处理的每一次处理中，使用使滤波处理数据与处理对象数据相等的滤波器。

若使用值过小的数据进行图像滤波处理，则处理后的数据中不仅容易混入噪声，而且有时这种噪声被放大，结果有时导致画质劣化。根据本形态，通过使用将滤波处理数据设为与处理对象数据相等的滤波器，能够有效地防止这种噪声混入及噪声放大。

优选的是，滤波处理部在多次滤波处理中的至少任一次滤波处理中，使用根据通过拍摄获取原图像数据时所使用的光学系统的特性而确定的滤波器来获取滤波器应用处理数据。

根据本形态，至少进行一次基于光学系统的特性的滤波处理。

优选的是，根据光学系统的特性确定的滤波器为根据光学系统的点扩散函数确定的滤波器。

根据本形态，至少进行一次基于光学系统的点扩散函数的滤波处理。

优选的是，滤波处理部在多次滤波处理中的至少任一次的滤波处理中，利用与通过摄影获取原图像数据时所使用的光学系统的特性无关地被确定的滤波器来获取滤波器应用处理数据。

根据本形态，至少进行一次与光学系统的特性无关的滤波处理。

优选的是，与光学系统的特性无关地被确定的滤波器是轮廓增强滤波器。

根据本形态，至少进行一次与轮廓增强(边缘增强)相关的滤波处理。另外，轮廓增强滤波器可具有对应于处理对象数据中的像素位置的频率特性，也可以具有不依赖于处理对象数据中的像素位置的共同的频率特性。

优选的是，多次滤波处理至少包括第1滤波处理及第2滤波处理，滤波处理部将在第1滤波处理中所获取的滤波处理数据用作第2滤波处理中的处理对象数据。

根据本形态，连续地进行第1滤波处理及第2滤波处理。

优选的是，多次滤波处理至少包括第1滤波处理及第2滤波处理，滤波处理部在第1滤波处理及第2滤波处理中将相同的数据用作处理对象数据，根据在第1滤波处理中所获取的滤波处理数据和在第2滤波处理中所获取的滤波处理数据来获取处理图像数据。

根据本形态，可并行地进行第1滤波处理及第2滤波处理。

优选的是，多次滤波处理至少包括第1滤波处理及第2滤波处理，滤波处理部具有：第1滤波器应用部，对第1滤波处理的处理对象数据应用第1滤波处理用的滤波器并获取滤波器应用处理数据；第1增益应用部，对第1滤波处理的滤波器应用处理数据应用第1滤波处理用增益并获取增益应用处理数据；第2滤波器应用部，对第2滤波处理的处理对象数据应用第2滤波处理用滤波器并获取滤波器应用处理数据；及第2增益应用部，对第2滤波处理的滤波器应用处理数据应用第2滤波处理用增益并获取增益应用处理数据。

根据本形态，通过“滤波器应用部(第1滤波器应用部及第2滤波器应用部)”及“增益应用部(第1增益应用部及第2增益应用部)”来进行第1滤波处理及第2滤波处理，处理流程变得简单。

优选的是，多次滤波处理至少包括第1滤波处理及第2滤波处理，滤波处理部具有：滤波器应用部，对处理对象数据应用滤波器来获取滤波器应用处理数据；及增益应用部，对滤波器应用处理数据应用增益来获取增益应用处理数据，滤波器应用部在第1滤波处理中使用第1滤波处理用滤波器来获取滤波器应用处理数据，且在第2滤波处理中使用第2滤波处理用滤波器来获取滤波器应用处理数据，增益应用部在第1滤波处理中使用第1滤波处理用增益来获取增益应用处理数据，且在第2滤波处理中使用第2滤波处理用增益来获取增益应用处理数据。

根据本形态，通过相同的“滤波器应用部”及“增益应用部”来进行第1滤波处理及第2滤波处理，从而硬件结构(电路结构)变得简单。

优选的是，多次滤波处理至少包括第1滤波处理及第2滤波处理，滤波处理部在第1滤波处理中使用根据图像滤波处理的多种频率特性的平均而确定的基准滤波器来获取滤波器应用处理数据，且在第2滤波处理中使用根据图像滤波处理的多种频率特性的方差而确定的方差滤波器来获取滤波器应用处理数据。

根据本形态，由于使用根据图像滤波处理的多种频率特性的平均及方差而确定的基准滤波器及方差滤波器，因此能够平均地高精度地进行欲应用的图像滤波处理。

另外，方差滤波器只要直接或间接地与图像滤波处理的多种频率特性的方差相应即可，例如可根据由方差导出的标准偏差而确定方差滤波器，也可除了方差之外根据其他因素(例如平均等)而确定方差滤波器。

本发明的其他形态涉及一种图像处理装置，其具备通过对原图像数据进行包括多次滤波处理的图像滤波处理来获取处理图像数据的滤波处理部，多次滤波处理至少包括第1滤波处理及第2滤波处理，滤波处理部在多次滤波处理的每一次处理中对处理对象数据应用滤波器来获取滤波器应用处理数据，并对滤波器应用处理数据应用增益来获取增益应用处理数据，从增益应用处理数据获取滤波处理数据，在第1滤波处理中，使用根据频率特性的平均而确定的基准滤波器来获取滤波器应用处理数据，所述频率特性为多种图像滤波处理的频率特性且为根据原图像数据中的像素位置而确定的多种图像滤波处理的频率特性，在第2滤波处理中，使用根据频率特性的方差而确定的方差滤波器来获取滤波器应用处理数据，所述频率特性为多种图像滤波处理的频率特性且为根据原图像数据中的像素位置而确定的多种图像滤波处理的频率特性，在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益根据原图像数据中的像素位置而确定。

根据本形态，在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益根据原图像数据中的像素位置而确定。通过以这种方式进行增益调整，能够通过简单的运算处理高精度地实现根据与像素位置相对应的光学系统的光学特性而确定的所希望的图像滤波处理。并且，由于使用与根据像素位置而确定的多种图像滤波处理的频率特性的平均及方差相对应的基准滤波器及方差滤波器，因此能够平均地高精度地进行图像滤波处理。

优选的是，关于增益表信息，将特有的候补数据与多个代表性像素位置建立关联，并将与多个代表性像素位置中的1个以上的像素位置建立有关联的候补数据与多个代表性像素位置以外的像素位置建立关联。

根据本形态，关于多个代表性像素位置以外的像素位置与增益的候补数据建立关联，所述增益的候补数据与代表性像素位置建立有关联。因此，能够降低增益表信息中的“像素位置与增益的候补数据的关联数据”的数据量。

另外，“与多个代表性像素位置中的1个以上的像素位置建立关联的候补数据”可与“多个代表性像素位置以外的像素位置”直接建立关联，也可间接建立关联。因此，增益表信息例如通过将“多个代表性像素位置中的1个以上的像素位置”与“多个代表性像素位置以外的像素位置”直接建立关联，由此可将“与多个代表性像素位置中的1个以上的像素位置建立关联的候补数据”与“多个代表性像素位置以外的像素位置”间接建立关联。

优选的是，滤波处理部对处理对象数据应用多种滤波器来获取多个滤波器应用处理数据，增益表信息将多个候补数据与多个代表性像素位置的每一个位置建立关联，与多个代表性像素位置的每一个位置建立关联的多个候补数据分别作为应用于多个滤波器应用处理数据的增益而通过增益确定部来确定。

根据本形态，关于多个代表性像素位置的每一个位置，使用多个增益来高精度地获取增益应用处理数据。

优选的是，多种滤波器包括：基准滤波器，根据基于多个代表性像素位置而确定的多个座位目标的频率特性的平均而确定；及方差滤波器，根据多个作为目标的频率特性的方差而确定。

根据本形态，通过使用基准滤波器及方差滤波器，关于多个代表性像素位置能够平均地高精度地进行图像滤波处理。

优选的是，滤波处理部包括：滤波器应用块，对处理对象数据应用多种滤波器来获取多个滤波器应用处理数据；增益应用块，对多个滤波器应用处理数据应用增益来获取增益应用处理数据，并从增益应用处理数据获取滤波处理数据；及处理数据获取部，获取处理图像数据，增益应用块包括多个增益块，通过滤波器应用块和多个增益块的每一个增益块进行多次滤波处理，多个增益块的每一个增益块对多个滤波器应用处理数据应用增益来获取多个增益应用处理数据，并从多个增益应用处理数据获取多个滤波处理数据，从多个滤波处理数据获取块处理数据，处理数据获取部根据在多个增益块中所获取的块处理数据获取处理图像数据。

根据本形态，能够通过滤波器应用块和多个增益块的每一个增益块高精度地进行多次滤波处理。

优选的是，多个增益块至少包括第1增益块及第2增益块，第1增益块及第2增益块的每一个增益块对多个滤波器应用处理数据的每一个数据应用增益，处理数据获取部根据在第1增益块中所获取的块处理数据和在第2增益块中所获取的块处理数据获取处理图像数据，滤波处理部对多个代表性像素位置以外的像素位置进行多次滤波处理时，增益确定部将与多个代表性像素位置以外的像素位置建立有关联的候补数据中与第1代表性像素位置建立关联的候补数据作为在第1增益块中所使用的增益而确定，将与第2代表性像素位置建立关联的候补数据作为在第2增益块中所使用的增益而确定。

根据本形态，关于代表性像素位置以外的像素位置，与第1代表性像素位置建立关联的候补数据及与第2代表性像素位置建立关联的候补数据作为在增益块中所使用的增益而被确定。

优选的是，处理数据获取部通过在多个增益块中所获取的块处理数据的加权运算获取处理图像数据。

根据本形态，通过加权运算能够高精度地获取处理图像数据。

优选的是，处理数据获取部根据像素位置确定分配到在多个增益块中所获取的块处理数据的每一个数据的加权系数，并通过将加权系数应用于块处理数据的加权运算获取处理图像数据。

根据本形态，通过使用根据像素位置而确定的加权系数来进行加权运算，能够高精度地获取处理图像数据。

本发明的其他形态涉及一种图像处理方法，所述方法通过对原图像数据进行包括多次滤波处理的图像滤波处理来获取处理图像数据，所述方法中，在多次滤波处理的每一次处理中，对处理对象数据应用滤波器来获取滤波器应用处理数据，且对滤波器应用处理数据应用增益来获取增益应用处理数据，并从增益应用处理数据获取滤波处理数据，在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益根据频率特性来获取，所述频率特性为根据原图像数据中的像素位置而确定的图像滤波处理的作为目标的频率特性。

本发明的其他形态涉及一种图像处理方法，所述方法通过对原图像数据进行包括多次滤波处理的图像滤波处理来获取处理图像数据，所述方法中，多次滤波处理至少包括第1滤波处理及第2滤波处理，在多次滤波处理的每一次处理中，对处理对象数据应用滤波器来获取滤波器应用处理数据，且对该滤波器应用处理数据应用增益来获取增益应用处理数据，并从该增益应用处理数据获取滤波处理数据，在第1滤波处理中，使用根据频率特性的平均而确定的基准滤波器来获取滤波器应用处理数据，所述频率特性为多种图像滤波处理的频率特性且为根据原图像数据中的像素位置而确定的多种图像滤波处理的频率特性，在第2滤波处理中，使用根据频率特性的方差而确定的方差滤波器来获取滤波器应用处理数据，所述频率特性为多种图像滤波处理的频率特性且为根据原图像数据中的像素位置而确定的多种图像滤波处理的频率特性，在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益是根据原图像数据中的像素位置而确定。

本发明的其他形态涉及一种程序，其用于使计算机实现通过对原图像数据进行包括多次滤波处理的图像滤波处理来获取处理图像数据的功能，所述程序中，在多次滤波处理的每一次处理中，使计算机执行以下步骤：对处理对象数据应用滤波器来获取滤波器应用处理数据的步骤；对滤波器应用处理数据应用增益来获取增益应用处理数据的步骤；及从增益应用处理数据获取滤波处理数据的步骤，在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益根据频率特性来获取，所述频率特性为根据原图像数据中的像素位置而确定的图像滤波处理的作为目标的频率特性。

本发明的其他形态涉及一种程序，其用于使计算机实现通过对原图像数据进行包括多次滤波处理的图像滤波处理来获取处理图像数据的功能，所述程序中，多次滤波处理至少包括第1滤波处理及第2滤波处理，在多次滤波处理的每一次处理中，使计算机执行以下步骤：对处理对象数据应用滤波器来滤波器应用处理数据的步骤；对滤波器应用处理数据应用增益来获取增益应用处理数据的步骤；及从增益应用处理数据获取滤波处理数据的步骤，在第1滤波处理中，使计算机执行如下步骤：使用根据频率特性的平均而确定的基准滤波器来获取滤波器应用处理数据，所述频率特性为多种图像滤波处理的频率特性且为根据原图像数据中的像素位置而确定的多种图像滤波处理的频率特性，在第2滤波处理中，使计算机执行如下步骤：使用根据频率特性的方差而确定的方差滤波器来获取滤波器应用处理数据，所述频率特性为多种图像滤波处理的频率特性且为根据原图像数据中的像素位置而确定的多种图像滤波处理的频率特性，在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益根据原图像数据中的像素位置而确定。

本发明的其他形态涉及一种计算机可读取的记录介质，所述记录介质中记录有程序，所述程序用于使计算机实现通过对原图像数据进行包括多次滤波处理的图像滤波处理来获取处理图像数据的功能，所述程序中，在多次滤波处理的每一次处理中，使计算机执行如下步骤：对处理对象数据应用滤波器来获取滤波器应用处理数据的步骤；对滤波器应用处理数据应用增益来获取增益应用处理数据的步骤；及从增益应用处理数据获取滤波处理数据的步骤，在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益根据频率特性来获取，所述频率特性为根据原图像数据中的像素位置而确定的图像滤波处理的作为目标的频率特性。

本发明的其他形态涉及一种计算机可读取的记录介质，所述记录介质中记录有程序，所述程序用于使计算机实现通过对原图像数据进行包括多次滤波处理的图像滤波处理来获取处理图像数据的功能，所述程序中，多次滤波处理至少包括第1滤波处理及第2滤波处理，在多次滤波处理的每一次处理中，使计算机执行如下步骤：对处理对象数据应用滤波器来获取滤波器应用处理数据的步骤；对滤波器应用处理数据应用增益来获取增益应用处理数据的步骤；及从增益应用处理数据获取滤波处理数据的步骤，在第1滤波处理中，使计算机执行如下步骤：使用根据频率特性的平均而确定的基准滤波器来获取滤波器应用处理数据，所述频率特性为多种图像滤波处理的频率特性且为根据原图像数据中的像素位置而确定的多种图像滤波处理的频率特性，在第2滤波处理中，使计算机执行如下步骤：使用根据频率特性的方差而确定的方差滤波器来获取滤波器应用处理数据，所述频率特性为多种图像滤波处理的频率特性且为根据原图像数据中的像素位置而确定的多种图像滤波处理的频率特性，在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益根据原图像数据中的像素位置而确定。

发明效果

根据本发明，能够根据图像滤波处理的作为目标的频率特性获取在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益，该作为目标的频率特性能够根据原图像数据中的像素位置而确定。由此，能够减少在各滤波处理中应用于处理对象数据的滤波器的数据量，并且能够进行与像素位置对应的高精度的滤波处理。

附图说明

图1是表示与计算机连接的数码相机的框图。

图2是表示主体控制器的结构例的框图。

图3是表示图像处理部的功能结构的一例的框图。

图4是表示图像处理部的功能结构的其他例子的框图。

图5是表示图像处理部的功能结构的其他例子的框图。

图6是图像滤波处理的概念图。

图7是第n滤波处理(其中“n”为1以上且n以下的整数)的概念图。

图8是表示滤波处理部的电路结构的一例的图。

图9是表示滤波处理部的电路结构的其他例子的图。

图10是表示滤波处理部的电路结构的其他例子的图。

图11是表示滤波处理部的电路结构的其他例子的图。

图12是表示滤波处理部的电路结构的其他例子的图。

图13是表示代表像素位置与从增益输出部输出的增益相关的候补数据的关系的概念图。

图14是表示从位置坐标计算部输出的全局坐标数据及局部坐标数据与像素位置数据的关系的概念图。

图15是表示输入到加权系数确定部的局部坐标数据与从加权系数确定部输出的加权系数的关系的概念图。

图16为表示增益获取部的功能结构的一例的框图，并且表示与图3所示的图像处理部优选组合的增益获取部。

图17是表示图16所示的增益获取部的增益获取流程的流程图。

图18是表示增益获取部的功能结构的其他例子的框图，并表示与图4及图5所示的图像处理部优选组合的增益获取部。

图19是表示图18所示的频率分析部的频率特性获取流程的流程图。

图20是表示图18所示的增益获取部的增益获取流程的流程图。

图21是表示滤波器获取装置的功能结构的一例的框图。

图22是表示滤波器计算部的功能结构的一例的框图。

图23是以单峰型分布表示多种图像滤波处理的频率特性的偏差的概念图。

图24是以多峰型分布表示多种图像滤波处理的频率特性的偏差的概念图。

图25是概略表示可分类到单峰型分布的多种图像滤波处理的频率特性的一例的图，横轴表示频率，纵轴表示响应。

图26是概略表示图25所示的多种图像滤波处理的频率特性的方差的一例的图，横轴表示频率，纵轴表示方差。

图27(a)～图27(c)是概略表示根据图25所示的多种图像滤波处理的频率特性的平均及方差获取的基底滤波器(特征矢量)的一例的图，图27(a)表示“φ0”，图27(b)表示“φ1”，图27(c)表示“φ2”。

图28(a)～图28(b)表示与具有图10所示的电路结构的滤波处理部所进行的图像滤波处理(第1滤波处理～第3滤波处理)相关的频率特性(参考图28(a))及增益例(参考图28(b))。

图29是表示根据单峰型分布计算滤波器系数的滤波器计算部的功能结构的一例的框图。

图30是概略表示可分类到多峰型分布的图像滤波处理的频率特性的一例的图，横轴表示频率，纵轴表示响应。

图31是概略表示图30所示的多种图像滤波处理的频率特性的方差的一例的图，图31(a)表示分类到第1偏差分布的第1图像滤波处理～第3图像滤波处理的频率特性数据的方差，图31(b)表示分类到第2偏差分布的第4图像滤波处理～第6图像滤波处理的频率特性数据的方差。

图32(a)～图32(c)是概略表示根据分类到第1偏差分布的第1图像滤波处理～第3图像滤波处理的频率特性的平均及方差获取的基底滤波器(特征矢量)的一例的图，图32(a)表示“φ0”，图32(b)表示“φ1”，图32(c)表示“φ2”。

图33(a)～图33(c)是概略表示根据分类到第2偏差分布的第4图像滤波处理～第6图像滤波处理的频率特性的平均及方差获取的基底滤波器(特征矢量)的一例的图，图33(a)表示“φ0”，图33(b)表示“φ1”，图33(c)表示“φ2”。

图34(a)～图34(b)表示与具有图10所示的电路结构的滤波处理部所进行的图像滤波处理(第1滤波处理～第3滤波处理)相关的频率特性(参考图34(a))及增益例(参考图34(b))。

图35是表示根据多峰型分布计算滤波器系数的滤波器计算部的功能结构的一例的框图。

图36是通过滤波器组分类部分类到多个滤波器组的多种图像滤波处理(频率特性)的概念图。

图37是表示具备edof光学系统的摄像模块的一形态的框图。

图38是表示edof光学系统的一例的图。

图39是表示基于图37所示的复原处理块的复原处理流程的一例的图。

图40(a)～图40(b)是表示经由edof光学系统而获取的图像的复原例的图，图40(a)表示复原处理前的模糊的图像，图40(b)表示复原处理后的模糊已被消除的图像(点像)。

图41是表示智能手机的外观的图。

图42是表示图41所示的智能手机的结构的框图。

具体实施方式

参考附图对本发明的实施方式进行说明。在以下的实施方式中，作为一例，对将本发明应用于可与计算机(pc：个人计算机)连接的数码相机(摄像装置)的情况进行说明。

图1是表示连接于计算机92的数码相机10的框图。

本例的数码相机10具有可替换的透镜单元11及具备成像元件24的相机主体12，透镜单元11与相机主体12经由透镜单元11的透镜单元输入输出部20和相机主体12的相机主体输入输出部28而电性连接。

透镜单元11具备包括透镜14和光圈15的光学系统及控制该光学系统的光学系统操作部17。光学系统操作部17包括连接于透镜单元输入输出部20的透镜单元控制器18、存储光学系统信息等各种信息的透镜单元存储部19及对光学系统进行操作的致动器(省略图示)。透镜单元控制器18根据从相机主体12经由透镜单元输入输出部20发送过来的控制信号，并经由致动器控制光学系统，进行例如基于透镜移动的聚焦控制或变焦控制及光圈15的光圈量控制等。并且，透镜单元控制器18根据从相机主体12经由透镜单元输入输出部20发送过来的控制信号，读出存储于透镜单元存储部19的各种信息而发送到相机主体12(主体控制器25)。

相机主体12的成像元件24具有聚光用微型透镜、r(红)g(绿)b(蓝)等的滤色器及由cmos(complementarymetaloxidesemiconductor)或ccd(chargecoupleddevice)等构成的图像传感器(光电二极管)。该成像元件24将经由透镜单元11的光学系统(透镜14及光圈15等)照射的被摄体像的光转换为电信号，并将图像信号(图像数据)发送到主体控制器25。

关于主体控制器25，其详细内容将在后面进行叙述(参考图2)，其具有作为设备控制部的功能及作为图像处理部(图像处理装置)的功能，所述设备控制部集中地控制数码相机10的各部，所述图像处理部进行从成像元件24发送过来的图像数据的图像处理。

数码相机10还具备进行拍摄等时所需的其他设备类(释放按钮等)，这些设备类的一部分构成可通过用户进行确认及操作的用户界面26。图1所示的例子中，在相机主体12设置有用户界面26，但用户界面26可配置于透镜单元11和/或相机主体12。用户能够经由用户界面26进行用于摄影等的各种设定(ev值(exposurevalue)等)的确定及变更、摄影命令及实时预览图像和摄影图像的确认等。用户界面26连接于主体控制器25，由用户确定并变更的各种设定及各种命令被反映到主体控制器25中的各种处理。另外，用户可经由用户界面26所包括的显示部27(evf：electronicviewfinder、背面液晶显示部)中的显示而被引导，并且提示进行拍摄。

在主体控制器25中经图像处理的图像数据存储于设置在相机主体12的主体存储部29，根据需要，经由输入输出接口30发送到计算机92等外部设备类。主体存储部29由任意的存储器设备构成，可优选使用存储器卡等可更换的存储器。从主体控制器25输出的图像数据的格式并无特别限定，主体控制器25能够生成并输出具有raw、jpeg(jointphotographicexpertsgroup)和/或tiff(taggedimagefileformat)等格式的图像数据。并且，主体控制器25如所谓的exif(exchangeableimagefileformat)那样，将标题信息(摄影信息(摄影日期和时间、机种、像素数、光圈值等)等)、主图像数据及缩略图图像数据等多个关联数据彼此建立关联而构成为一个图像文件，并可输出其图像文件。

计算机92经由相机主体12的输入输出接口30及计算机输入输出部93而与数码相机10连接，并接收从相机主体12发送过来的图像数据等数据类。计算机控制器94集中地控制计算机92，对来自数码相机10的图像数据进行图像处理，并且控制与经由互联网等网络96而连接于计算机输入输出部93的服务器97等的通信。计算机92具有显示器95，计算机控制器94中的处理内容等根据需要而显示于显示器95。用户通过一边确认显示器95的显示一边对键盘等输入机构(省略图示)进行操作，能够对计算机控制器94输入数据或指令。由此，用户能够对计算机92或连接于计算机92的设备类(数码相机10及服务器97等)进行控制。

服务器97具有服务器输入输出部98及服务器控制器99。服务器输入输出部98构成与计算机92等的外部设备类的收发连接部，并经由互联网等网络96而与计算机92的计算机输入输出部93连接。服务器控制器99根据来自计算机92的控制命令信号，与计算机控制器94协作，根据需要在与计算机控制器94之间进行数据类的收发，进行运算处理并将其运算结果发送到计算机92。

各控制器(透镜单元控制器18、主体控制器25、计算机控制器94及服务器控制器99)具有控制处理所需的电路类，例如具备运算处理电路(cpu(centralprocessingunit)等)或存储器等。并且，数码相机10、计算机92及服务器97之间的通信既可以是有限通信，也可以是无线通信。并且，也可一体构成计算机92及服务器97，并且也可省略计算机92和/或服务器97。并且，也可以是，使数码相机10具有与服务器97的通信功能，并在数码相机10与服务器97之间直接进行数据类的收发。

图2是表示主体控制器25的结构例的框图。主体控制器25具有设备控制部34和图像处理部(图像处理装置)35，并且集中地控制相机主体12。

设备控制部34适当地控制数码相机10所具备的各种设备类，例如控制成像元件24来控制来自成像元件24的图像信号(图像数据)的输出，生成用于控制透镜单元11的控制信号并经由相机主体输入输出部28发送到透镜单元11(透镜单元控制器18)，将图像处理前后的图像数据(raw数据及jpeg数据等)存储于主体存储部29，并对经由输入输出接口30而连接的外部设备类(计算机92等)发送图像处理前后的图像数据(raw数据及jpeg数据等)。并且，设备控制部34包括对显示部27进行控制的显示控制部36，该显示控制部36可与图像处理部35协作而将引导用户的摄影操作的指南显示于显示部27。

另一方面，图像处理部35对从成像元件24输出的图像信号进行对应于需要而进行任意的图像处理。例如，在图像处理部35中能够适当地进行传感器校正处理、去马赛克(同步化)处理、像素插值处理、颜色校正处理(偏移校正处理、白平衡处理、颜色矩阵处理及伽马转换处理等)、rgb图像处理(锐度处理、色调校正处理、曝光校正处理及轮廓校正处理等)、rgb/ycrcb转换处理及图像压缩处理等各种图像处理。

图3是表示图像处理部35的功能结构的一例的框图。

图像处理部35具备通过对原图像数据d1进行包括多次滤波处理的图像滤波处理来获取处理图像数据d2的滤波处理部41。并且，本例的图像处理部35除了滤波处理部41之外还具备增益确定部43、增益候补数据存储部44、预处理部40及后处理部42。

滤波处理部41在多次滤波处理的每一次处理中，对处理对象数据应用滤波器来获取滤波器应用处理数据，且对该滤波器应用处理数据利用增益来获取增益应用处理数据，并从该增益应用处理数据获取滤波处理数据。

增益候补数据存储部44存储“增益表信息”，所述增益表信息是将在滤波处理部41中的多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益的候补数据与像素位置(光学系统的位置)建立关联而得。本例的增益表信息将增益的候补数据与光学系统的种类及像素位置(光学系统的位置)建立关联。包括增益的候补数据的该增益表信息通过增益获取部45根据光学系统的种类及像素位置(光学系统的位置)而预先获取并存储于增益候补数据存储部44。针对与光学系统的种类及像素位置相对应的增益(候补数据)的获取方法的具体例将在后面进行叙述。

增益确定部43参考存储于增益候补数据存储部44的增益表信息，将与作为目标的频率特性相对应的像素位置(光学系统的位置)建立关联的候补数据作为在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益而确定，并发送到滤波处理部41。本例的增益确定部43获取在获取成为图像滤波处理p的对象的原图像数据d1时所使用的光学系统的种类及处理对象数据的像素位置(光学系统的位置)的信息，并从增益候补数据存储部44读出与该光学系统的种类及像素位置(光学系统的位置)建立有对应关联的增益的候补数据，作为应用于滤波器应用处理数据的增益发送到滤波处理部41。另外，基于增益确定部43的光学系统的种类及像素位置信息的获取方法并无特别限定，增益确定部43例如可从主体控制器25的未图示的存储器所保持的透镜单元11的信息及摄影条件信息获取光学系统的种类及像素位置(光学系统的位置)的信息。

滤波处理部41在多次滤波处理的每一次处理中，将增益确定部43所确定的增益应用于滤波器应用处理数据来获取增益应用处理数据。

图像处理部35中，还可进行上述图像滤波处理以外的图像处理。图像滤波处理以外的各种图像处理既可在设置于滤波处理部41的前级的预处理部40中进行，也可在设置于滤波处理部41的后级的后处理部42中进行。即，将接受在预处理部40中进行的各种图像处理而得到的数据作为原图像数据d1进行滤波处理部41中的图像滤波处理，并且，在后处理部42对接受滤波处理部41中的图像滤波处理而得到的处理图像数据d2进行各种图像处理。

此外，在本例中，将从预处理部40输入到滤波处理部41的图像数据称为“原图像数据d1”，将从滤波处理部41输出到后处理部42的图像数据称为“处理图像数据d2”

图4是表示图像处理部35的功能结构的其他例子的框图。

在图3所示的例子中，参考预先存储于增益候补数据存储部44的增益表信息获取在滤波处理中所使用的增益，但在图4所示的例子中，不预先获取且存储增益表信息(增益的候补数据)，而执行滤波处理并获取增益。即，在图4所示的例子中，增益获取部45与滤波处理部41连接，在滤波处理部41中进行的多次滤波处理所使用的增益从增益获取部45被直接供给到滤波处理部41。增益获取部45获取表示光学特性的数据，所述光学特性为获取原图像数据d1时所使用的光学系统的光学特性，且为与处理对象数据的像素位置(光学系统的位置)相对应的光学特性，并根据表示该光学特性的数据确定图像滤波处理的作为目标的频率特性，根据所确定的该“图像滤波处理的作为目标的频率特性”获取在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益，并将该获取到的增益供给到滤波处理部41。

另外，作为表示在此所说的“获取原图像数据d1时所使用的光学系统的光学特性”的数据，例如可使用表示拍摄获取原图像数据d1时所使用的透镜单元11(光学系统的一侧)的种类的数据(例如型号等)。并且所谓“表示与处理对象数据的像素位置(光学系统的位置)相对应的光学特性的数据”例如可以是以各像素的单位确定的光学特性数据，也可以是以由多个像素构成的块的单位确定的光学特性数据。基于增益获取部45的这些数据的获取方法并无特别限定，增益获取部45例如可从主体控制器25的未图示的存储器所保持的透镜单元11的信息及摄影条件信息获取光学系统的种类及像素位置(光学系统的位置)的信息。

该增益获取部45可如图4所示那样作为图像处理部35的一部分而设置，也可如图5所示那样作为与图像处理部35分体的处理部而设置。

另外，在图4及图5所示的例子中，上述图像滤波处理以外的图像处理可在设置于滤波处理部41的前级的预处理部40进行，也可在设置于滤波处理部41的后级的后处理部42进行。

接着，对在滤波处理部41中进行的图像滤波处理(多次滤波处理)的具体例进行说明。

若光学系统(透镜等)的光学特性无论位置如何都相同，则关于处理对象的图像数据的所有像素位置，能够使用从该光学特性导出的共用的滤波器。然而，实际的光学系统根据位置其光学特性发生变动，例如与中央部分相比，在周边部分具有像差变大的倾向。因此，理想的是，优选使用最适合光学系统的各位置中的光学特性的滤波器进行最适合每个像素的滤波处理。进行这种理想的滤波处理时，需要准备最适合光学系统的每个位置(每像素位置)的滤波器(抽头系数)，但存在多个可影响光学系统的光学特性的因素时，应准备的滤波器的数量及数据量变得庞大。例如，进行基于点扩散函数的滤波处理时，点扩散函数根据f值、变焦值、被摄体距离、聚焦位置、光学系统类别、成像元件24的传感器sn比、像高(图像内位置)及光学系统个体差等摄影条件可发生变动，理想的是，需要准备与这些摄影条件的所有组合对应的滤波器(抽头系数)。

为了防止这种图像滤波处理所需的数据量的庞大化，在以下的实施方式中，应用多次滤波处理，根据像素位置调整在各滤波处理中使用的增益，由此实现适合于处理对象的原图像数据的各像素位置的图像滤波处理，从而可代替保持与所有像素位置对应的滤波器。由此，关于原图像数据的各像素位置，能够进行平均良好的图像滤波处理。并且，当利用如专利文献2所公开的以往的插值技术时，为了提高图像滤波处理的精度，需要研究插值间隔和插值方法，但在利用以下所示的图像滤波处理时，只要增加使用滤波器的数量(滤波器应用处理的数量)就能够简单地提高图像滤波处理的精度。

图6是图像滤波处理p的概念图。本例的图像滤波处理p包括多次滤波处理(第1滤波处理f1～第n滤波处理fn(其中“n”为2以上的整数))。通过该“包括多次滤波处理的图像滤波处理p”，由原图像数据d1生成处理图像数据d2。

图7是第n滤波处理fn(其中“n”为1以上且n以下的整数)的概念图。图像滤波处理p的各滤波处理(第n滤波处理fn)包括滤波器应用处理pf及增益应用处理pg。滤波器应用处理pf为对处理对象数据d3应用滤波器来获取滤波器应用处理数据d4的处理，增益应用处理pg为对滤波器应用处理数据d4应用增益来获取增益应用处理数据d5的处理。

在通过滤波处理部41进行的图像滤波处理p所包括的多次滤波处理(第1滤波处理f1～第n滤波处理fn)的每一次处理中，滤波器应用处理pf中应用于处理对象数据d3的滤波器并无特别限定。

例如，在滤波器应用处理pf中所使用的滤波器可根据光学系统的光学特性而确定，作为用作滤波器的基础的该“光学系统的光学特性”能够适当地使用光学系统的“点扩散函数”。通过根据光学系统的光学特性来确定滤波器，能够高精度地进行受到光学系统的光学特性的影响的原图像数据d1的图像滤波处理p(滤波处理)，例如能够通过使用根据点扩散函数设计的滤波器进行减少点扩散现象的影响的图像滤波处理p(滤波处理)。

另外，“根据光学系统的光学特性而确定的滤波器”并不限于根据点扩散函数而确定的滤波器，可将轮廓增强滤波器或其他滤波器用作“根据光学系统的光学特性而确定的滤波器”。即使在为基于点扩散函数的滤波器以外的滤波器(轮廓增强滤波器等)的情况下，也可根据各种条件(例如上述光圈值(f值)等各种因素)调整滤波器(轮廓增强滤波器等)，也可在各滤波器应用处理pf中使用具有基于根据各种条件(例如上述光圈值(f值)等各种因素)而改变的光学特性而被调整的滤波器系数(抽头系数)的轮廓增强滤波器等滤波器。

因此，滤波处理部41在多次滤波处理(第1滤波处理f1～第n滤波处理fn)中的至少任一次的滤波处理中，使用根据光学系统(透镜14及光圈15等)的特性(光学特性(点扩散函数等))而确定的滤波器来获得滤波器应用处理数据d4。

并且，在根据光学系统的光学特性确定滤波器的情况下，该光学系统的光学特性根据摄影条件而变动时，滤波器可根据代表性摄影条件中的光学系统的光学特性而确定。例如，在根据光学系统的点扩散函数确定滤波器的情况下，关于可影响点扩散函数的f值、变焦值、被摄体距离、聚焦位置、光学系统类别、成像元件24的传感器sn比、像高(图像内位置)及光学系统个体差等摄影条件中的一个或多个摄影条件，能够根据代表性的条件下的点扩散函数设计滤波器。例如，可根据预计的“获取原图像数据d1时所采用的频率”确定“代表性摄影条件”，还可将预计的采用频率较高的摄影条件作为“代表性摄影条件”来设计滤波器。

因此，滤波处理部41为基于光学系统(透镜14及光圈15等)的点扩散函数的多个滤波器，可在多次滤波处理(第1滤波处理f1～第n滤波处理fn)中使用通过改变影响点扩散函数的特性的因素而获得的多个滤波器。作为影响点扩散函数的特性的因素，例如可举出光圈值(f值)、变焦值(焦点距離)、被摄体距离、聚焦位置、光学系统类别、成像元件24的传感器sn比、像高(图像内位置(像素位置、光学系统的位置))及光学系统个体差等摄影条件。可在各滤波器应用处理pf中使用根据这些因素中的一个或多个因素的特性数据不同的点扩散函数而导出的滤波器。

并且，滤波处理部41在多次滤波处理(第1滤波处理f1～第n滤波处理fn)中的至少任一次滤波处理中，可使用与通过摄影获取原图像数据d1时所使用的光学系统(透镜14及光圈15等)的特性无关地被确定的滤波器来获取滤波器应用处理数据d4。作为这种“与光学系统的特性无关地被确定的滤波器”，例如能够优选使用轮廓增强滤波器。

另一方面，在图像滤波处理p中的多次滤波处理(第1滤波处理f1～第n滤波处理fn)的每一次处理中，在增益应用处理pg中应用于滤波器应用处理数据d4的增益根据“原图像数据中的像素位置而确定的图像滤波处理p的作为目标的频率特性”来获取。

该“图像滤波处理p的作为目标的频率特性”可根据光学系统的种类在实验上或理论上预先求出，也可预先求出根据这种“图像滤波处理p的作为目标的频率特性”而获取的“增益应用处理pg中所使用的增益”。

例如假设“点扩散函数”为光学特性时，预先设想拍摄获取原图像数据d1时所采用的摄影条件(f值等)，关于该“可采用的摄影条件”的每一个条件，能够预先导出与光学系统的每一种类及每一像素位置(光学系统的每一位置)对应的点扩散函数。通过基于该光学系统的点扩散函数(光学传递函数)的频率特性，能够显示图像滤波处理p的作为目标的频率特性，并能够使用利用了维纳滤波器等任意设计基准的反向滤波器设计方法。

并且，当滤波器应用处理pf中所使用的滤波器固定时，也可预先求出该滤波器的频率特性。因此，当滤波器应用处理pf中固定使用滤波器时，能够根据该滤波器的频率特性和预先导出的点扩散函数预先求出“根据原图像数据中的像素位置而确定的图像滤波处理p的作为目标的频率特性相对应的增益”。以这种方式导出的增益通过图3所示的增益确定部43和图4及图5所示的增益获取部45而供给到滤波处理部41(参考后述“增益应用部49”)。

对增益的具体的计算方法例将进行后述，但优选上述“图像滤波处理p的作为目标的频率特性”或“与图像滤波处理p的作为目标的频率特性相对应的增益”由数码相机10(透镜单元11和/或相机主体12)的制造商预先求出后存储于存储器，并优选能够适当地利用进行原图像数据d1的图像滤波处理p时存储于该存储器的数据。

另外，图像滤波处理p的作为目标的频率特性并不限于基于光学系统(透镜14及光圈15等)的点扩散函数(光学传递函数)等的光学特性的频率特性，能够将根据光学系统(透镜14及光圈15等)的摄影条件(上述光圈值(f值)等各种因素)导出的各种频率特性设为“图像滤波处理p的作为目标的频率特性”。因此，例如“根据光圈值(f值)而峰值不同的频率特性”也可设定为“图像滤波处理p的作为目标的频率特性”。

接着，对进行图像滤波处理p(多次滤波处理)的电路结构例进行说明。

构成图像滤波处理p的滤波处理(第1滤波处理f1～第n滤波处理fn)的数量n优选小于在如以往的方法中根据因素设计滤波器时的滤波器的总数m。以优选为m的50％以下，进一步优选为30％以下，进一步优选为10％以下的方式设定构成图像滤波处理p的滤波处理的数n。其中，对于构成图像滤波处理p的滤波处理的数n，多次滤波处理中所使用的滤波器中抽头数量最大的滤波器的抽头数量(最大抽头数量)成为上限。这是因为，若为滤波器的抽头数量以上，则无法增加滤波器的种类。

另外，构成图像滤波处理p的滤波处理的数n优选为10以下，进一步优选为6以下，进一步优选为4以下，但滤波处理的数n的具体的数值例并不限于这些。并且，构成图像滤波处理p的多次滤波处理(滤波处理部41)中所使用的多个滤波器的抽头数量在滤波器之间可相同也可不同。

在以下与图8～图12相关的说明中，为了方便，假设“n＝2”，对滤波处理部41中所进行的多次滤波处理由第1滤波处理f1及第2滤波处理f2构成的情况进行说明。其中，“n”为3以上的整数，在滤波处理部41进行3次以上的滤波处理的情况下，也可通过相同的设计方法实现滤波处理部41。

并且，在以下有关图8～图12的说明中，为了便于说明，对图像处理部35具有图3所示的结构的情况进行说明，对图像处理部35具有其他结构(例如参考图4及图5)的情况也能够以相同的方式进行多次滤波处理。

图8是表示滤波处理部41的电路结构的一例的图。图8中示出有串联连接进行第1滤波处理f1～第n滤波处理fn(其中，本例中“n＝2”)的每一次处理的电路的情况的一例。

本例的滤波处理部41将在第1滤波处理f1中获取的滤波处理数据d6-1用作第2滤波处理f2中的处理对象数据d3-2。即，滤波处理部41具有第1滤波器应用部48-1、第1增益应用部49-1及第1处理数据计算部50-1，且通过它们进行第1滤波处理f1。并且，滤波处理部41具有第2滤波器应用部48-2、第2增益应用部49-2及第2处理数据计算部50-2，且通过它们进行第2滤波处理f2。

第1滤波器应用部48-1对第1滤波处理f1的处理对象数据d3-1应用第1滤波处理用滤波器来获取滤波器应用处理数据d4-1。第1增益应用部49-1对从第1滤波器应用部48-1输出的滤波器应用处理数据d4-1应用第1滤波处理用增益g0来获取增益应用处理数据d5-1。同样地，第2滤波器应用部48-2对第2滤波处理f2的处理对象数据d3-2应用第2滤波处理用滤波器来获取滤波器应用处理数据d4-2。第2增益应用部49-2对从第2滤波器应用部48-2输出的滤波器应用处理数据d4-2应用第2滤波处理用增益g1来获取增益应用处理数据d5-2。

并且，本例的滤波处理部41还具有将处理对象数据d3与增益应用处理数据d5相加并输出滤波处理数据d6的第1处理数据计算部50-1及第2处理数据计算部50-2。即，第1处理数据计算部50-1对从第1增益应用部49-1输出的增益应用处理数据d5-1加上处理对象数据d3-1并输出滤波处理数据d6-1。同样地，第2处理数据计算部50-2对从第2增益应用部49-2输出的增益应用处理数据d5-2加上处理对象数据d3-2并输出滤波处理数据d6-2。

另外，在通过第1滤波处理f1及第2滤波处理f2构成图像滤波处理p的本例中，第1滤波处理f1中的处理对象数据d3-1为原图像数据d1，第2滤波处理f2中的滤波处理数据d6-2成为处理图像数据d2。

在各滤波处理中所使用的滤波器可被各滤波器应用部48(第1滤波器应用部48-1及第2滤波器应用部48-2)保持，也可存储于未图示的存储器而适合由各滤波器应用部48读出。

并且，在各滤波处理中所使用的增益通过增益确定部43供给到各增益应用部49(第1增益应用部49-1及第2增益应用部49-2)。

本例的滤波处理部41按原图像数据d1的每一像素进行多次滤波处理(第1滤波处理f1及第2滤波处理f2)。增益确定部43获取表示成为多次滤波处理的对象的原图像数据d1的像素位置的处理像素信息fi，将与该处理像素信息fi所表示的像素位置建立关联的候补数据作为在多次滤波处理的每一次处理中应用于滤波器应用处理数据d4-1、d4-2的增益而确定，并供给到第1增益应用部49-1及第2增益应用部49-2。

例如，关于构成原图像数据d1的某一像素数据进行第1滤波处理f1及第2滤波处理f2时，表示其处理对象的像素数据(处理对象数据d3)的像素位置(光学系统的位置)的处理像素信息fi被输入到增益确定部43。该处理像素信息fi只要是直接或间接表示其处理对象的像素数据的像素位置的信息即可，从图像处理部35的其他部(省略图示)在适当地时机输入到增益确定部43。增益确定部43根据所输入的处理像素信息fi从图3所示的增益候补数据存储部44(增益表信息)获取与其处理对象的像素数据的像素位置建立关联的增益的候补数据，并作为在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益而进行确定，并发送到滤波处理部41。通过按原图像数据d1的每一像素数据反复这些一系列的增益供给处理，进行滤波处理部41中的原图像数据d1的图像滤波处理p(第1滤波处理f1及第2滤波处理f2)。

图9是表示滤波处理部41的电路结构的其他例子的图。图9中示出有并联连接进行第1滤波处理f1～第n滤波处理fn(其中，本例中“n＝2”)的每一次处理的电路的情况的一例。

本例中，串联连接与第1滤波处理f1相关的第1滤波器应用部48-1和第1增益应用部49-1，且串联连接与第2滤波处理f2相关的第2滤波器应用部48-2和第2增益应用部49-2。并且，并联连接“与第1滤波处理f1相关的第1滤波器应用部48-1及第1增益应用部49-1”与“与第2滤波处理f2相关的第2滤波器应用部48-2及第2增益应用部49-2”。并且，滤波处理部41具有将从第1增益应用部49-1输出的增益应用处理数据d5-1与从第2增益应用部49-2输出的增益应用处理数据d5-2相加的加法器52。另外，设置有通过将加算数据d7和处理对象数据d3相加来获取处理图像数据d2的处理数据获取部51，所述加算数据d7通过与在所有滤波处理(本例中为第1滤波处理f1及第2滤波处理f2)中所获取的增益应用处理数据d5(滤波处理数据d6)相加而获得。

具有该图9所示的电路结构的本例的滤波处理部41在第1滤波处理f1及第2滤波处理f2中使用相同的数据(即原图像数据d1)来作为处理对象数据d3。并且，滤波处理部41根据在第1滤波处理f1中获取的滤波处理数据d6-1和在第2滤波处理f2中获取的滤波处理数据d6-2来获取处理图像数据d2。另外，本例中，从各滤波处理的增益应用部49输出的增益应用处理数据d5成为在各滤波处理中获得的滤波处理数据d6。

图9所示的本例的滤波处理部41也与上述图8的滤波处理部41同样地按原图像数据d1的每一像素进行多次滤波处理(第1滤波处理f1及第2滤波处理f2)。并且，增益确定部43获取表示成为多次滤波处理的对象的原图像数据d1的像素位置的处理像素信息fi，将与该处理像素信息fi所表示的像素位置建立关联的候补数据作为在多次滤波处理的每一次处理中应用于滤波器应用处理数据d4-1、d4-2的增益而确定，并供给到第1增益应用部49-1及第2增益应用部49-2。

图10是表示滤波处理部41的电路结构的其他例子的图。图10中示出有并联连接进行第1滤波处理f1～第n滤波处理fn(其中，本例中“n＝2”)的每一次处理的电路的其他例子。

本例中，与图9所示的例子同样地，串联连接与第1滤波处理f1相关的第1滤波器应用部48-1和第1增益应用部49-1，且串联连接与第2滤波处理f2相关的第2滤波器应用部48-2和第2增益应用部49-2。并且，并联连接“与第1滤波处理f1相关的第1滤波器应用部48-1及第1增益应用部49-1”与“与第2滤波处理f2相关的第2滤波器应用部48-2及第2增益应用部49-2”。因此，本例的滤波处理部41在第1滤波处理f1及第2滤波处理f2中也使用相同的数据(即原图像数据d1)来作为处理对象数据d3。

其中，在本例中，通过处理数据获取部51加算所有滤波处理(本例中为第1滤波处理f1及第2滤波处理f2)中所获取的增益应用处理数据d5(滤波处理数据d6)，从而获取处理图像数据d2。即，滤波处理部41通过在处理数据获取部51中将在第1滤波处理f1中获取的滤波处理数据d6-1与在第2滤波处理f2中获取的滤波处理数据d6-2相加来获取处理图像数据d2。另外，在本例中，从各滤波处理的增益应用部49输出的增益应用处理数据d5成为在各滤波处理中所获得的滤波处理数据d6。

图10所示的本例的滤波处理部41也与上述的图8及图9的滤波处理部41同样地按原图像数据d1的每一像素进行多次滤波处理(第1滤波处理f1及第2滤波处理f2)。并且，增益确定部43获取表示成为多次滤波处理的对象的原图像数据d1的像素位置的处理像素信息fi，将与该处理像素信息fi所表示的像素位置建立关联的候补数据作为在多次滤波处理的每一次处理中应用于滤波器应用处理数据d4-1、d4-2的增益而确定，并供给到第1增益应用部49-1及第2增益应用部49-2。

另外，图10所示的本例的图像滤波处理p(第1滤波处理f1～第n滤波处理fn)为了防止处理对象图像的亮度(dc(directcurrent)成分)发生变化，优选频率(ω)为0时的滤波器响应被设定为1且设定为(φn(0)＝1)，且关于任意的增益，亮度被调整为恒定。

在上述图9～图10所示的例子中，在多次滤波处理的每一次处理中设置独立的“滤波器应用部48及增益应用部49”，但也可通过共同的“滤波器应用部48及增益应用部49”进行多次滤波处理。

图11是表示滤波处理部41的电路结构的另一例子的图。图11中示出有通过单一的滤波器应用部48及单一的增益应用部49进行多次滤波处理的电路结构的例子。图11所示的电路结构例在滤波器应用处理pf及增益应用处理pg中发挥与上述图9所示的串联连接类型的电路结构等效的功能，但在通过单一的“滤波器应用部48及增益应用部49”进行多次滤波处理的方面与图9所示的电路结构不同。

即，本例的滤波处理部41具有：滤波器应用部48，对处理对象数据d3应用滤波器来获取滤波器应用处理数据d4；及增益应用部49，对滤波器应用处理数据d4应用增益来获取增益应用处理数据d5。并且，滤波处理部41具有：处理数据计算部50，将增益应用处理数据d5与处理对象数据d3相加而获取滤波处理数据d6；及反复运算判定部54，判定是否反复滤波器应用部48、增益应用部49及处理数据计算部50中的运算处理。

反复运算判定部54判定通过滤波器应用部48、增益应用部49及处理数据计算部50进行的滤波处理的次数是否达到预先确定的n次(本例中“n＝2”)。当通过滤波器应用部48、增益应用部49及处理数据计算部50进行的滤波处理的次数未达到n次时，反复运算判定部54对从处理数据计算部50输出的滤波处理数据d6进行反馈。若滤波处理数据d6被反馈，则滤波器应用部48、增益应用部49及处理数据计算部50将所反馈的滤波处理数据d6作为新的处理对象数据d3反复一系列的处理。当通过滤波器应用部48、增益应用部49及处理数据计算部50进行的滤波处理的次数达到n次时，反复运算判定部54将从处理数据计算部50最终输出的滤波处理数据d6作为处理图像数据d2来输出。

在本例中，滤波器应用部48中所使用的滤波器hn从滤波器供给部56被供给到滤波器应用部48，增益应用部49中所使用的增益gn从增益供给部55被供给到增益应用部49。即，“在第n次滤波处理(其中“1≤n≤n”)中所使用的滤波器hn-1及增益gn-1的信息”在滤波器供给部56及增益供给部55中被保持，或者被未图示的存储器所保持。滤波器供给部56及增益供给部55，从反复运算判定部54发送“接着，在滤波器应用部48、增益应用部49及处理数据计算部50中进行的滤波处理为第n次”这样的信息，并根据来自该反复运算判定部54的信息对滤波器应用部48及增益应用部49供给滤波器hn-1及增益gn-1。

因此，图11所示的滤波器应用部48在第1滤波处理f1中使用第1滤波处理用滤波器h0获取滤波器应用处理数据d4，并在第2滤波处理f2中使用第2滤波处理用滤波器h1获取滤波器应用处理数据d4。并且，增益应用部49在第1滤波处理f1中使用第1滤波处理用增益g0获取增益应用处理数据d5，并在第2滤波处理f2中使用第2滤波处理用增益g1获取增益应用处理数据d5。

图11所示的本例的滤波处理部41也与上述的图8～10的滤波处理部41同样地按原图像数据d1的每一像素进行多次滤波处理(第1滤波处理f1及第2滤波处理f2)。并且，增益确定部43获取表示成为多次滤波处理的对象的原图像数据d1的像素位置的处理像素信息fi，并将与该处理像素信息fi所表示的像素位置建立关联的候补数据作为在多次滤波处理的每一次处理中应用于滤波器应用处理数据d4的增益而确定，并经由增益供给部55供给到增益应用部49。另外，向增益应用部49供给增益的增益供给部55可与增益确定部43一体设置。

上述图8～图11所示的电路结构仅为一例，进行多次滤波处理的滤波处理部41可由各种电路结构实现，并且具体的电路结构并无特别限定。

例如，图11中示出有通过单一的“滤波器应用部48及增益应用部49”进行与图9所示的串联连接类型同等的滤波处理(图像滤波处理p)的电路结构例，但同样地，也可通过具有单一的“滤波器应用部48及增益应用部49”的电路结构进行与图9或图10所示的并联连接类型同等的滤波处理(图像滤波处理p)。

并且，在图8所示的串联连接类型的电路结构中，可省略第1处理数据计算部50-1及第2处理数据计算部50-2。即，可将从第1增益应用部49-1输出的增益应用处理数据d5-1设为第1滤波处理f1的滤波处理数据d6-1及第2滤波处理f2的处理对象数据d3-2，也可将从第2增益应用部49-2输出的增益应用处理数据d5-2设为第2滤波处理f2的滤波处理数据d6-2及处理图像数据d2。同样地，在图11所示的电路结构中可省略处理数据计算部50，也可将从增益应用部49输出的增益应用处理数据d5设为滤波处理数据d6。

并且，应用于滤波器应用处理数据d4的增益严格来讲根据光学系统的位置而像劣化特性有所不同，因此从高精度地进行图像滤波处理的观点考虑，优选按光学系统的每一个位置(每一个像素位置)进行最佳化。但是，从降低图像滤波处理时所需的数据量的观点考虑，并不是关于光学系统的所有位置(所有像素位置)准备和存储增益(候补数据)，而是可以仅关于光学系统的多个特定的位置(多个代表性像素位置)准备和存储应用于滤波器应用处理数据d4的增益。

即，预先保持关于光学系统的所有位置(所有像素位置)的每一个位置的增益，有时会导致消耗庞大的存储容量。为了避免这种存储容量的庞大的消耗，将原图像数据d1分割为多个区域，仅关于各区域的代表位置(代表像素)准备和存储增益，关于其代表位置(代表像素)以外的位置(像素)，可通过任意的邻近插值处理(例如双线性方法或花键(spline)方法等)获取增益。

并且，如下述图12所述的电路结构例所示，通过利用将原图像数据d1进行分割而得的多个区域的代表性位置坐标(以下，还称为“全局坐标”)及各区域内的相对位置坐标(以下，还称为“局部坐标”)，由此可兼顾“确保图像滤波处理(滤波处理)的良好的精度”和减少“所需存储容量”。

图12是表示滤波处理部41的电路结构的其他例子的图。

本例的滤波处理部41包括滤波器应用块47、增益应用块70及处理数据获取部51。

滤波处理部41的滤波器应用块47包括多个滤波器应用部(第1滤波器应用部48-1～第n滤波器应用部48-n(其中“n”为2以上的整数))，对处理对象数据d3应用多种滤波器来获取多个滤波器应用处理数据d4-1～d4-n。在本例中，处理对象数据d3在多个滤波器应用部之间为共用，对第1滤波器应用部48-1～第n滤波器应用部48-n的每一个输入原图像数据d1作为处理对象数据d3。

滤波器应用块47(第1滤波器应用部48-1～第n滤波器应用部48-n)中所使用的多种滤波器并无特别限定，优选包括根据按照“多个代表性像素位置(以下，还称为“代表像素位置”)”而确定的多个作为目标的频率特性的平均而确定的基准滤波器、及根据该多个作为目标的频率特性的方差而确定的方差滤波器。对该基准滤波器及方差滤波器的详细内容将进行后述。

增益应用块70对通过滤波器应用块47(第1滤波器应用部48-1～第n滤波器应用部48-n)所生成的多个滤波器应用处理数据d4-1～d4-n应用增益来获取增益应用处理数据d5-1～d5-n。更具体而言，增益应用块70包括多个增益块(第1增益块70-1～第m增益块70-m(其中，“m”为2以上的整数))。多个增益块的每一个包括第1增益应用部49-1～第n增益应用部49-n和加法器52，通过第1增益应用部49-1～第n增益应用部49-n对多个滤波器应用处理数据d4-1～d4-n应用增益来获取多个增益应用处理数据d5-1～d5-n。因此，各增益块中所含的增益应用部(第1增益应用部49-1～第n增益应用部49-n)的数量与构成滤波器应用块47的滤波器应用部(第1滤波器应用部48-1～第n滤波器应用部48-n)的数量相等。

并且，多个增益块的每一个从其多个增益应用处理数据d5-1～d5-n获取滤波处理数据d6-1～d6-n，并通过加法器52从其多个滤波处理数据d6-1～d6-n获取块处理数据d8。另外，在本例中，增益应用处理数据d5-1～d5-n与滤波处理数据d6-1～d6-n由相同的数据构成，块处理数据d8通过滤波处理数据d6-1～d6-n之和导出。

这样，在本例中，通过滤波器应用块47和多个增益块(第1增益块70-1～第m增益块70-m)的每一个进行多次滤波处理(第1滤波处理f1～第m滤波处理fm)，各滤波处理可通过滤波器应用块47与各增益块的组合来进行。

处理数据获取部51根据在多个增益块(第1增益块70-1～第m增益块70-m)中所获得的块处理数据(第1块处理数据d8-1～第m块处理数据d8-m)，通过其块处理数据的加权运算获取处理图像数据d2。更具体而言，处理数据获取部51包括加权系数确定部73、第1加权调整部74-1～第m加权调整部74-m及加权加算部75。

处理数据获取部51的加权系数确定部73根据处理对象数据的像素位置确定分配到通过多个增益块(第1增益块70-1～第m增益块70-m)所获取的块处理数据(第1块处理数据d8-1～第m块处理数据d8-m)的每一个数据中的加权系数(第1加权系数w1～第m加权系数wm)。更具体而言，加权系数确定部73根据从位置坐标计算部71供给的局部坐标数据as确定供给到第1加权调整部74-1～第m加权调整部74-m的第1加权系数w1～第m加权系数wm。

处理数据获取部51的第1加权调整部74-1～第m加权调整部74-m及加权加算部75通过进行加权运算来获取处理图像数据d2，所述加权运算将其加权系数(第1加权系数w1～第m加权系数wm)应用于块处理数据(第1块处理数据d8-1～第m块处理数据d8-m)。即，第1加权调整部74-1～第m加权调整部74-m分别从加权系数确定部73供给加权系数(第1加权系数w1～第m加权系数wm)，对从第1增益块70-1～第m增益块70-m输出的第1块处理数据d8-1～第m块处理数据d8-m应用其加权系数(第1加权系数w1～第m加权系数wm)。加权加算部75将应用分别从第1加权调整部74-1～第m加权调整部74-m输出的加权系数之后的第1加权后数据d9-1～第m加权后数据d9-m相加来获取处理图像数据d2并进行输出。

位置坐标计算部71与第1增益输出部72-1～第m增益输出部72-m一同作为增益确定部43而发挥功能。即，位置坐标计算部71获取表示成为多次滤波处理的对象的处理对象数据d3(本例中为原图像数据d1)的像素位置的处理像素信息fi。而且，位置坐标计算部71将直接或间接地表示其处理像素信息fi所表示的像素位置的全局坐标上的对应位置的全局坐标数据al发送到第1增益输出部72-1～第m增益输出部72-m，并且将直接或间接表示其处理像素信息fi所表示的像素位置的局部坐标上的对应位置的局部坐标数据as发送到加权系数确定部73。

第1增益输出部72-1～第m增益输出部72-m分别与第1增益块70-1～第m增益块70-m对应，根据全局坐标数据al将增益g0～gn-1供给到对应的增益块所包括的第1增益应用部49-1～第n增益应用部49-n。

在具有上述电路结构的图12所示的滤波处理部41及增益确定部43(位置坐标计算部71及第1增益输出部72-1～第m增益输出部72-m)中，关于构成处理对象数据d3(原图像数据d1)的多个像素数据中代表性像素位置(代表像素位置)的像素数据，使用根据代表像素位置而确定的“作为目标的频率特性”而获取的增益来进行图像滤波处理p(滤波处理)。另一方面，关于构成处理对象数据d3(原图像数据d1)的多个像素数据中代表像素位置以外的像素位置(以下，还称为“非代表像素位置”)的像素数据，使用关于多个代表像素位置获取的增益，通过进行基于加权运算的调整来执行适合于非代表像素位置的图像滤波处理p(滤波处理)。

即，在本例中，存储于增益候补数据存储部44(参考图3)的增益表信息在多个代表性像素位置(代表像素位置)与增益相关的特有的候补数据建立关联，在其多个代表性像素位置以外的像素位置(非代表像素位置)与关于增益的特有的候补数据建立关联，所述增益与多个代表性像素位置(代表像素位置)中的1个以上的像素位置建立关联。与非代表像素位置建立关联的代表像素位置的数量与图12所示的增益应用块70中所含的增益块的数量对应。因此，在由第1增益块70-1～第m增益块70-m构成增益应用块70的图12所示的例子中，与非代表像素位置建立关联的代表像素位置的数量为“m”个。

并且，本例的增益表信息将关于增益的多个候补数据与上述“多个代表性像素位置(代表像素位置)”的每一个位置建立关联。与该多个代表性像素位置的每一个位置建立关联的其多个候补数据分别通过作为增益确定部43而发挥功能的位置坐标计算部71及第1增益输出部72-1～第m增益输出部72-m作为应用于多个滤波器应用处理数据d4-1～d4-n的增益而确定。因此，与代表像素位置的每一个位置建立关联的「关于增益的多个候补数据」的数量与各增益块中所含的增益应用部49的数量对应。因此，在各增益块包括第1增益应用部49-1～第n增益应用部49-n的图12所示的例子中，与代表像素位置的每一个位置建立关联的“有关增益的多个候补数据”的数量成为“n”个。

例如，将增益应用块70中所含的增益块的数量设为“2”时(即，假设为“m＝2”时)，构成增益应用块70的多个增益块包括第1增益块70-1及第2增益块70-2，与非代表像素位置建立关联的代表像素位置的数量为“2”。此时，第1增益块70-1及第2增益块70-2的每一个对多个滤波器应用处理数据d4-1～d4-n的每一个数据应用通过位置坐标计算部71及第1增益输出部72-1～第2增益输出部72-2确定的增益。并且，处理数据获取部51根据通过第1增益块70-1所获取的第1块处理数据d8-1和通过第2增益块所获取的第2块处理数据d8-2获取处理图像数据d2。

尤其，滤波处理部41对上述多个代表性像素位置以外的像素位置(非代表像素位置)进行多次滤波处理时，位置坐标计算部71及第1增益输出部72-1～第2增益输出部72-2(增益确定部43)将在与其多个代表性像素位置以外的像素位置(非代表像素位置)建立关联的增益的候补数据中与“第1代表性像素位置”建立关联的增益的候补数据作为在第1增益块70-1中所使用的增益来确定，并将与“第2代表性像素位置”建立关联的增益的候补数据作为在第2增益块70-2中所使用的增益来确定。另外，这些“第1代表性像素位置”及“第2代表性像素位置”相当于与非代表像素位置建立关联的多个代表像素位置。

因此，处理对象的像素位置(非代表像素位置)的处理对象数据d3(像素数据)与像素位置a(第1代表性像素位置)及像素位置b(第2代表性像素位置)建立关联时，优选确定“从第1增益输出部72-1供给到第1增益块70-1的第1增益应用部49-1～第n增益应用部49-n的增益g0～gn-1”，以使“滤波器应用块47及第1增益块70-1”的组合处理最适合于“像素位置a”。并且，优选确定“从第2增益输出部72-2供给到第2增益块70-2的第1增益应用部49-1～第n增益应用部49-n的增益g0～gn-1”，以使“滤波器应用块47及第2增益块70-2”的组合处理最适合于“像素位置b”。此时，根据表示处理对象的像素位置(非代表像素位置)的处理对象数据d3(像素数据)的“相对于像素位置a及像素位置b的相对位置关系”的局部坐标数据as，在处理数据获取部51中进行“最适合于像素位置a的第1块处理数据d8-1”及“最适合于像素位置b的第2块处理数据d8-2”的加权运算，由此能过获取有关非代表像素位置的处理图像数据d2。

如上所述，处理对象数据d3(像素数据)为非代表像素位置时，增益应用块70中所含的多个增益块(第1增益块70-1～第m增益块70-m)的每一个增益块最适合于与非代表像素位置建立关联的多个代表像素位置。并且，通过以加权运算来调整从最适合于与非代表像素位置建立关联的多个代表像素位置的多个增益块输出的块处理数据(第1块处理数据d8-1～第m块处理数据d8-m)，由此通过处理数据获取部51获取有关其非代表像素位置的处理图像数据d2。

因此，从位置坐标计算部71供给到各增益输出部(第1增益输出部72-1～第m增益输出部72-m)的全局坐标数据al直接或间接地表示与处理对象数据d3的像素位置建立关联的多个代表像素位置。各增益输出部(第1增益输出部72-1～第m增益输出部72-m)根据所接收的全局坐标数据al，将最适合于该“与处理对象数据d3的像素位置建立关联的多个代表像素位置”的增益供给到对应的增益块(第1增益块70-1～第m增益块70-m)。例如，第1增益输出部72-1将对应于与处理对象数据d3的像素位置建立关联的“第1代表性像素位置”的增益供给到第1增益块70-1。同样地，第m增益输出部72-m将对应于与处理对象数据d3的像素位置建立关联的“第m代表性像素位置”的增益供给到第m增益块70-m。

另一方面，从位置坐标计算部71供给到加权系数确定部73的局部坐标数据as直接或间接地表示相对于“与处理对象数据d3的像素位置建立关联的多个代表像素位置”的，该处理对象数据d3的像素位置的相对位置。加权系数确定部73根据所接收的局部坐标数据as确定用于调整从各增益块(第1增益块70-1～第m增益块70-m)输出的块处理数据(第1块处理数据d8-1～第m块处理数据d8-m)的加权系数(第1加权系数w1～第m加权系数wm)，并发送到对应的加权调整部(第1加权调整部74-1～第m加权调整部74-m)。

另外，处理对象数据d3(像素数据)为代表像素位置时，优选从增益输出部(例如第1增益输出部72-1)对增益应用块70中所含的任一个增益块(例如第1增益块70-1)的增益应用部(第1增益应用部49-1～第n增益应用部49-n)供给最适合于该代表像素位置的增益。此时，只要将相对于从被供给最适合于该代表像素位置的增益的增益块(例如第1增益块70-1)输出的块处理数据(例如第1块处理数据d8-1)的加权系数设为“1(100％)”，并且将相对于从其他增益块输出的块处理数据(例如，第2块处理数据d8-2～第m块处理数据d8-m)的加权系数设为“0(0％)”即可。

图13是表示代表像素位置与有关从第1增益输出部72-1～第m增益输出部72-m输出的增益的候补数据的关系的概念图。各增益输出部(第1增益输出部72-1～第m增益输出部72-m)由全局坐标数据al确定“对应的代表像素位置”，将有关于该确定的“对应的代表像素位置”建立关联的“n”个增益的候补数据供给到“对应的增益块(第1增益应用部49-1～第n增益应用部49-n)”。另外，“有关与各代表像素位置相关联的n个增益的候补数据”是为了实现与各代表像素位置的光学系统的光学特性相对应的图像滤波处理而最优化的增益的集合。因此，各增益输出部(第1增益输出部72-1～第m增益输出部72-m)保持表示图13的关系的表信息，并可参考其表信息确定增益。

图14是表示从位置坐标计算部71输出的全局坐标数据al及局部坐标数据as与像素位置数据的关系的概念图。位置坐标计算部71获取处理像素信息fi，将表示数据(参考图14的“第1代表性像素位置数据”及“第m代表性像素位置数据”)的全局坐标数据al输出到各增益输出部，所述数据表示与其处理像素信息fi所表示的处理对象的像素位置(参考图14的“处理对象像素位置”)建立关联的代表像素位置，并且将表示数据(参考图14的“相对位置数据”)的局部坐标数据as输出到加权系数确定部73，所述数据表示其处理像素信息fi所表示的处理对象的像素位置的、以“建立关联的代表像素位置”为基准的相对位置。因此，位置坐标计算部71保持表示图14的关系的表信息，并且可参考其表信息输出全局坐标数据al及局部坐标数据as。

图15是表示输入于加权系数确定部73的局部坐标数据as与从加权系数确定部73输出的加权系数的关系的概念图。加权系数确定部73将与从位置坐标计算部71输入的局部坐标数据as建立关联的加权系数(第1加权系数w1～第m加权系数wm)输出到加权调整部(第1加权调整部74-1～第m加权调整部74-m)。因此，加权系数确定部73保持图15所示的表信息，并且可参考其表信息输出加权系数(第1加权系数w1～第m加权系数wm)。

根据具有上述图12所示的电路结构的滤波处理部41，能够有效地兼顾高精度的滤波处理和所需的存储容量的降低化。图8～图11所示的电路结构，基本上要求保持与处理对象数据d3(原图像数据d1)的所有像素(即光学系统的所有位置)相关的增益矢量，像劣化特性严格意义上以处理对象数据d3的像素单位而不同，因此为了保持增益矢量而需要确保相当的存储容量。然而，根据图12所示的电路结构，只要保持与增益块数量(m个)对应的数量的增益相关的矢量表即可，关于非代表像素位置的处理对象数据d3可通过基于处理数据获取部51的加权运算的插值处理高精度地计算处理图像数据d2。

<增益确定方法>

接着，对在增益应用部49(第1增益应用部49-1～第n增益应用部49-n)中所使用的增益的确定方法进行说明。

图16是表示增益获取部45的功能结构的一例的框图，并且表示与图3所示的图像处理部35优选组合的增益获取部45。本例的增益获取部45具有参考图像获取部60、参考图像分析部61、目标频率特性获取部62及应用增益计算部63。

参考图像获取部60获取反映了光学特性的参考图像数据，所述光学特性为获取原图像数据d1时所使用的光学系统的光学特性，且为与获取原图像数据d1时的摄影条件(像素位置(光学系统的位置)等)相对应的光学特性。该参考图像数据优选关于在获取原图像数据d1时可安装于相机主体12的各种透镜单元11(光学系统)而获取，并且优选关于获取原图像数据d1时可采用的摄影条件而获取。

通过参考图像获取部60获取参考图像数据的方法并无特别限定。例如，通过以将包括测量对象的光学系统的透镜单元11安装于相机主体12的状态进行拍摄，从而可从成像元件24对参考图像获取部60输入参考图像数据。并且，预先进行利用包括测量对象的光学系统的透镜单元11进行的拍摄来获取的参考图像数据被保存于存储器(图1所示的主体存储部29等)时，参考图像获取部60可从该存储器读出与测量对象的光学系统相关的参考图像数据。

另外，参考图像数据的被摄体并无特别限定，即可通过具有特定的形状、模样及颜色的被摄体的摄影来获取参考图像数据，也可通过具有不特定的形状、模样及颜色的被摄体的摄影来获取参考图像数据。当通过具有特定的形状、模样及颜色的被摄体的摄影来获取参考图像数据时，优选参考图像获取部60与设备控制部34(显示控制部36等)协作而控制显示部27中的显示等，并进行这种被摄体的摄影的引导。并且，当通过具有不特定的形状、模样及颜色的被摄体的摄影获取参考图像数据时，参考图像获取部60也可对保存于主体存储部29的过去的摄影图像数据进行分析，并且从过去的摄影图像数据中选择数据而作为参考图像数据进行特定，所述数据为使用包括测量对象的光学系统的透镜单元11获取的每一摄影条件的数据，且为具有作为参考图像数据优选的图像特性的数据。

参考图像分析部61进行通过参考图像获取部60获取的参考图像数据的分析，并且获取与获取原图像数据d1时的摄影条件相对应的光学特性。具体而言，参考图像分析部61进行参考图像数据的频率分析，并且可获取测量对象的光学系统的每一个位置(每一个像素位置)的点扩散函数(otf等)。

目标频率特性获取部62根据参考图像分析部61所获取的“与光学系统的位置(像素位置)相对应的光学特性”，按光学系统的每一个位置(每一个像素位置)确定在使用该光学系统摄影获取的原图像数据d1的图像滤波处理p中作为目标的频率特性。例如，当图像滤波处理p为意图消除光学系统的点扩散现象的处理时，目标频率特性获取部62根据参考图像分析部61所获取的光学系统的每一个位置(每一个像素位置)的点扩散函数(otf等)，并通过维纳滤波器等的任意设计基准构建滤波器来获取图像滤波处理p的作为目标的频率特性。

应用增益计算部63根据目标频率特性获取部62所确定的“图像滤波处理p的作为目标的频率特性”获取在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益(候补数据)。基于应用增益计算部63的增益的获取方法并无特别限定，例如可通过最小二乘法计算增益。即，应用增益计算部63相对于目标频率特性获取部62所确定的“图像滤波处理p的作为目标的频率特性”，根据多次滤波处理的每一次处理中的频率特性以最小二乘法拟合图像滤波处理p的频率特性，从而可获取在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益。

应用增益计算部63将所获取的增益作为“增益的候补数据”存储于增益候补数据存储部44。优选增益的候补数据在与增益选定条件建立关联的状态下存储于增益候补数据存储部44，所述增益选定条件与图像滤波处理p的作为目标的频率特性相关联。作为增益选定条件，可优选使用表示可影响图像滤波处理p的作为目标的频率特性的各种因素的特性数据，尤其在本例中“光学系统的位置(像素位置)”包含于增益选定条件。因此，图像滤波处理p的作为目标的频率特性为“基于通过摄影获取原图像数据d1时所使用的光学系统(透镜14及光圈15等)的点扩散函数(光学传递函数)的频率特性”时，与影响该点扩散函数的各种因素(例如用于获取原图像数据d1的摄影时的光圈值(f值)、变焦值(焦点距离)、被摄体距离、聚焦位置、光学系统类别、成像元件24的传感器sn比、像高(像素位置(光学系统的位置))及光学系统个体差等摄影条件)相关的特性数据可作为“增益选定条件”而与增益的候补数据建立关联。

如此将增益的候补数据与增益选定条件建立关联来存储于增益候补数据存储部44时，参考图像获取部60优选获取在多个摄影条件(增益选定条件)下摄影获取的多个参考图像数据，参考图像分析部61优选对在多个摄影条件下摄影获取的多个参考图像数据进行分析来获取光学特性。并且，目标频率特性获取部62优选从多个摄影条件下的光学特性获取与多个摄影条件相关的图像滤波处理p的作为目标的频率特性，应用增益计算部63优选获取与多个摄影条件建立关联的增益，并将该增益与对应的摄影条件(增益选定条件)建立关联来存储于增益候补数据存储部44。

图17是表示图16所示的增益获取部45的增益获取流程的流程图。在本例中，如上所述，首先通过参考图像获取部60获取使用测量对象的光学系统摄影获取的参考图像数据(图17的s11)，并通过参考图像分析部61进行该参考图像数据的分析而获取测量对象的光学系统的每一个位置(每一个像素位置)的光学特性(s12)。而且，根据测量对象的光学系统的每一摄影条件的光学特性通过目标频率特性获取部62获取图像滤波处理p的作为目标的频率特性(s13)，并根据该作为目标的频率特性通过应用增益计算部63获取光学系统的每一个位置(每一个像素位置)的增益的候补数据(s14)。

如此获取的增益的候补数据作为与测量对象的光学系统的每一个位置(每一个像素位置)的光学特性建立关联的“增益表信息”，通过应用增益计算部63被存储于增益候补数据存储部44(s15)。由此，增益确定部43从存储于增益候补数据存储部44的增益的候补数据中，确定在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益，并能够将该所确定的增益发送到滤波处理部41。

图18是表示增益获取部45的功能结构的其他例子的框图，并且表示与图4及图5所示的图像处理部35优选组合的增益获取部45。本例的增益获取部45具有目标频率特性获取部62及应用增益计算部63，目标频率特性获取部62从频率分析部66的频率特性存储部68获取图像滤波处理p的作为目标的频率特性。

频率分析部66具有参考图像获取部60、参考图像分析部61、目标频率特性确定部67及频率特性存储部68。本例的参考图像获取部60及参考图像分析部61与图16所示的上述参考图像获取部60及参考图像分析部61同样地获取参考图像数据，并获取在获取原图像数据d1时所使用的光学系统的每一个位置(每一个像素位置)的光学特性。并且，本例的目标频率特性确定部67与图16所示的上述目标频率特性获取部62同样地，根据参考图像分析部61所获取的光学系统的每一个位置(每一个像素位置)的光学特性，按光学系统的每一个位置(每一个像素位置)确定在使用该光学系统摄影获取的原图像数据d1的图像滤波处理p中作为目标的频率特性。

其中，本例的目标频率特性确定部67将与所确定的图像滤波处理p的作为目标的频率特性相关的数据与对应的光学系统的数据及光学系统的位置(像素位置)建立关联而存储于频率特性存储部68。在此所说的“对应的光学系统的数据及光学系统的位置(像素位置)”为可分别确定测量对象的光学系统及光学系统的位置(像素位置)的任意的数据，例如可由分配到各光学系统的(透镜单元11)的种类信息(例如型号等)与光学系统的位置信息(例如像素位置信息等)的组合表示。

本例的目标频率特性获取部62获取滤波处理部41中的成为图像滤波处理p的对象的原图像数据d1的摄影时所使用的光学系统的种类信息(对应的光学系统的数据)及处理对象数据d3的位置信息(表示光学系统的位置(像素位置)的信息)，并根据其种类信息及位置信息从频率特性存储部68获取与拍摄原图像数据d1时所使用的光学系统及处理对象数据d3的位置信息建立关联的图像滤波处理p的作为目标的频率特性相关的数据。应用增益计算部63根据目标频率特性获取部62所确定的“图像滤波处理p的作为目标的频率特性”，获取在多次滤波处理的每一次处理中应用于滤波器应用处理数据的增益并供给到滤波处理部41。

如此，本例的增益获取部45从频率特性存储部68读出与原图像数据d1的摄影时所使用的光学系统及处理对象数据d3的位置(光学系统的位置(像素位置))相关的“图像滤波处理p的作为目标的频率特性”来获取增益。因此，能够将频率分析部66中的“用于获取图像滤波处理p的作为目标的频率特性的处理”与增益获取部45中的“用于获取滤波处理部41中实际使用的增益的处理”分离。

图19是表示图18所示的频率分析部66的频率特性获取流程的流程图。本例中，如上所述，首先通过参考图像获取部60获取使用测量对象的光学系统摄影获取的参考图像数据(图19的s21)，通过参考图像分析部61进行该参考图像数据的分析来获取测量对象的光学系统的每一个位置(每一个像素位置)的光学特性(s22)。而且，通过目标频率特性确定部67根据测量对象的光学系统的每一个位置(每一个像素位置)的光学特性按光学系统的每一个位置(每一个像素位置)确定图像滤波处理p的作为目标的频率特性(s23)，存储于频率特性存储部68(s24)。

图20是表示图18所示的增益获取部45的增益获取流程的流程图。本例中，如上所述，首先通过目标频率特性获取部62从频率特性存储部68获取与滤波处理部41中的成为图像滤波处理p的对象的原图像数据d1的摄影时所使用的光学系统及处理对象数据d3的位置(光学系统的位置(像素位置))建立关联的图像滤波处理p的作为目标的频率特性相关的数据(图20的s31)。而且，通过应用增益计算部63根据该作为目标的频率特性获取在滤波处理中所使用的增益(s32)，供给到滤波处理部41(s33)。

<增益系数(增益值矢量)的计算方法>

以下，对上述增益获取部45(尤其应用增益计算部63)中的运算处理的具体的流程进行说明。作为一例，主要对滤波处理部41具有图10所示的电路结构的情况进行说明，但对于滤波处理部41具有其他电路结构(参考图8～图9及图11～图12)的情况也可通过同样的运算处理计算增益。

以下的方法采用根据频率进行加权的最小二乘基准，并以使通过滤波处理部41进行的图像滤波处理p整体的频率特性接近作为目标的所希望的频率特性的方式求出增益。

在图10所示的电路结构中，由“φn-1(ω)”表示进行第n滤波处理fn(其中“1≤n≤n”)的滤波器应用部48-n中所使用的滤波器的频率特性，并且若由“gn-1”表示增益应用部49-n中所使用的增益，则第n滤波处理fn的频率特性由“gn-1φn-1(ω)”来表示。因此，若由“f(ω)”表示滤波处理部41所进行的图像滤波处理p(第1滤波处理f1～第n滤波处理fn)整体的频率特性，则“f(ω)＝g0φ0(ω)……+gn-1φn-1(ω)(其中“n”为2以上的整数)”成立。

另外，在图8及图11所示的电路结构中，若由“1+gn-1(ψn-1(ω)-1)”表示第n滤波处理fn整体的频率特性，则在各滤波器应用部48中所使用的滤波器的频率特性φn-1(ω)由“φn-1(ω)＝ψn-1(ω)-1”来表示，图像滤波处理p整体的频率特性f(ω)由“f(ω)＝(1+g0φ0(ω))……×(1+gn-1φn-1(ω))”来表示。并且，在图9所示的电路结构中，图像滤波处理p整体的频率特性f(ω)由“f(ω)＝1+g0φ0(ω)……+gn-1φn-1(ω)”来表示。

因此，下述与图10的电路结构相关的说明中，通过将图10的电路结构的频率特性“f(ω)＝g0φ0(ω)……+gn-1φn-1(ω)”应用于频率特性“f(ω)＝1+g0φ0(ω)……+gn-1φn-1(ω)”，从而也能够应用于图9所示的电路结构。例如，将图9的电路结构的上述频率特性f(ω)中的“1+g0φ0(ω)”作为“图10的电路结构的上述频率特性f(ω)中的“g0φ0(ω)””进行处理，从而与图10的电路结构相关的下述说明还可应用到图10所示的电路结构。同样地，与图10的电路结构相关的下述说明通过将图10的电路结构的频率特性“f(ω)＝g0φ0(ω)……+gn-1φn-1(ω)”应用到“f(ω)＝(1+g0φ0(ω))……×(1+gn-1φn-1(ω))”，从而还可应用到图8及图11所示的电路结构。另外，在该情况下，通过利用对数化处理，从而图8及图11所示的电路结构的频率特性f(ω)的积的运算式被转换为和的运算式，可容易地将与图10的电路结构相关的下述说明应用到图8及图11所示的电路结构。

在此，假设第n滤波处理fn的滤波器应用部48-n中所使用的滤波器为基于以拍摄获取原图像数据d1时所使用的光学系统(透镜14及光圈15等)的点扩散函数的图像复原用滤波器。基于点扩散函数的图像复原用滤波器，如下所述，关于频率ω具有二维自由度，因此成为具有“2自由度”的频率特性。

[数式1]

ω∈r²

r²：二维实数列矢量空间

若使用这种频率矢量ω，则能够由“φn-1(ω)”表示在第n滤波处理fn的滤波器应用部48-n中所使用的滤波器的频率特性。通过关于针对频率为nω个的采样点进行滤波器的频率特性φn(ω)的离散化来获得下述矢量φn。

[数式2]

cⁿ：n维复数列矢量空间

kronecker积

ej：nω维列矢量空间的标准基底

另外，频率“ωj”可由下述式表示，“ωj”表示与频率相关的nω个采样点。

[数式3]

像劣化的频率特性通过图像内位置(像素位置(光学系统的位置))而连续地发生变化。因此，需要按每一图像内位置确定增益值。通过nr个采样点将图像内位置离散化，由“k(其中满足“1≤k≤nr”)”表示显示图像内位置的索引。

关于表示图像内位置的索引k，由在多次滤波处理(第1滤波处理f1～第n滤波处理fn)中所使用的增益构成的增益矢量(增益组)gk由下述式表示。

[数式4]

t：转置(transpose)

设定有由上述式表示的增益的图像滤波处理p整体(整个滤波处理部41)的频率特性「f(ω|gk)」在图10所示的电路结构中，由下述式表示。

[数式5]

另一方面，欲实现的“图像滤波处理p的作为目标的频率特性“dk(ω)””可通过任意的方法来确定，其确定方法并无特别限定。通常，基于点扩散函数的复原滤波器能够通过卷积型滤波器适当地实现。作为确定基于点扩散函数的滤波器的频率特性的方法有各种方法，例如广泛使用考虑到摄影光学系统的sn比的维纳滤波器。维纳滤波器能够根据点扩散函数的光学传递函数(otf)及sn比的信息表示滤波器的频率特性。因此，可根据该维纳滤波器确定欲实现的图像滤波处理p的作为目标的频率特性“dk(ω)”。

由“f(ω|gk)”表示图像滤波处理p整体的频率特性，由“dk(ω)”表示欲实现的图像滤波处理p的作为目标的频率特性，由“wk(ω)”表示近似加权函数。此时，能够将对由下述式表示的基于加权最小二乘准则的类函数“jlms[g]”进行最小化的增益矢量设为图像滤波处理p中的表示最佳频率特性的增益矢量。

[数式6]

jlms[gk]＝∫wk(ω)||f(ω|gk)-dk(ω)||²dω

若通过频率及图像内位置的采样点对上述式进行离散化，则可获得下述式。

[数式7]

jlms[gk]＝||w^1/2(ag-d)||²

其中

w＝diag[w]

a＝[φ0φ1…φn-1]

上述式中“diag”表示将参数矢量设为对角元素的对角矩阵，上述式的“w”及“d”以与“矢量φn”相关的上述方法相同的方式分别将“wk(ω)”及“dk(ω)”矢量化。

根据上述式，与表示图像内位置的索引k相关的增益矢量的最优解g^(k)opt由下述式来表示。

[数式8]

h：伴随矩阵(hermitiantranspose)

如果近似加权函数及各滤波器的频率特性(滤波器系数)被确定，则上述式中的“(a^hwa)^-1a^hw”的部分由可预先计算的矩阵表示。如此，与表示图像内位置(像素位置(光学系统的位置))的索引k相关的增益矢量的最优解g^(k)opt能够通过对根据表示个别的像劣化特性的点扩散函数而获取的滤波器特性应用矩阵的运算来计算。

另外，当滤波处理部41采用图10所示的电路结构时，优选除了上述条件之外，还可应用为了防止图像的dc成分(亮度)的改变而将dc成分的放大率(增益)设为1.0倍这样的约束条件。具体而言，按照下述式获取增益矢量的最优解g^(k)opt的情况相当于“将dc成分的放大率设为1.0倍而未改变图像整体的亮度”的情况。

[数式9]

上述式能够作为qp(quadraticprogramming)问题进行处理，“n”较小时，能够以较小的计算量解决。并且，如作为一例以下述式表示那样，通过对各滤波器的dc成分的放大率设置限制，能够排除dc成分的放大率的限制(约束条件)。

[数式10]

φ0(0)＝1，φi(0)＝0(1≤i＜n)

<加权的设计>

上述最小二乘法中，如由“wk(ω)”所表示那样，根据频率对频率特性的近似精度进行加权。例如，根据上述近似误差评价函数jlms[g]进行基于最小二乘法的频率特性的近似时，其近似误差评价函数jlms[g]根据频率进行加权。通过调整该加权能够控制画质。即，通过最小二乘法而近似于图像滤波处理p的作为目标的频率特性时，通过对特定的频率调整加权，能够在最小二乘法中提高与特定的频率或特定的像素位置相关的近似精度，并且能够控制画质。

例如，上述最小二乘法中，可将低频带中的加权设定为大于高频带中的加权。通常，在人类的视觉特性上，低频成分比高频成分更容易被感知，因此作为“近似于图像滤波处理p的作为目标的频率特性”的精度使低频成分优先于高频成分，从而能够高精度地处理低频成分。

另外，在此所说的“低频带(低频成分)”及“高频带(高频成分)”表示相对频率范围(频带)。例如，可将采样频率的1/4(＝0.25fs)以下的范围视为“低频带(低频成分)”，并且将大于0.25fs且为0.5fs以下范围视为“高频带(高频成分)”。

并且，在上述最小二乘法中，可根据获取原图像数据d1时的摄影条件，将高频带中的加权设定为大于低频带中的加权。通常，噪声较多时，若滤波器的高频特性差，则会导致噪声放大。因此，在可预想到噪声较多的摄影条件下获取的原图像数据d1的图像滤波处理p中，有时优选作为“近似于图像滤波处理p的作为目标的频率特性”的精度而使高频成分优先于低频成分。

另外，在此所说的“获取原图像数据d1时的摄影条件”并无特别限定。能够将可影响噪声量的任意的因素设为摄影条件，例如可采用光圈值(f值)或成像元件24的摄影感度来作为可影响噪声量的“获取原图像数据d1时的摄影条件”。

并且，上述最小二乘法中的加权可根据原图像数据d1中的像素位置来确定。例如，当通过使用一般用户所使用的通常的数码相机进行拍摄而获取原图像数据d1时，通常主要被摄体配置于图像中央部，因此有重视图像中央部的像素位置的高频成分的倾向。另一方面，在监控摄像机等中摄影范围的边界附近的图像的重要性较高时，有重视图像周边部的像素位置的高频成分的倾向。如此，有时根据原图像数据d1中的像素位置而重要度不同，并且可根据摄像装置的种类或摄影图像的用途(产品)来确定加权较高的像素位置(被优先的像素位置)。

例如，在一般用户所使用的数码相机10所具备的光学系统中，中央部具有通常分辨率较高且不依赖于频率的优异的分辨特性，周边部有分辨性能下降的倾向。因此，在通过使用图1所示的数码相机10进行拍摄而获取的原图像数据d1的图像滤波处理p中，在图像中央部增加高频带的加权，在图像周边部增加低频带的加权，从而能够进行与光学特性相应的画质改善。即，在上述最小二乘法中，在原图像数据i)1的距离图像中心为第1距离以下的像素位置(低像高的像素位置)，可将高频带中的加权设为大于原图像数据d1的距离图像中心比第1距离远的像素位置(高像高的像素位置)。并且，在上述最小二乘法中，在原图像数据d1的距离图像中心比第2距离远的像素位置(高像高的像素位置)，可将低频带中的加权设为大于原图像数据d1的距离图像中心为第2距离以下的像素位置(低像高的像素位置)。

另外，在此所说的“高频带”优选包含于大于0.25fs且为0.5fs以下的范围，“低频带”优选包含于0.25fs以下的范围。并且，在此所说的“第1距离”与“第2距离”既可相同，也可不同。

<滤波器的频率特性不包括频率衰减时的设计>

通过具有如图8所示的串联连接类型的电路结构的滤波处理部41进行多次滤波处理时，优选根据在各滤波器应用部48中应用于处理对象数据d3的滤波器的频率特性是否具有频率衰减来设计控制方法。频率衰减在“由光学系统的点扩散函数表示的点像的扩散(模糊)的程度较大”且“sn比较低”时尤其有效地发挥作用，并且带来抑制高频带中的噪声成分的效果。

例如，在各滤波器应用部48中所使用的滤波器无需具有频率衰减效果时，能够根据下述式设定图10所示的滤波处理部41的各滤波器应用部48中所使用的滤波器的频率特性φn(ω)。

[数式11]

上述式表示当在各滤波器应用部48中所使用的滤波器的频率特性φn(ω)满足“|φn(ω)|＞1”时，使用具有本来的频率特性φn(ω)的滤波器，且当满足“|φn(ω)|≤1”时，使用成为“频率特性(响应)＝1”的滤波器。

另外，各滤波器应用部48中所使用的滤波器无需具有频率衰减效果时，图8～图9及图11所示的滤波处理部41的各滤波器应用部48中所使用的滤波器的频率特性φn(ω)例如能够根据下述式来设定。

[数式12]

并且，过程滤波处理部41的电路结构为如图8所示的串联连接类型时，图像滤波处理p整体的频率特性根据在各滤波器应用部48中所使用的滤波器的频率特性的积来表现。为了与“并联连接类型的图像滤波处理p整体的频率特性”同样地处理该“串联连接类型的图像滤波处理p整体的频率特性”，优选通过将在串联连接类型的图像滤波处理p中所使用的所有滤波器的频率特性对数化而将“积”的问题转换为“和”的问题。此时，通过与具有并联连接类型的电路结构的滤波处理部41相关的增益矢量的最优解g^(k)opt的计算方法相同的运算处理，能够计算与具有串联连接类型的电路结构的滤波处理部41相关的增益矢量的最优解g^(k)opt。另外，在滤波器的频率特性不包括衰减特性的情况中，通过上述对数化，滤波器的频率特性不会成为较大的负值，能够利用下述式进行复数的对数化。

[数式13]

logz＝log|z|+j(∠z+2nπ)

z：复数(＝x+jy＝ree^jθ)

j：虚数单位

rc：绝对值

x＝rccosθ

y＝rcsinθ

θ：偏角(＝∠z)

<滤波器的频率特性包括频率衰减时的设计>

例如，在具有如图8所示的串联连接类型的电路结构的滤波处理部41中，各滤波器应用部48中所使用的滤波器的频率特性包括频率衰减时，优选注意以下方面。即，频率放大率接近0倍时，对数化后的值成为较大的负值，因此在进行对数化处理之后以最小二乘准则进行频率特性的拟合的情况等，可能导致其较大的负值支配频率特性近似的基准。因此，优选在对数化时以预先确定的最小负值进行剪辑(clipping)，或者实行较小地调节容易引起频率衰减的频带的加权等对策。

例如，通过剪辑进行对应时，滤波处理部41在图像滤波处理p的作为目标的频率特性中处理图像数据d2与原图像数据d1的比例小于1的频率中，在多次滤波处理的每一次处理中优选使用将滤波处理数据d6设为与滤波器应用处理数据d4相等的滤波器。

通过以如上所述的方法确定且调整各滤波处理中所使用的增益，与例如关于摄影条件的所有组合保持基于点扩散函数的滤波器(滤波器系数)的情况相比，能够显著减少应保持的参数个数。并且，在通常的方法中，若如点扩散函数那样的像劣化特性不是已知的，则难以适当地进行滤波器设计(滤波器系数设计)，但根据本实施方式，在掌握各像劣化特性之前，可预先结束需要较多的计算量的有限抽头长度的fir滤波器的设计。此时，能够在获取具体的像劣化特性之后通过简单的计算来计算最佳的增益矢量。

<滤波器的设计方法>

接着，对在滤波处理部41的各滤波器应用部48中使用的滤波器的设计方法的具体例进行说明。

图21是表示滤波器获取装置76的功能结构的一例的框图。

进行在各滤波器应用部48中所使用的滤波器的设计及获取的滤波器获取装置76具有滤波器计算部77。本例的滤波器计算部77获取根据原图像数据d1中的多个像素位置(光学系统的多个位置)而确定的多种图像滤波处理(第1图像滤波处理p1～第k图像滤波处理pk(其中“k”为2以上的整数))的频率特性数据，并输出包括基准滤波器hb及方差滤波器hv的多个滤波器。即，滤波器计算部77根据按照原图像数据d1中的多个像素位置(光学系统的多个位置)而确定的多种图像滤波处理p1～pk的频率特性来获取按照多种图像滤波处理p1～pk的频率特性的平均而确定的基准滤波器hb。并且，滤波器计算部77根据多种图像滤波处理p1～pk的频率特性获取根据多种图像滤波处理p1～pk的频率特性的方差而确定的至少一个方差滤波器hv。

图22是表示滤波器计算部77的功能结构的一例的框图。

本例的滤波器计算部77具有平均计算部78、方差计算部79及滤波器特性获取部80。平均计算部78由多种图像滤波处理p1～pk的频率特性数据计算多种图像滤波处理p1～pk的频率特性的平均。方差计算部79由多种图像滤波处理p1～pk的频率特性数据计算多种图像滤波处理p1～pk的频率特性的方差。滤波器特性获取部80根据由平均计算部78计算出的多种图像滤波处理p1～pk的频率特性的平均来计算基准滤波器hb。并且，滤波器特性获取部80根据由平均计算部78计算出的多种图像滤波处理p1～pk的频率特性的平均和由方差计算部79计算出的多种图像滤波处理p1～pk的频率特性的方差来计算方差滤波器hv。

另外，在本例的滤波器计算部77(平均计算部78、方差计算部79及滤波器特性获取部80)中所使用的多种图像滤波处理p1～pk的频率特性数据根据与多个像素位置(光学系统的位置)相对应的光学系统的光学特性而确定。如此，以多个像素位置(光学系统的位置)为基准确定成为滤波器(基准滤波器hb及方差滤波器hv)的计算基础的“多种图像滤波处理p1～pk的频率特性数据”，由此能够计算适于这种多个像素位置(光学系统的位置)的滤波器(基准滤波器hb及方差滤波器hv)。因此，作为这种“多个像素位置(光学系统的位置)”，设想获取原图像数据d1时的“代表性像素位置(光学系统的位置)”，由此能够通过滤波处理部41高精度地实现“图像滤波处理的作为目标的频率特性”。

<多种图像滤波处理的频率特性>

在此所说的“多种图像滤波处理p1～pk”的每一个处理的频率特性构成“图像滤波处理的作为目标的频率特性”，在本例中通过基于拍摄时可采用的每个摄影条件(例如每一个像素位置(光学系统的每一位置))的光学系统的光学特性的频率特性而确定。

例如，“多种图像滤波处理p1～pk的频率特性”为基于光学系统的点扩散函数的频率特性时，根据通过改变可影响点扩散函数的摄影条件(例如像素位置(光学系统的位置))而获得的多种点扩散函数的频率特性来确定“多种图像滤波处理p1～pk的频率特性”。即，能够根据不同摄影条件下的多种点扩散函数的频率特性确定“多种图像滤波处理p1～pk的频率特性”。该“多种点扩散函数”可通过任意方法获取，也可根据实测值获取，还可根据估计值获取。“多种图像滤波处理p1～pk的频率特性”可使用所获取的多种点扩散函数并根据维纳滤波器等的任意的设计基准来计算。

该“多种图像滤波处理p1～pk的频率特性”能够通过任意装置获取，例如，既可以在滤波器获取装置76中获取，也可通过其他装置获取，还可通过滤波器获取装置76的滤波器计算部77从未图示的存储器读出而获取。

<多种图像滤波处理的频率特性的偏差>

多种图像滤波处理的频率特性的偏差可根据单峰型分布来表现，也可根据多峰型分布来表现。

图23是以单峰型分布表示多种图像滤波处理的频率特性的偏差的概念图。图24是以多峰型分布表示多种图像滤波处理的频率特性的偏差的概念图。

基于图23所示的单峰型分布的偏差表现方法为通过一个多维复数正态分布(参考图23的“偏差分布g”)来表现多种图像滤波处理的频率特性的偏差的方法。另一方面，基于多峰型分布的表现方法为通过多个多维复数正态分布(参考图24的“第1偏差分布g1”及“第2偏差分布g2”)来表现多种图像滤波处理的频率特性的偏差的方法。

图23中示出有通过第1滤波处理f1的滤波器的频率特性φ0、第2滤波处理f2的滤波器的频率特性φ1及第3滤波处理f3的滤波器的频率特性φ2表现多种图像滤波处理的频率特性的偏差分布g的情况。并且，图24中示出有通过第1滤波处理f1的滤波器的频率特性(φ0⁽¹⁾、φ0⁽²⁾)、第2滤波处理f2的滤波器的频率特性(φ1⁽¹⁾、φ1⁽²⁾)及第3滤波处理f3的滤波器的频率特性(φ2⁽¹⁾、φ2⁽²⁾)表现构成多种图像滤波处理的频率特性的偏差分布g的第1偏差分布g1及第2偏差分布g2的每一个的情况。另外，图23及图24中图示有作为一例以滤波处理部41具有图10所示的电路结构的情况为前提的滤波器的频率特性φ0～φ2。

多种图像滤波处理的频率特性的偏差具有例如如图23所示那样的椭圆形状的偏差分布g时，为了通过多个滤波处理(图23所示的例子中为第1滤波处理f1～第3滤波处理f3)高精度地实现各图像滤波处理，优选根据偏差分布g的中心、长轴及短轴确定各滤波处理的频率特性φ0、φ1、φ2。同样地，多种图像滤波处理的频率特性的偏差具有例如如图24所示那样的椭圆形状的第1偏差分布g1及第2偏差分布g2时，为了通过多个滤波处理(图24所示的例子中为第1滤波处理f1～第3滤波处理f3)高精度地显示第1偏差分布g1及第2偏差分布g2所包括的各图像滤波处理，优选关于第1偏差分布g1及第2偏差分布g2的每一个，根据中心、长轴及短轴确定各滤波处理的频率特性φ0⁽¹⁾、φ1⁽¹⁾、φ2⁽¹⁾、φ0⁽²⁾、φ1⁽²⁾、φ2⁽²⁾。

<单峰型分布>

接着，对将多种图像滤波处理的频率特性的偏差视为单峰型分布时(参考图23)的、滤波器及增益的设计方法例进行说明。

以下的方法有关一种在实际获取任意个数的多种图像滤波处理的频率特性的偏差样品时，求出能够高精度地补偿其图像滤波处理的频率特性的偏差的所希望个数的基底滤波器(fir滤波器)的频率特性的方法。并且，对将单峰型分布设为多维复数正态分布来进行模型化并进行ml(maximumlikelihood)推定的情况进行说明。

单峰型分布的偏差分布g可根据多维复数正态分布来表现，其多维复数正态分布通过协方差矩阵被赋予特征，并通过下式获得。

[数式14]

在上述式中，“βi”表示通过根据频率(ω)对关于多种图像滤波处理的每一个处理个别地获取的频率特性β(ω)进行离散化而获得的矢量，“nr”表示多种图像滤波处理的数量。因此，上述式的“ψ0”表示多种图像滤波处理的频率特性的平均(平均矩阵)，上述式的“r0”表示多种图像滤波处理的频率特性的方差(协方差矩阵)。

通过按照下述式进行由上述式所表示的协方差矩阵的特征值分解，能够获得特征矢量ψi(其中“i”为1以上且nr以下的整数)。

[数式15]

根据karhunen-loeve展开，为了通过维度m的线性子空间使偏差分布平均地近似，最佳为使用通过从特征值较大的开始依次通过m个相对应的特征矢量ψi(其中“i”为1以上且m以下的整数)展开的子空间。

因此，用于高精度地重现具有单峰型的偏差分布g的多种图像滤波处理的每一个处理的频率特性的滤波处理的滤波器的最佳频率特性φ0～φn-1能够根据下述式来获取。

[数式16]

φ0＝ψ0

φ1＝ψ1

φn-1＝ψn-1

另外，第1滤波处理f1的滤波器的频率特性φ0如上所述相当于多种图像滤波处理的频率特性的分布的中心，因此从对分布中心进行固定而使处理稳定化的观点考虑，优选第1滤波处理f1中的增益固定为“1.0”。对于其他滤波处理中的增益，例如能够通过上述加权最小二乘准则来求出最佳值。

图25是概略表示可分类到单峰型分布的多种图像滤波处理的频率特性的一例的图，横轴表示频率(ω)，纵轴表示响应。在此所说的响应是各图像滤波处理前后的频率成分量的比(＝处理后的频率成分量/处理前数据的频率成分量)，“响应＝1”表示数据在图像滤波处理的前后相同。

图25中示出有4种图像滤波处理(第1图像滤波处理p1、第2图像滤波处理p2、第3图像滤波处理p3及第4图像滤波处理p4)的频率特性。这些4种图像滤波处理p1～p4分别表示不同的频率特性，但频率(ω)为“0”时的响应均表示“1”。

图26是概略表示图25所示的多种图像滤波处理的频率特性的方差的一例的图，横轴表示频率(ω)，纵轴表示方差。另外，为了便于说明，图26并不一定是在严格意义上表示图25所示的多种图像滤波处理p1～p4的频率特性的方差的图。

图25所示的4种图像滤波处理p1～p4，在频率(ω)为“0”时的响应均为“1”，因此频率(ω)为“0”时的方差均为“0”。在图26所示的例子中，关于多种图像滤波处理p1～p4的频率特性，显示出“表示第一大的偏差的成分(参考图26的符号“h1”)”及“表示第二大的偏差的成分(参考图26的符号“h2”)”。

图27(a)～图27(c)是概略表示根据图25所示的多种图像滤波处理的频率特性的平均及方差获取的基底滤波器(特征矢量)的一例的图，图27(a)表示“φ0”，图27(b)表示“φ1”，图27(c)表示“φ2”。

如上所述，在第1滤波处理f1中所使用的滤波器的频率特性φ0优选根据多种图像滤波处理p1～p4的频率特性的分布中心(平均)而确定。

并且，在其他滤波处理中所使用的滤波器的频率特性优选从图26所示的多种图像滤波处理p1～p4的频率特性的偏差(方差)较大的成分依次确定。因此，在第2滤波处理f2中所使用的滤波器的频率特性φ1优选根据多种图像滤波处理p1～p4的频率特性的偏差最大的成分(参考图26的“h1”)而确定。同样地，在第3滤波处理f3中所使用的滤波器的频率特性φ2优选根据多种图像滤波处理的频率特性的偏差第二大的成分(参考图26的“h2”)而确定。

另外，上述例与图像滤波处理p包括第1滤波处理f1～第3滤波处理f3的情况有关，但图像滤波处理p既可由两种滤波处理构成，也可由4种以上的滤波处理构成。例如，由第1滤波处理f1及第2滤波处理f2构成图像滤波处理p时，能够根据上述“φ0”(参考图27(a))确定在第1滤波处理f1中所使用的滤波器的频率特性，并能够根据上述“φ1”(参考图27(b))确定在第2滤波处理f2中所使用的滤波器的频率特性。

图28(a)～图28(b)表示与具有图10所示的电路结构的滤波处理部41所进行的图像滤波处理p(第1滤波处理f1～第3滤波处理f3)相关的频率特性f(ω)(参考图28(a))及增益例(参考图28(b))。

如上所述，从对多种图像滤波处理的频率特性的分布中心进行固定而使处理稳定化的观点考虑，优选第1滤波处理f1中的增益g0固定为“1.0”。因此，图28(b)中例示有增益g0～g2，所述增益g0～g2在对具有图10所示的电路结构的滤波处理部41的各滤波器应用部48中所使用的滤波器进行固定，并且将第1滤波处理f1中的增益g0固定为“1.0”时，用于通过如图28(a)所示的整个系统的频率特性高精度地实现图25所示的图像滤波处理p1～p4的每一个处理的频率特性。

如图28(b)所示，根据上述例，能够将多种图像滤波处理p1～p4的频率特性的数据压缩到3个滤波器的频率特性φ0～φ2(抽头系数)和12个增益(将g0固定为“1.0”时是8个增益)。

如此，本例的滤波处理部41在第1滤波处理f1中，作为“滤波器的频率特性φ0”使用根据图像滤波处理p1～p4的多种频率特性的平均而确定的基准滤波器hb的频率特性来获取滤波器应用处理数据d4-1，在第2滤波处理f2及第3滤波处理f3中，作为“滤波器的频率特性φ1”及“滤波器的频率特性φ2”使用根据图像滤波处理p1～p4的多种频率特性的方差而确定的两个方差滤波器hv的频率特性来获取滤波器应用处理数据d4-2、d4-3。

尤其优选滤波处理部41在第1滤波处理f1中使用“根据按照原图像数据d1中的像素位置而确定的多种图像滤波处理的频率特性的平均而确定的基准滤波器hb”来获取滤波器应用处理数据d4-1，在第2滤波处理f2及第3滤波处理f3中使用“根据按照原图像数据d1中的像素位置而确定的多种图像滤波处理的频率特性的方差而确定的方差滤波器hv”来获取滤波器应用处理数据d4-2、d4-3。在该情况下，优选在多次滤波处理的每一次处理中应用于滤波器应用处理数据d4的增益根据原图像数据d1中的像素位置而确定。

图29是表示根据单峰型分布计算滤波器系数的滤波器计算部77的功能结构的一例的框图。为了由以频率空间所表示的滤波器特性计算以实际空间所表示的滤波器系数，本例的滤波器计算部77除了上述平均计算部78、方差计算部79及滤波器特性获取部80(参考图22)之外还具有抽头系数运算部81。

该滤波器计算部77的抽头系数运算部81获取具有多个抽头且对各抽头分配系数的基准滤波器hb，并且获取具有多个抽头且对各抽头分配系数的至少一个方差滤波器hv。“对各抽头分配系数的方法”并无特别限定，抽头系数运算部81(滤波器计算部77)例如能够根据后述的sage算法或omp算法计算分配到基准滤波器hb及至少一个方差滤波器hv的每一个滤波器的各抽头的系数。

<多峰型分布>

接着，对将多种图像滤波处理的频率特性的偏差作为多峰型分布来处理时(参考图24)的滤波器及增益的设计方法例进行说明。

在图24所示的例子中，在将整体作为一个分布(单峰型分布)处理时，多种图像滤波处理的频率特性的偏差分布能够由图24所示的“偏差分布g”表示，但近似精度变差。另一方面，将多种图像滤波处理的频率特性的偏差分布通过图24的“第1偏差分布g1”及“第2偏差分布g2”进行分离来表示，并将“第1偏差分布g1”及“第2偏差分布g2”的每一个作为独立的多维复数正态分布(多峰型分布)进行处理，从而能够提高近似精度。作为该多峰型分布中的ml推定的参数推定算法，例如能够优选地利用基于em(expectationmaximization)算法的混合正态分布的推定，并能够进行有效的参数推定。

基于多峰型分布的滤波器的确定方法基本上能够以与基于上述单峰型分布的滤波器确定方法相同的方法进行。即，将多种图像滤波处理的频率特性分类到构成多峰型分布的多个分布(图24所示的例子中为第1偏差分布g1及第2偏差分布g2)，关于各分布，能够以与上述单峰型分布的“偏差分布g”相同的步骤求出滤波器。

图30是概略表示可分类到多峰型分布的图像滤波处理的频率特性的一例的图，横轴表示频率(ω)，纵轴表示响应。

图30中示出有6种图像滤波处理(第1图像滤波处理p1、第2图像滤波处理p2、第3图像滤波处理p3、第4图像滤波处理p4、第5图像滤波处理p5及第6图像滤波处理p6)的频率特性。这些6种图像滤波处理p1～p6分别表示不同的频率特性，但频率(ω)为“0”时的响应均表示“1”。

在图30所示的例子中，例如能够将“第1图像滤波处理p1的频率特性数据、第2图像滤波处理p2的频率特性数据及第3图像滤波处理p3的频率特性数据”分类到第1偏差分布g1，并将“第4图像滤波处理p4的频率特性数据、第5图像滤波处理p5的频率特性数据及第6图像滤波处理p6的频率特性数据”分类到第2偏差分布g2。

图31(a)～图31(b)是概略地表示图30所示的多种图像滤波处理的频率特性的方差的一例的图，图31(a)表示分类到第1偏差分布g1的第1图像滤波处理p1～第3图像滤波处理p3的频率特性数据的方差，图31(b)表示分类到第2偏差分布g2的第4图像滤波处理p4～第6图像滤波处理p6的频率特性数据的方差。图31(a)及图31(b)的横轴表示频率(ω)，纵轴表示方差。另外，为了便于说明，图31(a)及图31(b)并不一定是严格意义上表示图30所示的多种图像滤波处理p1～p6的频率特性的方差。

图30所示的6种图像滤波处理p1～p6的频率特性，由于频率(ω)为“0”时的响应均为“1”，因此频率(ω)为“0”时的方差均成为“0”。如图31(a)及图31(b)所示，关于第1偏差分布g1及第2偏差分布g2的每一个偏差分布的“图像滤波处理的频率特性的方差”，显示“表示最大偏差的成分(参考图31(a)及图31(b)的“h1”)”及“表示第二大偏差的成分(参考图31(a)及图31(b)的“h2”)”。

图32(a)～图32(c)是概略地表示根据分类到第1偏差分布g1的第1图像滤波处理p1～第3图像滤波处理p3的频率特性的平均及方差获得的基底滤波器(特征矢量)的一例的图，图32(a)表示“φ0”，图32(b)表示“φ1”，图32(c)表示“φ2”。图33(a)～图33(c)是概略地表示根据分类到第2偏差分布g2的第4图像滤波处理p4～第6图像滤波处理p6的频率特性的平均及方差获取的基底滤波器(特征矢量)的一例的图，图33(a)表示“φ0”，图33(b)表示“φ1”，图33(c)表示“φ2”。

如上所述，在第1滤波处理f1中所使用的滤波器的频率特性φ0优选根据多种图像滤波处理的频率特性的分布的中心(平均)而确定。

并且，在其他滤波处理中所使用的滤波器的频率特性优选根据图31(a)及图31(b)的每一个所示的多种图像滤波处理的频率特性的偏差(方差)较大的成分而确定。因此，在第2滤波处理f2中所使用的滤波器的频率特性φ1优选根据多种图像滤波处理的频率特性的偏差最大的成分(参考图31(a)及图31(b)的“h1”)而确定。同样地，在第3滤波处理f3中所使用的滤波器的频率特性φ2优选根据多种图像滤波处理的频率特性的偏差第二大的成分(参考图31(a)及图31(b)的“h2”)而确定。

图34(a)～图34(b)表示与具有图10所示的电路结构的滤波处理部41所进行的图像滤波处理p(第1滤波处理f1～第3滤波处理f3)有关的频率特性f(ω)(参考图34(a))及增益例(参考图34(b))。在有关图34(a)所示的多峰型分布的频率特性f(ω)中，“φ0⁽ⁱ⁾(ω)”表示在第1滤波处理f1的第1滤波器应用部48-1中所使用的滤波器的频率特性，“g0”表示在第1滤波处理f1的第1增益应用部49-1中所使用的增益。并且，“φ1⁽ⁱ⁾(ω)”表示在第2滤波处理f2的第2滤波器应用部48-2中所使用的滤波器的频率特性，“g1”表示在第2滤波处理f2的第2增益应用部49-2中所使用的增益。并且，“φ2⁽ⁱ⁾(ω)”表示在第3滤波处理f3的第3滤波器应用部48-3中所使用的滤波器的频率特性，“g2”表示在第3滤波处理f3的第3增益应用部49-3中所使用的增益。

各滤波器的频率特性φ1⁽ⁱ⁾(ω)～φ3⁽ⁱ⁾(ω)中的符号“i”表示簇索引，所述簇索引表示按照多峰型分布进行分类的组。例如，分类到第1偏差分布g1的第1图像滤波处理p1～第3图像滤波处理p3中，能够如图34(b)所示那样分配“1”作为簇索引i。另一方面，分类到第2偏差分布g2的第4图像滤波处理p4～第6图像滤波处理p6中，能够如图34(b)所示那样分配“2”作为簇索引i。

另外，图34(b)中例示有增益g0～g2，所述增益g0～g2在对具有图10所示的电路结构的滤波处理部41的各滤波器应用部48中所使用的滤波器进行固定，并且将在第1滤波处理f1中所使用的增益g0固定为“1.0”时，用于通过图34(a)所示的整个系统的频率特性高精度地实现图30所示的图像滤波处理p1～p6的每一个处理的频率特性。

如图34(b)所示，根据上述例子，能够将多种图像滤波处理p1～p6的频率特性的数据压缩为6个滤波器频率特性φ0⁽¹⁾～φ2⁽¹⁾、φ0⁽²⁾～φ2⁽²⁾(抽头系数)和18个增益(将g0固定为“1.0”时是12个增益)。

如此，根据基于多峰型分布的滤波器的确定方法，需要与构成多峰型分布的组(图24所示的例子中为第1偏差分布g1及第2偏差分布62)的个数相应的滤波器组。因此，在利用多峰型分布时，与利用单峰型分布时相比，需要预先存储于存储器的滤波器的数量增加，所需的存储容量也增大。并且，为了将各滤波器与所分类的组建立关联，如上述簇索引那样的相关信息也需要预先存储于存储器。

图35是表示根据多峰型分布计算滤波器系数的滤波器计算部77的功能结构的一例的框图。本例的滤波器计算部77为了将图像滤波处理的多种频率特性分类到构成多峰型分布的多个组，除了上述平均计算部78、方差计算部79、滤波器特性获取部80及抽头系数运算部81(参考图29)之外还具有滤波器组分类部82。

本例的滤波器组分类部82以混合正态分布为基准，将多种图像滤波处理(图30所示的例子中为第1图像滤波处理p1～第6图像滤波处理p6)的频率特性分类到多个滤波器组(图24所示的例子中为第1偏差分布g1及第2偏差分布g2)。

图36是通过滤波器组分类部82分类到多个滤波器组的多种图像滤波处理(频率特性)的概念图。滤波器组分类部82对多种图像滤波处理的频率特性数据的相似性进行分析，并将各图像滤波处理的频率特性分类到对应的滤波器组。在上述例中，通过滤波器组分类部82，第1图像滤波处理p1～第3图像滤波处理p3被分类到第1偏差分布g1的滤波器组，第4图像滤波处理p4～第6图像滤波处理p6被分类到第2偏差分布g2的滤波器组。

构成滤波器计算部77的其他平均计算部78、方差计算部79、滤波器特性获取部80及抽头系数运算部81根据分类到多个滤波器组的多种图像滤波处理的频率特性中多个滤波器组的每一个所包括的多种图像滤波处理的频率特性获取与多个滤波器组的每一个相关的基准滤波器hb及至少一个方差滤波器hv。

根据上述例，在多种图像滤波处理的频率特性的偏差的分布为已知的情况下，能够高精度地设计用于覆盖该偏差的最佳的滤波器。尤其，通过根据多种图像滤波处理的频率特性的偏差的分布选择单峰型分布及多峰型分布中合适的分布类型，能够获取可高精度地重现作为目标的图像滤波处理的频率特性的滤波器(滤波器系数)及增益。

如上所述，根据本实施方式，能够减少滤波器数(数据量)，并能够避免保持与所有条件有关的fir滤波器(滤波器系数(抽头系数))，而能够平均地进行使用了良好的滤波器的图像滤波处理。

<fir滤波器的设计>

接着，对抽头数量设置限制的fir滤波器的设计方法进行说明。

通过利用上述方法灵活地调整滤波器的频率特性，能够设计用于有效地弥补多种图像滤波处理的频率特性的偏差的最佳的滤波器。然而，通过对抽头数量设定限制的fir滤波器实现实际使用的滤波器时，难以理想地获得所希望的频率特性。

通常，以较少的抽头数量实现陡峭的频率特性是非常困难的。尤其与较小的特征值对应的特征矢量倾向于具有陡峭的锯齿形状。因此，即使通过上述方法获取滤波器的理想的频率特性，在没有充分准备实际所使用的滤波器的抽头数量的情况下，也难以充分覆盖多种图像滤波处理的频率特性的偏差。

该问题与如下问题类似，即关于基底为非线性且参数化的函数，以通过尽量较少的数量的基底的线性和使一定矢量近似为目的确定基底的参数。提出有用于解决这种问题的各种方法。例如sage算法为在电波传播中的来波分析等中所使用的算法，并且为根据em算法的构思以使残差最小的方式逐个求出基底的方法。并且，omp算法为在压缩感知(compressadsensing)的领域使用过完备库(ovarcompletedictionary)求出稀疏的系数矢量时所使用的算法。omp的方法本身并不是求出参数化的基底的方法，但通过将选自omp中的库(dictionary)的情况设定改变为选择接近于参数化的基底函数的基底函数情况设定，由此能够将omp的方法应用于fir滤波器的设计。

对sage算法及omp算法的具体运算方法例将在后面说明，滤波器计算部77的抽头系数运算部81(参考图29及图35)能够根据这些算法由偏差分布函数计算分配到至少一个方差滤波器hv的各抽头的系数，所述偏差分布函数为表示多种图像滤波处理的频率特性的方差的偏差分布函数，且为根据分配到基准滤波器hb的各抽头的系数而确定的偏差分布函数(参考后述协方差矩阵“ri”)。

根据后述sage算法及omp算法，滤波器计算部77的抽头系数运算部81在将“i”设为2以上的整数时，获取第1个至第i个方差滤波器hv，并由根据分配到基准滤波器hb的各抽头的系数而确定的偏差分布函数计算分配到第1个方差滤波器hv的各抽头的系数。并且，滤波器计算部77的抽头系数运算部81在将“j”设为2以上且i以下的整数时，由偏差分布函数计算分配到第j个方差滤波器hv的各抽头的系数，所述偏差分布函数根据分配到基准滤波器hb的各抽头的系数和分配到第1个至第j-1个方差滤波器hv的每一个滤波器的各抽头的系数而确定。

在sage算法中，滤波器计算部77的抽头系数运算部81进一步根据偏差分布函数(参考后述协方差矩阵“qj”)来更新分配到基准滤波器hb及至少一个方差滤波器hv中的至少任一个的各抽头的系数，所述偏差分布函数为表示多种图像滤波处理的频率特性的方差的偏差分布函数，且表示根据分配到基准滤波器hb及至少一个方差滤波器hv的每个滤波器的各抽头的系数而确定的残差成分。

另外，sage算法及omp算法在各种文献中被进行说明，例如可参考非专利文献1、非专利文献2及非专利文献3。其中，sage算法及omp算法这两者均以矢量的基底分解为目的，原本就不是处理滤波器设计中的子空间近似，因此需要对计算式适当地加以修改。

<应用了omp算法的最佳滤波器组的计算>

以下对基于omp算法的滤波器设计的一例进行说明。下述各步骤的处理基本上在滤波器计算部77(抽头系数运算部81)中进行，但各步骤的处理的一部分或全部可在其他部中进行。

以下对以单峰型分布为前提的情况进行说明。另外，关于以多峰型分布为前提的情况，如上所述能够应用以单峰型分布为前提的情况。即，通过将多个滤波器组(图24所示的例子中为第1偏差分布g1及第2偏差分布g2)的每一个滤波器作为单峰型分布的偏差分布g进行处理，由此还能够对应以多峰型分布为前提的情况。

·步骤1

首先，通过任意方法获取最接近由上述“ψ0”所表示的多种图像滤波处理的频率特性的平均(中心值)的fir滤波器的抽头系数，并将通过该抽头系数实际实现的滤波器的频率特性作为“在第1滤波处理f1中所使用的滤波器的频率特性φ0”。

·步骤2

根据下述式计算将上述“在第1滤波处理f1中实际使用的滤波器的频率特性φ0”假设为多种图像滤波处理的频率特性的平均(中心值)时的协方差矩阵r0。

[数式17]

·步骤3

如下述式所示，协方差矩阵r0被设定为协方差矩阵r1，参数“i”被设定为“1”。

[数式18]

ri＝r0

i←1

·步骤4

与协方差矩阵ri的最大的特征值对应的特征矢量ψi通过上述方法求出。

·步骤5

最接近特征矢量ψi的频率特性的fir滤波器的抽头系数通过任意方法来获取，并通过该抽头系数而实际实现的滤波器的频率特性被设定为“φi”。具有该频率特性φi的滤波器与在第“i+1”滤波处理中所使用的滤波器相对应，若例如为“i＝1”，则求出在第2滤波处理f2中所使用的滤波器的频率特性φ2。与该“φi+1”相关的滤波器的抽头系数存储于未图示的存储器。

·步骤6

将已经求出的“φ1～φi”作为基底，从协方差矩阵排除可通过该基底的展开子空间表现的成分，并计算残差。例如，若将“i”设为3以上的整数而定义为“φi＝[φ1φ2……φi]”，则在用“φi⁺”表示φi的moore-penrose广义逆时，由“φiφi⁺”来表示对span{φ1，φ2，……，φi}的正投影矩阵。若使用该正投影矩阵φiφi⁺，则协方差矩阵“ri+1”由下述式所表示。

[数式19]

1：单位矩阵

·步骤7

如下述式那样重新设定“i”作为“i＝i+1”，反复“步骤4”～“步骤7”直至成为“i＝n-1”。以这种方法求出滤波器的频率特性φ1～φn-1。

[数式20]

i←i+1

<应用了sage算法的最佳滤波器组的计算>

接着，对基于sage算法的滤波器设计的一例进行说明。以下对以单峰型分布为前提的情况进行说明，但在对以多峰型分布为前提的情况也可应用本例的方面与上述omp算法相同。

sage算法在以下两个方面与omp算法不同：是基于只选择进行上述步骤6中的协方差矩阵的残差的更新的基底(fir滤波器)的减法运算的算法；在暂时求出所有基底之后也对各基底继续单独进行更新。

更具体而言，上述omp算法的步骤1～步骤5在sage算法中也同样地进行。其中，在上述omp算法的步骤6中所使用的协方差矩阵“ri+1”在sage算法中通过下述式求出。

[数式21]

ri+1＝(i-φiφi^h)ri(i-φiφi^h)^h

上述omp算法的步骤7在sage算法中也同样地进行。其中，sage算法中，在步骤7之后进行下述步骤8～步骤12。

·步骤8

如由下述式所表示那样，参数“j”被设定为初始值“1”。

[数式22]

j←1

·步骤9

如由下述式所表示那样，从协方差矩阵排除可由排除了第j个基底而得的基底的展开子空间表现的成分，并计算残差。

[数式23]

ψj＝[φ1φ2…φj-1φj+1…φn-1]

·步骤10

表示由上述式所表示的残差成分的与协方差矩阵qj的最大的特征值对应的特征矢量ψj通过上述方法求出。

·步骤11

最接近特征矢量ψi的频率特性的fir滤波器的抽头系数通过任意方法来获取，并通过该抽头系数而实际实现的滤波器的频率特性被设定为“φj”。由此在第“j+1”滤波处理中所使用的滤波器的频率特性φj(抽头系数)被更新，并存储到未图示的存储器。

·步骤12

如由下述式所表示，改变参数“j”的同时反复进行“步骤9”～“步骤12”，直至通过下述式所定义的整体的近似误差“jtotal”达到特定的目标范围内，或者循环次数(计算时间)达到特定的上限为止。

[数式24]

φall＝[φ1φ2…φn-1]

tr：trace(对角和)

通过利用上述sage算法或omp算法，只要能够掌握多种图像滤波处理的频率特性的偏差(例如平均及方差)，就能够高精度地设计fir滤波器的抽头系数。并且，在掌握个别的具体的图像滤波处理的频率特性之前，能够确定在图像滤波处理(多个滤波处理)中可实际使用的滤波器的抽头系数。

<其他变形例>

上述各功能结构可通过任意的硬件、软件或两者的组合实现。例如，对使计算机执行上述各装置及处理部中的图像处理方法(图像处理步骤及功能)、增益获取方法(增益获取处理步骤及功能)及滤波器获取方法(滤波器获取处理步骤及功能)的程序、记录了该程序的计算机可读取的记录介质(非暂时记录介质)、或者可安装该程序的计算机也能够应用本发明。

并且，图像滤波处理(多次滤波处理)的目的也并无特别限定，在各滤波处理(各滤波器应用部48)中，可使用以改善画质为目的的基于点扩散函数的复原滤波器或轮廓增强滤波器、以赋予特殊效果为目的的艺术滤波器或模糊滤波器等各种滤波器。

<对edof系统的应用例>

例如，对于针对通过具有被放大的景深(焦深)(edof：extendeddepthoffield(focus))的光学系统(摄影透镜等)拍摄获取的图像数据(原图像数据d1)的复原处理，也能够应用本发明所涉及的图像滤波处理。针对通过edof光学系统在景深(焦深)被放大的状态下拍摄获取的模糊图像的图像数据进行复原处理，从而能够在广范围内复原生成对焦状态的高分辨率的图像数据。此时，使用复原滤波器进行复原处理，所述复原滤波器为基于edof光学系统的光学传递函数(psf、otf、mtf、ptf等)的复原滤波器，并且具有设定成能够在被放大的景深(焦深)的范围内进行良好的图像复原的滤波器系数的复原滤波器。

以下对与经由edof光学系统摄影获取的图像数据的复原相关的系统(edof系统)的一例进行说明。另外，在以下所示的例子中，对针对由去马赛克处理后的图像数据(rgb数据)获得的亮度信号(y数据)进行复原处理的例子进行说明，但进行复原处理的时机并无特别限定，例如可对“去马赛克处理前的图像数据(马赛克图像数据)”或“去马赛克处理后且亮度信号转换处理前的图像数据(去马赛克图像数据)进行复原处理。

图37是表示具备edof光学系统的摄像模块101的一方式的框图。本例的摄像模块(数码相机等)101包含edof光学系统(透镜单元)110、成像元件112、ad转换部114及复原处理块(图像处理部35)120。

图38是表示edof光学系统110的一例的图。本例的edof光学系统110具有单焦点的被固定的摄影透镜110a及配置于光瞳位置的滤光器111。滤光器111调制相位，并以获得被放大的景深(焦深)(edof)的方式将edof光学系统110(摄影透镜110a)edof化。如此，摄影透镜110a和滤光器111构成调制相位来扩大景深的透镜部。

另外，edof光学系统110根据需要包含其他构成要件，例如在滤光器111附近配设有光圈(省略图示)。并且，滤光器111可以是一个，也可以组合多个。并且，滤光器111仅仅是光学相位调制机构的一例，还可以通过其他机构实现edof光学系统110(摄影透镜110a)的edof化。例如，可通过以具有与本例的滤光器111相同功能的方式进行透镜设计的摄影透镜110a实现edof光学系统110的edof化代替滤光器111的设置。

即，能够通过使对成像元件112的受光面的成像的波面发生变化的各种机构，实现edof光学系统110的edof化。例如，可将“厚度发生变化的光学元件”、“折射率发生变化的光学元件(折射率分布型波面调制透镜等)”、“通过对透镜表面进行编码等而厚度或折射率发生变化的光学元件(在波面调制混合式透镜、透镜面上作为相位面而形成的光学元件等)”、“能够调制光的相位分布的液晶元件(液晶空间相位调制元件等)”用作edof光学系统110的edof化机构。如此，不仅能够对可通过光波面调制元件(滤光器111(相位板))形成规则地分散而得的图像的情况应用本发明，而且能够对可不使用光波面调制元件而通过摄影透镜110a本身形成与使用光波面调制元件时相同的分散图像的情况应用本发明。

图38所示的edof光学系统110可以省略机械地进行调焦的调焦机构，因此能够实现小型化，可优选搭载于带相机的移动电话或移动信息终端。

通过被edof化的edof光学系统110之后的光学像成像于图37所示的成像元件112，在此转换成电信号。

成像元件112由以规定的图案排列(拜耳排列、g条纹r/g全方格、x-trans排列或蜂窝排列等)配置成矩阵状的多个像素构成，各像素包含微透镜、滤色器(本例中为rgb滤色器)及光电二极管而构成。经由edof光学系统110入射到成像元件112的受光面的光学像通过排列于该受光面的各光电二极管而转换成与入射光量相应的量的信号电荷。并且，积蓄在各光电二极管的r、g、b的信号电荷作为每个像素的电压信号(图像信号)被依次输出。

ad转换部114将从成像元件112按每个像素被输出的模拟r、g、b图像信号转换成数字rgb图像信号。通过ad转换部114转换成数字图像信号的数字图像信号被加入到复原处理块120。

复原处理块120例如包括黑电平调整部122、白平衡增益部123、伽马处理部124、去马赛克处理部125、rgb/ycrcb转换部126及y信号复原处理部127。

黑电平调整部122对从ad转换部114输出的数字图像信号实施黑电平调整。在黑电平调整中，可采用公知的方法。例如，在着眼于某一有效光电转换元件的情况下，求出与在包括该有效光电转换元件的光电转换元件行中所包含的多个0b光电转换元件的每一个对应的暗电流量获取用信号的平均值，从与该有效光电转换元件对应的暗电流量获取用信号减去该平均值，从而进行黑电平调整。

白平衡增益部123进行与在调整了黑电平数据的数字图像信号中所包含的rgb各颜色信号的白平衡增益对应的增益调整。

伽马处理部124进行执行半色调等的灰度校正的伽马校正，使得白平衡调整后的r、g、b图像信号成为期望的伽马特性。

去马赛克处理部125对伽马校正后的r、g、b图像信号施加去马赛克处理。具体而言，去马赛克处理部125通过对r、g、b的图像信号施加颜色插值处理，生成从摄像元件112的各受光像素输出的一组图像信号(r信号、g信号、b信号)。即，虽然在颜色去马赛克处理前，来自各受光像素的像素信号是r、g、b的图像信号中的任一个图像信号，但在颜色去马赛克处理后，输出与各受光像素对应的r、g、b信号的3个像素信号的组。

rgb/ycrcb转换部126将经去马赛克处理的每个像素的r、g、b信号转换为亮度信号y和色差信号cr、cb，并输出每个像素的亮度信号y及色差信号cr、cb。

y信号复原处理部127根据预先存储的复原滤波器，对来自r6b/ycrcb转换部126的亮度信号y进行复原处理。复原滤波器例如包括具有7×7的核尺寸的反卷积核(与m＝7、n＝7的抽头数量对应)和与该反卷积核对应的运算系数(与复原增益数据、滤波系数对应)，使用于光学滤波器111的相位调制量的反卷积处理(反卷积运算处理)。另外，复原滤波器将与光学滤波器111对应的部分存储到未图示的存储器(例如，附随地设有y信号复原处理部127的存储器)中。此外，反卷积核的核尺寸并不限于7×7。另外，y信号复原处理部127具有上述图像处理部35中的锐化处理的功能。

接着，对基于复原处理块120的复原处理进行说明。图39是表示基于图37所示的复原处理块120的复原处理流程的一例的图。

在黑电平调整部122的一个输入中，由ad转换部114被施加数字图像信号，在其他输入中被施加黑电平数据，黑电平调整部122根据数字图像信号减去黑电平数据，并将减去了黑电平数据的数字图像信号输出到白平衡增益部123(s41)。由此，在数字图像信号中不包括黑电平成分，表示黑电平的数字图像信号成为0。

对进行黑电平调整后的图像数据依次实施通过白平衡增益部123、伽马处理部124进行的处理(s42及s43)。

被伽马校正的r、g、b信号在去马赛克处理部125中进行去马赛克处理之后，在rgb/ycrcb转换部126中转换为亮度信号y和色差信号cr、cb(s44)。

y信号复原处理部127进行对亮度信号y应用edof光学系统110的光学滤波器111的相位调制量的反卷积处理的复原处理(s45)。即，y信号复原处理部127进行与以任意的处理对象的像素为中心的规定单位的像素组对应的亮度信号(在此为7×7像素的亮度信号)和预先存储在存储器等中的复原滤波器(7×7的反卷积核和其运算系数)的反卷积处理(反卷积运算处理)。y信号复原处理部127通过以覆盖摄像面的整个区域的方式反复将该规定单位的每个像素组的反卷积处理，从而进行去除图像整体的像模糊的复原处理。复原滤波器是根据实施反卷积处理的像素组的中心的位置而确定的。即，对接近的像素组应用共同的复原滤波器。进一步为了简化复原处理，优选对所有像素组应用共同的复原滤波器。

如图40(a)所示，通过edof光学系统110之后的亮度信号的点像(光学像)作为较大的点像(模糊的图像)成像于成像元件112，但通过y信号复原处理部127中的反卷积处理而复原为如图40(b)所示那样较小的点像(高分辨率的图像)。

如上所述，通过对去马赛克处理后的亮度信号应用复原处理，无需按rgb不同而具有复原处理的参数，能够使复原处理高速化。此外，由于不将与位于分散的位置的r、g、b的像素对应的r、g、b的图像信号分别汇集为一个单位而进行反卷积处理，而是将接近的像素的亮度信号彼此以预定的单位汇集，对该单位应用共同的复原滤波器而进行反卷积处理，所以复原处理的精度提高。另外，关于色差信号cr、cb，在基于肉眼的视觉的特性上，即使在复原处理中不提高分辨率，在画质上也被允许。此外，在以如jpeg这样的压缩形式来记录图像的情况下，色差信号以比亮度信号高的压缩率被压缩，所以缺少在复原处理中提高分辨率的必要性。这样一来，能够兼顾复原精度的提高和处理的简化及高速化。

对于如以上进行说明那样的edof系统的复原处理，也能够应用上述实施方式所涉及的图像滤波处理。

并且，能够应用本发明的方式并不限定于数码相机及计算机(服务器)，除了以摄像为主要功能的相机类之外，对于除了摄像功能以外还具备摄像以外的其他功能(通话功能、通信功能、其他计算机功能)的移动设备类，也能够应用本发明。作为能够应用本发明的其他方式，例如可举出具有相机功能的移动电话和智能手机、pda(personaldigitalassistants)、便携式游戏机。以下，对能够应用本发明的智能手机的一例进行说明。

<对智能手机的应用例>

图41是表示智能手机201的外观的图。图41所示的智能手机201具有平板状框体202，在框体202的一侧面具备作为显示部的显示面板221与作为输入部的操作面板222成为一体的显示输入部220。并且，这种框体202具备扬声器231、麦克风232、操作部240及相机部241。另外，框体202的结构并不限定于此，例如能够采用显示部与输入部独立的结构，或者采用具有折叠结构或滑动机构的结构。

图42是表示图41所示的智能手机201的结构的框图。如图42所示，作为智能手机的主要构成要件，具备无线通信部210、显示输入部220、通话部230、操作部240、相机部241、存储部250、外部输入输出部260、gps(globalpositioningsystem)接收部270、动作传感器部280、电源部290及主控制部200(包括上述主体控制器25)。并且，作为智能手机201的主要功能，具备经由基站装置bs和移动通信网nw进行移动无线通信的无线通信功能。

无线通信部210根据主控制部200的命令，对容纳于移动通信网nw的基站装置bs进行无线通信。使用该无线通信，进行语音数据、图像数据等各种文件数据、电子邮件数据等的收发、web数据或流数据等的接收。

显示输入部220是通过主控制部200的控制，显示图像(静态图像及动态图像)和文字信息等而在视觉上向用户传递信息并且检测针对所显示的信息的用户操作的所谓的触控面板，具备显示面板221及操作面板222。

显示面板221是将lcd(liquidcrystaldisplay)、oeld(organicelectro-luminescencedisplay)等用作显示设备的装置。操作面板222是以能够视觉辨认显示于显示面板221的显示面上的图像的方式载置，并检测通过用户的手指或触控笔操作的一个或多个坐标的设备。若通过用户的手指或触控笔操作该设备，则将因操作而产生的检测信号输出至主控制部200。接着，主控制部200根据所接收的检测信号检测显示面板221上的操作位置(坐标)。

如图41所示，作为本发明的摄像装置的一实施方式来例示的智能手机201的显示面板221与操作面板222成为一体而构成显示输入部220，但配置成操作面板222完全覆盖显示面板221。采用该配置时，操作面板222可以对显示面板221以外的区域也具备检测用户操作的功能。换言之，操作面板222可具备针对与显示面板221重叠的重叠部分的检测区域(以下，称为显示区域)和针对除此以外的不与显示面板221重叠的外缘部分的检测区域(以下，称为非显示区域)。

另外，可使显示区域的大小与显示面板221的大小完全一致，但无需一定使两者一致。并且，操作面板222可具备外缘部分和除此以外的内侧部分这两个感应区域。而且，外缘部分的宽度根据框体202的大小等而适当设计。此外，作为在操作面板222中所采用的位置检测方式，可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，可采用任意方式。

通话部230具备扬声器231和麦克风232，所述通话部将通过麦克风232输入的用户的语音转换成能够在主控制部200中处理的语音数据来输出至主控制部200，或者对通过无线通信部210或外部输入输出部260接收的语音数据进行解码而从扬声器231输出。并且，如图41所示，例如能够将扬声器231搭载于与设置有显示输入部220的面相同的面，将麦克风232搭载于框体202的侧面。

操作部240为使用键开关等的硬件键，且接收来自用户的命令。例如，如图41所示，操作部240搭载于智能手机201的框体202的侧面，且是若被手指等按下则开启，若将手指移开则通过弹簧等的复原力而成为关闭状态的按钮式开关。

存储部250存储主控制部200的控制程序和控制数据、应用软件、将通信对象的名称和电话号码等建立关联的地址数据、所收发的电子邮件的数据、通过web浏览下载的web数据和已下载的内容数据，并且暂时存储流数据等。并且，存储部250由智能手机内置的内部存储部251和具有装卸自如的外部存储器插槽的外部存储部252构成。另外，构成存储部250的各个内部存储部251与外部存储部252各自通过使用闪存类型(flashmemorytype)、硬盘类型(harddisktype)、微型多媒体卡类型(multimediacardmicrotype)、卡类型的存储器(例如，microsd(注册商标)存储器等)、ram(randomaccessmemory)或rom(readonlymemory)等存储介质来实现。

外部输入输出部260发挥与连结于智能手机201的所有外部设备的接口的作用，并用于通过通信等(例如，通用串行总线(usb)、ieee1394等)或网络(例如，互联网、无线lan、蓝牙(bluetooth(注册商标))、rfid(radiofrequencyidentification)、红外线通信(infrareddataassociation：irda)(注册商标)、uwb(ultrawideband)(注册商标)或紫蜂(zigbee)(注册商标)等)直接或间接地与其他外部设备连接。

作为与智能手机201连结的外部设备，例如有：有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡插槽连接的存储卡(memorycard)或sim(subscriberidentitymodulecard)/uim(useridentitymodulecard)卡、经由音频/视频i/o(input/output)端子连接的外部音频/视频设备、无线连接的外部音频/视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的pda、有/无线连接的耳机等。外部输入输出部能够将从这种外部设备接收到传送的数据传递至智能手机201内部的各构成要件、或将智能手机201内部的数据传送至外部设备。

gps接收部270按照主控制部200的命令，接收从gps卫星st1～stn发送的gps信号，执行基于所接收的多个gps信号的测位运算处理，检测智能手机201的包括纬度、经度、高度的位置。gps接收部270在能够从无线通信部210或外部输入输出部260(例如无线lan)获取位置信息时，还能够利用该位置信息检测位置。

动作传感器部280例如具备3轴加速度传感器等，根据主控制部200的命令，检测智能手机201的物理动作。通过检测智能手机201的物理动作，可检测智能手机201的移动方向或加速度。该检测结果被输出至主控制部200。

电源部290按照主控制部200的命令，向智能手机201的各部供给积蓄在电池(未图示)中的电力。

主控制部200具备微处理器，并根据存储部250所存储的控制程序或控制数据进行动作，集中控制智能手机201的各部。并且，主控制部200为了通过无线通信部210进行语音通信或数据通信，具备控制通信系统的各部的移动通信控制功能及应用处理功能。

应用处理功能通过主控制部200根据存储部250所存储的应用软件进行动作来实现。作为应用处理功能，例如有控制外部输入输出部260来与对象设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、浏览web页的web浏览功能等。

并且，主控制部200具备根据接收数据或所下载的流数据等图像数据(静态图像或动态图像的数据)而在显示输入部220显示影像等图像处理功能。图像处理功能是指主控制部200对上述图像数据进行解码，对该解码结果实施图像处理并将图像显示于显示输入部220的功能。

而且，主控制部200执行对显示面板221的显示控制和检测通过操作部240、操作面板222进行的用户操作的操作检测控制。

通过执行显示控制，主控制部200显示用于启动应用软件的图标或滚动条等软件键，或者显示用于创建电子邮件的窗口。另外，滚动条是指用于针对无法完全落入显示面板221的显示区域的较大图像等，接收使图像的显示部分移动的命令的软件键。

并且，通过执行操作检测控制，主控制部200检测通过操作部240进行的用户操作，或者通过操作面板222接收对上述图标的操作或对上述窗口的输入栏的字符串的输入，或者接收通过滚动条进行的显示图像的滚动请求。

而且，通过执行操作检测控制，主控制部200具备判定对操作面板222进行操作的位置是与显示面板221重叠的重叠部分(显示区域)还是除此以外的不与显示面板221重叠的外缘部分(非显示区域)，并控制操作面板222的感应区域或软件键的显示位置的触控面板控制功能。

并且，主控制部200还能够检测对操作面板222的手势操作，并根据检测出的手势操作执行预先设定的功能。所谓手势操作表示并非以往的单纯的触控操作，而是通过手指等描绘轨迹、或者同时确定多个位置、或者组合这些来对多个位置中至少一个描绘轨迹的操作。

相机部241是使用cmos或ccd等成像元件进行电子摄影的数码相机。并且，相机部241能够通过主控制部200的控制，将通过拍摄获得的图像数据转换成例如jpeg等的被压缩的图像数据并记录于存储部250，或者能够通过外部输入输出部260和无线通信部210输出。在图41所示的智能手机201中，相机部241搭载于与显示输入部220相同的面，但相机部241的搭载位置并不限于此，还可搭载于显示输入部220的背面，或者也可以搭载有多个相机部241。另外，搭载有多个相机部241时，还能够切换供于拍摄的相机部241来单独进行拍摄、或者同时使用多个相机部241来进行拍摄。

并且，相机部241能够利用于智能手机201的各种功能中。例如，能够在显示面板221显示由相机部241获取的图像，或者能够作为操作面板222的操作输入之一而利用相机部241的图像。并且，当gps接收部270检测位置时，还能够参考来自相机部241的图像来检测位置。而且，还能够参考来自相机部241的图像，不使用3轴加速度传感器或者与3轴加速度传感器并用来判断智能手机201的相机部241的光轴方向，或判断当前的使用环境。当然，还能够在应用软件内利用来自相机部241的图像。

另外，能够在静态图像或动态图像的图像数据上附加通过gps接收部270获取的位置信息、通过麦克风232获取的语音信息(也可通过主控制部等进行语音文本转换而成为文本信息)、通过动作传感器部280获取的姿势信息等来记录于存储部250，或者还能够通过外部输入输出部260或无线通信部210输出。

上述图像处理部35(滤波处理部41)例如可通过主控制部200来实现。

本发明并不限定于上述实施方式，当然也能够在不脱离本发明的宗旨的范围内进行各种变形。

符号说明

10-数码相机，11-透镜单元，12-相机主体，14-透镜，15-光圈，17-光学系统操作部，18-透镜单元控制器，19-透镜单元存储部，20-透镜单元输入输出部，24-成像元件，25-主体控制器，26-用户界面，27-显示部，28-相机主体输入输出部，29-主体存储部，30-输入输出接口，34-设备控制部，35-图像处理部，36-显示控制部，40-预处理部，41-滤波处理部，42-后处理部，43-增益确定部，44-增益候补数据存储部，45-增益获取部，47-滤波器应用块，48-滤波器应用部，49-增益应用部，50-处理数据计算部，51-处理数据获取部，52-加法器，54-反复运算判定部，55-增益供给部，56-滤波器供给部，60-参考图像获取部，61-参考图像分析部，62-目标频率特性获取部，63-应用增益计算部，66-频率分析部，67-目标频率特性确定部，68-频率特性存储部，70-增益应用块，70-1-第1增益块，70-2-第2增益块，71-位置坐标计算部，72-1-第1增益输出部，72-2-第2增益输出部，73-加权系数确定部，74-加权调整部，75-加权加算部，76-滤波器获取装置，77-滤波器计算部，78-平均计算部，79-方差计算部，80-滤波器特性获取部，81-抽头系数运算部，82-滤波器组分类部，92-计算机，93-计算机输入输出部，94-计算机控制器，95-显示器，96-网络，97-服务器，98-服务器输入输出部，99-服务器控制器，101-摄像模块，110-edof光学系统，110a-摄影透镜，111-滤光器，112-成像元件，114-ad转换部，120-复原处理块，122-黑电平调整部，123-白平衡增益部，124-伽马处理部，125-去马赛克处理部，126-ycrcb转换部，127-y信号复原处理部，200-主控制部，201-智能手机，202-框体，210-无线通信部，220-显示输入部，221-显示面板，222-操作面板，230-通话部，231-扬声器，232-麦克风，240-操作部，241-相机部，250-存储部，251-内部存储部，252-外部存储部，260-外部输入输出部，270-gps接收部，280-动作传感器部，290-电源部。