图像处理装置、摄像装置、图像处理方法以及程序与流程

本发明涉及一种图像处理装置、摄像装置、图像处理方法以及程序，尤其涉及一种锐化处理。

背景技术：

为了改善通过数码相机等摄像装置摄影获取的图像数据的画质，通常进行锐化处理。锐化处理为通过将锐化滤波器应用于图像数据来消除图像的模糊等的处理，例如已知有轮廓增强处理及点像复原处理等。

例如在专利文献1所公开的图像处理装置中，进行使用了基于光学传递函数的恢复滤波器的图像恢复处理。

并且，在专利文献2以及专利文献3所公开的摄像系统中，进行使用了核维纳滤波器的复原处理。

以往技术文献

专利文献

专利文献1：日本特开2012-156715号公报

专利文献2：日本特开2009-124567号公报

专利文献3：日本特开2009-124569号公报

发明的概要

发明要解决的技术课题

应用于成为锐化处理对象的图像数据的锐化滤波器优选根据摄影条件或光学系统的光学特性来规定。若使用对应于与实际摄影条件不同的摄影条件的锐化滤波器或对应于与在摄影中使用的光学系统的光学特性不同的光学特性的锐化滤波器进行锐化处理，则不仅得不到充分的锐化效果，而且有时反而使画质变差。

因此，在进行锐化处理的情况下，优选准确地掌握摄影条件或光学系统的光学特性来选定适当的滤波器。尤其在根据光学传递函数(点扩散函数等)制作锐化滤波器的情况下，要求特定与使用于摄影的光学系统的光学特性或其他摄影条件(光圈值(F值)、焦距等)相应的适当的光学传递函数。

例如在专利文献1的图像处理装置中，通过分析多个图像来获取光学传递特性，或者具有二维数据的恢复滤波器本身被用作光学传递特性。并且，在专利文献2以及专利文献3的摄像系统中，对图像数据进行分析来获取模糊点像状态数据，并根据该模糊点像状态数据求出与模糊状态相应的复原系数。

在这些专利文献1～3所记载的装置以及系统中，在适当地获取图像恢复处理以及图像复原处理(锐化处理)所需的信息的情况下，能够适当地进行处理，但是在无法获取处理所需的信息的情况下，无法完成处理。

在实际锐化处理中，有时无法获取光学系统的光学特性或其他摄影条件。例如，在数码相机中进行基于光学传递函数的锐化处理的情况下，通常利用保存于透镜单元或相机主体的光学传递函数或锐化滤波器。但是，有时在透镜单元以及相机主体中均未保存实际使用的透镜单元(光学系统)的光学传递函数或锐化滤波器。

并且，在相机主体通过与透镜单元的通信来获取光圈值或焦距等摄影条件的实例中，存在使用于摄影的透镜单元并不与相机主体对应而不具有与相机主体的通信功能的情况。在该情况下，相机主体无法从透镜单元获取摄影条件。并且，还有如下实例：即使在使用于摄影的透镜单元具有与相机主体的通信功能的情况下，也因使用环境(冲击、温度等)而发生通信不良，相机主体无法从透镜单元获取摄影条件。

如上所述，存在因各种因素而无法获取光学系统的光学传递函数或摄影条件的情况，另一方面存在即使在这种条件下也希望尽可能适当地实施锐化处理的需求。

本发明是鉴于上述情况而完成的，其目的在于提供一种即使在无法获取光学系统的光学传递函数或摄影条件的情况下，也能够获取可使用的锐化滤波器的技术。

用于解决技术课题的手段

本发明的一方式涉及一种图像处理装置，其具备：频率分析部，其获取通过使用了第1光学系统的被摄体像的摄影而获取的第1图像数据以及通过使用了第2光学系统的被摄体像的摄影而获取的第2图像数据各自在频域中的数据；光学特性获取部，其对第1图像数据在频域中的数据与第2图像数据在频域中的数据进行比较，获取与第2光学系统的光学特性相关的频率特性数据；以及滤波器获取部，其根据与第2光学系统的光学特性相关的频率特性数据，从与第1光学系统建立关联的多个锐化滤波器中获取与第2光学系统建立关联的锐化滤波器。

根据本方式，即使在通过使用了第2光学系统的被摄体像的摄影而获取的第2图像数据的锐化处理中无法获取光学传递函数或摄影条件，也能够从与第1光学系统建立关联的多个锐化滤波器中获取“与第2光学系统建立关联的锐化滤波器”。

优选滤波器获取部获取从与第1光学系统建立关联的多个锐化滤波器中获取的锐化滤波器、即频率特性最接近与第2光学系统的光学特性相关的频率特性数据的锐化滤波器来作为与第2光学系统建立关联的锐化滤波器。

根据本方式，能够获取锐化精度高的锐化滤波器作为与第2光学系统建立关联的锐化滤波器。

优选光学特性获取部根据第1图像数据在频域中的数据与第2图像数据在频域中的数据的比获取与第2光学系统的光学特性相关的频率特性数据。

根据本方式，能够根据第1图像数据在频域中的数据与第2图像数据在频域中的数据的比获取锐化精度高的锐化滤波器作为与第2光学系统建立关联的锐化滤波器。

优选第1图像数据不接受锐化处理，所述锐化处理使用从与第1光学系统建立关联的多个锐化滤波器中根据摄影条件获取的锐化滤波器，在通过a表示第1图像数据在频域中的数据，通过b表示第2图像数据在频域中的数据，通过c表示响应时，光学特性获取部获取通过a/b×c表示的与第2光学系统的光学特性相关的频率特性数据，其中，所述响应表示应用从与第1光学系统建立关联的多个锐化滤波器中根据第1图像数据的摄影条件获取的锐化滤波器之后的第1图像数据相对于应用该锐化滤波器之前的第1图像数据的每个频率的比率。

根据本方式，能够考虑对第1图像数据的锐化处理来获取与第2光学系统建立关联的锐化滤波器。

优选在通过应用锐化滤波器之后的图像数据相对于应用锐化滤波器之前的图像数据的每个空间频率的比率表示与第1光学系统建立关联的多个锐化滤波器各自的每个频率的响应的情况下，数据滤波器获取部根据面积从与第1光学系统建立关联的多个锐化滤波器中获取与第2光学系统建立关联的锐化滤波器，所述面积在将横轴的基准设为空间频率、将纵轴的基准设为响应的坐标系中，由通过光学特性获取部获取的与第2光学系统的光学特性相关的频率特性数据和锐化滤波器的响应包围。

根据本方式，能够根据在上述坐标系中由“与第2光学系统的光学特性相关的频率特性数据”和“锐化滤波器的响应”包围的面积，获取锐化精度高的锐化滤波器作为与第2光学系统建立关联的锐化滤波器。

优选滤波器获取部获取选自与第1光学系统建立关联的多个锐化滤波器中的锐化滤波器、即面积最小的锐化滤波器来作为与第2光学系统建立关联的锐化滤波器，所述面积在坐标系中由通过光学特性获取部获取的与第2光学系统的光学特性相关的频率特性数据和锐化滤波器的响应包围。

根据本方式，由于获取上述面积最小的锐化滤波器作为与第2光学系统建立关联的锐化滤波器，因此能够获取锐化精度高的锐化滤波器作为与第2光学系统建立关联的锐化滤波器。

优选通过对同一被摄体像进行摄影来获取第1图像数据和第2图像数据。

根据本方式，由于第1图像数据和第2图像数据具有相互近似的图像特性，因此能够从与第1光学系统建立关联的多个锐化滤波器中高精度地获取与第2光学系统建立关联的锐化滤波器。

优选图像处理装置还具备滤波器处理部，所述滤波器处理部将滤波器获取部所获取的锐化滤波器应用于第2图像数据。

根据本方式，能够对第2图像实施良好的锐化处理。

优选第2光学系统的光学特性为第2光学系统的光学传递函数。

根据本方式，能够根据第2光学系统的光学传递函数获取与第2光学系统建立关联的锐化滤波器。另外，光学传递函数(Optical Transfer Function：OTF)包括点扩散函数(Point Spread Function：PSF)、调制传递函数(Mod ulation Transfer Function：MTF)以及相位传递函数(Phase Transfer Function：PTF)。

优选图像处理装置还具备图像数据获取部，所述图像数据获取部获取通过使用了第2光学系统的被摄体像的摄影而获取的多个第2图像数据的评价数据，并根据评价数据从多个第2图像数据中获取在频率分析部中获取频域中的数据的第2图像数据。

根据本方式，能够根据评价数据获取锐化精度高的锐化滤波器作为与第2光学系统建立关联的锐化滤波器。

优选在不同的条件下获取多个第2图像数据。

根据本方式，能够根据评价数据从在不同的条件下获取的多个第2图像数据中获取适当的第2图像数据。

优选多个第2图像数据的曝光条件互不相同。

根据本方式，能够根据评价数据从曝光条件不同的多个第2图像数据中获取适当的第2图像数据。

优选图像数据获取部根据多个第2图像数据的特定的频率范围的成分量从多个第2图像数据中获取在频率分析部中获取频域中的数据的第2图像数据。

根据本方式，能够根据特定的频率范围的成分量从多个第2图像数据中获取适当的第2图像数据。

优选图像数据获取部从多个第2图像数据中获取特定的频率范围的成分量最大的第2图像数据来作为在频率分析部中获取频域中的数据的第2图像数据。

根据本方式，能够获取特定的频率范围的成分量最大的第2图像数据作为适当的第2图像数据。

优选特定的频率范围包含于多个第2图像数据各自的采样频率的1/8以上且1/4以下的范围。

优选锐化滤波器为基于第1光学系统的光学传递函数的滤波器。

根据本方式，能够获取基于光学传递函数的锐化滤波器作为与第2光学系统建立关联的锐化滤波器。

优选锐化滤波器为不基于第1光学系统的光学传递函数的滤波器。

根据本方式，能够获取不基于光学传递函数的锐化滤波器作为与第2光学系统建立关联的锐化滤波器。

优选滤波器获取部从与第1光学系统建立关联的多个锐化滤波器中获取与多个像高建立关联的多个锐化滤波器作为与第2光学系统建立关联的锐化滤波器。

根据本方式，能够获取与像高相应的高精度的锐化滤波器作为与第2光学系统建立关联的锐化滤波器。

本发明的另一方式涉及一种摄像装置，其具备：成像元件，其接收通过了光学系统的被摄体像而生成摄影图像数据；以及上述图像处理装置。

根据本方式，在摄像装置中，即使在通过使用了第2光学系统的被摄体像的摄影而获取的第2图像数据的锐化处理中无法获取光学传递函数或摄影条件，也能够从与第1光学系统建立关联的多个锐化滤波器中获取“与第2光学系统建立关联的锐化滤波器”。

优选摄像装置还具备存储第1图像数据在频域中的数据的存储部，频率分析部从存储部获取第1图像数据在频域中的数据，通过使用了第2光学系统以及成像元件的被摄体像的摄影而获取第2图像数据在频域中的数据。

根据本方式，从存储部获取第1图像数据在频域中的数据，通过被摄体像的摄影而获取第2图像数据在频域中的数据。

优选摄像装置还具备：显示部；显示控制部，其控制显示部；以及第2光学系统，显示控制部将用于催促用户进行第1被摄体像的摄影的引导部显示于显示部，第2图像数据为被引导部催促而进行摄影从而生成的摄影图像数据。

根据本方式，用户能够被引导部催促而简便地获取第2图像数据。“被引导部催促而进行摄影从而生成的摄影图像数据”只要是用户根据引导部的显示来进行摄影从而生成的摄影图像数据即可。因此，例如能够将在引导部显示于显示部的状态下进行摄影从而生成的摄影图像数据作为“被引导部催促而进行摄影从而生成的摄影图像数据”。

优选摄像装置还具备图像判定部，所述图像判定部判定被引导部催促而进行摄影从而生成的摄影图像数据是否满足第1基准，第2图像数据为满足第1基准的摄影图像数据。

根据本方式，能够获取满足第1基准的第2图像数据。

优选在被引导部催促而进行摄影从而生成的摄影图像数据不满足第1基准的情况下，显示控制部将用于催促用户进行第1被摄体像的摄影的引导部再次显示于显示部。

根据本方式，能够简便地获取满足第1基准的第2图像数据。

本发明的另一方式涉及一种图像处理方法，其获取通过使用了第1光学系统的被摄体像的摄影而获取的第1图像数据以及通过使用了第2光学系统的被摄体像的摄影而获取的第2图像数据各自在频域中的数据，对第1图像数据在频域中的数据与第2图像数据在频域中的数据进行比较，获取与第2光学系统的光学特性相关的频率特性数据，并根据与第2光学系统的光学特性相关的频率特性数据从与第1光学系统建立关联的多个锐化滤波器中获取与第2光学系统建立关联的锐化滤波器。

本发明的另一方式涉及一种程序，其使计算机执行如下步骤：获取通过使用了第1光学系统的被摄体像的摄影而获取的第1图像数据以及通过使用了第2光学系统的被摄体像的摄影而获取的第2图像数据各自在频域中的数据的步骤；对第1图像数据在频域中的数据与第2图像数据在频域中的数据进行比较，获取与第2光学系统的光学特性相关的频率特性数据的步骤；以及根据与第2光学系统的光学特性相关的频率特性数据从与第1光学系统建立关联的多个锐化滤波器中获取与第2光学系统建立关联的锐化滤波器的步骤。

发明效果

根据本发明，即使在通过使用了第2光学系统的被摄体像的摄影而获取的第2图像数据的锐化处理中无法获取光学传递函数或摄影条件，也能够从与第1光学系统建立关联的多个锐化滤波器中高精度地获取“与第2光学系统建立关联的锐化滤波器”。

附图说明

图1为表示与计算机连接的数码相机的概要的框图。

图2为表示主体控制器的功能结构的概要的框图。

图3为表示第1实施方式所涉及的图像处理部的功能结构例的框图。

图4为用于说明频率分析部中的处理例的示意图。

图5为用于说明光学特性获取部中的处理例的示意图。

图6为用于说明滤波器获取部中的处理例的示意图。

图7为用于说明“与第2光学系统的光学特性相关的频率特性数据”和与第1光学系统建立关联的“锐化滤波器”的关系例的坐标系。

图8为表示第1实施方式所涉及的图像处理部的处理的一例的流程图。

图9(a)至图9(d)为表示显示部中的摄影引导的一例的图。

图10为表示适于图9(a)至图9(d)所示的引导显示的被摄体的一例的图。

图11(a)至图11(d)为表示显示部中的摄影引导的其他例的图。

图12(a)至图12(d)为表示显示部中的摄影引导的其他例的图。

图13为表示第2实施方式所涉及的主体控制器的功能结构例的框图。

图14(a)以及图14(b)为表示显示部中的摄影引导的其他例的图。

图15为表示显示部中的摄影引导的其他例的图。

图16(a)以及图16(b)为表示显示部中的摄影引导的其他例的图。

图17为表示第3实施方式所涉及的图像处理部的功能结构例的框图。

图18为表示第3实施方式的第1模式所涉及的图像数据获取部中的处理的一例的流程图。

图19为表示第3实施方式的第2模式所涉及的图像数据获取部中的处理的一例的流程图。

图20为表示第3实施方式的第3模式所涉及的图像数据获取部中的处理的一例的流程图。

图21为表示具备EDoF光学系统的摄像模块的一方式的框图。

图22为表示EDoF光学系统的一例的图。

图23为表示通过图21所示的复原处理块进行的复原处理流程的一例的图。

图24为表示经由EDoF光学系统获取的图像的复原例的图，图24(a)表示复原处理前的模糊的图像，图24(b)表示消除复原处理后的模糊的图像(点像)。

图25为表示智能手机的外观的图。

图26为表示图25所示的智能手机的结构的框图。

具体实施方式

参考附图对本发明的实施方式进行说明。在以下说明中，作为一例对将本发明应用于能够与计算机(PC：个人计算机)连接的数码相机(摄像装置)的例子进行说明。

图1为表示与计算机连接的数码相机的概要的框图。

数码相机10具备：可更换的透镜单元12；以及具备成像元件26的相机主体14。透镜单元12与相机主体14经由透镜单元12的透镜单元输入输出部22和相机主体14的相机主体输入输出部30电连接。

透镜单元12具备：包括透镜16以及光圈17等的光学系统；以及控制该光学系统的光学系统操作部18。光学系统操作部18包括与透镜单元输入输出部22连接的透镜单元控制器20和操作光学系统的执行器(省略图示)。透镜单元控制器20根据经由透镜单元输入输出部22从相机主体14发送来的控制信号并经由执行器控制光学系统，例如进行基于透镜移动的聚焦控制或变焦控制、光圈17的光圈值(光圈量)的控制等。

相机主体14的成像元件26具有聚光用微透镜、RGB(红绿蓝)等的滤色器以及图像传感器(光电二极管：CMOS(Complementary Metal Oxide Semiconductor)、CCD(Charge-Coupled Device)等)。该成像元件26将经由透镜单元12的光学系统(透镜16、光圈17等)照射的被摄体像的光转换为电信号，并将图像信号(摄影图像数据)发送至主体控制器28。即，本例的成像元件26接收通过了光学系统(透镜16、光圈17等)的被摄体像而生成摄影图像数据(以下，称为“图像数据”)，并将该图像数据发送至主体控制器28(后述的“图像处理部36”)。

图2为表示主体控制器28的功能结构的概要的框图。

主体控制器28具有设备控制部34和图像处理部(图像处理装置)36，集中控制相机主体14。

设备控制部34例如控制来自成像元件26的图像数据的输出，或者生成用于控制透镜单元12的控制信号，并经由相机主体输入输出部30发送至透镜单元12(透镜单元控制器20)，或者向经由输入输出接口32连接的外部设备(计算机80等)发送图像处理前后的图像数据(RAW数据、JPEG(Joint Photographic Experts Group)数据等)。并且，本例的设备控制部34包括对设置于相机主体14的显示部38进行控制的显示控制部37。并且，设备控制部34适当地控制数码相机10所具备的其他设备类。

另一方面，图像处理部36能够对来自成像元件26的图像数据进行根据需要的任意的图像处理。例如，在图像处理部36中适当地进行传感器校正处理、去马赛克(同步化)处理、像素插值处理、色彩校正处理(偏移校正处理、白平衡处理、色彩矩阵处理、伽马转换处理等)、RGB图像处理(色调校正处理、曝光校正处理等)、RGB/YCrCb转换处理以及图像压缩处理等各种图像处理。此外，本例的图像处理部36进行后述的“锐化处理”。

在主体控制器28中实施了图像处理的图像数据保存于由闪存器等构成的图像存储部29。保存于图像存储部29的图像数据被发送至与输入输出接口32(参考图1)连接的计算机80等。并且，在图像存储部29从相机主体14装卸自如的情况下，保存于图像存储部29的图像数据被发送至与从相机主体14拆卸的图像存储部29连接的计算机80等。从数码相机10(图像存储部29)发送至计算机80等的图像数据的格式并无特别限定，能够设为RAW、JPEG、TIFF(Tagged Image File Format)等任意的格式。因此，主体控制器28也可以如所谓的Exif(Exchangeable Image File Format)那样将标题信息(摄影信息(摄影日期时间、机种、像素数、光圈值等)等)、主图像数据以及缩略图图像数据等多个建立关联数据相互建立对应关联而构成为1个图像文件，并将该图像文件发送至计算机80。

计算机80经由相机主体14的输入输出接口32以及计算机输入输出部81与数码相机10连接，接收从相机主体14发送来的图像数据等数据类。计算机控制器82集中控制计算机80，并对来自数码相机10的图像数据进行图像处理，或者进行与服务器85等的通信控制，该服务器85经由互联网等网络84与计算机输入输出部81连接。计算机80具有显示器83，计算机控制器82中的处理内容等根据需要显示于显示器83。用户能够通过一边确认显示器83的显示一边操作键盘等输入机构(省略图示)，对计算机控制器82输入数据或命令来控制计算机80，或者控制与计算机80连接的设备类(数码相机10、服务器85)。

服务器85具有服务器输入输出部86以及服务器控制器87。服务器输入输出部86构成与数码相机10或计算机80等外部设备的收发连接部，经由网络84与数码相机10的主体控制器28或计算机80的计算机输入输出部81连接。服务器控制器87根据来自数码相机10或计算机80的控制指示信号与主体控制器28或计算机控制器82配合，在与主体控制器28或计算机控制器82之间根据需要进行数据类的收发，并将数据类下载至数码相机10或计算机80，或者进行运算处理并将其运算结果发送至数码相机10或计算机80。

另外，各控制器(透镜单元控制器20、主体控制器28、计算机控制器82、服务器控制器87)具备控制处理所需的电路类，例如具备运算处理电路(CPU(Central Processing Unit)等)或存储器等。并且，数码相机10、计算机80以及服务器85之间的通信可以是有线，也可以是无线。并且，可以一体构成计算机80以及服务器85，并且也可以省略计算机80和/或服务器85。并且，也可以使数码相机10具有与服务器85的通信功能，以使在数码相机10与服务器85之间直接进行数据类的收发。

接着，对在图2所示的主体控制器28(图像处理部36)中进行的图像数据的锐化处理进行说明。在以下各实施方式中，对在进行锐化处理的图像处理部36(主体控制器28)中由于无法通信或通信不良而无法完全获取成为选定锐化滤波器的基础信息的光圈值或焦距等摄影条件的情况下的锐化处理进行说明。

在以下例子中，对在相机主体14(主体控制器28)中实施锐化处理的例子进行说明，但是也能够在其他控制器(透镜单元控制器20、计算机控制器82、服务器控制器87等)中实施锐化处理的全部或一部分。并且，以下对在图像处理部36中进行的锐化处理进行说明，但是如上所述在图像处理部36中在锐化处理之前和/或之后进行锐化处理以外的各种图像处理。对与在图像处理部36中进行的锐化处理以外的图像处理相关的处理部的说明以及图示进行省略。

<第1实施方式>

本实施方式涉及如下例子：用户使用“与相机主体14对应的透镜单元12”以及“与相机主体14不对应的透镜单元12”对同一场景进行拍摄，并对所获得的图像的频率响应进行比较，从而获取能够使用于通过“与相机主体14不对应的透镜单元12”拍摄的图像数据的锐化滤波器。

“锐化滤波器”并无特别限定，可以是基于光学系统的光学传递函数的滤波器，也可以是不基于光学系统的光学传递函数的滤波器。即，可以将根据包括点扩散函数(PSF)、调制传递函数(MTF)、相位传递函数(PTF)的光学传递函数(OTF)制作的滤波器用作“锐化滤波器”，也可以将与光学传递函数无关地规定的轮廓校正用的滤波器等用作锐化滤波器。

在以下说明中，将“能够在透镜单元12(透镜单元控制器20)与相机主体14(主体控制器28)之间适当地进行摄影信息的收发，并能够将摄影信息提供至主体控制器28的透镜单元12”称作“第1光学系统”。并且，将“无法在透镜单元12(透镜单元控制器20)与相机主体14(主体控制器28)之间适当地进行摄影信息的收发，并无法将摄影信息提供至主体控制器28的透镜单元12”称作“第2光学系统”。

图3为表示第1实施方式所涉及的图像处理部36的功能结构例的框图。本例的图像处理部36具有频率分析部40、光学特性获取部42、滤波器获取部44、滤波器处理部46以及滤波器存储部48(存储部)。

频率分析部40获取“通过使用了第1光学系统的被摄体像的摄影而获取的图像数据(以下，称为“第1图像数据”)”以及“通过使用了第2光学系统的被摄体像的摄影而获取的图像数据(以下，称为“第2图像数据”)”各自在频域中的数据。

图4为用于说明频率分析部40中的处理例的示意图。从成像元件26(参考图1)输出的通过空间区域表示的图像数据输入至频率分析部40中。频率分析部40进行应用了傅立叶变换原理的处理，由被输入的“通过空间区域表示的图像数据”制作“通过频域表示的图像数据”并输出。即，频率分析部40将“通过空间区域表示的第1图像数据A”转换为“通过频域表示的第1图像数据a”，将“通过空间区域表示的第2图像数据B”转换为“通过频域表示的第2图像数据b”。由“通过空间区域表示的图像数据”制作“通过频域表示的图像数据”的处理并无特别限定，例如也可以在频率分析部40中进行利用了快速傅立叶变换(Fast Fourier Transform：FFT)的处理。

另外，本例的第1图像数据和第2图像数据是指通过对同一被摄体像进行拍摄而获取的图像数据。例如，首先，用户使用“能够在透镜单元12(透镜单元控制器20)与相机主体14(主体控制器28)之间适当地进行摄影信息的收发的透镜单元12(第1光学系统)”对被摄体像进行拍摄，从而获取第1图像数据。之后，由用户进行透镜单元12的更换。然后，用户使用“无法在透镜单元12(透镜单元控制器20)与相机主体14(主体控制器28)之间适当地进行摄影信息的收发的透镜单元12(第2光学系统)”对与第1图像数据同一的被摄体像进行拍摄，从而获取第2图像数据。由此，频率分析部40能够获取第1图像数据以及第2图像数据。另外，可以引导用户来适当地进行这一系列的摄影处理，例如也可以在主体控制器28(显示控制部37)的控制下将说明显示于显示部38以催促用户的摄影处理。并且，第1图像数据以及第2图像数据可以从成像元件26直接提供至频率分析部40，也可以暂时保存于图像存储部29等存储器中，并从该存储器提供至频率分析部40。

图3所示的光学特性获取部42对第1图像数据在频域中的数据与第2图像数据在频域中的数据进行比较，获取与第2光学系统的光学特性相关的频率特性数据。

在此所说的“与第2光学系统的光学特性相关的频率特性数据”并无特别限定，可将通过锐化处理而能够恢复的特性作为在此所说的“第2光学系统的光学特性”。例如，可以将第2光学系统的光学传递函数作为“第2光学系统的光学特性”。

图5为用于说明光学特性获取部42中的处理例的示意图。频率分析部40所生成的“通过频域表示的第1图像数据a”以及“通过频域表示的第2图像数据b”输入至光学特性获取部42中。光学特性获取部42根据这些“通过频域表示的第1图像数据a”以及“通过频域表示的第2图像数据b”获取“与第2光学系统的光学特性相关的频率特性数据d”。

本例的光学特性获取部42根据“第1图像数据在频域中的数据(第1图像数据a)”与“第2图像数据在频域中的数据(第2图像数据b)”的比获取“与第2光学系统的光学特性相关的频率特性数据d”。

但是，作为在光学特性获取部42中使用的“第1图像数据在频域中的数据(第1图像数据a)”，可以假定“接受了锐化处理的数据”和“未接受锐化处理的数据”。因此，优选光学特性获取部42判定所使用的“第1图像数据在频域中的数据(第1图像数据a)”是“接受了锐化处理的数据”，还是“未接受锐化处理的数据”，并根据其判定结果改变“与第2光学系统的光学特性相关的频率特性数据d”的获取方法。

例如，在光学特性获取部42中使用的“第1图像数据在频域中的数据(第1图像数据a)”为“接受了锐化处理的数据”的情况下，在第1图像数据中已反映有锐化处理。在该情况下，可以通过“第1图像数据在频域中的数据(第1图像数据a)”相对于“第2图像数据在频域中的数据(第2图像数据b)”的比率表示“与第2光学系统的光学特性相关的频率特性数据d”(d＝a/b)。

另一方面，在光学特性获取部42中使用的“第1图像数据在频域中的数据(第1图像数据a)”为“未接受锐化处理的数据”的情况下，需要考虑锐化处理对第1图像数据的影响。即，在光学特性获取部42中使用的第1图像数据未接受使用了从与第1光学系统建立关联的多个锐化滤波器中根据摄影条件获取的锐化滤波器的锐化处理的情况下，光学特性获取部42例如可以以如下方式获取“与第2光学系统的光学特性相关的频率特性数据d”。即，关于从与第1光学系统建立关联的多个锐化滤波器中根据第1图像数据的摄影条件获取的锐化滤波器，若通过c表示响应，则光学特性获取部42能够获取通过“d＝a/b×c”表示的“与第2光学系统的光学特性相关的频率特性数据d”，该响应表示“应用该锐化滤波器之后的第1图像数据”相对于“应用该锐化滤波器之前的第1图像数据”的每个频率的比率。

图3所示的滤波器获取部44根据“与第2光学系统的光学特性相关的频率特性数据d”从与第1光学系统建立关联的多个锐化滤波器中获取与第2光学系统建立关联的锐化滤波器。

图6为用于说明滤波器获取部44中的处理例的示意图。本例的滤波器获取部44从存储于滤波器存储部48的“与第1光学系统建立关联的多个锐化滤波器”中选定与第2光学系统建立关联的锐化滤波器。

在本例的滤波器存储部48中存储有多个第1光学系统用锐化滤波器50。第1光学系统用锐化滤波器50分别为根据摄影条件并考虑第1光学系统的光学特性而预先规定的滤波器。例如，在锐化滤波器50为基于第1光学系统的光学传递函数的滤波器的情况下，光学传递函数为根据摄影条件变动的函数，因此根据按照每个摄影条件规定的适当的光学传递函数规定每个“第1光学系统用锐化滤波器50”。并且，锐化滤波器50为不基于第1光学系统的光学传递函数的滤波器的情况下也同样根据按照每个摄影条件规定的适当的基准规定每个“第1光学系统用锐化滤波器50”。另外，成为多个锐化滤波器50的基准的摄影条件并无特别限定，例如可以将与获取应用对象的图像数据时的光圈值、焦距、被摄体距离、明度(曝光、直方图、饱和度等)等相应的锐化滤波器50存储于滤波器存储部48。

并且，在本例中，在存储于滤波器存储部48的各锐化滤波器50中建立关联有表示各自的滤波器特性的滤波器特性数据49。各滤波器特性数据49为表示被建立关联的锐化滤波器50的特性的数据。例如，可以将与第1光学系统建立关联的多个锐化滤波器50各自的每个频率的响应(响应＝应用锐化滤波器之后的图像数据/应用锐化滤波器之前的图像数据)作为滤波器特性数据49。

本例的滤波器获取部44从已具有的锐化滤波器组中选定具有最接近“与第2光学系统的光学特性相关的频率特性数据d”的特性的锐化滤波器，并作为与第2光学系统建立关联的锐化滤波器。即，滤波器获取部44获取从与第1光学系统建立关联的多个锐化滤波器中获取的锐化滤波器、即频率特性最接近光学特性获取部42所获取的“与第2光学系统的光学特性相关的频率特性数据d”的锐化滤波器50来作为与第2光学系统建立关联的锐化滤波器。锐化滤波器50是否具有近似于“与第2光学系统的光学特性相关的频率特性数据d”的特性的判定方法并无特别限定，但是优选通过与基于锐化滤波器50的锐化效果的“空间频率-响应”的特性数据的比较来判定近似性。

另外，滤波器获取部44也可以生成锐化滤波器50。在该情况下，“生成锐化滤波器50所需的信息”与由该信息生成的锐化滤波器50的滤波器特性数据49建立关联而存储于滤波器存储部48。滤波器获取部44参考滤波器特性数据49而获取生成锐化滤波器50所需的信息来生成锐化滤波器50，该锐化滤波器50具有最接近“与第2光学系统的光学特性相关的频率特性数据d”的特性。“生成锐化滤波器50所需的信息”并无特别限定，在锐化滤波器50为基于光学传递函数的滤波器的情况下，能够将光学传递函数作为“生成锐化滤波器50所需的信息”。

图7表示用于说明“与第2光学系统的光学特性相关的频率特性数据d”和与第1光学系统建立关联的“锐化滤波器50”的关系例的坐标系。图7的横轴表示空间频率，纵轴表示响应以及频率特性数据d。图7所示的锐化滤波器50的每个频率的响应通过与“响应＝应用锐化滤波器之后的图像数据/应用锐化滤波器之前的图像数据”的关系来表示。即，响应表示应用锐化滤波器之后的图像数据相对于应用锐化滤波器之前的图像数据的每个空间频率的比率。

滤波器获取部44也可以以区域S的面积的大小为基准判定“与第2光学系统的光学特性相关的频率特性数据d”与“锐化滤波器50”的近似性，该区域S在图7所示的坐标系中由每个“与第1光学系统建立关联的锐化滤波器”和“与第2光学系统的光学特性相关的频率特性数据d”包围。即，滤波器获取部44能够根据区域S(差区域)的面积从与第1光学系统建立关联的多个锐化滤波器中获取与第2光学系统建立关联的锐化滤波器，该区域S由与通过光学特性获取部42获取的“与第2光学系统的光学特性相关的频率特性数据d”包围。因此，滤波器获取部44例如可以从滤波器存储部48获取选自与第1光学系统建立关联的多个锐化滤波器中的锐化滤波器、即面积最小的锐化滤波器来作为与第2光学系统建立关联的锐化滤波器，该面积在图7所示的坐标系中由通过光学特性获取部42获取的“与第2光学系统的光学特性相关的频率特性数据d”和锐化滤波器的响应包围。并且，滤波器获取部44除了进行锐化滤波器的应用处理之外，也可以进行增益控制处理。

图3所示的滤波器处理部46将滤波器获取部44所获取的“与第2光学系统建立关联的锐化滤波器”应用于“通过使用了第2光学系统的被摄体像的摄影而获取的第2图像数据”。

另外，滤波器处理部46中的锐化滤波器的应用方法并无特别限定。例如，可以在图像数据(第2图像数据)的全部像素中应用共同的锐化滤波器，也可以按照图像数据的每一个像素或每一个区改变所应用的锐化滤波器。一般来讲，由于光学系统的光轴中心部和周边部的像差等光学特性不同而光学传递函数不同，因此也可以根据像高按照图像数据的每一个像素或每一个区改变所应用的锐化滤波器。在该情况下，滤波器获取部44从与第1光学系统建立关联的多个锐化滤波器中获取与多个像高建立关联的多个锐化滤波器作为与第2光学系统建立关联的锐化滤波器。并且，滤波器处理部46使用滤波器获取部44所获取的多个锐化滤波器，并根据像高将锐化滤波器应用于图像数据(第2图像数据)。

图8为表示第1实施方式所涉及的图像处理部36的处理的一例的流程图。

首先，通过频率分析部40获取使用“能够通过透镜单元控制器20与主体控制器28之间适当地进行摄影信息的收发的透镜单元12(第1光学系统)”拍摄的“通过空间区域表示的第1图像数据A”(图8的S11)。并且，通过频率分析部40获取使用“无法在透镜单元控制器20与主体控制器28之间适当地进行摄影信息的收发的透镜单元12(第2光学系统)”拍摄的“通过空间区域表示的第2图像数据B”(S12)。

然后，通过频率分析部40“通过空间区域表示的第1图像数据A”被转换为“通过频域表示的第1图像数据a”(S13)，并且，“通过空间区域表示的第2图像数据B”被转换为“通过频域表示的第2图像数据b”(S14)。

然后，通过光学特性获取部42判定第1图像数据A(第1图像数据a)是否为接受了锐化处理的数据(S15)。

在判定第1图像数据A(第1图像数据a)为接受了锐化处理的数据的情况(S15的是)下，通过光学特性获取部42获取通过“d＝a/b”表示的“与第2光学系统的光学特性相关的频率特性数据d”(S16)。另一方面，在判定第1图像数据A(第1图像数据a)为未接受锐化处理的数据的情况(S15的否)下，通过光学特性获取部42获取通过“d＝a/b×c”表示的“与第2光学系统的光学特性相关的频率特性数据d”(S17)。另外，“c”表示从与第1光学系统建立关联的多个锐化滤波器中根据第1图像数据A(第1图像数据a)的摄影条件获取的锐化滤波器的响应。

然后，由滤波器获取部44通过“与第2光学系统的光学特性相关的频率特性数据d”获取与“无法在透镜单元控制器20与主体控制器28之间适当地进行摄影信息的收发的透镜单元12(第2光学系统)”建立关联的锐化滤波器(S18)。

如此获取的与“无法在透镜单元控制器20与主体控制器28之间适当地进行摄影信息的收发的透镜单元12(第2光学系统)”建立关联的锐化滤波器能够应用于通过该透镜单元12(第2光学系统)摄影获取的图像数据。

因此，滤波器处理部46也可以预先存储通过滤波器获取部44获取的与“无法在透镜单元控制器20与主体控制器28之间适当地进行摄影信息的收发的透镜单元12(第2光学系统)”建立关联的锐化滤波器，并在之后进行使用该透镜单元12(第2光学系统)摄影获取的图像数据的锐化处理时使用。例如，可以在滤波器处理部46中对从“与无法在透镜单元控制器20与主体控制器28之间适当地进行摄影信息的收发的透镜单元12(第2光学系统)建立关联的锐化滤波器的获取”到“从相机主体14拆卸该透镜单元12(第2光学系统)”为止摄影获取的图像数据进行使用了“与该透镜单元12(第2光学系统)建立关联的锐化滤波器”的锐化处理。并且，到“从相机主体14拆卸该透镜单元12(第2光学系统)”为止，可以对使用了由滤波器获取部44获取的“与该透镜单元12(第2光学系统)建立关联的锐化滤波器”的锐化处理的开启以及关闭进行切换。

<第2实施方式>

在本实施方式中，对与上述的第1实施方式相同或类似的结构以及作用省略详细的说明。

在本实施方式中，第1图像数据在频域中的数据存储于滤波器存储部48(存储部)。例如，使用“能够在透镜单元控制器20与主体控制器28之间适当地进行摄影信息的收发的透镜单元12(第1光学系统)”，并改变摄影条件对规定的图表等被摄体像(以下，称为“第1被摄体像”)进行多次拍摄，并将按照每一个该摄影条件获得的摄影图像数据(第1图像数据)的频率特性数据预先存储于滤波器存储部48(存储部)，并且按照每一个摄影条件将与该“透镜单元12(第1光学系统)”建立关联的锐化滤波器预先存储于滤波器存储部48(存储部)。

然后，在“无法在透镜单元控制器20与主体控制器28之间适当地进行摄影信息的收发的透镜单元12(第2光学系统)”安装于相机主体14的情况下，进行催促用户实施上述的第1被摄体像的摄影的引导，以便能够获取适于与存储于滤波器存储部48的使用第1光学系统摄影获取的摄影图像数据的频率特性数据进行比较的摄影图像数据，从而通过使用了该“透镜单元12(第2光学系统)”的摄影而获取第1被摄体像的摄影图像数据(第2图像数据)。频率分析部40(参考图3)从滤波器存储部48(存储部)获取与被摄体像(第1被摄体像)相关的第1图像数据在频域中的数据(频率特性数据)，通过使用了第2光学系统以及成像元件26(参考图1)的被摄体像(第1被摄体像)的摄影而获取第2图像数据在频域中的数据。然后，在光学特性获取部42中对与相同的“第1被摄体像”相关的“使用了能够适当地获取摄影条件的透镜单元12(第1光学系统)的摄影图像数据(第1图像数据)”与“使用了无法适当地获取摄影条件的透镜单元12(第2光学系统)的摄影图像数据(第2图像数据)”进行比较，类推出透镜单元12(第1光学系统)与透镜单元12(第2光学系统)的光学特性的不同。根据该类推结果，通过滤波器获取部44从与“能够适当地获取摄影条件的透镜单元12(第1光学系统)”建立关联的锐化滤波器中获取与“无法适当地获取摄影条件的透镜单元12(第2光学系统)”建立关联的锐化滤波器。

<摄影引导>

以下，对通过显示部38中的引导显示来催促用户进行第1被摄体像的摄影的方法的一例进行说明。本例为“无法在透镜单元控制器20与主体控制器28之间适当地进行摄影信息的收发的透镜单元12(第2光学系统)”安装于相机主体14的状态下的引导显示流程。

显示控制部37(参考图2)控制显示部38(参考图1)，并将用于催出用户进行第1被摄体像的摄影的引导部显示于显示部38。用户一边得到显示于显示部38的引导部的辅助，一边使用“无法适当地获取摄影条件的透镜单元12(第2光学系统)”获取第1被摄体像的摄影图像数据(第2图像数据)。因此，本实施方式中的“第2图像数据”为被显示部38中的引导部催促而进行摄影从而生成的摄影图像数据。

图9为表示显示部38中的摄影引导的一例的图。图9(a)～(d)分别图示有通过显示控制部37显示于显示部38的引导部60，并示出引导部60的显示图案。另外，在图9(a)～(d)分别所示的例子中，在显示部38的中央部显示自动聚焦区61。

在以下说明中使用“右”、“左”、“下”以及“上”这样的表达，这些表达分别以“朝向图纸为右”、“朝向图纸为左”、“朝向图纸为下”以及“朝向图纸为上”这样的含义使用。

图9(a)～(d)所示的引导部60具有显示于显示部38的沿着摄影图像中的子午方向的直线形状。在此所说的引导部60的直线形状只要是直线状的形状，则无特别限定，引导部60例如可以为实线的直线，也可以为虚线的直线，还可以为如能够看到摄影图像的半透明的直线。

另外，优选引导部60为沿着摄影图像中的弧矢方向或子午方向的直线形状。尤其在锐化滤波器为基于光学传递函数的滤波器的情况下，从调节锐化处理的参数的观点考虑，优选沿着摄影图像中的弧矢方向或子午方向配置引导部60。即，在对如与沿着摄影图像中的弧矢方向或子午方向配置的引导部60一致的被摄体进行了拍摄的情况下，从调整基于光学传递函数的锐化滤波器的参数的观点考虑，能够获得有用的数据。

在此所说的“沿着弧矢方向或子午方向的引导部60”在不阻碍效果的范围内可以从弧矢方向或子午方向脱离。

并且，弧矢方向以及子午方向的基准设为摄影图像。本来是优选规定为投影在成像元件26的受光面上的光学图像的弧矢方向或子午方向，但是因为只能根据通过成像元件26接收并获取的图像数据获得第2图像数据。因此，以摄影图像为基准考虑弧矢方向以及子午方向也不成问题。在此，子午方向是指相对于以摄影图像的中心为基准的圆周的切线方向，弧矢方向是指与子午方向垂直相交的方向。

在图9(a)中，作为引导显示图案1，引导部60配置于显示部38中的左上区域。用户参考图9(a)所示的引导部60对第1被摄体像进行拍摄来获取摄影图像数据。在该情况下，根据图9(a)所示的引导部60规定的图像(例如参考后述的图10的符号“64a”)成为第1被摄体像。

在图9(b)中，作为引导显示图案2，两个引导部60a、60b分别配置于显示部38中的左上区域以及右上区域。并且，在图9(b)中所示的两个引导部60由第1引导部60a以及与第1引导部60a不平行的第2引导部60b构成。即，以配置于图9(b)的显示部38的左上区域的引导部(第1引导部)60a与配置于右上的引导部(第2引导部)60b不呈平行的方式配置。

在图9(c)中，作为引导显示图案3，两个引导部60a、60c分别配置于显示部38中的左上区域以及右下区域。在图9(d)中，作为引导显示图案4，4个引导部60a、60b、60c、60d分别配置于显示部38中的左上区域、右上区域、右下区域以及左下区域。

另外，并不限定于从图9(a)至图9(d)所示的引导部60的显示中的引导显示图案，能够采用各种方式的引导显示图案。

图10为表示适于图9(a)至图9(d)所示的引导显示的被摄体W的一例的图。例如，在图9(a)所示的引导显示图案1中，优选沿着引导部60对被摄体W中的通过图10的符号“64a”表示的黑色部分的图像进行拍摄。并且，在图9(b)所示的引导显示图案2中，优选沿着引导部60对被摄体W中的通过图10的符号“64a”以及符号“64b”表示的黑色部分的图像进行拍摄。并且，在图9(c)所示的引导显示图案3中，优选沿着引导部60对被摄体W中的通过图10的符号“64a”以及符号“64c”表示的黑色部分的图像进行拍摄。并且，在图9(d)所示的引导显示图案2中，优选沿着引导部60对被摄体W中的通过图10的符号“64a”、符号“64b”、符号“64c”以及符号“64d”表示的黑色部分的图像进行拍摄。

图11为表示显示部38中的摄影引导的其他例的图。在本例中，关于如满足显示部38的四角各自的引导部60的显示的被摄体的摄影，以按照四角各自的引导部60的显示进行摄影的方式进行摄影引导。即，在本例中，首先进行如满足图11(a)所示那样配置于左上的引导部60a的摄影图像的摄影。接着，进行如满足图11(b)所示那样配置于右上的引导部60b的摄影图像的摄影。接着，进行如满足图11(c)所示那样配置于右下的引导部60c的摄影图像的摄影。接着，进行如满足图11(d)所示那样配置于左下的引导部60d的摄影图像的摄影。如此，获取通过图11(a)～图11(d)所示的引导部60a～60d的辅助而获取的4个摄影图像数据作为第2图像。

另外，引导部60的显示并不限定于如图11所示的4个，也可以将显示位置不同的任意数量的引导部60显示于显示部38来催促用户进行摄影。根据本例，可以轻松发现分别满足引导部60a～60d的被摄体，从而获取可靠地满足引导部60a～60d的摄影图像。

图12为表示显示部38中的摄影引导的其他例的图。在本例中，摄影条件显示部62与引导部60一同显示于显示部38。即，显示控制部37将用于摄影获取第2图像数据的摄影条件显示部62显示于显示部38，以此向用户通知所需的摄影条件。由此，用户能够在必要的摄影条件下进行摄影而获取第2图像数据。

具体而言，在图12(a)以及图12(b)中，与像高位置相关的摄影条件显示部62显示于显示部38。即，在图12(a)所示的例子中，辅助获取如满足像高位置高的部位(摄影图像的周边部位)中的引导部60的第2图像数据。另一方面，在图12(b)所示的例子中，辅助获取如满足像高低的部位(摄影图像的中心部位)中的引导部60的第2图像数据。如此，通过根据摄影图像的像高配置引导部60，能够获取与像高相应的第2图像数据。

并且，在图12(c)以及图12(d)中，将到被摄体为止的距离(被摄体距离)作为摄影条件显示部62显示于显示部38。即，在图12(c)所示的例子中，辅助获取到被摄体为止的摄影距离为50cm的第2图像数据。另一方面，在图12(d)所示的例子中，辅助获取到被摄体为止的摄影距离为1m的第2图像数据。如此，通过将表示到被摄体为止的摄影距离的摄影条件显示部62与引导部60一同显示于显示部38，能够获取具有所期望的到被摄体为止的摄影距离的第2图像数据。

如此，根据图12所示的例子，能够通过摄影条件显示部62在适当的摄影条件下摄影获取第2图像数据。

图13为表示第2实施方式所涉及的主体控制器28的功能结构例的框图。

本实施方式的主体控制器28除了具有显示控制部37以外，还具有图像判定部56以及图像数据获取部58。图像判定部56判定被上述的引导部60催促而进行摄影从而生成的摄影图像数据是否满足第1基准。图像数据获取部58获取在图像判定部56中判定为满足第1基准的摄影图像数据作为“在频率分析部40(参考图3)中获取频域中的数据的第2图像数据”，并发送至频率分析部40。因此，在本实施方式中获得的第2图像数据为满足第1基准的摄影图像数据。

另一方面，在图像判定部56中判定为被引导部60催促而进行摄影从而生成的摄影图像数据不满足第1基准的情况下，显示控制部37将用于催促用户进行第1被摄体像的摄影的引导部60再次显示于显示部38。

另外，成为是否适合作为第2图像数据的基准的“第1基准”并无特别限定，例如可以将引导部60与实际拍摄的第1被摄体像的一致程度作为“第1基准”。即，图像判定部56可以根据该一致程度判定被引导部60引导而拍摄的摄影图像数据是否适合作为第2图像数据。

关于引导部60与摄影图像数据的一致程度，具体而言也可以作为引导部60与摄影图像数据的视场角的重叠程度来判别。在此所说的一致不必一定指严格含义上的一致。即，只要引导部60与摄影图像数据在能够获取可使用的第2图像数据的范围内一致即可。具体而言，引导部60与摄影图像数据的第1被摄体像的重叠相当于引导部60的40％的部分以上即可，优选为重叠相当于引导部60的60％的部分以上即可，进一步优选为重叠相当于引导部60的80％的部分以上即可。

图14(a)以及图14(b)为表示显示部38中的摄影引导的其他例的图。本例的显示控制部37使判定信息部64与引导部60一同显示于显示部38，该判定信息部64根据与引导部60的一致程度表示是否为满足第1基准的合适的摄影图像数据。

具体而言，图14(a)表示被引导部60催促而摄影获取的摄影图像数据并不与引导部60充分一致而不满足第1基准的情况。在图14(a)所示的例子中，被摄体W与配置于左上的引导部60并不一致。而且，“请调整被摄体”这样的判定信息部64显示于显示部38。另一方面，图14(b)表示被引导部60催促而摄影获取的摄影图像数据与引导部60充分一致而满足第1基准的情况。在图14(b)所示的例子中，被摄体W与配置于左上的引导部60一致。而且，“是正确的被摄体”这样的判定信息部64显示于显示部38。

图15为表示显示部38中的摄影引导的其他例的图。在本例中，在摄影图像数据并不满足第1基准的情况下，用户被催促再次进行摄影。即，在图14(a)以及图14(b)所示的例子中，判定信息部64的内容成为催促不同的被摄体的摄影的内容(参考图14(a))，而图15所示的本例的判定信息部64的内容成为催促用户再次进行摄影的信息。

图16(a)以及图16(b)为表示显示部38中的摄影引导的其他例的图。如图16(a)以及图16(b)所示，引导部60可以配置于显示部38的除了四角以外的位置，显示部38中的引导部60的配置方式并无特别限定。

若对图16(a)所示的引导显示图案与图16(b)所示的引导显示图案进行比较，则各引导部60在两者之间旋转90°。即，图16(a)所示的引导部60具有沿着摄影图像中的子午方向的直线形状，但是图16(b)所示的引导部60具有沿着摄影图像中的弧矢方向的直线形状。如此，引导部60不仅可以沿着子午方向配置，也可以沿着弧矢方向配置。

并且，“第1基准”只要是基于如下观点的基准即可，即能否获得适于与存储于滤波器存储部48的使用第1光学系统摄影获取的摄影图像数据的频率特性数据进行比较的摄影图像数据的观点。例如，可以将存储于滤波器存储部48的使用第1光学系统摄影获取的与第1被摄体像相关的摄影图像数据(第1图像数据)与使用第2光学系统实际摄影获取的与第1被摄体像相关的摄影图像数据(第2图像数据)的对焦状态的一致度用作“第1基准”。并且，同样地也可以将存储于滤波器存储部48的使用第1光学系统摄影获取的与第1被摄体像相关的摄影图像数据(第1图像数据)的明度的状态与使用第2光学系统实际摄影获取的与第1被摄体像相关的摄影图像数据(第2图像数据)的明度的状态的一致度用作“第1基准”。这些基准与对使用第1光学系统以及第2光学系统获得的摄影图像数据的频率特性进行比较并从多个锐化滤波器中获取与第2光学系统建立关联的锐化滤波器时的精度相关。尤其在将使用第1光学系统摄影获取的摄影图像数据的频率特性数据预先存储于滤波器存储部48的情况下，用户本身基本上不进行用于比较的“使用了第1光学系统的摄影图像数据”的摄影获取作业。因此，从多个锐化滤波器中高精度地获取与第2光学系统建立关联的锐化滤波器的观点考虑，基于上述的第1基准的摄影引导是非常有用的。

如此，用户能够按照显示部38中的引导部60的引导并使用“无法在透镜单元控制器20与主体控制器28之间适当地进行摄影信息的收发的透镜单元12(第2光学系统)”适当地摄影获取与第1被摄体像相关的第2图像数据。

然后，对摄影获取的第2图像数据的频率特性数据与从滤波器存储部48(存储部)读出并获取的摄影图像数据(第1图像数据)的频率特性数据进行比较，以与上述的第1实施方式相同的方式获取与“无法适当地获取摄影条件的透镜单元12(第2光学系统)”建立关联的锐化滤波器。即，通过频率分析部40(参考图3)获取如此摄影获取的第2图像数据在频域中的数据，通过光学特性获取部42获取“与第2光学系统的光学特性相关的频率特性数据d”。然后，滤波器获取部44根据“与第2光学系统的光学特性相关的频率特性数据d”，从预先存储于滤波器存储部48中的与“能够在透镜单元控制器20与主体控制器28之间适当地进行摄影信息的收发的透镜单元12(第1光学系统)”建立关联的每个摄影条件的多个锐化滤波器中获取与“无法适当地获取摄影条件的透镜单元12(第2光学系统)”建立关联的锐化滤波器。然后，滤波器处理部46预先存储通过滤波器获取部44获取的“与无法适当地获取摄影条件的透镜单元12(第2光学系统)建立关联的锐化滤波器”，并能够在进行使用该“无法适当地获取摄影条件的透镜单元12(第2光学系统)”摄影获取的图像数据的锐化处理时使用。

如以上说明，根据本实施方式，由于通过引导部60引导进行使用了“无法适当地获取摄影条件的透镜单元12(第2光学系统)”的一系列的摄影处理，因此用户能够适当地获取第1被摄体像的图像数据。由此，能够省略使用了“能够适当地获取摄影条件的透镜单元12(第1光学系统)”的摄影图像数据的获取处理，并通过与预先存储的“能够适当地获取摄影条件的透镜单元12(第1光学系统)”的光学特性数据的比较，能够高精度地获取与“无法适当地获取摄影条件的透镜单元12(第2光学系统)”建立关联的锐化滤波器。

<第3实施方式>

在本实施方式中，对与上述的第1实施方式相同或类似的结构以及作用省略详细的说明。

在本实施方式中，从多个第2图像数据中选定为了获取与“无法适当地获取摄影条件的透镜单元12(第2光学系统)”建立关联的锐化滤波器而使用的第2图像数据。

图17为表示第3实施方式所涉及的图像处理部36的功能结构例的框图。本实施方式的图像处理部36除了具有频率分析部40、光学特性获取部42、滤波器获取部44、滤波器处理部46以及滤波器存储部48之外，还具有图像数据获取部58。

图像数据获取部58获取通过使用了“无法适当地获取摄影条件的透镜单元12(第2光学系统)”的被摄体像的摄影而获取的多个第2图像数据的评价数据。然后，图像数据获取部58根据该评价数据从多个第2图像数据中获取“在频率分析部40中获取频域中的数据的第2图像数据”。

在图像数据获取部58中获取评价数据的多个第2图像数据在不同的条件下获取，例如曝光条件互不相同。实现该曝光条件的不同的方法并无特别限定。例如，可以利用增益控制等图像处理来调整1个图像数据的明度，从而获取曝光条件不同的多个第2图像数据。并且，也可以一边调整光圈值(光圈17的光圈量)和/或快门速度，一边连续摄影，从而获取曝光条件不同的多个第2图像数据。

通过图像数据获取部58获取的评价数据为如下数据：用于通过与光学特性获取部42中的“通过使用了第1光学系统的被摄体像的摄影而获取的第1图像数据”的比较来选定为了获取与“无法适当地获取摄影条件的透镜单元12(第2光学系统)”建立关联的锐化滤波器而使用的第2图像数据。因此，例如可以根据多个第2图像数据各自的频率特性获取评价数据。

例如，图像数据获取部58能够根据多个第2图像数据的特定的频率范围的成分量从多个第2图像数据中获取“在频率分析部40中获取频域中的数据的第2图像数据”。更具体而言，图像数据获取部58可以从多个第2图像数据中获取特定的频率范围的成分量最大的第2图像数据作为“在频率分析部40中获取频域中的数据的第2图像数据”。在此所说的“特定的频率范围”并无特别限定，但是优选为因锐化处理产生的影响比较大的范围，例如包含于多个第2图像数据各自的采样频率的1/8以上且1/4以下的范围。

另外，在以下各模式中通过使用了“无法适当地获取摄影条件的透镜单元12(第2光学系统)”的被摄体像的摄影而获取的单个或多个第2图像数据的具体的获取方法并无特别限定。例如，可以如上述的第2实施方式，通过主体控制器28(显示控制部37、图像判定部56以及图像数据获取部58(参考图13))将引导部60(参考图9～图12以及图14～图16)显示于显示部38，从而引导用户进行多个第2图像数据的摄影获取处理。

在该情况下，也可以在滤波器存储部48(存储部)中存储通过使用了“能够在透镜单元控制器20与主体控制器28之间适当地进行摄影信息的收发的透镜单元12(第1光学系统)”的被摄体像的摄影而获取的图像数据(第1图像数据)在频域中的数据。例如，可以使用“能够在透镜单元控制器20与主体控制器28之间适当地进行摄影信息的收发的透镜单元12(第1光学系统)”将规定的图表等被摄体像(第1被摄体像)改变摄影条件来进行多次摄影，并将按照每一个该摄影条件获得的摄影图像数据(第1图像数据)的频率特性数据预先存储于滤波器存储部48中，并且将与该“透镜单元12(第1光学系统)”建立关联的锐化滤波器按照每一个摄影条件预先存储于滤波器存储部48中。在“无法在透镜单元控制器20与主体控制器28之间适当地进行摄影信息的收发的透镜单元12(第2光学系统)”安装于相机主体14的情况下，进行催促用户实施上述的第1被摄体像的摄影的引导，使用该“透镜单元12(第2光学系统)”通过摄影来获取第1被摄体像的摄影图像数据。

然后，频率分析部40从滤波器存储部48(存储部)获取与被摄体像(第1被摄体像)相关的第1图像数据在频域中的数据(频率特性数据)，通过使用了第2光学系统以及成像元件26(参考图1)的被摄体像(第1被摄体像)的拍摄而获取第2图像数据在频域中的数据。然后，在光学特性获取部42中对与相同的“第1被摄体像”相关的“使用了能够适当地获取摄影条件的透镜单元12(第1光学系统)的摄影图像数据”与“使用了无法适当地获取摄影条件的透镜单元12(第2光学系统)的摄影图像数据”进行比较，在光学特性获取部42中类推出透镜单元12(第1光学系统)与透镜单元12(第2光学系统)的光学特性的不同。根据该类推结果，通过滤波器获取部44从与“能够适当地获取摄影条件的透镜单元12(第1光学系统)”建立关联的锐化滤波器中获取与“无法适当地获取摄影条件的透镜单元12(第2光学系统)”建立关联的锐化滤波器。

因此，关于以下各模式(尤其第1模式以及第3模式)，也可以将图像处理部36设置于除了数码相机10(主体控制器28)以外的设备类(计算机80(计算机控制器82)、服务器85(服务器控制器87)等)。在图像处理部36设置于除了数码相机10以外的设备类的情况下，从数码相机10向图像处理部36发送用于获取锐化滤波器的图像数据。即，在计算机80等中进行以下各模式(尤其是第1模式以及第3模式)的处理时，除了“一般的观赏用的图像数据”以外，还有“为了获取锐化滤波器而使用的图像数据(多个第2图像数据)”从数码相机10被发送至计算机80等。然后，从“为了获取锐化滤波器而使用的图像数据(多个第2图像数据)”获取与“无法适当地获取摄影条件的透镜单元12(第2光学系统)”建立关联的锐化滤波器，使用该锐化滤波器能够进行通过“无法适当地获取摄影条件的透镜单元12(第2光学系统)”摄影获取的摄影图像数据(一般的观赏用的图像数据)的锐化处理。

在该情况下，用户通过将“无法适当地获取摄影条件的透镜单元12(第2光学系统)”安装于相机主体14的数码相机10摄影获取“为了获取锐化滤波器而使用的图像数据(多个第2图像数据)”以及“一般的观赏用的图像数据”，并保存于数码相机10的图像存储部29。然后，这些“为了获取锐化滤波器而使用的图像数据(多个第2图像数据)”以及“一般的观赏用的图像数据”从图像存储部29被传送至计算机80等，在设置于作为传送端的计算机80等的图像处理部36中进行各模式的处理。

另外，“为了获取锐化滤波器而使用的多个第2图像数据”为与同一被摄体像相关的摄影图像数据。尤其是，和与“能够在透镜单元控制器20与主体控制器28之间适当地进行摄影信息的收发的透镜单元12(第1光学系统)”相关的第1图像数据的被摄体像相同的被摄体像相关的摄影图像数据成为“为了获取锐化滤波器而使用的多个第2图像数据”。即，由用户对与第1图像数据相同的被摄体像进行拍摄而获取“多个第2图像数据”，并从该“多个第2图像数据”中选出在“与无法适当地获取摄影条件的透镜单元12(第2光学系统)建立关联的锐化滤波器的获取处理”中使用的最佳的图像数据。尤其是在“预先存储第1图像数据的频率特性数据的方式”中，用户并不清楚是在何种摄影条件下获取的预先存储的“第1图像数据”的信息。因此，获取多个相同的被摄体像的摄影图像数据(第2图像数据)并从该多个摄影图像数据(第2图像数据)中自动选择最佳的图像数据的方式在整体上是有益的。

<第1模式>

图18为表示第3实施方式的第1模式所涉及的图像数据获取部58中的处理的一例的流程图。

在本模式中，使除了“视场角”以外的摄影条件(尤其是“光圈值”以及“焦距”)相同来进行多个第2图像数据的摄影获取，并对这些多个第2图像数据进行评价而选定最佳的图像数据。

即，在本模式中，由用户使用将“无法适当地获取摄影条件的透镜单元12(第2光学系统)”安装于相机主体14的数码相机10以不改变“光圈值”以及“焦距”等的方式摄影获取多个图像数据(第2图像数据)。然后，从该多个图像数据(第2图像数据)中选出视场角接近在“与无法适当地获取摄影条件的透镜单元12(第2光学系统)建立关联的锐化滤波器的获取处理”中使用的第1图像数据的第2图像数据。另外，在此所说的多个图像数据(第2图像数据)和在“与无法适当地获取摄影条件的透镜单元12(第2光学系统)建立关联的锐化滤波器的获取处理”中使用的第1图像数据与同一被摄体像相关。在可更换透镜单元12的情况下，还存在如下实例：由于上述的第1光学系统与第2光学系统的倍率不同等，因此很难将第1图像数据与第2图像数据的视场角设定为相同。在这种实例中，如本模式从多个第2图像数据中获取具有在“与无法适当地获取摄影条件的透镜单元12(第2光学系统)建立关联的锐化滤波器的获取处理”中使用时最佳的视场角的第2图像数据，这对于用户来讲是有益的。

另外，在本模式中，无论是图像处理部36设置于数码相机10的主体控制器28的情况，还是图像处理部36设置于除了数码相机10(主体控制器28)以外的设备类(计算机80(计算机控制器82)、服务器85(服务器控制器87)等)的情况，均为相同的处理流程。

首先，通过图像数据获取部58获取多个第2图像数据(图18的S21)。

然后，图像数据获取部58获取多个第2图像数据的评价数据(S22)。在本模式中，表示各第2图像数据在第2图像数据的采样频率的1/8以上且1/4以下的范围内的成分量的数据被用作评价数据，图像数据获取部58通过利用了快速傅立叶变换等的处理对各第2图像数据获取这种评价数据。

然后，图像数据获取部58根据评价数据从多个第2图像数据中获取适于与光学特性获取部42中的第1图像数据的比较的图像数据(S23)。在本模式中，选定在第2图像数据的采样频率的1/8以上且1/4以下的范围内表示最大的成分量的第2图像数据作为“适于比较的图像数据”，并发送至频率分析部40。根据因锐化处理产生的影响比较大的范围(例如第2图像数据的采样频率的1/8以上且1/4以下的范围)内的“最大的成分量”选定“适于比较的图像数据”。因此，使用在锐化处理中所希望的校正频带的输出最大的第2图像数据，容易与第1图像数据进行比较。

然后，进行与第1实施方式相同的处理(参考图8的S11～S18)。

<第2模式>

在本模式中，改变除了“视场角”以外的摄影条件(尤其是“光圈值”以及“焦距”)进行多个第2图像数据的摄影获取，对这些多个第2图像数据进行评价而选定最佳的图像数据。因此，用户在摄影获取“多个第2图像数据”时，基本不改变“视场角”，而是改变其他摄影条件(尤其是“光圈值”以及“焦距”)来进行多个第2图像数据的摄影获取。

例如，在作为“摄影条件”改变光圈值来摄影获取多个第2图像数据的情况下，曝光根据光圈值发生变化。因此，需要避开作为在“与无法适当地获取摄影条件的透镜单元12(第2光学系统)建立关联的锐化滤波器的获取处理”中使用的图像数据不适当的曝光的第2图像数据，而选择适当的曝光的第2图像数据。在本模式中涉及获取这种作为在“与无法适当地获取摄影条件的透镜单元12(第2光学系统)建立关联的锐化滤波器的获取处理”中使用的图像数据适当的第2图像数据的处理。

图19为表示第3实施方式的第2模式所涉及的图像数据获取部58中的处理的一例的流程图。

在本模式中，图像处理部36设置于数码相机10的主体控制器28。

首先，通过图像数据获取部58获取1个第2图像数据(图19的S31)。

然后，通过图像数据获取部58判定该1个第2图像数据的曝光是否恰当(S32)。曝光恰当与否的判定方法并无特别限定。图像数据获取部58例如可以对成为对象的1个第2图像数据的整个图像的明度进行判定，通过对表示该明度的指标值与阈值进行比较等，在极暗或极亮时，判定为“不恰当的曝光”，除此以外判定为“恰当的曝光”。

在判定为第2图像数据的曝光恰当的情况(S32的是)下，在设置于图像数据获取部58的内部或外部的未图示的存储器中存储该第2图像数据(S33)。另一方面，在判定为第2图像数据的曝光不恰当的情况(S32的否)下，不存储该第2图像数据，图像数据获取部58向显示控制部37发送指示信号，若显示控制部37接收来自图像数据获取部58的指示信号，则使表示曝光不恰当的内容的警告显示于显示部38(S34)。

然后，通过图像数据获取部58校正第2图像数据的曝光(S35)。第2图像数据的曝光的校正方法并无特别限定。图像数据获取部58例如可以通过增益控制对第2图像数据的曝光进行如±1EV、±2EV等的校正。并且，图像数据获取部58也可以改变快门速度来实施第2图像数据的再摄影，从而实现第2图像数据的曝光校正。

然后，通过图像数据获取部58判定第2图像数据的曝光的校正量是否在限度内(S36)。第2图像数据的曝光的校正量是否在限度内的判定方法并无特别限定。

在判定为第2图像数据的曝光的校正量在限度内的情况(S36的是)下，反复进行上述的步骤S32～S35。另一方面，在判定为第2图像数据的曝光的校正量不在限度内的情况(S36的否)下，通过图像数据获取部58获取在此之前存储于未图示的存储器的曝光条件不同的多个第2图像数据的评价数据(S37)。然后，图像数据获取部58根据评价数据从多个第2图像数据中获取适于与频率分析部40中的第1图像数据进行比较的图像数据(S38)。

另外，本模式中的这些“评价数据的获取(S37)”以及“适于比较的图像数据的获取(S38)”的方法与上述的第1模式相同。

然后，进行与第1实施方式相同的处理(参考图8的S11～S18)。

<第3模式>

在本模式中，在本模式中，改变除了“视场角”以外的摄影条件(尤其是“光圈值”以及“焦距”)进行多个第2图像数据的摄影获取，对这些多个第2图像数据进行评价而选定最佳的图像数据。因此，用户在摄影获取“多个第2图像数据”时，基本不改变“视场角”，而是改变其他摄影条件(尤其是“光圈值”以及“焦距”)来进行多个第2图像数据的摄影获取。

例如，在作为“摄影条件”改变光圈值来摄影获取多个第2图像数据的情况下，曝光根据光圈值发生变化。因此，需要避开作为在“与无法适当地获取摄影条件的透镜单元12(第2光学系统)建立关联的锐化滤波器的获取处理”中使用的图像数据不适当的曝光的第2图像数据，而选择适当的曝光的第2图像数据。在本模式中涉及获取这种作为在“与无法适当地获取摄影条件的透镜单元12(第2光学系统)建立关联的锐化滤波器的获取处理”中使用的图像数据适当的第2图像数据的处理。

图20为表示第3实施方式的第3模式所涉及的图像数据获取部58中的处理的一例的流程图。

在本模式中，能够将图像处理部36设置于除了数码相机10(主体控制器28)以外的设备类(计算机80(计算机控制器82)、服务器85(服务器控制器87)等)。以下，作为一例对在计算机控制器82(参考图1)设置图像处理部36的实例进行说明。

首先，由用户改变曝光条件来获取多个第2图像数据，该多个第2图像数据保存于图像存储部29，该图像存储部29设置于数码相机10(相机主体14)。然后，通过计算机控制器82的图像数据获取部58获取保存于图像存储部29的“曝光条件不同的多个第2图像数据”(图20的S41)。

然后，图像数据获取部58获取多个第2图像数据的评价数据(S42)，根据评价数据从多个第2图像数据中获取适于与频率分析部40中的第1图像数据进行比较的图像数据(S43)。本模式中的这些“评价数据的获取(S42)”以及“适于比较的图像数据的获取(S43)”的方法与上述的第1模式相同。

然后，进行与第1实施方式相同的处理(参考图8的S11～S18)。

<其他变形例>

也可以对上述的实施方式以及变形例中任意方式彼此进行组合。并且，上述的实施方式仅为例示，也可以将本发明应用于其他结构。

并且，在上述的实施方式中，对根据光圈值以及焦距的信息而特定锐化滤波器的例子进行了说明，但是在根据其他摄影条件(被摄体距离、明度(曝光、直方图、饱和度)等)而特定锐化滤波器的情况下，也能够获得相同的作用效果。

并且，上述的各功能结构能够通过任意的硬件、软件或两者的组合来实现。例如，还能够将本发明应用于使计算机执行上述各装置以及处理部(图像处理部36等)中的图像处理方法(图像处理步骤)的程序、存储有该程序的计算机可读取的存储介质(非暂时性存储介质)或能够安装该程序的计算机。

<对EDoF系统的应用例>

上述的实施方式中的锐化处理包括考虑了光学传递函数的复原处理。该复原处理为通过根据特定的摄影条件信息(例如，光圈值、焦距、透镜种类、变焦倍率等)对点扩散(点像模糊)进行恢复修正来复原本来的被摄体像的图像处理，但是能够应用本发明的锐化处理并不限定于上述的实施方式中的复原处理。例如，还能够将本发明所涉及的复原处理应用于对通过具有被扩展了的场景(焦点)深度(EDoF：Extended Depth of Field(Focus))的光学系统(摄影透镜等)摄影获取的图像数据的复原处理。通过对由EDoF光学系统在景深(焦点深度)被扩展了的状态下摄影获取的模糊图像的图像数据进行复原处理，能够复原生成在广范围对焦状态的高分辨率的图像数据。在该情况下，进行使用基于EDoF光学系统的光学传递函数(PSF、OTF、MTF、PTF等)的复原滤波器即具有被设定成在被扩展了的景深(焦点深度)的范围内能够进行良好的图像复原的滤波器系数的复原滤波器的复原处理。

以下，对与经由EDoF光学系统摄影获取的图像数据的复原相关的系统(EDoF系统)的一例进行说明。另外，在以下所示的例子中，说明对从去马赛克处理后的图像数据(RGB数据)获得的亮度信号(Y数据)进行复原处理的例子，但是进行复原处理的时刻并无特别限定，例如可以对“去马赛克处理前的图像数据(马赛克图像数据)”或“去马赛克处理后且亮度信号转换处理前的图像数据(去马赛克图像数据)”进行复原处理。

图21为表示具备EDoF光学系统的摄像模块101的一方式的框图。本例的摄像模块(数码相机等)101包括EDoF光学系统(透镜单元)110、成像元件112、AD转换部114以及复原处理块(图像处理部36)120。

图22为表示EDoF光学系统110的一例的图。本例的EDoF光学系统110具有单焦点的固定的摄影透镜110A和配置于光瞳位置的光学滤波器111。光学滤波器111的相位被调制，为了获得被扩展了的景深(焦点深度)(EDoF)而使EDoF光学系统110(摄影透镜110A)EDoF化。如此，摄影透镜110A以及光学滤波器111构成调制相位而使景深扩展的透镜部。

另外，EDoF光学系统110根据需要包含其他构成要件，例如在光学滤波器111的附近配设有光圈(省略图示)。并且，光学滤波器111可以为1片，也可以组合多片。并且，光学滤波器111仅为光学相位调制构件的一例，EDoF光学系统110(摄影透镜110A)的EDoF化也可以通过其他构件实现。例如，也可以通过以具有与本例的光学滤波器111相同的功能的方式进行透镜设计的摄影透镜110A实现EDoF光学系统110的EDoF化，以代替设置光学滤波器111。

即，能够通过使对成像元件112的受光面上的成像的波面发生变化的各种构件实现EDoF光学系统110的EDoF化。例如，能够采用“厚度发生变化的光学元件”、“折射率发生变化的光学元件(折射率分布型波面调制透镜等)”、“通过对透镜表面的编码等使厚度或折射率发生变化的光学元件(波面调制混合透镜、在透镜面上作为相位面形成的光学元件等)”、“能够调制光的相位分布的液晶元件(液晶空间相位调制元件等)”作为EDoF光学系统110的EDoF化构件。如此，本发明不仅能够应用于通过光波面调制元件(光学滤波器111(相位板))可形成有规则地分散的图像的实例，而且还能够应用于不使用光波面调制元件而是通过摄影透镜110A自身可形成与使用了光波面调制元件的情况相同的分散图像的实例。

图22所示的EDoF光学系统110由于能够省略机械地进行焦点调节的焦点调节机构，因此能够小型化，从而能够适宜地搭载于带有相机的移动电话或便携信息终端。

通过被EDoF化的EDoF光学系统110之后的光学图像成像于图21所示的成像元件112，并在此转换为电信号。

成像元件112由以规定的图案阵列(拜耳阵列、G条纹R/G完整方格、X-Trans阵列、蜂窝式阵列等)呈矩阵状配置的多个像素构成，各像素构成为包括微透镜、滤色器(在本例中为RGB滤色器)以及光电二极管。经由EDoF光学系统110入射到成像元件112的受光面的光学图像通过排列在该受光面的各光电二极管转换为与入射光量相应的量的信号电荷。然后，积蓄在各光电二极管的R、G、B的信号电荷作为每一个像素的电压信号(图像信号)被依次输出。

AD转换部114将从成像元件112按照每一个像素输出的模拟的R、G、B图像信号转换为数字的RGB图像信号。通过AD转换部114转换为数字的图像信号的数字图像信号被施加于复原处理块120。

复原处理块120例如包括黑电平调整部122、白平衡增益部123、伽马处理部124、去马赛克处理部125、RGB/YCrCb转换部126以及Y信号复原处理部127。

黑电平调整部122对从AD转换部114输出的数字图像信号实施黑电平调整。在黑电平调整时能够采用公知的方法。例如，在着眼于某一有效光电转换元件的情况下，求出与包括该有效光电转换元件的光电转换元件行所含的多个OB光电转换元件各自对应的暗电流量获取用信号的平均，并从与该有效光电转换元件对应的暗电流量获取用信号减去该平均，从而进行黑电平调整。

白平衡增益部123进行与调整了黑电平数据的数字图像信号所含的RGB各色信号的白平衡增益相应的增益调整。

伽马处理部124进行如下的伽马校正，即进行校正半色调等灰度的伽马校正，以使调整了白平衡的R、G、B图像信号达到所期望的伽马特性。

去马赛克处理部125对伽马校正后的R、G、B图像信号实施去马赛克处理。具体而言，去马赛克处理部125通过对R、G、B图像信号实施颜色差值处理，生成从成像元件112的各受光像素输出的一组图像信号(R信号、G信号、B信号)。即，在颜色去马赛克处理之前，来自各受光像素的像素信号为R、G、B图像信号中的任一个，但是在颜色去马赛克处理之后，输出与各受光像素对应的R、G、B信号这3个像素信号的组。

RGB/YCrCb转换部126将进行了去马赛克处理的每一个像素的R、G、B信号转换为亮度信号Y和色差信号Cr、Cb，并输出每一个像素的亮度信号Y以及色差信号Cr、Cb。

Y信号复原处理部127根据预先存储的复原滤波器对来自RGB/YCrCb转换部126的亮度信号Y进行复原处理。复原滤波器例如由具有7×7的核尺寸的反卷积核(与M＝7、N＝7的抽头数对应)以及与该反卷积核对应的运算系数(与复原增益数据、滤波器系数对应)构成，并使用于光学滤波器111的相位调制量的反卷积处理(反卷积运算处理)。另外，与光学滤波器111对应的复原滤波器存储于未图示的存储器(例如附带设置Y信号复原处理部127的存储器)。并且，反卷积核的核尺寸不限于7×7。另外，Y信号复原处理部127具有上述的图像处理部36中的锐化处理的功能。

接着，对基于复原处理块120的复原处理进行说明。图23为表示基于图21所示的复原处理块120的复原处理流程的一例的图。

在黑电平调整部122的一个输入时，从AD转换部114施加有数字图像信号，在其他输入时，施加有黑电平数据，黑电平调整部122从数字图像信号减去黑电平数据，将被减去黑电平数据的数字图像信号输出至白平衡增益部123(步骤S51)。由此，数字图像信号中不包含黑电平成分，表示黑电平的数字图像信号成为0。

对调整黑电平之后的图像数据依次实施基于白平衡增益部123、伽马处理部124的处理(步骤S52以及步骤S53)。

进行了伽马校正的R、G、B信号在去马赛克处理部125在进行去马赛克处理之后，在RGB/YCrCb转换部126中转换为亮度信号Y和色差信号Cr、Cb(步骤S54)。

Y信号复原处理部127进行对亮度信号Y应用EDoF光学系统110的光学滤波器111的相位调制量的反卷积处理的复原处理(步骤S55)。即，Y信号复原处理部127进行与以任意的处理对象的像素为中心的规定单位的像素组对应的亮度信号(在此为7×7像素的亮度信号)和预先存储于存储器等的复原滤波器(7×7的反卷积核和其运算系数)的反卷积处理(反卷积运算处理)。Y信号复原处理部127以覆盖摄像面的整个区域的方式反复进行该规定单位的每一个像素组的反卷积处理，从而进行去除整个图像的图像模糊的复原处理。复原滤波器按照实施反卷积处理的像素组的中心位置进行规定。即，对相邻的像素组应用共同的复原滤波器。并且，为了简化复原处理，优选对所有的像素组应用共同的复原滤波器。

如图24(a)所示，通过EDoF光学系统110之后的亮度信号的点像(光学图像)作为大的点像(模糊的图像)成像于成像元件112，但是通过在Y信号复原处理部127中进行的反卷积处理，如图24(b)所示复原成小的点像(高分辨率的图像)。

如上所述通过对去马赛克处理后的亮度信号应用复原处理，无需使RGB分别具有复原处理的参数，能够使复原处理高速化。并且，并不是将与处于间隔位置的R、G、B像素对应的R、G、B图像信号分别整合成1个单位进行反卷积处理，而是将相邻的像素的亮度信号彼此整合成规定的单位，并对该单位应用共同的复原滤波器来进行反卷积处理，因此复原处理的精度会提高。另外，关于色差信号Cr、Cb，即使不通过复原处理提高分辨率，在人眼的视觉特性上其画质也是容许的。并且，在通过如JPEG的压缩形式记录图像的情况下，以比亮度信号高的压缩率压缩色差信号，因此缺乏通过复原处理提高分辨率的必要性。这样，能够兼顾复原精度的提高和处理的简化以及高速化。

对如以上说明的EDoF系统的复原处理也能够应用上述的实施方式所涉及的点像复原处理。

并且，能够应用本发明的方式并不限定于数码相机以及计算机(服务器)，本发明除了能够应用于将摄像作为主要功能的相机类之外，还能够应用于除了具备摄像功能之外还具备除了摄像以外的其他功能(通话功能、通信功能、其他计算机功能)的便携设备类。作为能够应用本发明的其他方式，例如可以举出具有相机功能的移动电话或智能手机、PDA(Personal Digital Assistants)、便携式游戏机。以下，对能够应用本发明的智能手机的一例进行说明。

<对智能手机的应用例>

图25为表示智能手机201的外观的图。图25所示的智能手机201具有平板状的框体202，在框体202的一个面具备由作为显示部的显示面板221和作为输入部的操作面板222一体形成的显示输入部220。并且，所述框体202具备扬声器231、麦克风232、操作部240以及相机部241。另外，框体202的结构并不限定于此，例如还能采用显示部和输入部独立的结构，或者采用具有折叠结构或滑动机构的结构。

图26为表示图25所示的智能手机201的结构的框图。如图26所示，作为智能手机的主要构成要件，具备无线通信部210、显示输入部220、通话部230、操作部240、相机部241、存储部250、外部输入输出部260、GPS(Global Positioning System)接收部270、动作传感器部280、电源部290以及主控制部200(包括上述的主体控制器28)。并且，作为智能手机201的主要功能，具备经由基站装置BS和移动通信网NW进行移动无线通信的无线通信功能。

无线通信部210按照主控制部200的指示对容纳于移动通信网NW的基站装置BS进行无线通信。使用所述无线通信进行语音数据、图像数据等各种文件数据、电子邮件数据等的收发以及Web数据或流数据等的接收。

显示输入部220为通过主控制部200的控制来显示图像(静止图像以及动态图像)或文字信息等、并将信息以视觉方式传递给用户、并检测用户对所显示的信息的操作的所谓的触控面板，具备显示面板221和操作面板222。

显示面板221将LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)等用作显示设备。操作面板222为以能够辨认显示于显示面板221的显示面上的图像的方式载置并检测通过用户的手指或尖笔操作的一个或多个坐标的设备。若通过用户的手指或尖笔操作所述设备，则将由操作而产生的检测信号输出至主控制部200。接着，主控制部200根据所接收的检测信号检测显示面板221上的操作位置(坐标)。

如图25所示，虽然作为本发明的摄像装置的一实施方式例示的智能手机201的显示面板221与操作面板222一体地构成显示输入部220，但成为操作面板222完全覆盖显示面板221的配置。在采用所述配置的情况下，操作面板222对显示面板221之外的区域也可以具备检测用户操作的功能。换言之，操作面板222也可以具备对于与显示面板221重叠的重叠部分的检测区域(以下，称为显示区域)和对于除此以外的与显示面板221不重叠的外缘部分的检测区域(以下，称为非显示区域)。

另外，虽然可以使显示区域的大小和显示面板221的大小完全一致，但是不必一定使两者一致。并且，操作面板222也可以具备外缘部分和除此以外的内侧部分这两个感应区域。并且，外缘部分的宽度根据框体202的大小等适当地设计。另外，作为在操作面板222中采用的位置检测方式，可以举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，也能够采用任一方式。

通话部230具备扬声器231和麦克风232，将通过麦克风232输入的用户的语音转换成可由主控制部200处理的语音数据并输出至主控制部200，或者将通过无线通信部210或外部输入输出部260接收的语音数据进行解码并从扬声器231输出。并且，如图25所示，例如能够将扬声器231搭载于与设置有显示输入部220的面相同的面，将麦克风232搭载于框体202的侧面。

操作部240为使用按键开关等的硬键，接收来自用户的指示。例如，如图25所示，操作部240搭载于智能手机201的框体202的侧面，是当通过手指等被按下时开启、当拿开手指时通过弹簧等的复原力成为关闭状态的按键式开关。

存储部250存储主控制部200的控制程序或控制数据、应用软件、将通信对象的名称或电话号等建立对应关联的地址数据、所收发的电子邮件的数据、通过Web浏览下载的Web数据或所下载的内容数据，并且暂时存储流数据等。并且，存储部250由智能手机内置的内部存储部251和具有装卸自如的外部存储器插槽的外部存储部252构成。另外，构成存储部250的各个内部存储部251和外部存储部252利用闪存器类型(flash memory type)、硬盘类型(hard disk type)、微型多媒体卡类型(multimedia card micro type)、卡类型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(Random Access Memory)、ROM(Read Only Memory)等储存介质来实现。

外部输入输出部260发挥与连结于智能手机201的所有外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如，互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(Ultra Wideband)(注册商标)、紫蜂(ZigBee)(注册商标)等)直接或间接地与其他外部设备连接。

作为与智能手机201连结的外部设备，例如有如下等设备：有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插槽连接的存储器卡(Memory card)或SIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)卡、经由音频/视频I/O(Input/Output)端子连接的外部音频/视频设备、无线连接的外部音频/视频设备、有线/无线连接的智能手机、有线/无线连接的个人计算机、有线/无线连接的PDA、有线/无线连接的个人计算机、耳机等。外部输入输出部能够将从这种外部设备接受传递的数据传递至智能手机201的内部的各构成要件，或者能够将智能手机201的内部的数据传递至外部设备。

GPS接收部270按照主控制部200的指示接收从GPS卫星ST1～STn发送的GPS信号，执行基于所接收的多个GPS信号的测位运算处理，检测由智能手机2011的纬度、经度、高度构成的位置。GPS接收部270在能够从无线通信部210或外部输入输出部260(例如，无线LAN)获取位置信息时，还能够使用该位置信息检测位置。

动作传感器部280例如具备三轴加速度传感器等，按照主控制部200的指示检测智能手机201的物理移动。通过检测智能手机201的物理移动，可以检测智能手机201的移动的方向或加速度。所述检测结果被输出至主控制部200。

电源部290按照主控制部200的指示向智能手机201的各部供给蓄存于电池(未图示)的电力。

主控制部200具备微处理器，按照存储部250所存储的控制程序或控制数据动作，集中控制智能手机201的各部。并且，主控制部200为了通过无线通信部210进行语音通信或数据通信，具备控制通信系统的各部的移动通信控制功能和应用处理功能。

应用处理功能通过由主控制部200按照存储部250所存储的应用软件动作来实现。作为应用处理功能，例如有控制外部输入输出部260而与对象设备进行数据通信的红外线通信功能或进行电子邮件的收发的电子邮件功能、阅览Web的Web浏览功能等。

并且，主控制部200具备根据接收数据或所下载的流数据等图像数据(静止图像或动态图像的数据)将影像显示于显示输入部220等的图像处理功能。图像处理功能是指主控制部200对上述图像数据进行解码并对所述解码结果实施图像处理从而将图像显示于显示输入部220的功能。

并且，主控制部200执行对显示面板221的显示控制以及检测通过操作部240、操作面板222进行的用户操作的操作检测控制。

通过显示控制的执行，主控制部200显示用于启动应用软件的图标或滚动条等软键，或者显示用于制作电子邮件的窗口。另外，滚动条是指针对无法收纳于显示面板221的显示区域的大图像等，用于接收使图像的显示部分移动的指示的软键。

并且，通过操作检测控制的执行，主控制部200检测通过操作部240进行的用户操作，或者通过操作面板222接收对上述图标的操作或对上述窗口的输入栏的文字列的输入，或者接收通过滚动条的显示图像的滚动要求。

并且，通过操作检测控制的执行，主控制部200具备如下触控面板控制功能：判定对操作面板222的操作位置是与显示面板221重叠的重叠部分(显示区域)，还是除此以外的与显示面板221不重叠的外缘部分(非显示区域)，从而对操作面板222的感应区域或软键的显示位置进行控制。

并且，主控制部200还能够检测对操作面板222的手势操作，并根据检测出的手势操作执行预先设定的功能。手势操作并不是指以往单纯的触摸操作，而是指通过手指等描绘轨迹，或者同时指定多个位置或者组合这些，从多个位置对至少一个描绘轨迹的操作。

相机部241为使用CMOS(Complementary Metal Oxide Semiconductor)或CCD(Charge-Coupled Device)等成像元件进行电子摄影的数码相机。并且，相机部241能够通过主控制部200的控制将通过摄像获得的图像数据转换为例如JPEG(Joint Photographic coding Experts Group)等压缩的图像数据，并记录于存储部250，或者通过外部输入输出部260或无线通信部210输出。如图25所示，在智能手机201中，在与显示输入部220相同的面搭载有相机部241，但是相机部241的搭载位置并不限于此，可以搭载于显示输入部220的背面，或者也可以搭载多个相机部241。另外，在搭载了多个相机部241的情况下，还能替换供摄影的相机部241而单独进行拍摄，或者同时使用多个相机部241而进行拍摄。

并且，相机部241能够用于智能手机201的各种功能。例如，能够在显示面板221显示由相机部241获取的图像，或者将相机部241的图像用作操作面板222的操作输入的一种。并且，在GPS接收部270检测位置时，还能够参考来自相机部241的图像检测位置。并且，还能够参考来自相机部241的图像，不使用三轴加速度传感器或者并用三轴加速度传感器来判断智能手机201的相机部241的光轴方向，或者判断当前的使用环境。当然，还能够在应用软件内利用来自相机部241的图像。

除此之外，还能够将通过GPS接收部270获取的位置信息、通过麦克风232获取的语音信息(也可以通过主控制部等进行语音文本转换而成为文本信息)、通过动作传感器部280获取的姿势信息等附加于静止图像或动态图像的图像数据并记录于存储部250中，或者通过外部输入输出部260或无线通信部210输出。

上述的图像处理部36例如能够通过主控制部200来实现。

本发明并不限定于上述的实施方式，在不脱离本发明的精神的范围内能够进行各种变形是不言而喻的。

符号说明

10-数码相机，12-透镜单元，14-相机主体，16-透镜，17-光圈，18-光学系统操作部，20-透镜单元控制器，22-透镜单元输入输出部，26-成像元件，28-主体控制器，29-图像存储部，30-相机主体输入输出部，32-输入输出接口，34-设备控制部，36-图像处理部，37-显示控制部，38-显示部，40-频率分析部，42-光学特性获取部，44-滤波器获取部，46-滤波器处理部，48-滤波器存储部，49-滤波器特性数据，50-锐化滤波器，56-图像判定部，58-图像数据获取部，60-引导部，61-自动聚焦区，62-摄影条件显示部，64-判定信息部，80-计算机，81-计算机输入输出部，82-计算机控制器，83-显示器，84-网络，85-服务器，86-服务器输入输出部，87-服务器控制器，101-摄像模块，110-EDoF光学系统，110A-摄影透镜，111-光学滤波器，112-成像元件，114-AD转换部，120-复原处理块，122-黑电平调整部，123-白平衡增益部，124-伽马处理部，125-去马赛克处理部，126-YCrCb转换部，127-Y信号复原处理部，200-主控制部，201-智能手机，202-框体，210-无线通信部，220-显示输入部，221-显示面板，222-操作面板，230-通话部，231-扬声器，232-麦克风，240-操作部，241-相机部，250-存储部，251-内部存储部，252-外部存储部，260-外部输入输出部，270-GPS接收部，280-动作传感器部，290-电源部。