图像处理装置、摄像装置、图像处理方法及图像处理程序与流程

本发明涉及一种图像处理装置、摄像装置、图像处理方法及图像处理程序，尤其涉及一种与对焦情况对应的复原强度或复原强度和锐化强度的调整方法。

背景技术：

在通过光学系统来拍摄的被摄体图像中，因由光学系统引起的衍射或像差等的影响而有时会观察到点被摄体具有微小扩散的点扩散现象。表示对光学系统的点光源的响应的函数被称作点扩散函数(PSF：Point Spread Function)，作为影响摄影图像的分辨率劣化(模糊)的参数而被公知。

因点扩散现象而画质劣化的摄影图像，通过接受基于PSF的点像复原处理而可以恢复画质。该点像复原处理为如下处理，即预先求出由透镜(光学系统)的像差等引起的劣化特性(点像特性)，并通过使用了与该点像特性对应的复原滤波器(恢复滤波器)进行的图像处理而消除或减少摄影图像的点扩散。

若光圈值、焦点距离等摄影条件和透镜改变，则PSF发生变化，因此优选每次在摄影条件改变或者更换透镜时切换通过点像复原处理而使用的复原滤波器，从而使用与新的摄影条件、重新安装的透镜对应的复原滤波器进行点像复原处理。

作为通过点像复原处理而可以使用的复原滤波器的代表例，已知有维纳(Wiener)滤波器。若确定透镜的光学传递函数(OTF：Optical Transfer Function)和取决于频率的摄像系统SN比(Signal-Noise ratio)，则基于维纳滤波器的点像复原处理为在数学上唯一确定的处理。

并且，除了点像复原处理以外，有时进行用于改善画质的图像处理，例如，通过锐化处理(轮廓增强处理、边缘增强处理、清晰度增强处理等)能够提高图像的锐度(清晰度)。

作为有关上述点像复原处理及锐化处理的具体的处理方法，例如，在专利文献1中公开了如下图像处理，即作为根据摄像系统的光学传递函数而生成或选择的图像恢复滤波器，使用在相位劣化成分及振幅劣化成分中仅减少相位劣化成分的图像恢复滤波器来使相位劣化成分恢复，并且使用减少振幅劣化成分的边缘增强滤波器使振幅劣化成分恢复。

通过如此根据摄像系统的光学传递函数而生成或选择的图像恢复滤波器仅使相位劣化成分恢复，而未使振幅劣化成分恢复。其理由在于，若使用通过采用光学传递函数的完整的倒数而制作的图像恢复滤波器，则在劣化图像恢复的同时噪声成分大幅增强，并且，在对所希望的画质不能容许噪声的情况下，在恢复图像中产生作为伪影的振铃等不良现象，进而，若在红(R)、绿(G)、蓝(B)每一种颜色成分中恢复程度与预想的不同，则在恢复图像中会产生着色(伪色)。另一方面，减少振幅劣化成分的边缘增强滤波器仅增强边缘部，因此能够抑制边缘以外部分的噪声增强。

在专利文献2中公开了如下图像处理装置，即，提取具有焦点偏移量最小的范围的被摄体区域而作为可修复模糊的区域，并通过模糊修复滤波器进行所提取区域的图像数据的模糊修复。由此，能够减小模糊修复处理的计算负荷，且能够在短时间内进行恢复处理，并且，通过对所提取的区域以外的图像数据不进行模糊修复处理，防止模糊修复后的图像因过度恢复而劣化。

并且，在专利文献3中公开了如下内容，按照边缘强度选择复原强度不同的滤波器，从而能够按照边缘强度来改变复原滤波器自身的强度。

现有技术文献

专利文献

专利文献1：日本特开2011-123589号公报

专利文献2：日本特开2011-23823号公报

专利文献3：日本特开2006-129236号公报

技术实现要素：

发明所要解决的问题

根据摄影场景(被摄体)、摄影条件，有时因点像复原处理而在图像中产生伪影(振铃等)，有时为了防止伪影等画质劣化而必须减弱点像复原处理的复原强度。伪影在理想条件下的点像复原处理中不应该出现，但是在实际处理中，因透镜和传感器的个体差异、点像复原处理的前级的信号处理的非线性特性等，有时输入图像的频率特性变得不准确而产生伪影。

作为该现象之一，若对脱离对焦区域的图像区域应用点像复原处理，则有可能产生导致画质变差的不良现象。

在完整的非对焦区域(散焦区域)中，图像非常模糊，因此只残留低频成分，不易产生点像复原的影响且不易产生不良现象。并且，完整的非对焦区域(散焦区域)也比较容易从图像数据中提取。

另一方面，经发明人等的深入研究的结果，明确了若对于比对焦区域稍微靠前聚焦或后聚焦的区域(次对焦区域)的图像，与对焦区域的图像相同地进行点像复原处理，则产生导致噪声等伪影明显的不良现象。并且，以往并未考虑到对容易产生该不良现象的次对焦区域为多少区域进行判断，并从图像数据中提取。

在专利文献1中记载有如下内容，若对产生有焦点偏移的区域的图像，通过基于摄像光学系统的使振幅劣化恢复的图像恢复滤波器进行恢复处理，则产生边缘部着色的伪色。并且，在专利文献1中所记载的装置进行使用了使相位劣化成分恢复的图像恢复滤波器的图像处理及使用了边缘增强滤波器的图像处理，但未进行与焦点偏移的状态对应的恢复处理。而且，关于使两种图像处理相互有关联地调整图像恢复度及边缘增强度，在专利文献1中没有公开或提出建议。

在专利文献2中记载的装置，提取具有焦点偏移量最小范围的被摄体区域而作为可修复模糊的区域，并通过模糊修复滤波器进行所提取区域的图像数据的模糊修复。但存在的问题是对于比焦点偏移量最小的范围(对焦区域)靠前聚焦或后聚焦的区域(次对焦区域)的图像未进行基于模糊修复滤波器的模糊修复。并且，在专利文献2中并未公开若对次对焦区域的图像进行与对焦区域的图像相同的模糊恢复处理则噪声明显的问题或解决方法。

并且，在专利文献3中记载有如下内容，当复原边缘强度较大的像素时，与其对应的复原图像的振铃不明显，因此使用复原强度较大的复原滤波器来复原图像，当复原边缘强度较小的像素时，与其对应的复原图像的振铃明显，因此使用复原强度较小的复原滤波器来复原图像。但并未记载按照图像内像素的对焦状态而使用复原强度不同的复原滤波器。

本发明是鉴于上述情况而完成的，其目的在于提供一种能够良好地恢复由光学系统的PSF引起的对焦区域及次对焦区域中的劣化图像，且不使图像锐度过度变化便能够稳定地进行画质改善的图像处理装置、摄像装置、图像处理方法及图像处理程序。

用于解决问题的手段

为了实现上述目的，本发明的一方式所涉及的发明为一种图像处理装置，其对通过使用光学系统来拍摄被摄体图像而获得的原图像数据，进行使用基于光学系统的点扩散函数的复原滤波器的复原处理，由此获得恢复图像数据，其中，所述图像处理装置具备：复原处理部，对原图像数据，通过应用复原滤波器来进行复原处理；锐化恢复控制部，通过控制复原处理部而能够调整基于复原处理的原图像数据的复原率；及次对焦区域检测部，检测与原图像数据对应的原图像内的次对焦区域，锐化恢复控制部通过调整针对次对焦区域的原图像数据的复原率，将其设为至少比针对对焦区域的原图像数据的复原率小。

根据本发明的一方式，通过检测原图像内的次对焦区域，并调整针对检测到的次对焦区域的原图像数据的复原率，将其设为至少比针对对焦区域的原图像数据的复原率小，因此能够进行针对次对焦区域的原图像数据的复原处理，且将针对次对焦区域的原图像数据的复原强度设为比针对对焦区域的原图像数据的复原强度弱，从而能够使次对焦区域的原图像数据不会过度校正。在此，关于复原率的调整，可以考虑如下方法：通过对基于复原处理的增减量数据进行增益控制而进行调整的方法；通过剪辑阈值来限制增减量数据而进行调整的方法；或者从复原强度不同的复原滤波器选择适当的复原强度的复原滤波器而进行调整的方法。另外，“基于点扩散函数的复原滤波器”为根据使用光学系统的点扩散函数(PSF)而生成的逆滤波器、维纳滤波器等的复原滤波器，“复原处理”包括将这种复原滤波器应用于图像数据的处理。并且“点扩散函数”为表示对光学系统的点光源的响应的函数，可以根据PSF及OTF(MTF(Modulation Transfer Function)、PTF(Phase Transfer Function))来表现。

在本发明的另一方式所涉及的图像处理装置中，优选锐化恢复控制部在调整针对次对焦区域的原图像数据的复原率时，使对焦区域与次对焦区域的边界的复原率连续地变化。由此，能够使在对焦区域与次对焦区域的边界的图像上不会产生复原强度的高低差。另外，也可以使次对焦区域与非对焦区域的边界的复原率也连续地变化，但该边界的图像非常模糊，且复原强度的高低差不明显，因此也可以使复原率不连续地变化。

在本发明的又一方式所涉及的图像处理装置中，优选次对焦区域检测部具有第1散焦量检测部，该第1散焦量检测部对原图像数据中的次对焦区域的散焦量进行检测，锐化恢复控制部按照由第1散焦量检测部检测到的散焦量，调整针对次对焦区域的原图像数据的复原率。由此，按照次对焦区域内的散焦量的大小来调整针对其次对焦区域的原图像数据的复原率，从而能够连续地调整从对焦区域到非对焦区域的次对焦区域的复原强度。

在本发明的又一方式所涉及的图像处理装置中，优选具备使用锐化滤波器对原图像数据进行锐化处理的锐化处理部，锐化恢复控制部通过分别控制复原处理部及锐化处理部而能够分别调整基于复原处理的次对焦区域的原图像数据的复原率、及基于锐化处理的次对焦区域的原图像数据的锐化率。由此，在将基于复原处理的次对焦区域的原图像数据的复原率设为较小的情况下，例如能够将基于锐化处理的次对焦区域的原图像数据的锐化率设为比对焦区域的原图像数据大，并能够调整基于复原率及锐化率的总锐化复原率。另外，就“锐化滤波器”而言，可以使用“由光学系统的点扩散函数(PSF)利用逆滤波器或维纳滤波器而生成的滤波器(复原滤波器)”以外的滤波器种类。从而，作为“锐化滤波器”，例如能够适当地使用并非根据光学系统的点扩散函数的滤波器，可以采用基于点扩散函数以外的其它要素(参数)计算的滤波器作为“锐化滤波器”。作为并非基于点扩散函数的锐化滤波器，只要不是基于点扩散函数制作的滤波器，则可以采用点扩散函数对应于不同的光圈值等而可切换的滤波器作为锐化滤波器。同样，可以采用点扩散函数对应于不同的图像高度而可切换的滤波器作为锐化滤波器。并且，锐化处理中的锐化滤波器的强度(增益)也可以对应于光圈值或图像高度而改变。

“锐化处理”为对图像数据的高频成分进行补偿或增强的处理，是增强图像的轮廓成分的处理。从而，例如被称作轮廓增强处理、边缘增强处理或清晰度增强处理的处理可以包含于在本文提及的“锐化处理”中。另外，复原滤波器及锐化滤波器能够作为FIR(Finite Impulse Response)滤波器而构成。

在本发明的又一方式所涉及的图像处理装置中，优选锐化恢复控制部由基于复原率及锐化率的总锐化复原率和复原率及锐化率中的一个算出复原率及锐化率中的另一个。由此，能够算出用于将总锐化复原率保持为恒定的复原率或锐化率。并且，由于复原率及锐化率根据总锐化复原率而被确定，因此根据复原率的增减来调整锐化率，或者根据锐化率的增减来调整复原率。从而，不会使基于复原处理的复原强度以及基于锐化处理的锐化强度过度变化，而能够稳定地改善图像数据的画质。

本发明的又一方式所涉及的图像处理装置中，优选锐化恢复控制部在分别调整针对次对焦区域的原图像数据的复原率及锐化率时，使对焦区域与次对焦区域的边界的复原率及锐化率分别连续地变化。由此，能够使在对焦区域与次对焦区域的边界的图像上不会产生复原强度的高低差及锐化强度的高低差。

在本发明的又一方式所涉及的图像处理装置中，优选次对焦区域检测部具有对原图像数据中的次对焦区域的散焦量进行检测的第1散焦量检测部，锐化恢复控制部按照由第1散焦量检测部检测到的散焦量，分别调整针对次对焦区域的原图像数据的复原率及锐化率。由此，按照次对焦区域内的散焦量的大小来调整针对其次对焦区域的原图像数据的复原率及锐化率，从而能够连续调整从对焦区域到非对焦区域的次对焦区域的复原强度及锐化强度。

在本发明的又一方式所涉及的图像处理装置中，优选原图像数据为包含多个帧的动态图像数据，锐化恢复控制部在调整针对构成动态图像数据的各原图像数据的复原率时，根据处理对象的原图像数据的前帧或后帧的摄影条件来调整复原率。由此，即使在存在“摄影环境的急剧变化”的情况下，也能够维持帧之间的复原处理的连续性，且可获得良好的画质的动态图像。

在本发明的又一方式所涉及的图像处理装置中，光学系统为以能够更换的方式安装于搭载读取原图像数据的摄像元件的摄像主体上的更换透镜。

在本发明的又一方式所涉及的图像处理装置中，优选锐化恢复控制部从被安装的更换透镜获得更换透镜的光学特性信息。光学特性信息包括复原滤波器、透镜的种类信息或透镜的个体差异信息。按照更换透镜的光学特性能够确定复原率，即使光学特性信息因更换透镜的种类而变动的情况下，也能够确定适当的复原率。

在本发明的又一方式所涉及的图像处理装置中，次对焦区域检测部具有频率成分提取部，其根据原图像数据在原图像内的每一个分割区域提取与次对焦对应的特定频率成分或包含特定频率的附近的频率成分，次对焦区域检测部根据在原图像内的每一个分割区域提取的频率成分的大小检测原图像内的次对焦区域。基于复原滤波器的过度校正明显的特定频带的响应的大小与次对焦区域的图像数据相关联。因此，在原图像内的每一个分割区域提取特定频率成分或包含特定频率的附近的频率成分，并根据所提取的频率成分的大小检测原图像内的次对焦区域。

在本发明的又一方式所涉及的图像处理装置中，优选频率成分提取部具有在原图像内的每一个分割区域对分割区域内的边缘部进行检测的边缘部检测部，并根据检测到的边缘部的原图像数据，在原图像内的每一个分割区域提取与次对焦对应的特定频率成分或包含特定频率的附近的频率成分。其原因在于从不存在边缘部的部分无法提取与次对焦区域对应的适合的频率成分。

在本发明的又一方式所涉及的图像处理装置中，优选若将原图像数据的采样频率设为fs，则频率成分提取部在原图像内的每一个分割区域提取从0.05fs至0.25fs的范围内的频率成分，若将对焦区域的响应设为1，则次对焦区域检测部按照在原图像内的每一个分割区域提取的频率成分的大小是否在分别与0.2和0.7的响应对应的下限值和上限值的范围内来检测原图像内的次对焦区域。

在本发明的又一方式所涉及的图像处理装置中具备获取部，其获得与原图像数据对应的原图像内的每一个分割区域的被摄体距离、及拍摄原图像数据时的摄影条件，次对焦区域检测部根据所获得的摄像范围内的每一个区域的被摄体距离和通过所获得的摄影条件而决定的景深来检测原图像内的次对焦区域。景深通过拍摄时的摄影条件(焦点距离、光圈值、摄影距离、容许弥散圆)而确定。与如此确定的景深内的被摄体距离对应的区域为对焦区域，检测该景深前后的规定的被摄体距离的范围对应的区域而作为次对焦区域。作为规定的被摄体距离的范围并无特别限定，可以设为例如后方景深的2倍、前方景深的2倍范围。

本发明的又一方式所涉及的摄像装置优选具备：上述图像处理装置；摄像部，通过使用光学系统来拍摄被摄体图像而获得原图像数据；及第2散焦量检测部，检测基于摄像部的摄像范围内的整个区域的散焦量，次对焦区域检测部根据由第2散焦量检测部检测的摄像范围内的整个区域的散焦量来检测原图像内的次对焦区域。对焦区域的散焦量(焦点偏移量)为零或大致零，散焦量和对焦状态具有相关关系。从而，通过检测摄像范围内的整个区域的散焦量，能够将与检测到的散焦量的绝对值比对焦区域的散焦量的绝对值大，且比非对焦区域的散焦量的绝对值小的范围对应的区域，作为次对焦区域进行检测。

本发明的又一方式所涉及的摄像装置构成为具备上述图像处理装置。

本发明的又一方式所涉及的发明为一种图像处理方法，其对通过使用光学系统来拍摄被摄体图像而获得的原图像数据，进行使用基于光学系统的点扩散函数的复原滤波器的复原处理，由此获得恢复图像数据，所述图像处理方法中包括：对原图像数据，通过应用复原滤波器来进行复原处理的步骤；对基于复原处理的原图像数据的复原率进行调整的步骤；对与原图像数据对应的原图像内的次对焦区域进行检测的步骤，调整复原率的步骤通过调整针对次对焦区域的原图像数据的复原率，能够将其设为至少比针对对焦区域的原图像数据的复原率小。

本发明的又一方式所涉及的发明为一种图像处理程序，其对通过使用光学系统来拍摄被摄体图像而获得的原图像数据，进行使用基于光学系统的点扩散函数的复原滤波器的复原处理，由此获得恢复图像数据，所述图像处理程序使计算机执行如下步骤：对原图像数据，通过应用复原滤波器来进行复原处理的步骤；对与原图像数据对应的原图像内的次对焦区域进行检测的步骤；对基于复原处理的原图像数据的复原率进行调整的步骤，即通过调整针对检测到的次对焦区域的原图像数据的复原率，将其设为至少比针对对焦区域的原图像数据的复原率小的步骤。

发明效果

根据本发明，通过检测原图像内的次对焦区域，并调整针对检测到的次对焦区域的原图像数据的复原率，将其设为至少比针对对焦区域的原图像数据的复原率小，因此能够使针对次对焦区域的原图像数据的复原处理不会过度校正，且能够提高次对焦区域的原图像数据的画质。

附图说明

图1是表示连接于计算机上的数码相机的框图。

图2是表示主体控制器的结构例的框图。

图3是表示图像处理部的结构例的框图，尤其表示点像复原处理所涉及的结构。

图4是表示进行第1实施方式所涉及的点像复原处理的处理模块的结构的图。

图5是表示对被摄体距离连续地变化的被摄体进行拍摄的图像的一例的图。

图6是图5中示出的图像内的对焦区域、次对焦区域及非对焦区域的图像的放大图。

图7是表示从通过手动对焦使ISO分辨率图表从对焦位置依次偏移焦点而拍摄的各图像中得到的，采样频率[fs]与响应[SFR]的关系的曲线图。

图8是表示检测次对焦区域的次对焦区域检测部的第1实施方式的框图。

图9是表示响应[SFR]与带通滤波器(BPF1)、窄带通滤波器(BPF2)的输出值的关系的图表。

图10是表示通过带通滤波器(BPF1)的输出的累计值D来判定次对焦区域的方式的图。

图11是表示本发明所涉及的点像复原处理和另一方式的点像复原处理的比较例的图。

图12是表示通过强度自动调整部进行的针对次对焦区域的原图像数据的复原率(复原强度倍率U)的调整的变化的图。

图13是表示分割为8×8的64个分割区域的原图像的图。

图14是表示在原图像的每一个分割区域获得的AF评价值的一例的图。

图15是表示图13中示出的8个分割区域A₁₄～A₈₄的图像位置和分割区域A₁₄～A₈₄的各被摄体的被摄体距离的关系的图。

图16是表示次对焦区域A、C及对焦区域B和与这些区域对应的被摄体距离的关系的图表。

图17是对应于次对焦的定义2而检测次对焦区域的次对焦区域检测部的框图。

图18是表示相位差像素的结构例的图。

图19是对应于次对焦的定义3而检测次对焦区域的次对焦区域检测部的框图。

图20是表示图像处理部的结构例的框图，尤其表示涉及点像复原处理及锐化处理的结构。

图21是用于说明点像复原强度及锐化强度的调整的概念图。

图22是表示进行第2实施方式所涉及的点像复原处理及锐化处理的处理模块的结构的图。

图23是表示进行第3实施方式所涉及的点像复原处理及锐化处理的处理模块的结构的图。

图24是表示进行第4实施方式所涉及的点像复原处理及锐化处理的处理模块的结构的图。

图25是例示图像处理的频率特性的图，图25(a)表示点像复原处理(点像复原滤波器处理部)中的“频率-增益”关系例，图25(b)表示锐化处理(轮廓增强滤波器处理部)中的“频率-增益”关系例，图25(c)表示整个锐化处理及点像复原处理中的“频率-增益”关系例。

图26是表示进行第5实施方式所涉及的点像复原处理及锐化处理的处理模块的结构的图。

图27是表示进行第6实施方式所涉及的点像复原处理及锐化处理的处理模块的结构的图。

图28是表示进行第7实施方式所涉及的点像复原处理及锐化处理的处理模块的结构的图。

图29是对处理对象帧和参考帧的一例进行说明的图。

图30是对与复原调整部所进行的复原处理内容的调整有关的例子进行说明的图。

图31是对与复原调整部所进行的复原处理内容的调整有关的例子进行说明的图。

图32是表示确定频率最大值的情况的复原调整部的动作流程的图。

图33是表示进行第8实施方式所涉及的点像复原处理及锐化处理的处理模块的结构的图。

图34是表示进行第9实施方式所涉及的点像复原处理及锐化处理的处理模块的结构的图。

图35是表示进行一变形例所涉及的点像复原处理及锐化处理的处理模块的结构的图。

图36是表示智能手机的外观的图。

图37是表示图36所示的智能手机的结构的框图。

具体实施方式

参考附图，对本发明的实施方式进行说明。在以下实施方式中，作为一例，对在可连接于计算机(PC：个人计算机)上的数码相机(摄像装置)中适用本发明的情况进行说明。

图1是表示连接于计算机上的数码相机的框图。在本实施例的数码相机10中，在搭载摄像元件26的相机主体(摄像主体)14上，以能够更换的方式安装有透镜单元(光学系统)12，在相机主体14上设置有图像处理装置。

即，数码相机10具备作为更换透镜的透镜单元12和具备摄像元件26的相机主体14，通过透镜单元12和摄像元件26构成数码相机10的摄像部，经由透镜单元12的透镜单元输入输出部22和相机主体14的相机主体输入输出部30，透镜单元12和相机主体14被电连接。

透镜单元12具备透镜16及光圈17(光学系统)、及控制该光学系统的光学系统操作部18。光学系统操作部18包括：透镜单元控制器20，连接于透镜单元输入输出部22；透镜单元存储部21，存储各种信息(光学系统信息等)；及致动器(省略图示)，对光学系统进行操作。透镜单元控制器20根据从相机主体14经由透镜单元输入输出部22传送过来的控制信号，并经由致动器控制光学系统，例如进行基于透镜移动的对焦控制和变焦控制、光圈17的光圈量控制等。并且，透镜单元控制器20根据从相机主体14经由透镜单元输入输出部22传送过来的控制信号，读取存储于透镜单元存储部21中的各种信息，并发送到相机主体14(主体控制器28)。

相机主体14的摄像元件26具有聚光用微透镜、R(红)G(绿)B(蓝)等滤色器、图像传感器(光电二极管；CMOS(Complementary Metal Oxide Semiconductor)、CCD(Charge Coupled Device)等)。该摄像元件26将经由透镜单元12的光学系统(透镜16、光圈17等)照射的被摄体图像的光转换为电信号，并将图像信号(原图像数据)发送到主体控制器28。

主体控制器28，其详细内容将在后面叙述(参考图2)，其具有：对数码相机10的各部进行综合控制的作为设备控制部的功能；及对从摄像元件26传送过来的图像数据进行图像处理的作为图像处理部的功能。

数码相机10还具备在拍摄等时所需的其它设备类(快门等)，那些设备类的一部分构成可由用户进行确认及操作的用户界面29。用户界面29可配置于透镜单元12和/或相机主体14，在图1所示的例子中，在相机主体14上设置有用户界面29。用户能够经由用户界面29进行用于摄影等的各种设定(EV值(Exposure Value)等)的确定及变更、摄影指令、实时取景图像及摄影图像的确认等。用户界面29连接于主体控制器28，由用户确定及变更的各种设定及各种指令反映在主体控制器28中的各种处理(设备控制处理、及图像处理等)中。

在主体控制器28中进行图像处理的图像数据被存储于设置在相机主体14中的主体存储部31，根据需要，经由输入输出接口32发送到计算机92等。主体存储部31由任意的存储器构成，可优选使用存储卡等能够更换存储器。从主体控制器28输出的图像数据的格式并无特别限定，可以是RAW、JPEG(Joint Photographic Experts Group)、TIFF(Tagged Image File Format)等任意的格式。并且，主体控制器28如所谓的Exif(Exchangeable Image File Format)那样，可以对标题信息(摄影信息(摄影日期和时间、机种、像素数、光圈值等)等)、主图像数据及缩略图图像数据等多个相关数据彼此建立对应关联而构成1个图像文件，并输出该图像文件。

计算机92经由相机主体14的输入输出接口32及计算机输入输出部93连接于数码相机10，并接收从相机主体14传送过来的图像数据等数据类。计算机控制器94综合控制计算机92，并对来自数码相机10的图像数据进行图像处理，并控制与经由互联网96等的网络线路连接于计算机输入输出部93上的服务器97等进行的通信。计算机92具有显示器95，计算机控制器94中的处理内容等根据需要显示于显示器95。用户边确认显示器95的显示，边操作键盘等输入构件(省略图示)，从而可以对计算机控制器94输入数据和命令。由此，用户能够控制计算机92或连接于计算机92上的设备类(数码相机10、服务器97)。

服务器97具有服务器输入输出部98及服务器控制器99。服务器输入输出部98构成与计算机92等外部设备类的收发连接部，并经由互联网96等的网络线路连接于计算机92的计算机输入输出部93。服务器控制器99根据来自计算机92的控制指令信号，与计算机控制器94协同动作，根据需要，与计算机控制器94之间进行数据类的收发，并将数据类下载到计算机92中进行运算处理，将其运算结果发送到计算机92。

各控制器(透镜单元控制器20、主体控制器28、计算机控制器94、服务器控制器99)具有控制处理中所需的电路类，例如具备中央处理装置(CPU(Central Processing Unit)等)或存储器等。并且，数码相机10、计算机92及服务器97之间的通信可以是有线的，也可以是无线的。并且，可以一体构成计算机92及服务器97，并且也可以省略计算机92和/或服务器97。并且，可以使数码相机10具有与服务器97的通信功能，而在数码相机10与服务器97之间直接进行数据类的收发。

图2是表示主体控制器28的结构例的框图。主体控制器28具有设备控制部34和图像处理部35，并综合控制相机主体14。

设备控制部34控制例如来自摄像元件26的图像信号(图像数据)的输出，生成用于控制透镜单元12的控制信号，并经由相机主体输入输出部30发送到透镜单元12(透镜单元控制器20)，将图像处理前后的图像数据(RAW数据、JPEG数据等)存储于主体存储部31，将图像处理前后的图像数据(RAW数据、JPEG数据等)发送到经由输入输出接口32连接的外部设备类(计算机92等)。并且，设备控制部34适当地控制显示部(EVF：Electronic View Finder、背面液晶显示部：用户界面29)等数码相机10所具备的各种设备类。

另一方面，图像处理部35对来自摄像元件26的图像信号根据需要进行任意的图像处理。例如在图像处理部35中适当地进行如下各种图像处理：传感器校正处理、去马赛克(同步)处理、像素插值处理、颜色校正处理(偏移校正处理、白平衡处理、颜色矩阵处理、伽马转换处理等)、RGB图像处理(清晰度处理、色调校正处理、曝光校正处理、轮廓校正处理等)、RGB/YCrCb转换处理及图像压缩处理等。尤其，本实施例的图像处理部35对图像信号(图像数据)进行基于光学系统的点扩散函数的复原处理(点像复原处理)和不基于点扩散函数的锐化处理(轮廓增强处理)。

图3是表示图像处理部35的结构例的框图，表示尤其涉及点像复原处理的结构。

本实施例的图像处理部35具有锐化恢复控制部37及复原处理部38。

复原处理部38对通过使用光学系统(透镜16等)拍摄被摄体而从摄像元件26获得的图像数据，使用基于点扩散函数的复原滤波器进行复原处理。复原滤波器为用于恢复PSF劣化的滤波器，例如能够适当地使用维纳滤波器作为复原滤波器。另外，关于复原滤波器,可以在整个图像中准备单一的滤波器，也可以在图像内的每一个位置(每一个图像高度)准备不同的滤波器。

锐化恢复控制部37控制复原处理部38，并调整基于复原处理的图像数据的复原率。关于该复原率的调整，本实施例的锐化恢复控制部37按照与原图像数据对应的原图像内的对焦区域、次对焦区域及非对焦区域来调整复原率。

在此，所谓原图像内的对焦区域为被对焦控制的主要被摄体等所在的区域，是指当拍摄物体表面上的点时可容许作为图像表面上的点的范围(容许弥散圆)而成像的区域，并且是指被视为对焦的区域。数码相机的情况下，通常，摄像元件的1个像素的尺寸被用作容许弥散圆的大小。

次对焦区域是指上述对焦区域与非对焦区域的中间区域，是若进行复原处理则分辨率提高，但若进行与对焦区域相同的复原处理则有可能因过度校正而画质劣化的区域。另外，关于次对焦区域的详细内容将进行后述。

非对焦区域为即使进行复原处理也不会提高分辨率，且因过度校正而产生的画质劣化也少的区域，是无法获得复原处理效果的区域。

并且，点像复原处理根据摄影场景(被摄体)的不同有时因错误校正而导致伪影(振铃等)等。另外，在按照摄影条件使用不同的复原滤波器的情况下，有时在点像复原处理后的图像的复原率上产生偏差。

以下实施方式涉及如下技术，即，在进行点像复原处理时，有效地防止上述过度校正或错误校正，并恢复因光学系统的点扩散现象而受到损伤的画质，从而得到鲜明的图像。

＜第1实施方式＞

本实施方式所涉及的锐化恢复控制部37调整点像复原处理中的复原率。

图4是表示进行第1实施方式所涉及的点像复原处理的处理模块的结构的图。

复原处理部38包括点像复原滤波器处理部42、复原乘法器43及复原加法器44。点像复原滤波器处理部42将与光学系统(透镜16等)的点扩散函数对应的复原滤波器应用于输入图像数据中。

复原乘法器43对在点像复原滤波器处理部42中得到的图像数据乘以复原强度倍率U，并进行增益控制。复原加法器44对输入图像数据乘以倍率(1-U)，并与乘以复原强度倍率U的图像数据进行相加。点像复原处理通过这些点像复原滤波器处理部42、复原乘法器43及复原加法器44中的一系列处理而构成。

另外，复原处理部38通过任意的方法能够将复原强度倍率U反映于图像数据中，在本实施方式及其它实施方式中，也可以采用与上述方法等效的其他方法来代替上述方法。例如，在点像复原滤波器处理部42中，将与光学系统的点扩散函数对应的复原滤波器应用于输入图像数据中之后算出图像的增减量数据，在复原乘法器43中进行增减量数据的增益控制，并将增减量数据及复原强度倍率U进行相乘。之后，在复原加法器44中，也可以将输入到点像复原滤波器处理部42之前的图像数据(输入图像)和乘以复原强度倍率U的增减量数据进行相加。

并且，复原处理部38包括如下内容，输入与复原率对应的复原滤波器(从复原强度不同的多个复原滤波器中适当地选择的复原滤波器)，以代替从后述锐化恢复控制部37输入复原滤波器及复原强度倍率U，由此可以进行复原率的调整。

锐化恢复控制部37包括强度自动调整部52及复原滤波器选择部53。复原滤波器选择部53根据摄影设定条件S(变焦级、F值、被摄体距离等)从复原滤波器存储部58选择基于用于拍摄图像数据的光学系统(透镜16等)的点扩散函数的复原滤波器X。而且，复原滤波器选择部53将所选择的复原滤波器X发送到强度自动调整部52和复原处理部38的点像复原滤波器处理部42。点像复原滤波器处理部42将从复原滤波器选择部53发送过来的复原滤波器X应用于输入图像。

复原滤波器存储部58将基于多个光学系统(透镜16等)的点扩散函数的多个复原滤波器按每一个摄影设定条件进行存储。另外，复原滤波器存储部58可以设置于相机主体14，也可以设置于透镜单元12。

强度自动调整部52根据表示来自后述的次对焦区域检测部50的原图像内的次对焦区域的信息，确定与点像复原恢复率(复原率)G对应的复原强度倍率U(其中，满足“复原强度倍率U≥0”)。而且，强度自动调整部52将所确定的复原强度倍率U发送到复原乘法器43。复原强度倍率U为复原处理部38中的强度调整参数，复原乘法器43使用从强度自动调整部52发送过来的复原强度倍率U进行乘法处理。

另外，强度自动调整部52获得通过点像复原滤波器处理部42而被使用的滤波器的频率特性。例如，通过点像复原滤波器处理部42而被使用的复原滤波器X从复原滤波器选择部53发送到强度自动调整部52。

例如能够按照以下流程确定基于锐化恢复控制部37的复原滤波器X及复原强度倍率U。

首先，摄影设定条件S通过主体控制器28而获得，与其摄影设定条件S对应的复原滤波器X通过复原滤波器选择部53而被选择。复原滤波器X设计成将根据与摄影设定条件S对应的光学系统(透镜16等)的PSF的图像劣化的程度以最小二乗方基准最小化，复原滤波器X的理想的频率特性可以根据维纳滤波器特性进行设计。在本实施例中，在确定复原滤波器X的理想的频率特性之后，反映了其频率特性的FIR滤波器作为复原滤波器X而被确定。另外，复原滤波器X可以为现实空间滤波器及频率空间滤波器中的任一种，在通过多个抽头构成的现实空间滤波器来构成复原滤波器X的情况下，优选将在通过所希望的抽头数可实现理想的频率特性的范围内接近于最佳FIR滤波器作为复原滤波器X。并且，通常，由于PSF的形状根据图像高度而不同，因此优选复原滤波器X具有按照图像内的图像高度而不同的频率特性。从而，将通过按照图像内位置而确定的多个复原滤波器构成的一组，在广义上称作“复原滤波器X”，将适用于图像内的坐标(i，j)的位置(像素)的复原滤波器标记为“X_i,j”。

如上所述的复原滤波器X根据拍摄图像数据时的摄影设定条件S而被确定，但该摄影设定条件S可包括“影响点扩散函数的设定条件”及“不影响点扩散函数的摄影条件”。“设定条件”可包括例如光圈信息、变焦信息、被摄体距离信息、及光学系统所具有的透镜种类信息中的至少任一种。并且“摄影条件”可包括摄影灵敏度信息及摄影模式信息中的至少任一种。

另外，摄影设定条件S通过任意的方式可输入到复原滤波器选择部53，从主体控制器28的设备控制部34及图像处理部35中管理摄影设定条件S的控制处理部(未图示)，摄影设定条件S可适当地发送到复原滤波器选择部53。

另一方面，在进行复原处理部38中的图像处理之前，预先由用户来指定点像复原恢复率G。由用户进行的点像复原恢复率G的指定方法并无特别限定，例如可以将用于指定点像复原恢复率G的滑动件等调整构件显示于用户界面29(背面显示部等)，通过用户经由调整构件进行操作而能够简单地确定点像复原恢复率G。点像复原恢复率G为0(零)的情况相当于点像复原处理处于关闭。该点像复原处理中的复原强度倍率U可以以取连续值的方式变化，可以以取离散值的方式变化，可以根据开启或关闭(是规定倍率，还是“0(零)”)而变化，可以安装通过任意的方式变更复原强度倍率U的处理电路等。

点像复原恢复率G的确定方法并不限定于由用户进行的指定，而可以根据任意的信息计算并确定点像复原恢复率G。即，锐化恢复控制部37(强度自动调整部52)可以根据用户所指定的指定恢复率来确定点像复原恢复率(复原率)G，也可以使用根据表示光学系统的特性的光学特性信息来确定的点像复原恢复率G。在此所谓的“光学特性信息”可包括光学系统具有的透镜16的种类信息、光学系统的个体差异信息、其他摄影设定条件等。并且，反映光学系统的光学特性的点像复原恢复率G自身可以包含于“光学特性信息”中。该光学特性信息可以存储于任意的存储部，例如在透镜单元12的存储部(光学系统存储部)中存储光学特性信息，也可以在相机主体14的存储部(主体存储部)中存储光学特性信息。从而，在锐化恢复控制部37(主体控制器28)等中，点像复原恢复率G可以根据存储于存储部(光学系统存储部、主体存储部)中的光学特性信息而被确定。

并且，点像复原恢复率G值可以取决于摄影设定条件S，根据摄影设定条件S为不同值的点像复原恢复率G也可以通过锐化恢复控制部37(主体控制器28)等而被选择。该情况下，例如为了抑制产生程度依据光圈值而发生变化的伪影，也可以有意在特定的光圈值(摄影设定条件S)将点像复原恢复率G设定为相对地较低。

将复原滤波器X_i,j(用于提取点像复原处理中的复原成分的滤波器)的频率特性设为“x_i,j(ω_x，ω_y)”。该情况下，复原处理部38的频率特性通过下式1来表示。

[数式1]

(式1) F(ω_x，ω_y|U，x_i，j)＝1+U×x_i，j(ω_x，ω_y)

“F(ω_x，ω_y|U，x_i,j)”表示将复原强度倍率U，频率特性x_i,j作为参数的、关于(ω_x，ω_y)(有关x方向及y方向的频率)的函数，该函数依据图像处理系统的结构而被确定。

另一方面，点像复原处理的强度调整(在复原乘法器43中使用的复原强度倍率U的确定)，根据表示来自次对焦区域检测部50的原图像内的次对焦区域的信息，针对次对焦区域的原图像数据的复原率被调整为比针对对焦区域的原图像数据的复原率小。具体而言，若将针对对焦区域的原图像数据的复原强度倍率U设为1.0，则将针对次对焦区域的原图像数据的复原强度倍率U设为0＜U＜1.0。

由此，能够使针对次对焦区域的原图像数据的复原强度比针对对焦区域的原图像数据的复原强度弱，不仅能够提高次对焦区域的原图像数据的分辨率，而且能够避免成为过度校正，并能够获得良好的恢复图像数据。

＜次对焦区域＞

接着，关于对焦区域、次对焦区域及非对焦区域进行说明。

图5表示对被摄体距离连续地变化的被摄体进行拍摄的图像的一例。

在图5中，由框F1、F2及F3包围的区域分别表示对焦区域、次对焦区域及非对焦区域。由框F2包围的次对焦区域为具有对焦区域的被摄体距离与非对焦区域的被摄体距离的中间的被摄体距离的区域。另外，在图5上将框描绘成较大，因此框F1和框F2的一部分重复，但在本例中对焦区域和次对焦区域并不重复。并且，在图5中比通过框F1表示的对焦区域更靠近前侧也存在次对焦区域。

图6(a)、图6(b)及图6(c)为分别在图5中表示的对焦区域、次对焦区域及非对焦区域的图像的放大图。

对图6(a)中示出的对焦区域的原图像数据，如上所述使用通过摄影设定条件等而选择的复原滤波器X，若将复原强度倍率U设为1.0，则能够使对应于光学系12的点扩散函数而劣化的图像良好地恢复，并能够使对焦区域的图像更鲜明。

另一方面，若对图6(b)中示出的次对焦区域的原图像数据进行与对焦区域的原图像数据相同的复原处理，则图像中显示噪声，反而画质劣化(过度校正)。从而，也可以考虑对次对焦区域的原图像数据将复原处理设为关闭，并防止过度校正，但由于在次对焦区域的原图像数据中也存在图像的边缘部，因此建议进行使该边缘部恢复的复原处理。

于是，本发明通过调整针对次对焦区域的原图像数据的复原率，能够将其设为比针对对焦区域的原图像数据的复原率小，以免针对次对焦区域的原图像数据的复原处理成为过度校正，且通过复原处理而提高次对焦区域的原图像数据的画质。

图6(c)中示出的非对焦区域的原图像数据中不存在边缘部，因此无法通过复原处理而提高画质，但即使进行复原处理，如次对焦区域的图像数据那样的画质的劣化不明显。

＜次对焦的定义1＞

通过手动对焦使ISO分辨率图表(16M数据)从对焦位置依次偏移焦点(使散焦量从零依次增大)，由响应(SFR：Spatial Frequency Response)的特征和通过点像复原处理而产生的感到“吱吱”的噪声的部位定义为“次对焦”。

图7所示的曲线图中，横轴表示采样频率[fs]，纵轴表示响应[SFR]。另外，可以通过电视画面的水平显示分辨率(TV线)来表示，以代替曲线图的横轴的采样频率[fs]，该情况下，通过对fs乘以6528而换算成TV线。

并且，图7所示的曲线图a表示精确对焦图像的特征，曲线图b焦点从精确对焦稍微偏移，但表示景深内的图像的特征，曲线图c表示“次对焦”图像的特征(点像复原处理时感觉到“嘁嘁喳喳”)，曲线图d表示非对焦图像的特征。

在此，在奈奎斯特频率fn(0.5fs：3264TV线)～0.25fs(1632TV线)的频带及小于0.05fs(326TV线)的频带中，即使响应较低，但在边缘部未显示感觉到“嘁嘁喳喳”的噪声。

于是，将从0.05fs(326TV线)到0.25fs(1632TV线)范围内的频率定义为用于判定“次对焦”而应该提取的频率，将其频率的响应在0.2～0.7(即通过图7的斜线表示的范围)的图像定义为“次对焦”的图像。另外，用于判定“次对焦”而应该提取的频率更优选为0.1fs～0.2fs，此时判定为“次对焦”的响应的范围更优选为0.25～0.55，进一步优选为0.3～0.45。

[次对焦区域检测部的第1实施方式]

接着，关于图4中示出的次对焦区域检测部50的第1实施方式进行说明。

图8是表示对应于上述次对焦的定义1而检测次对焦区域的次对焦区域检测部50的第1实施方式的框图。第1实施方式的次对焦区域检测部50由带通滤波器(BPF1)50a、累计部50b及判定部50c构成。

作为频率成分提取部的一种方式的带通滤波器50a使在原图像数据(输入图像)的频率成分中包含特定频率的附近的频率成分(具体而言，从0.05fs(326TV线)到0.25fs(1632TV线)的频率成分)通过。累计部50b在以8×8或16×16将原图像进行画面分割的每一个分割区域，将从带通滤波器50a输入的频率成分的绝对值进行累计，并将累计的累计值D输出到判定部50c。

判定部50c根据输入到每一个分割区域的累计值D的大小来判定各分割区域是否为次对焦区域。

如图9所示，在拍摄了分别与1.0、0.7及0.2的响应对应的对焦状态的ISO分辨率图表时的，从次对焦区域检测部50的累计部50b输出的累计值D分别为值A、B、C的情况下，获得分别与0.2和0.7的响应对应的上述值B、C而作为用于判定是否为次对焦区域的上限值B、下限值C。

判定部50c按照输入到原图像的每一个分割区域的累计值D是否如图10所示那样在上限值B和下限值C的范围内来判定其分割区域是否为次对焦区域。图中示出原图像的BPF1的输出的累计值D。

并且，判定部50c在输入到原图像的每一个分割区域的累计值D超过上限值B的情况下，能够判定其分割区域为对焦区域，在小于下限值C的情况下，能够判定其分割区域为非对焦区域。

另外，次对焦区域检测部50也可以使用使特定频率(例如中心频率为约1/8fs)通过的窄带通滤波器(BPF2)来代替带通滤波器50a而作为频率成分提取部。在使用该窄带通滤波器(BPF2)的情况下，如图9所示，需要获得用于判定是否为次对焦区域的上限值b、下限值c。即，当拍摄了ISO分辨率图表时的从次对焦区域检测部50的累计部50b输出的累计值D分别为值a、b、c的情况下，获得分别与0.2和0.7的响应对应的值b、c而作为用于判定是否为次对焦区域的上限值b、下限值c。

并且，优选带通滤波器50a等频率成分提取部具备边缘部检测部，其在原图像内的每一个分割区域检测分割区域内的边缘部，并从检测到边缘部的分割区域的原图像数据提取所希望的频率成分。这是因为由不存在边缘部的分割区域的图像数据无法判别次对焦区域等。

另外，上述分割区域的设定为一个例子并无特别限定。若在每一个分割区域能够提取频率成分，则可以设定为任意形式。

图11是表示本发明所涉及的点像复原处理和其它方式的点像复原处理的比较例的图。

如上所述，本发明对次对焦区域的原图像数据将复原处理设为关闭，但将复原率设为比对焦区域的原图像数据低(减弱复原强度)，由此使次对焦区域的原图像数据恢复，且避免成为过度校正。

另一方面，与对焦区域的原图像数据相同，在对次对焦区域的原图像数据进行复原处理的A方式的情况下，次对焦区域的图像数据成为过度校正，且画质劣化。并且，在仅对对焦区域的原图像数据进行复原处理的B方式的情况下，次对焦区域的原图像数据未被恢复，且分辨率不充分。

图12是表示通过强度自动调整部52进行的针对次对焦区域的原图像数据的复原率(复原强度倍率U)的调整的变化的图。

如图12的实线a所示，强度自动调整部52能够将针对次对焦区域的原图像数据的复原强度倍率U调整为比针对对焦区域的原图像数据的复原强度倍率U低的恒定值(例如，针对对焦区域的原图像数据的复原强度倍率U的大约2分之1)。

该情况下，非对焦区域与次对焦区域的边界、及次对焦区域与对焦区域的边界的复原率(复原强度倍率U)逐步较大地变化，在这些边界的原图像数据中产生复原强度的高低差。于是，如图12的单点划线b所示，优选强度自动调整部52使这些边界的复原强度倍率U连续地变化，以免在边界的原图像数据中产生复原强度的高低差。另外，非对焦区域与次对焦区域的边界的复原强度的高低差不明显，因此可以仅使次对焦区域与对焦区域的边界的复原强度倍率U连续地变化。

并且，如图12的虚线c所示，强度自动调整部52能够使针对次对焦区域的原图像数据的复原强度倍率U按照次对焦区域的响应的大小，从非对焦区域到对焦区域连续地变化。另外，次对焦区域的响应的大小能够通过由次对焦区域检测部50的累计部50b(图8)累计的累计值D的大小而求出。

由此，能够针对从非对焦到对焦为止的范围内响应发生变化的次对焦区域的原图像数据使复原强度连续地变化。另外，次对焦区域的响应的大小相当于散焦量(焦点偏移量)，因此次对焦区域检测部50的累计部50b可以作为散焦量检测部(第1散焦量检测部)而发挥功能。

并且，次对焦区域内的散焦量能够根据后述的相位差像素的输出信号的相位差而算出。

并且，强度自动调整部52针对非对焦区域的原图像数据，能够将复原强度倍率U设为零(将点像复原处理设为关闭)，但如图12的双点划线d所示，可以随着非对焦的程度增大，将复原强度倍率U设为较大。这是因为随着非对焦的程度变得较大，基于复原处理的画质劣化对原图像数据的影响降低。

＜次对焦的定义2＞

获得在拍摄原图像数据时的摄影条件(光圈值、焦点距离、摄影距离)和与原图像数据对应的原图像内的每一个分割区域的被摄体距离，将超过通过所获得的摄影条件而决定的景深(对焦范围)的一定范围定义为次对焦，将具有该范围内的被摄体距离的分割区域设为次对焦区域。

接着，关于获得原图像内的每一个分割区域的被摄体距离的方法的一例进行说明。

图13表示将原图像分割为8×8的64个区域(分割区域A₁₁～A₈₈)的原图像。首先，由对应于分割区域A₁₁～A₈₈的原图像数据，在每一个分割区域A₁₁～A₈₈算出在对比AF(自动对焦)中使用的AF评价值。即，使透镜16在与最近至无限远所对应的透镜移动范围内移动(AF搜索)，在规定的每一个透镜位置获得原图像数据。而且，由高通滤波器提取所获得的原图像数据的高频成分，获得所提取的高频成分的绝对值的累计值而作为AF评价值。

图14是表示在每一个分割区域A₁₁～A₈₈获得的AF评价值的一例。

由各分割区域A₁₁～A₈₈获得的AF评价值的得到各峰值时的透镜位置与各分割区域A₁₁～A₈₈的被摄体距离对应，因此能够由AF评价值成为峰值的透镜位置求出分割区域A₁₁～A₈₈的被摄体距离。

另外，在分割区域A₄₄被设定为AF区域的情况下，通过使透镜16移动到从分割区域A₄₄获得的AF评价值成为峰值的透镜位置(对焦位置)而能够进行对比AF，并且能够由对焦位置的透镜位置求出摄影距离。

图15是表示包含AF区域即分割区域A₄₄的纵向的8个分割区域A₁₄～A₈₄内的被摄体的被摄体距离的图。

在图15中，区域A、C为次对焦区域，且区域B为对焦区域。另外，比次对焦区域A更远一侧的区域及比次对焦区域C更近一侧的区域为非对焦区域。

分割区域A₄₄为AF区域，因此分割区域A₄₄与对焦位置的被摄体距离对应，并在对焦区域B中。

在此，对焦区域B对应于通过拍摄原图像时的摄影条件而决定的景深。具体而言，在焦点距离f为23mm、光圈值F为F5.6、对焦位置的被摄体距离(摄影距离)L为100cm这样的摄影条件的情况下，若在容许弥散圆的直径δ以0.015mm进行计算，则景深(＝前方景深+后方景深)成为如下。

前方景深＝(δ×F×L²)/(f²+δ×F×L)≈13[cm]

后方景深＝(δ×F×L²)/(f²-δ×F×L)≈18[cm]

而且，比对焦区域B更远一侧的次对焦区域A可定义为超过后方景深的一定范围(例如，后方景深的2倍的范围)，同样比对焦区域B更近一侧的次对焦区域C可定义为超过前方景深的一定范围(例如，前方景深的2倍范围)。

若综合上述次对焦区域A、C及对焦区域B和与这些区域对应的被摄体距离，则如图16所示。

[次对焦区域检测部的第2实施方式]

接着，关于代替图4所示的次对焦区域检测部50的第2实施方式的次对焦区域检测部50-2进行说明。

图17是对应于上述次对焦的定义2而检测次对焦区域的次对焦区域检测部50-2的框图。第2实施方式的次对焦区域检测部50-2由相当于获得与原图像数据对应的原图像内的每一个分割区域的被摄体距离、拍摄原图像数据时的摄影条件的获取部的一种方式的被摄体距离获取部50-2a及景深计算部50-2b和判定部50-2c构成。

被摄体距离获取部50-2a获得原图像的每一个分割区域的被摄体距离。每一个分割区域的被摄体距离能够根据与如上所述在对比AF时所获得的每一个分割区域的AF评价值的峰值对应的透镜位置而求出。另外，原图像的每一个分割区域的被摄体距离的获得方法并不限定于该实施方式。

景深计算部50-2b获得拍摄原图像时的摄影条件，并根据所获得的摄影条件算出景深。

判定部50-2c根据表示从被摄体距离获取部50-2a输入的每一个分割区域的被摄体距离的信息、和表示从景深计算部50-2c输入的原图像的景深的信息，提取具有与图15所示的次对焦区域A、C对应的被摄体距离的分割区域，将所提取的分割区域判定为次对焦区域。

另外，判定部50-2c提取具有与图15所示的对焦区域B对应的被摄体距离的分割区域，将所提取的分割区域判定为对焦区域，并能够将除了对焦区域B、次对焦区域A、C以外的区域判定为非对焦区域。并且，次对焦区域检测部50-2并不限定于拍摄原图像时获得的信息，在存放有所拍摄的原图像数据的图像文件的附属信息中包含有原图像的每一个分割区域的被摄体距离及摄影条件的情况下，可以从其附属信息获得被摄体距离及摄影条件。

＜次对焦的定义3＞

检测摄像范围内的整个区域的散焦量，在所检测到的散焦量超过对焦范围且在视为非对焦的散焦量以内的情况下，可以将具有该散焦量的原图的区域定义为次对焦的区域。

摄像范围内的整个区域的散焦量能够根据例如具有相位差像素的摄像元件的相位差像素的输出信号而检测。另外，摄像元件中所有像素可以由相位差像素构成，也可以在摄像范围内的整个区域分散地配置有相位差像素。

图18(a)及图18(b)是分别表示相位差像素(第1相位差像素p1及第2相位差像素p2)的结构例的图。

如图18(a)所示，在第1相位差像素p1的光电二极管PD的前面侧(微透镜L侧)配设有遮光部件27A，另一方面，如图18(b)所示，在第2相位差像素p2的光电二极管PD的前面侧配设有遮光部件27B。微透镜L及遮光部件27A、27B具有作为光瞳分割构件的功能，如图18(a)所示，遮光部件27A将光电二极管PD的受光面的左半部分进行遮光。其中，在第1相位差像素p1上仅接收在透镜16的出射光瞳通过的光束中通过光轴左侧的光束。

并且，如图18(b)所示，遮光部件27B将第2相位差像素p2的光电二极管PD的受光面的右半部分进行遮光。因此，在第2相位差像素p2上仅接收在透镜16的出射光瞳中通过的光束中通过光轴的右侧的光束。如此通过光瞳分割构件即微透镜L及遮光部件27A、27B，在出射光瞳中通过的光束被左右分割，并分别入射到第1相位差像素p1及第2相位差像素p2。

而且，通过检测与第1相位差像素p1对应的输出信号和与第2相位差像素p2对应的输出信号之间的相位差，能够检测摄像范围内的整个区域中的散焦量(焦点偏移量)。另外，散焦量通过将从相位差转换为散焦量的系数乘以相位差而能够进行检测。

检测到的散焦量在超过焦点深度且小于可判别为非对焦的一定的散焦量中的区域可定义为次对焦区域。

另外，关于摄像元件中的相位差像素的结构并不限定于图18(a)及图18(b)的结构例，只要是可检测相位差的结构即可。作为一例，也可以将光电二极管PD进行分割，且以可以对经过分割的每一个光电二极管PD输出信号的方式构成摄像元件，以代替设置图18(a)及图18(b)中的遮光部件27A及27B。该情况下，可以将经过分割的光电二极管PD分别设为第1相位差像素p1、第2相位差像素p2，并通过检测各输出信号的相位差来检测散焦量(焦点偏移量)。

[次对焦区域检测部的第3实施方式]

接着，关于代替图4中示出的次对焦区域检测部50的第3实施方式的次对焦区域检测部50-3进行说明。

图19是对应于上述次对焦的定义3而检测次对焦区域的次对焦区域检测部50-3的框图。第3实施方式的次对焦区域检测部50-3由散焦量检测部(第2散焦量检测部)50-3a和判定部50-3b构成。

散焦量检测部50-3a根据所输入的原图像数据内的一对相位差像素的输出数据来检测摄像范围内的整个区域(每一个分割区域)的相位差，从所检测到的相位差检测每一个分割区域的散焦量。判定部50-3b根据从散焦量检测部50-3a输入的每一个分割区域的散焦量的大小来判定次对焦区域。

另外，判定部50-3b也可以根据所输入的每一个分割区域的散焦量的大小来判定对焦区域及非对焦区域。

[第2实施方式]

图20是表示代替图3中示出的图像处理部35的第2实施方式的图像处理部35-2的结构例的框图。

该图像处理部35-2具备锐化恢复控制部37-2、复原处理部38、及作为不基于点扩散函数的锐化处理部而发挥功能的轮廓增强处理部39。另外，复原处理部38与图3中示出的图像处理部35的复原处理部38通用，因此省略其详细说明。

轮廓增强处理部39对图像数据进行使用不基于点扩散函数的锐化滤波器的锐化处理。锐化滤波器若不是直接反映点扩散函数的滤波器则无特别限定，可以使用公知的轮廓增强滤波器作为锐化滤波器。另外，关于锐化滤波器，可以在整个图像中准备单一的滤波器，也可以在图像内的每一个位置(每一图像高度)准备不同的滤波器。

锐化恢复控制部37-2控制复原处理部38及轮廓增强处理部39，调整基于复原处理的图像数据的复原率及基于锐化处理的图像数据的锐化率。关于该复原率及锐化率的调整，本实施例的锐化恢复控制部37-2根据复原率及锐化率获得总锐化复原率，获得复原率及锐化率中的一个，并根据总锐化复原率来计算复原率及锐化率中的另一个。

在不仅进行锐化处理，还进行点像复原处理的情况下，在现有的方法中，由于锐化复原强度变得过大，因此有时导致图像的过度校正等而损伤画质。从而在进行锐化处理及点像复原处理这两种处理的情况下，与只进行锐化处理或点像复原处理的情况相比，优选减弱锐化处理中的锐化强度或点像复原处理中的复原强度。

并且，点像复原处理根据摄影场景或被摄体的不同有时因错误校正而导致伪影(振铃等)等。并且，在按照摄影条件使用不同的复原滤波器的情况下，有时在点像复原处理后的图像的复原率、解析度(锐度)上产生偏差。若进行锐化处理，则这些错误校正或图像的锐度的偏差将更加显著。

以下第2实施方式涉及如下技术，即，在将点像复原处理及锐化处理进行组合的情况下，也有效地防止上述过度校正或错误校正，恢复因光学系统的点扩散现象而受损的画质，从而得到清晰的图像。

图21是用于对点像复原强度及锐化强度的调整进行说明的示意图。图21的“总锐化复原强度(总锐化复原率)”为由所希望的画质确定的最终锐度目标强度值，直接或间接地表示对整个图像处理的输入与输出的大小的比率。本实施例的“总锐化复原强度(总锐化复原率)”可按照摄影设定条件(光学特性信息)变动，但若摄影设定条件被确定，则成为恒定的值。在此，所谓的摄影设定条件中可包括例如透镜、光圈、变焦、被摄体距离、灵敏度、摄影模式等各种摄影条件及设定条件。并且“点像复原强度”为基于点像复原处理的复原强度，按照摄影设定条件(光学特性信息)而被确定。并且“锐化强度”为基于锐化处理的锐化强度。

这些总锐化复原强度、点像复原强度及锐化强度为表示各图像处理前后的图像变化程度的指标，根据可适当地表示图像的变化程度的任意的基准而确定。从而，在点像复原处理及锐化处理分别包括滤波器适用处理及增益控制处理的情况下，“滤波器适用处理及增益控制处理”前后的变化通过点像复原强度及锐化强度而表现出来。

例如，可以假定并行地进行点像复原处理和锐化处理，“基于点像复原处理的图像复原的程度(点像复原强度)”和“基于锐化处理的图像锐化的程度(锐化强度)”通过“总锐化复原强度”而被确定的情况。该情况下，“点像复原强度+锐化强度＝总锐化复原强度”的关系成立，锐化强度增减相当于点像复原强度的增减量，图4所示的点像复原强度和锐化强度的边界位置(B)有可以变动。从而，例如，若总锐化复原强度及点像复原强度被确定，则由两者可以计算最佳的锐化强度。同样，若总锐化复原强度及锐化强度被确定，则由两者可以计算最佳的点像复原强度。

另外，图21只是为了容易理解而示出直观示意图而已，而并不表示在进行点像复原处理和锐化处理的处理系统中，“点像复原强度+锐化强度＝总锐化复原强度”的关系始终成立。例如，在先后进行点像复原处理和锐化处理的情况下，根据点像复原强度与锐化强度的乘积来确定总锐化复原强度。从而，在以下实施方式中，以“根据点像复原强度及锐化强度这两者的频率增幅率”与“根据总锐化复原强度的频率增幅率”一致的方式确定点像复原强度及锐化强度。

例如，可以优先设定点像复原强度，并按照该被设定的点像复原强度而调整锐化强度。该情况下，能够高精确度地进行与光学系统(透镜16等)的PSF对应的点像复原处理。并且，点像复原处理为精细的处理，若基础参数不正确，则容易导致过度校正等不良现象，但通过优先确定点像复原强度而可以有效地防止过度校正等不良现象。

另一方面，也可以优先设定锐化强度，并按照该被设定的锐化强度而调整点像复原强度。该情况下，优先进行不良现象较少的稳定的处理即锐化处理。优先进行该锐化处理的情况为：使用具有优异的光学特性的精度的光学系统(透镜16等)进行拍摄的情况；摄影场景为夜景或肖像的情况；进行艺术滤镜处理的情况；不易得到基于点像复原处理的效果的情况；及容易产生由点像复原处理带来的不良现象的情况等。

点像复原强度及锐化强度的调整能够根据各种基准而进行，例如以特定频率或特定图像位置(图像高度位置)中的频率增幅率相同的方式确定总锐化复原强度。

通过这样设定总锐化复原强度而调整点像复原强度及锐化强度，由此能够抑制接受点像复原处理及锐化处理的图像的锐度(复原率及解析度)的偏差，并能够提高输出图像的整体画质。

以下，对有关点像复原强度及锐化强度的调整的具体实施方式进行说明。

第2实施方式的锐化恢复控制部37-2获得点像复原处理中的复原率，并根据总锐化复原率及复原率计算锐化处理中的“锐化率”。

图22是表示进行第2实施方式所涉及的点像复原处理及锐化处理的处理模块的结构的图。另外，对于与图4中示出的第1实施方式相同的部分标注相同的符号，并省略其详细说明。

在第2实施方式的图像处理系统模型中，“用于点像复原处理的信号处理模块”和“用于任意的清晰度增强处理的信号处理模块”串联连接(级联结合)，在两个信号处理模块中，可以进行连续的信号强度调整。即，复原处理部38及轮廓增强处理部39串联设置，图像数据在接受点像复原处理及锐化处理中的一种处理(在图22所示的例子中为“点像复原处理”)之后，接受另一方种处理(在图22所示的例子中为“锐化处理”)。

轮廓增强处理部39包括轮廓增强滤波器处理部46、锐化乘法器47及锐化加法器48。在本实施例中，点像复原处理后的图像数据作为输入图像数据输入到轮廓增强滤波器处理部46。轮廓增强滤波器处理部46将锐化滤波器(轮廓增强滤波器)应用于输入图像数据中。锐化滤波器通过任意的方法而被确定，轮廓增强滤波器处理部46可以使用单一的锐化滤波器，也可以将从多个滤波器中适当地选择的滤波器用作锐化滤波器。锐化乘法器47对在轮廓增强滤波器处理部46中得到的图像数据乘以锐化强度倍率V并进行增益控制。锐化加法器48对输入图像数据乘以倍率(1-V)，并与乘以锐化强度倍率V的图像数据进行相加。锐化处理通过这些轮廓增强滤波器处理部46、锐化乘法器47及锐化加法器48中的一系列处理而构成。

另外，与复原强度倍率U的反映方法相同，轮廓增强处理部39通过任意的方法能够将锐化强度倍率V反映于图像数据，在本实施方式及其他实施方式中，也可以采用与上述方法等效的其它方法来代替上述方法。例如，也可以在轮廓增强滤波器处理部46中将锐化滤波器(轮廓增强滤波器)应用于输入图像数据之后，算出图像的增减量数据，在锐化乘法器47中进行增减量数据的增益控制，并进行增减量数据及锐化强度倍率V的相乘。之后，在锐化加法器48中，将输入到轮廓增强滤波器处理部46之前的图像数据(输入图像)和乘以锐化强度倍率V的增减量数据进行相加。

锐化恢复控制部37-2包括强度自动调整部52-2、复原滤波器选择部53及轮廓增强强度选择部54。复原滤波器选择部53根据摄影设定条件S从复原滤波器存储部58选择复原滤波器X，并将所选择的复原滤波器X发送到强度自动调整部52和复原处理部38的点像复原滤波器处理部42。

轮廓增强强度选择部54从轮廓增强强度列表存储部60选择与摄影设定条件S对应的锐化强度倍率(轮廓增强强度)V0，并将所选择的锐化强度倍率V0发送到强度自动调整部52-2。在本实施例中，由轮廓增强强度选择部54选择的锐化强度倍率V0为在复原处理部38(点像复原滤波器处理部42)中实际上不进行点像复原处理时的锐化强度倍率。

该“实际上不进行点像复原处理时的锐化强度倍率”相当于总锐化复原率(总锐化复原强度)。即，在本实施例中，点像复原强度和锐化强度通过总锐化复原强度而被确定(参考图21)，不进行点像复原处理时的总锐化复原强度仅通过锐化强度而被确定。从而，获得不进行点像复原处理时的锐化强度倍率作为锐化强度倍率V0并供给到强度自动调整部52-2的本实施例的轮廓增强强度选择部54，实际上将总锐化复原率(总锐化复原强度)供给到强度自动调整部52-2。

强度自动调整部52-2根据来自复原滤波器选择部53的复原滤波器X及来自轮廓增强强度选择部54的锐化强度倍率V0，确定与点像复原恢复率(复原率)G对应的复原强度倍率U及锐化强度倍率V(其中，满足“复原强度倍率U≥0”及“锐化强度倍率V≥0”)。

并且，点像复原处理的强度调整(通过复原乗法器43而确定所使用的复原强度倍率U)，与图4中示出的第1实施方式相同，根据表示来自次对焦区域检测部50的原图像内的次对焦区域的信息，将针对次对焦区域的原图像数据的复原率被调整为比针对对焦区域的原图像数据的复原率小。

而且，强度自动调整部52-2将确定的复原强度倍率U发送到复原乘法器43，将锐化强度倍率V发送到锐化乘法器47。复原强度倍率U及锐化强度倍率V分别为复原处理部38及轮廓增强处理部39中的强度调整参数，复原乘法器43及锐化乘法器47使用从强度自动调整部52发送过来的复原强度倍率U及锐化强度倍率V进行乘法处理。

另外，强度自动调整部52-2获得在点像复原滤波器处理部42及轮廓增强滤波器处理部46中分别使用的滤波器的频率特性。例如，通过点像复原滤波器处理部42而被使用的复原滤波器X从复原滤波器选择部53发送到强度自动调整部52-2。并且，强度自动调整部52-2通过任意的方法获得通过轮廓增强滤波器处理部46而被使用的锐化滤波器。例如，在通过轮廓增强滤波器处理部46而被使用的锐化滤波器被固定的情况下，强度自动调整部52-2也可以通过预先存储而获得其锐化滤波器的频率特性。并且，也可以将所使用的锐化滤波器从轮廓增强滤波器处理部46发送到强度自动调整部52-2，强度自动调整部52-2通过分析所接收到的锐化滤波器而获得锐化滤波器的频率特性。

强度自动调整部52-2在根据后述的总锐度评价值来确定复原强度倍率U及锐化强度倍率V时，考虑在点像复原滤波器处理部42及轮廓增强滤波器处理部46中使用的滤波器的频率特性。具体而言，强度自动调整部52-2使各滤波器的频率特性反映于总锐度评价值，并根据反映滤波器的频率特性的总锐度评价值来确定复原强度倍率U及锐化强度倍率V。并且，强度自动调整部52-2在确定复原强度倍率U及锐化强度倍率V时，考虑表示从次对焦区域检测部50输入的原图像内的次对焦区域的信息。

例如，按照以下流程来确定强度自动调整部52-2中的复原强度倍率U及锐化强度倍率V。

首先，摄影设定条件S通过主体控制器28而获得，与其摄影设定条件S对应的复原滤波器X通过复原滤波器选择部53而被选择。并且，点像复原处理为关闭时的锐化强度倍率V0由轮廓增强强度选择部54按照摄影设定条件S选择。

复原滤波器X根据拍摄图像数据时的摄影设定条件S而被确定，但该摄影设定条件S可包括“影响点扩散函数的设定条件”及“不影响点扩散函数的摄影条件”。“设定条件”可包括例如光圈信息、变焦信息、被摄体距离信息、及光学系统所具有的透镜种类信息中的至少任一种。并且“摄影条件”可包括摄影灵敏度信息及摄影模式信息中的至少任一种。

另外，摄影设定条件S通过任意的方式可输入到复原滤波器选择部53及轮廓增强强度选择部54，从主体控制器28的设备控制部34及图像处理部35中管理摄影设定条件S的控制处理部(未图示)，摄影设定条件S可适当地发送到复原滤波器选择部53及轮廓增强强度选择部54。

另一方面，在进行复原处理部38及轮廓增强处理部39中的图像处理之前，预先由用户来指定点像复原恢复率G。由用户进行的点像复原恢复率G的指定方法并无特别限定，例如可以将用于指定点像复原恢复率G的滑动件等调整构件显示于用户界面29(背面显示部等)，由于用户经由调整构件进行操作，因此能够简单地确定点像复原恢复率G。该点像复原恢复率G为用于对基于复原乘法器43的点像复原处理的复原强度倍率U进行控制的基础数据。如同后述，例如除了点像复原恢复率G值大于规定的阈值的情况以外，复原强度倍率U与点像复原恢复率G相等(复原强度倍率U＝点像复原恢复率G)。

将通过轮廓增强滤波器处理部46而被使用的滤波器(用于提取锐化处理中的轮廓增强成分的滤波器)的频率特性设为将复原滤波器X_i,j(用于提取点像复原处理中的复原成分的滤波器)的频率特性设为“x_i,j(ω_x，ω_y)”。该情况下，将复原处理部38及轮廓增强处理部39(点像复原处理及锐化处理)进行组合的图22所示的图像处理系统整体的频率特性通过下式2来表示。

[数式2]

(式2) F(ω_x，ω_y|U，V，x_i，j)＝[1+U×x_i，j(ω_x，ω_y)]×[1+V×φ(ω_x，ω_y)]

“F(ω_x，ω_y|U，V，x_i,j)”表示将复原强度倍率U，锐化强度倍率V，频率特性x_i,j作为参数的、关于(ω_x，ω_y)(有关x方向及y方向的频率)的函数，该函数依据图像处理系统的结构而被确定。

另一方面，实施点像复原处理的强度调整(使用于复原乘法器43中的复原强度倍率U的确定)，以使通过下式3而被定义的总锐度评价值(总锐化复原率)C(U，V，x_i,j)保持为恒定值。

[数式3]

(式3)

在此，“w_i,j(ω_x，ω_y)”为按每一个图像内位置(像素位置)(i，j)定义的任意的加权函数，总锐度评价值(总锐度评价函数)C(U，V，x_i,j)通过系统整体的频率特性的加权运算而被定义。加权函数w_i,j(ω_x，ω_y)优选设计成视觉上显著的频率成分和/或在图像内位置成为较大的值。通过使用由上述式3定义的总锐度评价值C(U，V，x_i,j)，即使改变点像复原处理的强度，在所关注的频带和/或图像内位置上，频率增强的程度不发生变化，且锐度不会产生较大的背离。另一方面，在加权函数w_i,j(ω_x，ω_y)较小的频带和/或图像内位置，因点像复原处理而产生的画质之差容易变得明显。

基于上述内容，复原强度倍率U及锐化强度倍率V的值能够如下确定。即，根据输入到强度自动调整部52的点像复原恢复率G，由单调递增函数确定复原强度倍率U值，之后，以总锐度评价值C(U，V，x_i,j)保持恒定值的方式确定锐化强度倍率V值。从而，强度自动调整部52-2实施调整，以使若复原强度倍率U值变大，则锐化强度倍率V值变小，若复原强度倍率U值变小，则锐化强度倍率V值变大。然而，若复原强度倍率U值过大，则即使将锐化强度倍率V值设为零“0”，也有可能产生无法将总锐度评价值C(U，V，x_i,j)保持为恒定的情况。即，有可能在将总锐度评价值C(U，V，x_i,j)可以保持为恒定的复原强度倍率U的范围中存在限制。

若将复原强度倍率U的上限值标记为“U_MAX”，则总锐度评价值C(U，V，x_i,j)满足“C(U_MAX，0，x_i,j)＝C(0，V0，x_i,j)”的关系，因此复原强度倍率U的最大值如下式4所示那样受到限制。

[数式4]

(式4)

上式4表示在点像复原恢复率G为复原强度倍率U的上限值U_MAX以下的情况下将点像复原恢复率G设定为复原强度倍率U(U＝G)，在点像复原恢复率G超过复原强度倍率U的上限值U_MAX的情况下将复原强度倍率U的上限值U_MAX设定为复原强度倍率U(U＝U_MAX)。

在图22的图像处理系统中，通过搜索总锐度评价值满足“C(U，V，x_i,j)＝C(0，V0，x_i,j)”的关系的锐化强度倍率V，由此算出锐化强度倍率V值。这等于求1次方程式的解，强度自动调整部52容易求出锐化强度倍率V。锐化强度倍率V的计算的难易度取决于系统整体的频率特性F(ω_x，ω_y|U，V，x_i,j)的定义。由于该频率特性F(ω_x，ω_y|U，V，x_i,j)成为非线性函数，因此在不易搜索使上述等式严格地成立的锐化强度倍率V的情况下，也可以进行所谓采用使总锐度评价值C(U，V，x_i,j)最接近于总锐度评价值C(0，V0，x_i,j)的锐化强度倍率V的公式化。

根据上述一系列处理，能够计算将总锐度评价值C(U，V，x_i,j)保持为恒定的复原强度倍率U及锐化强度倍率V。

如以上说明，根据本实施方式，由于根据总复原锐度(总锐度评价值)可确定复原强度倍率U及锐化强度倍率V，因此可抑制经点像复原处理及锐化处理的图像(输出图像)的锐度的偏差，并能够使输出图像中的整体的分辨率或画质稳定。

尤其，由于以视觉上主要的频带和/或图像内位置上的加权变大的方式确定总锐度评价值，因此视觉上主要的频带和/或图像内位置上的复原强度及锐化强度恒定，可防止锐度的背离变得过大。

并且，点像复原处理可以实现与光学系统的PSF对应的高精确度的图像恢复处理，但根据摄影场景或摄影条件容易产生伪影，对画质的影响较大。从而，如本实施方式那样，通过优先设定点像复原处理的复原强度倍率U(复原率)，能够有效地提高整体的分辨率或画质。例如，通过将复原率(点像复原恢复率G及复原强度倍率U)设定为较低，能够使根据摄影场景等有可能产生的伪影、振铃不明显，另一方面，也可以通过锐化处理而提高锐度。

并且，2个图像处理(点像复原处理及锐化处理)的强度调整参数的控制，通常需要控制“2个变量(复原强度、锐化强度)”，控制的自由度成为“2”。然而，根据本实施方式所涉及的强度调整处理，必要控制的自由度成为“1”，仅通过确定点像复原恢复率G就可以确定合适的复原强度及锐化强度(复原强度倍率U及锐化强度倍率V)。

另外，针对次对焦区域的原图像数据的复原强度倍率U被调整为比针对对焦区域的原图像数据的复原强度倍率U小，其结果，针对次对焦区域的原图像数据的锐化强度倍率V被调整为比针对对焦区域的原图像数据的锐化强度倍率V大。该情况下，针对次对焦区域的原图像数据的锐化强度倍率V变大(锐化强度增强)，但即使通过轮廓增强处理部39而增强重视轮廓增强的频带，也不会成为过度校正，画质不会劣化。

＜第3实施方式＞

图23是表示进行第3实施方式所涉及的点像复原处理及锐化处理的处理模块的结构的图。另外，对与图22中示出的第2实施方式相同的结构标注相同的符号，并省略详细说明。

第3实施方式所涉及的锐化恢复控制部37-3获得锐化处理中的锐化率，并根据总锐化复原率及锐化率算出点像复原处理中的“复原率”。

锐化恢复控制部37-3(强度自动调整部52-3)中输入有锐化率(锐化强度倍率V)。输入到该强度自动调整部52-3的锐化强度倍率V在进行复原处理部38及轮廓增强处理部39中的图像处理之前，预先通过用户而被指定。通过用户进行的锐化强度倍率V的指定方法并无特别限定，例如将用于指定锐化强度倍率V的滑动件等调整构件显示于用户界面29(背面显示部等)，用户通过经由该调整构件进行操作而可以简单地确定锐化强度倍率V。输入到该强度自动调整部52-3的锐化强度倍率V是用于对通过锐化乘法器47进行锐化处理的锐化强度倍率V进行控制的基础数据。除了输入到强度自动调整部52-3的锐化强度倍率V的值大于固定阈值的情况以外，输入到强度自动调整部52-3的锐化强度倍率V与使用于锐化乘法器47中的锐化强度倍率V相等。在锐化强度倍率V为0(零)的情况下，相当于锐化处理被切断。该锐化处理中的锐化强度倍率V可以以取连续值的方式变化，可以以取离散值的变化，并通过开启/关闭(是否为规定倍率或“0(零)”)而变化，可以安装通过任意的方式可变更锐化强度倍率V的处理电路等。

在上述第2实施方式中，进行“首先在确定点像复原处理模块的复原强度倍率U之后，以总锐度评价值C(U，V，x_i,j)一致的方式求出锐化处理模块的锐化强度倍率V”的处理。另一方面，在本实施方式中，进行“首先在确定锐化处理模块的锐化强度倍率V之后，以总锐度评价值C(U，V，x_i,j)一致的方式确定点像复原处理模块的复原强度倍率U”的处理。

点像复原处理为关闭时的锐化强度倍率V0从存储于轮廓增强强度列表存储部60中的锐化强度倍率V0中而被选择，并从轮廓增强强度选择部54传送到强度自动调整部52。

强度自动调整部52-3求出使根据点像复原处理为关闭时的锐化强度倍率V0的总锐度评价值C(0，V0，x_i,j)和根据使用于锐化乘法器47中的锐化强度倍率V的总锐度评价值C(U，V，x_i,j)一致的复原强度倍率U。通过搜索总锐度评价值满足“C(U，V，x_i,j)＝C(0，V0，x_i,j)”的关系的复原强度倍率U而计算该复原强度倍率，这等于求1次方程式的解。在不易搜索使上述等式成立的复原强度倍率U的情况下，也可以进行所谓使总锐度评价值C(U，V，x_i,j)最接近于总锐度评价值C(0，V0，x_i,j)的复原强度倍率U的公式化。

通过上述一系列处理，能够计算将总锐度评价值C(U，V，x_i,j)保持为恒定的复原强度倍率U及锐化强度倍率V。

并且，强度自动调整部52-3根据表示来自次对焦区域检测部50的原图像内的次对焦区域的信息，针对次对焦区域的原图像数据的锐化强度倍率V调整为比针对对焦区域的原图像数据的锐化强度倍率V大。由此，针对次对焦区域的原图像数据的复原强度倍率U被调整为比针对对焦区域的原图像数据的复原强度倍率U小。

其它结构与图22所示的第2实施方式相同。

如以上说明的本实施方式中，根据总复原锐度(总锐度评价值)可求出复原强度倍率U及锐化强度倍率V，并能够抑制点像复原处理及锐化处理后在输出图像中的锐度的偏差，并能够使统一的整体的分辨率或画质稳定。

尤其，锐化处理(轮廓增强处理)为与点像复原处理相比不良现象非常少的稳定的图像处理。因此，例如在用户希望伪影等不良现象较少的图像的情况、点像复原处理的效果不明显的情况、不易使点像复原处理的不良现象显著的情况下等，优选如本实施方式那样优先设定锐化强度倍率V。并且，如使用于摄影的透镜16的光学性能良好且光学系统的点扩散现象的影响非常小的情况、在摄影模式(摄影场景)为夜景模式、肖像模式、艺术滤波器模式的情况等，在原本不易感觉到点像复原处理的效果的情况下，优选如本实施方式那样优先设定锐化强度倍率V。

并且，如后述的非线性处理(剪辑处理、限制器处理等)包含于锐化处理模块中且无法将锐化强度增强到某一水平以上的情况，存在“在锐化强度上存在限制，而在点像复原强度上无限制的情况”。该情况下，如本实施方式那样，若优先确定锐化强度倍率V，则有可能简单地控制总锐度评价值C(U，V，x_i,j)为恒定。

＜第4实施方式＞

图24是表示进行第4实施方式所涉及的点像复原处理及锐化处理的处理模块的结构的图。另外，关于与图22所示的第2实施方式相同的结构附加相同的符号，并省略详细说明。

第4实施方式所涉及的锐化恢复控制部37-4在特定频率(第1频率)中将总锐化复原率调整为目标锐化复原率，从而求出复原强度倍率U及锐化强度倍率V。

图25是例示图像处理的频率特性的图，图25(a)表示点像复原处理(点像复原滤波器处理部42)中的“频率-增益”关系例，图25(b)表示锐化处理(轮廓增强滤波器处理部46)中的“频率-增益”关系例，图25(c)表示整个锐化处理及点像复原处理中的“频率-增益”关系例。

在本实施方式的图像处理中，上述第2实施方式所涉及的图像处理的一部分被简化，关注某一特定频率和/或图像内的某一特定位置(画面内坐标)，关于其关注频率和/或关注位置(关注坐标)，精确调整“复原强度倍率U及锐化强度倍率V”。

在此，所谓的关注频率及关注位置并无特别限定，例如能够将视觉特性上显著的频率及画面内坐标设定于关注频率及关注位置，也可以设定为例如关注图像的中央位置。并且，关注频率及关注位置的范围也无限定，可以是单数，也可以是复数。

具体而言，该图像处理通过如下定义总锐度评价值C(U，V，x_i,j)的式(参考上述“式3”)的加权函数w_i,j(ω_x，ω_y)而可以实现。

[数式5]

(式5) w_i，j(ω_x，ω_y)＝δ(ω_x-ω₀)×δ(ω_y)×δ(i-i₀)×δ(j-j₀)

在上述式中，“δ(x)”表示克罗内克(Kronecker)δ函数，将图像的关注位置的坐标(图像高度)设为“i＝i₀，j＝j₀”。例如，若将图像的关注位置设为图像的中央位置，则上式4的加权函数w_i,j(ω_x，ω_y)被定义为在图像中心可得到特定频率f0中的特定增益g0(总锐度评价值C(U，V，x_i,j))。并且，上述式5中，关于频率仅参考x方向的频率。这是因为在图像中心PSF的形状是各向同性的，根据各向同性的PSF的复原滤波器的频率特性也成为各向同性，关于特定方向(上式4中“x方向”)进行参考就足够了。

通过使用由上式5表示的加权函数，按照图25所示，即使点像复原恢复率G为任意的值，关于图像处理系统整体的频率特性，通常，在特定的频率f0，增益g0成为恒定。

点像复原处理整体(复原处理部38)的频率特性通过基于点像复原滤波器处理部42的滤波器处理和基于复原乘法器43的增益控制处理而确定，并通过点像复原滤波器处理部42的频率特性(参考图25(a))的倍率由复原强度倍率U调整来确定。同样，锐化处理整体(轮廓增强处理部39)的频率特性通过基于轮廓增强滤波器处理部46的滤波器处理和基于锐化乘法器47的增益控制处理而确定，通过轮廓增强滤波器处理部46的频率特性(参考图25(b))的倍率由锐化强度倍率V调整来确定。从而，通过控制适用于点像复原滤波器处理部42及轮廓增强滤波器处理部46的频率特性(参考图7(a)及图7(b))的复原强度倍率U及锐化强度倍率V而可以调整图像处理系统整体的频率特性(参考图7(c))。

在强度自动调整部52-4中的复原强度倍率U及锐化强度倍率V的调整中，虽然有在特定的频率f0中实现特定的增益g0的限制，但是具体的调整例并非确定为1个。例如，在要增强图像的高频成分的情况下，如图25(c)的“调整例1”所示，以实现增强高频波成分的增益的方式确定复原强度倍率U及锐化强度倍率V。另一方面，在不增强图像的高频成分，而要增强低频～中频的成分的情况下，如图25(c)的“调整例2”所示，确定增益仅适用于低频～中频的成分中的复原强度倍率U及锐化强度倍率V。

另外，强度自动调整部52-4从复原滤波器选择部53被输入在点像复原滤波器处理部42中使用的复原滤波器X，并求出复原滤波器X的频率特性。并且，强度自动调整部52还掌握在轮廓增强滤波器处理部46中使用的锐化滤波器的频率特性。例如，在轮廓增强滤波器处理部46中使用单一的锐化滤波器的情况下，也可以由复原滤波器选择部53预先存储锐化滤波器的频率特性。并且，在轮廓增强滤波器处理部46中使用的锐化滤波器从多个滤波器中选择的情况下，所选择的锐化滤波器可以输入到强度自动调整部52，且强度自动调整部52求出锐化滤波器的频率特性，所选择的锐化滤波器的频率特性可以输入到强度自动调整部52。

如以上说明，根据本实施方式，能够抑制点像复原处理及锐化处理后的输出图像中的锐度的偏差，并能够使画质稳定。尤其，特定的频率f0中的增益g0被固定，因此例如可以采用“将成为基础的低频的锐度保持为恒定，且调整高频的锐度”等方法，并可以弹性地控制图像处理整体的频率特性。

并且，在图像内的某一特定位置(例如中央部位置)，能够以实现恒定的总锐度评价值C(U，V，x_i,j)的方式确定复原强度倍率U及锐化强度倍率V。在将中央部位置设为“特定位置”的情况下，可以防止在用户容易识别的图像中央部的锐度上产生较大的背离，并且能够防止对图像周边的模糊图像进行较大地提高锐度的点像复原处理及锐化处理。另外，在此，所谓的“特定位置”的数量并无特别限定，能够将相当于构成整体图像的像素数的数％～数十％的数设定为“特定位置”的数。

＜第5实施方式＞

图26是表示进行第5实施方式所涉及的点像复原处理及锐化处理的处理模块的结构的图。另外，关于与图22所示的第2实施方式相同的结构附加相同的符号，并省略详细说明。

实施方式5所涉及的复原处理部38及轮廓增强处理部39并联设置，图像数据(输入图像)分别输入到复原处理部38及轮廓增强处理部39，通过基于点像复原处理的图像数据的增减量数据和基于锐化处理的图像数据的增减量数据被相加而生成输出图像，这一点与复原处理部38和轮廓增强处理部39被串联连接的第2实施方式不同。

本实施方式的图像处理部35具有锐化复原调整部63。锐化复原调整部63包括：第1加法器61，将来自复原处理部38的图像数据的增减量数据和来自轮廓增强处理部39的图像数据的增减量数据进行相加；及第2加法器62，将从第1加法器61输出的相加后增减量数据和输入图像数据进行相加。

即，在本实施例中，对图像数据并行地进行“通过点像复原滤波器处理部42及复原乘法器43进行的点像复原处理”和“通过轮廓增强滤波器处理部46及锐化乘法器47进行的锐化处理”，在各处理中，计算相当于与图像数据(输入图像)的差分值的增减量数据。基于点像复原处理的图像数据的增减量数据和基于锐化处理的图像数据的增减量数据通过第1加法器61而被相加，算出基于点像复原处理及锐化处理整体的图像数据的增减量数据。该“基于整体处理的图像数据的增减量数据”和图像数据(输入图像)通过第2加法器62而被相加，生成实施点像复原处理及锐化处理的图像数据(输出图像)。

其它结构与图22所示的第2实施方式相同。例如，由复原滤波器选择部53(参考图22)选择的复原滤波器供给到点像复原滤波器处理部42及强度自动调整部52，由轮廓增强强度选择部54选择的锐化强度倍率V0供给到强度自动调整部52。并且，在复原乘法器43及锐化乘法器47中使用的复原强度倍率U及锐化强度倍率V通过强度自动调整部52而可以适当地确定。

本实施例的图像处理系统整体的频率特性由下式6表示。

[数式6]

(式6) F(ω_x，ω_y|U，V，x_i，j)＝1+U×x_i，j(ω_x，ω_y)+V×φ(ω_x，ω_y)

在上式6中，复原处理部38的频率特性由“U×x_i,j(ω_x，ω_y)”表示，轮廓增强处理部39的频率特性由表示。从而，通过第1加法器61进行的加法处理基于的频率特性，通过第2加法器62进行的加法处理基于的频率特性。

如以上说明，在本实施方式中，与复原处理部38及轮廓增强处理部39串联配置的情况(参考上述第1实施方式(图5))同样地，能够抑制点像复原处理及锐化处理后的输出图像中的锐度的偏差，并能够使画质稳定。

＜第6实施方式＞

图27是表示进行第6实施方式所涉及的点像复原处理及锐化处理的处理模块的结构的图。另外，关于与图22所示的第2实施方式相同的结构附加相同的符号，并省略详细说明。

本实施方式所涉及的图像处理部35还具备进行图像数据的非线性处理的非线性处理部65，在2级滤波器处理系统(复原处理部38及轮廓增强处理部39)中导入有非线性处理。该非线性处理部65包含于复原处理部38及轮廓增强处理部39中的至少任一方，在下述内容中，关于在复原处理部38中设置非线性处理部的例子进行说明。

非线性处理通常不会仅由加减乘除的运算处理构成，例如有可能包括LUT(查表)的参照或伴随条件分支的处理。非线性处理大多以抑制伪影或噪声为目的进行，例如可以将“在图像信号中将超过剪辑阈值的像素值调整为剪辑阈值的剪辑处理”作为非线性处理而进行。

本实施例的点像复原处理(复原处理部38)包括如下一系列处理：对通过复原滤波器提取的点像复原增强成分应用增强倍率；对增强倍率应用后的点像复原增强成分应用非线性处理；及非线性处理后的点像复原增强成分和原图像的合成。

即，在本实施方式中，图像数据(输入图像)输入到点像复原滤波器处理部42而进行基于复原滤波器的滤波处理，并计算基于点像复原处理的图像数据的增减量数据。增减量数据输入到复原乘法器43，并根据复原强度倍率U进行增益控制，将增减量数据及复原强度倍率U进行相乘，相乘后的增减量数据输入到非线性处理部65。

在非线性处理部65中，对所输入的增减量数据进行剪辑处理(非线性处理)，在增减量数据(图像数据)中，将超过规定的剪辑阈值的像素值调整为剪辑阈值。另外，剪辑阈值可以预先被确定而存储于非线性处理部65，也可以由用户通过用户界面29来直接或间接地指定剪辑阈值。剪辑处理后的图像数据的增减量数据与在复原加法器44中输入到点像复原滤波器处理部42之前的图像数据(输入图像)相加，算出点像复原处理后的图像数据。

如下式7所示，在非线性处理部65中进行的剪辑处理为将图像数据(被调整增益的增减量数据)x限制为不取剪辑阈值θ(≥0)以上的值的处理。

[数式7]

(式7)

根据由上式7表示的剪辑处理函数CLIP(x)，在增减量数据x的绝对值小于剪辑阈值θ的情况下(|x|＜θ)，该增减量数据x通过剪辑处理不被调整而被保持，并从非线性处理部65输出“x”。另一方面，增减量数据x的绝对值为剪辑阈值θ以上的情况下(|x|≥θ)，信号成分通过剪辑处理、并通过符号函数(signum function)而被调整，并从非线性处理部65输出“sign(x)×θ”。

并且，非线性处理部65从强度自动调整部52被赋予剪辑阈值θ，但优选强度自动调整部52根据表示来自次对焦区域检测部50的原图像内的次对焦区域的信息，将针对次对焦区域的原图像数据的剪辑阈值θ调整为比对焦区域的原图像数据的剪辑阈值θ小。由此，针对次对焦区域的原图像数据的复原率得到抑制。

其它结构与图22所示的第2实施方式相同。例如，轮廓增强处理部39中的基于轮廓增强滤波器处理部46的滤波处理、基于锐化乘法器47的乘法处理及基于锐化加法器48的加法处理，以与上述第2实施方式相同的方式进行。

在本实施例中，作为系统整体中的频率特性F(ω_x，ω_y|U，V，x_i,j)，能够使用根据将特定的输入波形输入到系统(图像处理部35)时的输出而近似获得的频率特性。即，在进行非线性处理的图像处理部存在于信号处理系统的情况下，原则上无法正确地求出信号处理系统的频率特性，有时无法应用复原强度倍率U及锐化强度倍率V的强度自动计算处理。从而，可以在进行非线性处理时，从相对于预先掌握频率成分的特定的输入波形(输入图像数据)的输出波形(输出图像数据)近似地评价内部的频率特性，并利用通过近似的评价而得到的频率特性，从而进行复原强度倍率U及锐化强度倍率V的自动计算处理。该情况下，需要求出系统整体的频率特性F(ω_x，ω_y|U，V，x_i,j)，要求以数式表示对特定的输入波形的系统的频率响应近似公式。具体的近似评价方法是任意的，该系统的频率响应近似公式的精确度取决于非线性处理的具体的内容。

作为系统的频率响应近似公式的例子，在图9所示的包括剪辑处理的图像处理系统中，使用预先掌握特性的输入波形(图像信号)，并假定输入波形为高对比的步骤函数，如上述实施方式，在特定的频率f0中，以保持特定值(总锐度评价值)的方式定义w_i,j(ω_x，ω_y)的情况下(参考上述“式5”)，本申请发明人凭经验得知能够通过下式8来近似地表示图像处理系统整体的频率特性。

[数式8]

(式8) F(ω_x，ω_y|U,V)＝[1+min(U×ψ(ω_x，ω_y)，A)]×[1+V×φ(ω_x，ω_y)]

在上式8中，“A”为取决于剪辑阈值θ和输入图像信号的锐度(模糊度)的常数。并且，“min(U×ψ(ω_x，ω_y)，A)”为表示在“U×ψ(ω_x，ω_y)”及“A”中较小的函数。

另外，在本实施例中，在复原处理部38中设置非线性处理部65，但非线性处理部可以仅设置于轮廓增强处理部39，也可以设置于复原处理部38及轮廓增强处理部39这两者。然而，在复原处理部38及轮廓增强处理部39这两者中，若进行非线性处理，则图像处理系统整体的频率响应近似公式变得复杂，有可能导致不易进行如下控制，即在将总锐度评价值C(U，V，x_i,j)保持为恒定值的同时，确定复原强度倍率U及锐化强度倍率V。

在点像复原处理(点像复原滤波器处理部42)中使用的复原滤波器，以输入图像具有假定的频率特性(模糊特性)为前提而设计。然而，通过在点像复原处理及锐化处理的前级配置的摄像系统或图像处理系统中的非线性现象及信号处理，图像数据(输入图像)具有不同于假定的频率特性(不正确的频率特性)，有可能在输出图像上产生伪影。为了抑制这种伪影，优选在基于复原滤波器的滤波处理(点像复原滤波器处理部42)的后级设置非线性处理部65。

如以上说明，根据本实施方式，即使在复原处理部38及/或轮廓增强处理部39中进行非线性处理的情况下，也能够准确地求出复原强度倍率U及锐化强度倍率V。尤其，通过进行非线性处理而能够有效地抑制伪影。

＜第7实施方式＞

在现有的动态图像摄影模式中，在动态图像摄影中，摄影设定条件随着时间的经过而发生变化，若依次选择与变动的摄影设定条件对应的复原滤波器进行点像复原处理，则有可能在动态图像帧之间复原率或图像锐度的偏差变得明显。

在本实施方式中，为了在维持次对焦区域中的原图像数据的分辨率的同时抑制过度校正，且为了防止动态图像帧之间的复原率或锐度的偏差，在动态图像记录过程中，将总锐度评价值保持预先确定的值，且进行点像复原处理强度及锐化处理强度的控制。即，在本实施方式中，总锐度评价值不会按每一个摄影设定条件而被切换。

图28是表示进行第7实施方式所涉及的点像复原处理及锐化处理的处理模块的结构的图。另外，关于与图22所示的第2实施方式相同的结构附加相同的符号，并省略详细说明。

实施方式7所涉及的锐化恢复控制部37-7(强度自动调整部52-7)获得在获得图像数据(输入图像)时的摄影模式信息M，在摄影模式信息M表示动态图像记录模式的情况下，将总锐化复原率保持为恒定。另外，在此，所谓的“将总锐化复原率保持为恒定”并不限定于将总锐化复原率保持为规定值的情况，也可以包括总锐化复原率保持在不影响画质的范围内的情况。在总锐化复原率保持在不影响画质的范围内的情况下，优选总锐化复原率的变动的程度为10％以下，更优选为5％以下。

摄影模式信息M通过任意的方式而输入到强度自动调整部52-7。例如，在数码相机10(由透镜单元12及相机主体14构成)上设置“可以将动态图像记录模式及静态图像记录模式进行切换的模式切换部(用户界面29)”的情况下，可以从模式切换部对主体控制器28(强度自动调整部52-7)传送用户所选择的摄影模式信息M。摄影模式信息M为直接或间接地表示处理对象的图像为动态图像或静态图像的信息即可，也可以将表示伴随处理对象的图像的“动态图像/静态图像”的信息作为摄影模式信息M。

在所输入的摄影模式信息M表示动态图像记录模式的情况下，强度自动调整部52-7在构成动态图像的多个图像数据(动态图像数据)的帧之间，使用通用的总锐度评价值(总锐化复原率)来确定复原强度倍率U及锐化强度倍率V。即，在确定对通过动态图像记录模式而被拍摄的动态图像(帧)的复原强度倍率U及锐化强度倍率V的情况下，即使摄影设定条件通过帧之间而发生变化，总锐度评价值(总锐化复原率)也不会按每一个摄影设定条件被切换而被固定。固定使用于该动态图像的总锐度评价值(总锐化复原率)可以通过任意的方法而确定，例如，也可以使用与构成动态图像的特定的帧(例如最初的帧)的摄影设定条件对应的总锐度评价值(总锐化复原率)。

另外，在摄影模式信息M表示动态图像记录模式的情况下，与摄影模式信息M表示静态图像记录模式的情况相比，强度自动调整部52-7(锐化恢复控制部37-7)可以减小点像复原处理的复原强度倍率U(复原率)。通过复原处理部38进行的点像复原处理为基于PSF的图像恢复处理，在可以正确地掌握PSF的情况下为可以有效地改善画质的优异的画质改善处理，但是在无法正确地掌握PSF的情况下为有可能因过度校正等而导致引起画质劣化的处理。在使用忠实地反映PSF的复原滤波器的点像复原处理中需要相应的时间，在动态图像记录模式中，也要求通过被限定的时间对构成动态图像的多个帧图像进行处理。并且，在动态图像中，也要求保持帧之间的连续性，在连续帧之间，画质大幅度变化未必是优选的。从而，在动态图像记录模式中，通过将复原强度倍率U(复原率)设为较小，能够减小因过度校正等产生的画质劣化或帧之间的变化，并能够生成总体上优质的动态图像。并且，通过锐化强度倍率V，复原强度倍率U的减少得到补充，即使基于点像复原处理的复原度较小，也能够通过锐化处理而得到清晰的动态图像。

如以上说明，根据本实施方式，即使在动态图像摄影过程中摄影设定条件发生变化，且与摄影设定条件对应的点像复原处理的复原率变动，也由于总锐度评价值(总锐化复原率)恒定，因此能够抑制复原动态图像的锐度的偏差。

＜第7实施方式的变形例＞

第7实施方式的变形例中，以相对于动态图像摄影中的摄影条件的变化，动态图像帧之间的复原率和锐度不会大幅变化的方式进行抑制。

图29是对时序的动态图像帧中的“处理对象帧”及“参考帧”进行说明的图。

在拍摄动态图像时，被摄体经由光学系统12及摄像元件26并通过规定的帧率而被连续拍摄，获得由按时序连续的多个帧构成的动态图像的图像数据。在此，帧率为每单位时间的帧数(图像数、画面数)，通常，通过在1秒钟内生成的帧数(单位：fps(frame per second))来表示。例如本方式的数码相机10在帧率为30fps的情况下，在1秒钟内进行30张图像的生成，在帧率为60fps的情况下，在1秒钟内进行60张图像的生成。

并且，动态图像是指由按时序连续的多个帧构成，例如包括记录动态图像、实时取景图像。

图29表示对在时间t被拍摄的帧(t)进行复原处理的情况。该情况下，帧(t)成为处理对象帧。而且，在时间t-1被拍摄的帧(t-1)、在时间t-2被拍摄的帧(t-2)、及在时间t-3被拍摄的帧(t-3)为比处理对象帧在时序上更靠前的帧(前帧)。并且，在时间t+1被拍摄的帧(t+1)、在时间t+2被拍摄的帧(t+2)、及时间t+3被拍摄的帧(t+3)为比处理对象帧在时序上更靠后的帧(后帧)。另外，在图29中，为便于说明，针对处理对象帧，仅记载前帧3帧及后帧3帧，实际上根据摄影时间存在多个帧。

参考帧包括至少1帧的前帧或后帧即可。并且，参考帧可以是单数也可以是复数。例如在参考帧为单数的情况下，优选选择处理对象帧(帧(t))的后帧即帧(t+1)作为参考帧。并且，例如在参考帧为复数的情况下，优选选择处理对象帧(帧(t))的后帧(t+1)及前帧(t-1)。

在图29中，前帧(t-1)在处理对象帧的时序上为前一帧，后一帧(t+1)在处理对象帧的时序上为后一帧。也可以选择这种前一帧(帧(t-1))和后一帧(帧(t+1))作为参考帧。

在时序上连续的多个帧中选择参考帧的方法可以使用各种方法。例如作为选择参考帧的方法可以考虑如下方法，即通过用户界面29而指定用户预先选择参考帧的方法。并且，也可以预先确定例如选择参考帧的方法。

锐化恢复控制部37(图4等)根据参考帧的摄像信息对处理对象帧的复原处理内容进行调整。锐化恢复控制部37通过在帧之间应进行存在连续性的复原处理的各种方法，根据参考帧的摄像信息来调整复原处理的内容。

另外，锐化恢复控制部37能够根据参考帧的摄像信息及处理对象帧的摄像信息对处理对象帧的复原处理内容进行调整。通过按照处理对象帧的摄像信息及参考帧的摄像信息进行处理对象帧的复原处理，在处理对象帧与参考帧之间进行具有连续性的复原处理，且也可以进行使用于处理对象帧的复原处理。

接着，通过具体例来说明与锐化恢复控制部37进行的复原处理内容有关的调整方法。

锐化恢复控制部37能够根据与包含参考帧的摄影条件信息的摄像信息有关的频率最大值来调整复原处理的内容。

图30表示在图29中进行说明的从帧(t-3)到帧(t+3)的各帧被赋予作为摄影条件信息(摄像信息)的光圈值(F值)的情况。具体而言，图30所示的情况下，帧(t-3)通过光圈值F2而被拍摄，帧(t-2)通过光圈值F2而被拍摄，帧(t-1)通过光圈值F2而被拍摄，帧(t)通过光圈值F2.8而被拍摄，帧(t+1)通过光圈值F2而被拍摄，帧(t+2)通过光圈值F2而被拍摄、及帧(t+3)通过光圈值F2而被拍摄。

对于将处理对象帧设为帧(t-1)，且将参考帧设为帧(t-3)、帧(t-2)、帧(t)及帧(t+1)的情况进行说明。该情况下，帧(t-3)、帧(t-2)、帧(t-1)及帧(t+1)通过光圈值F2而被拍摄，帧(t)通过光圈值F2.8而被拍摄。因此，在处理对象帧及参考帧中，作为摄影条件信息的光圈值的频率最大值成为F2。因此，在对处理对象帧(帧(t-1))进行复原处理的情况下，使用通过光圈值F2而被拍摄的帧用的复原滤波器。

同样，将处理对象帧设为帧(t)、帧(t+1)的情况下，包含处理对象帧的前后5帧的光圈值的频率最大值也成为F2，使用所有处理对象帧也通过光圈值F2而被拍摄的帧用的复原滤波器。

并且，图31表示选择其它参考帧的例子。帧(t-3)通过光圈值F2而被拍摄，帧(t-2)通过光圈值F2而被拍摄，帧(t-1)通过光圈值F2而被拍摄，帧(t)通过光圈值F2.8而被拍摄，帧(t+1)通过光圈值F1.4而被拍摄，帧(t+2)通过光圈值F1.4而被拍摄、及帧(t+3)通过光圈值F1.4而被拍摄。

在将帧(t-2)、帧(t-1)、帧(t+1)及帧(t+2)设为参考帧，且将帧(t)设为处理对象帧的情况下，帧(t-2)及帧(t-1)通过光圈值F2而被拍摄，帧(t+1)及帧(t-2)通过光圈值F1.4而被拍摄，因此摄影条件信息的频率最大值成为光圈值F2和光圈值F1.4这2个。该情况下，处理对象帧的摄影条件信息为光圈值F2.8，因此处理对象帧的摄影条件信息不符合频率最大值，因此采用在时序上具有处理对象帧之后的参考帧的摄影条件信息的频率最大值(该情况下光圈值F1.4)。

并且，在将帧(t-1)及帧(t+3)设为参考帧的情况下，摄影条件信息的频率最大值为F2和F1.4这两个，但帧(t-1)比帧(t+3)在时序上更接近于处理对象帧，因此采用帧(t-1)的摄影条件信息即光圈值F2而作为频率最大值。

图32是表示锐化恢复控制部37确定参考帧的摄影条件信息(摄像信息)的频率最大值的动作流程的图。

首先，锐化恢复控制部37获得处理对象帧的摄影条件信息(步骤S10)。之后，锐化恢复控制部37(复原滤波器选择部53)获得参考帧的摄影条件信息(步骤S12)。另外，复原滤波器选择部53能够通过各种方法获得处理对象帧的摄影条件信息，例如复原滤波器选择部53能够从设备控制部34(图2)获得处理对象帧的摄影条件信息。而且，锐化恢复控制部37在参考帧的摄影条件信息中提取频率最大值(步骤S14)。而且，锐化恢复控制部37判断频率最大值是否为单数或复数，在频率最大值为一个的情况(步骤S16的否的情况)下采用频率最大值的摄影条件(步骤S18)，进行复原处理内容的调整。

另一方面，在频率最大值为复数的情况(步骤S16的是的情况)下，判断复数的频率最大值之一是否为处理对象帧的摄影条件信息。而且，在复数的频率最大值之一不是处理对象帧的摄影条件信息的情况(步骤S20的否的情况)下，锐化恢复控制部37在复数的频率最大值中选择与处理对象帧在时序上接近的帧的频率最大值(步骤S22)。并且，锐化恢复控制部37在复数的频率最大值中任意的频率最大值与处理对象帧在时序上为相同的间隔的情况下，选择包含比处理对象帧在时序上更靠前的帧的频率最大值(步骤S22)。如此通过选择包含比处理对象帧在时序上更靠前帧的频率最大值，时序上的连续性变得良好。

另一方面，复数的频率最大值之一为处理对象帧的摄影条件信息的情况(步骤S20的是的情况)下，锐化恢复控制部37采用处理对象帧的摄影条件信息作为频率最大值(步骤S24)。之后，关于下一个处理对象帧进行处理。

接着，通过具体例来说明与锐化恢复控制部37进行的复原处理内容有关的调整的其它方法。

锐化恢复控制部37(复原滤波器选择部53)可以根据处理对象帧的摄影条件信息和参考帧的摄影条件信息如同上述确定摄影条件信息，并通过所确定的摄影条件信息从复原滤波器存储部58获得对应的复原滤波器，也可以从复原滤波器存储部58读取与处理对象帧的摄影条件信息对应的复原滤波器和与参考帧的摄影条件信息对应的复原滤波器，并根据所读取的多个复原滤波器获得新的复原滤波器。复原滤波器选择部53通过各种方法可以从与处理对象帧的摄影条件信息对应的滤波器和与参考帧的摄影条件信息对应的滤波器获得新的复原滤波器，例如通过与处理对象帧的摄影条件信息对应的帧和与参考帧的摄影条件信息对应的帧的加权平均，能够求出新的复原滤波器。

由此，相对于动态图像摄影中的摄影条件的变化，抑制应用于处理对象帧的复原滤波器的变化，以使动态图像帧之间的复原率和锐度不会大幅变化。

＜第8实施方式＞

图33是表示进行第8实施方式所涉及的点像复原处理及锐化处理的处理模块结构的图。另外，关于与图22所示的第2实施方式相同的结构，附加相同的符号并省略详细说明。

在本实施方式中，若透镜单元(光学系统)12被安装，则反映了透镜单元12的个体差异信息的点像复原恢复率G从透镜单元12输入到强度自动调整部52-8。从而，强度自动调整部52-8根据包含光学系统的个体差异信息的光学特性信息而确定复原强度倍率U。并且，输入到强度自动调整部52-8的点像复原恢复率G为通过次对焦区域检测部50的检测结果而被调整之前的点像复原恢复率G，其与对焦区域的图像数据对应。

透镜单元12(尤其透镜16等光学系统)因制造误差等而在光学特性上存在个体差异，严格地讲，通过个体差异，在每一个透镜单元12中PSF不同。从而，若忽略透镜单元12(光学系统)的个体差异而进行点像复原处理，则即使为使用同一种类的透镜单元12进行拍摄的图像，复原度也不同，有时复原图像中的伪影出现方式也不同。

理想的是，根据忠实地反映透镜单元12的光学特性的PSF进行点像复原处理，且在复原图像中不产生伪影。然而，实际上，由于透镜单元12的个体差异的原因，处理对象图像中的PSF的影响和构成通过点像复原处理而使用的复原滤波器的基础的PSF不匹配，有时在复原图像中产生伪影。作为用于防止因个体差异而产生的伪影的一种方法，有通过将点像复原处理中的复原强度倍率U设定为较小的值而抑制复原度的方法，但若减小复原强度倍率U，则图像不会充分复原，无法得到所希望的锐度。作为防止该锐度降低的一种方法，可以考虑对每一个透镜单元12的个体，依次调整用于实现所希望的总锐度的锐化强度倍率V，但这种依次调整是耗时的工作而不方便。

即，在本实施方式中，在维持次对焦区域中的原图像数据的分辨率的同时抑制过度校正，进而点像复原处理的复原强度在每一个透镜(光学系统)的个体被调整，复原强度倍率U及锐化强度倍率V的确定被自动化。

即，在本实施方式中，透镜单元存储部21包括复原滤波器存储部58及轮廓增强强度列表存储部60，还包括点像复原强度列表存储部67。在点像复原强度列表存储部67中存储有透镜单元12(光学系统)所特有的点像复原恢复率G，该点像复原恢复率G为反映了透镜单元12的个体差异信息Q的值。并且，在复原滤波器存储部58中存储有与透镜单元12(光学系统)的类别对应的复原滤波器X。另外，复原滤波器X共同使用于相同类别的透镜单元12(光学系统)。

存储于点像复原强度列表存储部67中的点像复原恢复率G，若更换(安装)透镜单元12，则通过锐化恢复控制部37所具有的恢复率选择部69被读取，并供给到强度自动调整部52-8。即，恢复率选择部69将与摄影设定条件S对应的点像复原恢复率G从点像复原强度列表存储部67读取，并供给到强度自动调整部52-8。与上述第2实施方式相同，强度自动调整部52-8由所供给的点像复原恢复率G确定复原强度倍率U，并根据该复原强度倍率U及总锐度评价值(总锐化复原率)来确定锐化强度倍率V。

在本实施方式中，由于复原滤波器存储部58设置于透镜单元存储部21(透镜单元12)中，因此若更换(安装)透镜单元12，则复原滤波器选择部53从新的透镜单元12的复原滤波器存储部58读取复原滤波器X。因此，将反映了所搭载的透镜单元12(光学系统)的PSF的复原滤波器X存储于复原滤波器存储部58，从而在各透镜单元12中搭载有存储反映了本身的PSF的复原滤波器X的复原滤波器存储部58。

从而，即使几种透镜单元12可以安装于相机主体14，也能够将最适合于所安装的透镜单元12的复原滤波器X供给到点像复原滤波器处理部42。另外，根据本实施方式，由于安装于相机主体14上的透镜单元12(光学系统)的个体差异信息Q被加上的点像复原恢复率G供给到强度自动调整部52，因此能够防止由光学系统的个体差异产生的PSF的不匹配引起的伪影。尤其，在本实施方式中，由于反映了个体差异信息Q的点像复原恢复率G存储于透镜单元存储部21(透镜单元12)，因此即使更换安装于相机主体14的透镜单元12，也可以根据基于更换后的透镜单元12的个体差异信息Q的点像复原恢复率G而确定复原强度倍率U及锐化强度倍率V。由于在各滤波器处理中使用被确定的复原强度倍率U及锐化强度倍率V，因此在维持次对焦区域中的原图像数据的分辨率的同时抑制过度校正，进而进行反映了个体差异的复原处理，且能够得到所希望的总锐度。

另外，点像复原强度列表存储部67、复原滤波器存储部58及轮廓增强强度列表存储部60在上述实施方式中设置于透镜单元12，但也可以设置于相机主体14。当这些存储部设置于相机主体14的情况下，优选与所安装的透镜单元12对应的数据从外部设备类(计算机92、服务器97等)被下载到点像复原强度列表存储部67、复原滤波器存储部58及轮廓增强强度列表存储部60。

＜第9实施方式＞

图34是表示进行第9实施方式所涉及的点像复原处理及锐化处理的处理模块的结构的图。另外，关于与图33所示的第8实施方式相同的结构，附加相同的符号并省略详细说明。

在图33所示的上述第8实施方式中，按每一个摄影设定条件选择复原滤波器X并通过点像复原滤波器处理部42而被使用，但在图34中示出的第9实施方式中，在多个摄影设定条件下(光学系统种类)，相同的复原滤波器X使用于点像复原滤波器处理部42。

在使用与每一个摄影设定条件的PSF对应的复原滤波器的点像复原处理中，处理负载较大，但本实施方式设定规定的容许范围，且在该容许范围内的多个摄影设定条件下通用复原滤波器X，由此减小点像复原处理的负载。然而，若摄影设定条件(光学系统种类)不同，则严格地讲PSF也不同，因此在多个摄影设定条件下通用复原滤波器X的情况下，复原图像中的伪影的出现方式或图像复原率(图像恢复率)根据摄影设定条件而改变。

在本实施方式中，为了防止根据光学系统种类而变动的伪影等，根据安装于相机主体14上的透镜单元12的类别，改变点像复原处理的点像复原恢复率G，从而在容易强烈地出现伪影的透镜单元12中，将点像复原恢复率G设定为较弱。通过将点像复原恢复率G设定为较弱而锐度产生偏差，从而防止不能得到所希望的总锐化恢复度的现象，因此利用通过强度自动调整部52-9进行的复原强度倍率U及锐化强度倍率V的自动调整。

即，在本实施方式中，点像复原强度列表存储部67及轮廓增强强度列表存储部60设置于透镜单元12(透镜单元存储部21)中，但轮廓增强强度选择部54设置于相机主体14中。尽管透镜单元12安装于相机主体14，复原滤波器选择部53从轮廓增强强度选择部54选择与摄影设定条件S对应的复原滤波器X，并供给到点像复原滤波器处理部42及强度自动调整部52。

另一方面，供给到强度自动调整部52-9的点像复原恢复率G按照每一个透镜单元12(光学系统)而被确定。即恢复率选择部69从透镜单元存储部21的点像复原强度列表存储部67读取与摄影设定条件S对应的点像复原恢复率G，并供给到强度自动调整部52-9。

存储于点像复原强度列表存储部67中的点像复原恢复率G的列表及存储于轮廓增强强度列表存储部60中的锐化强度倍率V0的列表，按照每一个透镜单元12(光学系统)预先被计算并存储。

在本实施方式中，不管透镜单元12的种类如何，通用的复原滤波器X在点像复原滤波器处理部42被使用，考虑到该复原滤波器X的通用化的点像复原恢复率G及锐化强度倍率V0(点像复原处理为关闭时的锐化强度倍率V0)传送到强度自动调整部52-9。从而，恢复率选择部69可以对从点像复原强度列表存储部67选择的点像复原恢复率G进行考虑到“复原滤波器X的通用化”的任意的调整处理，并将该调整后的点像复原恢复率G供给到强度自动调整部52。同样，轮廓增强强度选择部54可以对从轮廓增强强度列表存储部60选择的锐化强度倍率V0进行考虑到“复原滤波器X的通用化”的任意的调整处理，并将该调整后的锐化强度倍率V0供给到强度自动调整部52。

如以上说明，根据本实施方式，关于多个摄影设定条件(光学系统种类)，考虑使用相同的复原滤波器而预先确定点像复原恢复率G，并算出复原强度倍率U及锐化强度倍率V。由此，在维持次对焦区域中的原图像数据的分辨率的同时抑制过度校正，进而能够防止由复原滤波器的通用化引起的复原图像中的伪影，并且通过点像复原处理及锐化处理能够提高图像的锐度。

另外，在上述例子中，复原滤波器通用于“多个光学系统”，但成为复原滤波器的通用化的基准的摄影设定条件并不限定于光学系统的种类，关于其它摄影设定条件(例如变焦信息等)也可以通用复原滤波器。

例如，关于多个变焦倍率(尤其光学变焦倍率及数字变焦倍率中光学变焦倍率)，当使用相同的复原滤波器的情况下，根据包含于摄影设定条件S中的变焦信息，复原滤波器选择部53选择合适的复原滤波器X，并供给到点像复原滤波器处理部42及强度自动调整部52-9。另一方面，恢复率选择部69从点像复原强度列表存储部67读取与摄影设定条件S对应的点像复原恢复率G，并供给到强度自动调整部52-9。另外，次对焦区域检测部50将表示原图像内的次对焦区域的信息供给到强度自动调整部52-9。

强度自动调整部52-9根据被供给的复原滤波器X、点像复原恢复率G及表示次对焦区域的信息来确定复原强度倍率U及锐化强度倍率V。该情况下，关于多个变焦倍率，考虑了使用通用的复原滤波器的点像复原恢复率G或锐化强度倍率V0(最大轮廓增强强度)也可以供给到强度自动调整部52。例如，恢复率选择部69及轮廓增强强度选择部54读取并确定基于共通复原滤波器的使用的点像复原恢复率G及锐化强度倍率V0(最大轮廓增强强度)。

＜其它变形例＞

上述实施方式仅仅是例示，对其它结构也可以应用本发明。

锐化恢复控制部37(参考例如图22)至少在“在光圈值表示与由第1阈值表示的光圈度相比光圈开启得大的情况”下，获得复原率及锐化率中的一个，并可以根据总锐化复原率来计算复原率及锐化率中的另一个。例如，光圈值位于开启侧的情况下，也可以进行上述复原强度倍率U及锐化强度倍率V的自动调整控制。即，锐化恢复控制部37(例如参考图22)获得在获得图像数据时的光学系统(透镜单元12)的光圈值(F值)，并对该光圈值与第1阈值进行比较。在将光圈值设为F值的情况下，可以仅在所获得的F值为第1阈值以下(光圈开启侧)的情况下，锐化恢复控制部37获得复原率及锐化率中的一个，并根据总锐化复原率来计算复原率及锐化率中的另一个。通常，基于点像复原处理的复原率及伪影的出现方式根据F值而变动，尤其因通过开启侧F值进行拍摄的图像数据而伪影容易变得明显。从而，仅对通过开启侧光圈进行拍摄的图像数据进行基于上述各实施方式所涉及的点像复原处理及锐化处理的图像处理，从而能够抑制以开启侧光圈值容易显现的伪影，并且能够提高基于锐化处理的图像锐度。该情况下，上述各实施方式所涉及的基于点像复原处理及锐化处理的图像处理只要适用于至少通过伪影容易变得明显的开启侧F值进行拍摄的图像数据即可，但也可以适用于通过其它F值进行拍摄的图像数据，也可以仅适用于通过开启侧F值进行拍摄的图像数据。

另外，光圈值包含于“摄影设定条件”中，在图34所示的结构中，由于摄影设定条件S被供给到强度自动调整部52-9，因此在强度自动调整部52-9中能够进行“光圈值与第1阈值的比较”及“点像复原恢复率G(复原率)及锐化强度倍率V(锐化率)的确定”。并且，“第1阈值”可以设定为任意的值(F值)，也可以根据变焦等其它摄影设定条件而确定，也可以将相当于例如F3.5～F6.3的范围的F值的阈值设定为“第1阈值”。

并且，在上述实施方式中，示出轮廓增强强度选择部54根据摄影设定条件S来确定点像复原处理为关闭时的锐化强度倍率V0(总锐化复原率)的例子，但也可以根据经由用户界面29进行的用户的指定来确定锐化强度倍率V0(总锐化复原率)。

并且，在上述各实施方式中，关于在数码相机10中自动调整计算复原强度倍率U及锐化强度倍率V的例子进行了说明，但也可以在出厂前在生产商一方预先进行该自动调整计算，并将算出的复原强度倍率U及锐化强度倍率V的所有参数存储并保持于数码相机10(透镜单元存储部21、主体存储部31等)。例如数码相机10存储并保持将“复原强度倍率U及锐化强度倍率V”和“摄影设定条件S”建立对应关联的图表，强度自动调整部52能够通过参照该图表由摄影设定条件S求出复原强度倍率U及锐化强度倍率V。该情况下，生成使用于数码相机10(图像处理部)中的参数的参数生成方法具备：“根据基于点像复原处理的图像数据的复原率及基于锐化处理的图像数据的锐化率获得总锐化复原率的步骤”；及“获得复原率及锐化率中的一个，并根据总锐化复原率来计算复原率及锐化率中的另一个的步骤”。这些步骤可通过例如与上述第2实施方式所涉及的强度自动调整部52-2相同的方式来执行。

并且，可以将在本说明书中记载的实施方式彼此适当地进行组合，也可以将第2实施方式～第9实施方式及变形例中的任意的方式彼此组合。例如在第3实施方式(参考图23)中，轮廓增强强度选择部54获得安装于相机主体14上的透镜单元12的光学特性信息，可以根据该光学特性信息(光学系统所具有的透镜种类信息、光学系统的个体差异信息、摄影设定条件等)来确定锐化强度倍率V。该情况下，轮廓增强强度选择部54能够通过任意的方法来获得光学特性信息，例如轮廓增强强度选择部54(主体控制器28)也可以通过与透镜单元控制器20进行通信而获得透镜单元12的光学特性信息。并且，如图35所示的变形例，通过将反映了个体差异信息Q(光学特性信息)的锐化强度倍率V0、V存储于轮廓增强强度列表存储部60，可以同时进行“光学特性信息的获得”及“根据光学特性信息的锐化强度倍率V0、V的确定”，也可以从轮廓增强强度选择部54将锐化强度倍率V0、V供给到强度自动调整部52-10。

并且，相对于没有光学低通滤波器(Optical Low Pass Filter)的摄像装置，在应用本说明书中记载的实施方式的摄像装置中可获得更多本发明的效果。这是因为由于没有光学低通滤波器，因此被摄体图像的分辨率提高且对焦区域(聚集区域)的对比度提高，并且也容易产生次对焦区域。

并且，上述各功能结构通过任意的硬件、软件、或者两者的组合而可适当地实现。例如，能够将本发明适用于使计算机执行上述各装置及处理部(主体控制器28、设备控制部34、图像处理部35)中的图像处理方法(图像处理流程)的图像处理程序；记录该图像处理程序的计算机可读取记录介质(非临时记录介质)；或者可安装该图像处理程序的计算机。

并且，可适用本发明的方式并不限定于数码相机及计算机(服务器)，除了将摄像作为主要功能的相机类以外，对于在摄像功能的基础上还具备摄像以外的其它功能(通话功能、通信功能、其它计算机功能)的移动设备类也能够适用本发明。作为可适用本发明的其它方式，例如可以举出具有相机功能的移动电话或智能手机、PDA(Personal Digital Assistants)、便携式游戏机。以下，对可适用本发明的智能手机的一例进行说明。

＜智能手机的结构＞

图36是表示作为本发明的摄像装置的一实施方式的智能手机101的外观的图。图36所示的智能手机101具有平板状的框体102，并具备在框体102的一面作为显示部的显示面板121与作为输入部的操作面板122成为一体的显示输入部120。并且，框体102具备扬声器131、麦克风132、操作部140、相机部141。另外，框体102的结构并不限定于此，例如能够采用使显示部和输入部独立的结构，或者采用折叠结构或具有滑动机构的结构。

图37是表示图36所示的智能手机101的结构的框图。如图37所示，作为智能手机的主要构成要件，具备无线通信部110、显示输入部120、通话部130、操作部140、相机部141、存储部150、外部输入输出部160、GPS(Global Positioning System)接收部170、动作传感器部180、电源部190、主控制部100。并且，作为智能手机101的主要功能，具备经由基站装置BS和移动通信网NW进行移动无线通信的无线通信功能。

无线通信部110按照主控制部100的指令对收纳于移动通信网NW的基站装置BS进行无线通信。使用这种无线通信，进行语音数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据或流数据等的接收。

显示输入部120为所谓的触控面板，其通过主控制部100的控制而显示图像(静态图像及动态图像)、文字信息等，从而视觉上对用户传递信息，并检测对所显示信息的用户操作，所述显示输入部120具备显示面板121和操作面板122。

显示面板121将LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)等用作显示设备。操作面板122为载置成能够识别显示于显示面板121的显示面上的图像，且对通过用户的手指或触笔来操作的一个或多个坐标进行检测的设备。若通过用户的手指或触笔来操作设备，则将通过操作而产生的检测信号输出到主控制部100。接着，主控制部100根据接收到的检测信号来检测显示面板121上的操作位置(坐标)。

如图36所示，作为本发明的摄像装置的一实施方式而例示的智能手机101的显示面板121和操作面板122成为一体而构成显示输入部120，但是成为操作面板122完全包覆显示面板121的配置。当采用这种配置时，操作面板122在显示面板121以外部区域也具备检测用户操作的功能。换言之，操作面板122也可以具备与显示面板121重叠的重叠部分的检测区域(以下，称作显示区域)、及除此以外的不与显示面板121重叠的外缘部分的检测区域(以下，称作非显示区域)。

另外，可以使显示区域的大小和显示面板121的大小完全一致，但是未必使两者一致。并且，操作面板122也可以具备外缘部分和除此以外的内侧部分这两个感应区域。另外，外缘部分的宽度根据框体102的大小等而可适当地设计。另外，作为在操作面板122中采用的位置检测方式，可以举出矩阵开关方式、电阻膜方式、表面声波方式、红外线方式、电磁感应方式、静电容量方式等，能够采用任一种方式。

通话部130具备扬声器131、麦克风132，通过将通过麦克风132输入的用户的语音转换为可以由主控制部100处理的语音数据而能够输出到主控制部100，或者将通过无线通信部110或外部输入输出部160接收到的语音数据进行解码并从扬声器131输出。并且，如图36所示，例如，能够将扬声器131及麦克风132搭载于与设置有显示输入部120的面相同的面上。

操作部140为使用了键开关等的硬件键，接收来自用户的指令。例如，如图36所示，操作部140搭载于智能手机101的框体102的侧面，是利用手指等按下时开启，手指离开时通过弹簧等的复原力而成为切断状态的按钮式开关。

存储部150存储主控制部100的控制程序或控制数据、应用软件、将通信对象的名称或电话号码等建立对应关联的地址数据、收发的电子邮件数据、通过Web浏览下载的Web数据、下载内容数据，并且临时存储流数据等。并且，存储部150由智能手机内置的内部存储部151和具有装卸自如的外部存储器插槽的外部存储部152构成。另外，构成存储部150的各自的内部存储部151和外部存储部152利用如下存储介质来实现：闪存式(flash memory type)、硬盘类型(hard disk type)、微型多媒体卡类型(multimedia card micro type)、卡类型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(Random Access Memory)、ROM(Read Only Memory)等。

外部输入输出部160发挥与连结于智能手机101上的所有外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如互联网、无线LAN、蓝牙(Bluetooth(注册商标))、RFID(Radio Frequency Identification)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(Ultra Wideband)(注册商标)、紫蜂(ZigBee)(注册商标)等)直接或间接地连接于其它外部设备。

作为连结于智能手机101的外部设备，例如有：有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插槽连接的存储卡(Memory card)和SIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)卡、经由音频-视频I/O(Input/Output)端子连接的外部音频-视频设备、无线连接的外部音频-视频设备、有线/无线连接的智能手机、有线/无线连接的个人计算机、有线/无线连接的PDA、有线/无线连接的个人计算机、耳机等。外部输入输出部可以将从这种外部设备接收到的传输数据传递给智能手机101的内部的各构成要件，或智能手机101的内部的数据也可以传输到外部设备。

GPS接收部170按照主控制部100的指令，接收从GPS卫星ST1～STn发送的GPS信号，执行基于接收到的多个GPS信号的定位运算处理，检测由智能手机101的纬度、经度、高度构成的位置。GPS接收部170在从无线通信部110、外部输入输出部160(例如无线LAN)能够获得位置信息的情况下，还能够利用该位置信息来检测位置。

动作传感器部180具备例如3轴加速度传感器等，并按照主控制部100的指令检测智能手机101的物理动作。通过检测智能手机101的物理动作，可检测智能手机101的移动方向、加速度。这种检测结果被输出到主控制部100。

电源部190按照主控制部100的指令，对智能手机101的各部供给积蓄在电池(未图示)中的电力。

主控制部100具备微处理器，按照存储部150所存储的控制程序、控制数据进行动作，并综合控制智能手机101的各部。并且，主控制部100为了通过无线通信部110进行语音通信和数据通信而具备对通信系统的各部进行控制的移动通信控制功能和应用处理功能。

应用处理功能是通过主控制部100按照存储部150所存储的应用软件进行动作而实现。作为应用处理功能，例如有控制外部输入输出部160而与对象设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、浏览Web页的Web浏览功能等。

并且，主控制部100具备根据接收数据、下载的流数据等图像数据(静态图像、动态图像的数据)将影像显示于显示输入部120等的图像处理功能。图像处理功能是指主控制部100对上述图像数据进行解码，并对这种解码结果实施图像处理，从而将图像显示于显示输入部120的功能。

另外，主控制部100执行对显示面板121的显示控制及通过操作部140、操作面板122检测用户操作的操作检测控制。

通过执行显示控制，主控制部100显示用于启动应用软件的图标、滚动条等软件键，或者显示用于创建电子邮件的窗口。另外，滚动条是指关于无法落入显示面板121的显示区域的较大的图像等，用于接受移动图像的显示部分的指令的软件键。

并且，通过执行操作检测控制，主控制部100通过操作部140来检测用户操作，或者通过操作面板122接受对上述图标的操作、对上述窗口的输入栏输入字符串，或者通过滚动条接受显示图像的滚动请求。

另外，通过执行操作检测控制，主控制部100具备如下触控面板控制功能，即判定对操作面板122的操作位置是与显示面板121重叠的重叠部分(显示区域)，还是除此以外的不与显示面板121重叠的外缘部分(非显示区域)，并控制操作面板122的感应区域、软件键的显示位置。

并且，主控制部100还能够检测对操作面板122的手势操作，并根据检测到的手势操作能够执行预先设定的功能。手势操作并非是以往单纯的触控操作，而是通过手指等描绘轨迹，或者同时指定多个位置，或者将它们进行组合而从多个位置至少对1个位置描绘轨迹的操作。

相机部141为使用CMOS等摄像元件进行电子摄影的数码相机。并且，相机部141能够通过主控制部100的控制，将通过摄影而得到的图像数据转换成例如JPEG等已压缩的图像数据并记录于存储部150，或者能够通过外部输入输出部160、无线通信部110进行输出。如图36所示，在智能手机101中，相机部141搭载于与显示输入部120相同的面上，但相机部141的搭载位置并不限定于此，还可以搭载于显示输入部120的背面，或者也可以搭载有多个相机部141。另外，在搭载有多个相机部141的情况下，还能够切换供拍摄的相机部141而单独进行拍摄，或者同时使用多个相机部141而进行拍摄。

并且，相机部141能够利用于智能手机101的各种功能。例如，能够在显示面板121上显示通过相机部141而获得的图像，或者作为操作面板122的操作输入之一而能够利用相机部141的图像。并且，在GPS接收部170检测位置时，能够参照来自相机部141的图像来检测位置。另外，还能够参照来自相机部141的图像，且不使用3轴加速度传感器，或者并用3轴加速度传感器来判断智能手机101的相机部141的光轴方向，且能够判断当前的使用环境。当然，也可以在应用软件中利用来自相机部141的图像。

另外，对静态图像或动态图像的图像数据附加通过GPS接收部170而获得的位置信息、通过麦克风132而获得的语音信息(也可以通过主控制部等进行语音文本转换而成为文本信息)、通过动作传感器部180而获得的姿势信息等，并记录于存储部150，或者能够通过外部输入输出部160、无线通信部110进行输出。

上述图像处理部35(锐化恢复控制部37、复原处理部38、轮廓增强处理部39：参考图3)例如可以通过主控制部100来实现。

符号说明

10-数码相机，12-透镜单元(光学系统)，14-相机主体，16-透镜，18-光学系统操作部，20-透镜单元控制器，21-透镜单元存储部，22-透镜单元输入输出部，26-摄像元件，28-主体控制器，29-用户界面，30-相机主体输入输出部，31-主体存储部，32-输入输出接口，34-设备控制部，35-图像处理部，37、37-2～37-10-锐化恢复控制部，38-复原处理部，39-轮廓增强处理部，42-点像复原滤波器处理部，43-复原乘法器，44-复原加法器，46-轮廓增强滤波器处理部，47-锐化乘法器，48-锐化加法器，52、52-2～52-10-强度自动调整部，53-复原滤波器选择部，54-轮廓增强强度选择部，58-复原滤波器存储部，60-轮廓增强强度列表存储部，61-第1加法器，62-第2加法器，63-锐化复原调整部，65-非线性处理部，67-点像复原强度列表存储部，69-恢复率选择部，C-摄影设定条件，G-点像复原恢复率，U-复原强度倍率，V-锐化强度倍率，X-复原滤波器，M-摄影模式信息，Q-个体差异信息。