=]\11:(11〇，;〇"。
[0198]此时，根据以下公式1~公式3求出的编号η的滤波器候选被选为在滤波器适用部 41中的滤波处理中使用的复原滤波器。另外，以下公式1~公式3并未特别关注矢状方向及 切线方向的差异(各向异性），而是基于模糊程度(分辨率劣化)较大的方向的响应在视觉上 起支配作用的假设。
[0199] [数式 1]
[0200] (数式l)M(h，f)=min(Ms(h，f)，Mt(h，f))
[0201] [数式2]
[0202] <^j(S2)G(n，h，f)=max(Gs(n，h，f)，Gt(n，h，f))
[0204] 上述公式1表示，分别在像高中央部50及像高周边部51中，将矢状方向的MTF(Ms (h，f))及切线方向的MTF(Mt(h，f))中较小的MTF设定为代表性MTF(M(h，f))。并且，上述公 式2表示，分别在像高中央部50及像高周边部51中，关于第η个滤波器候选，将基于滤波处理 的矢状方向的复原强度放大率(Gs(n，h，f))及切线方向的复原强度放大率(Gt(n，h，f))中， 将较大的复原强度放大率设定为代表性复原强度放大率(G(n，h，f))。
[0205] 将由公式1及公式2求出的"代表性MTF(M(h，f))"及"代表性复原强度放大率(G(n， h，f))"适用于公式3,由此导出最适合作为复原滤波器的滤波器候选的编号。即，公式3表示 求出像高中央部50及像高周边部51的"代表性MTF之比(Μαο,?Ο/Μ^,?·))"与"代表性复原 强度放大率之比(6(11，111，〇/6(11，1 1()，〇)"之差的绝对值最小的11(第11个滤波器候选)的情 况。
[0206] 因此，在"代表性MTF之比(Μαο,?Ο/Μ^,?·))"比较小时选择的滤波器候选(第1滤 波器候选)与在"代表性MTF之比(1(11〇,〇/^(111，〇)"比较大时选择的滤波器候选(第2滤波 器候选)不同。换言之，在像高中央部50的代表性MTF与像高周边部51的代表性MTF之差小于 阈值(第1阈值)时使用的滤波器候选(第1滤波器候选）、和像高中央部50的代表性MTF与像 高周边部51的代表性MTF之差为阈值(第1阈值）以上时使用的滤波器候选(第2滤波器候选） 不同。
[0207]基于上述公式1~公式3的"η(第η个滤波器候选)"的具体计算方法并无特别限定， 能够使用任意方法，并且也能够适当设定其他参数。例如，所关注的空间频率f能够综合考 虑光学特性、图像复原特性及视觉特性等来确定，还能够设为"f= 〇.25fs(参考图5A)"。并 且，对于像高周边部51的具体位置(像高），也能够综合考虑光学特性、图像复原特性及视觉 特性等来适当确定。另外，上述公式1~公式3利用基于复原滤波器(维纳(Wiener)滤波器） 的复原强度(尤其SN比大时的复原强度)成为MTF的大概的倒数的情况，尤其在低频区域中 这种特征显著。
[0208] 滤波器适用部41通过将这样求出的第η个滤波器候选用作"关于光学系统的光学 变焦的变焦倍率而共同的复原滤波器"，能够根据基于像高的MTF特性(点扩散函数特性)进 行点像复原处理(滤波器适用处理）。按伴随点像复原处理的每个图像数据进行该复原滤波 器的选择(第η个滤波器候选的计算）。因此，时序列上的前一图像数据(帧）的点像复原处理 中使用的滤波器候选nl(复原滤波器)在时序列上的后一图像数据(帧）的点像复原处理中 也被选为最适合的滤波器候选时，该滤波器候选nl持续用作复原滤波器。
[0209] 上述基于MTF的复原滤波器切换方法仅为一例，可将所选择的滤波器候选用作关 于所有光学变焦倍率而共同的复原滤波器，也可根据光学变焦倍率切换复原滤波器。例如， 可将通过上述"根据基于像高的MTF特性确定复原滤波器的方法"预先求出的最适合的复原 滤波器与光学变焦的变焦倍率(变焦位置)预先建立对应关联，并将切换复原滤波器的光学 变焦的变焦倍率(滤波器切换点）预先存储于数码相机1〇(例如点像复原控制处理部39)的 存储器。此时，点像复原控制处理部39(滤波器适用部41)通过参考存储于存储器的滤波器 切换点，能够根据拍摄时的光学变焦倍率切换在点像复原处理中使用的复原滤波器。
[0210] 上述的例子中，根据像高中央部50及像高周边部51的MTF控制"复原滤波器的切 换"，但也可控制"光学变焦与数码变焦之间的切换"。即，可根据像高中央部50的MTF与像高 周边部51的MTF的差异确定成为光学变焦与数码变焦的切换基准的光学变焦的变焦倍率 (参考图15的"变焦模式切换基准"）。
[0211] 例如，和像高中央部50的MTF与像高周边部51的MTF之差较小时相比，像高中央部 50的MTF与像高周边部51的MTF之差较大时，可以以广角侧的光学变焦的变焦倍率切换光学 变焦与数码变焦。像高中央部50与像高周边部51之间的MTF差较大时，尤其在以长焦侧的变 焦倍率拍摄获取的图像(原图像数据）中易产生点像复原处理引起的过校正等。因此，与MTF 差较小时(MTF差小于阈值(第2阈值)时)相比，像高中央部50的MTF与像高周边部51的MTF之 差较大时(MTF差为阈值(第2阈值）以上时），通过以广角侧的光学变焦倍率切换光学变焦与 数码变焦，能够提前防止通过点像复原处理有可能产生的过校正等。
[0212] <其他变形例>
[0213]上述数码相机10仅为例示，还能够对其他结构适用本发明。各功能结构可通过任 意硬件、软件或两者的组合来适当实现。例如，对使计算机执行上述各装置及处理部(相机 主体控制器28、设备控制部34、图像处理部35、变焦控制部37、点像复原控制处理部39等）中 的图像处理方法(处理步骤、处理顺序）的程序、能够计算机读取的记录有这种程序的记录 介质(非临时记录介质）、或能够安装这种程序的各种计算机，也能够应用本发明。
[0214] <〇^D〇F系统的适用例>
[0215]上述实施方式中的复原处理是根据特定的摄影条件(例如，光圈值、F值、焦距及透 镜种类等)对点扩散（点像模糊)进行恢复修正来复原原来的被摄体像的图像处理，但能够 适用本发明的图像复原处理并不限定于上述实施方式中的复原处理。例如，对于针对通过 具有被扩大的景深(焦深）（EDoF:ExtendedDepthofField(Focus))的光学系统(摄影透 镜等)拍摄获取的图像数据进行的复原处理，也能够适用本发明所涉及的复原处理。对通过 EDoF光学系统在景深(焦深)被扩大的状态下拍摄获取的模糊图像的图像数据进行复原处 理，从而能够在宽范围内复原生成对焦状态的高分辨率的图像数据。此时，进行使用如下复 原滤波器的复原处理，所述复原滤波器为基于H)〇F光学系统的点扩散函数(PSF、0TF、MTF或 PTF等)的复原滤波器，且具有设定成能够在被扩大的景深(焦深)范围内进行良好的图像复 原的滤波器系数。
[0216]以下，对与经由EDoF光学系统拍摄获取的图像数据的复原相关的系统(EDoF系统） 的一例进行说明。另外，在以下所示的例子中，对针对从去马赛克处理之后的图像数据(RGB 数据）中获得的亮度信号(Y数据)进行复原处理的例子进行说明，但进行复原处理的时刻并 无特别限定，例如可对"去马赛克处理之前的图像数据(马赛克图像数据)"或"去马赛克处 理之后且亮度信号转换处理之前的图像数据(去马赛克图像数据)"进行复原处理。
[0217]图17是表示具备EDoF光学系统的摄像模块101的一方式的框图。本例的摄像模块 (数码相机等）101包含EDoF光学系统(透镜单元）110、成像元件112、AD转换部114及复原处 理块（图像处理部）120。
[0218]图18是表示EDoF光学系统110的一例的图。本例的EDoF光学系统110具有单焦点的 被固定的摄影透镜110A及配置于光瞳位置的滤光器111。滤光器111是调制相位的要件，其 使EDoF光学系统110 (摄影透镜110A)EDoF化，以获得被扩大的景深(焦深）（EDoF)。如此，摄 影透镜110A及滤光器111构成调制相位来扩大景深的透镜部。
[0219] 另外，EDoF光学系统110根据需要包含其他构成要件，例如在滤光器111附近配设 有光圈（省略图示）。并且，滤光器111可以是一个，也可以组合多个。并且，滤光器111仅仅是 光学相位调制机构的一例，还可以通过其他机构实现EDoF光学系统110(摄影透镜110A)的 EDoF化。例如，代替设置滤光器111，可通过以具有与本例的滤光器111相同功能的方式进行 透镜设计的摄影透镜110A实现EDoF光学系统110的EDoF化。
[0220] S卩，能够通过使成像元件112的受光面上的成像的波面发生变化的各种机构，实现 H)〇F光学系统110的EDoF化。例如，可将"厚度发生变化的光学元件"、"折射率发生变化的光 学元件(折射率分布型波面调制透镜等)"、"通过对透镜表面进行涂布等而厚度或折射率发 生变化的光学元件(波面调制混合式透镜、在透镜面上形成为相位面的光学元件等)"、"能 够调制光的相位分布的液晶元件（液晶空间相位调制元件等)"用作EDoF光学系统110的 H)〇F化机构。如此，不仅对于能够通过光波面调制元件(滤光器111(相位板））形成规则地分 散的图像的情况能够应用本发明，而且对于不使用光波面调制元件而可通过摄影透镜110A 本身形成与使用光波面调制元件时相同的分散图像的情况，也能够应用本发明。
[0221] 图17及图18所示的EDoF光学系统110可以省略机械地进行调焦的调焦机构，因此 能够实现小型化，可适当地搭载于带相机的移动电话或移动信息终端。
[0222]通过被EDoF化的EDoF光学系统110之后的光学图像被成像于图17所示的成像元件 112,在此转换成电信号。
[0223]成像元件112由以规定的图案排列(拜耳排列、G条纹R/G完整方格、X-Trans排列、 蜂窝排列等)配置成矩阵状的多个像素构成，各像素包含微透镜、滤色器(本例中为RGB滤色 器)及光电二极管。经由EDoF光学系统110入射到成像元件112的受光面的光学图像通过排 列于该受光面的各光电二极管而转换成与入射光量相应的量的信号电荷。并且，积蓄在各 光电二极管的R、G、B的信号电荷作为每个像素的电压信号（图像信号)被依次输出。
[0224] AD转换部114将从成像元件112按每个像素输出的模拟R、G、B图像信号转换成数字 RGB图像信号。通过AD转换部114转换成数字图像信号的数字图像信号被添加在复原处理块 120〇
[0225] 复原处理块120例如包含黑电平调整部122、白平衡增益部123、伽马处理部124、去 马赛克处理部125、RGB/YCrCb转换部126及Y信号复原处理部127。
[0226]黑电平调整部122对从AD转换部114输出的数字图像信号实施黑电平调整。黑电平 调整可采用公知的方法。例如，当着眼于某一有效光电转换元件时，求出与包含该有效光电 转换元件的光电转换元件行中所包含的多个0B光电转换元件的每一个相对应的暗电流量 获取用信号的平均，从与该有效光电转换元件相对应的暗电流量获取用信号中减去该平 均，由此进行黑电平调整。
[0227]白平衡增益部123进行与已调整黑电平数据的数字图像信号中包含的RGB各颜色 信号的白平衡增益相应的增益调整。
[0228] 伽马处理部124进行以使已进行白平衡调整的R、G、B图像信号成为所希望的伽马 特性的方式进行半色调等灰度校正的伽马校正。
[0229] 去马赛克处理部125对伽马校正之后的R、G、B图像信号实施去马赛克处理。具体而 言，去马赛克处理部125通过对R、G、B图像信号实施颜色插值处理，生成从成像元件112的各 受光像素输出的一组图像信号(R信号、G信号、B信号）。即，在颜色去马赛克处理之前，来自 各受光像素的像素信号为R、G、B图像信号中的任一个，但在颜色去马赛克处理之后，会输出 与各受光像素相对应的R、G、B信号的3个像素信号组。
[0230]RGB/YCrCb转换部126将已进行去马赛克处理的每个像素的R、G、B信号转换成亮度 信号Y和色差信号Cr、Cb，并输出每个像素的亮度信号Y及色差信号Cr、Cb。
[0231]Y信号复原处理部127根据预先存储的复原滤波器，对来自RGB/YCrCb转换部126的 亮度信号Y进行复原处理。复原滤波器例如由具有7X7的核尺寸的反卷积核(对应于M= 7、N =7的抽头数)及与该反卷积核相对应的运算系数(对应于复原增益数据、滤波器系数）构 成，使用于滤光器111的相位调制量的反卷积处理(反卷积运算处理）。另外，复原滤波器中， 与滤光器111相对应的滤波器被存储于未图示的存储器(例如附带设置有Y信号复原处理部 127的存储器）。并且，反卷积核的核尺寸并不限于7X7。
[0232]接着，对基于复原处理块120的复原处理进行说明。图19是表示基于图17所示的复 原处理块120的复原处理流程的一例的图。
[0233] 对黑电平调整部122的一输入中，从AD转换部114添加数字图像信号，对另一输入 添加黑电平数据，黑电平调整部122从数字图像信号减去黑电平数据，并将被减去黑电平数 据的数字图像信号输出至白平衡增益部123(S61)。由此，数字图像信号中不包含黑电平成 分，表示黑电平的数字图像信号成为0。
[0234] 对黑电平调整之后的图像数据依次实施通过白平衡增益部123、伽马处理部124进 行的处理(S62及S63)。
[0235] 被伽马校正的R、G、B信号在去马赛克处理部125中被去马赛克处理之后，在RGB/ YCrCb转换部126中转换成亮度信号Y和色度信号Cr、Cb(S64)。
[0236]Y信号复原处理部127进行对亮度信号Y施以EDoF光学系统110的滤光器111的相位 调制量的反卷积处理的复原处理(S65)。即，Y信号复原处理部127进行与以任意处理对象的 像素为中心的规定单位的像素组相对应的亮度信号(在此为7X7像素的亮度信号）、与预先 存储于存储器等的复原滤波器(7X7的反卷积核及其运算系数)的反卷积处理(反卷积运算 处理信号复原处理部127以覆盖摄像面的整个区域的方式反复进行该规定单位的每个 像素组的反卷积处理，由此进行消除整个图像的像模糊的复原处理。复原滤波器根据实施 反卷积处理的像素组的中心位置来确定。即，在接近的像素组中适用共同的复原滤波器。为 了进一步简化复原处理，优选对所有像素组适用共同的复原滤波器。
[0237] 如图20的符号1201所示，通过EDoF光学系统110之后的亮度信号的点像(光学图 像)作为较大的点像(模糊的图像)而成像于成像元件112,但通过Y信号复原处理部127中的 反卷积处理，如图20的符号1202所示那样，复原成较小的点像(高分辨率的图像）。
[0238]如上所述，通过对去马赛克处理之后的亮度信号施以复原处理，RGB无需分别具有 复原处理的参数，能够使复原处理高速化。并且，并不是将与位于分散位置的R、G、B像素相 对应的R、G、B图像信号分别汇集为一个单位来进行反卷积处理，而是将接近的像素的亮度 信号彼此汇集为规定单位，并在该单位中适用共同的复原滤波器来进行反卷积处理，因此 复原处理的精度得到提高。另外，对于色差信号Cr、Cb，在基于人眼的视觉特性上即使不通 过复原处理来提高分辨率，在画质上也是可以接受的。并且，以JPEG这样的压缩形式记录图 像时，色差信号以比亮度信号更高的压缩率被压缩，因此没有必要通过复原处理来提高分 辨率。如此一来，能够兼顾复原精度的提高与处理的简单化及高速化。
[0239]对于如以上说明的EDoF系统的复原处理，也能够适用本发明的各实施方式所涉及 的点像复原处理。即，可在复原处理块120(Y信号复原处理部127)中的复原处理中（图19的 S65)，执行通过点像复原控制处理部39进行的上述各种处理（点像复原处理）。
[0240]另外，上述各实施方式中，对点像复原处理部39设置于数码相机10的相机主体14 (相机主体控制器28)的方式进行了说明，但点像复原处理部39也可以设置于计算机60或者 服务器80等其他装置。
[0241]例如，在计算机60中加工图像数据时，可通过设置于计算机60的点像复原控制处 理部进行该图像数据的点像复原处理。并且，当服务器80具备点像复原控制处理部时，例如 可从数码相机10或计算机60向服务器80发送图像数据，在服务器80的点像复原控制处理部 中对该图像数据进行点像复原处理，点像复原处理之后的图像数据(恢复图像数据)被发 送/供给至发送源。
[0242]并且，能够适用本发明的方式并不限定于数码相机10、计算机60及服务器80,除了 以摄像为主要功能的相机类之外，对于除了摄像功能以外还具备摄像以外的其他功能(通 话功能、通信功能、其他计算机功能）的移动设备类，也能够适用本发明。作为能够适用本发 明的其他方式，例如可举出具有相机功能的移动电话和智能手机、PDA(Pers〇nalDigital Assistants)、便携式游戏机。以下，对能够适用本发明的智能手机的一例进行说明。
[0243] <智能手机的结构>
[0244] 图21是表示作为本发明的摄像装置的一实施方式的智能手机201的外观的图。图 21所示的智能手机201具有平板状框体202,在框体202的一侧的面具备作为显示部的显示 面板221与作为输入部的操作面板222成为一体的显示输入部220。并且，这种框体202具备 扬声器231、麦克风232、操作部240及相机部241。另外，框体202的结构并不限定于此，例如 能够采用显示部与输入部独立的结构，或者采用具有折叠结构或滑动机构的结构。
[0245] 图22是表示图21所示的智能手机201的结构的框图。如图22所示，作为智能手机的 主要的构成要件，具备无线通信部210、显示输入部220、通话部230、操作部240、相机部241、 存储部250、外部输入输出部260、GPS(GlobalPositioningSystem)接收部270、动作传感 器部280、电源部290及主控制部200。并且，作为智能手机201的主要功能，具备经由基站装 置BS和移动通信网NW进行移动无线通信的无线