及复原增益的选择方法，因此能够进行以较高水平兼顾复原滤 波器的数据量的减少及高精度的画质复原的点像复原处理。
[0158] <第3实施方式〉
[0159]在针对"静态图像"的点像复原处理中，主要重视提高单一图像(静态图像）的画 质，而针对"动态图像"的点像复原处理中，不仅需要提高各帧的画质，还需要维持前后帧之 间的画质上的连续性并简化处理本身来高速进行处理。尤其，在动态图像摄影期间光学变 焦倍率连续变化时，随着光学变焦倍率的变动，点扩散函数也发生变化。因此，即使在动态 图像摄影期间光学变焦倍率发生变化时，也优选进行不阻碍帧之间的连续性且能够提供平 滑的动态图像的点像复原处理。
[0160]本实施方式中，判别处理对象的原图像数据是"动态图像"及"静态图像"中的哪一 个，并根据该判别结果切换复原滤波器及复原增益的确定方法。即，当原图像数据为动态图 像时，滤波器适用部41关于光学系统的光学变焦的变焦倍率将共同的滤波器用作复原滤波 器来获取复原图像数据，增益调整部42根据光学系统的光学变焦的变焦倍率确定复原增益 (放大率）。另一方面，原图像数据为静态图像时，滤波器适用部41使用根据光学系统的光学 变焦的变焦倍率确定的个别的复原滤波器来获取复原图像数据，而不是使用上述的共同复 原滤波器。
[0161]另外，"动态图像"由随时间变化而连续的图像组(帧组)构成，包含在比较短的时 间内拍摄获取的一系列的多个时序列图像。因此，动态图像意在组合多个图像(帧）来提供 给用户，例如记录于存储器等的记录动态图像或拍摄时显示于显示部的即时预览图像包含 于"动态图像"的概念。另一方面，"静态图像"基本上由单一的图像构成，是可作为单独图像 提供给用户的图像。
[0162]图12是第3实施方式所涉及的点像复原处理的流程图。本实施方式中，对与上述的 第1实施方式(参考图10)相同的处理，省略详细说明。
[0163]首先，点像复原控制处理部39获取摄影条件数据(光圈值、光学变焦的变焦倍率、 图像种类等）（图12的S30)，判别处理对象的原图像数据是否为动态图像(S31)。原图像数据 是否为动态图像的判别方法并无特别限定，通过参考与拍摄原图像数据时的摄影模式相关 的信息或原图像数据附带的信息(例如文件扩展名等），能够直接或间接地判别原图像数据 是否为动态图像。该"原图像数据是否为动态图像"的判别可由滤波器适用部41进行，也可 由点像复原控制处理部39的其他处理部进行。
[0164]当判别为原图像数据是动态图像时(S31的是），滤波器适用部41中，关于光学变焦 倍率获取共同的复原滤波器(S32)，该共同的复原滤波器适用于原图像数据(动态图像)而 获取复原图像数据(S33)。并且，由增益调整部42根据光学变焦倍率调整复原增益(S34)，并 根据复原增益调整之后的"原图像数据与复原图像数据之间的差分"及"原图像数据"获取 恢复图像数据(S35)。
[0165]另一方面，当判定为原图像数据不是动态图像时（S31的否），滤波器适用部41中， 获取与光学变焦倍率相应的个别的复原滤波器(S36)，该个别复原滤波器适用于原图像数 据(静态图像)而获取复原图像数据（S37)。并且，通过增益调整部42,增益调整为不受光学 变焦倍率影响的通常的复原增益(S38)，并根据复原增益调整之后的"原图像数据与复原图 像数据之间的差分"及"原图像数据"获取恢复图像数据(S35)。
[0166]"静态图像"中重视单一图像的画质，而"动态图像"中除了重视各帧的画质之外还 重视帧之间的连续性及是否为高速且稳定的简单处理。根据上述本实施方式，对静态图像， 能够使用与光学变焦倍率相应的个别的复原滤波器来进行画质复原精度优异的点像复原 处理。并且，对动态图像，能够通过关于光学变焦倍率使用共同的复原滤波器来简单且高速 地进行点像复原处理，并且通过根据光学变焦倍率调整复原增益，能够良好地保持帧之间 的连续性。
[0167] <第4实施方式>
[0168]组合上述第2实施方式及第3实施方式，根据"拍摄获取原图像数据时的光圈值是 否为"小光圈"（第2实施方式)"及"原图像数据是"动态图像"还是"静态图像"（第3实施方 式)"切换复原滤波器及复原增益的确定方法。
[0169]图13是第4实施方式所涉及的点像复原处理的流程图。在本实施方式中，对与上述 第2实施方式(参考图11)及第3实施方式(参考图12)相同的处理，省略详细说明。
[0170]首先，点像复原控制处理部39获取摄影条件数据(光圈值、光学变焦的变焦倍率、 图像种类等）（图13的S40)，并判别光圈值是否为小光圈侧的值(S41)。当判别为光圈值是小 光圈侧的值时（S41的是），点像复原控制处理部39判别处理对象的原图像数据是否为动态 图像(S42)。
[0171]当判别为原图像数据是动态图像时（S42的是），滤波器适用部41中，关于光学变焦 倍率获取共同的复原滤波器(S43)，该共同的复原滤波器适用于原图像数据(动态图像)而 获取复原图像数据(S44)。并且，由增益调整部42根据光学变焦倍率调整复原增益(S45)，并 根据复原增益调整之后的"原图像数据与复原图像数据之间的差分"及"原图像数据"获取 恢复图像数据(S46)。
[0172]另一方面，当判定为光圈值不是小光圈侧的值时（S41的否）或判定为原图像数据 不是动态图像时(S42的否），滤波器适用部41中，获取与光学变焦的变焦倍率相应的个别的 复原滤波器(S47)，该个别复原滤波器适用于原图像数据而获取复原图像数据(S48)。并且， 由增益调整部42增益调整为不受光学变焦倍率影响的通常的复原增益（S49)，并根据复原 增益调整之后的"原图像数据与复原图像数据之间的差分"及"原图像数据"获取恢复图像 数据(S46)。
[0173] <第5实施方式>
[0174]本实施方式中，根据处理对象的原图像数据"是否为在动态图像拍摄(动态图像摄 影模式)期间拍摄的静态图像"，切换复原滤波器及复原增益的确定方法。即，当原图像数据 是动态图像时，滤波器适用部41关于光学变焦的变焦倍率将共同的滤波器用作复原滤波器 来获取复原图像数据。另一方面，当原图像数据通过动态图像摄影期间的静态图像摄影获 取时，滤波器适用部41使用根据光学系统的光学变焦的变焦倍率确定的个别的复原滤波器 来获取复原图像数据，而不是使用共同的滤波器。
[0175]图14是第5实施方式所涉及的点像复原处理的流程图。在本实施方式中，对与上述 第3实施方式(参考图12)相同的处理，省略详细说明。另外，图14表示选择动态图像摄影模 式，并在拍摄动态图像时能够另外拍摄静态图像的情况的处理流程。摄影模式的选择和动 态图像摄影期间的静态图像拍摄方法并无特别限定，例如可经由设置于数码相机10的用户 界面29(包含按钮类、快门类等)进行"摄影模式的选择"和"动态图像摄影期间的静态图像 拍摄。
[0176]首先，点像复原控制处理部39获取摄影条件数据(光圈值、光学变焦的变焦倍率、 图像种类等）（图14的S50)，并判别处理对象的原图像数据是否为静态图像(S51)。判别原图 像数据是否为静态图像的判别方法并无特别限定，通过参考与拍摄原图像数据时的摄影模 式相关的信息或原图像数据附带的信息(例如文件扩展名等），能够直接或间接地判别原图 像数据是否为动态图像。
[0177]当判定为原图像数据不是静态图像时（S51的否），将原图像数据当作动态图像来 处理，并进行与上述第3实施方式相同的点像复原处理(参考图12的S32~S35)。即，滤波器 适用部41中，关于光学变焦倍率获取共同的复原滤波器(S52)，该共同的复原滤波器适用于 原图像数据(动态图像)而获取复原图像数据(S53)。并且，由增益调整部42根据光学变焦倍 率调整复原增益(S54)，并根据复原增益调整之后的"原图像数据与复原图像数据之间的差 分"及"原图像数据"获取恢复图像数据(S55)。
[0178]另一方面，当判定为原图像数据是静态图像时（S51的是），滤波器适用部41中，获 取与光学变焦倍率相应的个别的复原滤波器(S56)，该个别复原滤波器适用于原图像数据 (静态图像)而获取复原图像数据(S57)。并且，由增益调整部42增益调整为不受光学系统的 光学变焦倍率影响的通常的复原增益(S58)，并根据复原增益调整之后的"原图像数据与复 原图像数据之间的差分"及"原图像数据"获取恢复图像数据(S55)。
[0179]根据上述本实施方式，即使是能够在动态图像摄影期间拍摄静态图像的情况，对 静态图像也能够使用与光学变焦倍率相应的个别的复原滤波器来进行画质复原精度优异 的点像复原处理。并且，对动态图像，能够通过关于光学变焦倍率使用共同的复原滤波器来 简单且高速地进行点像复原处理，并且能够通过根据光学变焦倍率调整复原增益，良好地 保持帧之间的连续性。
[0180]另外，在本实施方式中也可根据"拍摄原图像数据时的光圈值是否为"小光圈"（参 考第2实施方式)"来切换复原滤波器及放大率的确定方法。例如，在进行处理对象的原图像 数据是否为静态图像的判别（参考图14的S51)之前，还能够判别拍摄获取原图像数据时的 光圈值是否为小光圈侧的值。该情况下，当判别为光圈值不是小光圈侧的值时，能够通过使 用与光学变焦的变焦倍率相应的个别的复原滤波器的滤波器适用步骤及基于通常的复原 增益(放大率)的增益调整步骤来获取恢复图像数据(参考图14的S56~S58及S55)。另一方 面，当判别为光圈值为小光圈侧的值时，能够通过与图14的步骤S51~S58相同的工艺进行 点像复原处理。
[0181]并且，在上述的任一实施方式中，在关于光学变焦倍率将共同的滤波器用作复原 滤波器时，提供该"共同的滤波器"的光学变焦倍率的范围也并无特别限定。因此，可在光学 变焦倍率的可变动范围（光学变焦倍率范围）中的整个范围内使用共同的滤波器作为复原 滤波器，并且也可在至少特定的光学变焦倍率的范围内使用共同的滤波器作为复原滤波 器。并且，可在光学变焦倍率范围中的一部分光学变焦倍率下不使用共同的滤波器，例如在 "长焦端T附近"、"广角端W附近"或"光学变焦倍率范围的中央Μ附近"的倍率下不使用共同 的滤波器作为复原滤波器。
[0182] <光学变焦与数码变焦的切换处理>
[0183]本例的数码相机10构成为能够通过变焦控制部37(参考图2)切换"基于光学变焦 的变焦模式"与"基于数码变焦的变焦模式"。"基于光学变焦的变焦模式"是通过移动未图 示的变焦透镜改变焦距来光学性地改变视场角，由此进行变焦调整的模式。另一方面，"基 于数码变焦的变焦模式"是不移动变焦透镜本身，且实际上不改变成像于成像元件26上的 图像的视场角范围，但对成像元件26上的一部分图像进行像素插值或者降低间拔率的同时 进行放大来改变摄影范围，由此进行变焦调整的模式。
[0184]图15是示意地表示光学变焦与数码变焦的切换的图。当为能够进行广范围的摄影 的广角侧摄影时，以"基于光学变焦的变焦模式"进行拍摄，若光学变焦的变焦倍率达到"变 焦模式切换基准"，则切换为"基于数码变焦的变焦模式"。并且，在比"变焦模式切换基准" 更靠长焦侧的摄影时，以"基于数码变焦的变焦模式"进行拍摄。
[0185]从光学变焦向数码变焦切换变焦模式时，要求在两个变焦模式之间图像的画质上 的较大差异不明显。尤其，进行点像复原处理时，优选点像复原处理引起的画质劣化(振铃、 过校正等)不明显，拍摄动态图像时要求良好地保持切换变焦模式前后的帧之间的画质的 连续性。
[0186] 因此，本例中，根据光学系统的点扩散函数确定成为光学变焦与数码变焦之间的 切换基准的光学变焦的变焦倍率。通常，在针对以广角侧的光学变焦倍率拍摄的图像的点 像复原处理中，画质劣化(振铃、过校正等)比较不易明显，在针对以长焦侧的光学变焦倍率 拍摄的图像的点像复原处理中，画质劣化比较容易明显。尤其，"关于光学变焦倍率使用共 同的复原滤波器"时存在这种趋势，与以广角侧的光学变焦倍率拍摄的图像相比，在以长焦 侧的光学变焦倍率拍摄的图像中，点像复原处理引起的过校正等不良情况易明显。
[0187] 因此，可将点像复原处理引起的画质劣化明显的光学变焦的变焦倍率设定为"变 焦模式切换基准"，在点像复原处理引起的画质劣化不明显的范围内，以"基于光学变焦的 变焦模式"进行拍摄，并在比"变焦模式切换基准"更靠长焦侧以"基于数码变焦的变焦模 式"进行拍摄。
[0188] 该"变焦模式切换基准"可通过实验等按光学系统(透镜16、光圈17等）的种类预先 确定，也可在如将透镜单元12安装于相机主体14时根据光学系统的点扩散函数计算。例如， 可按光学系统的种类预先确定变焦模式切换基准，变焦控制部37根据预先确定的变焦模式 切换基准来切换"基于光学变焦的变焦模式"与"基于数码变焦的变焦模式"。按光学系统的 种类预先确定的变焦模式切换基准可保存于数码相机1〇(透镜单元12、相机主体14)内的存 储器，也可保存于外部设备(计算机60、服务器80等）。变焦控制部37可从该存储器读出与安 装于相机主体14的透镜单元12(光学系统)对应的变焦模式切换基准。并且，变焦控制部37 也可获取安装于相机主体14的透镜单元12(光学系统）的点扩散函数，并根据该点扩散函数 计算出变焦模式切换基准。该透镜单元12的点扩散函数可保存于数码相机10(透镜单元12、 相机主体14)内的存储器或外部设备(计算机60、服务器80等），变焦控制部37可从该存储器 等中读出所对应的点扩散函数。
[0189] 另外，可根据获取原图像数据时的变焦方向确定"变焦模式切换基准"。即，可在变 焦方向为"从广角侧向长焦侧"的情况及"从长焦侧向广角侧"的情况下，改变成为光学变焦 与数码变焦的切换基准的光学变焦的变焦倍率(变焦模式切换基准）。如上所述，针对以比 广角侧更靠长焦侧的变焦倍率拍摄的图像的点像复原处理中，易引起过校正等，在视觉上 尤其优选防止变焦方向为"从广角侧向长焦侧"时的画质连续性的破裂。因此，变焦方向为 "从广角侧向长焦侧"时，与变焦方向为"从长焦侧向广角侧"时相比，可将变焦模式切换基 准设定为"广角侧的变焦倍率"。
[0190] <变形例>
[0191]接着，对根据基于光学系统的像高的点扩散函数的差异来选择复原滤波器的例子 以及切换光学变焦与数码变焦的例子进行说明。另外，对与上述实施方式相同的结构标注 相同符号，并省略其详细说明。
[0192]本例的滤波器适用部41根据光学系统(透镜16等）中的像高中央部的MTF(调制传 递函数)与像高周边部的MTF之间的差异，从"关于光学系统的光学变焦的倍率而共同的复 原滤波器"的候选(多个滤波器候选）中选择用作复原滤波器的滤波器。即，复原滤波器的多 个滤波器候选包含"第1滤波器候选"及不同于第1滤波器候选的"第2滤波器候选"，当像高 中央部的MTF与像高周边部的MTF之差小于阈值(第1阈值)时，滤波器适用部41将第1滤波器 候选用作复原滤波器，当像高中央部的MTF与像高周边部的MTF之差为该阈值以上时，滤波 器适用部41将第2滤波器候选用作复原滤波器。在此所说的"像高中央部"表示光学系统中 光轴上或光轴附近的部位，"像高周边部"表示光学系统中具有大于像高中央部像高的部 位。例如，将光轴中心（光轴位置）设为像高为"0"，而将投影到成像元件（参考图1的符号 "26"）上的图像圈的半径设为"Γ时(光轴中心与成像元件的中心一致时，将成像元件的摄 像面的中心设为"0"，并将成像元件的摄像面的顶点设为"Γ时），可将由"0~0.Γ表示的范 围的同心圆内的区域设定为"像高中央部"，并将由"0.8±0.1"表示的范围的区域设定为 "像高周边部"。另外，规定"像高中央部"及"像高周边部"的这些数值仅为一例，可进行适当 变更。
[0193] 以下的例子中，为了便于说明，采用参考矢状方向（Sag方向）及切线方向（Tan方 向）的MTF，从复原滤波器的候选组选择最适合的复原滤波器的简单方法。复原滤波器的选 择方法依判断基准而各不相同，以下例子中，着眼于光学系统的像高中央部及像高周边部 中的特定频率下的响应比。作为表示点扩散函数的信息而利用矢状方向及切线方向的MTF 的方法与利用PSF时相比，虽不考虑相位成分(PTF)信息和与矢状方向及切线方向以外的方 向有关的MTF信息，但具有能够使数据量非常紧凑的优点，因此对透镜更换型的数码相机10 (摄像装置)等有利。
[0194] 图16是表示光学系统52中的像高中央部50及像高周边部51的示意图。另外，为了 便于说明，图16的光学系统52中，示出与摄影图像(成像元件26的有效像素范围）对应的矩 形范围，像高中央部50设定于光轴上，像高周边部51设定于光学系统52的角部（图16中为右 下角部）。
[0195] 本例的滤波器适用部41从多个滤波器候选中选择与像高中央部50对应的复原滤 波器及与像高周边部51对应的复原滤波器之比最接近像高中央部50的MTF与像高周边部51 的MTF(中心MTF及周边MTF)之比的复原滤波器(复原滤波器组）。由此，能够选择"像高周边 部51中的图像模糊的大小"与"适用于像高周边部51的摄影图像的复原滤波器"最匹配的复 原滤波器。
[0196] 该复原滤波器的选择工艺由以下公式1~公式3表示。
[0197]B卩，将自中心(光轴）的像高"h(mm)"及空间频率"f(Lp/mm:linepairs/mm)"中的 矢状方向的MTF设为"Ms(h，f)"，将切线方向的MTF设为"Mt(h，f)"。并且，关于像高"h(mm)" 及空间频率"f(Lp/mm)"中的第η个滤波器候选，将基于滤波处理(滤波器适用处理）的矢状 方向的复原强度放大率设为Gs(n，h，f)，将切线方向的复原强度放大率设为Gt(n，h，f)。另 外，"ho"表示像高中央部50(中心、光轴)的像高（"h〇 = 0"），％"表示所关注的像高周边部51 的像高。因此，像高中央部50的矢状方向的MTF由"MS(h〇，f)"表示，切线方向的MTF由"Mt(h〇， f)"表示，像高周边部51的矢状方向的MTF由"ΜΜ?η,?Τ表示，切线方向的MTF由"ΜΜ?η,?Τ 表示。另外，准确来讲，在光学系统52(透镜16)中心，没有矢状方向及切线方向的区別，因此 成为"]^(11〇，;〇