统的光学变焦的倍率将 共同的滤波器用作复原滤波器，由此提高存储器效率来进行处理的简化。并且，增益调整部 42中，根据光学系统的光学变焦的倍率确定复原增益，由此补偿"实际点扩散函数与复原滤 波器之间的匹配偏差"来进行恢复图像数据的优化。
[0118] 通常，使用复原滤波器进行的滤波处理的运算量较多，并且复原滤波器的参数(条 件要素）的种类越增加复原滤波器(滤波器系数)的数据量越增大。因此，根据所有条件要素 设计的复原滤波器组的数据总量变得庞大，预先将这种数据量庞大的复原滤波器组保持于 存储器时会阻碍处理的简化和灵活的电路设计，因此实际上有时很难预先存储。因此，如本 例这样关于光学变焦倍率使用共同的复原滤波器时，可有效地减少实现复原滤波器的数据 量，从实现处理的简单化及电路规模的缩小化的观点来看也非常有用。
[0119] 并且，动态图像中帧之间的连续性是影响画质的主要原因之一，因此要求以通过 防止帧之间的过度的画质变化来使图像平滑地变化的方式连结帧。因此，若按每一帧进行 使用个别的复原滤波器的复原处理，则各帧的复原画质本身会提高，但例如在摄影期间摄 影条件依次变动的场景中，根据使用参数，有时会导致失去帧彼此之间的画质的连续性。尤 其在动态图像摄影期间连续改变变焦倍率时，可预料到有可能成为整体上缺乏统一感的复 原动态图像。另一方面，如本例，通过关于光学变焦倍率将共同滤波器用作复原滤波器，不 易失去复原处理后的帧彼此之间的画质的连续性，即使是在动态图像摄影期间连续改变变 焦倍率时，也能够生成整体上具有统一感的动态图像。
[0120] 如上所述，根据本例的点像复原控制处理部39(滤波器适用部41及增益调整部 42)，不改变复原滤波器，而是通过调整复原增益来补偿伴随变焦倍率的变化的点扩散函数 (恢复图像数据的分辨率)的变动，由此能够使恢复图像数据的画质与变焦倍率无关地不发 生变化。图像分辨率根据光学变焦倍率而发生变化，但本例的点像复原处理中，通过调整复 原增益来吸收图像分辨率的变化。通过调整复原增益来补偿使用共同的复原滤波器进行的 滤波处理引起的复原强度不足，由此能够防止图像分辨率伴随光学变焦倍率的变化的变 动。
[0121] <复原滤波器>
[0122] 本例的复原处理中使用的"共同的复原滤波器"是关于基于光学系统(变焦透镜） 的光学变焦的变焦倍率而共同的设置，但也可根据影响光学系统的点扩散函数的"变焦倍 率以外的参数"变更共同的复原滤波器。即，由于变焦倍率以外的其他参数发生变化而很难 通过复原增益的调整补偿点扩散函数的变动时，优选通过调整复原滤波器来补偿这种点扩 散函数(恢复图像数据的分辨率)的变动。
[0123] 例如，能够将反映光学系统(透镜16、光圈17)的种类、光圈值、被摄体距离等条件 要素中的一部分或全部的复原滤波器(滤波器系数）用作"共同的复原滤波器"，尤其"光学 系统的种类"及"光圈值"对点扩散函数的影响力比较大。因此，优选能够将分别与可在数码 相机1〇(摄像装置）中使用的"光学系统的种类"及"光圈值"对应的复原滤波器用作"共同的 复原滤波器"。
[0124] 例如，能够根据获取原图像数据时的光学系统的"光圈值(F值等)"确定复原滤波 器，在光圈值不发生变化的条件下光学变焦倍率发生变动时使复原滤波器共同化，由此能 够简化处理结构。例如，可按每一F值(光圈值)分别计算最优化的复原滤波器或预先存储于 存储器，在原图像数据的摄影F值发生变化时，根据其摄影F值切换复原滤波器来进行点像 复原处理。如此，也可从关于光学变焦倍率而共同的复原滤波器的候选(多个滤波器候选） 中选择与光学变焦倍率以外的条件要素(光学系统的种类、光圈值等)相应的复原滤波器来 使用于点像复原处理。
[0125] 根据光圈值(F值)最优化的复原滤波器(滤波器系数)无需在所有光圈值中不同， 也可以以与离散的光圈值对应的方式计算或存储。关于所有光圈值准备复原滤波器时，确 定各个复原滤波器的参数数增加而数据量也增大，因此从处理的简化及数据量的减少化的 观点来看，并不一定优选。因此，可按能够在数码相机1 〇中使用的F值（例如F1、F1.4、F2、 F2.8、F4、F5.6、F8、F11、F16、F22及F3 2中的任意的F值)来设定复原滤波器，也可按能够在数 码相机10中使用的F值中代表性的离散的F值来设定复原滤波器。
[0126] 用于确定共同的复原滤波器的参数(条件要素)越增加，复原精度变得越高，共同 的复原滤波器的数据量增大。另一方面，用于确定共同的复原滤波器的参数越减少，共同的 复原滤波器的数据量越减少，但很难提高复原精度。如此，根据用于确定共同的复原滤波器 的参数，有利点也发生变化，因此在实际设计滤波器时，考虑用户的需求和系统上的容许范 围来确定共同的复原滤波器的参数即可。考虑对点扩散函数的影响来确定共同的复原滤波 器的参数，由此能够均衡地兼顾复原滤波器的数据量的减少及基于复原处理的画质复原精 度的提高。
[0127]例如，在数码相机10中可针对能够设定的"所有光圈值(F值)"的每一个进行"关于 光学变焦的变焦倍率的复原滤波器的共同化"，也可尤其仅针对"小光圈侧的光圈值(F值)" 进行。通常，具有光圈值越成为小光圈侧的值，变焦倍率对光学系统的点扩散函数的影响越 减小的趋势。因此也可如下：仅在光学变焦倍率对点扩散函数的影响比较小的小光圈侧的 光圈值中进行"有关光学变焦的变焦倍率的复原滤波器的共同化"；在光学变焦倍率对点扩 散函数的影响比较大的光圈值中，关于光学变焦的变焦倍率不使复原滤波器共同化。
[0128]该情况下，可根据相对于光学变焦倍率的点扩散函数的特性变化适当确定关于光 学变焦的变焦倍率而使复原滤波器共同化的"小光圈侧的光圈值"，并仅在点扩散函数的特 性变化比较小的光圈值的范围进行"关于光学变焦的变焦倍率的复原滤波器的共同化"。 "使复原滤波器共同化的小光圈侧的光圈值"能够根据摄影图像数据或使用光学系统的特 性趋势而适当设定。例如，可将"通过实验等导出的特定光圈值(例如"F8"以上的光圈值)" 设定为"使复原滤波器共同化的小光圈侧的光圈值"，也可将"数码相机1〇(摄像装置）的系 统设计上最小光圈侧的光圈值~光圈开放侧的规定范围的光圈值(例如"最大F值(最小光 圈侧的光圈值)~3级光圈开放侧的F值设定为"使复原滤波器共同化的小光圈侧的光圈 值"。该"使复原滤波器共同化的小光圈侧的光圈值"可预先设定，也可由用户适当确定及变 更。由用户确定及变更"使复原滤波器共同化的小光圈侧的光圈值"时，可经由用户界面29 (参考图1)指定"使复原滤波器共同化的小光圈侧的光圈值"的范围，该指定的光圈值范围 的信息作为"使复原滤波器共同化的小光圈侧的光圈值"的范围而发送至相机主体控制器 28(点像复原控制处理部39)。
[0129]另外，关于光学变焦的变焦倍率的复原滤波器的共同化不仅能够适用于共同使用 单一复原滤波器的情况，也能够适用于共同使用多个复原滤波器(复原滤波器组）的情况。 例如，根据像高或图像中的位置设定复原滤波器时，在针对一个图像(原图像数据）的点像 复原处理中，使用与像高或图像中的位置相应的多个复原滤波器。如此，可将"多个复原滤 波器"设为一组来使用，并将由该多个复原滤波器构成的组作为"关于光学变焦的变焦倍率 而共同使用的共同滤波器"。
[0130] <复原增益的调整>
[0131]接着，对本例的放大率(复原增益)的调整例进行说明。
[0132]图7表示"光学变焦的变焦倍率-复原增益"的关系的一例，表示主要从改善透镜的 分辨特性的观点设计的关系例。图7的横轴以"光学变焦的变焦倍率(变焦位置)"为基准，纵 轴以图像数据的"复原增益"为基准。
[0133]如图6所示，在透镜的分辨特性与光学变焦倍率的关系中，具有如下趋势:越靠近 变焦端（"广角端W"、"长焦端T"），光学系统（透镜16)的分辨率越下降，与中央的变焦倍率 ("中央M"）相比，变焦端部的响应下降。因此，如图7所示，优选通过调整放大率(复原增益） 来补偿通过基于共同的复原滤波器的滤波处理无法恢复的"伴随变焦倍率的变动的光学系 统的分辨率劣化"。因此，优选越是光学系统的分辨率劣化明显的变焦端部越提高复原增 益，且使复原处理后的图像数据的响应在所有空间频率上接近"1"。如此，从改善透镜的分 辨特性的观点来看，如图7所示，优选根据光学变焦的变焦倍率改变复原增益，与中央的变 焦倍率相比增大变焦端部的复原增益，随着靠近变焦端而逐渐增大复原增益。
[0134]另一方面，画质的优劣还受用户的视觉特性的影响，因此优选点像复原处理(复原 增益的调整)也根据用户的视觉特性来进行。通常，人的视觉具有对低频成分敏感且对高频 成分迟钝的特性。并且，若通过复原处理强调高频区域的图像成分，则存在于高频区域的噪 声成分被强调或由饱和像素等引起的振铃等变得易明显，因此有时会被复原成整体粗糙印 象的图像。
[0135] 并且，光学变焦倍率为广角侧时，视场角变大而进行广角摄影，因此具有高频被摄 体增多的趋势。因此，光学变焦倍率为广角侧时，通常主要被摄体被拍摄得较小，并且拍摄 成易了解周围情况，存在为了提高被摄体的分辨率而更加重视高频成分的分辨性能的趋 势。另一方面，光学变焦倍率为长焦侧时，视场角变小而进行放大摄影，存在高频被摄体减 少的趋势。因此，光学变焦倍率为长焦侧时，通常主要被摄体被拍摄得较大，并且不重视主 要被摄体以外的被摄体像的分辨率，因此存在为了提高被摄体的分辨率而更加重视低频成 分的分辨性能且不太重视高频成分的分辨性能的趋势。
[0136] 图8表示"光学变焦的变焦倍率-重要度"的关系的一例，表示尤其考虑用户的视觉 特性的"图像复原时的低频成分及高频成分的重要度"。图8的横轴以"光学变焦的变焦倍率 (变焦位置)"为基准，纵轴以"图像复原时的重要度"为基准，表示朝向纸面越靠上侧重要度 越高，越靠下侧重要度越低。如上所述，关于低频成分，光学变焦倍率为广角侧时重要度不 高，但随着朝向长焦侧，重要度逐渐变高（参考图8的虚线部）。另一方面，关于高频成分，光 学变焦的变焦倍率为广角侧时重要度较高，但随着朝向长焦侧，重要度逐渐降低(参考图8 的实线部）。
[0137] 图9表示"光学变焦的变焦倍率-复原增益"的关系的一例，表示尤其考虑"光学系 统的分辨特性(参考图7)"及"视觉特性(参考图8)"而设计的关系例。图9的横轴以"光学变 焦的变焦倍率(变焦位置)"为基准，纵轴以图像数据的"复原增益(放大率)"为基准。由图9 的虚线表示的曲线图曲线是考虑"光学系统的分辨特性"的"光学变焦的变焦倍率-复原增 益"的关系例，由实线表示的曲线图曲线是还考虑"视觉特性"的"光学变焦的变焦倍率-复 原增益"的关系例。
[0138] 本例的点像复原处理为主要用于改善中频区域~高频区域的MTF劣化的处理，通 过调整复原增益来改善中频区域~高频区域的响应，而且根据用户的视觉特性使广角侧的 复原增益提高而长焦侧的复原增益降低。即，若着眼于"光学系统的分辨特性"，则为了补偿 变焦端部的分辨率劣化，以随着朝向变焦端使复原增益增大的方式设定复原增益(参考图9 的虚线部）。并且，若还考虑"视觉特性"，则在广角侧，中频成分~高频成分在视觉特性上发 挥重要作用，因此点像复原处理中的复原增益设定为大于未考虑视觉特性的情况(参考图9 的虚线部）（参考图9的实线部）。并且，在长焦侧，在视觉特性上不重视中频成分~高频成 分，因此点像复原处理中的复原增益设定为小于未考虑视觉特性的情况，能够有效地避免 通过中频成分~高频成分的复原而可预料到的弊端(噪声增加、振铃产生等）。
[0139] 如此，通过考虑基于光学变焦倍率的视觉特性来调整复原增益，能够补偿通过基 于共同的复原滤波器的滤波处理无法恢复的"伴随变焦倍率的变动的光学系统的分辨率劣 化"并且生成具有在视觉上优异的画质的复原图像(恢复图像数据）。
[0140] <复原增益的滞后控制>
[0141] 图9所示的例子中，考虑"基于光学变焦倍率及空间频率趋势的视觉特性"来确定 复原增益，但也可根据其他视觉特性来确定复原增益。例如，关于光学变焦的变焦倍率使用 共同的复原滤波器时，与广角侧相比，在长焦侧的变焦倍率中易产生点像复原处理引起的 过校正，尤其在图像的周边部(高像高位置)易引起过校正。因此，动态图像摄影期间光学变 焦倍率连续发生变化时，尤其光学变焦倍率从广角侧向长焦侧连续被切换时(变焦方向为 "从广角侧向长焦侧"时），有时无法通过点像复原处理充分保持动态图像帧之间的画质连 续性。
[0142]因此，增益调整部42可根据获取原图像数据时的变焦方向来确定复原增益(放大 率）。即，可根据拍摄获取点像复原处理对象的原图像数据(动态图像)时的变焦方向为"从 广角侧向长焦侧"的情况及"从长焦侧向广角侧"的情况，改变相对于光学变焦的变焦倍率 的复原增益。例如，光学变焦倍率在长焦侧的范围（"中央M"~"长焦端T"的范围）的一部分 或全部中，可使变焦方向为"从广角侧向长焦侧"时的复原增益小于变焦方向为"从长焦侧 向广角侧"时。通过使变焦方向为"从广角侧向长焦侧"时的复原增益比"从长焦侧向广角 侦f时下降，能够避免点像复原处理引起的过校正等的影响在视觉上明显的现象。
[0143] <点像复原处理流程>
[0144]接着，对点像复原处理的流程进行说明。
[0145] <第1实施方式〉
[0146]图10是表示第1实施方式所涉及的点像复原处理的流程图。本实施方式的点像复 原处理中使用的复原滤波器根据光圈值而变更，但关于光学变焦的变焦倍率是共同的。另 外，不论是动态图像还是静态图像，图10所示的点像复原处理流程均能够适用于所有图像， 适用于动态图像时，按构成动态图像的每个图像(帧)进行处理。
[0147]首先，由点像复原控制处理部39获取摄影条件数据。更具体而言，获取获得处理对 象的原图像数据时的光圈值(图10的S10)，并且获取光学变焦的变焦倍率(S11)。另外，这些 摄影条件数据的获取方法并无特别限定，例如原图像数据中附加有摄影条件数据时(Exif 等），与原图像数据一同获取摄影条件数据。原图像数据中未附加有摄影条件数据时，可从 控制光圈17或变焦透镜(未图示）的设备控制部34(变焦控制部37等)等中获取摄影条件数 据。
[0148]并且，由滤波器适用部41获取点像复原处理中使用的复原滤波器（S12)。本例中， 根据拍摄获取原图像数据时的"光圈值"选择复原滤波器，从存储于存储器43的多个复原滤 波器候选中读出并获取与"光圈值"相应的"关于光学变焦倍率而共同的复原滤波器(共同 滤波器)"。并且，滤波器适用部41中，对原图像数据适用所获取的复原滤波器，从而获取复 原图像数据(S13:滤波器适用步骤;参考图4的"滤波器适用处理Pf"）。
[0149]并且，根据光学系统的光学变焦的变焦倍率，由增益调整部42调整原图像数据与 复原图像数据之间的差分的放大率(复原增益）（S14;参考图4的"增益调整处理Pg"）。并且， 增益调整部42中，根据复原增益调整之后的"原图像数据与复原图像数据之间的差分"及 "原图像数据"获取恢复图像数据(S15:增益调整步骤;参考图4的"加算处理Pa"）。
[0150]如上所述，根据本实施方式，能够通过关于光学变焦倍率使用共同的复原滤波器 来减少复原滤波器的数据量，并且能够通过根据光学变焦倍率调整点像复原处理的复原增 益来获得高复原精度的恢复图像数据。
[0151] <第2实施方式>
[0152]本实施方式中，根据拍摄获取原图像数据时的光圈值是否为"小光圈"，切换复原 滤波器及复原增益的确定方法。即，当获取原图像数据时的光学系统(光圈17)的光圈值为 小于阈值(第1光圈值）的小光圈侧的值时，滤波器适用部41关于光学系统的光学变焦的变 焦倍率使用共同的滤波器作为复原滤波器来获取复原图像数据，增益调整部42根据光学系 统的光学变焦的变焦倍率确定复原增益(放大率）。
[0153]图11是表示第2实施方式所涉及的点像复原处理的流程图。本实施方式中，对与上 述第1实施方式(参考图10)相同的处理，省略详细说明。
[0154]首先，点像复原控制处理部39获取摄影条件数据(光圈值、光学变焦的变焦倍率 等）（图11的S20)，并判别光圈值是否为小光圈侧的值(S21)。更具体而言，根据光圈值是否 为阈值以上来判别光圈值是否为小光圈侧的值。例如，作为光圈值采用F值时，能够根据拍 摄原图像数据时的F值是否为预先设定的"小光圈判别用F值"以上来判别光圈值是否为小 光圈侧的值。该"光圈值是否为小光圈侧的值"的判别可由滤波器适用部41进行，也可由点 像复原控制处理部39的其他处理部进行。
[0155]当判别为光圈值是小光圈侧的值时(S21的是），滤波器适用部41中，关于光学变焦 倍率获取共同的复原滤波器(共同滤波器）（S22)，并且该共同的复原滤波器适用于原图像 数据而获取复原图像数据(S23)。并且，由增益调整部42根据光学系统的光学变焦的变焦倍 率调整复原增益(S24)，并根据复原增益调整之后的"原图像数据与复原图像数据之间的差 分"及"原图像数据"获取恢复图像数据(S25)。
[0156]另一方面，当判别为光圈值不是小光圈侧的值时（S21的否），滤波器适用部41中， 获取与光学变焦的变焦倍率相应的个别复原滤波器(个别滤波器）（S26)，该个别的复原滤 波器适用于原图像数据而获取复原图像数据(S27)。并且，通过增益调整部42增益调整为不 受光学变焦倍率影响的通常的复原增益(S28)，并根据复原增益调整之后的"原图像数据与 复原图像数据之间的差分"及"原图像数据"获取恢复图像数据(S25)。
[0157]在小光圈侧，光学变焦倍率对光学系统的点扩散函数的影响比较小，因此即使进 行关于光学变焦倍率使用共同的复原滤波器的点像复原处理(滤波器适用处理），画质上的 不良情况(过校正、振铃等)也不易明显。另一方面，光圈值不是小光圈侧的值时，光学变焦 倍率对光学系统的点扩散函数的影响比较大，因此通过进行使用反映出光学变焦倍率的个 别的复原滤波器的点像复原处理(滤波器适用处理），能够精度良好地进行图像复原。因此， 根据上述本实施方式，根据拍摄获取原图像数据时的光圈17是否为小光圈，切换在点像复 原处理中使用的复原滤波器