br>[0040] 图1是表示包括应用了本发明的复原滤波器生成装置和作为图像处理装置的一 例的数码相机的系统结构例的框图。
[0041] 图2是用于说明点像复原处理的原理的说明图。
[0042] 图3是表示复原滤波器生成处理的一例的概略的流程图。
[0043] 图4是表示复原处理的一例的概略的框图。
[0044] 图5是用于说明在多个颜色的位置偏移方向相同的情况下的相位偏移量和不会 成为过校正的相位校正量的关系的说明图。
[0045] 图6是用于说明在多个颜色的位置偏移方向不同的情况下的相位偏移量和不会 成为过校正的相位校正量的关系的说明图。
[0046] 图7是表示有无实施相位校正的切换处理的概略的流程图。
[0047] 图8是第一实施方式中的复原滤波器生成处理例的流程图。
[0048] 图9是表示数码相机的硬件结构例的框图。
[0049] 图10是表示图9的图像处理电路的结构例的框图。
[0050] 图11是表示复原滤波器生成装置的硬件结构例的框图。
[0051] 图12是包括复原滤波器生成装置以及图像处理装置的数码相机的框图。
[0052] 图13是包括复原滤波器生成装置以及图像处理装置的计算机装置的框图。
[0053] 图14是表示具有EDoF光学系统的摄像模块的一方式的框图。
[0054] 图15是表不EDoF光学系统的一例的图。
[0055] 图16是表示具有EDoF光学系统的数码相机的复原处理部中的复原处理的一例的 流程图。
[0056] 图17是智能手机的外观图。
[0057] 图18是表示图17所示的智能手机的结构的框图。
【具体实施方式】
[0058] 参照【附图说明】本发明的实施方式。
[0059] <系统结构例>
[0060] 图1是表示包括应用了本发明的复原滤波器生成装置和作为图像处理装置的一 例的数码相机的系统结构例的框图。
[0061]数码相机10 (摄像装置）包括以下部分而构成：摄像部18 (摄像单元），具有光学 系统14以及摄像元件16 ;亮度系图像数据生成部22 (亮度系图像数据生成单元），基于由 摄像部18所得到的多个颜色（在本例中，R、G、B)的每个颜色的图像数据，生成作为与亮度 有关的图像数据的亮度系图像数据；复原滤波器存储部24 (复原滤波器存储单元），存储用 于对亮度系图像数据进行复原处理的复原滤波器F ;复原处理部26 (复原处理单元），使用 在复原滤波器存储部24中存储的复原滤波器F，对亮度系图像数据实施点像复原处理。
[0062]复原滤波器生成装置80包括以下部分而构成：信息取得部82 (信息取得单元）， 按多个颜色的每个颜色取得与数码相机10的光学系统14中的点像分布对应的传递函数信 息；复原滤波器生成部84 (复原滤波器生成单元），基于由信息取得部82所取得的传递函 数信息，生成复原滤波器F ;切换部86 (切换单元），切换是否使复原滤波器F进行亮度系图 像数据的相位校正。
[0063] 作为由信息取得部82所取得的"传递函数信息"，例举如下：PSF(Point Spread Function :也称为"点像分布函数"或者"点扩散函数；对PSF进行傅里叶变换而得到 的 OTF (Optical Transfer Function:也称为"光学传递函数"）。0TF 由 MTF (Modulation Transfer Function:也称为"调制传递函数"）以及 PTF (Phase Transfer Function:也称 为"相位传递函数"）构成。还包括只将MTF或者PTF作为"传递函数信息"而取得的情况。 此外，也可以根据"传递函数信息"而计算"相位偏移量"。即，"传递函数信息"也可以包括 间接地表示"相位偏移量"的信息。
[0064] 复原滤波器生成部84生成根据多个颜色中的单色的传递函数信息而进行亮度系 图像数据的相位校正的复原滤波器。
[0065] 这里，"根据单色的传递函数信息而进行亮度系图像数据的相位校正"大致区分为 如下。第一，有如下方式：按多个颜色的每个颜色取得传递函数信息，按实际空间中的图像 面的每个位置，从多个颜色的每个颜色的相位偏移量中选择单色的相位偏移量。这里，"图 像面的位置"相当于与图2所示的摄像元件16的摄像面上的二维位置对应的、劣化图像数 据（例如，亮度系图像数据）的图像面上的二维位置。此外，"按图像面的每个位置"选择 相位偏移量并不限定于按图像面上的每个点选择相位偏移量的情况，也可以按图像面上的 每个部分区域选择相位偏移量。第二，有如下方式：按多个颜色的每个颜色取得传递函数信 息，按频率空间中的每个空间频率，从多个颜色的每个颜色的相位偏移量中选择单色的相 位偏移量。此外，在第二方式中，包括按实际空间中的图像面的每个位置且按频率空间中的 每个空间频率选择相位偏移量的情况。此外，"按每个空间频率"选择相位偏移量并不限定 于按频率的每个单位选择相位偏移量的情况，也可以按每个频域选择相位偏移量。在上述 的第一个方式以及第二方式中，计算复原滤波器的滤波器系数，使得以与所选择的单色的 相位偏移量对应的相位校正量来对相位偏移进行校正。第三，有如下方式：取得单色的传递 函数信息，计算复原滤波器的滤波器系数，使得以与该单色的相位偏移量对应的相位校正 量来对相位偏移进行校正。
[0066]数码相机10的亮度系图像数据生成部22对RGB图像数据R、G、B实施YC转换处 理，生成亮度系图像数据Y、色差系图像数据Cb、Cr。亮度系图像数据Y例如根据式[Y = 0. 3R+0. 6G+0. 1B]而生成。由于在该式中G色的贡献率成为60%，所以G色的贡献率比R 色（贡献率30% )和B色（贡献率10% )高。因此，G色成为在三原色中对亮度信号贡献 最大的颜色。
[0067]在本实施方式中，作为"亮度系图像数据"，举由"Y、Cb、Cr"表示的颜色空间的亮 度信号的值为例进行说明，但"亮度系图像数据"只要是对图像的亮度产生贡献的数据则并 不特别限定，意味着具有与拍摄到的图像的亮度有关的信息的各种数据。例如，举出表示 CIELAB颜色空间（国际照明委员会（Commission internationale de l'eclairage))中的 明度L的数据、用于得到亮度信号的贡献率最高的数据、与对亮度贡献最大的颜色的滤色 器对应的数据等。
[0068]<点像复原的原理>
[0069]图2是用于说明点像复原处理的原理的说明图。在图2中，为了容易理解，表示作 为被摄体像而拍摄了点像的情况。被摄体像经由包括透镜11以及光圈12的光学系统14 在摄像元件16的摄像面成像，由该摄像元件16所拍摄。从该摄像元件16输出由光学系统 14的像差所引起的被摄体像劣化的图像数据即劣化图像数据。因此，将光学系统14中的劣 化的特性作为与摄影条件（例如，光圈值、焦点距离、被摄体距离、透镜种类等）对应的传递 函数信息而预先求出。此外，通过图1的复原滤波器生成部84,基于求出的传递函数信息， 生成点像复原处理用的复原滤波器F。由图1的复原处理部26使用复原滤波器F进行消除 劣化图像数据的劣化的点像复原处理。于是，能够得到劣化被消除的复原图像数据。
[0070] 点像复原处理能够大致区分为"相位校正"（以下，也称为"相位复原"）和"振幅 校正"（以下，也称为"振幅复原"、"频率校正"、"频率复原。"相位校正"是将在光学系统 中劣化的相位特性（PTF)进行复原的图像处理。通过相位校正，能够将非对称的点扩散形 状校正为点对称的点扩散形状。"振幅校正"是将在光学系统中劣化的振幅特性（MTF)进行 复原的图像处理。通过振幅校正，能够将点扩散形状校正为点（Delta函数）。但是，若模糊 严重或者SN差，则有时无法完全返回到点形状。
[0071] 此外，由于光学系统14的像差因波长而异，所以理想的是优选按每个颜色（例如， R、G、B)使用不同的复原滤波器进行点像复原处理。但是，若对多个颜色（例如，R、G、B)的 每个颜色的图像数据分别进行点像复原处理，则运算处理的负荷大。因此，通过图1的复原 处理部26,对视觉上的效果大的亮度系图像数据进行点像复原处理。图1的复原滤波器生 成部84生成亮度系图像数据用的复原滤波器F。
[0072] 图3是表示基于复原滤波器生成部84的复原滤波器生成处理的一例的概略的流 程图。
[0073] 在步骤S1中，通过信息取得部82,按多个颜色的每个颜色取得与光学系统14中的 点像分布对应的传递函数信息。
[0074] 在步骤S2中，通过复原滤波器生成部84,基于通过步骤S 1而取得的传递函数信 息，将在多个颜色中的单色的相位偏移量决定为代表相位偏移量。
[0075] 在步骤S3中，通过复原滤波器生成部84,生成基于通过步骤S2而决定的代表相位 偏移量而进行亮度系图像数据的相位校正的复原滤波器。
[0076] 此外，在图3中，为了容易本发明的理解，只说明了与相位校正功能有关的部分， 但也可以生成如后所述那样具有振幅校正（频率校正）功能的复原滤波器。
[0077] 图4是表示复原处理的一例的概略的框图。
[0078] 复原处理是主要使用复原滤波器F而从劣化图像数据生成复原图像数据的点像 复原处理。点像复原处理使用例如由NXM(N、M为2以上的整数）个抽头构成的实际空间 上的复原滤波器F进行。这样，通过将对各抽头分配的滤波器系数和对应的图像数据（劣 化图像数据的处理对象像素数据以及相邻像素数据）进行卷积运算，能够计算点像复原处 理后的像素数据（复原图像数据）。通过将使用了该复原滤波器F的卷积运算对构成图像 数据的全部像素数据应用来代替轮流对对象像素进行，能够进行点像复原处理。
[0079] 另外，由NXM个抽头构成的实际空间上的复原滤波器（实际空间滤波器）能够通 过对频率空间（也称为"空间频域"）上的复原滤波器（频率空间滤波器）进行傅里叶逆转 换而导出。因此，实际空间上的复原滤波器能够通过确定成为基础的频率空间上的复原滤 波器并指定实际空间上的复原滤波器的抽头数而适当计算。
[0080] <不会成为过校正的相位校正的原理>
[0081] 在对亮度系图像数据进行相位校正的情况下，与对多个颜色（R，G，B)的各颜色的 图像数据（R图像数据、G图像数据、B图像数据）单独进行相位校正的情况不同地，容易产 生相位的过校正。若相位成为过校正，则有时产生假象，画质反而会劣化。
[0082] 因此，复原滤波器生成部84以在多个颜色的各颜色中相位校正不会成为过校正 的方式，选择多个颜色（R，G，B)的每个颜色的传递函数信息中的单色的传递函数信息，并 基于该所选择的传递函数信息而计算相位校正量，生成具有以该所计算的相位校正量来进 行相位校正的功能的复原滤波器。
[0083] 使用图5以及图6,说明特定的空间频率中的多个颜色（R，G，B)的每个颜色的相 位偏移量（0 R，0e，0B)和不会成为过校正的相位校正量巾的关系。
[0084] 在图5以及图6中，左右方向表示图像数据的x轴方向上的相位偏移量0X，上下 方向表示图像数据的y轴方向上的相位偏移量9 y。即，在图5以及图6中，离中心点0的 距离{± ( 9 x2+ 9 y2)1/2}对应于实际空间的图像面中的位置偏移量。
[0085] 这里，图像面是在图2中相当于x方向以及y方向的2个方向的二维的图像（劣 化图像数据以及复原图像数据）的平面，并且是与摄像元件16的摄像面对应的平面。
[0086] 图5表示在某特定的空间频率（cox，co y)中，多个颜色（R，G，B)的全部中位置偏 移方向相同的情况（即，相位偏移量的符号相同的情况）。
[0087] 如图5所示，在多个颜色的全部中相位偏移量的符号相同的情况下，将绝对值最 小的绿色（G)的相位偏移量0e的复共辄设为复原滤波器的相位校正量巾。由于在亮度系 图像数据中不能进行按每个颜色的校正，所以对其他的颜色（R，B)的相位偏移量0R、08也 以相同的相位校正量巾来进行相位校正。但是，由于将在％、9 e、9 B中最小的相位偏移 量9 e的复共辄设为相位校正量巾，所以能够防止在相位校正前后位置偏移的方向不同的 情况。
[0088] 图6表示在某特定的空间频率（cox，co y)中，多个颜色（R，G，B)中位置偏移方向 不同的情况（即，相位偏移量的符号不同的情况）。
[0089] 如图6所示，在多个颜色中相位偏移量的符号不同的情况下，不进行相位校正（设 为相位校正量巾=0)。由于在亮度系图像数据中不能进行按每个颜色的校正，所以在判定 为成为过校正的情况下，不进行校正。由此，能够得到与成为过校正时相比画质更好的图像 数据。
[0090] 此外，以在空间频域中按每个空间频率决定相位校正量的情况为例进行了说明， 但也可以在实际空间区域中按图像面内的每个位置决定相位校正量。
[0091] 此外，也可以按每个亮度系图像数据切换是否进行相位校正。
[0092] <复原滤波器生成的切换处理>
[0093] 图7是表示基于图1的复原滤波器生成装置80的切换部86的有无实施相位校正 的切换处理的概略的流程图。
[0094] 在图7中，切换部86判定是否使复原滤波器F通过对于亮度系图像数据的点像复 原处理而进行相位校正（相位复原）（步骤S11)。
[0095]在使复原滤波器F进行相位校正的情况下（步骤S11中"是"的情况下），复原滤 波器生成部84生成具有通过对于亮度系图像数据的点像复原处理而进行相位校正的功能 的复原滤波器，该复原滤波器防止了亮度系图像数据的相位的过校正（步骤S12)。
[0096] 在使复原滤波器F不进行相位校正的情况下（步骤S11中"否"的情况下），复原滤 波器生成部84将多个颜色（R，G，B)的每个颜色的传递函数信息（PSF或者MTF)在多个颜 色间混合，基于该在多个颜色间混合的传递函数信息（PSF或者MTF)，生成对亮度系图像数 据进行不改变相位分量的同时只改变振幅分量的点像复原处理的复原滤波器（步骤S13)。 即，复原滤波器生成部84生成复原滤波器，该复原滤波器具有通过对于亮度系图像数据的 点像复原处理而不进行相位校正且只进行振幅校正（频率校正）的功能。
[0097] 此外，由于在对于亮度系图像数据的频率校正中，不是按多个颜色（R，G，B)的每 个颜色来校正频率，所以存在在多个颜色（R，G，B)中的任一个或者多个颜色中，发生校正 不足（