示特别考虑用户的视觉 特性的"图像复原时的低频成分及高频成分的重要度"。
[0065]图9表示"光学变焦的变焦倍率-复原增益"的关系的一例，表示特别考虑"光学系 统的分辨特性(参考图7)"及"视觉特性(参考图8)"而设计的关系例。
[0066]图10是第1实施方式所涉及的点像复原处理的流程图。
[0067]图11是第2实施方式所涉及的点像复原处理的流程图。
[0068]图12是第3实施方式所涉及的点像复原处理的流程图。
[0069]图13是第4实施方式所涉及的点像复原处理的流程图。
[0070]图14是第5实施方式所涉及的点像复原处理的流程图。
[0071]图15是示意地表示光学变焦与数码变焦的切换的图。
[0072]图16是表示光学系统中的像高中央部及像高周边部的示意图。
[0073]图17是表示具备EDoF光学系统的摄像模块的一方式的框图。
[0074]图18是表不EDoF光学系统的一例的图。
[0075]图19是表示基于图17所示的复原处理块的复原处理流程的一例的图。
[0076]图20是表示经由EDoF光学系统获取的图像的复原例的图。
[0077]图21表示作为本发明的摄像装置的一实施方式的智能手机的外观。
[0078]图22是表示图21所示的智能手机的结构的框图。
【具体实施方式】
[0079] 参考附图对本发明的实施方式进行说明。以下实施方式中，作为一例，对将本发明 适用于能够与计算机(PC:个人计算机)连接的数码相机(摄像装置)的例子进行说明。
[0080] 图1是表示连接于计算机的数码相机的框图。
[0081]数码相机10具备可更换的透镜单元12及具备成像元件26的相机主体14,透镜单元 12与相机主体14经由透镜单元12的透镜单元输入输出部22及相机主体14的相机主体输入 输出部30而电连接。
[0082]透镜单元12具备透镜16或光圈17等光学系统及控制该光学系统的光学系统操作 部18。光学系统操作部18包含连接于透镜单元输入输出部22的透镜单元控制器20及操作光 学系统的驱动器(省略图示）。透镜单元控制器20根据经由透镜单元输入输出部22从相机主 体14发送来的控制信号，经由驱动器控制光学系统，例如进行基于透镜(包含聚焦透镜及变 焦透镜)移动的聚焦控制或变焦控制、光圈17的光圈量控制等。
[0083]相机主体14的成像元件26具有聚光用微透镜、R(红)G(绿)B(蓝）等滤色器及图像 传感器（光电二极管；CMOS(ComplementaryMetalOxideSemiconductor)、CCD(Charge CoupledDevice)等），通过利用光学系统进行的被摄体像的摄影获取原图像数据。即，成像 元件26将经由透镜单元12的光学系统(透镜16、光圈17等）照射的被摄体像的光转换成电信 号，并将图像信号(原图像数据)发送至相机主体控制器28。
[0084] 如图2所示，相机主体控制器28具有设备控制部34及图像处理部（图像处理装置） 35,统一控制相机主体14。设备控制部34生成例如用于控制来自成像元件26的图像信号（图 像数据）的输出或控制透镜单元12的控制信号，并经由相机主体输入输出部30发送至透镜 单元12(透镜单元控制器20)，向经由输入输出接口 32连接的外部设备类(计算机60等)发送 图像处理前后的图像数据(RAW数据、JPEG数据等）。并且，设备控制部34适当控制未图示的 显示部(EVF:ElectronicViewFinder、背面液晶显示部)等数码相机10所具备的各种设备 类。
[0085]另外，本例的设备控制部34具有变焦控制部37(参考图2)。变焦控制部37例如经由 相机主体输入输出部30及透镜单元输入输出部22向透镜单元控制器20发送控制信号，由此 控制光学变焦倍率，所述控制信号用于控制透镜单元12所保持的变焦透镜(省略图示)的移 动。并且，变焦控制部37构成为能够切换光学变焦与数码变焦，根据光学系统(透镜16、光圈 17)的点扩散函数确定成为光学变焦与数码变焦的切换基准的光学变焦的倍率。并且，变焦 控制部37控制数码变焦动作时的变焦图像的生成等整个变焦处理。对于由变焦控制部37进 行的变焦控制的详细内容将进行后述。
[0086] 另一方面，图像处理部35能够根据需要对来自成像元件26的图像信号进行任意的 图像处理。例如，在图像处理部35中适当进行传感器校正处理、去马赛克（同步）处理、像素 插值处理、色彩校正处理(偏移校正处理、白平衡处理、彩色矩阵处理、伽马转换处理（伽马 校正处理部33)等）、RGB图像处理(锐度处理、色调校正处理、曝光校正处理、轮廓校正处理 等）、RGB/YCrCb转换处理及图像压缩处理等各种图像处理。
[0087] 另外，本例的图像处理部35包含对图像信号(原图像数据)进行基于光学系统的点 扩散函数的复原处理（点像复原处理）的点像复原控制处理部39(参考图2)。成为点像复原 处理的处理对象的原图像数据的种类并无特别限定，例如可以是颜色成分数据(RGB等颜色 成分信号），也可以是亮度数据。对于由点像复原控制处理部39进行的点像复原处理的详细 内容将进行后述。
[0088]图1所示的数码相机10具备摄影等中需要的其他设备类(快门等），用户能够经由 设置于相机主体14的用户界面29来适当确定及变更用于摄影等的各种设定（EV值 (ExposureValue)等）。用户界面29与相机主体控制器28(设备控制部34及图像处理部35) 连接，通过用户确定及变更的各种设定反映于相机主体控制器28中的各种处理。
[0089]在相机主体控制器28中被图像处理的图像数据经由输入输出接口 32发送至计算 机60等。从数码相机10(相机主体控制器28)发送至计算机60等的图像数据的格式并无特别 限定，可设为RAW、JTOG、TIFF等任意格式。因此，相机主体控制器28可以如所谓的Exif (ExchangeableImageFileFormat)那样，将标题信息(摄影信息(摄影日期、机种、像素数 及光圈值等)等）、主图像数据及缩略图图像数据等多个相关数据相互建立对应关联来构成 为一个图像文件，并将该图像文件发送至计算机60。
[0090] 计算机60经由相机主体14的输入输出接口 32及计算机输入输出部62连接于数码 相机10,并接收从相机主体14发送而来的图像数据等数据类。计算机控制器64统一控制计 算机60,对来自数码相机10的图像数据进行图像处理，并进行与经由因特网70等网络线路 连接于计算机输入输出部62的服务器80等进行通信的控制。计算机60具有显示器66,计算 机控制器64中的处理内容等根据需要显示于显示器66。用户通过确认显示器66的显示的同 时操作键盘等输入机构（省略图示），能够向计算机控制器64输入数据、命令。由此，用户能 够控制计算机60或连接于计算机60的设备类(数码相机10、服务器80)。
[0091] 服务器80具有服务器输入输出部82及服务器控制器84。服务器输入输出部82构成 与计算机60等外部设备类之间的收发连接部，并经由因特网70等网络线路连接于计算机60 的计算机输入输出部62。服务器控制器84根据来自计算机60的控制命令信号，与计算机控 制器64协同动作，根据需要在与计算机控制器64之间进行数据类的收发，将数据类下载到 计算机60，进行运算处理并将其运算结果发送至计算机60。
[0092]各控制器(透镜单元控制器20、相机主体控制器28、计算机控制器64、服务器控制 器84)具有控制处理所需的电路类，例如具备运算处理电路(CPU等)和存储器等。并且，数码 相机10、计算机60及服务器80之间的通信可以是有线的也可以是无线的。并且，计算机60及 服务器80可构成为一体，并且也可省略计算机60和/或服务器80。并且，也可使数码相机10 具有与服务器80的通信功能，并在数码相机10与服务器80之间直接进行数据类的收发。 [0093] <点像复原处理>
[0094]接着，对经由成像元件26获得的被摄体像的摄像数据（图像数据)的点像复原处理 进行说明。
[0095]以下例子中，对在相机主体14(相机主体控制器28)中实施点像复原处理的情况进 行说明，但也可在其他控制器(透镜单元控制器20、计算机控制器64、服务器控制器84等）中 实施点像复原处理的全部或一部分。
[0096]点像复原处理是对通过利用光学系统(透镜16、光圈17等)进行的被摄体像的摄影 而从成像元件26获取的原图像数据，进行利用基于光学系统的点扩散函数的复原滤波器的 点像复原处理，从而获取恢复图像数据的处理。
[0097]S卩，为了由模糊图像的原图像数据复原原来的被摄体像（点像），对原图像数据进 行利用复原滤波器的点像复原处理，由此获得表示更接近原来的被摄体像（点像）的图像 (恢复图像)的恢复图像数据。
[0098]在点像复原处理中使用的复原滤波器由与获取原图像数据时的摄影条件相应的 光学系统的点像信息（点扩散函数），通过规定复原滤波器计算算法来获得。光学系统的点 像信息（点扩散函数)不仅根据透镜16的种类而变动，还会根据光圈量、焦距、变焦量、像高、 记录像素数、像素间距等各种摄影条件而变动，因此在计算复原滤波器时，获取这些摄影条 件。
[0099]例如由NXM(N及Μ为2以上的整数）的抽头构成的实际空间上的复原滤波器F被适 用于处理对象的图像数据，通过将分配给各抽头的滤波器系数和所对应的像素数据(原图 像数据的处理对象像素数据及相邻像素数据)进行加权平均运算(反卷积运算），能够计算 点像复原处理之后的像素数据(恢复图像数据）。通过依次替换对象像素的同时将使用了该 复原滤波器的加权平均处理适用于构成图像数据的所有像素数据，由此能够进行点像复原 处理。
[0100]由ΝΧΜ的抽头构成的实际空间上的复原滤波器能够通过对频率空间上的复原滤 波器进行傅里叶逆变换来导出。因此，通过确定成为基础的频率空间上的复原滤波器并指 定实际空间上的复原滤波器的构成抽头数，能够适当计算出实际空间上的复原滤波器。并 且，可代替实际空间上的复原滤波器而使用频率空间上的复原滤波器，也可通过在频率空 间上对图像数据适用复原滤波器来进行点像复原处理。
[0101]点像复原控制处理部39(参考图2)对通过利用光学系统(透镜16、光圈17等)进行 的摄影并通过成像元件26获取的摄影图像数据(原图像数据)实施上述点像复原处理，从而 生成恢复图像数据并进行输出。
[0102] 图3是表示点像复原控制处理部39的一例的功能框图。本例的点像复原控制处理 部39具有滤波器适用部41、增益调整部42及存储器43。
[0103] 滤波器适用部41将基于光学系统(透镜16、光圈17等）的点扩散函数的复原滤波器 适用于原图像数据来获取复原图像数据。即，滤波器适用部41获取原图像数据及摄影条件 数据，并获取与原图像数据的摄影条件数据对应的复原滤波器，将所获取的复原滤波器适 用于原图像数据来获取复原图像数据。增益调整部42调整原图像数据与复原图像数据之间 的差分的放大率(复原增益），并根据进行该调整之后的差分及原图像数据获取恢复图像数 据。另外，在滤波器适用部41及增益调整部42中使用的各种数据类(复原滤波器、点扩散函 数等)存储于存储器43,滤波器适用部41及增益调整部42能够适当读取存储于存储器43的 数据类。
[0104] 图4是表示由滤波器适用部41及增益调整部42进行的点像复原处理(滤波器适用 处理及增益调整处理）的一例的控制电路图。
[0105] 在点像复原控制处理部39中的点像复原处理中，首先在滤波器适用部41中，将复 原滤波器F适用于原图像数据Do(滤波器适用处理Pf)，计算出复原图像数据Drl。适用于原 图像数据Do的复原滤波器F只要是基于光学系统(透镜16、光圈17等）的点扩散函数的滤波 器，则并无特别限定。因此，可预先将多个复原滤波器F存储于存储器43,并由滤波器适用部 41读出与原图像数据Do的摄影条件数据对应的复原滤波器F，也可由滤波器适用部41根据 原图像数据Do的摄影条件数据及点扩散函数计算出所对应的复原滤波器F。
[0106]复原滤波器F只要是直接或间接地基于点扩散函数的滤波器即可，可以是用于仅 复原原图像数据的振幅成分或相位成分来获得恢复图像数据的滤波器，也可以是用于复原 原图像数据的振幅成分及相位成分来获得恢复图像数据的滤波器。即，能够根据光学系统 的MTF(ModulationTransferFunction:调制传递函数）及PTF(PhaseTransfer Function)中的至少任一个来计算出复原滤波器。另外，光学系统的模糊特性能够通过所谓 的光学传递函数(〇TF:OpticalTransferFunction)表示，通过对0TF进行傅里叶逆转换来 获得的函数还被称为点像分布函数(PSF:点扩散函数hMTF是0TF的绝对值成分，PTF将相位 的偏差表示为空间频率的函数。因此，在点像复原处理中使用的复原滤波器F能够根据光学 系统的〇TF(MTF/PTF)或PSF来适当设计。
[0107]之后，在增益调整部42中，导出滤波器适用处理前后的图像数据的差分(差分导出 处理Pd)，调整对该差分的放大率(复原增益）（增益调整处理Pg)。即，如图4所示，在差分导出 处理Pd中，计算经过滤波器适用处理Pf的复原图像数据Drl与原图像数据Do之间的差分数据 ΔD(ΔD=Drl-Do)。并且，在增益调整处理匕中，调整该差分数据Δ〇的放大率(复原增益)G 来计算放大率调整后差分值(GXAD)，进行该放大率调整后差分值(GXAD)与原图像数据 Do的加法运算处理Pa而计算出恢复图像数据Dr2 (Dr2 =Do+GXΔD)。另外，作为由滤波器适 用部41及增益调整部42进行的点像复原处理(滤波器适用处理及增益调整处理），可采用与 上述方法相同的其他方法。例如，在滤波器适用部41中，复原滤波器F适用于原图像数据Do (滤波器适用处理Pf)，计算复原图像数据Drl。之后，在增益调整部42中，作为增益调整处理 Pg，其对该复原图像数据Drl进行放大率(复原增益)G的调整(DrlXG)，对该值与原图像数 据Do乘以（1-G)的值进行加法运算处理?3来计算出恢复图像数据Dr2。
[0108] 如此，基于点像复原处理的复原强度根据滤波器适用处理Pf中的复原滤波器(滤 波器系数)F及增益调整处理?8中的复原增益G而发生变动。因此，能够根据"在滤波器适用 处理Pf中使用的复原滤波器(滤波器系数)的切换"和/或"在增益调整处理Pg中的复原增益G 的变更"调整点像复原处理的复原强度。
[0109] 因此，例如在"降低点像复原处理的复原强度"的处理中，可包含"切换为与利用通 常的复原滤波器时相比可获得自原图像数据的差较小(复原程度较弱）的复原图像数据Drl 的其他复原滤波器(滤波器系数）的滤波器适用处理Pf"及"使用与使用通常的复原增益G时 相比放大率调整后差分值(GXAD)变小（增幅程度减弱）的其他放大率的增益调整处理 Pg"。点像复原控制处理部39能够通过这些处理(滤波器切替处理及放大率变更处理）中的 至少任一个来调整点像复原处理的复原强度。
[0110]图5A及图5B是表示进行理想的点像复原处理时的图像数据的"空间频率-响应"的 关系例的曲线图，图5A表示点像复原处理前的曲线图，图5B表示点像复原处理后的曲线图。 [0111]由图5A及图5B的横轴表示的"空间频率"根据采样频率被归一化，越靠纸面的右侧 越表示高频(参考"〇.5fs"：奈奎斯特频率），越靠左侧越表示低频。并且，由图5A及图5B的纵 轴表示的"响应"表示相对于受到点扩散现象带来的影响之前的"原始图像数据"的"实际获 得的图像数据"的比例。因此，"响应=Γ表示"实际获得的图像数据"与"原始图像数据"相 同的情况，"响应=〇"表示"实际获得的图像数据"与"原始图像数据"无关地为"〇(零)"的情 况。另外，作为"响应"的基础，能够采用图像数据中表示点扩散现象引起的劣化特性的各种 要素，例如也可根据表示分辨特性的MTF表示"响应"。
[0112]如图5A所示，实际获得的图像数据的响应因点扩散现象的影响而成为"Γ以下，尤 其具有越是高频侧的图像数据，响应的下降越明显的趋势。点像复原处理是将响应因点扩 散现象而下降的图像数据复原为原始图像数据的处理，如图5B所示，理想的处理是以遍及 整个空间频率而成为"响应=Γ的方式恢复图像数据的处理。图像数据的"空间频率-响应" 的关系根据各个光学系统(透镜16、光圈17等）的特性而发生变动，因此图5A所示的关系并 非一定会成立，但考虑各个光学特性而以能够获得所希望的响应(例如"响应=1"）的图像 数据的方式设计复原滤波器F及复原增益G。
[0113]接着，对"光学变焦的变焦倍率(变焦位置)"与"响应"的关系进行说明。
[0114] 图6是表示图像数据的"光学变焦的变焦倍率-响应"的关系例的曲线图，表示在代 表光学系统(透镜16)的分辨特性的空间频率(例如"空间频率=0.25fs"（参考图5A))中的 关系。图6的横轴将"光学变焦的变焦倍率(变焦位置)"作为基准，表示越是纸面的右侧越靠 长焦变焦侧（参考图6的"长焦端T"），表示越是左侧越靠广角变焦侧（参考图6的"广角端 W"）。并且，图6的纵轴以图像数据的"响应"作为基准，与图5A及图5B的纵轴"响应"相同。另 外，图6中，"广角端W"例如相当于"焦距= 24mm"，"中央M"例如相当于"焦距= 60mm"，"长焦 端T"例如相当于"焦距=120mm"。
[0115] 在具有能够变更光学变焦的变焦倍率的光学变焦功能的数码相机10中，具有光学 变焦的变焦倍率越靠近变焦端(参考图6的"广角端W"及"长焦端T"），光学系统(透镜16)的 分辨率越下降的趋势。因此，如图6所示，通常变焦端部中的响应低于中央的变焦倍率(参考 图6的"中央M"），且随着靠近变焦端，响应逐渐下降。
[0116]另一方面，光学变焦倍率对光学系统的点扩散函数(PSF等）的影响比较小，尤其在 F值较大的小光圈侧，光学变焦倍率的影响减小。
[0117]本例中，根据上述见解，在滤波器适用部41中，关于光学系