图像处理装置、摄像装置、图像处理方法及程序的制作方法
【技术领域】
[0001] 本发明涉及一种基于点扩散函数的复原处理所涉及的图像处理装置、摄像装置、 图像处理方法及程序。
【背景技术】
[0002] 在经由光学系统而被拍摄的被摄体像中，由于由光学系统引起的衍射、像差等的 影响，有时会出现点被摄体具有微小的扩散的点扩散现象。表示光学系统相对于点光源的 响应的函数被称作点扩散函数(PSF:PointSpreadFunction)，作为表示摄影图像的分辨 率劣化的参数而被公知。
[0003]由于该点扩散现象而画质劣化的摄影图像能够通过接受基于PSF的点像复原处理 来恢复画质。点像复原处理是如下处理，即，预先求出由透镜的像差等引起的劣化特性（点 像特性），通过利用与该点像特性相应的复原滤波器的图像处理来消除摄影图像的点扩散。
[0004]在点像复原处理中使用的复原滤波器根据有可能对光学系统的PSF带来影响的各 种条件要素(透镜种类、光圈值(F值）、变焦倍率、被摄体距离、像高等)设计。复原滤波器的 条件要素的种类越增加，越能够进行严密的点像复原处理，但复原滤波器的数据量增大，复 原滤波器的保存所需的存储容量变得庞大。并且，点像复原处理的滤波处理(反卷积运算） 中需要高度的运算处理性能，尤其与近年的图像数据的高像素化相结合，点像复原处理的 简化及高速化的重要性逐渐增加。
[0005]关于这种基于PSF的复原处理，例如，专利文献1中公开有根据指定尺寸对与数码 变焦的倍率相应地修剪的图像进行缩放，并对该已缩放的图像进行复原处理的图像处理装 置。并且，专利文献2中公开有对用能够进行动态图像及静态图像两者的摄影的相机进行摄 影的图像适用恢复滤波器，由此降低模糊等图像劣化的图像处理控制方法。
[0006]以往技术文献
[0007]专利文献
[0008] 专利文献1:日本特开2010-141661号公报 [0009] 专利文献2:日本特开2011-10214号公报
【发明内容】
[0010]发明要解决的技术课题
[0011]如上所述，"复原处理的简化及高速化"的重要性增加，尤其在改变光学变焦倍率 的同时进行摄影的图像的复原处理中，希望促进这种"复原处理的简化及高速化"。即，若光 学变焦倍率发生变动，则摄影光学系统的PSF也发生变化，希望提出能够将伴随这种光学变 焦倍率的变动的PSF变化反映于复原处理并且以简单的结构高速进行复原处理的新方法。 这种复原处理方法在对动态图像及静态图像两者的复原处理中是有效的，在对变动光学变 焦倍率的同时进行摄影的动态图像的复原处理中尤其有益。
[0012]然而，上述专利文献1及专利文献2中记载的装置及方法中，很难实现这种复原处 理的简化及高速化。即，专利文献1的图像处理装置中，完全没有考虑伴随光学变焦倍率的 变动的摄影光学系统的PSF的变化，专利文献1中完全没有与对改变光学变焦倍率的同时进 行摄影的动态图像及静态图像的复原处理相关的记述。同样地，在专利文献2的图像处理控 制方法中，也完全没有考虑伴随光学变焦倍率的变动的摄影光学系统的PSF的变化。专利文 献2的说明书的0085段落中有与针对动态图像的复原处理的适用相关的记述，但专利文献2 中仅仅是指点了"与光圈相比，通常固定变焦。因此，在与不同变焦对应的恢复滤波器中，优 选从较早使用的滤波器开始删除"的内容，并未公开或暗示针对动态图像的复原处理的具 体方法。尤其，通过伴随光学变焦倍率的变动的摄影获取的动态图像中包含摄影时的光学 变焦倍率不同的图像(帧），因此有可能混合有不同视场角的图像(广角图像/长焦图像），但 在如专利文献2中并没有与假想这种情况的复原处理相关的提示。
[0013]如此，根据专利文献1及专利文献2中记载的装置及方法，很难实现与光学变焦倍 率的变化对应的复原处理的高速处理。
[0014]并且，针对动态图像的点像复原处理中，比针对静态图像的点像复原处理更要求 处理的简化及高速化，另一方面，还要求满足在前后帧之间的平滑的画质连续性等特有的 要求。即，在针对静态图像的点像复原处理中，检测进行摄影时的摄影条件，使用与该检测 出的摄影条件对应的复原滤波器进行复原处理即可。而在针对动态图像的点像复原处理 中，在摄影期间摄影条件有可能变动，因此动态图像中包含不同摄影条件的图像(帧），若依 次与变动的摄影条件对应而进行同样的复原处理，则处理负荷较大，并且需要进行实时处 理时，还要求处理的高速化，而且还要求在前后帧之间的流畅的画质连续性。因此，希望能 够充分考虑分别在静态图像及动态图像中要求的画质上的特性并进一步提高静态图像及 动态图像两者的复原画质的新的点像复原处理方法。
[0015] 本发明是鉴于上述情况而完成的，其目的在于提供一种能够抑制复原滤波器的数 据量并以简单的处理结构执行的点像复原处理技术。
[0016] 并且，本发明的目的在于提供一种能够适用于静态图像及动态图像两者的点像复 原处理技术且能够满足分别在静态图像及动态图像中要求的画质上的要求的点像复原处 理技术。
[0017]用于解决技术课题的手段
[0018]本发明的一方式涉及一种图像处理装置，其具备:滤波器适用部，对通过利用光学 系统的摄影而获取的原图像数据，适用基于光学系统的点扩散函数的复原滤波器来获取复 原图像数据;及增益调整部，调整原图像数据与复原图像数据之间的差分的放大率，根据进 行调整之后的差分及原图像数据获取恢复图像数据，滤波器适用部将与光学系统的光学变 焦的倍率值无关而确定的共同的滤波器用作复原滤波器，增益调整部根据光学系统的光学 变焦的倍率确定放大率。
[0019] 根据本方式，关于光学系统的光学变焦的倍率(光学变焦倍率)将共同的滤波器用 作复原滤波器，能够有效地抑制复原滤波器的数据量。并且，根据本方式，能够通过根据光 学变焦倍率确定"原图像数据与复原图像数据之间的差分的放大率"来补偿关于光学变焦 倍率使用共同的复原滤波器而有可能产生的"光学系统的实际点扩散函数与共同复原滤波 器之间的匹配偏差"。放大率能够比较简单地进行调整，即使光学变焦倍率发生变动，也无 需切换为复原滤波器就能够简单且有效地消除"光学系统的实际点扩散函数与共同复原滤 波器之间的匹配偏差"。因此，根据本方式，能够简化装置结构，还能够以稳定的状态高速进 行复原处理。
[0020] 并且，本方式的图像处理装置能够适用于静态图像及动态图像（帧）两者，通过关 于光学变焦倍率而使用共同的复原滤波器并且适当调整放大率，还能够满足分别对静态图 像及动态图像要求的画质上的要求。
[0021] 优选复原滤波器根据获取原图像数据时的光学系统的光圈值来确定。
[0022] 根据本方式，根据光圈值确定关于光学变焦倍率而共同使用的复原滤波器，能够 有效地防止"光学系统的实际点扩散函数与共同复原滤波器之间的匹配偏差"变得过大。光 圈值对点扩散函数的影响比较大，因此通过使用基于反映出光圈值的点扩散函数的复原滤 波器，能够提高复原画质精度。
[0023] 在此所说的"光圈值"是指光学系统的光圈的开度的指标，是直接或间接地表示通 过摄影透镜映现于成像元件上的被摄体像的明度的值。例如可将"F值(f-number)"或"Αν值 (aperturevalue)"等用作"光圈值"。
[0024]优选当获取原图像数据时的光学系统的光圈值为小于第1光圈值的小光圈侧的值 时，滤波器适用部将与光学系统的光学变焦的倍率值无关而确定的共同的滤波器用作复原 滤波器来获取复原图像数据，当获取原图像数据时的光学系统的光圈值为小于第1光圈值 的小光圈侧的值时，增益调整部根据光学系统的光学变焦的倍率确定放大率。
[0025] 根据本方式，光圈值为小光圈侧的值时，关于光学变焦倍率共同使用复原滤波器， 并根据光学变焦倍率确定放大率。另一方面，光圈值不是小光圈侧的值时，根据基于光学变 焦倍率的最适合的复原滤波器及放大率进行点像复原处理，由此能够提高图像复原精度。 仅在光学变焦倍率对点扩散函数的影响比较小的小光圈侧，关于光学变焦倍率共同使用复 原滤波器并根据光学变焦倍率确定放大率，由此能够均衡地实现复原滤波器的数据量的降 低、装置的简化、复原精度的提高等有益效果。
[0026] 在此所说的"第1光圈值"是成为"关于光学变焦倍率而使用共同的复原滤波器并 根据光学变焦倍率调整放大率"的基准的光圈值，可根据实验等适当设定。例如，关于光学 变焦倍率使用共同的复原滤波器时，可通过试验等预先求出复原画质的弊端在视觉上不明 显的光圈值之后设定"第1光圈值"。该第1光圈值可根据有可能对点扩散函数带来影响的其 他因素(透镜的种类、光圈值等)来确定，例如与经由不同光学系统(透镜)摄影获取的图像 (原图像数据)相关的"第1光圈值"可不同。
[0027] 优选滤波器适用部根据光学系统中光轴上或光轴附近的像高中央部的调制传递 函数与光学系统中具有大于像高中央部像高的像高周边部的调制传递函数的差异，从与光 学系统的光学变焦的倍率值无关而确定的共同的滤波器的候选即多个滤波器候选中选择 用作复原滤波器的滤波器。
[0028] 根据本方式，根据像高中央部与像高周边部之间的调制传递函数（MTF: ModulationTransferFunction)的差异选择"关于光学变焦倍率而共同的复原滤波器"， 因此能够进行反映出像高中央部及像高周边部中的点像特性(MTF特性)的点像复原处理。
[0029] 优选多个滤波器候选包含第1滤波器候选及不同于第1滤波器候选的第2滤波器候 选，当像高中央部的调制传递函数与像高周边部的调制传递函数之差小于第1阈值时，滤波 器适用部将第1滤波器候选用作复原滤波器，当像高中央部的调制传递函数与像高周边部 的调制传递函数之差为第1阈值以上时，滤波器适用部将第2滤波器候选用作复原滤波器。
[0030]根据本方式，根据像高中央部的MTF与像高周边部的MTF之差较大的情况与较小的 情况来切换复原滤波器，能够进行反映出像高中央部及像高周边部中的点像特性的点像复 原处理。
[0031]优选当原图像数据为动态图像时，滤波器适用部关于光学系统的光学变焦的倍率 值将共同的滤波器用作复原滤波器来获取复原图像数据，当原图像数据为动态图像时，增 益调整部根据光学系统的光学变焦的倍率确定放大率。
[0032]根据本方式，对在摄影期间摄影条件有可能变动的动态图像，进行"关于光学变焦 倍率而共同的复原滤波器的使用"及"与光学变焦倍率相应的放大率的调整"，在对构成动 态图像的多个图像(原图像数据)的每一个进行的点像复原处理中，能够带来复原滤波器的 数据量的降低、装置的简化、复原精度的提高等有益的作用效果。
[0033]在此所说的"动态图像"由随时间变化而连续的图像组(帧组)构成，包含在比较短 的时间内摄影获取的一系列的多个时序列图像，例如记录于存储器等的记录动态图像或即 时预览图像(LivePreview)可包含在"动态图像"的概念内。
[0034]优选当原图像数据为静态图像时，滤波器适用部使用根据光学系统的光学变焦的 倍率确定的复原滤波器来获取复原图像数据。
[0035]根据本方式，与在摄影期间摄影条件有可能变动的动态图像的复原处理相对，在 对可使用与进行摄影时的摄影条件相应的复原滤波器的静态图像的复原处理中，使用反映 出基于光学变焦倍率的点扩散函数的复原滤波器而不是关于光学变焦倍率而共同的复原 滤波器，因此能够提高复原图像精度。
[0036]在此所说的"静态图像"基本上由单一的图像构成，是可作为单图像来提供的图 像。
[0037]优选当原图像数据通过动态图像摄影期间的静态图像摄影而获取时，滤波器适用 部使用根据光学系统的光学变焦的倍率确定的复原滤波器来获取复原图像数据。
[0038]根据本方式，在针对动态图像摄影期间进行摄影的静态图像的复原处理中，使用 反映出基于光学变焦倍率的点扩散函数的复原滤波器而不是关于光学变焦倍率而共同的 复原滤波器，因此能够提高复原图像精度。另一方面，在针对动态图像进行的复原处理中， 关于光学变焦倍率使用共同的复原滤波器并且根据光学变焦倍率调整放大率，因此不会破 坏连续图像之间的画质的连续性就能够实现处理的简化及高速化。如此，根据本方式，能够 有效地满足分别对静态图像及动态图像要求的画质上的要求。
[0039]优选光学系统具有调制相位来扩大景深的透镜部。
[0040]根据本方式，即使在经由所谓的EDoF(ExtendedDepthofField(Focus))光学系 统获得的原图像数据的复原处理中，也能够降低复原滤波器的数据量，简化装置并精度良 好地复原图像。另外，调制透镜部中的相位的方法(光学性相位调制机构)并无特别限定，也 可以透镜之间设置相位调制部，或使透镜本身（例如在透镜的入射面和/或输出面)具有相 位调制功能。
[0041]本发明的另一方式涉及一种摄像装置，其具备:通过利用光学系统的摄影而获取 原图像数据的成像元件;及上述的任一图像处理装置。
[0042]根据本方式，在摄像装置中的复原处理中，也能够降低复原滤波器的数据量，简化 装置结构并以稳定的状态高速进行复原处理。另外，本方式对系统设计上的制约比较严格 的摄像装置尤其有效。因此，本发明适于在保存与点扩散函数和复原滤波器相关的数据的 存储器容量上存在制约的摄像装置(例如更换透镜式的相机中在透镜单元侧的存储器保存 数据的摄像装置）、在进行复杂的滤波处理(反卷积运算)等的运算处理装置(CPU等）的处理 性能上存在制约的摄像装置(例如，在设置空间有限的相机主体内或透镜单元内的控制部 中进行复原处理运算的摄像装置）。
[0043] 优选摄像装置还具备能够切换光学变焦及数码变焦的变焦控制部，根据光学系统 的点扩散函数确定成为光学变焦与数码变焦的切换基准的光学变焦的倍率。
[0044] 根据本方式，根据光学系统的点扩散函数确定成为光学变焦与数码变焦的切换基 准的光学变焦的倍率，因此能够考虑因光学变焦倍率有可能带来的恢复图像数据中的弊端 (过校正、振铃等)来切换光学变焦与数码变焦。例如，还能够将恢复图像数据中的弊端(过 校正、振铃等)在视觉上即将开始明显之前的光学变焦倍率设定为光学变焦与数码变焦的 切换点。
[0045] 在此所说的"光学变焦"是通过控制光学性变焦机构(变焦透镜等)来进行缩放的 方法，还调整视场角或焦距。另一方面，"数码变焦"是不依靠光学性变焦机构(变焦透镜等） 而是通过专门的图像处理变更图像范围来进行缩放的方法，通常可通过放大映现于成像元 件的图像的一部分来进行。
[0046] 优选根据光学系统中光轴上或光轴附近的像高中央部的调制传递函数与光学系 统中具有大于像高中央部像高的像高周边部的调制传递函数的差异，确定成为光学变焦与 数码变焦的切换基准的光学变焦的倍率。
[0047]根据本方式，根据像高中央部的MTF与像高周边部的MTF之差较大的情况及较小的 情况改变切换光学变焦与数码变焦的基准，因此能够根据像高中央部及像高周边部中的点 像特性进行"光学变焦与数码变焦的切换"。
[0048] 优选根据获取原图像数据时的变焦方向确定成为光学变焦与数码变焦的切换基 准的光学变焦的倍率。
[0049] 根据本方式，能够根据获取原图像数据时的变焦方向，顺畅地切换光学变焦及数 码变焦。
[0050] 优选增益调整部根据获取原图像数据时的变焦方向确定放大率。
[0051]根据本方式，根据获取原图像数据时的变焦方向确定放大率，因此尤其在拍摄动 态图像时，能够根据变焦方向有效地保持构成动态图像的多个图像之间的连续性。
[0052] 本发明的另一方式涉及一种图像处理方法，其具备:滤波器适用步骤，对通过利用 光学系统的摄影而获取的原图像数据，适用基于光学系统的点扩散函数的复原滤波器来获 取复原图像数据;及增益调整步骤，调整原图像数据与复原图像数据之间的差分的放大率， 并根据进行该调整之后的差分及原图像数据获取恢复图像数据，滤波器适用步骤中，关于 光学系统的光学变焦的倍率将共同的滤波器用作复原滤波器，增益调整步骤中，根据光学 系统的光学变焦的倍率确定放大率。
[0053]本发明的另一方式涉及一种程序，其用于使计算机执行如下步骤:对通过利用光 学系统的摄影而获取的原图像数据，适用基于光学系统的点扩散函数的复原滤波器来获取 复原图像数据的步骤;及调整原图像数据与复原图像数据之间的差分的放大率，并根据进 行调整之后的差分及原图像数据获取恢复图像数据的步骤，所述程序中，在获取复原图像 数据的步骤中，关于光学系统的光学变焦的倍率将共同的滤波器用作复原滤波器，在获取 恢复图像数据的获取的步骤中，根据光学系统的光学变焦的倍率确定放大率。
[0054]发明效果
[0055]根据本发明，关于光学变焦倍率将共同的滤波器用作复原滤波器，能够有效地抑 制复原滤波器的数据量。并且，根据光学系统的光学变焦的倍率确定原图像数据与复原图 像数据之间的差分的放大率，能够以简单的装置结构高速进行复原处理。
[0056]并且，根据本发明，通过关于光学变焦倍率使用共同的复原滤波器并且适当调整 放大率的简单方法，在能够适用于静态图像及动态图像两者的点像复原处理中，能够满足 分别对静态图像及动态图像要求的画质上的要求。
【附图说明】
[0057]图1是表示连接于计算机的数码相机的框图。
[0058]图2是表示相机主体控制器的功能结构例的框图。
[0059]图3是表示点像复原控制处理部的一例的功能框图。
[0060]图4是表示由滤波器适用部及增益调整部进行的点像复原处理(滤波器适用处理 及增益调整处理）的一例的控制电路图。
[0061]图5是表示进行理想的点像复原处理时的图像数据的"空间频率-响应"的关系例 的曲线图，图5A表示点像复原处理之前的曲线图，图5B表示点像复原处理之后的曲线图。 [0062]图6是表示图像数据的"光学变焦的变焦倍率-响应"的关系例的曲线图。
[0063]图7表示"光学变焦的变焦倍率-复原增益"的关系的一例，表示主要以改善透镜的 分辨特性的观点设计的关系例。
[0064]图8表示"光学变焦的变焦倍率-重要度"的关系的一例，表