图像处理装置、摄像装置、图像处理方法及程序的制作方法
【技术领域】
[0001]本发明涉及一种图像处理装置、摄像装置、图像处理方法及程序，尤其涉及一种进行基于点扩散函数的复原处理的图像处理装置、摄像装置、图像处理方法及程序。
【背景技术】
[0002]在经由摄像光学系统而被摄影的被摄体像中，由于由摄像光学系统引起的衍射、像差等的影响，有时会出现点被摄体具有微小的扩散的、所谓的点扩散现象。表示光学系统相对于点光源的响应的函数被称作点扩散函数(PSF:Point Spread Funct1n)，作为影响摄影图像的分辨率劣化(模糊)的参数而被公知。
[0003]由于该点扩散现象而画质劣化的摄影图像能够通过接受基于PSF的复原处理(点像复原处理)来恢复画质。复原处理是如下处理，即，预先求出由透镜(光学系统)的像差等引起的劣化特性(点像特性)，通过利用与该点像特性相应的复原滤波器的图像处理来消除摄影图像的点扩散。
[0004]若进行复原处理，则基本上可期待画质的提高，但有时通过进行复原处理反而会导致画质劣化。为了应对这种情况，提出有各种方法。
[0005]例如，专利文献1中公开有抑制不必要的摇晃校正处理的执行的摇晃校正装置。该校正装置从两张推断用图像推断校正対象图像中包含的摇晃的均匀性，根据该均匀性，利用PSF进行摇晃校正处理。
[0006]而且，若对饱和像素或散焦区域进行复原处理，则有时反而会导致画质劣化，还提出有应对因对饱和像素或散焦区域进行复原处理而产生的画质劣化的各种方法。
[0007]例如，专利文献2中，公开有抑制在对白化区域即包含饱和像素的区域进行复原处理时产生的噪声，从而减少摄像光学系统引起的画质劣化的图像处理装置。该图像处理装置根据曝光量的校正对已实施恢复处理的摄像数据进行增益调整。
[0008]并且，专利文献3中公开有设定散焦位置并参考与该散焦位置有关的信息来进行利用PSF的模糊校正的技术。
[0009]而且，针对对动态图像进行的点像复原处理，也提出有各种方法。
[0010]例如，专利文献4中公开有使用针对动态图像的PSF来进行复原处理的摄像装置。该摄像装置在对静态图像进行图像复原处理时使用第1滤波器，对动态图像进行图像复原处理时使用第2滤波器。
[0011]以往技术文献
[0012]专利文献
[0013]专利文献1:日本专利公开2009-171341号公报
[0014]专利文献2:日本专利公开2010-283527号公报
[0015]专利文献3:日本专利公开2012-65114号公报
[0016]专利文献4:日本专利公开2008-11492号公报
【发明内容】
[0017]发明要解决的技术课题
[0018]然而，对存在“摄影环境的急剧变化”的动态图像进行复原处理时，专利文献1至专利文献4中公开的技术中，根据每一帧的摄影环境改变复原处理的内容，因此有时复原处理的内容在帧之间产生较大差异。这种帧之间的复原处理内容的较大差异在要求图像的连续性的动态图像中，并不理想。
[0019]本发明是鉴于这种情况而完成的，其目的在于提供一种即使存在“摄影环境的急剧变化”时也能够维持帧之间的复原处理的连续性的同时获取画质良好的动态图像的图像处理装置、摄像装置、图像处理方法及程序。
[0020]用于解决技术课题的手段
[0021]本发明的一方式涉及一种图像处理装置，其具备:复原控制处理部，对通过利用光学系统进行的摄影获取的包含多个帧的动态图像进行基于光学系统的点扩散函数的复原处理，由此获取恢复图像数据，复原控制处理部根据包含在时序列上比处理对象帧更靠后的帧的参考帧的摄像信息，控制对多个帧中的处理对象帧进行的复原处理。
[0022]根据本方式，根据参考帧的摄像信息进行对处理对象帧的复原处理。由此，本方式能够维持处理对象帧与参考帧之间的复原处理的连续性的同时获取画质良好的动态图像。
[0023]另外，“处理对象帧”是进行在复原控制处理部内执行的复原处理的对象的帧。
[0024]并且，“参考帧”是构成动态图像的多个帧中除了处理对象帧以外的帧，并且是至少包含在时序列上比处理对象帧靠后的帧的帧。另外，参考帧可以是单数也可以是复数。
[0025]优选参考帧包含在时序列上比处理对象帧更靠前的帧。
[0026]根据本方式，作为参考帧包含在时序列上比处理对象帧更靠前的帧，因此参考帧具有在时序列上靠前的帧及在时序列上靠后的帧。由此，本方式能够在处理对象帧的前后进行连续性更优异的复原处理。
[0027]优选参考帧包含在时序列上紧靠处理对象帧的前一帧及紧靠处理对象帧的后一帧。
[0028]根据本方式，根据在时序列上紧靠处理对象帧的前一帧及紧靠处理对象帧的后一帧中的摄像信息来调整复原处理的内容。由此，本方式能够在紧靠处理对象帧之前及紧靠处理对象帧之后进行连续性更良好的复原处理。
[0029]优选复原控制处理部根据参考帧的摄像信息及处理对象帧的摄像信息，控制对处理对象帧进行的复原处理。
[0030]根据本方式，根据参考帧及处理对象帧的摄像信息来调整复原处理的内容，因此本方式能够在处理对象帧与参考帧之间进行更具有连续性的复原处理。
[0031]优选摄像信息包含处理对象帧及参考帧的摄影条件信息。
[0032]根据本方式，根据处理对象帧及参考帧的摄影条件信息来调整复原处理的内容。由此，本方式中，即使在摄影条件信息在处理对象帧及参考帧之间发生较大变化时，也能够进行具有连续性的复原处理。
[0033]优选摄影条件信息包含光圈值及变焦倍率中的至少任一个。
[0034]根据本方式，根据光圈值或变焦倍率调整复原处理的内容。由此，本方式中，即使光圈值或变焦倍率急剧变化，也能够进行具有连续性的复原处理。
[0035]优选复原控制处理部根据处理对象帧及参考帧的摄影条件信息中频率最高的摄影条件，进行复原处理。
[0036]根据本方式，根据频率最高的摄影条件，稳定地调整复原处理的内容。由此，本方式中，与摄影条件相应的复原处理的内容变得稳定，能够进行具有连续性的复原处理。
[0037]优选复原处理包含使用基于点扩散函数的复原滤波器的滤波处理，复原控制处理部对处理对象帧进行将根据与处理对象帧的摄影条件信息对应的复原滤波器及与参考帧的摄影条件信息对应的复原滤波器计算出的滤波器用作复原滤波器的滤波处理，由此进行对处理对象帧的复原处理。
[0038]根据本方式，根据处理对象帧的复原滤波器及参考帧的复原滤波器，计算新的复原滤波器，并根据该新的复原滤波器执行复原处理。由此，本方式中，能够对处理对象帧进行更适当的复原处理，且能够在帧之间进行具有连续性的复原处理。
[0039]优选复原控制处理部对处理对象帧进行将根据与处理对象帧的摄影条件信息对应的复原滤波器及与参考帧的摄影条件信息对应的复原滤波器的加权平均计算出的滤波器用作复原滤波器的滤波处理，由此进行对处理对象帧的复原处理。
[0040]根据本方式，通过对处理对象帧的复原滤波器与参考帧的复原滤波器进行加权平均，计算新的复原滤波器。由此，本方式能够根据各帧的重要度进行具有连续性的复原处理。并且，本方式中，即使被摄体移动时，也能够提供画质良好的动态图像。
[0041]优选复原控制处理部将如下图像数据作为处理对象帧的恢复图像数据，所述图像数据根据通过将与处理对象帧的摄影条件信息对应的复原滤波器适用于处理对象帧来计算出的图像数据及通过将与参考帧的摄影条件信息对应的复原滤波器适用于参考帧来计算出的图像数据的加权平均计算。
[0042]根据本方式，将如下图像数据作为处理对象帧的恢复图像数据，所述图像数据通过对处理对象帧进行复原处理来获得的图像数据及对参考帧进行复原处理来获得的图像数据的加权平均来获得。由此，本方式能够根据各帧的重要度进行具有连续性的复原处理。
[0043]优选图像处理装置具备检测动态图像的被摄体的移动的被摄体检测部，当通过被摄体检测部检测出的处理对象帧及参考帧中的被摄体的移动量为阈值以上时，复原控制处理部对处理对象帧进行将根据与处理对象帧的摄影条件信息对应的复原滤波器及与参考帧的摄影条件信息对应的复原滤波器的加权平均计算出的滤波器用作复原滤波器的滤波处理，由此进行对处理对象帧的复原处理，当通过被摄体检测部检测出的处理对象帧及参考帧中的被摄体的移动量小于阈值时，复原控制处理部将如下图像数据作为处理对象帧的恢复图像数据，所述图像数据根据通过将与处理对象帧的摄影条件信息对应的复原滤波器适用于处理对象帧来计算出的图像数据及通过将与参考帧的摄影条件信息对应的复原滤波器适用于参考帧来计算出的图像数据的加权平均计算。
[0044]根据本方式，根据被摄体的移动，将复原处理的内容分为如下情况:重新生成复原滤波器并进行复原处理，从而求出处理对象帧所涉及的恢复图像数据的情况;及通过处理对象帧的恢复图像数据与参考帧的恢复图像数据的加权平均，求出处理对象帧所涉及的恢复图像数据的情况。由此，本方式能够根据被摄体的移动进行良好的图像处理。
[0045]另外，“移动量”只要定量地表示动态图像中的被摄体像的移动，则并无特别限定，能够使用表示各种被摄体例如主要被摄体的移动的数值等。并且，“阈值”并无特别限定，能够根据移动量与本发明的图像处理之间的关系来适当确定。
[0046]优选摄像信息包含处理对象帧及参考帧的图像信息。
[0047]根据本方式，根据处理对象帧及参考帧的图像信息进行复原处理。由此，本方式能够根据图像信息进行具有连续性的复原处理。
[0048]优选图像信息包含处理对象帧及参考帧中是否包含饱和像素的信息、以及处理对象帧及参考帧中是否包含散焦区域的信息中的至少任一个。
[0049]根据本方式，根据有无饱和像素或散焦区域来调整复原处理的内容。由此，本方式中，即使在动态图像的中途产生饱和像素或散焦区域时，也能够进行连续性良好的复原处理。
[0050]优选图像信息包含处理对象帧及参考帧中是否包含饱和像素的信息，复原控制处理部判别参考帧中是否包含饱和像素，当判别为参考帧中包含饱和像素时，根据包含该饱和像素的参考帧的摄像信息，调整对处理对象帧进行的复原处理的复原强度。
[0051]根据本方式，当为具有包含饱和像素的帧的动态图像时，根据包含饱和像素的帧的摄像信息调整复原处理的复原强度。由此，本方式中，即使动态图像中存在饱和像素时，也能够进行具有连续性的复原处理。
[0052]优选复原控制处理部分析参考帧中的光源的闪烁状态，并根据光源的闪烁状态，调整对处理对象帧进行的复原处理的复原强度。
[0053]根据本方式，动态图像中存在闪烁光源时，根据该闪烁光源调整复原处理的复原强度。由此，本方式中，即使动态图像中存在闪烁光源时，也能够进行具有连续性的复原处理。
[0054]优选图像信息包含处理对象帧及参考帧中是否包含散焦区域的信息，复原控制处理部判别参考帧中是否包含散焦区域，当判别为参考帧中包含散焦区域时，根据包含该散焦区域的参考帧的摄像信息，调整对处理对象帧进行的复原处理的复原强度。
[0055]根据本方式，动态图像中存在散焦区域时，根据该动态图像调整复原处理的复原强度。由此，本方式中，即使动态图像中存在散焦区域时，也能够进行连续性良好的复原处理。
[0056]优选图像处理装置具备在动态图像中检测运动物体的运动物体检测部，当通过运动物体检测部在处理对象帧及参考帧中检测到运动物体时，复原控制处理部对处理对象帧进行基于反映出根据运动物体的移动的相位特性的点扩散函数的复原处理。
[0057]根据本方式，当为拍摄了运动物体的动态图像时，能够根据该运动物体的检测来进行复原处理。由此，本方式中，即使是拍摄了运动物体的动态图像，也能够进行画质良好的复原处理。
[0058]优选复原控制处理部具有:滤波器适用部，对动态图像的原图像数据适用基于光学系统的点扩散函数的复原滤波器来获取复原图像数据;及增益调整部，进行原图像数据与复原图像数据之间的差分的增幅率的调整，根据已进行该调整之后的差分及原图像数据获取动态图像的恢复图像数据，根据参考帧的摄影信息，调整复原滤波器及增幅率中的至少任一个，由此控制对处理对象帧进行的复原处理。
[0059]根据本方式，通过滤波器适用部及增益调整部进行复原处理的控制。由此，本方式中，能够通过复原滤波器的调整或增益的调整来进行复原处理的控制。
[0060]优选光学系统具有通过调制相位来扩大景深的透镜部。
[0061 ] 根据本方式，对经由所谓的EDoF(Extended Depth of Field(Focus))光学系统获得的原图像数据，也能够进行抑制画质劣化的复原处理。另外，调制透镜部中的相位的方法(光学相位调制机构)并无特别限定，还能够在透镜之间设置相位调制部，或使透镜本身(例如透镜的入射面和/或输出面)具有相位调制功能。
[0062]本发明的另一方式为涉及一种摄像装置的技术，所述摄像装置具备:通过使用光学系统进行的摄影获取动态图像的成像元件;及上述图像处理装置。
[0063]优选所述摄像装置具备显示即时预览图像的显示部，复原控制处理部对即时预览图像进行基于光学系统的点扩散函数的复原处理，对即时预览图像的复原处理中，不根据在时序列上在该处理对象帧之前或之后获取的帧的摄像信息而是根据该处理对象帧的摄像信息来控制对构成即时预览图像的多个帧中的处理对象帧进行的复原处理。
[0064]根据本方式，不对即时预览图像进行与参考帧的摄像信息相应的处理对象帧的复原处理，因此能够减少与图像处理相关的计算的负荷。由此，本方式能够获取响应性良好的即时预览图像。
[0065]优选摄像装置具备显示即时预览图像的显示部，复原控制处理部不对即时预览图像进行基于光学系统的点扩散函数的复原处理。
[0066]根据本方式，对即时预览图像不进行复原处理，因此能够减少与图像处理相关的计算的负荷。由此，本方式能够获取响应性良好的即时预览图像。
[0067]本发明的另一方式为涉及一种图像处理方法的技术，所述图像处理方法为对通过使用光学系统进行的摄影获取的包含多个帧的动态图像进行基于光学系统的点扩散函数的复原处理，由此获取恢复图像数据的方法，其中