摄像装置、摄像方法及图像处理装置的制造方法
【技术领域】
[0001]本发明涉及一种摄像装置、摄像方法及图像处理装置，尤其涉及一种进行基于点扩散函数的复原处理的摄像装置、摄像方法及图像处理装置。
【背景技术】
[0002]在经由光学系统而被摄影的被摄体像中，由于由光学系统引起的衍射、像差等的影响，有时会出现点被摄体具有微小的扩散的、所谓的点扩散现象。表示光学系统相对于点光源的响应的函数被称作点扩散函数(PSF:Point Spread Funct1n)，作为影响摄影图像的分辨率劣化(模糊)的参数而被公知。
[0003]由于该点扩散现象而画质劣化的摄影图像能够通过接受基于PSF的复原处理(点像复原处理)来恢复画质。复原处理是如下处理，即，预先求出由透镜(光学系统)的像差等引起的劣化特性(点像特性)，通过利用与该点像特性相应的复原滤波器的图像处理来消除摄影图像的点扩散。
[0004]对于该复原处理，提出有各种方法，例如专利文献1中公开了用于避免使图像质量劣化而进行摄影图像的恢复处理的摄像装置。该摄像装置，判定点像扩散函数(点扩散函数)的可靠性，并根据该可靠性的判定结果进行图像恢复处理。
[0005]并且，专利文献2中公开了用于提高无法从自动调焦机构获得被摄体距离时的图像恢复精度的图像恢复装置。该图像恢复装置中，推断被摄体距离，根据该推断结果计算恢复滤波器，并使用该计算出的恢复滤波器恢复图像数据。
[0006]以往技术文献
[0007]专利文献
[0008]专利文献1:日本专利公开2009-260622号公报
[0009]专利文献2:日本专利公开2011-217274号公报
【发明内容】
[0010]发明要解决的技术课题
[0011]上述的复原处理为将由于作为光学特性之一的基于光学系统的点扩散现象(摄像光学特性)而模糊的图像复原为原本的清晰图像的处理，是通过对已画质劣化的原图像数据适用基于点扩散函数的复原滤波器来获取已消除画质劣化的恢复图像的技术。
[0012]因此，若准确地掌握由于光学系统的点扩散现象而带来的画质劣化，设计能够严密地消除这种画质劣化的复原滤波器，因基于光学系统的点扩散现象引起的画质劣化可靠地反映于原图像数据，则原理上能够从“已画质劣化的摄影图像”获得“如实地再现被摄体像的高画质的图像”。
[0013]因此，为了获得如实地再现被摄体像的恢复图像，需要使在复原处理中使用的“复原滤波器的特性”与“点扩散现象引起的原图像数据的画质劣化”适当地匹配。
[0014]然而，根据被摄体像或摄影设备类的特性，有时“复原滤波器的特性”与“原图像数据的画质劣化”并未适当地匹配。
[0015]例如，动态图像摄影中，在摄影期间被摄体或相机移动，由此被摄体距离等摄影条件改变而导致对焦位置中的聚焦状态发生变化，导致成为散焦状态。即使成为这种散焦状态，自动调焦功能发挥作用时，聚焦状态自动恢复，能够继续进行焦点对焦于主要被摄体的动态图像摄影。
[0016]然而，从“伴随被摄体距离等摄影条件的变动的散焦状态”至“基于自动调焦功能的聚焦状态的自动恢复”需要时间。该“从散焦状态向聚焦状态的自动恢复为止的时间(恢复处理时间)”根据每个摄影设备的自动调焦能力而发生变动，在此期间成为未聚焦的状态。另一方面，在该恢复处理时间期间也摄影动态图像，对在此期间摄影的“未对焦的动态图像”进行的复原处理中，“复原滤波器的特性”与“原图像数据的画质劣化”并未适当地匹配。若对这种散焦图像进行复原处理，则有时由于过校正等而发生画质劣化。因此，在进行从散焦状态向适当的聚焦状态的调整的期间内摄影的图像处于不适于进行复原处理的状
??τ ο
[0017]这在如下情况下也相同，S卩，确定对焦对象的被摄体而跟踪该被摄体的同时继续进行对焦的跟踪自动调焦功能(包含连续自动调焦功能)发挥作用。即，相对于被摄体或相机的移动，摄影设备的跟踪能力或自动调焦速度并不充分时，反而易产生“复原滤波器的特性”与“原图像数据的画质劣化”并未适当地匹配的状态，并且在从“伴随被摄体或相机的移动的散焦状态”至“基于跟踪自动调焦功能的聚焦状态的自动恢复”为止期间摄影的动态图像成为“未对焦的动态图像”。并且，在对这种“未对焦的动态图像”进行的复原处理中使用的复原滤波器的特性与动态图像的画质劣化(点扩散现象)并不适当地匹配。
[0018]如此，若对“点扩散现象引起的原图像数据的画质劣化”使用并未适当地匹配的复原滤波器进行复原处理，则无法充分消除画质劣化，有时会通过复原处理加深画质劣化。
[0019]上述的专利文献1及专利文献2中完全未提及上述课题，并未公开或暗示用于解决这种课题的有效的方法。
[0020]本发明是鉴于这种情况而完成的，其目的在于提供一种如下技术:即使由于摄影期间对焦对象的被摄体或相机移动而摄影获取到散焦状态的图像，也可抑制通过对这种散焦状态的图像进行的复原处理而有可能带来的画质劣化。
[0021 ]用于解决技术课题的手段
[0022]本发明的一方式涉及一种摄像装置，其具备:摄像部，生成通过光学系统捕捉的被摄体的连续的多个图像;滤波器获取部，获取与有关光学系统的点像分布的传递函数对应地生成的复原滤波器;被摄体距离获取部，获取由摄像部生成的图像的被摄体的被摄体距离;移动量获取部，根据由被摄体距离获取部获取的被摄体距离，获取在摄像部中生成的连续的多个图像之间的、光学系统的光轴方向上的被摄体的移动量;复原处理判断部，根据通过移动量获取部获取的移动量，判断是通过复原滤波器对图像进行复原处理，还是调节复原处理的复原强度来对图像进行复原处理，或是不对图像进行复原处理;复原强度调节部，通过复原处理判断部判断为调节复原处理的复原强度来对图像进行复原处理时，调节复原处理的复原强度;及复原处理执行部，根据复原处理判断部的判断，通过复原滤波器或调节复原强度来对图像执行复原处理。
[0023]根据本方式，根据被摄体的移动量，判断是否调节复原处理的复原强度或是否执行复原处理，并进行与该判断结果相应的处理。因此，即使在图像摄影期间被摄体或相机移动而摄影获取到散焦状态的图像，也能够通过调节对这种散焦状态的图像进行的复原处理的复原强度或不进行复原处理，有效地抑制通过复原处理有可能带来的画质劣化。
[0024]另外，“通过光学系统捕捉的被摄体的连续的多个图像”是经时连续摄影获取的多个图像，包含由连续的多个帧构成并存储于存储器的记录动态图像、摄影时或在摄影前后显示于显示部的即时预览图像、通过连续的快门动作(连拍)获取的多个静态图像等。
[0025]本发明的另一方式涉及一种摄像装置，其具备:摄像部，生成通过光学系统捕捉的被摄体的连续的多个图像；自动调焦部，跟踪被摄体来进行光学系统的自动调焦控制;滤波器获取部，获取与有关光学系统的点像分布的传递函数对应地生成的复原滤波器;被摄体距离获取部，获取由摄像部生成的图像的被摄体的被摄体距离;移动量获取部，根据由被摄体距离获取部获取的被摄体距离，获取在摄像部中生成的连续的多个图像之间的、光学系统的光轴方向上的被摄体的移动量;复原处理执行部，对图像执行复原处理;及跟踪自动调焦判断部，通过复原处理执行部对连续的多个图像执行复原处理时，根据通过移动量获取部获取的移动量，判断跟踪被摄体的光学系统的自动调焦控制是被中止或持续，所述摄像装置中，当通过跟踪自动调焦判断部判断为跟踪被摄体的光学系统的自动调焦控制被中止时，自动调焦部对由摄像部生成的图像中的聚焦区内的被摄体进行光学系统的自动调焦控制。
[0026]根据本方式，根据被摄体的移动量，判断有无持续跟踪被摄体的自动调焦控制，并进行与该判断结果相应的自动调焦控制。被摄体的移动量较大时，跟踪自动调焦被中止，重新进行对聚焦区内的被摄体的自动调焦控制。通过进行如本方式的自动调焦控制，当被摄体的移动量较大时等，跟踪自动调焦被中止，能够避免持续摄影散焦状态的图像的现象。
[0027]本发明的另一方式涉及一种摄像装置，其具备:摄像部，生成通过光学系统捕捉的被摄体的连续的多个图像;帧速率设定部，设定与摄像部中的图像的生成有关的帧速率;滤波器获取部，获取与有关光学系统的点像分布的传递函数对应地生成的复原滤波器;复原处理判断部，根据在帧速率设定部中设定的帧速率，判断是通过复原滤波器对图像进行复原处理，还是调节复原处理的复原强度来对图像进行复原处理，或是不对图像进行复原处理;复原强度调节部，通过复原处理判断部判断为调节复原处理的复原强度来对图像进行复原处理时，调节复原处理的复原强度;及复原处理执行部，根据复原处理判断部的判断，通过复原滤波器或调节复原强度来对图像执行复原处理。
[0028]本方式中，根据所设定的帧速率，判断有无调节复原处理的复原强度或有无执行复原处理，并进行与该判断结果相应的处理。因此，例如帧速率充分高时，相对于被摄体的移动，各帧中能够进行适当的摄影，因此可进行维持复原强度的复原处理。并且，帧速率不够高时，相对于被摄体的移动，各帧中无法进行适当的摄影，因此可设为进行减弱复原强度的复原处理或不进行复原处理。由此，能够有效地防止复原处理引起的画质劣化。
[0029]优选摄像装置还具备:复原处理判断部，根据通过移动量获取部获取的移动量，判断是通过复原滤波器对图像进行复原处理，还是调节复原处理的复原强度来对图像进行复原处理，或是不对图像进行复原处理;及复原强度调节部，通过复原处理判断部判断为调节复原处理的复原强度来对图像进行复原处理时，调节复原处理的复原强度，复原处理执行部根据复原处理判断部的判断，通过复原滤波器或调节复原强度来对图像执行复原处理。
[0030]根据本方式，根据移动量，判断是进行复原处理，还是调节复原处理的复原强度来对图像进行复原处理，或是不对图像进行复原处理，并进行图像处理。由此，能够执行适于被摄体的移动量的复原处理。
[0031]优选摄像装置还具有帧速率设定部，其设定与摄像部中的图像的生成有关的帧速率，复原处理判断部根据通过帧速率设定部设定的帧速率及通过移动量获取部获取的被摄体的移动量，判断是通过复原滤波器对图像进行复原处理，还是调节复原处理的复原强度来对图像进行复原处理，或是不对图像进行复原处理。
[0032]根据本方式，根据所设定的帧速率及被摄体的移动量，判断有无调节复原处理的复原强度或有无执行复原处理，并进行与该判断结果相应的处理。因此，例如相对于被摄体的移动量，帧速率充分高时，相对于被摄体的移动，各帧中能够进行适当的摄影，因此可进行维持复原强度的复原处理。并且，相对于被摄体的移动量，帧速率不够高时，相对于被摄体的移动，各帧中无法进行适当的摄影，因此可设为进行减弱复原强度的复原处理或不进行复原处理。由此，能够有效地防止基于复原处理的画质劣化。
[0033]优选当被摄体处于聚焦状态时，复原处理判断部判断为通过复原滤波器对图像进行复原处理，当被摄体处于散焦状态时，复原处理判断部判断为调节复原处理的复原强度来对图像进行复原处理。
[0034]根据本方式，根据被摄体是处于散焦状态还是处于聚焦状态来判断有无调节复原处理的复原强度，因此能够进行防止过校正等的画质劣化的适当的复原处理。
[0035]优选复原处理判断部根据光学系统的光轴方向的移动量及被摄体距离，判断是通过复原滤波器对图像进行复原处理，还是调节复原处理的复原强度来对图像进行复原处理。
[0036]根据本方式，根据被摄体向光轴方向的移动量及被摄体距离判断有无执行复原处理及有无调节复原处理的复原强度，因此能够更可靠地防止伴随被摄体距离的变动的“复原处理引起的画质劣化”。
[0037]优选复原强度调节部通过调节复原滤波器的滤波器系数或调节复原处理的增益来调节复原处理的复原强度。
[0038]根据本方式，通过调节复原滤波器的滤波器系数或调节复原处理的增益，能够适当且简单地调节复原处理的复原强度。
[0039]优选滤波器获取部根据与被摄体的拍摄有关的摄影条件，获取复原滤波器。
[0040]根据本方式，能够获取反映有摄影条件的适当的复原滤波器。
[0041 ]优选摄像装置还具有模糊图像校正处理部，当判断为不对图像进行复原处理时，复原处理判断部判断进行与复原处理不同的模糊图像校正处理，当通过复原处理判断部判断为进行模糊图像校正处理时，模糊图像校正处理部对图像进行模糊图像校正处理。
[0042]根据本方式，即使在不进行复原处理时也进行模糊图像校正处理，因此图像的模糊减少，能够获得高清图像。在此所说的“模糊图像校正处理”是不基于点扩散函数的图像处理，包含可减轻图像的模糊的各种处理，例如可包含轮廓强调处理等。轮廓强调处理是例如使图像的轮廓部的浓度梯度急剧来获得清晰的图像的处理，可包含强调处理对象图像的高频成分的图像处理。
[0043]优选光学系统为更换式。
[0044]如本方式，通过更换式的光学系统，即使在光学系统的特性发生变化时，也能够进行抑制画质劣化的适当的的复原处理。
[0045]优选摄像装置还具有显示部，将通过复原处理执行部通过复原滤波器或调节复原强度来对图像执行了复原处理的图像作为即时预览图像显示于显示部。
[0046]根据本方式，对即时预览图像，也能够有效地抑制通过复原处理有可能带来的画质劣化。
[0047]本发明的另一方式涉及一种摄像方法，其包含:生成步骤，生成通过光学系统捕捉的被摄体的连续的多个图像;滤波器获取步骤，获取与有关光学系统的点像分布的传递函数对应地生成的复原滤波器;被摄体距离获取步骤，获取在生成步骤中生成的图像的被摄体的被摄体距离;移动量获取步骤，根据在被摄体距离获取步骤中获取的被摄体距离，获取在生成步骤中生成的连续的多个图像之间的、光学系统的光轴方向上的被摄体的移动量；复原处理判断步骤，根据通过移动量获取步骤获取的移动量，判断是通过复原滤波器对图像进行复原处理，还是调节复原处理的复原强度来对图像进行复原处理，或是不对图像进行复原处理;复原强度调节步骤，通过复原处理判断步骤判断为调节复原处理的复原强度来对图像进行复原处理时，调节复原处理的复原强度;及复原处理执行步骤，根据复原处理判断步骤的判断，通过复原滤波器或调节复原强度来对图像执行复原处理。
[0048]本发明的另一方式涉及一种摄像方法，其包含:生成步骤，生成通过光学系统捕捉的被摄体的连续的多个图像；自动调焦步骤，跟踪被摄体来进行光学系统的自动调焦控制；滤波器获取步骤，获取与有关光学系统的点像分布的传递函数对应地生成的复原滤波器；被摄体距离获取步骤，获取在生成步骤中生成的图像的被摄体的被摄体距离;移动量获取步骤，根据在被摄体距离获取步骤中获取的被摄体距离，获取在生成步骤中生成的连续的多个图像之间的、光学系统的光轴方向上的被摄体的移动量;复原处理执行步骤，对图像执行复原处理;及跟踪自动调焦判断步骤，通过复原处理执行步