图像处理装置、摄像装置、图像处理方法以及程序的制作方法
【技术领域】
[0001]本发明是涉及图像处理的技术，尤其，涉及基于点像分布函数(PSF:Point SpreadFunct1n)的点像复原处理的图像处理。
【背景技术】
[0002]存在在通过数码相机等的摄像装置拍摄被摄体而得到的图像中，产生由光学系统(摄影透镜等)的各种像差所引起的图像劣化的情况。
[0003]为了防止由该像差所引起的图像劣化(衍射模糊、周边模糊、倍率色差等)，考虑对被摄体像的图像数据进行图像处理，消除(修正)由像差所引起的图像劣化的技术。
[0004]基于像差的图像劣化能够由点像分布函数(PSF:Point Spread Funct1n)来表现，通过对图像数据施加该点像分布函数的复原滤波器(逆滤波器)，能够消除图像劣化(点像复原处理)。
[0005]但是，根据图像，存在通过进行点像复原处理，反而会发生伪色或伪信号、图像的质量降低的情况。
[0006]因此，在专利文献I中，公开了在涉及图像恢复处理(认为与本申请的点像复原处理对应)的技术中，关于若进行图像恢复处理则发生伪色的部分，不进行图像恢复处理。此夕卜，在专利文献I中，公开了优选在去马赛克处理(认为与本申请的去马赛克处理对应)之前进行图像恢复处理。
[0007]此外，在专利文献2中，公开了能够连续地调整图像恢复处理的恢复程度，通过调节恢复程度，能够抑制伪色的发生。但是，也公开了随着降低恢复程度，发生倍率色差。
[0008]现有技术文献
[0009]专利文献
[0010]专利文献1:特开2010-086138号公报
[0011]专利文献2:特开2011-124692号公报
【发明内容】
[0012]发明要解决的课题
[0013]但是，在专利文献I中公开的技术中，虽然考虑伪色而进行图像恢复处理，但由于没有进行考虑了色差和通过去马赛克处理而发生的伪信号的图像恢复处理，所以存在因色差和去马赛克处理为发生因素的伪信号而产生图像劣化的情况。这里，专利文献I中公开的伪色是指，在使用对对焦距离而言是最佳且对非对焦距离而言不是最佳的图像恢复滤波器(认为相当于本申请的恢复滤波器)进行非对焦物体的图像恢复处理的情况下，根据摄像时的光学系统的状态而变化的像差的状态和图像恢复滤波器对应的像差的状态中存在不同时发生的伪色。此外，关于本申请中的色差和通过去马赛克处理而发生的伪信号，在后面叙述。
[0014]此外，在专利文献I中公开的技术中，由于没有考虑作为伪色发生因素的一个的色差的发生程度，所以存在关于色差的发生程度为略微的部分也不进行图像恢复处理的情况。在即使进行图像恢复处理也会发生略微的伪色的情况下，进行图像恢复处理的话，能够取得质量更好的图像。进一步，对在去马赛克处理后得到的亮度系图像数据进行了图像恢复处理的话，与在去马赛克处理前进行图像恢复处理相比，能够更准确地进行图像恢复处理。
[0015]在专利文献2中公开的技术中，虽然考虑假象(Artifact)或伪色而进行图像恢复处理，但由于没有进行考虑了通过色差和去马赛克处理而发生的伪信号的图像恢复处理，所以存在因色差和去马赛克处理为发生因素的伪信号而产生图像劣化的情况。这里，专利文献2中公开的假象是指，在实际拍摄的状态下发生的像差特性和设想图像恢复的像差特性中存在不同时，在恢复图像中产生的假象。此外，专利文献2中公开的伪色是指，若与按RGB的每个颜色分量设想的恢复程度不同，则在恢复图像中发生的伪色。
[0016]此外，在专利文献2中公开的技术中，由于没有进行考虑了通过色差和去马赛克处理而发生的伪信号的图像恢复处理，所以存在因色差和去马赛克处理为发生因素的伪信号而产生图像劣化的情况。由于没有考虑作为伪色发生因素的一个的色差的发生程度，所以存在不能准确地进行与倍率色差的发生对应的图像恢复处理的调节。
[0017]本发明是鉴于这样的情况而完成的，其目的在于，提供一种图像处理装置、摄像装置、图像处理方法以及程序，其通过考虑基于色差的伪信号的发生程度而执行点像复原处理，能够得到画质好的图像，且通过对亮度系图像数据进行点像复原处理，能够得到清晰的图像。
[0018]用于解决课题的手段
[0019]为了达成上述目的，本发明的一个方式的图像处理装置包括:去马赛克处理单元，对从摄像元件输出的马赛克图像数据进行去马赛克处理，生成去马赛克图像数据；亮度系图像数据取得单元，基于由去马赛克处理单元所得到的去马赛克图像数据，取得作为与亮度有关的图像数据的亮度系图像数据；点像复原处理执行单元，对由亮度系图像数据取得单元所取得的亮度系图像数据进行点像复原处理；信息取得单元，基于与被摄体的摄影条件有关的摄影信息，取得与点像复原处理的执行有关的控制信息；以及点像复原处理控制单元，基于由信息取得单元所取得的控制信息，控制点像复原处理执行单元的处理动作。
[0020]这样，由于考虑基于色差和去马赛克处理的伪信号的发生程度而执行点像复原处理，能够得到画质更好的图像。此外，由于对亮度系图像数据进行点像复原处理，能够得到更清晰的图像。
[0021]在图像处理装置中，优选地，摄影信息包括在摄影中使用的透镜信息、摄影时的光圈值、摄影时的焦距以及摄影时的被摄体距离中的至少一个。
[0022]这样，能够更准确地考虑基于色差和去马赛克处理的伪信号的发生程度而执行点像复原处理，能够得到画质更好的图像。
[0023]图像处理装置优选包括图像分析单元，该图像分析单元基于马赛克图像数据或去马赛克图像数据，分析是否为若进行点像复原处理则伪信号被增强的马赛克图像数据，或者是否为若进行点像复原处理则伪信号被增强的去马赛克图像数据，信息取得单元基于摄影信息以及由图像分析单元所得到的分析信息，取得控制信息。
[0024]这样，除了摄影信息之外，还能够考虑对拍摄到的图像进行分析的分析信息，进行点像复原处理的执行，能够得到画质更好的图像。
[0025]在图像处理装置中，优选地，图像分析单元通过基于马赛克图像数据或去马赛克图像数据而求出对比度的大小，从而分析是否为若进行点像复原处理则伪信号被增强的马赛克图像数据，或者是否为若进行点像复原处理则伪信号被增强的去马赛克图像数据。
[0026]这样，能够更准确地通过图像分析而把握基于色差和去马赛克处理的伪信号的发生程度，能够更准确地考虑基于色差的伪信号的发生程度而执行点像复原处理，能够得到画质更好的图像。
[0027]在图像处理装置中，优选地，点像复原处理控制单元根据控制信息，判别若进行点像复原处理则伪信号是否被增强，点像复原处理控制单元在判别为伪信号没有被增强的情况下，使点像复原处理执行单元对亮度系图像数据进行点像复原处理，点像复原处理控制单元在判别为伪信号被增强的情况下，禁止点像复原处理执行单元对于亮度系图像数据的点像复原处理。
[0028]这样，由于能够根据基于色差和去马赛克处理的伪信号的发生程度而更准确地执行点像复原处理，所以能够得到画质更好的图像。
[0029]在图像处理装置中，优选地，点像复原处理控制单元根据控制信息，判别若进行点像复原处理则伪信号是否被增强，点像复原处理控制单元在判别为伪信号没有被增强的情况下，使点像复原处理执行单元对亮度系图像数据进行点像复原处理，点像复原处理控制单元在判别为伪信号被增强的情况下，确定作为伪信号被增强的区域的伪信号增强区域，禁止点像复原处理执行单元对于伪信号增强区域的点像复原处理，对伪信号增强区域以外的区域进行点像复原处理。
[0030]这样，由于能够根据基于色差和去马赛克处理的伪信号的发生程度而更准确地执行点像复原处理，所以能够得到画质更好的图像。
[0031]在图像处理装置中，优选地，点像复原处理控制单元根据控制信息，判别若进行点像复原处理则伪信号是否被增强，点像复原处理控制单元在判别为伪信号没有被增强的情况下，使点像复原处理执行单元对亮度系图像数据进行点像复原处理，点像复原处理控制单元在判别为伪信号被增强的情况下，确定作为伪信号被增强的区域的伪信号增强区域，使点像复原处理执行单元对伪信号增强区域以外的区域进行点像复原处理，使点像复原处理执行单元对伪信号增强区域代替点像复原处理而进行效果比点像复原处理弱的点像复原处理。
[0032]这样，由于能够根据基于色差和去马赛克处理的伪信号的发生程度而更准确地执行点像复原处理，所以能够得到画质更好的图像。
[0033]在图像处理装置中，优选地，点像复原处理控制单元根据控制信息，判别若进行点像复原处理则伪信号是否被增强，点像复原处理控制单元在判别为伪信号没有被增强的情况下，使点像复原处理执行单元对亮度系图像数据进行点像复原处理，点像复原处理控制单元在判别为伪信号被增强的情况下，确定作为伪信号被增强的程度的伪信号增强程度，使点像复原处理执行单元根据伪信号增强程度而改变点像复原处理的强度来进行点像复原处理。
[0034]这样，由于能够根据基于色差和去马赛克处理的伪信号的发生程度而更准确地执行点像复原处理，所以能够得到画质更好的图像。
[0035]在图像处理装置中，优选地，由点像复原处理控制单元所确定的伪信号增强区域是像尚尚的区域。
[0036]这样，由于能够根据基于色差和去马赛克处理的伪信号的发生程度而更准确地执行点像复原处理，所以能够得到画质更好的图像。
[0037]在图像处理装置中，优选地，由点像复原处理控制单元所确定的伪信号增强程度根据像高的高度而变大。
[0038]在图像处理装置中，优选地，亮度系图像数据是用于得到亮度信号的贡献率最高的去马赛克图像数据内的颜色数据或者基于去马赛克图像数据而得到的亮度信号。
[0039]这样，能够执行效果更高的点像复原处理。
[0040]在图像处理装置中，优选地，亮度系图像数据是由亮度信号Y以及色差信号Cb、Cr表示的颜色空间中的亮度信号Y的值。
[0041]在图像处理装置中，优选地，去马赛克处理单元包括基于用于得到亮度信号的贡献率最高的马赛克图像数据内的颜色数据而判别构成马赛克图像数据的多个像素信号中的相关方向的处理。
[0042]在图像处理装置中，优选地，去马赛克处理单元包括基于用于得到亮度信号的贡献率最高的马赛克图像数据内的颜色数据的、马赛克图像数据中的边缘检测处理。
[0043]为了达成上述目的，本发明的其他方式的摄像装置包括图像处理装置，该图像处理装置包括:去马赛克处理单元，对从摄像元件输出的马赛克图像数据进行去马赛克处理，生成去马赛克图像数据；亮度系图像数据取得单元，基于由去马赛克处理单元所得到的去马赛克图像数据，取得作为与亮度有关的图像数据的亮度系图像数据；点像复原处理执行单元，对由亮度系图像数据取得单元所取得的亮度系图像数据进行点像复原处理；信息取得单元，基于拍摄了被摄体时的摄影信息，取得与点像复原处理的执行有关的控制信息；以及点像复原处理控制单元，基于由信息取得单元所取得的控制信息，控制点像复原处理执行单元的处理动作。
[0044]这样，由于考虑基于色差和去马赛克处理的伪信号的发生程度而执行点像复原处理，能够得到画质更好的图像。此外，由于对亮度系图像数据进行点像复原处理，能够得到更清晰的图像。
[0045]为了达到上述目的，本发明的其他方式的图像处理方法包括以下步骤:去马赛克处理步骤，对从摄像元件输出的马赛克图像数据进行去马赛克处理，生成去马赛克图像数据；亮度系图像数据取得步骤，基于通过去马赛克处理步骤而生成的去马赛克图像数据，取得与亮度有关的亮度系图像数据；点像复原处理执行步骤，对通过亮度系图像数据取得步骤而取得的亮度系图像数据进行点像复原处理；信息取得步骤，基于与被摄体的摄影条件有关的摄影信息，取得与点像复原处理的执行有关的控制信息；以及点像复原处理控制步骤，基于通过信息取得步骤而得到的控制信息，控制点像复原处理执行步骤的处理动作。
[0046]这样，由于考虑基于色差和去马赛克处理的伪信号的发生程度而执行点像复原处理，能够得到画质更好的图像。此外，由于对亮度系图像数据进行点像复原处理，能够得到更清晰的图像。
[0047]为了达到上述目的，本发明的其他方式的程序用于使计算机执行如下步骤:去马赛克处理步骤，对从摄像元件输出的马赛克图像数据进行去马赛克处理，生成去马赛克图像数据；亮度系图像数据取得步骤，基于通过去马赛克处理步骤而生成的去马赛克图像数据，取得与亮度有关的亮度系图像数据；点像复原处理执行步骤，对通过亮度系图像数据取得步骤而取得的亮度系图像数据进行点像复原处理；信息取得步骤，基于与被摄体的摄影条件有关的摄影信息，取得与点像复原处理的执行有关的控制信息；以及点像复原处理控制步骤，基于通过信息取得步骤而得到的控制信息，控制点像复原处理执行步骤的处理动作。
[0048]此外，本发明的一方式的计算机能够读取的记录介质在由处理器读取了在记录介质中存储的指令的情况下，处理器执行如下步骤:去马赛克处理步骤，对从摄像元件输出的马赛克图像数据进行去马赛克处理，生成去马赛克图像数据；亮度系图像数据取得步骤，基于通过去马赛克处理步骤而生成的去马赛克图像数据，取得与亮度有关的亮度系图像数据；点像复原处理执行步骤，对通过亮度系图像数据取得步骤而取得的亮度系图像数据进行点像复原处理；信息取得步骤，基于与被摄体的摄影条件有关的摄影信息，取得与点像复原处理的执行有关的控制信息；以及点像复原处理控制步骤，基于通过信息取得步骤而得到的控制信息，控制点像复原处理执行步骤的处理动作。
[0049]这样，由于考虑基于色差和去马赛克处理的伪信号的发生程度而执行点像复原处理，能够得到画质更好的图像。此外，由于对亮度系图像数据进行点像复原处理，能够得到更清晰的图像。
[0050]发明效果
[0051]根据本发明，由于考虑基于色差和去马赛克处理的伪信号的发生程度而执行点像复原处理，能够得到画质更好的图像。此外，根据本发明，由于对亮度系图像数据进行点像复原处理，能够得到更清晰的图像。
【附图说明】
[0052]图1是作为本发明的一个方式的摄像装置的主要部分框图。
[0053]图2是表示在摄像元件中配置的马赛克状的滤色器排列(拜耳(Bayer)排列)的图。
[0054]图3是表示作为本发明的其他方式的图像处理装置的第一实施方式的主要部分框图。
[0055]图4是表示通过点像复原处理而被复原的点像的情形的图。
[0056]图5是说明与信息取得部的控制信息的生成有关的一例的图。
[0057]图6是说明与信息取得部的控制信息的生成有关的其他例的图。
[0058]图7是说明没有发生基于色差的伪信号的图像的去马赛克处理的图。
[0059]图8是说明发生基于色