图像处理装置、具有该图像处理装置的摄像装置、图像处理方法和图像处理程序的制作方法

文档序号:10476219阅读:584来源:国知局
图像处理装置、具有该图像处理装置的摄像装置、图像处理方法和图像处理程序的制作方法
【专利摘要】图像处理装置(1)是对使用包含多个像素且根据所述像素的位置应用至少2种不同的曝光时间的摄像元件得到的图像数据实施图像处理的图像处理装置。图像处理装置(1)具有抖动量估计部(104)和校正部(122)。抖动量估计部(104)估计图像数据中存在的像抖动量。校正部(122)根据所述像抖动量对所述图像数据实施校正。
【专利说明】
图像处理装置、具有该图像处理装置的摄像装置、图像处理方法和图像处理程序
技术领域
[0001]本发明涉及图像处理装置、具有该图像处理装置的摄像装置、图像处理方法和图像处理程序。
【背景技术】
[0002]在将由光学系统形成的光学像转换为电信号的摄像元件中,公知有构成为一部分像素输出焦点检测用的信号的摄像元件。例如在日本特开2000-156823号公报中公开了为了使一部分像素具有基于光瞳相位差方式的测距功能而对该像素的受光面的一部分进行遮光的摄像元件的技术。由这种具有测距功能的相位差像素取得的信息例如用于将光学系统驱动到对焦位置的自动对焦处理。并且,在日本特开2011-124704号公报中公开了如下技术:对相位差像素的信息进行增益校正运算,将由相位差像素取得的信息用于显示用或记录用的图像生成。
[0003]在相位差像素中,优选进行适当的曝光控制以进行测距。因此,提出了如下方法:在暗处等很难取得相位差信息的状况下,仅针对相位差像素,与用于取得图像信号的通常像素相比,延长曝光时间。但是,当相位差像素和通常像素的曝光时间不同时,在进行运动体拍摄等时,由于曝光时间的差异,在由相位差像素取得的像和由通常像素取得的像中,像抖动量可能产生差异。如日本特开2011-124704号公报所公开的技术那样,当由相位差像素取得的信息用于显示用或记录用的图像时,可能产生由于像抖动量的差异反映到所生成的图像中而导致的图像劣化。

【发明内容】

[0004]本发明的目的在于,提供图像处理装置、具有该图像处理装置的摄像装置、图像处理方法和图像处理程序,对使用根据像素而应用至少2种不同的曝光时间的摄像元件得到的图像实施减少图像劣化的图像处理。
[0005]为了实现所述目的,根据本发明的一个方式,图像处理装置对使用包含多个像素且根据所述像素的位置应用至少2种不同曝光时间的摄像元件得到的图像数据实施图像处理,所述图像处理装置具有:抖动量估计部,其估计所述图像数据中存在的像抖动量;以及校正部,其根据所述像抖动量对所述图像数据实施校正。
[0006]为了实现所述目的,根据本发明的一个方式,摄像装置具有所述摄像元件和所述图像处理装置。
[0007]为了实现所述目的,根据本发明的一个方式,图像处理方法针对使用包含多个像素的摄像元件得到的图像数据,所述摄像元件根据所述像素的位置应用至少2种不同的曝光时间,所述图像处理方法包括以下步骤:估计所述图像数据中存在的抖动量的步骤;以及根据所述像抖动量对所述图像数据实施校正的步骤。
[0008]为了实现所述目的,根据本发明的一个方式,图像处理程序用于使计算机执行针对使用包含多个像素的摄像元件得到的图像数据的图像处理,所述摄像元件根据所述像素应用至少2种不同的曝光时间,其中,所述图像处理程序用于使计算机执行以下步骤:估计所述图像数据中存在的像抖动量的步骤;以及根据所述像抖动量对所述图像数据实施校正的步骤。
[0009]根据本发明,能够提供对使用根据像素应用至少2种不同的曝光时间的摄像元件得到的图像实施减少图像劣化的图像处理的图像处理装置、具有该图像处理装置的摄像装置、图像处理方法和图像处理程序。
【附图说明】
[0010]图1是示出本发明的一个实施方式的摄像装置的结构例的概略的框图。
[0011]图2是示出一个实施方式的摄像元件的结构例的概略的图。
[0012]图3A是用于说明使用一个实施方式的摄像元件的基于相位差法的焦点检测的原理的图。
[0013]图3B是用于说明使用一个实施方式的摄像元件的基于相位差法的焦点检测的原理的图。
[0014]图4A是用于说明一个实施方式的实时取景显示时进行的独立电子快门的时序图。
[0015]图4B是用于说明一个实施方式的实时取景显示时进行的独立电子快门的时序图。
[0016]图4C是用于说明比较例的实时取景显示时进行的电子快门的时序图。
[0017]图5是示出一个实施方式的图像处理部的结构例的概略的框图。
[0018]图6是示出一个实施方式的动态图像记录处理的一例的流程图。
[0019]图7是示出一个实施方式的像素校正处理的一例的流程图。
[0020]图8A是示出一个实施方式的运动体的移动量与第I利用比例的关系的一例的图。
[0021]图SB是示出一个实施方式的曝光时间差与第2利用比例的关系的一例的图。
【具体实施方式】
[0022]参照附图对本发明的一个实施方式进行说明。图1是示出作为本发明的一个实施方式的摄像装置的一例的数字照相机I的结构的框图。这里,在图1中,带箭头的实线表示数据流,带箭头的虚线表示控制信号流。
[0023]图1所示的数字照相机I具有摄影镜头11、光圈13、机械快门15、驱动部17、操作部19、摄像元件21、摄像控制电路23、A-AMP25、模拟数字转换器(ADC)27、CPU(CentralProcessing Unit)29、图像处理部31、作为曝光控制部发挥功能的曝光控制电路33、视频编码器35、显不部37、总线39、DRAM(Dynamic Random Access Memory)41、R0M(Read OnlyMemory) 43、记录介质45、陀螺仪传感器47、加速度传感器49。
[0024]摄影镜头11是用于在摄像元件21上形成被摄体100的像的由一个或多个透镜构成的光学系统。摄影镜头11可以是单焦点镜头,也可以是变焦镜头。光圈13配置在摄影镜头11的光轴上,构成为其口径能够变化。光圈13限制穿过摄影镜头11的来自被摄体100的光束的量。机械快门15配置在光圈13的后方,构成为开闭自如。机械快门15通过调节其开放时间,对从被摄体100到来的被摄体光束入射到摄像元件21的入射时间进行调节。即,机械快门15对摄像元件21的曝光时间进行调整。作为机械快门15,可以采用公知的焦面快门、中心式快门等。驱动部17根据来自CPU29的控制信号进行摄影镜头11的焦点调节、光圈13的开口直径控制和机械快门15的开闭控制。
[0025]操作部19包括电源按钮、释放按钮、再现按钮、菜单按钮这样的各种操作按钮和触摸面板等各种操作部件。能够通过基于CPU29的处理来识别针对该操作部19的输入。
[0026]摄像元件21配置在摄影镜头11的光轴上、且机械快门15的后方,并且通过摄影镜头11使被摄体光束成像的位置。摄像元件21构成为二维配置有构成像素的光电二极管。构成摄像元件21的光电二极管生成与受光量对应的电荷。光电二极管产生的电荷蓄积在与各光电二极管连接的电容器中。该电容器中蓄积的电荷被作为图像信号读出。这里,本实施方式中的摄像元件21具有多个不同的电荷的读出方式。根据来自摄像控制电路23的控制信号读出摄像元件21中蓄积的电荷。
[0027]在构成像素的光电二极管的前表面配置有例如拜耳排列的滤色器。拜耳排列具有在水平方向上交替配置R像素和G(Gr)像素的行、以及交替配置G(Gb)像素和B像素的行。
[0028]并且,在本实施方式中的摄像元件21中,在一部分配置有相位差检测像素。即,在摄像元件21中,除了用于取得记录或显示用的图像的摄像像素以外,还设置有相位差检测像素。在相位差检测像素中,与其他像素不同,对一部分区域进行遮光。该相位差检测像素作为焦点检测所使用的焦点检测像素发挥功能。
[0029]使用图2对摄像元件21的结构进行说明。图2是示出摄像元件21的像素排列的示意图。在图2中,“R”表示设有红色滤色器的R像素,“G”表示设有绿色滤色器的G像素,“B”表示设有蓝色滤色器的B像素。并且,涂满黑色的区域表示被遮光的区域。图2示出拜耳排列的例子,但是,滤色器的排列不限于拜耳排列,可以使用各种排列。
[0030]如上所述,拜耳排列的摄像元件21具有在水平方向上交替配置R像素和G(Gr)像素的行、以及交替配置G(Gb)像素和B像素的行。换言之,拜耳排列的摄像元件21在水平和垂直方向上反复配置Gr像素、R像素、Gb像素、B像素这4个像素的组。
[0031]在本实施方式中,与设有红色滤色器、绿色滤色器或蓝色滤色器的通常像素21a混合来配置设有遮光膜的相位差检测像素21b。相位差检测像素例如是通过遮光膜对左右的任意区域进行遮光的像素。在图2的例子中,交替配置设有对左半面进行遮光的相位差检测像素(以下称为右开口相位差检测像素)的行和设有对右半面进行遮光的相位差检测像素(以下称为左开口相位差检测像素)的行。
[0032]在高像素数的摄像元件的情况下,由于各个像素的面积较小,所以,认为在接近配置的像素中形成大致相同的像。因此,通过如图2所示配置相位差检测像素,能够利用接近的右开口相位差检测像素和左开口相位差检测像素的对儿来检测相位差。
[0033]这里,在图2的例子中,相位差检测像素中的遮光的区域被设为左右的任意区域。该情况下,能够检测水平相位差。与此相对,通过使遮光的区域成为上下的任意区域、或者成为倾斜方向的区域,能够检测垂直相位差或倾斜方向的相位差。并且,只要具有某种程度的面积即可,遮光面积也可以不是像素区域的1/2。进而,在图2所示的例子中,相位差检测像素配置在G像素中,但是,也可以配置在G像素以外的R像素、B像素中的任意一方中。
[0034]并且,图2的例子示出了通过对相位差检测像素的一部分区域进行遮光来进行光瞳分割的例子,但是,相位差检测像素只要能够选择性地接收穿过摄影镜头11的不同光瞳区域的成对儿的被摄体光束中的一方即可。因此,也可以不采用对一部分区域进行遮光的结构,例如可以通过光瞳分割用的微镜头进行光瞳分割。
[0035]参照图3A和图3B对使用图2所示的摄像元件的基于相位差法的焦点检测的原理进行说明。这里,图3A示出通常像素21a中的成像状态。图3B示出相位差检测像素21b中的成像状态。
[0036]当设被摄体为点光源时,在摄影镜头11为对焦状态时,从被摄体射出且穿过关于摄影镜头11的光轴中心对称的不同光瞳区域的成对儿的被摄体光束在摄像元件21上的同一位置成像。
[0037]另一方面,在摄影镜头11为非对焦状态时,从被摄体射出且穿过摄影镜头11的不同光瞳区域的成对儿的被摄体光束在摄像元件21上的不同位置成像。换言之,在由这些成对儿的被摄体光束形成的像之间产生相位差。根据在右开口相位差检测像素和左开口相位差检测像素中分别检测到的像的相关关系来检测该相位差,由此,能够检测摄影镜头11的散焦量和散焦方向。
[0038]另外,由于相位差检测像素21b的一部分区域被遮光,所以,产生光量的降低。除了相位差检测像素21b中形成的遮光膜的面积以外,该光量的降低还根据遮光膜的位置、入射到相位差检测像素21b的光的角度、像高而不同。
[0039]摄像控制电路23根据来自CPU29的控制信号设定摄像元件21的读出方式,根据所设定的读出方式对来自摄像元件21的图像信号的读出进行控制。根据数字照相机I的动作状态来设定来自摄像元件21的像素数据的读出方式。例如,在来自摄像元件21的像素数据的读出要求实时性的情况下(例如实时取景显示时或动态图像记录时),为了能够高速进行像素数据的读出,混合读出来自多个相同颜色像素的像素数据,或间疏读出特定像素的像素数据。另一方面,在与实时性相比更加要求画质的情况下(例如静态图像的记录时),不进行混合读出或间疏读出,通过读出全部像素的像素数据来维持分辨率。
[0040]A-AMP25进行从摄像元件21输出的图像信号的模拟增益调整。ADC27是模拟数字转换器,将由A-AMP25进行模拟增益调整后的图像信号转换为数字形式的图像信号(像素数据)。下面,在本说明书中,将多个像素数据的集合记载为摄像数据。
[0041 ] CPU29根据后述R0M43中存储的程序进行数字照相机I的整体控制。并且,CPU29根据陀螺仪传感器47或加速度传感器49的输出来计算数字照相机I的移动量,将计算结果保存在DRAM41中。
[0042]图像处理部31例如由ASIC(Applicat1n Specific Integrated Circuit)构成。图像处理部31对摄像数据实施各种图像处理并生成图像数据。例如,图像处理部31在静态图像的记录时,实施静态图像记录用的图像处理并生成静态图像数据。同样,图像处理部31在动态图像的记录时,实施动态图像记录用的图像处理并生成动态图像数据。进而,图像处理部31在实时取景显示时,实施显示用的图像处理并生成显示用图像数据。并且,图像处理部31从DRAM41中读出图像数据和数字照相机I的移动量,进行图像处理,将图像处理后的数据作为记录用图像数据写回到DRAM中。
[0043]曝光控制电路33例如由ASIC构成。曝光控制电路33例如根据摄像数据计算曝光值,根据计算出的曝光值来调整快门速度、光圈值和感光度。
[0044]通过电子快门,以不同的快门速度对本实施方式的通常像素和相位差像素进行控制。即,与通常像素相比,相位差像素的开口面积较小,所以,当要使用在相位差像素和通常像素中以相同曝光时间得到的数据生成图像时,在相位差像素的部分中,光量不足。因此,在相位差像素和通常像素中要得到同等曝光量时,调整成相位差像素的曝光时间比通常像素的曝光时间长。将这种以不同的快门速度对相位差像素和通常像素进行控制的机构称为独立电子快门。曝光控制电路33还进行独立电子快门的快门速度的设定。
[0045]在本实施方式中,示出设置覆盖像素的一部分以进行相位差检测的相位差像素的例子。独立电子快门不限于在具有这种相位差像素的摄像元件中使用,还能够在各种用途中使用。例如,为了扩大动态范围,可以调整为曝光时间在一部分像素和其他像素中不同。根据曝光时间按照每个像素而不同的摄像数据,能够实现高动态范围的图像数据的取得。这样,根据独立电子快门,能够实现各种功能。在以后的说明中,将为了实现规定功能而应用与其他像素不同的曝光时间的像素称为功能像素,将除此以外的通常像素称为非功能像素。本实施方式的技术不限于相位差检测的技术,能够应用于存在功能像素和非功能像素的各种技术。
[0046]在本实施方式中,参照图4A和图4B所示的时序图对实时取景显示时进行的独立电子快门进行说明。图4A示出低亮度时的动作的时序图,图4B示出高亮度时的动作的时序图。在本实施方式中,分别独立地控制功能像素和非功能像素。在图4A和图4B中,上段分别示出通常像素等非功能像素的动作,下段分别示出例如相位差像素这样的功能像素的动作。
[0047]对图4A所示的低亮度时的动作进行说明。非功能像素的时序图和功能像素的时序图各自的第I段的示出为“VD”的部分表示控制计数器。在本实施方式中,表示30帧/秒的情况,控制计数器按照每33ms产生脉冲。非功能像素的时序图和功能像素的时序图各自的第2段表示摄像元件21中进行的曝光的定时。非功能像素的时序图和功能像素的时序图各自的第3段表示曝光数据的读出的定时。
[0048]调整成非功能像素的曝光的结束与控制计数器变化的定时一致。调整成功能像素的曝光的结束与非功能像素的曝光的结束同时。因此,非功能像素的曝光的开始和功能像素的曝光的开始的定时不同。在低亮度时,调整成功能像素的曝光时间比非功能像素的曝光时间长,以使得能够在暗处进行焦点检测。分别在控制计数器变化后进行非功能像素的读出和功能像素的读出。
[0049]在图4B所示的高亮度时,与低亮度时的情况同样,调整成非功能像素及曝光像素的曝光的结束均与控制计数器变化的定时一致。并且,分别在控制计数器变化后进行非功能像素的读出和功能像素的读出。在高亮度时,调整成功能像素的曝光时间比非功能像素的曝光时间短,以使得例如即使逆光也能够进行焦点检测。
[0050]作为比较例,图4C示出依次切换非功能像素的曝光和功能像素的曝光的情况下的时序图。如图4C所示,在比较例的情况下,在非功能像素用的曝光后,与其读出同时进行模式切换,接着进行功能像素用的曝光,然后与读出同时进行模式切换。在该比较例这样的动作中,图像取得不连续,无法得到平滑的动态图像。与此相对,根据本实施方式的独立电子快门,得到平滑的图像,并且功能像素的功能的亮度健全性大幅提高。
[0051]曝光控制电路33从DRAM41中取得像素数据,计算功能像素和非功能像素的电子快门速度。曝光控制电路33将计算出的功能像素和非功能像素的电子快门速度保存在DRAM41中。CPU29根据该电子快门速度,使摄像控制电路23进行基于不同快门速度的摄像。
[0052]视频编码器35读出由图像处理部31生成并暂时存储在DRAM41中的显示用图像数据,将所读出的显示用图像数据输出到显示部37。
[0053]显示部37例如是液晶显示器或有机EL显示器这样的显示部,例如配置在数字照相机I的背面等。该显示部37根据从视频编码器35输入的显示用图像数据来显示图像。显示部37用于实时取景显示和已记录图像的显示等。
[0054]总线39与ADC27、CPU29、图像处理部31、曝光控制电路33、视频编码器35、DRAM41、R0M43、记录介质45、陀螺仪传感器47和加速度传感器49连接。这些各部中产生的各种数据经由总线39进行转送。
[0055]DRAM41是可电改写的存储器,暂时存储所述摄像数据(像素数据)、记录用图像数据、显示用图像数据、数字照相机I的移动量数据、CPU 29中的处理数据这样的各种数据。另夕卜,也可以使用SDRAM(Synchronous Dynamic Random Access Memory)来进行暂时存储。
[0056]作为存储部的一例发挥功能的R0M43是掩模ROM或闪存等非易失性存储器。R0M43存储CPU29中使用的程序、数字照相机I的调整值等各种数据。
[0057]记录介质45构成为内置或自由装填在数字照相机I中,将记录用图像数据记录为规定形式的图像文件。
[0058]陀螺仪传感器47是用于检测伴随数字照相机I的姿势变化而产生的角速度的传感器。陀螺仪传感器47将表示检测到的角速度的数据保存在DRAM41中。加速度传感器49是用于检测伴随数字照相机I的姿势变化而产生的加速度的传感器。加速度传感器49将表示检测到的加速度的数据保存在DRAM41中。如上所述,这些数据由CPU29进行处理。
[0059]在本实施方式中,在数字照相机I和被摄体静止时,通过使用独立电子快门的拍摄,也不会妨碍图像。但是,例如在被摄体移动时,当曝光时间在功能像素和非功能像素中不同时,仅在功能像素的部分中,像抖动产生差异,成为不自然的图像。在本实施方式中,为了防止该局部的像抖动的差异,在产生局部的像抖动的状况下,功能像素的信息利用周边的非功能像素的信息进行插值。另一方面,在未产生局部的像抖动的状况下,使用功能像素的信息作为图像信息。图像处理部31进行这种用于防止像抖动的差异的动作。
[0060]图5是示出图像处理部31的详细结构的图。在图5中,省略图像处理部31以外的块的图示。图像处理部31具有白平衡(WB)校正处理部102、抖动量估计部104、曝光时间差计算部106、校正方法判断部108、增益校正/周边插值部122、同时化处理部124、亮度特性转换部126、边缘强调处理部128、噪声降低(NR)处理部130、颜色再现处理部132。除此以外省略图示,但是,图像处理部31还具有压缩解压缩处理部等。
[0061]WB校正处理部102通过以规定增益量对摄像数据的各颜色成分进行放大,对图像的颜色平衡进行校正。
[0062]抖动量估计部104取得数字照相机I的像移动量,该数字照相机I的像移动量是根据基于陀螺仪传感器47和加速度传感器49取得的信息计算出的角速度和加速度而计算出的。并且,抖动量估计部104取得根据公知的块匹配等运算而计算出的图像内的每个区域的运动向量。抖动量估计部104根据数字照相机I的移动量和图像内的每个区域的运动向量,计算每个区域的像移动的量即像抖动量。
[0063]曝光时间差计算部106在根据各个用途而以适当曝光条件驱动功能像素和非功能像素的控制中,计算功能像素和非功能像素的快门速度的差分即曝光时间差。
[0064]校正方法判断部108具有手法判断部112和混合比例计算部114。手法判断部112根据抖动量估计部104计算出的每个区域的抖动量以及曝光时间差计算部106计算出的功能像素与非功能像素的曝光时间差,判断是否使用周边像素值对功能像素进行校正。在手法判断部112判断为使用周边像素值对功能像素进行校正的情况下,混合比例计算部114根据抖动量估计部104计算出的抖动量和曝光时间差计算部106计算出的曝光时间差,决定对功能像素自身的像素值和周边像素的像素值进行加权混合时使用的加权。
[0065]增益校正/周边插值部122作为对图像实施校正的校正部发挥功能。增益校正/周边插值部122根据混合比例计算部114计算出的加权,对功能像素自身的像素值和周边像素的像素值进行加权混合。
[0066]同时化处理部124例如将与拜耳排列对应地经由摄像元件21输出的摄像数据等的、一个像素对应于一个颜色成分的摄像数据转换为一个像素对应于多个颜色成分的图像数据。
[0067]亮度特性转换部126对由同时化处理部124生成的图像数据的亮度特性进行转换,以使其适合于显示或记录。边缘强调处理部128对使用带通滤波器等从图像数据中提取出的边缘信号乘以边缘强调系数,将其结果与原来的图像数据进行相加,由此,对图像数据中的边缘(轮廓)成分进行强调。NR处理部130使用取芯处理(coring processing)等去除图像数据中的噪声成分。
[0068]颜色再现处理部132进行用于使图像的颜色再现成为适当颜色再现的各种处理。作为该处理,例如存在彩色矩阵运算处理。该彩色矩阵运算处理是对图像数据乘以例如与白平衡模式对应的彩色矩阵系数的处理。除此之外,颜色再现处理部132进行彩度/色相的校正。
[0069]对本实施方式的数字照相机I的动作进行说明。参照图6所示的流程图对本实施方式的数字照相机I进行的动态图像记录的处理的一例进行说明。例如在动态图像拍摄模式中按压了释放按钮时,开始进行动态图像记录。并且,这里,对动态图像记录的处理进行说明,但是,在静态图像记录的动作中也能够进行同样的处理。另外,根据R0M43中存储的程序,参照图6说明的处理由CPU29执行,或者由ASIC执行。这些处理的程序还可以记录在光盘、磁盘或半导体存储器等各种记录介质中。
[0070]在SlOl中,CPU29开始进行摄像数据的取入。这里,CPU29对摄像控制电路23输入与当前的动作模式对应的设定数据。并且,曝光控制电路33将根据前帧取得的摄像数据决定的独立电子快门的曝光时间输入到摄像控制电路23。摄像控制电路23根据这些设定数据,对来自摄像元件21的像素数据的读出进行控制。当在摄像控制电路23中设定读出方式后,根据摄像控制电路23中设定的读出方式,从摄像元件21中读出进行像素混合或像素间疏后的状态的图像信号。从摄像元件21中读出的图像信号在ADC27中进行数字化后,作为摄像数据暂时存储在DRAM41中。
[0071]在S102中,曝光控制电路33根据摄像数据决定下一帧的曝光条件。这里,曝光控制电路33分别针对功能像素和非功能像素,计算适当的快门速度。这里,功能像素的快门速度和非功能像素的快门速度可以不同。
[0072]在S103中,曝光控制电路33独立地设定功能像素和非功能像素各自的快门速度。所设定的快门速度暂时存储在DRAM41中。该快门速度由摄像控制电路23读出。摄像控制电路23以所决定的快门速度对摄像元件21进行驱动。
[0073]在S104中,CPU29取得陀螺仪传感器47的输出和加速度传感器49的输出。CPU29根据陀螺仪传感器47的输出来计算数字照相机I的角速度,根据加速度传感器49的输出来计算数字照相机I的加速度。即,CPU29计算数字照相机I的移动量。这里,设根据陀螺仪传感器47的输出而计算出的值为第I移动量m0V_Sum_0。并且,设根据加速度传感器49的输出而计算出的值为第2移动量mov_sum_i。
[0074]并且,图像处理部31按照每个图像区域计算所摄像的图像中包含的被摄体的移动量mov_sum_v。在被摄体的移动量的计算中,例如可以使用基于块匹配的相关运算等已知的运动向量计算方法。
[0075]在S105中,图像处理部31进行本实施方式的像素校正处理。该像素校正处理是对基于非功能像素的快门速度与功能像素的快门速度的差异而引起的图像劣化进行校正的处理。该像素插值处理在后面写详细叙述。
[0076]在S106中,图像处理部31对通过像素校正处理校正后的摄像数据进行图像处理以用于记录。在S107中,图像处理部31将实施了图像处理后的图像数据记录在记录介质中。
[0077]在S108中,CPU29判定是否输入了动态图像记录停止的指示。例如,通过在动态图像记录动作中按压释放按钮来输入动态图像记录停止的指示。在未输入动态图像记录停止的指示时,处理返回步骤SlOl。另一方面,在输入了动态图像记录停止的指示时,本动态图像记录处理结束。
[0078]接着,参照图7所示的流程图对像素校正处理进行说明。在步骤S201中,抖动量估计部104从DRAM41中取得根据陀螺仪传感器47的输出而在步骤SI 04中计算出的数字照相机I的第I移动量m0V_sum_0。并且,抖动量估计部104从DRAM41中取得根据加速度传感器49的输出而计算出的数字照相机I的第2移动量mov_sum_i。
[0079]在步骤S202中,抖动量估计部104判定第I移动量m0V_sum_0是否大于第2移动量mov_sum_i。在第I移动量mov_sum_o大于第2移动量mov_sum_iJt,处理进入步骤S203。在步骤S203中,抖动量估计部104将最终决定的数字照相机I的第3移动量m0V_sum_f?决定为第I移动量mov_sum_o。然后,处理进入步骤S205。
[0080]在步骤S202的判定中判定为第I移动量mov_sum_o不大于第2移动量mov_sum_iJf,处理进入步骤S204。在步骤S204中,抖动量估计部104将最终决定的数字照相机I的第3移动量mov_sum_f7:^:定为第2移动量mov_sum_i。然后,处理进入步骤S205。
[0081 ] 通过步骤S201?步骤S204的处理,第3移动量mov_sum_fS定为由陀螺仪传感器47取得的数字照相机I的移动量和由加速度传感器49取得的数字照相机I的移动量中的较大一方。
[0082]步骤S205?步骤S216的处理是针对全部功能像素依次进行的循环处理。在步骤S205中,抖动量估计部104从DRAM41中取得在步骤S104的使用块匹配的运动向量计算处理中计算出的被摄体的移动量mo v_sum_v。
[0083]在步骤S206中,抖动量估计部104判定第3移动量m0V_sum_f是否大于被摄体的移动量mov_sum_v。在判定为第3移动量mov_sum_f大于被摄体的移动量mov_sum_^t,处理进入步骤S207。在步骤S207中,抖动量估计部104将最终计算出的校正对象区域的移动量mov决定为第3移动量mov_sum_f。然后,处理进入步骤S209。
[0084]在步骤S206的判定中判定为第3移动量mov_sum_f■不大于被摄体的移动量mov_sum_Wt,处理进入步骤S208。在步骤S208中,抖动量估计部104将最终计算出的校正对象区域的移动量mov决定为被摄体的移动量mov_sum_v。然后,处理进入步骤S209。
[0085]通过步骤S205?步骤S208的处理,校正对象区域的移动量mov设定为第3移动量mov_sum_f和被摄体的移动量mo v_sum_v中的较大一方。这样,校正对象区域的移动量mo v成为表示按照每个对象区域考虑了基于数字照相机I的运动而引起的抖动和基于被摄体的运动而引起的抖动的、对象区域中可能包含的抖动量的值。
[0086]在步骤S209中,曝光时间差计算部106从DRAM41中取得非功能像素的曝光时间tv_normal和功能像素的曝光时间tv_funct1nal。在步骤S210中,曝光时间差计算部106计算非功能像素的曝光时间tv_normal与功能像素的曝光时间tv_funct1nal之差的绝对值即曝光时间差tv_dif。
[0087]在步骤S211中,手法判断部112判定曝光时间差tv_dif是否大于第I阈值。在判定为曝光时间差tv_dif不大于第I阈值时,处理进入步骤S216。另一方面,在判定为曝光时间差tv_dif大于第I阈值时,处理进入步骤S212。
[0088]在步骤S212中,手法判断部112判定校正对象区域的移动量mov是否大于第2阈值。在判定为校正对象区域的移动量mov不大于第2阈值时,处理进入步骤S216。另一方面,在判定为校正对象区域的移动量mov大于第2阈值时,处理进入步骤S213。
[0089]在步骤S213中,混合比例计算部114根据校正对象区域的移动量mov和曝光时间差tv_dif,决定表示功能像素的利用比例的系数k。对系数k的决定方法的一例进行说明。[°09°]图8A示出校正对象区域的移动量mov与根据移动量mov决定的功能像素的利用比例即第I利用比例kl的关系。如该图所示,在校正对象区域的移动量mov小于规定值时,第I利用比例kl设定为0.5。校正对象区域的移动量mo V越大,则第I利用比例k I越小。图8B示出曝光时间差tv_dif与根据曝光时间差tv_dif决定的功能像素的利用比例即第2利用比例k2的关系。如该图所示,在曝光时间差tv_dif小于规定值时,第2利用比例k2设定为0.5。曝光时间差tv_dif越大,贝Ij第2利用比例k2越小。功能像素的利用比例k由k = kl+k2决定。
[0091]在校正对象区域的移动量mov和曝光时间差tv_dif足够小时,功能像素的利用比例k设定为I。在校正对象区域的移动量mov微小时,认为对图像造成的影响足够小,所以,如图8A所示,在校正对象区域的移动量mov微小时,第I利用比例kl设定为0.5。同样,在曝光时间差tv_dif微小时,认为对图像造成的影响足够小,所以,如图8B所示,在曝光时间差tv_d i f微小时,第2利用比例k2设定为0.5。
[0092]这里,图8A和图SB所示的关系当然是一例。它们的关系也可以是其他关系。例如,它们的关系也可以不具有线性关系而具有非线性关系。校正对象区域的移动量和曝光时间差也可以不具有相同程度的加权,而是重视某一方。即,例如,也可以是校正对象区域的移动量为O时的第I利用比例为0.7、曝光时间差为O时的第2利用比例为0.3这样的组合。
[0093]返回图7继续进行说明。在步骤S214中,混合比例计算部114使用功能像素的利用比例k,根据下式决定校正像素值I。
[0094]I = (l~k) X c_pix+k X g_pix
[0095]其中,g_pix是作为校正对象的功能像素的输出值或增益调整后的作为校正对象的功能像素的输出值。并且,c_pix是校正对象像素附近的像素值的相加平均值。即,在设作为对象的功能像素的坐标为[O ] [O ],设该坐标的像素值为PiX[O ] [O ]时,c_piX例如由下式给出。
[0096]c_pix=(pix[-l][0]+pix[0][_l]+pix[+l][0]+pix[0][+l])/4
[0097]其中,坐标[_1][0]表示坐标[0][0]的像素的左侧相邻的像素的坐标,坐标[0][-1]表示坐标[O] [O]的像素的下侧相邻的像素的坐标,坐标[+1] [O]表示坐标[O] [O]的像素的右侧相邻的像素的坐标,坐标[0][+1]表示坐标[0][0]的像素的上侧相邻的像素的坐标。
[0098]在步骤S215中,混合比例计算部114将校正对象像素的值置换为校正像素值I。
[0099]在步骤S216中,混合比例计算部114不进行校正,或仅进行增益的调整。在曝光时间差tv_dif足够小时,不需要进行校正,所以,进行步骤S216的处理。并且,在校正对象区域的移动量mov即抖动足够小时,不需要进行校正,所以,进行步骤S216的处理。
[0100]如上所述,将全部功能像素作为对象反复进行步骤S205?步骤S216的处理。
[0101]根据以上动作,在数字照相机I和被摄体不存在运动时、曝光时间在功能像素和非功能像素中不存在差异时,通过对功能像素的输出自身进行增益调整并使用,防止了分辨率劣化。并且,在数字照相机I和被摄体存在运动时、曝光时间在功能像素和非功能像素中存在差异时,对基于功能像素和非功能像素中可能产生的抖动量之差而引起的画质劣化进行校正。因此,根据本实施方式的数字照相机I,减少了由于曝光时间在功能像素和非功能像素中不同而可能产生的画质劣化,关于针对图案的影响,也能够实现健全性较高的校正。
[0102]在以上的说明中,以在功能像素和非功能像素中使用2种不同的曝光时间的情况为例进行了说明,但是,在按照每个像素使用2种以上的不同的曝光时间的情况下,本实施方式的对图像劣化进行校正的图像处理发挥效果。
【主权项】
1.一种图像处理装置,其对使用包含多个像素且根据所述像素的位置应用至少2种不同曝光时间的摄像元件得到的图像数据实施图像处理,所述图像处理装置具有: 抖动量估计部,其估计所述图像数据中存在的像抖动量;以及 校正部,其根据所述像抖动量对所述图像数据实施校正。2.根据权利要求1所述的图像处理装置,其中, 取得了所述图像数据的所述摄像元件包含曝光时间相互不同的第I像素和第2像素, 所述图像处理装置还具有曝光时间差计算部,该曝光时间差计算部计算所述第I像素的曝光时间与所述第2像素的曝光时间之差即曝光时间差, 所述校正部根据所述曝光时间差对所述图像数据实施所述校正。3.根据权利要求2所述的图像处理装置,其中, 所述图像处理装置还具有混合比例计算部,该混合比例计算部根据所述曝光时间差和所述像抖动量,决定第I比例和第2比例,该第I比例是使用作为对象的所述第I像素检测到的光量的比例,该第2比例是使用位于作为所述对象的所述第I像素的周边的所述第2像素检测到的光量的比例, 所述校正部根据所述第I比例和所述第2比例对所述图像数据实施所述校正。4.根据权利要求3所述的图像处理装置,其中, 所述曝光时间差越大,则混合比例计算部越提高所述第2比例。5.根据权利要求3或4所述的图像处理装置,其中, 所述像抖动量越大,则混合比例计算部越提高所述第2比例。6.根据权利要求1所述的图像处理装置,其中, 取得了所述图像数据的所述摄像元件包含曝光时间相互不同的第I像素和第2像素,所述图像处理装置还具有校正方法判断部,该校正方法判断部根据所述抖动量估计部计算的所述像抖动量、以及所述第I像素的曝光时间和所述第2像素的曝光时间,决定所述校正的内容, 所述校正部根据所述校正的内容对所述图像数据实施所述校正。7.根据权利要求6所述的图像处理装置,其中, 所述图像处理装置还具有曝光时间差计算部,该曝光时间差计算部计算所述第I像素的曝光时间与所述第2像素的曝光时间之差即曝光时间差, 所述校正方法判断部在判断为存在所述曝光时间差、且存在所述像抖动量时,决定进行校正, 当所述校正方法判断部决定进行所述校正时,所述校正部使用作为对象的所述第I像素检测到的光量、和位于作为所述对象的所述第I像素的周边的所述第2像素检测到的光量,对作为所述对象的所述第I像素检测到的光量进行校正。8.根据权利要求1所述的图像处理装置,其中, 所述抖动量估计部根据所述图像数据的整体中均匀产生的像抖动和所述图像数据的一部分中局部产生的像抖动,估计所述像抖动量。9.一种摄像装置,其具有: 所述摄像元件;以及 权利要求1?8中的任意一项所述的图像处理装置。10.根据权利要求9所述的摄像装置,其中, 所述摄像元件的多个像素中的一部分是被赋予了特定的功能的功能像素,所述功能像素以外的像素是未被赋予所述功能的非功能像素, 在所述功能像素和所述非功能像素中,所述曝光时间不同。11.根据权利要求10所述的摄像装置,其中, 所述功能像素是焦点检测像素。12.根据权利要求10或11所述的摄像装置,其中, 所述摄像装置还具有曝光控制部,该曝光控制部在所述功能像素和所述非功能像素中进行不同的曝光控制。13.根据权利要求12所述的摄像装置,其中, 曝光控制部根据被摄体的亮度,使所述功能像素的曝光时间和所述非功能像素的曝光时间不同。14.根据权利要求13所述的摄像装置,其中, 如果所述被摄体为低亮度,则所述曝光控制部使所述功能像素的所述曝光时间比所述非功能像素的所述曝光时间长,如果所述被摄体为高亮度,则所述曝光控制部使所述功能像素的所述曝光时间比所述非功能像素的所述曝光时间短。15.—种图像处理方法,其针对使用包含多个像素的摄像元件得到的图像数据,所述摄像元件根据所述像素应用至少2种不同的曝光时间,所述图像处理方法包括以下步骤: 估计所述图像数据中存在的像抖动量的步骤;以及 根据所述像抖动量对所述图像数据实施校正的步骤。16.—种图像处理程序,其用于使计算机执行针对使用包含多个像素的摄像元件得到的图像数据的图像处理,所述摄像元件根据所述像素应用至少2种不同的曝光时间,所述图像处理程序用于使计算机执行以下步骤: 估计所述图像数据中存在的像抖动量的步骤;以及 根据所述像抖动量对所述图像数据实施校正的步骤。
【文档编号】G03B5/00GK105830431SQ201580003043
【公开日】2016年8月3日
【申请日】2015年3月25日
【发明人】冈泽淳郎
【申请人】奥林巴斯株式会社
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1