图像处理装置和图像处理方法
【专利摘要】本发明提供一种图像处理装置和图像处理方法，能够减轻配置有通常像素的区域和配置有相位差像素的区域的颜色差异。图像处理装置具有在摄像像素的一部分位置上配置有用于进行焦点检测的相位差检测像素的摄像元件(21)，图像处理方法根据受到来自相位差检测像素的串扰影响的像素(Rsum、Bsum)的像素值、和在其附近的未受到来自相位差检测像素的串扰影响的同色像素(Rsum1～Rsum6、Bsum1～Bsum6)的像素值，估计各自的像素值的串扰差分量，根据估计出的串扰差分量来校正受到来自相位差检测像素的串扰影响的像素(Rsum、Bsum)的像素值。
【专利说明】图像处理装置和图像处理方法
【技术领域】
[0001]本发明涉及一种能够减轻配置有通常像素的区域和配置有相位差像素的区域的颜色差异的图像处理装置和图像处理方法。
【背景技术】
[0002]以下技术已经实用化:在摄像元件的一部分上配置用于检测相位差的相位差像素，从这些相位差像素中取得相位差信息，计算摄影光学系统的散焦量，并将其用于自动对焦。另一方面，作为摄像元件的一般特性，公知有向相邻像素泄漏电荷(称为串扰(crosstalk))现象。摄像元件的串扰的电荷量与向像素的入射光量大致成正比，然而相位差像素与通常像素相比入射光量较少，因而相对于通常像素，串扰量减少。
[0003]因此，在拍摄了相同颜色的被摄体的情况下，在配置有通常像素的区域和配置有相位差像素的区域，颜色会不同。为了解决该问题，提出了根据关注像素(通常像素)的周边的相位差像素来估计串扰量并对关注像素值进行校正的摄像装置(例如，参照US8094232)。
[0004]在实时取景显示时和动态图像记录时等，为了高速地从摄像元件读出图像数据，一般对摄像元件的同色多个像素进行加法合成。由于该加法合成，串扰的影响传播到受到串扰影响的像素的周围，根据周边的像素值估计串扰量变得困难。
【发明内容】
[0005]本发明是鉴于上述情况而作成的，本发明的目的是提供一种能够减轻配置有通常像素的区域和配置有相位差像素的区域的颜色差异的图像处理装置、图像处理方法以及图像处理用程序。
[0006]本发明的图像处理装置具有:摄像元件，其在摄像像素的一部分位置上配置有用于进行焦点检测的相位差检测像素；串扰影响量估计部，其根据受到来自上述相位差检测像素的串扰影响的像素的像素值、和位于其附近的未受到来自上述相位差检测像素的串扰影响的像素的像素值，来估计各自的像素值的串扰影响量；以及校正处理部，其根据由上述串扰影响量估计部估计出的串扰影响量，来校正受到来自上述相位差检测像素的串扰影响的像素的像素值。
[0007]本发明的图像处理装置具有:摄像元件，其在摄像像素的一部分位置上配置有用于进行焦点检测的相位差检测像素；第I混合部，其对配置在上述摄像元件的第I区域内的、包含受到来自上述相位差检测像素的串扰影响的像素在内的多个同色像素的像素值进行混合；第2混合部，其仅对配置在上述摄像元件的第2区域内的、未受到来自上述相位差检测像素的串扰影响的多个同色像素的像素值进行混合；串扰影响量估计部，其根据各自的混合像素值，估计上述第I区域内的混合像素值和上述第2区域内的混合像素值的串扰影响量；以及校正处理部，其根据由上述串扰影响量估计部估计出的串扰影响量，来校正上述第I区域内的受到来自上述相位差检测像素的串扰影响的像素的像素值。
[0008]本发明涉及的图像处理方法是图像处理装置中的图像处理方法，所述图像处理装置具有摄像元件，所述摄像元件在摄像像素的一部分位置上配置有用于进行焦点检测的相位差检测像素，所述图像处理方法包括:估计步骤，根据受到来自上述相位差检测像素的串扰影响的像素的像素值、和位于其附近的未受到来自上述相位差检测像素的串扰影响的同色像素的像素值，估计各自的像素值的串扰影响量；以及校正步骤，根据上述估计出的串扰影响量，来校正受到来自上述相位差检测像素的串扰影响的像素的像素值。
[0009]本发明提供一种能够减轻配置有通常像素的区域和配置有相位差像素的区域的颜色差异的图像处理装置和图像处理方法。
【专利附图】
【附图说明】
[0010]图1是示出本发明的一个实施方式的照相机的主要电气结构的框图。
[0011]图2A —图2C是说明本发明的一个实施方式的照相机中的串扰发生的曲线图。
[0012]图3是示出在本发明的一个实施方式的照相机的摄像元件中的相位差像素的配置区域的图。
[0013]图4是示出在本发明的一个实施方式的照相机的摄像元件中的、对相位差像素的配置图案和对周边像素的串扰影响的图。
[0014]图5A、图5B是示出在本发明的一个实施方式的照相机的摄像元件中的、像素加法时的串扰传播的图。
[0015]图6是示出在本发明的一个实施方式的照相机的摄像元件中的、像素加法数据和串扰估计用像素累加区域的图。
[0016]图7是示出在本发明的一个实施方式的照相机的摄像元件中的串扰估计用像素累加数据的图。
[0017]图8是示出本发明的一个实施方式的照相机的串扰校正的动作的流程图。
【具体实施方式】
[0018]以下，依照附图，使用应用了本发明的照相机来说明优选实施方式。本发明的优选的一个实施方式的照相机是数字照相机，设置有摄像部，该摄像部具有摄像元件，该摄像元件在摄像像素的一部分上具有基于相位差检测方式的焦点检测用的相位差像素，通过该摄像部将被摄体像转换成摄像数据，并且，根据来自相位差像素的输出并通过公知的相位差检测方式来计算散焦方向和散焦量，进行摄影镜头的对焦。
[0019]并且，根据由摄像部生成的摄像数据进行实时取景显示，并且进行静态图像拍摄或动态图像拍摄。此时，根据受到来自相位差像素的串扰影响的像素的像素值、和位于其附近的未受到来自相位差像素的串扰影响的同色像素的像素值，来估计各自的像素值的串扰差分量，根据该估计出的串扰差分量校正受到来自相位差像素的串扰影响的像素的像素值。使用该校正后的像素值，进行实时取景显示或动态图像拍摄等。
[0020]图1是示出本发明的一个实施方式的照相机的主要电气结构的框图。在图1中，带箭头的实线表示数据流，带箭头的虚线表示控制信号流。在照相机内具有:摄影镜头
11、光圈13、机械快门15、驱动部17、操作部19、摄像元件21、A 一 AMP23、模拟数字转换器(ADC) 25、摄像控制电路26、CPU (Central Processing Unit,中央处理单元)27、图像处理部29、焦点检测电路31、视频编码器33、总线35、DRAM(Dynamic Random Access Memory:动态随机存取存储器)37、ROM (Read Only Memory:只读存储器)39、闪存41。
[0021]摄影镜头11由用于形成被摄体像的多个光学透镜构成，是单焦点镜头或者变焦镜头。在该摄影镜头11的光轴的后方配置有光圈13，该光圈13的开口径是可变的，限制通过摄影镜头11的被摄体光束的光量。在光圈13的后方配置有机械快门15，对通过摄影镜头的被摄体光束的通过时间进行控制。作为机械快门15，采用公知的焦平面快门、中心式快门等。
[0022]驱动部17根据从CPU27输出的控制信号，进行摄影镜头11的焦点调节、光圈13的开口径控制、以及机械快门15的开闭控制(快门控制)。
[0023]操作部19包括电源按钮、释放按钮、再现按钮、菜单按钮等各种输入按钮和各种输入键等操作部件，检测这些操作部件的操作状态，将检测结果输出到CPU27。可以在拍摄模式拨盘或菜单画面等中选择静态图像拍摄模式和动态图像拍摄模式。当选择了动态图像拍摄模式时，操作释放按钮，则动态图像拍摄开始，再次操作释放按钮，则动态图像拍摄结束。另外，在操作部19上设置动态图像按钮，当操作了动态图像按钮时，开始动态图像拍摄等，作为拍摄选择部，当然可以置换为其它方法。
[0024]在摄影镜头11的光轴上，且在机械快门15的后方，而且在通过摄影镜头11使被摄体像成像的位置附近配置有摄像元件21。在摄像元件21内，在像素的一部分内设置有用于进行焦点检测的相位差像素。并且，在摄像元件21中，构成各像素的光电二极管以二维形式配置成矩阵状，各光电二极管产生与受光量对应的光电转换电流，该光电转换电流由与各光电二极管连接的电容器蓄积电荷。
[0025]在各像素的入射面侧配置有拜耳排列的滤色器。拜耳排列具有在水平方向上交替配置有R像素和G像素的行、和交替配置有G像素和B像素的行。G像素的一部分被置换为焦点检测用的相位差像素。在本实施方式中，以拜耳排列作为前提，然而本发明不限定于此。也可以是蜂窝状排列的摄像装置或滤色器的配置周期是不规则。并且，相位差像素也不限于是G像素的一部分，配置周期和配置部位、滤色器的类别和滤色器的有无也不限定于此。
[0026]并且，摄像元件21还实现作为混合部的功能，该混合部在从通常像素和相位差像素中读出信号时混合(加法处理)规定区域内的同色像素的像素值并将其输出。在本实施方式中，混合部的功能由摄像元件实现，然而也可以在后述的ADC25中对像素值进行混合。后面使用图3和图4对摄像元件21的详细结构进行说明。另外，在本说明书中，如果是基于从摄像元件21的像素输出的模拟图像信号的信号，则不仅包含由后述的ADC25进行A/D转换后的信号，而且还包含图像信号而称为摄像数据(图像数据)。
[0027]摄像元件21的输出与A — AMP23连接。A — AMP23进行从摄像元件21输出的图像信号的模拟增益调整。A - AMP23的输出与ADC25连接。
[0028]ADC25是模拟数字转换器，将由A — AMP23进行了模拟增益调整后的图像信号转换成数字形式的摄像数据(图像数据)。该摄像数据包含有来自非焦点检测用的通常像素的数据、和来自焦点检测用的相位差像素的数据这双方的数据。另外，如上所述，ADC25也可以实现作为将规定区域内的同色像素的像素值进行混合并输出的混合部的功能。ADC25的输出被输出到总线35，摄像数据被临时存储在后述的DRAM37内。
[0029]摄像控制电路26依照CPU27的控制命令，进行摄像元件21的曝光开始和读出等的控制。摄像控制电路26根据在静态图像拍摄时、实时取景显示时、动态图像拍摄时等的驱动模式，变更其读出控制。例如，进行所述的像素值的混合。即，控制成，在实时取景显示或者动态图像拍摄时，由于与静态图像相比不需要那么多像素数而在I秒钟取得多帧图像，因此，通过像素加法进行像素值的混合。
[0030]与总线35连接的CPU27依照存储在后述的R0M39内的程序，控制各部和各电路等，进行照相机的整体控制。CPU27执行作为串扰影响量估计部的功能，该串扰影响量估计部根据受到来自相位差像素的串扰影响的像素的像素值、和位于其附近的、未受到来自相位差像素的串扰影响的同色像素的像素值，估计各自的像素值的串扰差分量。在本实施方式中，使用串扰差分量作为串扰影响量，但是，串扰影响量不限于串扰差分量，只要是与串扰的影响对应的值就能够进行利用。后面使用图2A —图2C对串扰影响量的估计进行说明。
[0031]图像处理部29经由总线35从DRAM37输入摄像数据，进行各种图像处理，生成静态图像或动态图像的记录用图像数据，该生成的记录用图像数据暂且临时存储在DRAM37内。并且，使用从DRAM37读出的动态图像的图像数据，生成显示用图像数据，暂且临时存储在 DRAM37 内。
[0032]并且，图像处理部29针对摄像元件21内的焦点检测用像素位置处的相位差像素的数据，使用其周围的像素数据进行插值处理等，去除串扰产生的影响。即，图像处理部29实现作为校正处理部的功能，该校正处理部根据由串扰影响量估计部估计出的串扰影响量来校正受到来自上述相位差像素的串扰影响的像素的像素值。另外，在本实施方式中，使用串扰差分量作为串扰影响量来进行像素值的校正。后面使用(3)式和图8的S5、Sll来对该串扰校正进行说明。
[0033]焦点检测电路31取得临时存储在DRAM37内的来自相位差像素的数据，根据该数据，计算基于公知的相位差AF的散焦方向和散焦量。CPU27根据由焦点检测电路31计算出的散焦方向和散焦量，通过驱动部17进行摄影镜头11的对焦。
[0034]视频编码器33读出由图像处理部29生成并临时存储在DRAM37内的显示用图像数据，并将其输出到LCD/TV43。LCD是液晶显示部，在照相机的背面等用于实时取景显示和已记录图像的再现显示等。并且，TV是外部的电视装置，用于已记录图像的再现显示等。
[0035]DRAM37是可电改写的存储器，如上所述，进行图像数据、记录用图像数据、显示用图像数据等的临时存储。并且，CPU27还进行在进行照相机的控制时的各种数据的临时存储。作为图像数据的临时存储用，可以使用SDRAM (Synchronous Dynamic Random AccessMemory,同步动态随机存取存储器)。后述的串扰校正是使用临时存储的图像数据进行的。
[0036]R0M39是掩模ROM或闪存等的非易失性存储器。在R0M39内，除了在前述的CPU27中使用的程序以外，还存储有照相机的调整值等各种数据。闪存41可内置或装填在照相机内，是图像数据记录用的存储介质。
[0037]下面，使用图2A —图2C对本实施方式的照相机的摄像元件21中的串扰进行说明。图2A中，根据入射光量，示出通常像素内的G像素(Gnor)和与G像素相邻的R像素或B像素(称为R/B)的像素值的变化。在到达入射光量Il之前，无论G像素还是R/B像素都输出与入射光量成正比的像素值。不过，由于G像素与R/B像素相比感光度高，因而在入射光量Il达到饱和状态。
[0038]在图2A中，当与入射光量Il相比光量增加时，由于G像素(Gnor)达到饱和状态，因而在G像素(Gnor)中产生的电荷向周围的R/B像素移动。因此，以C点为界，R/B像素的像素值为R/Bcr。S卩，由虚线表示的R/B线和R/Bcr线夹住的区域(图中，阴影区域)相当于由串扰引起的像素值的变化量。
[0039]图2B表示在除了通常像素的G像素和R/B像素以外、还在通常像素的周围配置了相位差像素(Gph)(图中由斜字体表示)的情况下的入射光量和像素值的变化。相位差像素(Gph)(图中由斜字体表示)配置有覆盖像素的一部分的遮光板，用于取得相位差检测。因此，与通常像素的G像素相比较，感光度变低，即使通常像素的入射光量达到入射光量Il并达到饱和水平，相位差像素(Gph)(图中由斜字体表示)的像素值也达不到饱和水平，而是在达到入射光量12后，达到饱和水平。
[0040]并且，在图2B中，线R/Bnor表示在仅通常像素与R/B像素的周围相邻的情况下的由串扰引起的变化量，线R/Bph表示在相位差像素也与R/B像素的周围相邻的情况下的由串扰引起的变化量。由线R/Bnor和线R/Bph夹住的区域(图中，阴影区域)表示串扰的差分量。另外，线R/B的延长线上的虚线表示在没有串扰影响的情况下的R/B像素的像素值。
[0041]图2C是仅取出了图2B中的串扰差分量的部分的图。在仅通常像素与R/B像素的周围相邻的情况下，如上所述，是R/Bnor,串扰量大。另一方面，在R/B像素的周围有相位差像素的情况下，是R/Bph，串扰量小。在入射光量12中，R/Bnor的像素值是D’，R/Bph的像素值是D。
[0042]下面，使用图3对相位差像素Gph(或者Gb)的配置区域进行说明。如上所述，在摄像元件21的摄像面上排列有由G像素、R像素、B像素构成的通常像素和被置换到G像素的位置上的相位差像素Gph(或者Gb)。其中，通常像素被配置在摄像元件21的有效像素区域21a的整个面上，而相位差像素Gph (或者Gb)如图3所示仅被配置在区域21b?21d内。另外，关于相位差像素Gph (或者Gb)的配置，除了图3所示的横长地配置区域以外，还可以呈矩阵状地配置矩形或圆形的小区域等，根据测距区域的配置适当决定即可。
[0043]下面，使用图4来说明区域21b?21d内的相位差像素的配置图案和对周边像素的串扰影响。在图4中，Gr、Gb分别表示与R像素和B像素相同行状的G像素。这些R、Gr、Gb、B像素是摄像用像素。
[0044]并且，在图4中，由斜字体表示的Gb是相位差像素，被配置在Gb像素的位置上，左右的任意一方开口，左侧、右侧中的任一方的光束入射到G像素。在图4所示的例子中，相位差像素被配置在(x3, y3)、(x7, y3)、(xll, y3)、(x3, y7)、(x7, y7)、(xll, y7)、..?的位置。另外，假定左右任意一方开口而对相位差像素的配置进行了说明，然而，当然也可以是上下任意一方开口，或在斜方向上开口等，除了图4所示的配置以外，还可以适当变更。
[0045]并且，在图4中，实施了下线的S像素和E像素表示受到来自相位差像素Gb (图中由斜字体表示)的串扰影响的像素。在图4所示的例子中，是在相位差像素(Gb) (x3，y3)(图中Gb由斜字体表示)的周围的(x3, y2) (x3, y4)的E像素以及(x2, y3) (x4, y3)的B像素等。
[0046]下面，使用图5A和图5B来说明动态图像用的像素加法和由像素加法引起的串扰传播。在动态图像拍摄时或实时取景显示时，使用向同色像素相加后得到的数据，进行显示和图像数据的记录。该加法处理是将图5A所示的Rl?R4像素(相当于图4的(x3，y2)(x5, y2) (x3, y4) (x5, y4))相加，作为图5B所示的R’像素。同样，将Grl?Gr4像素(相当于图4的(x4, y2) (x6, y2) (x4, y4) (x6, y4))相加,作为图5B所示的Gr’像素。
[0047]并且，将Gbl ?Gb4 像素(相当于图 4 的(x3,y3) (x5,y3) (x3,y5) (x5,y5))相加，作为图5B所示的Gb’像素。同样，将BI?B4像素(相当于图4的(x4，y3) (x6, y3) (x4,y5) (x6，y5))相加，作为图5B所示的B’像素。
[0048]另外，如上所述，同色像素的加法处理可以在摄像元件21内通过模拟处理进行，也可以在从摄像元件21读出之后以模拟形式进行加法处理，或者以数字形式进行加法处理。并且，在本实施方式中，对同色4个像素进行加法处理并作为I个像素(2 X 2像素)，然而不限于此，进行加法的像素数可以适当变更。
[0049]这样，当进行了动态图像用的像素加法处理时，串扰的影响传播。例如，在Rl?R4像素内，Rl像素和S3像素受到串扰影响，因此，对Rl?R4像素进行加法处理得到的加法R’像素受到串扰影响。同样，对BI?B4像素进行加法处理得到的加法B’像素也受到串扰影响。
[0050]图6示出图5A和图5B所示的加法处理后的加法R’像素、加法B’像素、加法Gr’像素、加法Gb’像素的有效像素区域21a内的配置。粗线表示的区域21b被分为多个累加区域21bL...。并且，在区域21b内存在相位差像素，在其外侧不存在相位差像素。如使用图5A和图5B所说明那样，在存在相位差像素的区域21b?21d中，由相位差像素引起的串扰由于进行加法处理而传播。另一方面，如在图2A —图2C中所说明那样，由于在相位差像素周围和其以外，串扰影响程度不同，因而区域21b?21d内的串扰影响与外侧区域相比较小。因此，在相位差像素的区域21b?21d和其外侧的区域中，颜色会不同。
[0051]因此，在本实施方式中，使用不存在相位差像素的区域内的加法像素值(加法R’值、加法B’值)对存在相位差像素的区域内的加法像素值(加法s’值、加法S’值)进行校正运算处理。在校正运算处理时，以累加区域为单位进行校正系数的计算，按照加法像素进行校正处理。累加区域在图6所示的例子中以6X8加法像素为单位(图中的粗线框的范围)，然而不限于此，加法像素的数量可以合适变更。
[0052]如图7所示，在校正运算处理中，使用受到来自相位差像素的串扰影响的加法S’值的累加值Ssum、和未受到来自相位差像素的串扰影响的加法R’值的累加值Rsuml?Rsum6来计算校正系数，使用计算出的校正系数来校正累加区域内的加法E’值。并且，同样，使用受到来自相位差像素的串扰影响的加法S’值的累加值S.、和未受到来自相位差像素的串扰影响的加法B’值的累加值Bsuml?Bsum6来计算校正系数，使用计算出的校正系数来校正累加区域内的加法S’值。另外，累加值Ssum是累加区域内的加法R’值的总和，累加值Ssum是累加区域内的加法B’值的总和。
[0053]使用图8所示的流程图对该串扰校正处理进行说明。另外，该流程图是CPU27依据存储在R0M39内的程序控制图像处理部29、DRAM37等来执行的。
[0054]在进入串扰校正处理流程后，首先，计算要关注的Ssum的期待值(SI)。这里，使用在成为校正对象的Ssim的附近的6个Rsum,计算Ssim的期待值。具体地说，计算与累加值Esum相邻且关于Rsum位于对称位置的累加值的组合，即，计算Rsuml与RSUffl6、Rsim2与R_5、Rsim3与Rsum4 之差的绝对值(I RsuilI — Rsum61、I Rsum2 — Rsum51、I Rsum3 — RSUm41)，检测成为最小的 Rsum 的组合，将成为该最小的组合的平均值设定为Ssim的期待值。例如，在成为最小的组合是Rsiml和Rsun6的情况下，根据下述(I)式计算Rsum的期待值。
[0055]Esum 期待值=Average (Rsuml+Rsum6)...(I)
[0056]在计算出Rsum的期待值后，接下来，计算串扰校正系数Λ Vc (S3)。根据在步骤SI中计算出的Esum的期待值与作为校正对象的Esum之比来计算串扰校正系数。即，根据下述
(2)式计算串扰校正系数AVc。该串扰校正系数AVc相当于串扰差分量，由CPU27计算。
[0057]AVc = Rsum 期待值 /Esum...⑵
[0058]在计算出串扰校正系数后,接下来,使用串扰校正系数校正R像素(S5)。这里,使用同一串扰校正系数AVc校正同一累加区域(区域21b?21d)内的R像素(加法R’值)。即，根据下述(3)式计算校正后的R像素值。通过将该串扰校正系数AVc乘以R像素值，可以进行受到串扰影响的像素值的校正。另外，通过图像处理部29对各个像素进行该乘法处理。
[0059]R’(校正后)=R’(校正前)XAVc...(3)
[0060]在使用串扰校正系数校正了 R’像素后，接下来，对B’像素进行上述的步骤SI?S5的处理(S7?Sll)。这里，在步骤SI?S5中，仅是将Rsum置换为Bsum并实施相同的处理，因而省略详细说明。
[0061]在步骤Sll中，使用串扰校正系数校正了 B像素后，接下来，判定是否全部累加区域的校正处理已经结束(S13)。在串扰校正中，以累加区域(图6的粗线框的范围)为单位计算串扰校正系数，使用该串扰校正系数对加法R’值和加法值B’值进行校正。在该步骤中，判定是否针对全部累加区域校正处理结束。
[0062]步骤S13中的判定结果为针对全部累加区域校正处理未结束的情况下，设定下一累加区域，回到步骤SI，重复上述的校正处理。另一方面，在针对全部累加区域校正处理结束的情况下，结束串扰校正处理。
[0063]如以上说明那样，在本发明的一个实施方式中，摄像元件21在摄像像素的一部分位置上配置有用于进行焦点检测的相位差像素(例如，图5A的Gb (图中由斜字体表示))，根据受到来自相位差像素的串扰影响的像素(例如，图5A的E、S，图7的Esum、SsJ的像素值、和位于其附近的未受到来自相位差像素的串扰影响的同色像素(例如，图7的RSUffl、BsJ的像素值，来估计各自的像素值的串扰影响量(例如，图2B的D与D’的差分(或者R/Bnor与R/Bph的差分量)、在图像处理部29中执行的图8的S3、S9)，根据估计出的串扰影响量来校正受到来自相位差像素的串扰影响的像素的像素值(例如，图8的S5、Sll)。由于能够校正相位差像素的串扰，因而可以减轻配置有通常像素的区域和配置有相位差像素的区域的颜色差异。
[0064]并且，在本发明的一个实施方式中，具有混合部(例如，摄像元件21或者ADC25)，在受到来自相位差像素的串扰影响的像素存在于附近的情况下，该混合部对配置在规定区域内的、包含受到来自相位差像素的串扰影响的像素在内的多个同色像素的像素值进行混合(参照图5A、图5B)。关于串扰影响量的估计，根据混合部的输出像素值和位于其附近的未受到串扰影响的同色像素的像素值，来估计串扰影响量(参照图7、图8)。因此，即使在具有密集配置有相位差像素的区域、和稀疏配置或完全未配置相位差像素的区域的情况下，也可以减少由串扰引起的画质劣化。
[0065]并且，在本发明的一个实施方式中，向混合部输入的输入像素值是在摄像元件21内将多个同色像素的像素值进行混合而得到的像素值。因此，在动态图像或实时取景用的像素混合模式下取得的图像中，可以防止由串扰引起的画质劣化。
[0066]并且，在本发明的一个实施方式中，具有--第I混合部(例如，对图7的区域21b的像素进行混合的ADC25或者图像处理部29)，其对配置在摄像元件21的第I区域内的、包含受到来自相位差像素的串扰影响的像素在内的多个同色像素的像素值进行混合；第2混合部(例如，对图?的区域21b的外侧的像素进行混合的ADC25或者图像处理部29)，其仅对配置在摄像元件21的第2区域内的、未受到来自相位差像素的串扰影响的多个同色像素的像素值进行混合；串扰影响量估计部(例如，图2B的D与D’的差分(或者R/Bnor与R/Bph的差分量)，在图像处理部29中执行的图8的S3、S9))，其根据各自的混合像素值，估计第I区域内的混合像素值和第2区域内的混合像素值的串扰影响量；以及校正处理部(例如，由CPU27执行的图8的S5、S11)，其根据由串扰影响量估计部估计出的串扰影响量来校正第I区域内的受到来自相位差像素的串扰影响的像素的像素值。因此，即使在具有密集配置有相位差像素的第I区域、和稀疏配置或完全未配置相位差像素的第2区域的情况下，也可以减少由串扰引起的画质劣化。
[0067]并且，在本发明的一个实施方式中，第I区域(例如，图7的区域21b的内侧)被设定为，与至少I个以上的第2区域(例如，图7的区域21b的外侧)相邻。因此，可以高精度地估计串扰量，可以减少画质劣化。
[0068]并且，在本发明的一个实施方式中，校正处理部(例如，由CPU27执行的图8的S5、SiD根据估计出的串扰影响量，对成为校正对象的全部像素的像素值应用同一校正(例如，在同一累加区域内，使用同一串扰校正系数AVc)。由于对成为校正对象的全部像素进行校正，因而可以减少画面整体的画质的劣化。
[0069]另外，在本发明的一个实施方式中，如使用图7所说明那样，对来自摄像元件的像素值进行混合，对该混合后的像素值进行串扰校正。然而，不限于此，当然也可以不进行混合而按各像素进行串扰校正。通过对像素值进行混合，如实时取景或动态图像记录那样在图像高速更新的情况下，可以迅速地进行串扰校正。另一方面，通过不进行混合而按各像素进行串扰校正，即使如静态图像那样像素量较多，也可以得到高画质的图像。
[0070]并且，在本发明的一个实施方式中，在进行串扰校正运算时，如式(2)所示，根据Rsum期待值与Rsim之比求出串扰校正系数。然而，不限于比，也可以根据图2B的D与D’的差分值，即根据受到通常像素的串扰影响的R/B像素值、和受到相位差像素的串扰影响的R/B像素值的差分值等来进行串扰校正运算。
[0071]并且，在本发明的一个实施方式中，作为进行图像处理的设备，使用数字照相机作了说明，然而作为照相机，可以是数字单反照相机、无反射镜照相机、小型数字照相机，也可以是摄像机、摄影机那样的动态图像用的照相机，而且可以是内置于便携电话、智能电话或便携信息终端(PDA:Personal Digital Assist,个人数字助理)、游戏设备等中的照相机。无论哪种，只要是使用了在摄像像素的一部分位置上配置有用于进行焦点检测的相位差像素的摄像元件的设备，就可以应用本发明。
[0072]并且，关于权利要求、说明书和附图中的动作流程，为了方便起见，使用“首先”、“接下来”等表现顺序的语言作了说明，但在没有特别进行说明的场所，不是指必须按该顺序进行实施。
[0073]本发明并不限定为上述实施方式，在实施阶段能够在不脱离其宗旨的范围内对结构要素进行变形并具体化。此外，能够通过上述实施方式公开的多个结构要素的适当组合形成各种发明。例如，也可以删除实施方式所示的全部结构要素中的若干结构要素。并且，也可适当组合不同实施方式的结构要素。
【权利要求】
1.一种图像处理装置，所述图像处理装置具有: 摄像元件，其在摄像像素的一部分位置上配置有用于进行焦点检测的相位差检测像素； 串扰影响量估计部，其根据受到来自所述相位差检测像素的串扰的影响的像素的像素值、和位于受到所述影响的像素附近的未受到来自所述相位差检测像素的串扰影响的像素的像素值，来估计各自的像素值的串扰影响量；以及 校正处理部，其根据由所述串扰影响量估计部估计出的串扰影响量，来校正受到来自所述相位差检测像素的串扰影响的像素的像素值。
2.根据权利要求1所述的图像处理装置，其中， 所述图像处理装置还具有混合部，在受到来自所述相位差检测像素的串扰影响的像素存在于未受到来自所述相位差检测像素的串扰影响的像素附近的情况下，所述混合部对配置在规定的区域内的、包含受到来自所述相位差检测像素的串扰影响的像素在内的多个同色像素的像素值进行混合， 所述串扰影响量估计部根据所述混合部的输出像素值和位于受到所述影响的像素附近的未受到串扰影响的同色像素的像素值，估计所述串扰影响量。
3.根据权利要求2所述的图像处理装置，其中， 向所述混合部输入的输入像素值是在所述摄像元件内将多个同色像素的像素值进行混合而得到的像素值。
4.根据权利要求1所述的图像处理装置，其中， 所述校正处理部根据由所述串扰影响量估计部估计出的串扰影响量，对成为校正对象的全部像素的像素值应用同一校正。
5.一种图像处理装置，所述图像处理装置具有: 摄像元件，其在摄像像素的一部分位置上配置有用于进行焦点检测的相位差检测像素； 第I混合部，其对配置在所述摄像元件的第I区域内的、包含受到来自所述相位差检测像素的串扰影响的像素在内的多个同色像素的像素值进行混合； 第2混合部，其仅对配置在所述摄像元件的第2区域内的、未受到来自所述相位差检测像素的串扰影响的多个同色像素的像素值进行混合； 串扰影响量估计部，其根据各自的混合像素值，估计所述第I区域内的混合像素值和所述第2区域内的混合像素值的串扰影响量；以及 校正处理部，其根据由所述串扰影响量估计部估计出的串扰影响量，校正所述第I区域内的受到来自所述相位差检测像素的串扰影响的像素的像素值。
6.根据权利要求5所述的图像处理装置，其中， 所述第I区域被设定为与至少I个以上的第2区域相邻。
7.根据权利要求6所述的图像处理装置，其中， 向所述第I混合部和第2混合部输入的输入像素值是在所述摄像元件内将多个同色像素的像素值进行混合而得到的像素值。
8.根据权利要求5所述的图像处理装置，其中， 所述校正处理部根据由所述串扰影响量估计部估计出的串扰影响量，对成为校正对象的全部像素的像素值应用同一校正。
9.一种图像处理装置中的图像处理方法，所述图像处理装置具有摄像元件，所述摄像元件在摄像像素的一部分位置上配置有用于进行焦点检测的相位差检测像素，所述图像处理方法包括: 估计步骤，根据受到来自所述相位差检测像素的串扰的影响的像素的像素值、和位于受到所述影响的像素附近的未受到来自所述相位差检测像素的串扰影响的同色像素的像素值，来估计各自的像素值的串扰影响量；以及 校正步骤，根据所估计出的串扰影响量校正受到来自所述相位差检测像素的串扰影响的像素的像素值。
10.根据权利要求9所述的图像处理方法，其中， 所述图像处理方法还具有混合步骤，在该混合步骤中，在受到来自所述相位差检测像素的串扰影响的像素存在于未受到来自所述相位差检测像素的串扰影响的像素附近的情况下，对配置在规定的区域内的、包含受到来自所述相位差检测像素的串扰影响的像素在内的多个同色像素的像素值进行混合， 在所述估计步骤中，根据所述混合步骤中的输出像素值和位于受到所述影响的像素附近的未受到串扰影响的同色像素的像素值，估计所述串扰影响量。
【文档编号】H04N9/04GK104184937SQ201410207068
【公开日】2014年12月3日 申请日期:2014年5月16日 优先权日:2013年5月21日
【发明者】丰田哲也 申请人:奥林巴斯株式会社