摄像装置及图像处理方法

摄像装置及图像处理方法
【专利摘要】进行从如下摄像元件输出的RGB颜色信号的白平衡校正，上述摄像元件具有在各行上排列RGB滤色器并且RGB滤色器的个数比率根据行而不同的、特别的滤色器排列。在计算上述白平衡校正中使用的WB增益时，不使用上述摄像元件的总像素而间拔读出预定的行，基于间拔读出的预定的行的颜色信号，算出WB增益。并且，作为间拔的预定的行，在混色多的摄影条件(镜头F值、变焦位置)下选择混色少的行，在混色少的摄影条件下选择RGB滤色器的个数比率平均的行。
【专利说明】摄像装置及图像处理方法
【技术领域】
[0001]本发明涉及摄像装置及图像处理方法，尤其涉及一种高速且高精度地算出白平衡增益的技术。
【背景技术】
[0002]专利文献I记载了以下摄像装置:基于从摄像元件的整个区域的图像间拔(提取)的图像，算出白平衡增益(WB增益)，并且通过电子变焦正式拍摄摄像元件的部分区域的图像，通过上述算出的WB增益来进行白平衡校正。由此，从与正式拍摄的区域相比存在白色的概率高的区域的图像中检测出颜色温度，从而能够高精度地算出WB增益。
[0003]并且，专利文献2记载了以下内容:从固体摄像元件间拔读出像素的信号，或者加算并读出垂直方向的同色行中的多个像素信号，通过对该读出的信号进行检波(各颜色电平的积分处理)而算出WB增益。
[0004]另外，上述专利文献1、2所记载的摄像装置中适用的摄像元件具有拜耳排列的滤色器排列(专利文献I第0023段，图4、专利文献2的图3)。
[0005]拜耳排列中将绿(G)像素配置成棋盘式格纹状、将红(R)、蓝⑶按照线的顺序配置，所以存在因超过各颜色重现带域的高频信号的折返和各颜色相位偏差而产生低频的附加色(带色莫尔条纹)的问题。 [0006]为了解决这一问题，提出了将摄像元件的滤色器排列设为满足以下排列限制条件的3色随机排列的彩色摄像元件(专利文献3)，上述排列限制条件为，任意的关注像素与包括该关注像素的颜色在内的3种颜色在该关注像素的4边中的任一边相邻。
[0007]并且，专利文献4提出了以下摄像装置:使G滤光片的比例比R滤光片、B滤光片多，与将相同比例的滤色器配置为格子构造时相比，能够提高颜色的水平方向及垂直方向的分辨率，并且减少亮度信号中的带色莫尔条纹。
[0008]专利文献1:日本特开2007-295300号公报
[0009]专利文献2:日本特开2003-116143号公报
[0010]专利文献3:日本特开2000-308080号公报
[0011]专利文献4:日本特开平8-23542号公报

【发明内容】

[0012]发明要解决的问题
[0013]在具有马赛克状的滤色器排列的摄像元件中，因来自相邻像素的光的泄漏而产生混色。混色的程度取决于摄影镜头的焦距、光圈的F值等摄影条件。
[0014]当基于混色多的RGB颜色信号计算WB增益时，存在无法高精度地算出WB增益的问题。
[0015]在具有专利文献1、2所述的拜耳排列的摄像元件中，以RGrRGr的顺序重复的行及以GbBGb的顺序重复的行交替排列，在I行上不存在RGB像素，并且，在WB增益计算时，SP使适当变更行的间拔读出，也无法进行难以受到混色影响的间拔读出、易受到混色影响的间拔读出等。
[0016]另一方面，在专利文献3所述的3色随机排列的彩色摄像元件的情况下，虽然在I行上存在RGB图像，但RGB滤光片随机配置，因此在WB增益计算时，即使间拔读出任一行，也会取得受到了相同程度的混色影响的颜色信号，而无法算出降低了混色影响的高精度的WB增益。
[0017]并且，专利文献4所记载的滤色器排列中，水平、垂直方向的任意行均较多配置G滤光片，因此即使间拔读出任一行，RGB像素的个数比率也变得不平均。在求算WB增益时，求出RGB各颜色信号的累计平均值，但因平均的像素数不同，因此尤其当为了实现高速化而增大间拔率时，RGB的累计平均值的精度易产生偏差，存在无法高精度地算出WB增益的问题。
[0018]本发明鉴于以上情况而提出，其目的在于提供能够高速地算出考虑到噪声的影响及相邻像素间的混色影响的高精度的白平衡增益并能够迅速地进行高精度的白平衡校正的摄像装置及图像处理方法。
[0019]用于解决问题的方法
[0020]为了实现上述目的，本发明的一个方式涉及的摄像装置具有:摄影光学系统；摄像元件，使被摄体图像经由上述摄影光学系统而成像，在排列成二维状的光电转换元件上排列包括三原色的滤色器，且具有如下滤色器排列:在各行上排列三原色滤色器，并且包括三原色滤色器的个数比率不同的多行；白平衡增益计算单元，基于上述多行中上述三原色滤色器的个数比率更平均的行的各颜色的滤色器所对应的各颜色信号，算出白平衡增益；及白平衡校正单元，基于由上述白平衡增益计算单元算出的白平衡增益，对经由上述摄像元件取得的各颜色信号进行白平衡校正。
[0021]根据本发明的一个方式，使用具有三原色滤色器的个数比率根据行而不同的特别的滤色器排列的摄像元件，基于三原色滤色器的个数比率更平均的行的颜色信号，算出白平衡增益。由此，由噪声成分引起的三原色检测精度(累计平均值)的偏差变小，能够算出高精度的白平衡增益。
[0022]本发明的其他方式涉及的摄像装置具有:摄影光学系统；摄像元件，使被摄体图像经由上述摄影光学系统而成像，在排列成二维状的光电转换元件上排列包括三原色的滤色器，且具有以下滤色器排列:在各行上排列三原色滤色器，并且包括三原色滤色器的个数比率不同的多行；间拔图案决定单元，根据摄影条件，从用于选择上述多行中间拔读出的行的多个间拔图案中决定一个间拔图案；白平衡增益计算单元，基于由上述摄像元件取得的各行的上述滤色器所对应的颜色信号中按照由上述间拔图案决定单元决定的间拔图案所选择的预定的行的颜色信号，算出白平衡增益；及白平衡校正单元，基于由上述白平衡增益计算单元算出的白平衡增益，对经由上述摄像元件取得的各颜色信号进行白平衡校正。
[0023]三原色滤色器的个数比率不平均的行和平均的行相比，由不同颜色的光从相邻像素泄漏而引起的混色较少。因此，在混色变多的摄影条件下，决定选择混色少的行(三原色滤色器的个数比率不平均的行)的间拔图案，基于按照该决定的间拔图案间拔读出的颜色信号，算出白平衡增益，算出降低了混色影响的、精度高的白平衡增益。
[0024]另一方面，在混色少的摄影条件下，决定选择噪声影响小的行(三原色滤色器的个数比率更平均的行)的间拔图案，基于按照决定的间拔图案间拔读出的预定的行的颜色信号，算出白平衡增益。
[0025]在混色少的摄影条件下，三原色的颜色信号的个数比率更平均的一方中，由各颜色信号的噪声成分而引起的检测精度的偏差变小，能够算出精度高的白平衡增益。因此，在混色少的摄影条件下，决定选择三原色滤色器的个数比率更平均的行的间拔图案，基于按照该决定的间拔图案间拔读出的颜色信号，算出精度高的白平衡增益。
[0026]在本发明的其他方式涉及的摄像装置中优选为，上述间拔图案决定单元基于上述摄影光学系统的摄影时的F值及变焦倍率的至少一方，从上述多个间拔图案中决定一个间拔图案。
[0027]摄影光学系统的F值越靠近开放F值，则混色变得越多。并且一般情况下，在摄像元件的各光电转换元件上配置有聚光用的微透镜，这些微透镜为了校正光束的入射角，根据距摄像元件的中心的距离，相对于光电转换元件略微偏移地配置(按比例调整)。当因变焦倍率而使对微透镜的入射角偏离预先想定的入射角时，混色变多。因此，在本发明的其他方式中，基于摄影时的F值及变焦倍率中的至少一个来判定是否为混色多的摄影条件。
[0028]在本发明的进一步的其他方式涉及的摄像装置中优选为，上述间拔图案决定单元包括检测环境光的颜色温度的颜色温度检测单元，基于由该颜色温度检测单元检测出的环境光的颜色温度，从上述多个间拔图案中决定一个间拔图案。当环境光的颜色温度是三原色的各颜色信号的电平基本相等的中间颜色温度时，混色对白平衡增益的计算精度的影响较小，但当是低颜色温度或高颜色温度时，混色成分对白平衡增益的计算精度产生较大影响。因此，在本发明的进一步的其他方式中，基于环境光的颜色温度来选择适当的间拔图案。 [0029]在本发明的进一步的其他方式涉及的摄像装置中优选为，上述间拔图案决定单元判定是否为混色多的摄影条件，在混色多的摄影条件下，决定选择上述三原色滤色器的个数比率不平均的行的间拔图案，在混色少的摄影条件下，决定选择与上述三原色滤色器对应的像素数的比率更平均的行的间拔图案。
[0030]在本发明的进一步的其他方式涉及的摄像装置中优选为，上述摄像装置具有设定摄影感光度的感光度设定单元，在由上述感光度设定单元设定的摄影感光度是低感光度时，上述间拔图案决定单元决定选择上述三原色滤色器的个数比率不平均的行的间拔图案，在上述设定的摄影感光度是高感光度时，上述间拔图案决定单元决定选择上述三原色滤色器的个数比率更平均的行的间拔图案。
[0031]当摄影感光度较低时，噪声的影响较小，因此间拔读出混色少的行能够算出精度高的白平衡增益。另一方面，当摄影感光度较高时，噪声的影响较大，因此当求算各颜色信号的累计平均值时，间拔读出三原色滤色器的个数比率更平均的行能够算出精度高的白平衡增益。因此，在本发明的进一步的其他方式中，基于摄影感光度来选择间拔图案。
[0032]在本发明的进一步的其他方式涉及的摄像装置中优选为，上述摄像装置具有设定摄影感光度的感光度设定单元，上述多个间拔图案包括间拔率不同的间拔图案，在由上述感光度设定单元设定的摄影感光度是低感光度时，上述间拔图案决定单元决定上述间拔率不同的间拔图案中的间拔率高的间拔图案，在上述设定的摄影感光度是高感光度时，上述间拔图案决定单元决定上述间拔率不同的间拔图案中的间拔率低的间拔图案。[0033]当摄影感光度较低时，噪声成分的影响较小，因此通过提高间拔率来实现运算速度的高速化，而当摄影感光度是高感光度时，通过降低间拔率，与运算速度的高速化相比，优先降低噪声成分的影响而算出精度高的白平衡增益。
[0034]在本发明的进一步的其他方式涉及的摄像装置中优选为，上述摄像装置具有:设定摄影感光度的感光度设定单元；及判定是否重视运算速度的判定单元，上述多个间拔图案包括间拔率不同的间拔图案，在由上述感光度设定单元设定的摄影感光度是低感光度时，上述间拔图案决定单元决定上述间拔率不同的间拔图案中的间拔率高、且选择上述三原色滤色器的个数比率不平均的行的间拔图案，在上述设定的摄影感光度是高感光度且重视运算速度时，上述间拔图案决定单元决定上述间拔率不同的间拔图案中的间拔率高、且选择上述三原色滤色器的个数比率更平均的行的间拔图案，在上述设定的摄影感光度是高感光度且不重视运算速度时，上述间拔图案决定单元决定上述间拔率不同的间拔图案中的间拔率低、且选择上述三原色滤色器的个数比率不平均的行的间拔图案。
[0035]即使在摄影感光度高的情况下，如果能够减少噪声对白平衡增益的计算精度的影响，则间拔读出混色少的行能够算出精度高的白平衡增益。因此，在本发明的进一步的其他方式中，即使在摄影感光度较高时，在不重视运算速度的情况下，也会决定间拔率低、且间拔读出混色少的行的间拔图案。在这种情况下，通过使用间拔率小的间拔图案来算出更多的颜色信号的累计平均值，因此能够减少噪声对白平衡增益的计算精度的影响。
[0036]在本发明的进一步的其他方式涉及的摄像装置中优选为，上述摄像装置具有计算单元，对应与上述三原色滤色器对应的各颜色信号，算出偏移值，上述白平衡增益计算单元算出上述白平衡增益计算中使用的行的各颜色信号的累计平均值，并且从该累计平均值中减去对应上述各颜色信号算出的偏移值，基于减算出的各颜色信号的累计平均值的比，算出白平衡增益。通过对应各颜色信号进行偏移的校正，能够提高白平衡增益的计算精度。
[0037]在本发明的进一步的其他方式涉及的摄像装置中，上述摄像元件是具有每预定的像素组共有放大器的元件构造的摄像元件，上述计算单元包括:第一计算单元，算出共有上述放大器的各像素相对于该放大器的各位置的偏移值；及第二计算单元，基于由上述间拔图案决定单元决定的间拔图案中的各像素相对于上述放大器的位置及由上述第一计算单元算出的相对于上述放大器的各位置的偏移值，算出各颜色信号的偏移值。能够算出考虑到因包括共有放大器在内的基础元件构造而产生的偏移成分的阶梯差的、上述各颜色信号的偏移值，利用该偏移值校正各颜色信号的累计平均值，从而能够提高白平衡增益的计算精度。
[0038]在本发明的进一步的其他方式涉及的摄像装置中优选为，上述摄像元件的滤色器排列包括排列有与最有助于获得亮度信号的第一颜色对应的第一滤光片及与上述第一颜色以外的两种颜色以上的第二颜色对应的第二滤光片的预定的基本排列图案，该基本排列图案在水平方向及垂直方向上重复配置，上述第一滤光片配置于上述滤色器排列的水平、垂直、斜右上及斜右下方向的各行内，上述第二滤光片在上述基本排列图案内在上述滤色器排列的水平及垂直方向的各行内配置I个以上，与上述第一滤光片对应的第一颜色的像素数的比率大于与上述第二滤光片对应的第二颜色的各颜色的像素数的比率。
[0039]由此，将与最有助于获得亮度信号的第一颜色对应的第一滤光片在滤色器排列的水平、垂直、斜右上及斜右下方向的各行内配置I个以上，因此，能够提高高频区域中的去马赛克算法处理的重现精度，并且，对于与上述第一颜色以外的两种颜色以上的第二颜色对应的第二滤光片，也在滤色器排列的水平及垂直方向的各行内配置I个以上，因此，能够抑制带色莫尔条纹(伪色)的产生，实现高分辨率。而且，上述滤色器排列中，预定的基本排列图案在水平方向及垂直方向上重复配置，因此在进行后段的去马赛克算法(插值)处理时，能够按照重复图案进行处理，与随机排列相比，能够简化后段的处理。
[0040]在本发明的进一步的其他方式涉及的摄像装置中，上述摄像元件的滤色器排列包括排列有红(R)、绿(G)、蓝⑶滤色器的预定的基本排列图案，该基本排列图案在水平方向及垂直方向上重复配置，上述预定的基本排列图案是与6X6像素对应的正方排列图案，上述滤色器排列由第一排列和第二排列交替在水平方向及垂直方向上排列而构成，上述第一排列与3X3像素对应，在中心和4角配置G滤光片，隔着中心的G滤光片在上下配置B滤光片，在左右排列R滤光片；上述第二排列与3X3像素对应，在中心和4角配置G滤光片，隔着中心的G滤光片在上下配置R滤光片，在左右排列B滤光片。
[0041 ] 上述滤色器排列中，将与最有助于获得亮度信号的G信号对应的G滤光片在水平、垂直、斜右上、斜右下方向的各行内配置I个以上，因此能够提高高频区域中的去马赛克算法处理的重现精度，并且，对于与R信号、B信号对应的R、B滤光片，也在水平及垂直方向的各行内配置I个以上，因此能够抑制带色莫尔条纹(伪色)的产生，实现高分辨率。
[0042]在本发明的进一步的其他方式涉及的摄像装置中，上述多个间拔图案在每6行间拔读出I行时，包括:读出RGB滤色 器的个数比率是1:4:1的行的间拔图案；及读出RGB滤色器的个数比率是1:1:1的行的间拔图案。该间拔图案是1/6间拔，间拔率最高，白平衡增益计算时的运算量最少，能够实现高速化。
[0043]在本发明的进一步的其他方式涉及的摄像装置中，上述多个间拔图案在每6行间拔读出2行时，包括:读出RGB滤色器的个数比率是1:4:1的行的间拔图案；及读出RGB滤色器的个数比率是1:1:1的行的间拔图案。
[0044]在本发明的进一步的其他方式涉及的摄像装置中，上述多个间拔图案在每6行间拔读出3行时，包括:读出RGB滤色器的个数比率是1:4:1的行的间拔图案；及读出RGB滤色器的个数比率是5:8:5的行的间拔图案。
[0045]在本发明的进一步的其他方式涉及的摄像装置中，上述多个间拔图案在每6行间拔读出4行时，包括:读出RGB滤色器的个数比率是1:4:1的行的间拔图案；及读出RGB滤色器的个数比率是1:2:1的行的间拔图案。该间拔图案是4/6间拔，间拔率低，白平衡增益计算时的运算量最多，能够算出噪声影响小的白平衡增益。
[0046]本发明的进一步的其他方式涉及的图像处理方法包括以下工序:图像取得工序，经由摄影光学系统及排列有三原色滤色器的摄像元件，取得与滤色器排列对应的马赛克图像，取得上述马赛克图像的各行中包含与三原色对应的颜色信号且与三原色对应的像素的个数比率根据行而不同的马赛克图像；白平衡增益计算工序，基于上述摄像元件的多行中上述三原色滤色器的个数比率更平均的行的各颜色的滤色器所对应的各颜色信号，算出白平衡增益；及白平衡校正工序，基于由上述白平衡增益计算工序算出的白平衡增益，对经由上述摄像元件取得的各颜色信号进行白平衡校正。
[0047]本发明的进一步的其他方式涉及的图像处理方法包括以下工序:图像取得工序，经由摄影光学系统及排列有三原色滤色器的摄像元件，取得与滤色器排列对应的马赛克图像，取得上述马赛克图像的多行的各行中包含与三原色对应的颜色信号且与三原色对应的像素的个数比率根据行而不同的马赛克图像；间拔图案决定工序，根据摄影条件，从用于选择上述多行中间拔读出的行的多个间拔图案中决定一个间拔图案；白平衡增益计算工序，基于由上述摄像元件取得的各行的上述滤色器所对应的颜色信号中按照由上述间拔图案决定工序决定的间拔图案所选择的预定的行的颜色信号，算出白平衡增益；及白平衡校正工序，基于由上述白平衡增益计算工序算出的白平衡增益，对经由上述摄像元件取得的各颜色信号进行白平衡校正。
[0048]发明效果
[0049]基于本发明，使用具有三原色滤色器的个数比率根据行而不同的特别的滤色器排列的摄像元件，但基于上述三原色滤色器的个数比率更平均的行的各颜色的滤色器所对应的各颜色信号来计算白平衡增益，因此，能够算出噪声成分的影响小且精度高的白平衡增益。并且，在混色多的摄影条件下，基于混色少的行(三原色滤色器的个数比率不平均的行)的颜色信号，算出白平衡增益，而在混色少的摄影条件下，基于噪声影响小的行(三原色滤色器的个数比率更平均的行)的颜色信号，算出白平衡增益，因此能够算出精度高的白平衡增益，能够迅速地进行精度高的白平衡校正。
【专利附图】

【附图说明】
[0050]图1是表示适用于本发明涉及的摄像装置的摄像元件的实施方式的图。
[0051]图2是表示本发明涉及的摄像装置的实施方式的框图。
[0052]图3是表示1/6间拔时的2个间拔图案的图。
[0053]图4是表示2/6间拔时的3个间拔图案的图。
[0054]图5是表不3/6间拔时的3个间拔图案的图。
[0055]图6是表不4/6间拔时的2个间拔图案的图。
[0056]图7是汇总了图3至图6所示的1/6间拔到4/6间拔中的间拔读出的行的组合(间拔图案)及各间拔图案中的RGB的像素数的比率的图表。
[0057]图8是表示图2所示的数字信号处理部的内部构成的要部框图。
[0058]图9是表示WB增益的计算方法的第一实施方式的流程图。
[0059]图10是表示WB增益的计算方法的第二实施方式的流程图。
[0060]图11是表示各颜色温度的RGB的信号电平的一例的图。
[0061]图12是表示WB增益的计算方法的第三实施方式的流程图。
[0062]图13是表示WB增益的计算方法的第四实施方式的流程图。
[0063]图14是表示在RGB各颜色在偏移中产生阶梯差(黑电平阶梯差)时的图。
[0064]图15是表示2X2的4个像素共有一个放大器的摄像元件的一例的图。
[0065]图16是表示在相对于共有放大器的像素位置I~4在偏移中产生阶梯差(黑电平阶梯差)时的图。
[0066]图17是表示基本排列图案中的各颜色像素与相对于共有放大器的像素位置I~4的关系的图。
[0067] 图18是表示间拔2/6的行a、d的各颜色像素与相对于共有放大器的像素位置I~4的关系的图。[0068]图19是表示适用于本发明涉及的摄像装置的摄像元件的其他实施方式的图。
[0069]图20是表示适用于本发明涉及的摄像装置的摄像元件的进一步的其他实施方式的图。
【具体实施方式】
[0070]以下按照附图详述本发明涉及的摄像装置及图像处理方法的优选实施方式。
[0071](摄像元件)
[0072]图1是表示适用于本发明涉及的摄像装置的摄像元件的实施方式的图，尤其表示在摄像元件I的受光面上配置的新的滤色器排列。
[0073]该摄像元件I的滤色器排列包括由与6X6像素对应的正方排列图案构成的基本排列图案，该基本排列图案在水平方向及垂直方向上重复配置。即，该滤色器排列中，红(R)、绿(G)、蓝(B)各颜色的滤光片(R滤光片、G滤光片、B滤光片)以预定的周期性排列。R滤光片、G滤光片、B滤光片如此以预定的周期性排列，所以在进行从摄像元件I读出的RGB的RAW数据(马赛克图像)的图像处理等时，能够按照重复图案进行处理。
[0074]图1所示的滤色器排列中，与最有助于获得亮度4信号的颜色(在本实施方式中是G色)对应的G滤光片配置于滤色器排列的水平、垂直、斜右上、斜右下的各方向的各行内。
[0075]与亮度系像素对应的G滤光片配置于滤色器排列的水平、垂直、斜右上、斜右下的各方向的行内，因此无论 高频的方向如何都能够提高高频区域中的去马赛克算法处理的重现精度。
[0076]并且，该滤色器排列中，与上述G色以外的R、B色对应的R滤光片、B滤光片配置于滤色器排列的水平及垂直方向的各行内。
[0077]R滤光片、B滤光片配置于滤色器排列的水平及垂直方向的各行内，因此能够抑制带色莫尔条纹(伪色)的产生。
[0078]当将图1所示的6X6像素的基本排列图案四分为3X3像素时，由实线框围成的3X3像素的A排列和由虚线框围成的3X3像素的B排列成为在水平、垂直方向上交替排列的排列。
[0079]A排列及B排列中，G滤光片分别配置于4角和中央，配置于两条对角线上。并且，A排列中，R滤光片隔着中央的G滤光片在水平方向上排列，B滤光片在垂直方向上排列，而B排列中，B滤光片隔着中央的G滤光片在水平方向上排列，R滤光片在垂直方向上排列。即，A排列和B排列中，R滤光片和B滤光片的位置关系相反，而其他配置相同。
[0080]并且，A排列和B排列的4角的G滤光片因A排列和B排列在水平、垂直方向上交替配置而成为与2X2像素对应的正方排列的G滤光片。
[0081](摄像装置)
[0082]图2是表示本发明涉及的摄像装置的实施方式的框图。
[0083]该摄像装置10配置有图1所示的摄像元件1，是能够进行静止图像、动画摄影的数码相机，装置整体的动作由中央处理装置(CPU) 40统一控制。
[0084]摄像装置10上设有快门按钮、模式转盘、重放按钮、菜单/OK键、十字键、返回键等操作部38。来自该操作部38的信号输入到CPU40，CPU40基于输入信号控制摄像装置10的各电路，例如进行镜头驱动控制、光圈驱动控制、摄影动作控制、图像处理控制、图像数据的记录/重放控制、显示用的液晶监视器30的显示控制等。
[0085]快门按钮是输入开始摄影指示的操作按钮，由具有半按时接通的SI开关、全按时接通的S2开关的两段行程式开关构成。模式转盘是选择摄影模式、人物、风景、夜景等场景位置、动画模式等的选择单元。
[0086]重放按钮是用于切换到使拍摄记录的静止图像或动画显示于液晶监视器30的重放模式的按钮。菜单/OK键是兼具以下功能的操作键:作为用于进行在液晶监视器30的画面上显示菜单的指令的菜单按钮的功能；及作为指示选择内容的确定及执行等的OK按钮的功能。十字键是输入上下左右4个方向的指示的操作部，作为从菜单画面选择项目或从各菜单指示各种设定项目的选择的按钮(光标移动操作单元)而发挥功能。并且，十字键的上/下键作为摄影时的变焦开关或重放模式时的重放变焦开关而发挥功能，左/右键作为重放模式时的逐帧播放(正向/反向播放)按钮而发挥功能。返回键在选择项目等所需对象的删除、指示内容的取消或者返回到前一操作状态等时使用。
[0087]在摄影模式中，表示被摄体的图像光经由摄影光学系统(变焦镜头)12、光圈14，成像于摄像元件I的受光面上。摄影光学系统12通过由CPU40控制的镜头驱动部36来驱动，进行聚焦控制、变焦控制等。光圈14例如由5个光圈叶片构成，通过由CPU40控制的光圈驱动部34来驱动，例如将F值以IAV刻度七级地光圈控制在Fl.4~F11。
[0088]而且，CPU40经由光圈驱动部34控制光圈14，并且经由设备控制部32进行摄像元件I中的电荷积蓄时间(快门速度)、从摄像元件I的图像信号的读出控制等。 [0089]摄像元件I中积蓄的信号电荷基于从设备控制部32施加的读出信号，作为与信号电荷对应的电压信号被读出。从摄像元件I读出的电压信号施加到模拟信号处理部18，在此各像素的R、G、B信号被采样保持，以从CPU40指定的增益(相当于ISO感光度)放大后，施加到A/D转换器20。A/D转换器20将依次输入的R、G、B信号转换为数字的R、G、B信号，输出到图像输入控制器22。
[0090]数字信号处理部24对经由图像输入控制器22输入的数字的图像信号进行混色校正、白平衡校正、伽玛校正处理、去马赛克算法处理(对随着原色滤光片的排列的颜色信号的空间性偏移进行插值而将颜色信号转换为去马赛克算法式的处理)、YC处理(图像数据的亮度数据及色差数据的生成处理)、锐度校正等预定的信号处理。
[0091]在图2中，46是存储了相机控制程序、图像处理等使用的各种参数、表格等的ROM (EEPROM)。
[0092]并且，数字信号处理部24包括计算白平衡校正中使用的白平衡增益(以下称为“WB增益”)等的处理部，稍后详述WB增益计算。
[0093]由数字信号处理部24处理的图像数据输出到VRAM50。VRAM50中包括分别存储表示I帧图像的图像数据的A区域和B区域。在VRAM50中，表示I帧图像的图像数据在A区域和B区域中被交替改写。VRAM50的A区域及B区域中，从图像数据被改写的区域以外的区域读出写入的图像数据。从VRAM50读出的图像数据在视频编码器28中被编码，输出到设于相机背面的图像显示用的液晶监视器30，从而使被摄体图像(预览图像)显示于液晶监视器30的显示画面上。
[0094]并且，当存在操作部38的快门按钮的第一阶段的按下(半按)时，摄像元件I开始AF动作及AE动作，以经由镜头驱动部36使摄影光学系统12内的聚焦镜头移动到对焦位置的方式进行控制。并且，在快门按钮半按时，从A/D转换器20输出的图像数据被取入到AE检测部44。
[0095]在AE检测部44中，累计画面整体的G信号，或者累计在画面中央部和周边部进行了不同加权的G信号，将该累计值输出到CPU40。CPU40根据从AE检测部44输入的累计值，算出被摄体的亮度(摄影EV值)，基于该摄影EV值，按照预定的程序线图决定光圈值(F值)及摄像元件I的电子快门(快门速度)。
[0096]在此，程序线图是指，根据被摄体的亮度，设计了由F值和快门速度的组合或它们与摄影感光度(ISO感光度)的组合所构成的摄影(曝光)条件，通过以按照程序线图决定的摄影条件来进行摄影，无论被摄体的亮度如何，均能够拍摄适当亮度的图像。
[0097]CPU40基于按照上述程序线图决定的F值，经由光圈驱动部34控制光圈14，并且基于决定的快门速度经由设备控制部32控制摄像元件I中的电荷积蓄时间。
[0098]AF处理部42是进行对比度AF处理的部分，例如，提取图像数据中的预定的聚焦区域内的图像数据的高频成分，通过对该高频成分进行积分，算出表示对焦状态的AF评价值。通过控制摄影光学系统12内的聚焦镜 头来进行AF控制，使得该AF评价值变得极大。
[0099]当AE动作及AF动作结束而存在快门按钮的第二阶段的按下(全按)时，响应该按下，从A/D转换器20输出的图像数据从图像输入控制器22输入到存储器(SDRAM) 48，暂时被存储。
[0100]存储器48中暂时存储的图像数据由数字信号处理部24适当读出。数字信号处理部24对读出的数字的图像信号进行混色校正、白平衡校正、伽玛校正处理、去马赛克算法处理、YC处理、锐度校正等预定的信号处理，将进行了 YC处理的YC数据再次存储于存储器48中。
[0101]存储器48中存储的YC数据分别输出到压缩扩展处理部26，在此，在执行了JPEG (joint photographic experts group:联合图像专家组)等预定的压缩处理后，生成Exif文件，经由媒体控制器52记录于存储卡54。
[0102](间拔图案)
[0103]为了重视速度(为了减少运算量)，因此自动白平衡(AWB)校正等中使用的RGB各颜色信号使用在从摄像元件I获得的各行中、按照预定的间拔图案间拔读出的行的颜色信号。
[0104]以下，对从摄像元件I获得的马赛克图像的各行，说明与间拔读出的行对应的多个间拔图案。
[0105](I/6 间拔)
[0106]如图1所示，在6X6像素的基本排列图案在水平方向及垂直方向上重复配置的滤色器排列的情况下，是6种行a~f的重复。
[0107]这些行a~f中，行a和行C、行d和行f是相同的滤光片排列,行a、c和行d、f错开了 3像素量的相位，但是相同的滤光片排列。并且，行b和行e错开了 3像素量的相位，但是相同的滤光片排列。
[0108]如图3所示，当每6行间拔读出I行(1/6间拔)时，存在以下模式:从行a、c、d、f读出任一行的间拔图案P11(图3的(a)部分)；及从行b、e读出任一行的间拔图案P12 (图3的(b)部分)。
[0109]间拔图案P11和间拔图案P12中，RGB滤色器的个数比率不同，在间拔图案P11的情况下，R:G:B = I:4:1，在间拔图案 P12 的情况下，R:G:B = 2:2:2 = I:1:10
[0110]即，在间拔图案P11的情况下，RGB的个数比率不平均，G的比率比RB高(4倍)，而在间拔图案P12的情况下，相对于间拔图案P11, R、B的比率较高，RGB的个数比率变得平均。
[0111]在求算WB增益时，首先求出RGB的各颜色信号(RGB的各颜色像素的像素值)的平均值，但平均的像素数越多，则越能够求出精度高的平均值。
[0112]当摄影时的环境光的颜色温度是低颜色温度时，各颜色的平均值是R>G>B的关系，当是高颜色温度时，各颜色的平均值变为R〈G〈B的关系。如此，当是包含输出小的颜色的颜色温度(低颜色温度或者高颜色温度)时，B像素或R像素的精度变低，因此优选增加平均的像素数。
[0113]g卩，在包含输出小的颜色的颜色温度的情况下，与RB像素个数少的间拔图案P11相t匕，优选RB像素个数多的(RGB像素平均的)间拔图案P12。
[0114]另一方面，在间拔图案P12的情况下，G像素在左右方向上与R像素或B像素相邻(由R像素或B像素夹持)，易于受到来自相邻像素的光的泄漏(混色)的影响，在间拔图案P11的情况下，与间拔图案P12相比，由不同颜色的光从相邻像素的泄漏所引起的混色较少，难以受到混色的影响。因此，在易发生混色的摄影条件下，优选间拔图案Pn。
[0115]在本发明中，根据摄影条件，从RGB的个数比率不同的多个间拔图案Pn、P12中决定最佳的间拔图案，按照 该决定的间拔图案，间拔读出预定的行的颜色信号，求出RGB的各颜色的平均值，基于求出的平均值，算出WB增益。此外，稍后详述间拔图案的选择及WB增益的计算。
[0116](2/6 间拔)
[0117]图4表示每6行间拔读出2行(2/6间拔)时的3个间拔图案P21、P22、P23。
[0118]图4的(a)部分表不从图1所不的行a、C、d、f读出2行的间拔图案P21,图4的(b)部分表示从行a、C、d、f读出I行、从行b、e读出I行的间拔图案P22,图4的(C)部分表示读出行b、e这2行的间拔图案P23。
[0119]上述3个间拔图案P21、P22、P23各自的RGB滤色器的个数比率不同，在间拔图案P2I的情况下，R:G:B = 2:8:2 = I:4:1，在间拔图案 P22 的情况下，R:G:B = 3:6:3 = I:2:1,在间拔图案P23的情况下，R:G:B = 4:4:4 = 1:1:1。
[0120](3/6 间拔)
[0121]图5表示每6行间拔读出3行(3/6间拔)时的3个间拔图案P31、P32、P33。
[0122]图5的(a)部分表不从图1所不的行a、C、d、f读出3行的间拔图案P31,图5的(b)部分表示从行a、C、d、f读出2行、从行b、e读出I行的间拔图案P21,图5的(C)部分表示从a、C、d、f读出I行、从行b、e读出2行的间拔图案P33。
[0123]上述3个间拔图案P31、P32、P33各自的RGB滤色器的个数比率不同，在间拔图案P3i的情况下，R:G:B = 3:12:3 = I:4:1，在间拔图案 P32 的情况下，R:G:B = 4:10:4 = 2:5:2，在间拔图案P33的情况下，R:G:B = 5:8:5。
[0124](4/6 间拔)
[0125]图6表示每6行间拔读出4行(4/6间拔)时的3个间拔图案P41、P42、P43。[0126]图6的(a)部分表示读出图1所示的行a、C、d、f这4行的间拔图案P41,图6的(b)部分表示从行a、C、d、f读出3行、从行b、e读出I行的间拔图案P42,图6的(C)部分表示从行a、C、d、f读出2行、读出行b、e这2行的间拔图案P43。
[0127]上述3个间拔图案P41、P42、P43各自的RGB滤色器的个数比率不同，在间拔图案P4i的情况下，R:G =B = 4:16:4 = I:4:1，在间拔图案P42的情况下，R:G:B = 5:14:5，在间拔图案 P43 的情况下，R:G:B = 6:12:6 = I:2:10
[0128]图7是汇总了上述图3至图6所示的1/6间拔到4/6间拔中的间拔读出的行的组合(间拔图案)及各间拔图案中的RGB的像素数的比率的图表。
[0129]上述1/6间拔到4/6间拔中，1/6间拔的间拔率最高(读出的行数少)，计算量也少，但相对于噪声精度变低，4/6间拔的间拔率最低(读出的行数多)，计算量也多，但相对于噪声精度变高。
[0130](数字信号处理)
[0131]图8是表示图2所示的数字信号处理部24的内部构成的要部框图。
[0132]如图8所示，数字信号处理部24主要由第一信号处理系统和第二信号处理系统构成，第一信号处理系统由混色校正部241、白平衡校正部242及信号处理部243构成，第二信号处理系统由间拔图案决定部244、间拔读出部245、RGB累计部246及WB增益计算部247构成。
[0133]如上所述，保持摄影时从摄像元件I输出的滤色器排列的RAW数据(马赛克图像)暂时存储于存储器48中，数字信号处理部24从存储器48读出马赛克图像，生成显示用及记录用的图像。
[0134]数字信号处理部24的上述第一信号处理系统及第二信号处理系统分别从存储器48适当读出马赛克图像(RGB颜色信号)，为了实现高速化而进行并列处理。
[0135]混色校正部241是进行使来自相邻像素的光的泄漏(混色)的影响降低的处理的部分，根据来自相邻像素的泄漏的比例，减去RGB颜色信号的信号成分，降低混色。来自相邻像素的泄漏的比例根据光束向各像素照射的入射角等而发生变化，因此需要预先改变光束的入射角并且以多个入射角测定混色的比例，而使用该测定的混色的比例(校正参数)。
[0136]由混色校正部24混色校正的RGB的颜色信号施加到白平衡校正部242。在白平衡校正部242的其他输入中，从WB增益计算部247施加各RGB的WB增益，白平衡校正部242通过将RGB的颜色信号和各RGB的WB增益相乘来进行白平衡校正。
[0137] 被白平衡校正的RGB的颜色信号施加到信号处理部243，在此，进行伽玛校正处理、去马赛克算法处理、YC处理、锐度校正等其他信号处理。经过了 YC处理的YC数据再次存储于存储器48中。存储器48中存储的YC数据由视频编码器28转换为液晶监视器30中的图像显示用的信号，作为后视图显示于液晶监视器30，并且，在由压缩扩展处理部26执行了预定的压缩处理后，生成Exif文件，经由媒体控制器52记录于存储卡54中。
[0138]另一方面，第二信号处理系统侧的间拔图案决定部244基于摄影条件等从图3至图6所示的多个间拔图案中决定一个间拔图案。例如，在混色多的摄影条件下，决定主要选择行a、C、d、f的间拔图案，在混色少的摄影条件下，决定主要选择行b、e的间拔图案。此外，稍后详述间拔图案决定部244的动作。
[0139]间拔读出部245在存储器48中存储的RAW数据(马赛克图像)中，按照由间拔图案决定部244决定的间拔图案，间拔读出预定的行的颜色信号，将读出的RGB各颜色信号输出到RGB累计部246。
[0140]RGB累计部246对应将I个画面分割为8X8或16X 16的各分割区域，算出RGB的各颜色信号的累计平均值，算出由各RGB的累计平均值的比(R/G、B/G)构成的颜色信号。例如，在将I个画面分割为16X 16的256个分割区域时，算出256个颜色信号(R/G，B/G)。
[0141]WB增益计算部247基于从RGB累计部246输入的各分割区域的颜色信息(R/G，B/G)而算出WB增益。具体而言，算出256个分割区域中的每个分割区域的颜色信息的、R/G、B/G轴坐标的颜色空间上的分布的重心位置，根据该重心位置所示的颜色信息，推定环境光的颜色温度。此外，也可以替代颜色温度，而通过求出具有该重心位置所示的颜色信息的光源种类例如蓝天、背阴、晴天、荧光灯(昼光色、昼白色、白色、暖白色)、钨、低钨等来推定摄影时的光源种类(参照日本特开2007-53499)。并且，也可以根据推定的光源种类来推定颜色温度。
[0142]WB增益计算部247中，预先对应于环境光的颜色温度或光源种类来准备用于进行适当的白平衡校正的各RGB或者各RB的WB增益，WB增益计算部247基于上述推定的环境光的颜色温度或光源种类，读出对应的各RGB或各RB的WB增益，将该读出的WB增益输出到白平衡校正部242。
[0143]如上所述，与基于第一信号处理系统的马赛克图像的信号处理并行，通过第二信号处理系统进行了 WB增益的计算，因此能够实现信号处理的高速化，尤其是，不使用原始图像的总像素的数据，而基于间拔读出的行的颜色信号来计算WB增益，因此能够高速地算出WB增益。由此，能够尽早地观察到用于确认拍摄到的图像的后视图。
[0144]并且，在第二信号处理系统侧，不进行计算量多的混色校正，但在易发生混色的摄影条件下，间拔读出难以受到混色影响的行的颜色信号，因此能够算出精度高的WB增益。
[0145](WB增益计算的实施方式)
[0146](第一实施方式)
[0147]图9是表示WB增益的计算方法的第一实施方式的流程图。
[0148]在图9中，首先，当存在快门按钮的第二阶段的按下(全按)时，进行静止图像的正式摄影，通过该正式摄影从摄像元件I取得的RAW数据存储于存储器48中(步骤S10)。
[0149]接着，取得正式摄影时的摄影光学系统12 (变焦镜头)的变焦位置及镜头F值，选择与取得的变焦位置及镜头F值对应的阈值(步骤S12)。
[0150]即，镜头F值越接近开放F值，则混色越多，因此基于F值设定用于判定是否容易发生混色的阈值。并且，摄像元件上的向微透镜入射的入射角根据变焦镜头的变焦位置(变焦倍率)而发生变化(来自相邻像素的光的泄漏发生变化)，混色量不同，因此通过变焦位置来改变上述阈值。具体而言，预先准备以F值和变焦位置为参数的阈值的表格，根据正式摄影时的F值和变焦位置，从表格中读出对应的阈值。
[0151]接着，判定正式摄影时的F值是否为上述选择的阈值以下(步骤S14)。当正式摄影时的F值是阈值以下时(“是”时)，判定为易发生混色，决定与混色影响少(RB像素少)的行的间拔读出对应的间拔图案。并且，按照决定的间拔图案间拔读出预定的行的颜色信号(步骤S16)。例如，在1/6间拔时，决定图4的(a)部分所示的间拔图案Pn，读出与该选择的间拔图案P11对应 的行的颜色信号。[0152]另一方面，当正式摄影时的F值超过阈值时(“否”时)，判定为混色影响少，决定与混色影响少的行相比RB像素多的行的间拔读出所对应的间拔图案。并且，按照决定的间拔图案间拔读出预定的行的颜色信号(步骤S18)。例如，在1/6间拔时，决定图4的(b)部分所示的间拔图案P12,读出与该选择的间拔图案P12对应的行的颜色信号。
[0153]根据通过上述步骤S16或S18读出的RGB的颜色信号，算出各RGB的累计平均值，基于该累计平均值，算出WB增益(步骤S20)。
[0154]如上所述，在易发生混色的摄影条件下，间拔读出混色影响少的行的颜色信号，算出WB增益，因此能够算出精度高的WB增益，并且在混色影响少的摄影条件下，间拔读出与混色影响少的行相比RB像素多的行(RGB的像素比更平均的行)的颜色信号，算出WB增益，因此RB像素的累计平均值的精度变高，能够算出精度高的WB增益。
[0155]此外，在该第一实施方式中，基于正式摄影时的变焦位置和F值来选择阈值，判定是否为混色变多的摄影条件，但不限于此，也可以基于变焦位置或F值的任一个来判定是否为混色多的摄影条件，基于该判定结果来决定间拔图案。
[0156](第二实施方式)
[0157]图10是表示WB增益的计算方法的第二实施方式的流程图。此外，对与图9所示的第一实施方式共同的部分标注同样的步骤代码，省略其详细说明。
[0158]如图10所示，在正式摄影前算出环境光的颜色温度(步骤S30)。例如，基于实时取景图像的图像数据或快门按钮半按时取得的图像数据的RGB颜色信号，算出各颜色的累计平均值，根据算出的各颜色的累计平均值，算出环境光的颜色温度。
[0159]并且，在正式摄影后，判定在步骤S30中算出的颜色温度是否在预先设定的中间颜色温度的范围外(步骤S32)。
[0160]低颜色温度时的RGB的各颜色的累计平均值如图11的(a)部分所示，是R>G>B的关系，高颜色温度时的RGB的各颜色的累计平均值如图11的(c)部分所示，是R〈G〈B的关系O
[0161]如此，当是包含输出小的颜色的颜色温度(低颜色温度或高颜色温度)时，输出小的像素(B像素或R像素)易于受到来自相邻像素的光的泄漏的影响，WB增益的计算精度
易于变差。
[0162]因此，在步骤S32中，当通过步骤S30算出的颜色温度是RGB各颜色的累计平均值基本相等的预定的中间颜色温度(图11的(b)部分)的范围外的颜色温度时(“是”时)，判定为易发生混色，转换到步骤S16，在中间颜色温度范围内时(“否”时)，判定为混色影响少，转换到进行RB像素多的行的间拔读出的步骤S18。
[0163]如上所述，当是易发生混色的颜色温度时，间拔读出混色影响少的行的颜色信号，算出WB增益，因此能够算出精度高的WB增益，并且当是混色影响少的颜色温度时，间拔读出RB像素多的行的颜色信号，算出WB增益，因此RB像素的累计平均值的精度变高，能够算出精度高的WB增益。
[0164](第三实施方式)
[0165]图12是表示WB增益的计算方法的第三实施方式的流程图。此外，对与图9所示的第一实施方式共同的部分标注同样的步骤代码，省略其详细说明。
[0166]CPU40在快门按钮半按时，根据从AE检测部44输入的累计值算出被摄体的亮度(摄影EV值)，基于该摄影EV值，决定由F值、快门速度及摄影感光度(ISO感光度)的组合构成的摄影(曝光)条件，在正式摄影时按照上述决定的曝光条件进行曝光控制。
[0167]当被摄体的亮度较亮时，将摄影感光度设定得较低，通过F值及快门速度进行曝光控制，当被摄体的亮度较暗且仅通过F值及快门速度无法获得充分的信号量时，提高摄影感光度(增益)。因此，当摄影感光度高时，噪声也被放大，存在噪声变大的缺点。
[0168]在图12中，判定正式摄影时的摄影感光度是否为预定的阈值以下(即是否为噪声少的图像)(步骤S40)。当摄影感光度是预定的阈值以下时(“是”时)，是噪声少的图像，因此使难以受到混色影响的行的间拔读出优先，转换到步骤S16。另一方面，当摄影感光度超过预定的阈值时(“否”时)，是噪声多的图像，因此使难以受到噪声影响的RB像素多的行的间拔读出优先，转换到步骤S18。
[0169]如上所述，在噪声少的图像的情况下，间拔读出混色影响少的行的颜色信号，算出WB增益，因此能够算出精度高的WB增益，并且在噪声多的图像的情况下，间拔读出RB像素多的行的颜色信号，算出WB增益，因此RB像素的累计平均值的精度变高，能够算出精度高的WB增益。
[0170](第四实施方式)
[0171]图13是表示WB增益的计算方法的第四实施方式的流程图，表示图12所示的第三实施方式的变形例。此外，对与图12所示的第三实施方式共同的部分标注同样的步骤代码，省略其详细说明。
[0172]图13所示的第四实施方式与第三实施方式的不同点在于判定为摄影感光度超过预定阈值(步骤S40的“否 ”)后的处理。
[0173]即，在步骤S40中，当判定为摄影感光度超过了预定的阈值时(“否”时)，接着，判定是否重视运算速度(步骤S50)。
[0174]例如，当设定连拍模式作为摄影模式而需要高速处理连拍的各图像时，判定为重视运算速度。
[0175]在步骤S50中判定为重视速度时(“是”时)，转换到步骤S52。在步骤S52中，决定间拔读出RB像素多的行的颜色信号的间拔图案，但由于重视速度，因此决定间拔率高的间拔图案。例如，如图4的(a)部分所示，决定1/6间拔的间拔图案Pn。
[0176]另一方面，在步骤S50中判定为不重视速度时(“否”时)，转换到步骤S54。在步骤S54中，决定间拔率低的间拔图案、即与混色影响少的行的间拔读出对应的间拔图案。例如，决定图6的(c)部分所示的4/6间拔的间拔图案P43。在这种情况下，与G像素的像素相比，RB像素的像素数的比率较小，但间拔率较低，因此RB像素的像素数也变得足够多，即使RB像素中含有较多噪声，也能够求出精度高的累计平均值。
[0177](颜色信息计算的实施方式)
[0178](第一实施方式)
[0179]在从摄像元件I输出的RGB颜色信号中，除了与入射光强度对应的信号成分外，还重叠有因暗电流等而形成的偏移成分，在高感光度或高温时、长时间曝光时，由于像素的暗电流成分而在偏移成分中易产生阶梯差。
[0180]图14表示在RGB各颜色在偏移中产生阶梯差(黑电平阶梯差)的情况。
[0181]因此，考虑该偏移阶梯差来计算颜色信息(R/G，B/G)，从而算出精度高的WB增益。[0182]即，图8所示的RGB累计部246对应RGB各颜色算出偏移值Rtjffset' Goffset, Boffseto这些偏移值Rtjffs^GtjffsWBtjffsrt如下计算:累计摄像元件I的周边部的遮光区域(光学黑暗部:OB部)的信号、即与RGB对应的各像素的信号，求出其平均值。
[0183]接着，算出从间拔读出部245间拔读出的RGB的各颜色信号的累计平均值Rdata、Gdata、Bdata，使用上述算出的偏移值Rtjffsrt Affsrt Affset，通过下式算出进行了偏移校正的颜色信息(R/G、B/G)。
[0184][数式I]
[01 85] R/G- (Rdata-Roffset) / (Gdata_Goffset)
[0186]B/G — (Bdata_Boffset) / (Gdata-Goffset)
[0187]通过如此对应各颜色进行偏移校正，能够算出精度高的颜色信息，其结果是，能够算出精度高的WB增益。
[0188](第二实施方式)
[0189]CMOS (Complementary Metal-Oxide Semiconductor:互补金属氧化半导体)型摄像元件中，在CMOS的基体中嵌入像素共有放大器，如图15所示，存在2 X 2共4个像素共有I个放大器的情况。由于这种摄像元件的元件构造，根据相对于共有放大器的像素位置I~4(相对于放大器左上、右上、左下、右下的位置)，在输出电平中产生差异。
[0190]图16表示在相对于共有放大器的像素位置I~4在偏移中产生阶梯差(黑电平阶梯差)的情况。
[0191]因此，考虑该偏移阶梯差来计算颜色信息(R/G、B/G)，从而算出精度高的WB增益。
[0192]即，图8所示的RGB累计部246对应相对于共有放大器的各像素位置I~4，算出偏移值offl、off2、off3、off4。这些偏移值offl、off2、off3、off4如下计算:对应相对于共有放大器的像素位置I~4累计摄像元件I的OB部的信号，求出其平均值。
[0193]接着，算出从间拔读出部245间拔读出的RGB的各颜色信号的累计平均值Rdata、Gdata> Bdata，使用上述算出的偏移值offl、off2、off3、off4，进行各颜色信号的累计平均值
Rdata、GfJata、^data
的偏移校正。
[0194]现在，在基本排列图案中的各颜色像素和相对于共有放大器的像素位置I~4为图17所示的关系的情况下，当通过2/6间拔来间拔读出行a、d时，行a、d的各颜色像素和相对于共有放大器的像素位置I~4变为图18所示的关系。
[0195] 即，基本排列图案内的行a、d中的RGB相对于共有放大器的像素位置I~4中，R像素在位置1、4上分别各存在I个像素，G像素在位置I~4上分别各存在2个像素，B像素、R像素在位置2、3上分别各存在I个像素。
[0196]因此，间拔行a、d中的RGB的偏移值Rtjffs^GtjffsWBtjffsrt能够基于相对于共有放大器的各像素位置I~4的偏移值offl、off2、off3、off4通过下式进行计算。
[0197][数式2]
[0198]Roffset= (Off I+Off4)/2
[0199]Goffset= (0ffl+0ff2+0ff3+0ff4) /4
[0200]Bofiset=(0ff2+0ff3)/2
[0201]使用通过上述[数式2]算出的RGB的偏移值Rtjffs^GtjffMpBtjffset，通过上述[数式I]，算出进行了偏移校正的颜色信息(R/G、B/G)。[0202]如此，基于相对于共有放大器的各像素位置I~4的偏移值offl、off2、off3、off4,对应RGB的各颜色算出偏移值，并通过算出的偏移值来校正各RGB的累计平均值，从而能够算出精度高的颜色信息，其结果是，能够算出精度高的WB增益。
[0203]此外，上述[数式2]是用于计算间拔行a、d中的RGB的偏移值RtjffsWGtjffs^Btjffsrt的计算公式，但计算偏移值Rt5ffs^GtjffsWBtjffsrt的计算公式根据间拔读出的I行或多行的组合而不同。因此，需要根据由间拔图案决定部244决定的间拔图案(参照图3~图6)来准备用于计算RGB的偏移值Rtjffs^ G0ffseo Boffset的计算公式。
[0204](其他)
[0205]图19及20分别是表示适用于本发明涉及的摄像装置的摄像元件的其他实施方式的图。
[0206]图19所示的实施方式的摄像元件的滤色器排列包括由与7X7像素对应的正方排列图案构成的基本排列图案(由粗框所示的图案)，该基本排列图案在水平方向及垂直方向上重复配置。
[0207]该滤色器排列与图1所示的实施方式一样，G滤光片在滤色器排列的水平、垂直、斜右上及斜右下方向的各行内配置，且R滤光片、B滤光片在滤色器排列的水平及垂直方向的各行内配置。
[0208]并且，G滤光片比R、B滤光片多，且RGB的滤色器的个数比率根据行而不同，存在R:G:B = 2:3:2 的行和 R:G:B = 2:4:1 或 R:G:B = 1:4:2 的行。
[0209]图20所示的实施 方式的摄像元件的滤色器排列包括由与8X8像素对应的正方排列图案构成的基本排列图案(由粗框所示的图案)，该基本排列图案在水平方向及垂直方向上重复配置。
[0210]该滤色器排列与图1所示的实施方式一样，G滤光片在滤色器排列的水平、垂直、斜右上及斜右下方向的各行内配置，且R滤光片、B滤光片在滤色器排列的水平及垂直方向的各行内配置。
[0211]并且，G滤光片比R、B滤光片多，且RGB的滤色器的个数比率根据行而不同，存在R:G:B = 3:2:3 的行和 R:G:B = I:6:1 的行。
[0212]图19及图20所示的滤色器排列与图1所示的6X6像素的基本排列图案一样，与亮度系像素对应的G滤光片在滤色器排列的水平、垂直、斜右上及斜右下的各方向的行内配置，因此无论高频方向如何都能够提高高频区域中的去马赛克算法处理的重现精度。并且，R滤光片、B滤光片在滤色器排列的水平及垂直方向的各行内配置，因此能够抑制带色莫尔条纹(伪色)的产生。
[0213]如此，本发明不限于图1所示的具有6X6像素的基本排列图案的摄像元件，也能够适用于具有其他滤色器排列的摄像元件，总之，只要是具有在各行上排列三原色的滤色器且三原色的滤色器的个数比率根据行而不同的滤色器排列的摄像元件，则也能够适用于任意的摄像元件。
[0214]并且，摄像元件的滤色器排列不限于RGB三原色，也可以包括黄色、翠绿色。
[0215]而且，在本实施方式中，对应将I个画面分割为多个区域所得的各分割区域来取得颜色信息(R/G、B/G)，并基于多个分割区域的颜色信息算出WB增益，但WB增益的计算方法不限于该实施方式，只要是基于三原色的颜色信号算出WB增益的方法，则可以是任意方法。
[0216]并且，本发明不限于上述实施方式，不言而喻，能够在不脱离本发明精神的范围内进行各种变形。
[0217]附图标记说明
[0218]I摄像元件
[0219]10摄像装置
[0220]12摄影光学系统
[0221]14光圈
[0222]24数字信号处理部
[0223]30液晶监视器
[0224]38操作部
[0225]40中央处理装置(CPU)
[0226]46ROM
[0227]48存储器
[0228]54存储卡
[0229]242白平衡校正部
[0230]244间拔图案决定部
[0231]245间拔读出部
[0232]246RGB 累计部
[0233] 247WB增益计算部
【权利要求】
1.一种摄像装置，具有: 摄影光学系统； 摄像元件，使被摄体图像经由上述摄影光学系统而成像，在排列成二维状的光电转换元件上排列包括三原色的滤色器，且具有如下滤色器排列:在各行上排列三原色滤色器，并且包括三原色滤色器的个数比率不同的多行； 白平衡增益计算单元，基于上述多行中上述三原色滤色器的个数比率更平均的行的各颜色的滤色器所对应的各颜色信号，算出白平衡增益；及 白平衡校正单元，基于由上述白平衡增益计算单元算出的白平衡增益，对经由上述摄像元件取得的各颜色信号进行白平衡校正。
2.一种摄像装置，具有: 摄影光学系统； 摄像元件，使被摄体图像经由上述摄影光学系统而成像，在排列成二维状的光电转换元件上排列包括三原色的滤色器，且具有如下滤色器排列:在各行上排列三原色滤色器，并且包括三原色滤色器的个数比率不同的多行； 间拔图案决定单元，根据摄影条件，从用于选择上述多行中间拔读出的行的多个间拔图案中决定个间拔图案； 白平衡增益计算单元，基于由上述摄像元件取得的各行的上述滤色器所对应的颜色信号中按照由上述间拔图案决定单元决定的间拔图案所选择的预定的行的颜色信号，算出白平衡增益 '及 白平衡校正单元，基于由上述白平衡增益计算单元算出的白平衡增益，对经由上述摄像元件取得的各颜色信号进行白平衡校正。
3.根据权利要求2所述的摄像装置，其中， 上述间拔图案决定单元基于上述摄影光学系统的摄影时的F值和变焦倍率的至少一方，从上述多个间拔图案中决定一个间拔图案。
4.根据权利要求2所述的摄像装置，其中， 上述间拔图案决定单元包括检测环境光的颜色温度的颜色温度检测单元，基于由该颜色温度检测单元检测出的环境光的颜色温度，从上述多个间拔图案中决定一个间拔图案。
5.根据权利要求2~4中任一项所述的摄像装置，其中， 上述间拔图案决定单元判定是否为混色多的摄影条件，在混色多的摄影条件下，决定选择上述三原色滤色器的个数比率不平均的行的间拔图案，在混色少的摄影条件下，决定选择与上述三原色滤色器对应的像素数的比率更平均的行的间拔图案。
6.根据权利要求2~5中任一项所述的摄像装置，其中， 上述摄像装置具有设定摄影感光度的感光度设定单元， 在由上述感光度设定单元设定的摄影感光度是低感光度时，上述间拔图案决定单元决定选择上述三原色滤色器的个数比率不平均的行的间拔图案，在上述设定的摄影感光度是高感光度时，上述间拔图案决定单元决定选择上述三原色滤色器的个数比率更平均的行的间拔图案。
7.根据权利要求2~5中任一项所述的摄像装置，其中， 上述摄像装置具有设定摄影感光度的感光度设定单元，上述多个间拔图案包括间拔率不同的间拔图案， 在由上述感光度设定单元设定的摄影感光度是低感光度时，上述间拔图案决定单元决定上述间拔率不同的间拔图案中的间拔率高的间拔图案，在上述设定的摄影感光度是高感光度时，上述间拔图案决定单元决定上述间拔率不同的间拔图案中的间拔率低的间拔图案。
8.根据权利要求2~5中任一项所述的摄像装置，其中， 上述摄像装置具有: 设定摄影感光度的感光度设定单元；及 判定是否重视运算速度的判定单元， 上述多个间拔图案包括间拔率不同的间拔图案， 在由上述感光度设定单元设定的摄影感光度是低感光度时，上述间拔图案决定单元决定上述间拔率不同的间拔图案中的间拔率高、且选择上述三原色滤色器的个数比率不平均的行的间拔图案，在上述设定的摄影感光度是高感光度且重视运算速度时，上述间拔图案决定单元决定上述间拔率不同的间拔图案中的间拔率高、且选择上述三原色滤色器的个数比率更平均的行的间拔图案，在上述设定的摄影感光度是高感光度且不重视运算速度时，上述间拔图案决定单元决定上述间拔率不同的间拔图案中的间拔率低、且选择上述三原色滤色器的个数比率不平均的行的间拔图案。
9.根据权利要求2~8中任一项所述的摄像装置，其中， 上述摄像装置具有计算单元，对应与上述三原色滤色器对应的各颜色信号，算出偏移值， 上述白平衡增益计算单元算出上述白平衡增益计算中使用的行的各颜色信号的累计平均值，并且从该累计平均值中减去对应上述各颜色信号算出的偏移值，基于减算出的各颜色信号的累计平均值的比，算出白平衡增益。
10.根据权利要求9所述的摄像装置，其中， 上述摄像元件是具有每预定的像素组共有放大器的元件构造的摄像元件， 上述计算单元包括:第一计算单元，算出共有上述放大器的各像素相对于该放大器的各位置的偏移值；及第二计算单元，基于由上述间拔图案决定单元决定的间拔图案中的各像素相对于上述放大器的位置及由上述第一计算单元算出的相对于上述放大器的各位置的偏移值，算出各颜色信号的偏移值。
11.根据权利要求2~9中任一项所述的摄像装置，其中， 上述摄像元件的滤色器排列包括排列有与最有助于获得亮度信号的第一颜色对应的第一滤光片及与上述第一颜色以外的两种颜色以上的第二颜色对应的第二滤光片的预定的基本排列图案，该基本排列图案在水平方向及垂直方向上重复配置， 上述第一滤光片配置于上述滤色器排列的水平、垂直、斜右上及斜右下方向的各行内，上述第二滤光片在上述基本排列图案内在上述滤色器排列的水平及垂直方向的各行内配置I个以上， 与上述第一滤光片对应的第一颜色的像素数的比率大于与上述第二滤光片对应的第二颜色的各颜色的像素数的比率。
12.根据权利要求2~11中任一项所述的摄像装置，其中，上述摄像元件的滤色器排列包括排列有红(R)、绿(G)、蓝(B)滤色器的预定的基本排列图案，该基本排列图案在水平方向及垂直方向上重复配置， 上述预定的基本排列图案是与6X6像素对应的正方排列图案， 上述滤色器排列由第一排列和第二排列交替在水平方向及垂直方向上排列而构成，上述第一排列与3X3像素对应，在中心和4角配置G滤光片，隔着中心的G滤光片在上下配置B滤光片，在左右排列R滤光片；上述第二排列与3X3像素对应，在中心和4角配置G滤光片，隔着中心的G滤光片在上下配置R滤光片，在左右排列B滤光片。
13.根据权利要求12所述的摄像装置，其中， 上述多个间拔图案在每6行间拔读出I行时，包括:读出RGB滤色器的个数比率是1:4:1的行的间拔图案；及读出RGB滤色器的个数比率是1:1:1的行的间拔图案。
14.根据权利要求12或13所述的摄像装置，其中， 上述多个间拔图案在每6行间拔读出2行时，包括:读出RGB滤色器的个数比率是1:4:1的行的间拔图案；及读出RGB滤色器的个数比率是1:1:1的行的间拔图案。
15.根据权利要求12~14中任一项所述的摄像装置，其中， 上述多个间拔图案在每6行间拔读出3行时，包括:读出RGB滤色器的个数比率是1:4:1的行的间拔图案；及读出RGB滤色器的个数比率是5:8:5的行的间拔图案。
16.根据权利 要求12~15中任一项所述的摄像装置，其中， 上述多个间拔图案在每6行间拔读出4行时，包括:读出RGB滤色器的个数比率是1:4:1的行的间拔图案；及读出RGB滤色器的个数比率是1:2:1的行的间拔图案。
17.根据权利要求1所述的摄像装置，其中， 上述摄像装置具有计算单元，对应与上述三原色滤色器对应的各颜色信号，算出偏移值， 上述白平衡增益计算单元算出上述白平衡增益计算中使用的行的各颜色信号的累计平均值，并且从该累计平均值中减去对应上述各颜色信号算出的偏移值，基于减算出的各颜色信号的累计平均值的比，算出白平衡增益。
18.根据权利要求1所述的摄像装置，其中， 上述摄像元件的滤色器排列包括排列有红(R)、绿(G)、蓝(B)滤色器的预定的基本排列图案，该基本排列图案在水平方向及垂直方向上重复配置， 上述预定的基本排列图案是与6X6像素对应的正方排列图案， 上述滤色器排列由第一排列和第二排列交替在水平方向及垂直方向上排列而构成，上述第一排列与3X3像素对应，在中心和4角配置G滤光片，隔着中心的G滤光片在上下配置B滤光片，在左右排列R滤光片；上述第二排列与3X3像素对应，在中心和4角配置G滤光片，隔着中心的G滤光片在上下配置R滤光片，在左右排列B滤光片。
19.一种图像处理方法，包括以下工序: 图像取得工序，经由摄影光学系统及排列有三原色滤色器的摄像元件，取得与滤色器排列对应的马赛克图像，取得上述马赛克图像的各行中包含与三原色对应的颜色信号且与三原色对应的像素的个数比率根据行而不同的马赛克图像； 白平衡增益计算工序，基于上述摄像元件的多行中上述三原色滤色器的个数比率更平均的行的各颜色的滤色器所对应的各颜色信号，算出白平衡增益；及白平衡校正工序，基于由上述白平衡增益计算工序算出的白平衡增益，对经由上述摄像元件取得的各颜色信号进行白平衡校正。
20.一种图像处理方法，包括以下工序: 图像取得工序，经由摄影光学系统及排列有三原色滤色器的摄像元件，取得与滤色器排列对应的马赛克图像，取得上述马赛克图像的多行的各行中包含与三原色对应的颜色信号且与三原色对应的像素的个数比率根据行而不同的马赛克图像； 间拔图案决定工序，根据摄影条件，从用于选择上述多行中间拔读出的行的多个间拔图案中决定个间拔图案； 白平衡增益计算工序，基于由上述摄像元件取得的各行的上述滤色器所对应的颜色信号中按照由上述间拔图案决定工序决定的间拔图案所选择的预定的行的颜色信号，算出白平衡增益；及 白平衡校正工序，基于由上述白平衡增益计算工序算出的白平衡增益，对经由上述摄像元件取得的各颜色信号进行白平衡校正。
【文档编号】H04N9/07GK104025574SQ201280053307
【公开日】2014年9月3日 申请日期:2012年10月23日 优先权日:2011年10月31日
【发明者】古田善工 申请人:富士胶片株式会社