摄像装置、摄像装置的控制方法及控制程序的制作方法
摄像装置、摄像装置的控制方法及控制程序的制作方法
【专利摘要】高精度地算出AF评价值。摄像装置(10)具有：摄像元件(14)，包括在第一、第二方向上排列的多个光电转换元件；滤色器，重复配置有基本排列图案，该基本排列图案包括多个：在第二方向上包含第一、第二滤光片的沿着第二方向的排列行、即第一滤光片在第二方向上的位置相同的多个相同排列行及第二方向上的第一滤光片的排列与相同排列行不同的排列行；及图像处理部(20)，从摄像元件(14)以设定的周期读出多个像素中的像素信号，根据读出的像素信号分别生成基本排列图案内的相同排列行的行图像数据，在生成的行图像数据中对第一颜色的像素彼此进行像素加算，基于像素加算后的行图像数据生成图像数据，并基于生成的图像数据算出对比度AF的评价值。
【专利说明】摄像装置、摄像装置的控制方法及控制程序
【技术领域】
[0001]本发明涉及摄像装置、摄像装置的控制方法及控制程序，尤其涉及具有彩色摄像元件的摄像装置、摄像装置的控制方法及控制程序。
【背景技术】
[0002]作为在彩色摄像元件中广泛使用的彩色排列的原色系拜耳排列(例如参照专利文献I?3)中，将对人眼敏感且最有助于获得亮度信号的绿(G)像素配置成棋盘式格纹状，将红(R)、蓝(B)按照线型顺序配置。
[0003]专利文献1:日本特开2002-135793号公报
[0004]专利文献2:日本专利第3960965号公报
[0005]专利文献3:日本特开2004-266369号公报
【发明内容】
[0006]发明要解决的问题
[0007]在现有的采用拜耳排列的彩色摄像元件中，例如为了生成动画用的图像数据，在垂直方向上进行间拔读出时，例如在垂直方向上对应每2η (η为自然数)行读出I行图像数据的情况下(垂直方向1/2η间拔，偶数间拔)，读出仅包含G和R或G和B两种颜色的行图像数据，无法重现颜色。因此，一般情况下是对应每(2η+1)行读出I行图像数据的间拔读出(垂直方向1/(2η+1)间拔，奇数间拔)。并且，在进行除此之外的间拔读出时，为了获得颜色重现，也需要交替读出包含G和R的水平行及包含G和B的水平行，读出方法非常受限。
[0008]另外，作为AF(自动对焦)方式，公知有基于图像的对比度使焦点对齐的所谓对比度AF方式。在该对比度AF方式中，基于最有助于获得亮度信号的G像素算出AF评价值，并进行对焦。因此，提闻AF评价值的精度与提闻对焦的精度相关。尤其是，在低照度的摄影条件下，亮度值低，无法获得高精度的评价值，有时AF精度变差，要求提高AF评价值的精度。在一般情况下，为了使处理高速化，对比度AF基于在实时取景图像(实时取景图像)中使用的间拔后的低分辨率的图像来进行。
[0009]但是，在现有的拜耳排列中，在生成间拔后的低分辨率图像时，如上所述，需要交替读出包含G和R的水平行及包含G和B的水平行，读出方式受到限制，因此存在在低照度的摄影条件下难以获得高精度的AF评价值的问题。
[0010]本发明为了解决以上问题而提出，其目的在于提供能够高精度地算出AF评价值的摄像装置、摄像装置的控制方法及控制程序。
[0011]用于解决问题的方法
[0012]为了解决上述问题，本发明的摄像装置的特征在于具有:摄像元件，包括在预先规定的第一方向及与第一方向交叉的第二方向上排列的多个光电转换元件；滤色器，设于由多个光电转换元件构成的多个像素上，重复配置有多个基本排列图案，该基本排列图案包括多个在第二方向上至少各包含一个第一滤光片和第二滤光片的沿着第二方向的排列行、即第一滤光片在第二方向上的位置相同的多个相同排列行及第二方向上的第一滤光片的排列与相同排列行不同的至少一个排列行，第一滤光片与最有助于获得亮度信号的第一颜色对应，第二滤光片与第一颜色以外的两种颜色以上的第二颜色对应；行图像数据生成单元，从摄像元件以设定的周期读出多个像素中的像素信号，根据读出的像素信号，分别生成多个像素中的基本排列图案内的相同排列行的行图像数据；像素加算单元，对生成的相同排列行的行图像数据中的至少第一颜色的像素彼此进行像素加算；及计算单元，基于像素加算后的行图像数据，算出对比度AF的评价值。
[0013]根据本发明，分别生成第一滤光片在第二方向上的位置相同的相同排列行的行图像数据，对生成的相同排列行的行图像数据中的至少第一颜色的像素彼此进行像素加算，算出对比度AF的评价值。由此，能够获得精度高的AF评价值。
[0014]此外也可以是，在基本排列图案内存在多组相同排列行时，行图像数据生成单元生成第一滤光片的个数最多的组的相同排列行的行图像数据。
[0015]根据本发明，生成第一滤光片的个数最多的组的相同排列行的行图像数据，对生成的相同排列行的行图像数据中的至少第一颜色的像素彼此进行像素加算，算出对比度AF的评价值。由此，能够获得精度更高的AF评价值。
[0016]并且也可以是，在基本排列图案内存在多组相同排列行时，行图像数据生成单元分别生成所有组的相同排列行的行图像数据，像素加算单元按照所有组中的各个组来对相同排列行的行图像数据的第一颜色的像素彼此进行像素加算。
[0017]根据本发明，当相同排列行存在多组时，分别生成所有组的相同排列行的行图像数据，按照所有组中的各个组来对相同排列行的行图像数据的第一颜色的像素彼此进行像素加算。由此，能够获得精度更高的AF评价值。
[0018]并且也可以是，驱动单元分别生成在第一方向上位置最近的相同排列行的行图像数据。
[0019]根据本发明，分别生成在第一方向上最近的位置的相同排列行的行图像数据并进行像素加算，所以可获得高精度的AF评价值。
[0020]并且也可以是，行图像数据生成单元以从摄像元件读出多个像素中的像素信号的设定的周期，读出多个像素中的基本排列图案内的相同排列行的像素信号，生成行图像数据。
[0021]并且其构成也可以是，第一滤光片在滤色器面内，在第一方向、第二方向和与第一方向及第二方向交叉的第三方向的各行内配置I个以上，第二颜色的各色所对应的第二滤光片在基本排列图案内，在第一方向及第二方向的各行内配置I个以上。
[0022]根据本发明，将最有助于获得亮度信号的第一颜色所对应的第一滤光片在滤色器内配置于第一方向?第三方向的各行内，因此能够提高高频区域中的去马赛克算法处理的重现精度。并且，对于第一颜色以外的两种颜色以上的第二颜色的各色所对应的第二滤光片，在基本排列图案内，在第一方向及第二方向的各行内配置I个以上，因此能够降低彩色莫尔条纹(伪色)的产生，实现高分辨率化。
[0023]并且也可以是，滤色器包括与由第一滤光片构成的2X2像素对应的正方排列。
[0024]根据本发明，基于与2X2像素对应的正方排列的4个像素的各像素间的像素值的差值，能够以最小像素间隔判别亮度的相关方向位于4个方向中的哪个方向。
[0025]并且其构成也可以是，第一颜色是绿(G)色，第二颜色是红(R)色及蓝(B)色。
[0026]并且其构成也可以是，滤色器具有与红(R)色、绿(G)色、蓝(B)色对应的R滤光片、G滤光片及B滤光片，并且,滤色器由第一排列和第二排列交替在第一方向及第二方向上排列而构成，上述第一排列与3 X 3像素对应，在中心和四角配置有G滤光片，隔着中心的G滤光片在上下配置有B滤光，在左右排列有R滤光片，上述第二排列与3X3像素对应，在中心和四角配置有G滤光片，隔着中心的G滤光片而在上下配置有R滤光片，在左右排列有B滤光片。
[0027]根据本发明，在以第一排列或第二排列为中心提取出5X5像素(马赛克图像的局部区域)时，在5X5像素的四角存在2X2像素的G像素。这些2X2像素的G像素的像素值能够用于4个方向的相关方向的判别。
[0028]并且其构成也可以是，滤色器具有与红(R)色、绿(G)色、蓝(B)色对应的R滤光片、G滤光片及B滤光片，并且,滤色器由第一排列和第二排列交替在第一方向及第二方向上排列而构成，上述第一排列与3 X 3像素对应，在中心配置有R滤光片，在四角配置有B滤光片，隔着中心的R滤光片在上下左右配置有G滤光片，上述第二排列与3 X 3像素对应，在中心配置有B滤光片，在四角配置有R滤光片，隔着中心的B滤光片而在上下左右配置有G滤光片。
[0029]根据本发明，在以第一排列或第二排列为中心提取出5X5像素(马赛克图像的局部区域)时，存在隔着5X5像素的中心的像素(R像素或B像素)在水平及垂直方向上分别相邻的G像素。这些G像素(共8个像素)的像素值能够用于4个方向的相关方向的判别。
[0030]并且其构成也可以是，滤色器相对于基本排列图案的中心形成点对称。
[0031]根据本发明，能够减小后段的处理电路的电路规模。
[0032]本发明的摄像装置的特征在于具有:摄像元件，包括在预先规定的第一方向及与第一方向交叉的第二方向上排列的多个光电转换元件；滤色器，设于由多个光电转换元件构成的多个像素上，重复配置有基本排列图案，该基本排列图案至少包括在第二方向上至少各包含一个第一滤光片和第二滤光片的沿着第二方向的排列行、即第一滤光片在第二方向上的位置相同的多个第一相同排列行及第二方向上的第一滤光片的排列与第一相同排列行不同的多个第二相同排列行，第一滤光片与最有助于获得亮度信号的第一颜色对应，第二滤光片与第一颜色以外的两种颜色以上的第二颜色对应；行图像数据生成单元，从摄像元件以设定的周期读出多个像素中的像素信号，根据读出的像素信号，生成排列行中的第一滤光片的个数最多的组的相同排列行的行图像数据；及计算单元，基于由行图像数据生成单元生成的行图像数据，算出对比度AF的评价值。
[0033]根据本发明，基于第一滤光片的个数最多的组的相同排列行的行图像数据算出对比度AF的评价值，因此不进行像素加算而能够高精度地算出对比度AF的评价值。
[0034]本发明的摄像装置的控制方法中，该摄像装置具有:摄像元件，包括在预先规定的第一方向及与第一方向交叉的第二方向上排列的多个光电转换元件；及滤色器，设于由多个光电转换元件构成的多个像素上，重复配置有多个基本排列图案，该基本排列图案包括多个在第二方向上至少各包含一个第一滤光片和第二滤光片的沿着第二方向的排列行、即第一滤光片在第二方向上的位置相同的多个相同排列行及第二方向上的第一滤光片的排列与相同排列行不同的至少一个排列行，第一滤光片与最有助于获得亮度信号的第一颜色对应，第二滤光片与第一颜色以外的两种颜色以上的第二颜色对应，该摄像装置的控制方法的特征在于，从摄像元件以设定的周期读出多个像素中的像素信号，根据读出的像素信号，分别生成多个像素中的基本排列图案内的相同排列行的行图像数据，对生成的相同排列行的行图像数据中的至少第一颜色的像素彼此进行像素加算，基于像素加算后的行图像数据，算出对比度AF的评价值。
[0035]本发明的控制程序的特征在于，用于使控制摄像装置的计算机执行处理，该摄像装置具有:摄像元件，包括在预先规定的第一方向及与第一方向交叉的第二方向上排列的多个光电转换元件；及滤色器，设于由多个光电转换元件构成的多个像素上，重复配置有多个基本排列图案，该基本排列图案包括多个在第二方向上至少各包含一个第一滤光片和第二滤光片的沿着第二方向的排列行、即第一滤光片在第二方向上的位置相同的多个相同排列行及第二方向上的第一滤光片的排列与相同排列行不同的至少一个排列行，第一滤光片与最有助于获得亮度信号的第一颜色对应，第二滤光片与第一颜色以外的两种颜色以上的第二颜色对应，处理包括以下步骤:从摄像元件以设定的周期读出多个像素中的像素信号；根据读出的像素信号，分别生成多个像素中的基本排列图案内的相同排列行的行图像数据；对生成的相同排列行的行图像数据中的至少第一颜色的像素彼此进行像素加算；基于像素加算后的行图像数据，算出对比度AF的评价值。
[0036]本发明的控制程序的特征在于，用于使计算机执行包括以下步骤的处理:根据从摄像元件以设定的周期读出多个像素中的像素信号的像素信号，分别生成多个像素中的基本排列图案内的相同排列行的行图像数据，摄像元件具有:在预先规定的第一方向及与第一方向交叉的第二方向上排列的多个光电转换元件；及滤色器，设于由多个光电转换元件构成的多个像素上，重复配置有多个基本排列图案，该基本排列图案包括多个在第二方向上至少各包含一个第一滤光片和第二滤光片的沿着第二方向的排列行、即第一滤光片在第二方向上的位置相同的多个相同排列行及第二方向上的第一滤光片的排列与相同排列行不同的至少一个排列行，第一滤光片与最有助于获得亮度信号的第一颜色对应，第二滤光片与第一颜色以外的两种颜色以上的第二颜色对应；对生成的相同排列行的行图像数据中的至少第一颜色的像素彼此进行像素加算；基于像素加算后的行图像数据，算出对比度AF的评价值。
[0037]发明效果
[0038]根据本发明，具有能够高精度地算出AF评价值的效果。
【专利附图】
【附图说明】
[0039]图1是第一实施方式涉及的摄像装置的概略框图。
[0040]图2是第一实施方式涉及的滤色器的构成图。
[0041]图3是表示第一实施方式涉及的滤色器中包含的基本排列图案的图。
[0042]图4是表示将第一实施方式涉及的滤色器中含有的6X6像素的基本排列图案分割为3X 3像素的A排列和B排列、并将它们在水平及垂直方向上重复配置而成的滤色器的图。[0043]图5是表示第一实施方式涉及的滤色器的G像素的特征性配置的图。
[0044]图6是用于说明第一实施方式涉及的像素加算处理的图。
[0045]图7是表示由控制部执行的处理的流程图。
[0046]图8是第二实施方式涉及的滤色器的构成图。
[0047]图9是表示第二实施方式涉及的滤色器中包含的基本排列图案的图。
[0048]图1OA是表示将第二实施方式涉及的滤色器中含有的6X6像素的基本排列图案分割为3X3像素的A排列和B排列、并将它们在水平及垂直方向上重复配置而成的滤色器的图。
[0049]图1OB是表示第二实施方式涉及的滤色器的G像素的特征性配置的图。
[0050]图11是用于说明第二实施方式涉及的像素加算处理的图。
[0051]图12是表示滤色器的变形例的图。
[0052]图13是表示滤色器的变形例的图。
[0053]图14是表示滤色器的变形例的图。
[0054]图15是表示滤色器的变形例的图。
[0055]图16是表示滤色器的变形例的图。
[0056]图17是表示滤色器的变形例的图。
[0057]图18是用于说明读出G像素多的行并算出AF评价值的情况下的图。
[0058]图19是用于说明读出G像素多的行并算出AF评价值的情况下的图。
[0059]图20是表示滤色器的变形例的图。
【具体实施方式】
[0060]以下，参照【专利附图】
【附图说明】本发明的实施方式。
[0061](第一实施方式)
[0062]图1表示本实施方式涉及的摄像装置10的概略框图。摄像装置10的构成包括:光学系统12、摄像元件14、摄像处理部16、图像处理部20、驱动部22及控制部24。
[0063]光学系统12的构成例如包括由多个光学镜头构成的镜头组、光圈调节机构、变焦机构及自动焦点调节机构等。
[0064]摄像元件14是在包括排列于水平方向及垂直方向上的多个光电转换元件的摄像兀件、例如 CCD (Charge Coupled Device:电荷稱合器件)、CM0S (Complementary Metal OxideSemiconductor:互补金属氧化物半导体)等摄像元件上配置了滤色器的构成的所谓单板式的摄像元件。
[0065]图2表示本实施方式涉及的滤色器的一部分。在各像素上配置红(R)、绿(G)、蓝
(B)三原色的滤色器中的任一个。
[0066](滤色器排列的特征)
[0067]第一实施方式的滤色器具有下述特征(I)?(6)。
[0068][特征(I)]
[0069]滤色器排列中，红(R)、绿(G)、蓝⑶三原色的滤光片在垂直方向及水平方向上以(NXM)像素(N、M:3以上的整数)的预先规定的图案配置、并且绿(G)滤光片和红(R)及蓝
(B)中的至少一种颜色的滤光片在垂直方向及水平方向上分别配置而成的基本排列图案重复配置。
[0070]本实施方式涉及的图2所示的滤色器中，作为一例包括与6X6像素(N = M = 6)对应的正方排列图案所构成的基本排列图案P (粗框所示的图案)，该基本排列图案P在垂直方向(第一方向)及水平方向(第二方向)上重复配置。即，该滤色器中，R、G、B各色滤光片(R滤光片、G滤光片、B滤光片)以预定的周期性排列。
[0071]如此，R滤光片、G滤光片、B滤光片以预定的周期性排列，所以在进行从彩色摄像元件读出的R、G、B信号的去马赛克算法处理(也称为去马赛克算法处理。下同)等时，能够按照重复图案进行处理。
[0072][特征⑵]
[0073]图2所示的滤色器排列中，最有助于获得亮度信号的颜色(在本实施方式中是G色)所对应的G滤光片配置于滤色器排列的作为第一方向的垂直方向、作为第二方向的水平方向及在滤色器面内与第一方向及第二方向交叉的第三方向即倾斜(NE、NW)方向(第三方向)的各行内。此外，NE是指斜右上方向，NW是指斜右下方向。例如，当是正方形的像素排列时，斜右上及斜右下方向是相对于水平方向分别呈45度的方向，如果是长方形的像素排列，则是长方形的对角线的方向，其角度根据长边/短边的长度可变。
[0074]亮度系像素所对应的G滤光片配置于滤色器排列的垂直方向、水平方向及倾斜(NE、NW)方向的各行内，因此无论高频的方向如何都能够提高高频区域中的去马赛克算法处理的重现精度。
[0075][特征⑶]
[0076]图2所示的滤色器排列中，上述G色以外的两种颜色以上的其他颜色(在本实施方式中是R、B色)所对应的R滤光片、B滤光片在基本排列图案P内，在滤色器排列的垂直方向及水平方向的各行内配置I个以上。
[0077]R滤光片、B滤光片配置于滤色器排列的垂直方向及水平方向的各行内，因此能够减少彩色莫尔条纹(伪色)的产生。
[0078]由此，能够不使用于抑制伪色产生的光学低通滤波器配置于从光学系统的入射面到摄像面的光路上，或者在适用光学低通滤波器的情况下，也能够适用用于防止伪色产生的、切断高频成分的作用较弱的装置，能够不损害分辨率。
[0079][特征⑷]
[0080]图3表示将图2所示的基本排列图案P四分为3X3像素的状态。
[0081]如图3所示，基本排列图案P也可以被看作:由实线框围成的3X3像素的A排列和虚线框围成的3X3像素的B排列在水平、垂直方向上交替排列而得到的排列。
[0082]A排列及B排列中，作为亮度系像素的G滤光片分别配置于四角和中央，配置于两条对角线上。并且，A排列中，隔着中央的G滤光片在水平方向上排列有R滤光片，在垂直方向上排列有B滤光片，另一方面，B排列中，隔着中央的G滤光片在水平方向上排列有B滤光片，在垂直方向上排列有R滤光片。即，A排列和B排列中,R滤光片和B滤光片的位置关系相反，但其他配置相同。
[0083]并且，A排列和B排列的四角的G滤光片如图4所示，通过A排列和B排列在水平、垂直方向上交替配置，成为2X2像素所对应的正方排列的G滤光片。
[0084]S卩，图2所示的滤色器排列(基本排列图案P)包括由G滤光片构成的2X2像素所对应的正方排列。
[0085]现在，如图5所示，在将从摄像元件14输出的马赛克图像以A排列为中心提取出5X5像素的局部区域时，该局部区域内的四角的2X2像素的G像素变为图5所示的配置。
[0086]如图5所示，在将2X2像素的G像素的像素值从左上到右下依次设为G1、G2、G3、G4时，这些G像素的像素值的垂直方向的差的绝对值是(|G1 —G3| + |G2 — G4|)/2，水平方向的差的绝对值是(I Gl — G2| + |G3 — G4|)/2，斜右上方向的差的绝对值是|G2 — G3|，斜左上方向的差的绝对值是|G1— G4|。
[0087]能够判别出这4个相关绝对值中差的绝对值最小的方向上具有相关性(相关方向)。
[0088]现在，为了如图4或图5所示使3X 3像素的A排列位于中央而从马赛克图像提取出5X5像素的局部区域时，在四角配置2X2像素的G像素。因此，在将上述局部区域内的A排列的3 X 3像素作为去马赛克算法处理的对象像素时，求出四角的各方向的相关绝对值的总和(或平均值)，将各方向的相关绝对值的总和(或平均值)中的最小的值的方向判别为去马赛克算法处理的对象像素中的亮度的相关方向。判别出的相关方向能够在进行去马赛克算法处理等时使用。
[0089][特征(5)]
[0090]图2所示的构成滤色器排列的基本排列图案P相对于该基本排列图案的中心(4个G滤光片的中心)形成点对称。并且，如图3所示，基本排列图案内的A排列及B排列也分别相对于中心的G滤光片形成点对称，且上下左右形成对称(线对称)。
[0091]通过该对称性，能够减小或简化后段的处理电路的电路规模。
[0092][特征(6)]
[0093]图2所示的构成滤色器排列的基本排列图案P包括多个G滤光片的水平方向上的位置相同的、沿着水平方向的相同排列行。例如如图6所示，在垂直方向上，第一行、第三行、第四行、第六行中，水平方向上的G滤光片的位置均相同。并且，第二行和第五行中，水平方向上的G滤光片的位置也相同。因此，作为AF方式采用对比度AF方式，在基于G像素的像素值计算AF评价值时，读出水平方向上的G滤光片的位置相同的相同排列的行图像数据，对水平方向上的位置相同的G像素彼此进行像素加算。由此，能够提高AF评价值的精度。
[0094]摄像处理部16对从摄像元件14输出的摄像信号实施放大处理、相关双重采样处理、A/D转换处理等预先规定的处理，作为像素数据输出到图像处理部20。
[0095]图像处理部20对从摄像处理部16输出的像素数据实施所谓去马赛克算法处理。即，对于全部像素，从周围的像素的像素数据对所对应的颜色以外的颜色的像素数据进行插值，生成全部像素的R、G、B的像素数据。并且，对生成的R、G、B像素数据实施所谓YC转换处理，生成亮度数据Y、色差数据Cr、Cb。并且，进行将这些信号缩放成与摄影模式对应的大小的缩放处理。
[0096]驱动部22根据来自控制部24的指示，进行来自摄像元件14的摄像信号的读出驱动等。
[0097]控制部24根据摄影模式等，统一控制驱动部22及图像处理部20等。稍后详述，控制部24指示驱动部22以与摄影模式对应的读出方法读出摄像信号，或者指示图像处理部20进行与摄影模式对应的图像处理。
[0098]根据摄影模式，需要间拔并读出来自摄像元件14的摄像信号，因此控制部24指示驱动部22以与指示的摄影模式对应的间拔方法进行间拔并读出摄像信号。
[0099]作为摄影模式包括:拍摄静止图像的静止图像模式；对拍摄的图像进行间拔而生成较高分辨率的HD (高清)动画数据并记录到未图示的存储卡等记录介质的HD动画模式；对拍摄的图像进行间拔并将较低分辨率的实时取景动画(实时取景图像)输出到未图示的显示部的实时取景动画模式(实时取景模式)等动画模式，但摄影模式的种类不限于此。
[0100]接着，作为本实施方式的作用，对于由控制部24执行的处理，参照图7所示的流程图进行说明。
[0101]此外，图7所示的处理例如在用户进行静止图像摄影时通过半按快门键(或快门开关)使焦点对准被摄体的情况下执行。并且，以下，说明读出垂直方向上预先规定的位置的行图像数据的情况，即对垂直方向上的预先规定的位置的行以外的行进行间拔(去除)并读出的情况。并且，此时的行图像数据是指沿着水平方向排列的像素的像素数据的集合。
[0102]首先，在步骤100中，指示驱动部22以与摄影模式对应的间拔方法读出图像数据。
[0103]在本实施方式中，指示驱动部22分别从摄像元件14读出在基本排列图案P内G滤光片的水平方向上的位置相同的沿着水平方向的相同排列行的行图像数据(在本实施方式中，驱动部22及控制部24与行图像数据生成单元对应)。
[0104]在图6所示的滤色器的情况下，在基本排列图案P内，第一行、第三行、第四行及第六行的行图像数据中，G滤光片的水平方向上的位置相同。并且，第二行和第五行的行图像数据中，G滤光片的水平方向上的位置也相同。在此，第一行、第三行、第四行及第六行的行图像数据的第一组与第二行和第五行的行图像数据的第二组相比，基本排列图案P内的水平方向的G像素数较多。因此，在本实施方式中，指示驱动部22读出G像素数较多的第一组的四行的行图像数据。
[0105]在步骤102中，指示图像处理部20执行对读出的G滤光片的水平方向上的位置为相同排列的行图像数据的G像素彼此进行像素加算的像素加算处理，并且基于像素加算处理后的图像数据，执行计算AF评价值的处理(在本实施方式中，图像处理部20及控制部24与像素加算单元及计算单元对应)。
[0106]由此，如图6所示，对应各基本排列图案P，生成第一行、第三行、第四行及第六行的行图像数据的水平方向上的位置相同的G像素彼此被像素加算所得的行图像数据(第一行)。并且，基于对应各基本排列图案P进行了像素加算所得的行图像数据的图像数据成为AF评价值计算用的图像数据，基于该图像数据，算出对比度AF用的AF评价值。
[0107]如此，当存在多组G像素的位置为相同排列的行的组时，对G像素数较多的相同排列行的行图像数据的G像素彼此进行像素加算，因此能够算出高精度的AF评价值。
[0108]此外，控制部24及图像处理部20能够由包括CPU、R0M、RAM、非易失性ROM等的计算机构成。在这种情况下，能够将上述处理的处理程序例如预先存储到非易失性ROM中，由CPU将其读入并执行。
[0109]如此，在本实施方式中，滤色器在基本排列图案P内包括多个G像素的水平方向上的位置相同的相同排列的行，执行对读出的相同排列的行图像数据的同色像素彼此进行像素加算的像素加算处理，因此能够算出高精度的AF评价值。[0110]此外，如上所述，在基本排列图案P内G像素的水平方向上的位置相同的相同排列行存在3行以上时，可以对所有相同排列行的行图像数据的水平方向上的位置相同的G像素彼此进行像素加算，但也可以对部分相同排列行进行加算像素。在这种情况下，优选至少分别读出在垂直方向上最近的位置的相同排列行的行图像数据，对水平方向上的位置相同的G像素彼此进行像素加算。由此，可获得良好画质的图像。
[0111]并且，在上述中，当G像素的位置为相同排列的行的组存在多组时，对G像素数较多的相同排列行的行图像数据的G像素彼此进行了像素加算，但例如如图6所示，也可以对G像素数较少的第二行和第五行的相同排列行的行图像数据的G像素彼此进行像素加算(第二行)。
[0112]并且，也可以按照所有组中的各个组，来对相同排列行的行图像数据的G像素的像素彼此进行像素加算。即，可以基于将对G像素数较多的第一组的行图像数据的G像素彼此进行了像素加算所得的第一行的行图像数据及对G像素数较少的第二组的行图像数据的G像素彼此进行了像素加算所得的第二行的行图像数据在垂直方向上交替配置而成的图像数据，来算出AF评价值。
[0113]并且，在本实施方式中，说明了对水平方向上的位置相同的G像素彼此的像素值单纯地进行加算的情况，但不限于此，也可以赋以权重地进行加算。
[0114]并且，不限于静止图像摄影时，也可以在动画摄影时执行上述处理。
[0115](第二实施方式)
[0116]接着，说明本发明的第二实施方式。在本实施方式中，说明滤色器的变形例。
[0117]图8表示本实施方式涉及的滤色器。如该图所示，本实施方式涉及的滤色器包括由6 X 6像素所对应的正方排列图案构成的基本排列图案P (粗框所示的图案)，该基本排列图案P在水平方向及垂直方向上重复配置。即，该滤色器排列中，R、G、B各色滤光片(R滤光片、G滤光片、B滤光片)以预定的周期性排列。
[0118]并且，图8所示的滤色器排列中，G滤光片配置于滤色器排列的垂直方向及水平方向的各行内。
[0119]并且，图8所示的滤色器排列中，R滤光片、B滤光片在基本排列图案P内，在滤色器排列的垂直方向及水平方向的各行内配置I个以上。
[0120]图9表示将图8所示的基本排列图案P四分为3X3像素的状态。
[0121]如图9所示，基本排列图案P也可以被看作:由实线框围成的3X3像素的A排列和虚线框围成的3X3像素的B排列在水平、垂直方向上交替排列而得到的排列。
[0122]A排列中，在中心配置有R滤光片，在四角配置有B滤光片，隔着中心的R滤光片在上下左右配置有G滤光片。另一方面，B排列中，在中心配置有B滤光片，在四角配置有R滤光片，隔着中心的B滤光片在上下左右配直有G滤光片。这些A排列和B排列中，R滤光片和B滤光片的位置关系相反，但其他配置相同。
[0123]如图1OA所示，第一实施方式的滤色器也可以被看作，上述A排列和B排列在水平
及垂直方向上交替配置。
[0124]现在，如图1OA所示，在将从摄像元件14输出的马赛克图像以A排列为中心提取出5X5像素的局部区域(粗框所示的区域)时，该局部区域内的8个G像素如图1OB所示，配置成十字形状。当将这些G像素按照从左到右的顺序设为Gl、G2、G3、G4且按照从上到下的顺序设为G5、G6、G7、G8时，像素G1G2、像素G2G3在水平方向上相邻，像素G5G6、像素G7G8在垂直方向上相邻，像素G6G3、像素G2G7在斜左上方向上相邻，像素G6G2、像素G3G7在斜右上方向上相邻。
[0125]因此，通过求出这些相邻的像素的像素值的差的绝对值，能够以最小像素间隔判别水平、垂直及倾斜(NE、NW)方向的各方向中的、亮度变化最小的方向(相关性高的相关方向)。
[0126]即，水平方向的差的绝对值之和是Igi — G2| + |G3 — G4|，水平方向的差的绝对值之和是IG5 — G6 I +1G7 — G8 |，斜右上方向的差的绝对值之和是IG6 — G2 | +1G3 — G7 |，斜左上方向的差的绝对值之和是|G6 - G3| + |G2G7|。
[0127]能够判别出这4个相关绝对值中差的绝对值最小的方向上具有相关性(相关方向)。此外，判别出的相关方向能够在进行去马赛克算法处理等时使用。
[0128]并且，图8所示的构成滤色器排列的基本排列图案P相对于该基本排列图案P的中心形成点对称。
[0129]如图9所示，基本排列图案内的A排列及B排列也分别相对于中心的R滤光片或G滤光片形成点对称，且上下左右形成对称(线对称)。
[0130]并且，图8所示的构成滤色器排列的基本排列图案P包括多个G滤光片的水平方向上的位置相同的、沿着水平方向的相同排列行。例如如图11所示，在垂直方向上，第一行、第三行、第四行、第六行中，水平方向上的G滤光片的位置均相同。并且，第二行和第五行中，水平方向上的G滤光片的位置也相同。
[0131]如此，本实施方式涉及的滤色器具有和第一实施方式涉及的滤色器的特征(I)、
(3)?(6)相同的特征。
[0132]在此，如图11所示，第一行、第三行、第四行及第六行的行图像数据的第一组与第二行和第五行的行图像数据的第二组相比，基本排列图案P内的水平方向的G像素数较多。因此，在本实施方式中，控制部24在图7的步骤100中，指示驱动部22读出G像素数较多的第二组的两行的行图像数据。
[0133]并且，在图7的步骤102中，控制部24指示图像处理部20执行对读出的G滤光片的水平方向上的位置为相同排列的行图像数据的G像素彼此进行像素加算的像素加算处理，并且基于像素加算处理后的图像数据，执行计算AF评价值的处理。
[0134]由此，如图11所示，对应各基本排列图案P，生成第二行和第五行的行图像数据的水平方向上的位置相同的G像素彼此被像素加算所得的行图像数据(第一行)。并且，基于对应各基本排列图案P进行了像素加算所得的行图像数据的图像数据成为AF评价值计算用的图像数据，基于该图像数据，算出对比度AF用的AF评价值。
[0135]如此，当存在多组G像素的位置为相同排列的行的组时，对G像素数较多的相同排列行的行图像数据的G像素彼此进行像素加算，因此能够算出高精度的AF评价值。
[0136]此外，如图11所示，也可以对G像素数少的第一行、第三行、第四行及第六行的行图像数据的G像素彼此进行像素加算(第二行)。
[0137]并且，也可以按照所有组中的各个组，来对相同排列行的行图像数据的G像素的像素彼此进行像素加算。即，可以基于将对G像素数较多的第二组的行图像数据的G像素彼此进行了像素加算所得的第一行的行图像数据及对G像素数较少的第一组的行图像数据的G像素彼此进行了像素加算所得的第二行的行图像数据在垂直方向上交替配置而成的图像数据，来算出AF评价值。
[0138]并且，滤色器排列不限于上述各实施方式中说明的情况，本发明也可以适用于具有下述滤色器排列的摄像元件的摄像装置。
[0139]例如，作为具有上述特征⑴、(2)、⑷、(5)、(6)的滤色器排列，如图12所示，包括基本排列图案P为3X3像素的滤色器排列。该滤色器排列由下述基本排列图案重复形成:在3X3像素的中心和四角配置有G滤光片，在其余的5个像素上配置有相同个数的R或B。
[0140]并且，作为具有上述特征(I)、(3)、(4)、(5)、(6)的滤色器排列，如图13所示，包括基本排列图案P为4X4像素的滤色器排列。该滤色器排列由如下基本排列图案重复形成:以在4X4像素中的两条对角线上配置G且在其余的像素位置上R、B像素在4X4像素中的水平及垂直方向的各行内配置I个以上的方式配置，G的个数被设定为多于R、B的个数。
[0141]并且，作为具有上述特征⑴、(2)、(3)、⑷、(5)、(6)的滤色器排列，如图14所示，包括基本排列图案P为5X5像素的滤色器排列。该滤色器排列由如下基本排列图案重复形成:以在5 X 5像素中的两条对角线上配置G且在其余的像素位置上R、B像素在5 X 5像素中的水平及垂直方向的各行内配置I个以上的方式配置，G的个数被设定为多于R、B的个数。
[0142]并且，作为具有上述特征⑴、(2)、(3)、⑷、(5)、(6)的滤色器排列，如图15所示，包括基本排列图案P为6X6像素的滤色器排列。该滤色器排列由基本排列图案重复形成，该基本排列图案由第一子排列和第二子排列各两个在水平方向、垂直方向上交替地彼此相邻地配置，上述第一子排列中，G在R或B的外周配置成矩形状，上述第二子排列中，G配置于中央部。在该排列中，在特征(3)中，也具有R及B均在滤色器排列的倾斜(NE、NW)方向(第三方向)的各行内配置I个以上的特征。
[0143]并且，作为具有上述特征⑴、(2)、(3)、⑷、(5)、(6)的滤色器排列，包括图16所不的基本排列图案P为7X7像素的滤色器排列及图17所不的基本排列图案P为8X8像素的滤色器排列。
[0144]这些滤色器具有特征(6)，因此通过读出水平方向上的G像素的位置为相同排列的行图像数据并对G像素彼此进行像素加算，能够算出高精度的AF评价值。
[0145]此外，考虑到去马赛克算法处理、动画摄影时的间拔处理等图像处理的难易度，优选N、M为10以下。
[0146]并且，在上述实施方式中，说明了具有RGB三原色的滤色器的彩色摄像元件，但本发明不限于此，也可以适用于RGB三原色+其他颜色(例如翠绿色(E))的4色滤光片、例如图20所示的滤色器。并且，本发明也可以适用于作为其他颜色具有白色或透明(W)滤光片的滤色器。例如，也可以替代图20的翠绿色而配置W滤光片。在这种情况下，W和G的组合或者W成为最有助于亮度信号的第一颜色。
[0147]并且，本发明也可以适用于对作为原色RGB的互补色的C(青色)、M(品红色)、Y (黄色)加入G的四种颜色的互补色系的滤色器的彩色摄像元件。
[0148]并且，在上述各实施方式中，说明了在垂直方向上以预先规定的周期读出沿着水平方向的行图像数据的情况，但本发明也可以适用于在水平方向上以预先规定的周期读出沿着垂直方向的行图像数据的情况。
[0149]并且，在本实施方式中，说明了读出在基本排列图案P内G像素的水平方向上的位置相同的相同排列的行并对读出的相同排列的行图像数据的同色像素彼此进行像素加算的像素加算处理的情况，但也可以不进行像素加算，读出在基本排列图案P内G像素的水平方向上的位置相同的相同排列行中的G滤光片的个数最多的组的相同排列行的行图像数据，基于读出的行图像数据，算出对比度AF的评价值。由此，不进行像素加算而能够高精度地算出对比度AF的评价值。
[0150]例如，如图18所示，在垂直方向上以1/3间拔读出行图像数据时的各行成为水平方向上的G滤光片的位置相同的相同排列行中的G滤光片的个数最多的组的相同排列行。因此，可以不对这些相同排列行的行图像数据进行像素加算，而基于这些行图像数据算出对比度AF的评价值。
[0151]并且，如图19所示，也可以将G滤光片的个数最多的组的相同排列行的行图像数据全部读出，不对这些行图像数据进行像素加算，而基于这些行图像数据算出对比度AF的评价值。
[0152]并且，在本实施方式中，说明了从摄像元件14读出在基本排列图案P内G像素的水平方向上的位置相同的相同排列的行并执行对读出的相同排列的行图像数据的同色像素彼此进行像素加算的像素加算处理的情况，但也可以读出所有行的像素的像素信号，选择性地使用基本排列图案P内G像素的水平方向上的位置相同的相同排列行的行图像数据(不使用或不存储其他行的行图像数据)，对它们进行像素加算。并且，也可以读出所有行的像素的像素信号，暂时存储到RAM等存储器中，选择性地使用基本排列图案P内G像素的水平方向上的位置相同的相同排列行的行图像数据并进行像素加算(在这种方式的情况下，摄像处理部16或图像处理部20与行图像数据生成单元对应)。
[0153]并且，在本实施方式中，说明了从摄像元件14分别读出基本排列图案P内的相同排列行的行图像数据而生成行图像数据并对它们进行像素加算的情况，但像素加算也可以在摄像元件14内进行。尤其是，通过在摄像元件14中读出之后立即进行像素加算(像素混合)，能够进一步缩短动画的处理时间(在这种方式的情况下，摄像元件14及驱动部22与行图像数据生成单元及像素加算单元对应)。
[0154]而且，本发明不限于上述实施方式，在不脱离本发明的精神的范围内能够进行各种变形，这是不言而喻的。
[0155]附图标记
[0156]10摄像装置
[0157]12光学系统
[0158]14摄像元件
[0159]16摄像处理部
[0160]20图像处理部
[0161]22驱动部
[0162]24控制部
[0163]P基本排列图案。
【权利要求】
1.一种摄像装置，具有: 摄像元件，包括在预先规定的第一方向及与上述第一方向交叉的第二方向上排列的多个光电转换兀件； 滤色器，设于由上述多个光电转换元件构成的多个像素上，重复配置有多个基本排列图案，上述基本排列图案包括多个在上述第二方向上至少各包含一个第一滤光片和第二滤光片的沿着上述第二方向的排列行、即上述第一滤光片在上述第二方向上的位置相同的多个相同排列行及上述第二方向上的上述第一滤光片的排列与上述相同排列行不同的至少一个排列行，上述第一滤光片与最有助于获得亮度信号的第一颜色对应，上述第二滤光片与上述第一颜色以外的两种颜色以上的第二颜色对应； 行图像数据生成单元，从上述摄像元件以设定的周期读出上述多个像素中的像素信号，根据读出的上述像素信号，分别生成上述多个像素中的上述基本排列图案内的上述相同排列行的行图像数据； 像素加算单元，对生成的上述相同排列行的行图像数据中的至少上述第一颜色的像素彼此进行像素加算 '及 计算单元，基于像素加算后的上述行图像数据，算出对比度AF的评价值。
2.根据权利要求1所述的摄像装置，其中， 在上述基本排列图案内存在多组上述相同排列行时，上述行图像数据生成单元生成上述第一滤光片的个数最多的组的相同排列行的行图像数据。
3.根据权利要求1或2所述的摄像装置，其中， 在上述基本排列图案内存在多组上述相同排列行时，上述行图像数据生成单元分别生成所有组的相同排列行的行图像数据， 上述像素加算单元按照上述所有组中的各个组来对上述相同排列行的行图像数据的上述第一颜色的像素彼此进行像素加算。
4.根据权利要求1~3中任一项所述的摄像装置，其中， 上述行图像数据生成单元分别生成在上述第一方向上位置最近的相同排列行的行图像数据。
5.根据权利要求1~4中任一项所述的摄像装置，其中， 上述行图像数据生成单元以从上述摄像元件读出上述多个像素中的像素信号的上述设定的周期，来读出上述多个像素中的上述基本排列图案内的上述相同排列行的上述像素信号，生成上述行图像数据。
6.根据权利要求1~5中任一项所述的摄像装置，其中， 上述第一滤光片在上述滤色器面内在上述第一方向、上述第二方向和与上述第一方向及上述第二方向交叉的第三方向的各行内配置I个以上， 上述第二颜色的各色所对应的上述第二滤光片在上述基本排列图案内在上述第一方向及上述第二方向的各行内配置I个以上。
7.根据权利要求1~6中任一项所述的摄像装置，其中， 上述滤色器包括与由上述第一滤光片构成的2X2像素对应的正方排列。
8.根据权利要求1~7中任一项所述的摄像装置，其中， 上述第一颜色是绿(G)色，上述第二颜色是红(R)色及蓝(B)色。
9.根据权利要求8所述的摄像装置，其中， 上述滤色器具有与红(R)色、绿(G)色、蓝(B)色对应的R滤光片、G滤光片及B滤光片，并且， 上述滤色器由第一排列和第二排列交替在上述第一方向及上述第二方向上排列而构成， 上述第一排列与3X3像素对应，在中心和四角配置有G滤光片，隔着中心的G滤光片而在上下配置有B滤光片，在左右排列有R滤光片， 上述第二排列与3X3像素对应，在中心和四角配置有G滤光片，隔着中心的G滤光片而在上下配置有R滤光片，在左右排列有B滤光片。
10.根据权利要求8所述的摄像装置，其中， 上述滤色器具有与红(R)色、绿(G)色、蓝(B)色对应的R滤光片、G滤光片及B滤光片，并且， 上述滤色器由第一排列和第二排列交替在上述第一方向及上述第二方向上排列而构成， 上述第一排列与3 X 3像素对应，在中心配置有R滤光片，在四角配置有B滤光片，隔着中心的R滤光片而在上 左右配置有G滤光片， 上述第二排列与3 X 3像素对应，在中心配置有B滤光片，在四角配置有R滤光片，隔着中心的B滤光片而在上下左右配置有G滤光片。
11.根据权利要求1~10中任一项所述的摄像装置，其中， 上述滤色器关于上述基本排列图案的中心形成点对称。
12.—种摄像装置，具有: 摄像元件，包括在预先规定的第一方向及与上述第一方向交叉的第二方向上排列的多个光电转换兀件； 滤色器，设于由上述多个光电转换元件构成的多个像素上，重复配置有基本排列图案，上述基本排列图案至少包括在上述第二方向上至少各包含一个第一滤光片和第二滤光片的沿着上述第二方向的排列行、即上述第一滤光片在上述第二方向上的位置相同的多个第一相同排列行及上述第二方向上的上述第一滤光片的排列与上述第一相同排列行不同的多个第二相同排列行，上述第一滤光片与最有助于获得亮度信号的第一颜色对应，上述第二滤光片与上述第一颜色以外的两种颜色以上的第二颜色对应； 行图像数据生成单元，从上述摄像元件以设定的周期读出上述多个像素中的像素信号，根据读出的上述像素信号，生成上述排列行中的上述第一滤光片的个数最多的组的相同排列行的行图像数据 '及 计算单元，基于由上述行图像数据生成单元生成的行图像数据，算出对比度AF的评价值。
13.一种摄像装置的控制方法，上述摄像装置具有: 摄像元件，包括在预先规定的第一方向及与上述第一方向交叉的第二方向上排列的多个光电转换元件；及 滤色器，设于由上述多个光电转换元件构成的多个像素上，重复配置有多个基本排列图案，上述基本排列图案包括多个在上述第二方向上至少各包含一个第一滤光片和第二滤光片的沿着上述第二方向的排列行、即上述第一滤光片在上述第二方向上的位置相同的多个相同排列行及上述第二方向上的上述第一滤光片的排列与上述相同排列行不同的至少一个排列行，上述第一滤光片与最有助于获得亮度信号的第一颜色对应，上述第二滤光片与上述第一颜色以外的两种颜色以上的第二颜色对应， 上述摄像装置的控制方法包括如下步骤: 从上述摄像元件以设定的周期读出上述多个像素中的像素信号， 根据读出的上述像素信号，分别生成上述多个像素中的上述基本排列图案内的上述相同排列行的行图像数据， 对生成的上述相同排列行的行图像数据中的至少上述第一颜色的像素彼此进行像素加算， 基于像素加算后的上述行图像数据，算出对比度AF的评价值。
14.一种控制程序，用于使控制摄像装置的计算机执行处理， 上述摄像装置具有: 摄像元件，包括在预先规定的第一方向及与上述第一方向交叉的第二方向上排列的多个光电转换元件；及 滤色器，设于由上述多个光电转换元件构成的多个像素上，重复配置有多个基本排列图案，上述基本排列图案包括多个在上述第二方向上至少各包含一个第一滤光片和第二滤光片的沿着上述第二方向的排列行、即上述第一滤光片在上述第二方向上的位置相同的多个相同排列行及上述第二方向上的上述第一滤光片的排列与上述相同排列行不同的至少一个排列行，上述第一滤光片与最有助于获得亮度信号的第一颜色对应，上述第二滤光片与上述第一颜色以外的两种颜色以上的第二颜色对应， 上述处理包括以下步骤: 从上述摄像元件以设定的周期读出上述多个像素中的像素信号； 根据读出的上述像素信号，分别生成上述多个像素中的上述基本排列图案内的上述相同排列行的行图像数据； 对生成的上述相同排列行的行图像数据中的至少上述第一颜色的像素彼此进行像素加算； 基于像素加算后的上述行图像数据，算出对比度AF的评价值。
15.一种控制程序，用于使计算机执行包括以下步骤的处理: 根据从摄像元件以设定的周期读出多个像素中的像素信号的像素信号，分别生成上述多个像素中的基本排列图案内的相同排列行的行图像数据，上述摄像元件具有:在预先规定的第一方向及与上述第一方向交叉的第二方向上排列的多个光电转换元件；及滤色器，设于由上述多个光电转换元件构成的多个像素上，重复配置有多个基本排列图案，上述基本排列图案包括多个在上述第二方向上至少各包含一个第一滤光片和第二滤光片的沿着上述第二方向的排列行、即上述第一滤光片在上述第二方向上的位置相同的多个相同排列行及上述第二方向上的上述第一滤光片的排列与上述相同排列行不同的至少一个排列行，上述第一滤光片与最有助于获得亮度信号的第一颜色对应，上述第二滤光片与上述第一颜色以外的两种颜色以上的第二颜色对应； 对生成的上述相同排列行的行图像数据中的至少上述第一颜色的像素彼此进行像素加算；基于像素加算后的上述 行图像数据，算出对比度AF的评价值。
【文档编号】G03B13/36GK104011575SQ201280064855
【公开日】2014年8月27日 申请日期:2012年12月27日 优先权日:2011年12月27日
【发明者】田中诚二, 林健吉, 河合智行, 仓桥秀和, 河村典子 申请人:富士胶片株式会社
【专利摘要】高精度地算出AF评价值。摄像装置(10)具有：摄像元件(14)，包括在第一、第二方向上排列的多个光电转换元件；滤色器，重复配置有基本排列图案，该基本排列图案包括多个：在第二方向上包含第一、第二滤光片的沿着第二方向的排列行、即第一滤光片在第二方向上的位置相同的多个相同排列行及第二方向上的第一滤光片的排列与相同排列行不同的排列行；及图像处理部(20)，从摄像元件(14)以设定的周期读出多个像素中的像素信号，根据读出的像素信号分别生成基本排列图案内的相同排列行的行图像数据，在生成的行图像数据中对第一颜色的像素彼此进行像素加算，基于像素加算后的行图像数据生成图像数据，并基于生成的图像数据算出对比度AF的评价值。
【专利说明】摄像装置、摄像装置的控制方法及控制程序
【技术领域】
[0001]本发明涉及摄像装置、摄像装置的控制方法及控制程序，尤其涉及具有彩色摄像元件的摄像装置、摄像装置的控制方法及控制程序。
【背景技术】
[0002]作为在彩色摄像元件中广泛使用的彩色排列的原色系拜耳排列(例如参照专利文献I?3)中，将对人眼敏感且最有助于获得亮度信号的绿(G)像素配置成棋盘式格纹状，将红(R)、蓝(B)按照线型顺序配置。
[0003]专利文献1:日本特开2002-135793号公报
[0004]专利文献2:日本专利第3960965号公报
[0005]专利文献3:日本特开2004-266369号公报
【发明内容】
[0006]发明要解决的问题
[0007]在现有的采用拜耳排列的彩色摄像元件中，例如为了生成动画用的图像数据，在垂直方向上进行间拔读出时，例如在垂直方向上对应每2η (η为自然数)行读出I行图像数据的情况下(垂直方向1/2η间拔，偶数间拔)，读出仅包含G和R或G和B两种颜色的行图像数据，无法重现颜色。因此，一般情况下是对应每(2η+1)行读出I行图像数据的间拔读出(垂直方向1/(2η+1)间拔，奇数间拔)。并且，在进行除此之外的间拔读出时，为了获得颜色重现，也需要交替读出包含G和R的水平行及包含G和B的水平行，读出方法非常受限。
[0008]另外，作为AF(自动对焦)方式，公知有基于图像的对比度使焦点对齐的所谓对比度AF方式。在该对比度AF方式中，基于最有助于获得亮度信号的G像素算出AF评价值，并进行对焦。因此，提闻AF评价值的精度与提闻对焦的精度相关。尤其是，在低照度的摄影条件下，亮度值低，无法获得高精度的评价值，有时AF精度变差，要求提高AF评价值的精度。在一般情况下，为了使处理高速化，对比度AF基于在实时取景图像(实时取景图像)中使用的间拔后的低分辨率的图像来进行。
[0009]但是，在现有的拜耳排列中，在生成间拔后的低分辨率图像时，如上所述，需要交替读出包含G和R的水平行及包含G和B的水平行，读出方式受到限制，因此存在在低照度的摄影条件下难以获得高精度的AF评价值的问题。
[0010]本发明为了解决以上问题而提出，其目的在于提供能够高精度地算出AF评价值的摄像装置、摄像装置的控制方法及控制程序。
[0011]用于解决问题的方法
[0012]为了解决上述问题，本发明的摄像装置的特征在于具有:摄像元件，包括在预先规定的第一方向及与第一方向交叉的第二方向上排列的多个光电转换元件；滤色器，设于由多个光电转换元件构成的多个像素上，重复配置有多个基本排列图案，该基本排列图案包括多个在第二方向上至少各包含一个第一滤光片和第二滤光片的沿着第二方向的排列行、即第一滤光片在第二方向上的位置相同的多个相同排列行及第二方向上的第一滤光片的排列与相同排列行不同的至少一个排列行，第一滤光片与最有助于获得亮度信号的第一颜色对应，第二滤光片与第一颜色以外的两种颜色以上的第二颜色对应；行图像数据生成单元，从摄像元件以设定的周期读出多个像素中的像素信号，根据读出的像素信号，分别生成多个像素中的基本排列图案内的相同排列行的行图像数据；像素加算单元，对生成的相同排列行的行图像数据中的至少第一颜色的像素彼此进行像素加算；及计算单元，基于像素加算后的行图像数据，算出对比度AF的评价值。
[0013]根据本发明，分别生成第一滤光片在第二方向上的位置相同的相同排列行的行图像数据，对生成的相同排列行的行图像数据中的至少第一颜色的像素彼此进行像素加算，算出对比度AF的评价值。由此，能够获得精度高的AF评价值。
[0014]此外也可以是，在基本排列图案内存在多组相同排列行时，行图像数据生成单元生成第一滤光片的个数最多的组的相同排列行的行图像数据。
[0015]根据本发明，生成第一滤光片的个数最多的组的相同排列行的行图像数据，对生成的相同排列行的行图像数据中的至少第一颜色的像素彼此进行像素加算，算出对比度AF的评价值。由此，能够获得精度更高的AF评价值。
[0016]并且也可以是，在基本排列图案内存在多组相同排列行时，行图像数据生成单元分别生成所有组的相同排列行的行图像数据，像素加算单元按照所有组中的各个组来对相同排列行的行图像数据的第一颜色的像素彼此进行像素加算。
[0017]根据本发明，当相同排列行存在多组时，分别生成所有组的相同排列行的行图像数据，按照所有组中的各个组来对相同排列行的行图像数据的第一颜色的像素彼此进行像素加算。由此，能够获得精度更高的AF评价值。
[0018]并且也可以是，驱动单元分别生成在第一方向上位置最近的相同排列行的行图像数据。
[0019]根据本发明，分别生成在第一方向上最近的位置的相同排列行的行图像数据并进行像素加算，所以可获得高精度的AF评价值。
[0020]并且也可以是，行图像数据生成单元以从摄像元件读出多个像素中的像素信号的设定的周期，读出多个像素中的基本排列图案内的相同排列行的像素信号，生成行图像数据。
[0021]并且其构成也可以是，第一滤光片在滤色器面内，在第一方向、第二方向和与第一方向及第二方向交叉的第三方向的各行内配置I个以上，第二颜色的各色所对应的第二滤光片在基本排列图案内，在第一方向及第二方向的各行内配置I个以上。
[0022]根据本发明，将最有助于获得亮度信号的第一颜色所对应的第一滤光片在滤色器内配置于第一方向?第三方向的各行内，因此能够提高高频区域中的去马赛克算法处理的重现精度。并且，对于第一颜色以外的两种颜色以上的第二颜色的各色所对应的第二滤光片，在基本排列图案内，在第一方向及第二方向的各行内配置I个以上，因此能够降低彩色莫尔条纹(伪色)的产生，实现高分辨率化。
[0023]并且也可以是，滤色器包括与由第一滤光片构成的2X2像素对应的正方排列。
[0024]根据本发明，基于与2X2像素对应的正方排列的4个像素的各像素间的像素值的差值，能够以最小像素间隔判别亮度的相关方向位于4个方向中的哪个方向。
[0025]并且其构成也可以是，第一颜色是绿(G)色，第二颜色是红(R)色及蓝(B)色。
[0026]并且其构成也可以是，滤色器具有与红(R)色、绿(G)色、蓝(B)色对应的R滤光片、G滤光片及B滤光片，并且,滤色器由第一排列和第二排列交替在第一方向及第二方向上排列而构成，上述第一排列与3 X 3像素对应，在中心和四角配置有G滤光片，隔着中心的G滤光片在上下配置有B滤光，在左右排列有R滤光片，上述第二排列与3X3像素对应，在中心和四角配置有G滤光片，隔着中心的G滤光片而在上下配置有R滤光片，在左右排列有B滤光片。
[0027]根据本发明，在以第一排列或第二排列为中心提取出5X5像素(马赛克图像的局部区域)时，在5X5像素的四角存在2X2像素的G像素。这些2X2像素的G像素的像素值能够用于4个方向的相关方向的判别。
[0028]并且其构成也可以是，滤色器具有与红(R)色、绿(G)色、蓝(B)色对应的R滤光片、G滤光片及B滤光片，并且,滤色器由第一排列和第二排列交替在第一方向及第二方向上排列而构成，上述第一排列与3 X 3像素对应，在中心配置有R滤光片，在四角配置有B滤光片，隔着中心的R滤光片在上下左右配置有G滤光片，上述第二排列与3 X 3像素对应，在中心配置有B滤光片，在四角配置有R滤光片，隔着中心的B滤光片而在上下左右配置有G滤光片。
[0029]根据本发明，在以第一排列或第二排列为中心提取出5X5像素(马赛克图像的局部区域)时，存在隔着5X5像素的中心的像素(R像素或B像素)在水平及垂直方向上分别相邻的G像素。这些G像素(共8个像素)的像素值能够用于4个方向的相关方向的判别。
[0030]并且其构成也可以是，滤色器相对于基本排列图案的中心形成点对称。
[0031]根据本发明，能够减小后段的处理电路的电路规模。
[0032]本发明的摄像装置的特征在于具有:摄像元件，包括在预先规定的第一方向及与第一方向交叉的第二方向上排列的多个光电转换元件；滤色器，设于由多个光电转换元件构成的多个像素上，重复配置有基本排列图案，该基本排列图案至少包括在第二方向上至少各包含一个第一滤光片和第二滤光片的沿着第二方向的排列行、即第一滤光片在第二方向上的位置相同的多个第一相同排列行及第二方向上的第一滤光片的排列与第一相同排列行不同的多个第二相同排列行，第一滤光片与最有助于获得亮度信号的第一颜色对应，第二滤光片与第一颜色以外的两种颜色以上的第二颜色对应；行图像数据生成单元，从摄像元件以设定的周期读出多个像素中的像素信号，根据读出的像素信号，生成排列行中的第一滤光片的个数最多的组的相同排列行的行图像数据；及计算单元，基于由行图像数据生成单元生成的行图像数据，算出对比度AF的评价值。
[0033]根据本发明，基于第一滤光片的个数最多的组的相同排列行的行图像数据算出对比度AF的评价值，因此不进行像素加算而能够高精度地算出对比度AF的评价值。
[0034]本发明的摄像装置的控制方法中，该摄像装置具有:摄像元件，包括在预先规定的第一方向及与第一方向交叉的第二方向上排列的多个光电转换元件；及滤色器，设于由多个光电转换元件构成的多个像素上，重复配置有多个基本排列图案，该基本排列图案包括多个在第二方向上至少各包含一个第一滤光片和第二滤光片的沿着第二方向的排列行、即第一滤光片在第二方向上的位置相同的多个相同排列行及第二方向上的第一滤光片的排列与相同排列行不同的至少一个排列行，第一滤光片与最有助于获得亮度信号的第一颜色对应，第二滤光片与第一颜色以外的两种颜色以上的第二颜色对应，该摄像装置的控制方法的特征在于，从摄像元件以设定的周期读出多个像素中的像素信号，根据读出的像素信号，分别生成多个像素中的基本排列图案内的相同排列行的行图像数据，对生成的相同排列行的行图像数据中的至少第一颜色的像素彼此进行像素加算，基于像素加算后的行图像数据，算出对比度AF的评价值。
[0035]本发明的控制程序的特征在于，用于使控制摄像装置的计算机执行处理，该摄像装置具有:摄像元件，包括在预先规定的第一方向及与第一方向交叉的第二方向上排列的多个光电转换元件；及滤色器，设于由多个光电转换元件构成的多个像素上，重复配置有多个基本排列图案，该基本排列图案包括多个在第二方向上至少各包含一个第一滤光片和第二滤光片的沿着第二方向的排列行、即第一滤光片在第二方向上的位置相同的多个相同排列行及第二方向上的第一滤光片的排列与相同排列行不同的至少一个排列行，第一滤光片与最有助于获得亮度信号的第一颜色对应，第二滤光片与第一颜色以外的两种颜色以上的第二颜色对应，处理包括以下步骤:从摄像元件以设定的周期读出多个像素中的像素信号；根据读出的像素信号，分别生成多个像素中的基本排列图案内的相同排列行的行图像数据；对生成的相同排列行的行图像数据中的至少第一颜色的像素彼此进行像素加算；基于像素加算后的行图像数据，算出对比度AF的评价值。
[0036]本发明的控制程序的特征在于，用于使计算机执行包括以下步骤的处理:根据从摄像元件以设定的周期读出多个像素中的像素信号的像素信号，分别生成多个像素中的基本排列图案内的相同排列行的行图像数据，摄像元件具有:在预先规定的第一方向及与第一方向交叉的第二方向上排列的多个光电转换元件；及滤色器，设于由多个光电转换元件构成的多个像素上，重复配置有多个基本排列图案，该基本排列图案包括多个在第二方向上至少各包含一个第一滤光片和第二滤光片的沿着第二方向的排列行、即第一滤光片在第二方向上的位置相同的多个相同排列行及第二方向上的第一滤光片的排列与相同排列行不同的至少一个排列行，第一滤光片与最有助于获得亮度信号的第一颜色对应，第二滤光片与第一颜色以外的两种颜色以上的第二颜色对应；对生成的相同排列行的行图像数据中的至少第一颜色的像素彼此进行像素加算；基于像素加算后的行图像数据，算出对比度AF的评价值。
[0037]发明效果
[0038]根据本发明，具有能够高精度地算出AF评价值的效果。
【专利附图】
【附图说明】
[0039]图1是第一实施方式涉及的摄像装置的概略框图。
[0040]图2是第一实施方式涉及的滤色器的构成图。
[0041]图3是表示第一实施方式涉及的滤色器中包含的基本排列图案的图。
[0042]图4是表示将第一实施方式涉及的滤色器中含有的6X6像素的基本排列图案分割为3X 3像素的A排列和B排列、并将它们在水平及垂直方向上重复配置而成的滤色器的图。[0043]图5是表示第一实施方式涉及的滤色器的G像素的特征性配置的图。
[0044]图6是用于说明第一实施方式涉及的像素加算处理的图。
[0045]图7是表示由控制部执行的处理的流程图。
[0046]图8是第二实施方式涉及的滤色器的构成图。
[0047]图9是表示第二实施方式涉及的滤色器中包含的基本排列图案的图。
[0048]图1OA是表示将第二实施方式涉及的滤色器中含有的6X6像素的基本排列图案分割为3X3像素的A排列和B排列、并将它们在水平及垂直方向上重复配置而成的滤色器的图。
[0049]图1OB是表示第二实施方式涉及的滤色器的G像素的特征性配置的图。
[0050]图11是用于说明第二实施方式涉及的像素加算处理的图。
[0051]图12是表示滤色器的变形例的图。
[0052]图13是表示滤色器的变形例的图。
[0053]图14是表示滤色器的变形例的图。
[0054]图15是表示滤色器的变形例的图。
[0055]图16是表示滤色器的变形例的图。
[0056]图17是表示滤色器的变形例的图。
[0057]图18是用于说明读出G像素多的行并算出AF评价值的情况下的图。
[0058]图19是用于说明读出G像素多的行并算出AF评价值的情况下的图。
[0059]图20是表示滤色器的变形例的图。
【具体实施方式】
[0060]以下，参照【专利附图】
【附图说明】本发明的实施方式。
[0061](第一实施方式)
[0062]图1表示本实施方式涉及的摄像装置10的概略框图。摄像装置10的构成包括:光学系统12、摄像元件14、摄像处理部16、图像处理部20、驱动部22及控制部24。
[0063]光学系统12的构成例如包括由多个光学镜头构成的镜头组、光圈调节机构、变焦机构及自动焦点调节机构等。
[0064]摄像元件14是在包括排列于水平方向及垂直方向上的多个光电转换元件的摄像兀件、例如 CCD (Charge Coupled Device:电荷稱合器件)、CM0S (Complementary Metal OxideSemiconductor:互补金属氧化物半导体)等摄像元件上配置了滤色器的构成的所谓单板式的摄像元件。
[0065]图2表示本实施方式涉及的滤色器的一部分。在各像素上配置红(R)、绿(G)、蓝
(B)三原色的滤色器中的任一个。
[0066](滤色器排列的特征)
[0067]第一实施方式的滤色器具有下述特征(I)?(6)。
[0068][特征(I)]
[0069]滤色器排列中，红(R)、绿(G)、蓝⑶三原色的滤光片在垂直方向及水平方向上以(NXM)像素(N、M:3以上的整数)的预先规定的图案配置、并且绿(G)滤光片和红(R)及蓝
(B)中的至少一种颜色的滤光片在垂直方向及水平方向上分别配置而成的基本排列图案重复配置。
[0070]本实施方式涉及的图2所示的滤色器中，作为一例包括与6X6像素(N = M = 6)对应的正方排列图案所构成的基本排列图案P (粗框所示的图案)，该基本排列图案P在垂直方向(第一方向)及水平方向(第二方向)上重复配置。即，该滤色器中，R、G、B各色滤光片(R滤光片、G滤光片、B滤光片)以预定的周期性排列。
[0071]如此，R滤光片、G滤光片、B滤光片以预定的周期性排列，所以在进行从彩色摄像元件读出的R、G、B信号的去马赛克算法处理(也称为去马赛克算法处理。下同)等时，能够按照重复图案进行处理。
[0072][特征⑵]
[0073]图2所示的滤色器排列中，最有助于获得亮度信号的颜色(在本实施方式中是G色)所对应的G滤光片配置于滤色器排列的作为第一方向的垂直方向、作为第二方向的水平方向及在滤色器面内与第一方向及第二方向交叉的第三方向即倾斜(NE、NW)方向(第三方向)的各行内。此外，NE是指斜右上方向，NW是指斜右下方向。例如，当是正方形的像素排列时，斜右上及斜右下方向是相对于水平方向分别呈45度的方向，如果是长方形的像素排列，则是长方形的对角线的方向，其角度根据长边/短边的长度可变。
[0074]亮度系像素所对应的G滤光片配置于滤色器排列的垂直方向、水平方向及倾斜(NE、NW)方向的各行内，因此无论高频的方向如何都能够提高高频区域中的去马赛克算法处理的重现精度。
[0075][特征⑶]
[0076]图2所示的滤色器排列中，上述G色以外的两种颜色以上的其他颜色(在本实施方式中是R、B色)所对应的R滤光片、B滤光片在基本排列图案P内，在滤色器排列的垂直方向及水平方向的各行内配置I个以上。
[0077]R滤光片、B滤光片配置于滤色器排列的垂直方向及水平方向的各行内，因此能够减少彩色莫尔条纹(伪色)的产生。
[0078]由此，能够不使用于抑制伪色产生的光学低通滤波器配置于从光学系统的入射面到摄像面的光路上，或者在适用光学低通滤波器的情况下，也能够适用用于防止伪色产生的、切断高频成分的作用较弱的装置，能够不损害分辨率。
[0079][特征⑷]
[0080]图3表示将图2所示的基本排列图案P四分为3X3像素的状态。
[0081]如图3所示，基本排列图案P也可以被看作:由实线框围成的3X3像素的A排列和虚线框围成的3X3像素的B排列在水平、垂直方向上交替排列而得到的排列。
[0082]A排列及B排列中，作为亮度系像素的G滤光片分别配置于四角和中央，配置于两条对角线上。并且，A排列中，隔着中央的G滤光片在水平方向上排列有R滤光片，在垂直方向上排列有B滤光片，另一方面，B排列中，隔着中央的G滤光片在水平方向上排列有B滤光片，在垂直方向上排列有R滤光片。即，A排列和B排列中,R滤光片和B滤光片的位置关系相反，但其他配置相同。
[0083]并且，A排列和B排列的四角的G滤光片如图4所示，通过A排列和B排列在水平、垂直方向上交替配置，成为2X2像素所对应的正方排列的G滤光片。
[0084]S卩，图2所示的滤色器排列(基本排列图案P)包括由G滤光片构成的2X2像素所对应的正方排列。
[0085]现在，如图5所示，在将从摄像元件14输出的马赛克图像以A排列为中心提取出5X5像素的局部区域时，该局部区域内的四角的2X2像素的G像素变为图5所示的配置。
[0086]如图5所示，在将2X2像素的G像素的像素值从左上到右下依次设为G1、G2、G3、G4时，这些G像素的像素值的垂直方向的差的绝对值是(|G1 —G3| + |G2 — G4|)/2，水平方向的差的绝对值是(I Gl — G2| + |G3 — G4|)/2，斜右上方向的差的绝对值是|G2 — G3|，斜左上方向的差的绝对值是|G1— G4|。
[0087]能够判别出这4个相关绝对值中差的绝对值最小的方向上具有相关性(相关方向)。
[0088]现在，为了如图4或图5所示使3X 3像素的A排列位于中央而从马赛克图像提取出5X5像素的局部区域时，在四角配置2X2像素的G像素。因此，在将上述局部区域内的A排列的3 X 3像素作为去马赛克算法处理的对象像素时，求出四角的各方向的相关绝对值的总和(或平均值)，将各方向的相关绝对值的总和(或平均值)中的最小的值的方向判别为去马赛克算法处理的对象像素中的亮度的相关方向。判别出的相关方向能够在进行去马赛克算法处理等时使用。
[0089][特征(5)]
[0090]图2所示的构成滤色器排列的基本排列图案P相对于该基本排列图案的中心(4个G滤光片的中心)形成点对称。并且，如图3所示，基本排列图案内的A排列及B排列也分别相对于中心的G滤光片形成点对称，且上下左右形成对称(线对称)。
[0091]通过该对称性，能够减小或简化后段的处理电路的电路规模。
[0092][特征(6)]
[0093]图2所示的构成滤色器排列的基本排列图案P包括多个G滤光片的水平方向上的位置相同的、沿着水平方向的相同排列行。例如如图6所示，在垂直方向上，第一行、第三行、第四行、第六行中，水平方向上的G滤光片的位置均相同。并且，第二行和第五行中，水平方向上的G滤光片的位置也相同。因此，作为AF方式采用对比度AF方式，在基于G像素的像素值计算AF评价值时，读出水平方向上的G滤光片的位置相同的相同排列的行图像数据，对水平方向上的位置相同的G像素彼此进行像素加算。由此，能够提高AF评价值的精度。
[0094]摄像处理部16对从摄像元件14输出的摄像信号实施放大处理、相关双重采样处理、A/D转换处理等预先规定的处理，作为像素数据输出到图像处理部20。
[0095]图像处理部20对从摄像处理部16输出的像素数据实施所谓去马赛克算法处理。即，对于全部像素，从周围的像素的像素数据对所对应的颜色以外的颜色的像素数据进行插值，生成全部像素的R、G、B的像素数据。并且，对生成的R、G、B像素数据实施所谓YC转换处理，生成亮度数据Y、色差数据Cr、Cb。并且，进行将这些信号缩放成与摄影模式对应的大小的缩放处理。
[0096]驱动部22根据来自控制部24的指示，进行来自摄像元件14的摄像信号的读出驱动等。
[0097]控制部24根据摄影模式等，统一控制驱动部22及图像处理部20等。稍后详述，控制部24指示驱动部22以与摄影模式对应的读出方法读出摄像信号，或者指示图像处理部20进行与摄影模式对应的图像处理。
[0098]根据摄影模式，需要间拔并读出来自摄像元件14的摄像信号，因此控制部24指示驱动部22以与指示的摄影模式对应的间拔方法进行间拔并读出摄像信号。
[0099]作为摄影模式包括:拍摄静止图像的静止图像模式；对拍摄的图像进行间拔而生成较高分辨率的HD (高清)动画数据并记录到未图示的存储卡等记录介质的HD动画模式；对拍摄的图像进行间拔并将较低分辨率的实时取景动画(实时取景图像)输出到未图示的显示部的实时取景动画模式(实时取景模式)等动画模式，但摄影模式的种类不限于此。
[0100]接着，作为本实施方式的作用，对于由控制部24执行的处理，参照图7所示的流程图进行说明。
[0101]此外，图7所示的处理例如在用户进行静止图像摄影时通过半按快门键(或快门开关)使焦点对准被摄体的情况下执行。并且，以下，说明读出垂直方向上预先规定的位置的行图像数据的情况，即对垂直方向上的预先规定的位置的行以外的行进行间拔(去除)并读出的情况。并且，此时的行图像数据是指沿着水平方向排列的像素的像素数据的集合。
[0102]首先，在步骤100中，指示驱动部22以与摄影模式对应的间拔方法读出图像数据。
[0103]在本实施方式中，指示驱动部22分别从摄像元件14读出在基本排列图案P内G滤光片的水平方向上的位置相同的沿着水平方向的相同排列行的行图像数据(在本实施方式中，驱动部22及控制部24与行图像数据生成单元对应)。
[0104]在图6所示的滤色器的情况下，在基本排列图案P内，第一行、第三行、第四行及第六行的行图像数据中，G滤光片的水平方向上的位置相同。并且，第二行和第五行的行图像数据中，G滤光片的水平方向上的位置也相同。在此，第一行、第三行、第四行及第六行的行图像数据的第一组与第二行和第五行的行图像数据的第二组相比，基本排列图案P内的水平方向的G像素数较多。因此，在本实施方式中，指示驱动部22读出G像素数较多的第一组的四行的行图像数据。
[0105]在步骤102中，指示图像处理部20执行对读出的G滤光片的水平方向上的位置为相同排列的行图像数据的G像素彼此进行像素加算的像素加算处理，并且基于像素加算处理后的图像数据，执行计算AF评价值的处理(在本实施方式中，图像处理部20及控制部24与像素加算单元及计算单元对应)。
[0106]由此，如图6所示，对应各基本排列图案P，生成第一行、第三行、第四行及第六行的行图像数据的水平方向上的位置相同的G像素彼此被像素加算所得的行图像数据(第一行)。并且，基于对应各基本排列图案P进行了像素加算所得的行图像数据的图像数据成为AF评价值计算用的图像数据，基于该图像数据，算出对比度AF用的AF评价值。
[0107]如此，当存在多组G像素的位置为相同排列的行的组时，对G像素数较多的相同排列行的行图像数据的G像素彼此进行像素加算，因此能够算出高精度的AF评价值。
[0108]此外，控制部24及图像处理部20能够由包括CPU、R0M、RAM、非易失性ROM等的计算机构成。在这种情况下，能够将上述处理的处理程序例如预先存储到非易失性ROM中，由CPU将其读入并执行。
[0109]如此，在本实施方式中，滤色器在基本排列图案P内包括多个G像素的水平方向上的位置相同的相同排列的行，执行对读出的相同排列的行图像数据的同色像素彼此进行像素加算的像素加算处理，因此能够算出高精度的AF评价值。[0110]此外，如上所述，在基本排列图案P内G像素的水平方向上的位置相同的相同排列行存在3行以上时，可以对所有相同排列行的行图像数据的水平方向上的位置相同的G像素彼此进行像素加算，但也可以对部分相同排列行进行加算像素。在这种情况下，优选至少分别读出在垂直方向上最近的位置的相同排列行的行图像数据，对水平方向上的位置相同的G像素彼此进行像素加算。由此，可获得良好画质的图像。
[0111]并且，在上述中，当G像素的位置为相同排列的行的组存在多组时，对G像素数较多的相同排列行的行图像数据的G像素彼此进行了像素加算，但例如如图6所示，也可以对G像素数较少的第二行和第五行的相同排列行的行图像数据的G像素彼此进行像素加算(第二行)。
[0112]并且，也可以按照所有组中的各个组，来对相同排列行的行图像数据的G像素的像素彼此进行像素加算。即，可以基于将对G像素数较多的第一组的行图像数据的G像素彼此进行了像素加算所得的第一行的行图像数据及对G像素数较少的第二组的行图像数据的G像素彼此进行了像素加算所得的第二行的行图像数据在垂直方向上交替配置而成的图像数据，来算出AF评价值。
[0113]并且，在本实施方式中，说明了对水平方向上的位置相同的G像素彼此的像素值单纯地进行加算的情况，但不限于此，也可以赋以权重地进行加算。
[0114]并且，不限于静止图像摄影时，也可以在动画摄影时执行上述处理。
[0115](第二实施方式)
[0116]接着，说明本发明的第二实施方式。在本实施方式中，说明滤色器的变形例。
[0117]图8表示本实施方式涉及的滤色器。如该图所示，本实施方式涉及的滤色器包括由6 X 6像素所对应的正方排列图案构成的基本排列图案P (粗框所示的图案)，该基本排列图案P在水平方向及垂直方向上重复配置。即，该滤色器排列中，R、G、B各色滤光片(R滤光片、G滤光片、B滤光片)以预定的周期性排列。
[0118]并且，图8所示的滤色器排列中，G滤光片配置于滤色器排列的垂直方向及水平方向的各行内。
[0119]并且，图8所示的滤色器排列中，R滤光片、B滤光片在基本排列图案P内，在滤色器排列的垂直方向及水平方向的各行内配置I个以上。
[0120]图9表示将图8所示的基本排列图案P四分为3X3像素的状态。
[0121]如图9所示，基本排列图案P也可以被看作:由实线框围成的3X3像素的A排列和虚线框围成的3X3像素的B排列在水平、垂直方向上交替排列而得到的排列。
[0122]A排列中，在中心配置有R滤光片，在四角配置有B滤光片，隔着中心的R滤光片在上下左右配置有G滤光片。另一方面，B排列中，在中心配置有B滤光片，在四角配置有R滤光片，隔着中心的B滤光片在上下左右配直有G滤光片。这些A排列和B排列中，R滤光片和B滤光片的位置关系相反，但其他配置相同。
[0123]如图1OA所示，第一实施方式的滤色器也可以被看作，上述A排列和B排列在水平
及垂直方向上交替配置。
[0124]现在，如图1OA所示，在将从摄像元件14输出的马赛克图像以A排列为中心提取出5X5像素的局部区域(粗框所示的区域)时，该局部区域内的8个G像素如图1OB所示，配置成十字形状。当将这些G像素按照从左到右的顺序设为Gl、G2、G3、G4且按照从上到下的顺序设为G5、G6、G7、G8时，像素G1G2、像素G2G3在水平方向上相邻，像素G5G6、像素G7G8在垂直方向上相邻，像素G6G3、像素G2G7在斜左上方向上相邻，像素G6G2、像素G3G7在斜右上方向上相邻。
[0125]因此，通过求出这些相邻的像素的像素值的差的绝对值，能够以最小像素间隔判别水平、垂直及倾斜(NE、NW)方向的各方向中的、亮度变化最小的方向(相关性高的相关方向)。
[0126]即，水平方向的差的绝对值之和是Igi — G2| + |G3 — G4|，水平方向的差的绝对值之和是IG5 — G6 I +1G7 — G8 |，斜右上方向的差的绝对值之和是IG6 — G2 | +1G3 — G7 |，斜左上方向的差的绝对值之和是|G6 - G3| + |G2G7|。
[0127]能够判别出这4个相关绝对值中差的绝对值最小的方向上具有相关性(相关方向)。此外，判别出的相关方向能够在进行去马赛克算法处理等时使用。
[0128]并且，图8所示的构成滤色器排列的基本排列图案P相对于该基本排列图案P的中心形成点对称。
[0129]如图9所示，基本排列图案内的A排列及B排列也分别相对于中心的R滤光片或G滤光片形成点对称，且上下左右形成对称(线对称)。
[0130]并且，图8所示的构成滤色器排列的基本排列图案P包括多个G滤光片的水平方向上的位置相同的、沿着水平方向的相同排列行。例如如图11所示，在垂直方向上，第一行、第三行、第四行、第六行中，水平方向上的G滤光片的位置均相同。并且，第二行和第五行中，水平方向上的G滤光片的位置也相同。
[0131]如此，本实施方式涉及的滤色器具有和第一实施方式涉及的滤色器的特征(I)、
(3)?(6)相同的特征。
[0132]在此，如图11所示，第一行、第三行、第四行及第六行的行图像数据的第一组与第二行和第五行的行图像数据的第二组相比，基本排列图案P内的水平方向的G像素数较多。因此，在本实施方式中，控制部24在图7的步骤100中，指示驱动部22读出G像素数较多的第二组的两行的行图像数据。
[0133]并且，在图7的步骤102中，控制部24指示图像处理部20执行对读出的G滤光片的水平方向上的位置为相同排列的行图像数据的G像素彼此进行像素加算的像素加算处理，并且基于像素加算处理后的图像数据，执行计算AF评价值的处理。
[0134]由此，如图11所示，对应各基本排列图案P，生成第二行和第五行的行图像数据的水平方向上的位置相同的G像素彼此被像素加算所得的行图像数据(第一行)。并且，基于对应各基本排列图案P进行了像素加算所得的行图像数据的图像数据成为AF评价值计算用的图像数据，基于该图像数据，算出对比度AF用的AF评价值。
[0135]如此，当存在多组G像素的位置为相同排列的行的组时，对G像素数较多的相同排列行的行图像数据的G像素彼此进行像素加算，因此能够算出高精度的AF评价值。
[0136]此外，如图11所示，也可以对G像素数少的第一行、第三行、第四行及第六行的行图像数据的G像素彼此进行像素加算(第二行)。
[0137]并且，也可以按照所有组中的各个组，来对相同排列行的行图像数据的G像素的像素彼此进行像素加算。即，可以基于将对G像素数较多的第二组的行图像数据的G像素彼此进行了像素加算所得的第一行的行图像数据及对G像素数较少的第一组的行图像数据的G像素彼此进行了像素加算所得的第二行的行图像数据在垂直方向上交替配置而成的图像数据，来算出AF评价值。
[0138]并且，滤色器排列不限于上述各实施方式中说明的情况，本发明也可以适用于具有下述滤色器排列的摄像元件的摄像装置。
[0139]例如，作为具有上述特征⑴、(2)、⑷、(5)、(6)的滤色器排列，如图12所示，包括基本排列图案P为3X3像素的滤色器排列。该滤色器排列由下述基本排列图案重复形成:在3X3像素的中心和四角配置有G滤光片，在其余的5个像素上配置有相同个数的R或B。
[0140]并且，作为具有上述特征(I)、(3)、(4)、(5)、(6)的滤色器排列，如图13所示，包括基本排列图案P为4X4像素的滤色器排列。该滤色器排列由如下基本排列图案重复形成:以在4X4像素中的两条对角线上配置G且在其余的像素位置上R、B像素在4X4像素中的水平及垂直方向的各行内配置I个以上的方式配置，G的个数被设定为多于R、B的个数。
[0141]并且，作为具有上述特征⑴、(2)、(3)、⑷、(5)、(6)的滤色器排列，如图14所示，包括基本排列图案P为5X5像素的滤色器排列。该滤色器排列由如下基本排列图案重复形成:以在5 X 5像素中的两条对角线上配置G且在其余的像素位置上R、B像素在5 X 5像素中的水平及垂直方向的各行内配置I个以上的方式配置，G的个数被设定为多于R、B的个数。
[0142]并且，作为具有上述特征⑴、(2)、(3)、⑷、(5)、(6)的滤色器排列，如图15所示，包括基本排列图案P为6X6像素的滤色器排列。该滤色器排列由基本排列图案重复形成，该基本排列图案由第一子排列和第二子排列各两个在水平方向、垂直方向上交替地彼此相邻地配置，上述第一子排列中，G在R或B的外周配置成矩形状，上述第二子排列中，G配置于中央部。在该排列中，在特征(3)中，也具有R及B均在滤色器排列的倾斜(NE、NW)方向(第三方向)的各行内配置I个以上的特征。
[0143]并且，作为具有上述特征⑴、(2)、(3)、⑷、(5)、(6)的滤色器排列，包括图16所不的基本排列图案P为7X7像素的滤色器排列及图17所不的基本排列图案P为8X8像素的滤色器排列。
[0144]这些滤色器具有特征(6)，因此通过读出水平方向上的G像素的位置为相同排列的行图像数据并对G像素彼此进行像素加算，能够算出高精度的AF评价值。
[0145]此外，考虑到去马赛克算法处理、动画摄影时的间拔处理等图像处理的难易度，优选N、M为10以下。
[0146]并且，在上述实施方式中，说明了具有RGB三原色的滤色器的彩色摄像元件，但本发明不限于此，也可以适用于RGB三原色+其他颜色(例如翠绿色(E))的4色滤光片、例如图20所示的滤色器。并且，本发明也可以适用于作为其他颜色具有白色或透明(W)滤光片的滤色器。例如，也可以替代图20的翠绿色而配置W滤光片。在这种情况下，W和G的组合或者W成为最有助于亮度信号的第一颜色。
[0147]并且，本发明也可以适用于对作为原色RGB的互补色的C(青色)、M(品红色)、Y (黄色)加入G的四种颜色的互补色系的滤色器的彩色摄像元件。
[0148]并且，在上述各实施方式中，说明了在垂直方向上以预先规定的周期读出沿着水平方向的行图像数据的情况，但本发明也可以适用于在水平方向上以预先规定的周期读出沿着垂直方向的行图像数据的情况。
[0149]并且，在本实施方式中，说明了读出在基本排列图案P内G像素的水平方向上的位置相同的相同排列的行并对读出的相同排列的行图像数据的同色像素彼此进行像素加算的像素加算处理的情况，但也可以不进行像素加算，读出在基本排列图案P内G像素的水平方向上的位置相同的相同排列行中的G滤光片的个数最多的组的相同排列行的行图像数据，基于读出的行图像数据，算出对比度AF的评价值。由此，不进行像素加算而能够高精度地算出对比度AF的评价值。
[0150]例如，如图18所示，在垂直方向上以1/3间拔读出行图像数据时的各行成为水平方向上的G滤光片的位置相同的相同排列行中的G滤光片的个数最多的组的相同排列行。因此，可以不对这些相同排列行的行图像数据进行像素加算，而基于这些行图像数据算出对比度AF的评价值。
[0151]并且，如图19所示，也可以将G滤光片的个数最多的组的相同排列行的行图像数据全部读出，不对这些行图像数据进行像素加算，而基于这些行图像数据算出对比度AF的评价值。
[0152]并且，在本实施方式中，说明了从摄像元件14读出在基本排列图案P内G像素的水平方向上的位置相同的相同排列的行并执行对读出的相同排列的行图像数据的同色像素彼此进行像素加算的像素加算处理的情况，但也可以读出所有行的像素的像素信号，选择性地使用基本排列图案P内G像素的水平方向上的位置相同的相同排列行的行图像数据(不使用或不存储其他行的行图像数据)，对它们进行像素加算。并且，也可以读出所有行的像素的像素信号，暂时存储到RAM等存储器中，选择性地使用基本排列图案P内G像素的水平方向上的位置相同的相同排列行的行图像数据并进行像素加算(在这种方式的情况下，摄像处理部16或图像处理部20与行图像数据生成单元对应)。
[0153]并且，在本实施方式中，说明了从摄像元件14分别读出基本排列图案P内的相同排列行的行图像数据而生成行图像数据并对它们进行像素加算的情况，但像素加算也可以在摄像元件14内进行。尤其是，通过在摄像元件14中读出之后立即进行像素加算(像素混合)，能够进一步缩短动画的处理时间(在这种方式的情况下，摄像元件14及驱动部22与行图像数据生成单元及像素加算单元对应)。
[0154]而且，本发明不限于上述实施方式，在不脱离本发明的精神的范围内能够进行各种变形，这是不言而喻的。
[0155]附图标记
[0156]10摄像装置
[0157]12光学系统
[0158]14摄像元件
[0159]16摄像处理部
[0160]20图像处理部
[0161]22驱动部
[0162]24控制部
[0163]P基本排列图案。
【权利要求】
1.一种摄像装置，具有: 摄像元件，包括在预先规定的第一方向及与上述第一方向交叉的第二方向上排列的多个光电转换兀件； 滤色器，设于由上述多个光电转换元件构成的多个像素上，重复配置有多个基本排列图案，上述基本排列图案包括多个在上述第二方向上至少各包含一个第一滤光片和第二滤光片的沿着上述第二方向的排列行、即上述第一滤光片在上述第二方向上的位置相同的多个相同排列行及上述第二方向上的上述第一滤光片的排列与上述相同排列行不同的至少一个排列行，上述第一滤光片与最有助于获得亮度信号的第一颜色对应，上述第二滤光片与上述第一颜色以外的两种颜色以上的第二颜色对应； 行图像数据生成单元，从上述摄像元件以设定的周期读出上述多个像素中的像素信号，根据读出的上述像素信号，分别生成上述多个像素中的上述基本排列图案内的上述相同排列行的行图像数据； 像素加算单元，对生成的上述相同排列行的行图像数据中的至少上述第一颜色的像素彼此进行像素加算 '及 计算单元，基于像素加算后的上述行图像数据，算出对比度AF的评价值。
2.根据权利要求1所述的摄像装置，其中， 在上述基本排列图案内存在多组上述相同排列行时，上述行图像数据生成单元生成上述第一滤光片的个数最多的组的相同排列行的行图像数据。
3.根据权利要求1或2所述的摄像装置，其中， 在上述基本排列图案内存在多组上述相同排列行时，上述行图像数据生成单元分别生成所有组的相同排列行的行图像数据， 上述像素加算单元按照上述所有组中的各个组来对上述相同排列行的行图像数据的上述第一颜色的像素彼此进行像素加算。
4.根据权利要求1~3中任一项所述的摄像装置，其中， 上述行图像数据生成单元分别生成在上述第一方向上位置最近的相同排列行的行图像数据。
5.根据权利要求1~4中任一项所述的摄像装置，其中， 上述行图像数据生成单元以从上述摄像元件读出上述多个像素中的像素信号的上述设定的周期，来读出上述多个像素中的上述基本排列图案内的上述相同排列行的上述像素信号，生成上述行图像数据。
6.根据权利要求1~5中任一项所述的摄像装置，其中， 上述第一滤光片在上述滤色器面内在上述第一方向、上述第二方向和与上述第一方向及上述第二方向交叉的第三方向的各行内配置I个以上， 上述第二颜色的各色所对应的上述第二滤光片在上述基本排列图案内在上述第一方向及上述第二方向的各行内配置I个以上。
7.根据权利要求1~6中任一项所述的摄像装置，其中， 上述滤色器包括与由上述第一滤光片构成的2X2像素对应的正方排列。
8.根据权利要求1~7中任一项所述的摄像装置，其中， 上述第一颜色是绿(G)色，上述第二颜色是红(R)色及蓝(B)色。
9.根据权利要求8所述的摄像装置，其中， 上述滤色器具有与红(R)色、绿(G)色、蓝(B)色对应的R滤光片、G滤光片及B滤光片，并且， 上述滤色器由第一排列和第二排列交替在上述第一方向及上述第二方向上排列而构成， 上述第一排列与3X3像素对应，在中心和四角配置有G滤光片，隔着中心的G滤光片而在上下配置有B滤光片，在左右排列有R滤光片， 上述第二排列与3X3像素对应，在中心和四角配置有G滤光片，隔着中心的G滤光片而在上下配置有R滤光片，在左右排列有B滤光片。
10.根据权利要求8所述的摄像装置，其中， 上述滤色器具有与红(R)色、绿(G)色、蓝(B)色对应的R滤光片、G滤光片及B滤光片，并且， 上述滤色器由第一排列和第二排列交替在上述第一方向及上述第二方向上排列而构成， 上述第一排列与3 X 3像素对应，在中心配置有R滤光片，在四角配置有B滤光片，隔着中心的R滤光片而在上 左右配置有G滤光片， 上述第二排列与3 X 3像素对应，在中心配置有B滤光片，在四角配置有R滤光片，隔着中心的B滤光片而在上下左右配置有G滤光片。
11.根据权利要求1~10中任一项所述的摄像装置，其中， 上述滤色器关于上述基本排列图案的中心形成点对称。
12.—种摄像装置，具有: 摄像元件，包括在预先规定的第一方向及与上述第一方向交叉的第二方向上排列的多个光电转换兀件； 滤色器，设于由上述多个光电转换元件构成的多个像素上，重复配置有基本排列图案，上述基本排列图案至少包括在上述第二方向上至少各包含一个第一滤光片和第二滤光片的沿着上述第二方向的排列行、即上述第一滤光片在上述第二方向上的位置相同的多个第一相同排列行及上述第二方向上的上述第一滤光片的排列与上述第一相同排列行不同的多个第二相同排列行，上述第一滤光片与最有助于获得亮度信号的第一颜色对应，上述第二滤光片与上述第一颜色以外的两种颜色以上的第二颜色对应； 行图像数据生成单元，从上述摄像元件以设定的周期读出上述多个像素中的像素信号，根据读出的上述像素信号，生成上述排列行中的上述第一滤光片的个数最多的组的相同排列行的行图像数据 '及 计算单元，基于由上述行图像数据生成单元生成的行图像数据，算出对比度AF的评价值。
13.一种摄像装置的控制方法，上述摄像装置具有: 摄像元件，包括在预先规定的第一方向及与上述第一方向交叉的第二方向上排列的多个光电转换元件；及 滤色器，设于由上述多个光电转换元件构成的多个像素上，重复配置有多个基本排列图案，上述基本排列图案包括多个在上述第二方向上至少各包含一个第一滤光片和第二滤光片的沿着上述第二方向的排列行、即上述第一滤光片在上述第二方向上的位置相同的多个相同排列行及上述第二方向上的上述第一滤光片的排列与上述相同排列行不同的至少一个排列行，上述第一滤光片与最有助于获得亮度信号的第一颜色对应，上述第二滤光片与上述第一颜色以外的两种颜色以上的第二颜色对应， 上述摄像装置的控制方法包括如下步骤: 从上述摄像元件以设定的周期读出上述多个像素中的像素信号， 根据读出的上述像素信号，分别生成上述多个像素中的上述基本排列图案内的上述相同排列行的行图像数据， 对生成的上述相同排列行的行图像数据中的至少上述第一颜色的像素彼此进行像素加算， 基于像素加算后的上述行图像数据，算出对比度AF的评价值。
14.一种控制程序，用于使控制摄像装置的计算机执行处理， 上述摄像装置具有: 摄像元件，包括在预先规定的第一方向及与上述第一方向交叉的第二方向上排列的多个光电转换元件；及 滤色器，设于由上述多个光电转换元件构成的多个像素上，重复配置有多个基本排列图案，上述基本排列图案包括多个在上述第二方向上至少各包含一个第一滤光片和第二滤光片的沿着上述第二方向的排列行、即上述第一滤光片在上述第二方向上的位置相同的多个相同排列行及上述第二方向上的上述第一滤光片的排列与上述相同排列行不同的至少一个排列行，上述第一滤光片与最有助于获得亮度信号的第一颜色对应，上述第二滤光片与上述第一颜色以外的两种颜色以上的第二颜色对应， 上述处理包括以下步骤: 从上述摄像元件以设定的周期读出上述多个像素中的像素信号； 根据读出的上述像素信号，分别生成上述多个像素中的上述基本排列图案内的上述相同排列行的行图像数据； 对生成的上述相同排列行的行图像数据中的至少上述第一颜色的像素彼此进行像素加算； 基于像素加算后的上述行图像数据，算出对比度AF的评价值。
15.一种控制程序，用于使计算机执行包括以下步骤的处理: 根据从摄像元件以设定的周期读出多个像素中的像素信号的像素信号，分别生成上述多个像素中的基本排列图案内的相同排列行的行图像数据，上述摄像元件具有:在预先规定的第一方向及与上述第一方向交叉的第二方向上排列的多个光电转换元件；及滤色器，设于由上述多个光电转换元件构成的多个像素上，重复配置有多个基本排列图案，上述基本排列图案包括多个在上述第二方向上至少各包含一个第一滤光片和第二滤光片的沿着上述第二方向的排列行、即上述第一滤光片在上述第二方向上的位置相同的多个相同排列行及上述第二方向上的上述第一滤光片的排列与上述相同排列行不同的至少一个排列行，上述第一滤光片与最有助于获得亮度信号的第一颜色对应，上述第二滤光片与上述第一颜色以外的两种颜色以上的第二颜色对应； 对生成的上述相同排列行的行图像数据中的至少上述第一颜色的像素彼此进行像素加算；基于像素加算后的上述 行图像数据，算出对比度AF的评价值。
【文档编号】G03B13/36GK104011575SQ201280064855
【公开日】2014年8月27日 申请日期:2012年12月27日 优先权日:2011年12月27日
【发明者】田中诚二, 林健吉, 河合智行, 仓桥秀和, 河村典子 申请人:富士胶片株式会社
相关技术
网友询问留言
已有0条留言
- 还没有人留言评论。精彩留言会获得点赞！
1