摄像装置、图像处理方法及程序的制作方法
【技术领域】
[0001]本发明涉及一种摄像装置、图像处理方法及程序，尤其涉及一种校正由异常倾斜入射光弓I起的混色的影响的技术。
【背景技术】
[0002]已知一直以来，在数码摄像机中，由于入射光在透镜或摄像机主体中反射，产生从倾斜方向入射的光(异常倾斜入射光)，产生原本并不存在的图像即重影或闪光。并且，还已知随着重影的产生，存在由异常倾斜入射光引起的混色的影响。
[0003]专利文献I中，公开如下技术，即在滤色器排列为拜耳排列的彩色摄像元件中，在摄像元件的各像素的输出值中与预先存储的基准模式对应的区域内，根据相邻的线之间的相同颜色像素(GR、GB)(可认为在本申请说明中相当于Gr、Gb)的输出值的电平差检测由重影带来的色噪声，通过校正来抑制色噪声。
[0004]并且，专利文献2中公开如下技术，即从原图像减去根据重影像成分的信息生成的重影像成分的模拟图像，由此去除重影。
[0005]另一方面，专利文献3中公开有如下技术，即进行混色校正时，利用作为校正对象的关注像素的输出值与和关注像素相邻的多个周围像素的各输出值的差值及按每个相邻方向而独立的校正参数，对关注图像的信号进行混色校正。
[0006]以往技术文献
[0007]专利文献
[0008]专利文献1:日本专利公开2005-333251号公报
[0009]专利文献2:日本专利公开2008-289034号公报
[0010]专利文献3:日本专利公开2007-142697号公报
[0011]发明的概要
[0012]发明要解决的技术课题
[0013]然而，专利文献I中公开的技术中，存在无法判别重影的异常倾斜入射光的入射方向，且无法进行与入射方向相应的适当的校正的问题。
[0014]另外，专利文献2中公开的技术中，存在为了检测重影，不得不进行模拟的问题。
[0015]另外，专利文献3中公开的技术中，存在无法判别异常倾斜入射光的有无及入射方向的问题。
[0016]因此，本发明的目的在于提供一种检测异常倾斜入射光的入射方向，并减少由异常倾斜入射光弓I起的混色的影响的摄像装置及图像处理方法。
[0017]用于解决技术课题的手段
[0018]为了实现上述目的，本发明一方式所涉及的摄像装置，其具备:摄像元件，其为具有沿第I方向及与该第I方向垂直的第2方向排列的多个像素的摄像元件，多个像素分别具有滤色器、及接受透过该滤色器的光而输出像素数据的光电二极管；异常倾斜入射光检测机构，根据像素数据，检测异常倾斜入射光向摄像元件的入射；及校正机构，根据异常倾斜入射光检测机构的检测结果，对具有入射有异常倾斜入射光的光电二极管的像素的像素数据进行校正，其中，多个像素包含:第I第I方向相同颜色相邻像素，由与具有第I颜色的滤色器的像素沿第I方向相邻配置且具有第I颜色的滤色器的像素构成；第2第I方向相同颜色相邻像素，由与具有第I颜色的滤色器的像素沿第I方向相邻配置且具有第I颜色的滤色器的像素构成；第I第I方向不同颜色相邻像素，由与具有与第I颜色不同的颜色的滤色器的像素沿第I方向相邻配置且具有第I颜色的滤色器的像素构成；及第2第I方向不同颜色相邻像素，由与具有与第I颜色不同的颜色的滤色器的像素沿第I方向相邻配置且具有第I颜色的滤色器的像素构成，异常倾斜入射光检测机构根据第I第I方向相同颜色相邻像素、第2第I方向相同颜色相邻像素、第I第I方向不同颜色相邻像素及第2第I方向不同颜色相邻像素的像素数据，检测沿第I方向向摄像元件入射的异常倾斜入射光。
[0019]由此，能够根据像素数据检测异常倾斜入射光的入射，且能够判别异常倾斜入射光的入射方向。
[0020]摄像装置中，优选多个像素包含:第I第2方向相同颜色相邻像素，由与具有第I颜色的滤色器的像素沿第2方向相邻配置且具有第I颜色的滤色器的像素构成；第2第2方向相同颜色相邻像素，由与具有第I颜色的滤色器的像素沿第2方向相邻配置且具有第I颜色的滤色器的像素构成；第I第2方向不同颜色相邻像素，由与具有与第I颜色不同的颜色的滤色器的像素沿第2方向相邻配置且具有第I颜色的滤色器的像素构成；及第2第2方向不同颜色相邻像素，由与具有与第I颜色不同的颜色的滤色器的像素沿第2方向相邻配置且具有第I颜色的滤色器的像素构成，异常倾斜入射光检测机构根据第I第2方向相同颜色相邻色素、第2第2方向相同颜色相邻像素、第I第2方向不同颜色相邻像素及第2第2方向不同颜色相邻像素的像素数据，检测沿第2方向向摄像元件入射的异常倾斜入射光。
[0021]由此，在第2方向上，也能够检测异常倾斜入射光的入射，而且能够检测入射方向。
[0022]摄像装置中，优选当第I第I方向相同颜色相邻像素的像素数据及第2第I方向相同颜色相邻数据的像素数据相同，且第I第I方向不同颜色相邻像素及第2第I方向不同颜色相邻像素的像素数据与第I第I方向相同颜色相邻像素及第2第I方向相同颜色相邻像素的像素数据不同时，异常倾斜入射光检测机构检测沿第I方向向摄像元件入射的异常倾斜入射光，当第I第2方向相同颜色相邻像素的像素数据及第2第2方向相同颜色相邻像素的像素数据相同，且第I第2方向不同颜色相邻像素及第2第2方向不同颜色相邻像素的像素数据与第I第2方向相同颜色相邻像素及第2第2方向相同颜色相邻像素的像素数据不同时，异常倾斜入射光检测机构检测沿第2方向向摄像元件入射的异常倾斜入射光。
[0023]摄像装置中，优选多个像素包含多个基本排列像素群，所述基本排列像素群为在第I方向及第2方向上具有N像素XM像素的排列的基本排列像素群，所述多个基本排列像素群沿第I方向及第2方向并列设置，其中，所述N为3以上的整数且所述M为3以上的整数，各个基本排列像素群包含第I第I方向相同颜色相邻像素、第2第I方向相同颜色相邻像素、第I第I方向不同颜色相邻像素、第2第I方向不同颜色相邻像素、第I第2方向相同颜色相邻像素、第2第2方向相同颜色相邻像素、第I第2方向不同颜色相邻像素及第2第2方向不同颜色相邻像素。
[0024]由此，在摄像元件的整个面中能够检测异常倾斜入射光的入射。
[0025]摄像装置中，优选多个像素包含:第I第I颜色像素及第2第I颜色像素，沿第I方向的正方向与具有相同颜色的滤色器的像素相邻且沿第I方向的负方向与具有不同颜色的滤色器的像素相邻，所述第I第I颜色像素及所述第2第I颜色像素具有第I颜色的滤色器；第3第I颜色像素及第4第I颜色像素，沿第I方向的负方向与具有相同颜色的滤色器的像素相邻且沿第I方向的正方向与具有不同颜色的滤色器的像素相邻，所述第3第I颜色像素及所述第4第I颜色像素具有第I颜色的滤色器；第5第I颜色像素及第6第I颜色像素，沿第2方向的正方向与具有相同颜色的滤色器的像素相邻且沿第2方向的负方向与具有不同颜色的滤色器的像素相邻，所述第5第I颜色像素及所述第6第I颜色像素具有第I颜色的滤色器；及第7第I颜色像素及第8第I颜色像素，沿第2方向的负方向与具有相同颜色的滤色器的像素相邻且沿第2方向的正方向与具有不同颜色的滤色器的像素相邻，所述第7第I颜色像素及所述第8第I颜色像素具有第I颜色的滤色器，第I第I方向相同颜色相邻像素、第2第I方向相同颜色相邻像素、第I第I方向不同颜色相邻像素及第2第I方向不同颜色相邻像素分别由第I第I颜色像素、第2第I颜色像素、第3第I颜色像素及第4第I颜色像素的任一个构成，第I第2方向相同颜色相邻像素、第2第2方向相同颜色相邻像素、第I第2方向不同颜色相邻像素及第2第2方向不同颜色相邻像素分别由第5第I颜色像素、第6第I颜色像素、第7第I颜色像素及第8第I颜色像素的任一个构成，异常倾斜入射光检测机构根据第I第I颜色像素、第2第I颜色像素、第3第I颜色像素及第4第I颜色像素的像素数据，判定沿第I方向向摄像元件入射的异常倾斜入射光沿第I方向的正方向及负方向的哪一个方向入射，异常倾斜入射光检测机构根据第5第I颜色像素、第6第I颜色像素、第7第I颜色像素及第8第I颜色像素的像素数据，检测沿第2方向向摄像元件入射的异常倾斜入射光沿第2方向的正方向及负方向的哪一个方向入射。
[0026]由此，能够在第I方向的正方向及负方向、和/或第2方向的正方向及负方向上检测异常倾斜入射光的入射，还能够检测第I方向的正方向及负方向、和/或第2方向的正方向及负方向上的异常倾斜入射光的入射方向。
[0027]摄像装置中，优选当通过异常倾斜入射光检测机构检测到沿第I方向向摄像元件入射的异常倾斜入射光时，校正机构利用第I第I颜色像素、第2第I颜色像素、第3第I颜色像素及第4第I颜色像素中输出相同像素数据的像素的像素数据，对具有入射有异常倾斜入射光的光电二极管的像素的像素数据进行校正，当通过异常倾斜入射光检测机构检测到沿第2方向向摄像元件入射的异常倾斜入射光时，校正机构利用第5第I颜色像素、第6第I颜色像素、第7第I颜色像素及第8第I颜色像素中输出相同像素数据的像素的像素数据，对具有入射有异常倾斜入射光的光电二极管的像素的像素数据进行校正。
[0028]由此，能够消除产生由异常倾斜入射光引起的混色的影响的具有相同颜色的滤波器的像素的像素数据之间的偏差。
[0029]摄像装置中，优选相对于第I第I方向不同颜色相邻像素沿第I方向相邻配置且具有与第I颜色不同的颜色的滤色器的像素、与相对于第2第I方向不同颜色相邻像素沿第I方向相邻配置且具有与第I颜色不同的颜色的滤色器的像素具有不同的颜色的滤色器，相对于第I第2方向不同颜色像素沿第2方向相邻配置且具有与第I颜色不同的颜色的滤色器的像素、与相对于第2第2方向不同颜色相邻像素沿第2方向相邻配置且具有与第I颜色不同的颜色的滤色器的像素具有不同的颜色的滤色器。
[0030]由此，当从第I方向入射有异常倾斜入射光时，各个第I第I方向不同颜色相邻像素及第2第I方向不同颜色相邻像素的混色的影响不同，因此能够简单地进行异常倾斜入射光的入射方向的判别。
[0031]摄像装置中，优选多个像素包含第I颜色像素群，其由在第I方向及第2方向上以2像素X 2像素排列且具有第I颜色的滤色器的像素构成，构成第I颜色像素群的像素构成第I第I方向相同颜色相邻像素、第2第I方向相同颜色相邻像素、第I第I方向不同颜色相邻像素及第2第I方向不同颜色相邻像素，且构成第I第2方向相同颜色相邻像素、第2第2方向相同颜色相邻像素、第I第2方向不同颜色相邻像素及第2第2方向不同颜色相邻像素。
[0032]摄像装置中，优选多个像素包含多个基本排列像素群，其为由在第I方向及第2方向上以6像素X 6像素排列的像素构成的多个基本排列像素群，并沿第I方向及第2方向并列设置，各个基本排列像素包含由在第I方向及第2方向上以3像素X3像素排列的像素构成的两个第I子排列及两个第2子排列，第I子排列具有:配置于中央且具有第I颜色的滤色器的I像素；配置于四角且具有第I颜色的滤色器的4像素；以夹住配置于中央且具有第I颜色的滤色器的I像素的方式沿第I方向配置且具有第2颜色的滤色器的2像素；及以夹住配置于中央且具有第I颜色的滤色器的I像素的方式沿第2方向配置且具有第3颜色的滤色器的2像素，第2子排列具有:配置于中央且具有第I颜色的滤色器的I像素；配置于四角且具有第I颜色的滤色器的4像素；以夹住配置于中央且具有第I颜色的滤色器的I像素的方式沿第I方向配置且具有第3颜色的滤色器的2像素；及以夹住配置于中央且具有第I颜色的滤色器的I像素的方式沿第2方向配置且具有第2颜色的滤色器的2像素，第I子排列沿第I方向及第2方向与第2子排列相邻配置，第I颜色像素群由两个第I子排列及两个第2子排列构成。
[0033]摄像装置中，优选多个像素包含多个基本排列像素群，其为由在第I方向及第2方向上以4像素X 4像素排列的像素构成的多个基本排列像素群，并沿第I方向及第2方向并列设置，各个基本排列像素群包含由在第I方向及第2方向上以2像素X2像素排列的像素构成的两个第I子排列及两个第2子排列，第I子排列由具有第I颜色的滤色器的4像素构成，第2子排列由具有第2颜色的滤色器的2像素及具有第3颜色的滤色器的2像素构成，第I子排列沿第I方向及第2方向与第2子排列相邻配置，第I颜色像素群由第I子排列构成。
[0034]摄像装置中，优选多个像素包含多个基本排列像素群，其为由在第I方向及第2方向上以6像素X 6像素排列的像素构成的多个基本排列像素群，并沿第I方向及第2方向并列设置，各个基本排列像素群包含由在第I方向及第2方向上以3像素X3像素排列的像素构成的两个第I子排列及两个第2子排列，第I子排列具有:配置于中央且具有第2颜色的滤色器I像素；配置于四角且具有第3颜色的滤色器的4像素；及配置于四角的各个像素之间且具有第I颜色的滤色器的4像素，第2子排列具有:配置于中央且具有第3颜色的滤色器的I像素；配置于四角且具有第2颜色的滤色器的4像素；及配置于四角的各个像素之间且具有第I颜色的滤色器的4像素，第I子排列沿第I方向及第2方向与第2子排列相邻配置，由在沿第I方向相邻的第I子排列及第2子排列的具有第I颜色的滤色器的像素中沿第I方向相互相邻且具有第I颜色的滤色器的像素，构成第I第I方向相同颜色相邻像素、第2第I方向相同颜色相邻像素、第I第I方向不同颜色相邻像素及第2第I方向不同颜色相邻像素，由在沿第2方向相邻的第I子排列及第2子排列的具有第I颜色的滤色器的像素中沿第2方向相互相邻且具有第I颜色的滤色器的像素，构成第I第2方向相同颜色相邻像素、第2第2方向相同颜色相邻像素、第I第2方向不同颜色相邻像素及第2第2方向不同颜色相邻像素。
[0035]摄像装置中，优选多个像素包含像素块，其为在第I方向及第2方向上以3像素X3像素排列的像素块，由配置于四角且具有第2颜色的滤色器的2像素及具有第3颜色的滤色器的2像素、及在第I方向及第2方向上配置成十字状的第I颜色的滤色器的5像素构成，异常倾斜入射光检测机构根据像素块中包含的具有第I颜色的滤色器的5像素的像素数据检测沿第I方向或第2方向向摄像元件入射的异常倾斜入射光。
[0036]摄像装置中，优选当通过异常倾斜入射光检测机构检测到沿第I方向向摄像元件入射的异常倾斜入射光时，校正机构利用与具有第I颜色的滤色器的像素沿第I方向相邻配置且具有第I颜色的滤色器的像素的像素数据，对具有入射有异常倾斜入射光的光电二极管的像素的像素数据进行校正，当通过异常倾斜入射光检测机构检测到沿第2方向向摄像元件入射的异常倾斜入射光时，校正机构利用与具有第I颜色的滤色器的像素沿第2方向相邻配置且具有第I颜色的滤色器的像素的像素数据，对具有入射有异常倾斜入射光的光电二极管的像素的像素数据进行校正。
[0037]摄像装置中，优选多个像素包含多个基本排列像素群，其为由沿第I方向及第2方向上以4像素X 4像素排列的像素构成的多个基本排列像素群，并沿第I方向及第2方向并列设置，各个基本排列像素群包含由在第I方向及第2方向上以2像素X2像素排列的像素构成的两个第I子排列及两个第2子排列，第I子排列由具有第I颜色的滤色器的3像素及具有第2颜色的滤色器的I像素构成，第2子排列由具有第I颜色的滤色器的3像素及具有第3颜色的滤色器的I像素构成，第I子排列中的具有第2颜色的滤色器的像素的位置与第2子排列中的具有第3颜色的滤色器的像素的位置对应，第I子排列沿第I方向及第2方向与第2子排列相邻配置，像素块由各个基本排列像素群中的具有第2颜色的滤色器的2像素、具有第3颜色的滤色器的2像素及具有第I颜色的滤色器的5像素构成。
[0038]摄像装置中，优选多个像素包含由至少I个以上的颜色的滤色器构成的第I颜色的像素及由第I颜色以外的至少两个以上的颜色的滤色器构成的第2颜色的像素，第I颜色的像素具有用于获得亮度信号的贡献率比第2颜色的像素的滤色器高的颜色的滤色器，具有第I颜色的滤色器的像素由第I颜色的像素构成。
[0039]摄像装置中，优选第I颜色的像素具有绿色、透明或白色的滤色器。
[0040]为了实现上述目的，本发明的一方式所涉及的图像处理方法，其具备:异常倾斜入射光检测步骤，具有滤色器及接受透过该滤色器的光而输出像素数据的光电二极管，根据像素数据检测异常倾斜光向具有沿第I方向及与该第I方向垂直的第2方向排列的多个像素的摄像元件的入射；及校正步骤，根据异常倾斜入射光检测步骤的检测结果，对具有入射有异常倾斜入射光的光电二极管的像素的图像数据进行校正，其中，多个像素包含:第I第I方向相同颜色相邻像素，由与具有第I颜色的滤色器的像素沿第I方向相邻配置且具有第I颜色的滤色器的像素构成；第2第I方向相同颜色相邻像素，由与具有第I颜色的滤色器的像素沿第I方向相邻配置且具有第I颜色的滤色器的像素构成；第I第I方向不同颜色相邻像素，由与具有与第I颜色不同的颜色的滤色器的像素沿第I方向相邻配置且具有第I颜色的滤色器的像素构成；及第2第I方向不同颜色相邻像素，由与具有与第I颜色不同的颜色的滤色器的像素沿第I方向相邻配置且具有第I颜色的滤色器的像素构成，异常倾斜入射光检测步骤中，根据第I第I方向相同颜色相邻像素、第2第I方向相同颜色相邻像素、第I第I方向不同颜色相邻像素及第2第I方向不同颜色相邻像素的像素数据，检测沿第I方向向摄像元件入射的异常倾斜入射光。
[0041]由此，能够根据像素数据检测异常倾斜入射光的入射，且能够判别异常倾斜入射光的入射方向。
[0042]为了实现上述目的，本发明的一方式所涉及的程序，其用于使计算机执行如下步骤，即，异常倾斜入射光检测步骤，具有滤色器及接受透过该滤色器的光而输出像素数据的光电二极管，根据像素数据检测向具有沿第I方向及与该第I方向垂直的第2方向排列的多个像素的摄像元件的入射；及校正步骤，根据异常倾斜入射光检测步骤的检测结果，对具有入射有异常倾斜入射光的光电二极管的像素的图像数据进行校正，其中，多个像素包含:第I第I方向相同颜色相邻像素，由与具有第I颜色的滤色器的像素沿第I方向相邻配置且具有第I颜色的滤色器的像素构成；第2第I方向相同颜色相邻像素，由与具有第I颜色的滤色器的像素沿第I方向相邻配置且具有第I颜色的滤色器的像素构成；第I第I方向不同颜色相邻像素，由与具有与第I颜色不同的颜色的滤色器的像素沿第I方向相邻配置且具有第I颜色的滤色器的像素构成；及第2第I方向不同颜色相邻像素，由与具有与第I颜色不同的颜色的滤色器的像素沿第I方向相邻配置且具有第I颜色的滤色器的像素构成，异常倾斜入射光检测步骤中，根据第I第I方向相同颜色相邻像素、第2第I方向相同颜色相邻像素、第I第I方向不同颜色相邻像素及第2第I方向不同颜色相邻像素的像素数据，检测沿第I方向向摄像元件入射的异常倾斜入射光。
[0043]由此，能够根据像素数据检测异常倾斜入射光的入射，而且能够判别异常倾斜入射光的入射方向。
[0044]发明效果
[0045]根据本发明，能够检测异常倾斜入射光及判定入射方向，而且能够减少由异常倾斜入射光弓I起的混色的影响。
【附图说明】
[0046]图1是说明异常倾斜入射光的产生的图。
[0047]图2是说明由异常倾斜入射光引起的混色的产生的图。
[0048]图3是说明由于混色的产生而产生图像数据的偏差的现象的图。
[0049]图4是说明由于产生图像数据的偏差而产生噪声图像的现象的图。
[0050]图5是本发明的一实施方式即摄像装置的功能框图。
[0051]图6是表示设置于摄像元件的滤色器排列的图。
[0052]图7是表示将图6所示的滤色器排列的基本排列像素群分割为第I子排列及第2子排列的情况的图。
[0053]图8是说明将异常倾斜入射光的入射方向有效利用于混色校正的情况的图。
[0054]图9是说明将异常倾斜入射光的入射方向有效利用于混色校正的情况的图。
[0055]图10是表示设置于摄像元件的滤色器的其他