摄像装置、图像处理装置、图像处理方法及程序的制作方法
【技术领域】
[0001]本发明涉及一种摄像装置、图像处理装置、图像处理方法及程序，尤其涉及一种异常倾斜入射光的检测技术。
【背景技术】
[0002]通常，具有马赛克状的滤色器排列的单板式摄像元件中，产生来自相邻像素的光的泄漏引起的混色。若对混色的影响较大的RGB的颜色信号进行数字信号处理来生成图像，则图像的颜色再现性(画质)下降，并且很难从混色的影响较大的RGB的颜色信号精确度良好地计算白平衡(WB)校正用WB增益。
[0003]通过数码摄像机等摄像装置拍摄被摄体图像时，若较强的光入射到透镜，则在摄像透镜或微透镜等的表面反射的光在透镜内部或摄像机内部复杂地反射，有时以非预期的角度行进的光被摄像元件接收。如此，从非预期的角度入射到摄像元件的异常倾斜入射光引起所谓的重影或闪光等现象，使摄像图像的画质劣化。
[0004]尤其，异常倾斜入射光的入射角度较大时，有时入射有异常倾斜入射光的滤色器所构成的像素与接收异常倾斜入射光的光电二极管所构成的像素不对应。异常倾斜入射光所通过的滤色器、与实际上接收该异常倾斜入射光的光电二极管并不完全对应时，产生混色现象，导致摄像图像的颜色再现性的劣化。该混色现象尤其易被包含长波长成分(例如红色光成分)的异常倾斜入射光引起。
[0005]作为减轻混色的影响的方法，提出有检测重影等的产生部位来校正像素之间的像素数据输出差(高低差)的技术。例如，专利文献I中公开有如下技术，即，在拜耳排列中，按每个规定区域求出Gr/Gb的平均像素值，对相对差量值与阈值的比较累计值进行计数，从而检测有无高低差。
[0006]并且，专利文献2中公开有在拜耳排列中利用基准图案并以MCU单位(8线X16像素)检测噪声的技术。根据该专利文献2的技术，颜色噪声判定用的基准图案100P(5X5像素)得到保持，通过与该基准图案100P之间的匹配来检测颜色噪声。
[0007]并且，专利文献3公开将图像区域分割为块单位并对重影检测块位置进行确定，从而进行重影校正的技术。
[0008]以往技术文献
[0009]专利文献
[0010]专利文献1:日本特开2012 - 009919号公报
[0011]专利文献2:日本特开2005 - 333251号公报
[0012]专利文献3:日本特开2008 - 054206号公报
[0013]发明的概要
[0014]发明要解决的技术课题
[0015]以往，一直以来使用的摄像元件通常具有比较简单的滤色器排列。例如，广泛使用的拜耳排列中，由相邻配置的“R像素及G像素”及“G像素及B像素”构成的2像素(水平方向)X 2像素(垂直方向)的共计4像素沿水平方向及垂直方向重复配置，由此构成滤色器排列。
[0016]具有这种简单的滤色器排列的摄像元件中，混色现象也比较单纯，因此能够通过比较简单的混色校正在图像数据上降低混色的影响。
[0017]然而，最近还使用具有比较复杂的滤色器排列的摄像元件，即使是具有相同颜色的滤色器的像素之间也会大量存在相邻的像素(滤色器)的种类不同的像素。例如，具有绿色滤色器的像素(G像素)在拜耳排列中通过相邻的像素类型(滤色器类型)分类为2种，但在复杂的滤色器排列中分类为很多种(例如10种以上)。
[0018]混色的影响根据相邻像素的种类而发生变动，因此即使是具有相同颜色的滤色器的像素，也优选进行与相邻像素(滤色器)的种类相应的混色校正。
[0019]然而，在具有复杂的滤色器排列的摄像元件中，混色现象也复杂化，即使是原本输出相同或近似的像素数据的接近相同颜色像素，由于混色现象，从接近相同颜色像素输出与相邻像素的滤色器的种类相应的不同像素数据。
[0020]尤其，若如重影光那样不同于普通光的入射角的光(异常倾斜入射光)射入到摄像元件，则由于通过相邻像素的滤色器的重影光的泄漏，在接近相同颜色像素之间产生像素数据的不自然的差异(相同颜色高低差)。即使是相同颜色像素，基于相邻像素类型的种类越多，该高低差现象越复杂化。以通常的混色校正无法充分校正在具有复杂的滤色器排列的摄像元件中通过重影光的入射而产生的复杂的混色现象。
[0021]从具有这种复杂的滤色器排列的摄像元件输出的图像数据中，为了减轻重影光等的异常倾斜入射光带来的混色现象的影响，准确掌握异常倾斜入射光的入射的有无、入射方向等是至关重要的。
[0022]本发明是鉴于上述情况而完成的，其目的在于提供一种即使摄像元件具有复杂的滤色器排列时也能够简单地检测异常倾斜入射光的入射的有无及入射方向的技术。
[0023]用于解决技术课题的手段
[0024]本发明的一方式涉及一种摄像装置，其具备:摄像元件，具有沿第I方向及与第I方向垂直的第2方向排列的多个像素，多个像素分别具有滤色器及接收透过该滤色器的光而输出像素数据的光电二极管；及异常倾斜入射光检测构件，根据像素数据检测入射到摄像元件的异常倾斜入射光，其中，多个像素包含沿第I方向的正方向及负方向相邻的像素以及沿第2方向的正方向及负方向相邻的像素的滤色器的图案互不相同的至少4种判定用像素，相对于各个判定用像素，沿第I方向的正方向及负方向相邻的像素以及沿第2方向的正方向及负方向相邻的像素中的至少I个为具有第I颜色的滤色器的第I颜色像素，相对于各个判定用像素，沿第I方向的正方向及负方向相邻的像素以及沿第2方向的正方向及负方向相邻的像素中，隔着判定用像素配置于与第I颜色像素对置的位置的像素具有第I颜色的滤色器以外的滤色器，异常倾斜入射光检测构件根据摄像元件内的区域而且是包含多个各种判定用像素的区域内的每一种判定用像素的像素数据的平均值，检测入射到摄像元件的异常倾斜入射光。
[0025]根据本方式，能够根据摄像元件的区域内的每一种判定用像素的像素数据的平均值检测入射到摄像元件的异常倾斜入射光。尤其，即使摄像元件具有复杂的滤色器排列，包含满足上述条件的判定用像素时，能够根据从摄像元件输出的图像数据简单地检测异常倾斜入射光的有无及入射方向。
[0026]在此所说的“异常倾斜入射光”是表示以不同于与被摄体图像相关的通常的入射光的角度入射到像素(光电二极管)的光成分，且表示所通过的滤色器与接收光的光电二极管不构成相同像素的光成分。因此，成为所谓的重影或闪光等现象的主要原因的光成分有可能包含于在此所说的异常倾斜入射光。
[0027]“摄像元件内的区域”是摄像元件的任意区域，可将摄像元件的像素区域的一部分或全部设定为“摄像元件内的区域”。另外，在此所说的“摄像元件内的区域”可以是预先规定的规定区域，但不限定于固定区域、已设定的区域，也可以是未预先设定的可变区域。因此，例如存在如相同颜色高低差易引人注目的低对比度的平坦区域、脸部检测的区域等区域那样优先进行异常倾斜入射光的检测的区域时，还可考虑根据优先度将上述“摄像元件内的区域”设为可变的方式。
[0028]优选异常倾斜入射光检测构件根据区域内的每一种判定用像素的像素数据的平均值检测入射到摄像元件的异常倾斜入射光的入射方向。
[0029]根据本方式，能够根据判定用像素的像素数据检测异常倾斜入射光的入射方向。
[0030]优选还具备存储构件，该存储构件存储将与相对于摄像元件的异常倾斜入射光的入射相关的信息、与基于区域内的每一种判定用像素的像素数据的平均值的数据图案建立对应关系的判别表，异常倾斜入射光检测构件参考判别表检测入射到摄像元件的异常倾斜入射光。
[0031]根据本方式，能够参考判别表简单地检测异常倾斜入射光。
[0032]另外，“基于区域内的每一种判定用像素的像素数据的平均值的数据图案”可以是每一种判定用像素的像素数据的平均值本身的数据图案，也可以是基于从这种平均值导出的其他基准的数据图案。
[0033]优选判别表中的与相对于摄像元件的异常倾斜入射光的入射相关的信息是按异常倾斜入射光的每种颜色而确定的，异常倾斜入射光检测构件根据摄像元件的区域内的每种颜色的滤色器的像素数据检测异常倾斜入射光的颜色种类，参考与检测出的异常倾斜入射光的颜色种类相对应的判别表检测入射到摄像元件的异常倾斜入射光。
[0034]根据本方式，能够参考与所检测的异常倾斜入射光的颜色种类相对应的判别表精确度良好地检测检测对象的异常倾斜入射光。
[0035]优选判别表中，将以至少4种判定用像素中的每一种类的像素数据的平均值的总计的平均值或以至少4种判定用像素中的每一种类的像素数据的平均值的中央值为基准的表示至少4种判定用像素中的每一种类的像素数据的比例的数据图案、及与相对于摄像元件的异常倾斜入射光的入射相关的信息建立对应关系。
[0036]根据本方式，能够从每一种判定用像素的像素数据的比例简单且准确地获取与异常倾斜入射光的入射相关的信息，并能够简化异常倾斜入射光的检测所需的存储器和电路。
[0037]优选判别表中，将基于至少4种判定用像素中的每一种类的像素数据的平均值的大小的顺序、及与相对于摄像元件的异常倾斜入射光的入射相关的信息建立对应关系，异常倾斜入射光检测构件根据区域内的至少4种判定用像素中的每一种类的像素数据的平均值对至少4种判定用像素分配顺序，并参考判别表检测入射到摄像元件的异常倾斜入射光。
[0038]根据本方式，能够由基于每一种判定用像素的像素数据的平均值的大小的顺序简单且准确地获取与异常倾斜入射光的入射相关的信息，并能够简化将异常倾斜入射光的检测所需的存储器和电路。
[0039]优选多个像素至少包含具有第I颜色种类的滤色器的像素、具有第2颜色种类的滤色器的像素、及具有第3颜色种类的滤色器的像素，异常倾斜入射光检测构件将第I颜色种类的滤色器、第2颜色种类的滤色器及第3颜色种类的滤色器中与检测出的异常倾斜入射光的颜色种类相对应的颜色种类的滤色器作为第I颜色的滤色器，确定至少4种判定用像素。
[0040]根据本方式，能够从具有第I颜色种类的滤色器的像素、具有第2颜色种类的滤色器的像素及具有第3颜色种类的滤色器的像素中适当地确定判定用像素。例如，摄像元件的构成像素具有RGB(红、绿、蓝)的滤色器时，能够检测红色异常倾斜入射光、绿色异常倾斜入射光及蓝色异常倾斜入射光中的至少任一个。
[0041]优选异常倾斜入射光检测构件判定为，在摄像元件的区域内，与具有第I颜色种类的滤色器的像素的像素数据的平均值的X倍的值(O <X< I)、具有第2颜色种类的滤色器的像素的像素数据的平均值的Y倍的值(O <Y< I)、及具有第3颜色种类的滤色器的像素的像素数据的平均值的Z倍的值(O < Z < I)中表示为最大值的颜色种类的滤色器相对应的颜色种类的异常倾斜入射光入射到摄像元件。
[0042]根据本方式，通过适当设定Χ、Υ、Ζ，能够优先检测所希望的颜色种类的异常倾斜入射光。
[0043]优选还具备校正构件，所述校正构件根据异常倾斜入射光检测构件的检测结果，对具有检测出异常倾斜入射光的光电二极管的像素的像素数据进行校正。
[0044]根据本方式，能够对具有检测出异常倾斜入射光的光电二极管的像素的像素数据进行校正，能够有效地去除异常倾斜入射光引起的混色的影响。例如，虽然存在微弱地入射(弱入射)有异常倾斜入射光的区域，但由于实际使用的设备的能力等，无法检测这种弱入射有异常倾斜入射光的区域时(摄像图像上稍微残留有异常倾斜入射光的影响时)，也可包含于本方式的适用范围。
[0045]基于校正构件的校正方法并无特别限定，能够采用对降低或去除异常倾斜入射光引起的混色的影响有效的任意的校正方法。例如，能够采用从对应的像素数据去除异常倾斜入射光引起的混色量的校正方法，或采用消除通过异常倾斜入射光产生的接近的相同颜色像素之间的像素数据的差异(像素数据高低差)的校正方法。
[0046]优选区域为包含所有摄像元件的多个像素的区域。
[0047]根据本方式，将包含所有摄像元件的构成像素的区域设定为单一“区域”。因此，计算每一种判定用像素的像素数据的平均值时，能够从多个像素数据计算像素数据平均值，因此异常倾斜入射光的检测精确度得到提高。
[0048]优选区域为将摄像元件分割为多个区域的多个分割区域中的每一个。
[0049]根据本方式，多个分割区域中的各区域设定为“区域”，因此能够在被限定的区域内进行异常倾斜入射光的检测，并能够详细地确定受到异常倾斜入射光的影响的像素区域。
[0050]优选多个分割区域包含所有摄像元件的多个像素。
[0051]根据本方式，所有摄像元件的构成像素被分配于分割区域，因此能够相对于摄像元件的所有构成像素精确度良好地进行异常倾斜入射光的检测。
[0052]优选摄像元件中，设定有多个第I分割区域，并且设定有具有与该第I分割区域不同的分割方式的多个第2分割区域，多个第I分割区域与多个第2分割区域至少局部重叠，多个像素包含分类到第I分割区域中的任一个中且分类到第2分割区域中的任一个中的像素，异常倾斜入射光检测构件根据各个第I分割区域中的每一种判定用像素的像素数据的平均值检测入射到各个第I分割区域的异常倾斜入射光，根据各个第2分割区域中的每一种判定用像素的像素数据的平均值检测入射到各个第2分割区域的异常倾斜入射光，根据入射到各个第I分割区域的异常倾斜入射光的检测结果及入射到各个第2分割区域的异常倾斜入射光的检测结果，检测入射到各个第I分割区域与各个第2分割区域重叠的区域的异常倾斜入射光。
[0053]根据本方式，能够在第I分割区域与第2分割区域的重叠区域精确度良好地检测异常倾斜入射光，并能够更准确地确定产生有异常倾斜入射光引起的重影等混色的区域。
[0054]优选各个第2分割区域与2个以上的第I分割区域重叠。
[0055]根据本方式，第I分割区域与第2分割区域的重叠区域比第I分割区域及第2分割区域的各个区域更受限，因此能够在更具体的区域检测异常倾斜入射光。
[0056]优选各个所述第I分割区域与各个第2分割区域具有相同形状及尺寸，第I分割区域与第2分割区域设定成在第I方向及第2方向中的至少一个方向上偏离第I分割区域的大小的一半。
[0057]根据本方式，能够规则地配置第I分割区域与第2分割区域的重叠区域，并能够遍及较宽的范围而详细地确定受到异常倾斜入射光的影响的像素区域。
[0058]优选多个像素包含具有规定的滤色器排列图案的多个基本排列像素群而且是沿第I方向及第2方向并置的多个基本排列像素群，多个基本排列像素群中的每一个包含至少I组以上的至少4种判定用像素组。
[0059]根据本方式，周期性地配置有判定用像素，能够精确度良好地计算每一种判定用像素的像素数据的平均值。尤其，各基本排列像素群包含多个判定用像素组时，通过组合多组这些判定用像素，能够提高异常倾斜入射光的检测精确度。
[0060]优选至少4种判定用像素由第I判定用像素、第2判定用像素、第3判定用像素及第4判定用像素构成，相对于第I判定用像素，第I颜色的像素沿第I方向的正方向相邻，具有第I颜色的滤色器以外的滤色器的像素沿第I方向的负方向、第2方向的正方向及第2方向的负方向相邻，相对于第2判定用像素，第I颜色的像素沿第I方向的负方向相邻，具有第I颜色的滤色器以外的滤色器的像素沿第I方向的正方向、第2方向的正方向及第2方向的负方向相邻，相对于第3判定用像素，第I颜色的像素沿第2方向的正方向相邻，具有第I颜色的滤色器以外的滤色器的像素沿第I方向的正方向、第I方向的负方向及第2方向的负方向相邻，相对于第4判定用像素，第I颜色的像素沿第2方向的负方向相邻，具有第I颜色的滤色器以外的滤色器的像素沿第I方向的正方向、第I方向的负方向及第2方向的正方向相邻。
[0061]根据本方式的判定用像素，能够根据像素数据检测异常倾斜入射光。
[0062]优选至少4种判定用像素由第I判定用像素、第2判定用像素、第3判定用像素及第4判定用像素构成，相对于第I判定用像素，第I颜色的像素沿第I方向的正方向及第2方向的正方向相邻，具有第I颜色的滤色器以外的滤色器的像素沿第I方向的负方向及第2方向的负方向相邻，相对于第2判定用像素，第I颜色的像素沿第I方向的负方向及第2方向的正方向相邻，具有第I颜色的滤色器以外的滤色器的像素沿第I方向的正方向及第2方向的负方向相邻，相对于第3判定用像素，第I颜色的像素沿第I方向的正方向及第2方向的负方向相邻，具有第I颜色的滤色器以外的滤色器的像素沿第I方向的负方向及第2方向的正方向相邻，相对于第4判定用像素，第I颜色的像素沿第I方向的负方向及第2方向的负方向相邻，具有第I颜色的滤色器以外的滤色器的像素沿第I方向的正方向及第2方向的正方向相邻。
[0063]根据本方式的判定用像素，能够根据像素数据检测异常倾斜入射光。
[0064]优选第I颜色的滤色器为红色滤波器、透明滤波器及白色滤波器中的任一个。
[0065]根据本方式，能够检测包含易引起混色现象的长波长成分的异常倾斜入射光。
[0066]优选各个基本排列像素群包含在第I方向及第2方向上具有3像素X 3像素的像素排列的2组第I子排列像素群及2组第2子排列像素群，第I子排列像素群在第I方向及第2方向上与第2子排列像素群相邻，第2子排列像素群在第I方向及第2方向上与第I子排列像素群相邻，第I子排列像素群包含:配置于中央及四角的具有第2颜色的滤色器的第2颜色像素、配置于沿第I方向的正方向及负方向与中央的像素相邻的位置的第I颜色像素、及配置于沿第2方向的正方向及负方向与中央的像素相邻的位置的具有第3颜色的滤色器的第3颜色像素，第2子排列像素群包含:配置于中央及四角的第2颜色像素、配置于沿第2方向的正方向及负方向与中央的像素相邻的位置的第I颜色像素、及配置于沿第I方向的正方向及负方向与中央的像素相邻的位置的第3颜色像素，由配置于第I子排列像素群的四角的像素中配置于一个对角方向的2像素与配置于第2子排列像素群的四角的像素中配置于另一个对角方向的2像素构成判定用像素。
[0067]即使摄像元件具有本方式的复杂的滤色器排列时，也能够根据判定用像素的像素数据检测异常倾斜入射光。
[0068]本发明的另一方式为一种图像处理装置，其具备异常倾斜入射光检测构件，所述异常倾斜入射光检测构件检测入射到摄像元件的异常倾斜入射光，所述摄像元件具有沿第I方向及与该第I方向垂直的第2方向排列的多个像素，多个像素分别具有滤色器及接收透过滤色器的光而输出像素数据的光电二极管，其中，多个像素包含沿第I方向的正方向及负方向相邻的像素以及沿第2方向的正方向及负方向相邻的像素的滤色器的图案互不相同的至少4种判定用像素，相对于各个判定用像素，沿第I方向的正方向及负方向相邻的像素以及沿第2方向的正方向及负方向相邻的像素中的至少I个为具有第I颜色的滤色器的第I颜色像素，相对于各个判定用像素，沿第I方向的正方向及负方向相邻的像素以及沿第2方向的正方向及负方向相邻的像素中，隔着判定用像素配置于与第I颜色像素对置的位置的像素为具有第I颜色的滤色器以外的滤色器的像素，异常倾斜入射光检测构件根据摄像元件内的区域而且是包含多个各种判定用像素的区域内的每一种判定用像素的像素数据的平均值，检测入射到摄像元件的异常倾斜入射光。
[0069]本发明的另一方式涉及一种图像处理方法，其具备异常倾斜入射光检测步骤，所述异常倾斜入射光检测步骤中，检测入射到摄像元件的异常倾斜入射光，所述摄像元件具有沿第I方向及与该第I方向垂直的第2方向排列的多个像素，多个像素分别具有滤色器及接收透过滤色器的光而输出像素数据的光电二极管，其中，多个像素包含沿第I方向的正方向及负方向相邻的像素以及沿第2方向的正方向及负方向相邻的像素的滤色器的图案互不相同的至少4种判定用像素，相对于各个