判定用像素，沿第I方向的正方向及负方向相邻的像素以及沿第2方向的正方向及负方向相邻的像素中的至少I个为具有第I颜色的滤色器的第I颜色像素，相对于各个判定用像素，沿第I方向的正方向及负方向相邻的像素以及沿第2方向的正方向及负方向相邻的像素中，隔着判定用像素配置于与第I颜色像素对置的位置的像素为具有第I颜色的滤色器以外的滤色器的像素，异常倾斜入射光检测步骤中，根据摄像元件内的区域而且是包含多个各种判定用像素的区域内的每一种判定用像素的像素数据的平均值，检测入射到摄像元件的异常倾斜入射光。
[0070]本发明的另一方式为一种程序，其用于使计算机执行如下步骤，该步骤检测入射到摄像元件的异常倾斜入射光，所述摄像元件具有沿第I方向及与第I方向垂直的第2方向排列的多个像素，多个像素分别具有滤色器及接收透过滤色器的光而输出像素数据的光电二极管，其中，多个像素包含沿第I方向的正方向及负方向相邻的像素以及沿第2方向的正方向及负方向相邻的像素的滤色器的图案互不相同的至少4种判定用像素，相对于各个判定用像素，沿第I方向的正方向及负方向相邻的像素以及沿第2方向的正方向及负方向相邻的像素中的至少I个为具有第I颜色的滤色器的第I颜色像素，相对于各个判定用像素，沿第I方向的正方向及负方向相邻的像素以及沿第2方向的正方向及负方向相邻的像素中，隔着判定用像素配置于与第I颜色像素对置的位置的像素为具有第I颜色的滤色器以外的滤色器的像素，程序用于使计算机执行如下步骤，即，根据摄像元件内的区域而且是包含多个各种判定用像素的区域内的每一种判定用像素的像素数据的平均值，检测入射到摄像元件的异常倾斜入射光。
[0071]发明效果
[0072]根据本发明，能够根据摄像元件的区域内的每一种判定用像素的像素数据的平均值简单地检测入射到摄像元件的异常倾斜入射光。
【附图说明】
[0073]图1是表示数码摄像机的一结构例的框图。
[0074]图2是表示摄像元件的滤色器(像素)的一例的俯视图，图2A表示共排列4个基本排列图案的状态，图2B是基本排列图案的放大图。
[0075]图3是图像处理电路的功能框图。
[0076]图4是说明由异常倾斜入射光引起的混色现象的机理的示意性剖视图，图4A表示G像素、R像素及G像素的相邻配置例，图4B表示G像素、B像素及G像素的相邻配置例。
[0077]图5是表示异常倾斜入射光入射到图2的摄像元件时，从基本排列图案中包含的G像素输出的像素数据的一例的曲线图。
[0078]图6是表示混色判定校正部的异常倾斜入射光的检测所涉及的功能结构的框图。
[0079]图7表示异常倾斜入射光的检测及混色校正所涉及的流程图的一例。
[0080]图8是说明异常倾斜入射光的检测方法的基本原理的一例的图，图8A?图8D表示G像素及R像素的各种配置图案。
[0081]图9是表示具有图8所示的各种配置图案的G像素(判定用像素)的像素数据输出与红色异常倾斜入射光的关系的表。
[0082]图1OA?图1OD是表示从水平方向的正方向侧向负方向侧入射有红色异常倾斜入射光时的相对于判定用像素的红色异常倾斜入射光的影响的大小的图。
[0083]图11是说明异常倾斜入射光的检测方法的基本原理的另一例的图，图1lA?图1lD表示G像素及R像素的各种配置图案。
[0084]图12是表示具有图11所示的各种配置图案的G像素(判定用像素)的像素数据输出与红色异常倾斜入射光的关系的表。
[0085]图13表示强调显示G像素及R像素的配置图案的图2的基本排列图案的俯视图。
[0086]图14是表示摄像元件的区域分割例的示意图。
[0087]图15是表示利用判定用像素的像素数据的红色异常倾斜入射光的有无、入射方向及强度的检测方法的一例的图。
[0088]图16是表示利用判定用像素的像素数据的红色异常倾斜入射光的有无、入射方向及强度的检测方法的另一例的图。
[0089]图17是表示利用判定用像素的像素数据的红色异常倾斜入射光的有无、入射方向及强度的检测方法的另一例的图。
[0090]图18是表示异常倾斜入射光检测部的功能结构的一例的框图。
[0091]图19是表示异常倾斜入射光的颜色种类判定的一例的流程图。
[0092]图20是表示相对于图2的摄像元件的异常倾斜入射光的检测中使用的判别表的一例的图。
[0093]图21是表示异常倾斜入射光的颜色种类判定的另一例的流程图。
[0094]图22A?图22D是表示蓝色异常倾斜入射光的检测中使用的判定用像素的一例的图，图22E?图22H是表示绿色异常倾斜入射光的检测中使用的判定用像素的一例的图。
[0095]图23是表示将摄像元件的构成像素重叠地分割为分割区域A及分割区域B的例子的图，图23A是表示分割区域A及分割区域B的应用状态的摄像元件的俯视图，图23B表示分割区域A的区域分割例，图23C表示分割区域B的区域分割例。
[0096]图24是图23A所示的“C”部分(区域Bll)的放大图。
[0097]图25是表示其他滤色器排列例的摄像元件的俯视图。
[0098]图26是表示其他滤色器排列例的摄像元件的俯视图。
[0099]图27A?图27D是表示其他滤色器排列例的摄像元件的俯视图。
[0100]图28A?图28D是表示其他滤色器排列例的摄像元件的俯视图。
[0101]图29是智能手机的外观图。
[0102]图30是表示智能手机的结构的框图。
【具体实施方式】
[0103]参考附图对本发明的实施方式进行说明。
[0104]图1是表示数码摄像机10的一结构例的框图。本例中，对图1所示的结构中透镜单元14及透镜驱动器26以外的各部分设置于摄像机主体12的例进行说明，但可根据需要将各部分设置于透镜单元14。
[0105]数码摄像机(摄像装置)10具备摄像机主体12及以能够更换的方式安装于摄像机主体12的前面的透镜单元14。
[0106]透镜单元14具备摄影光学系统20，该摄影光学系统20包含变焦透镜21、聚焦透镜22、机械快门23等。变焦透镜21及聚焦透镜22分别通过变焦机构24及聚焦机构25驱动，沿着摄影光学系统20的光轴Ol移动。变焦机构24及聚焦机构25由齿轮或马达等构成。
[0107]机械快门23具有在阻止被摄体光向摄像元件27的入射的封闭位置与容许被摄体光的入射的开放位置之间移动的可动部(省略图示)。通过使可动部移动到开放位置/封闭位置，打开/关闭从摄影光学系统20至摄像元件27的光路。并且，机械快门23中包含控制入射到摄像元件27的被摄体光的光量的光圈。机械快门23、变焦机构24及聚焦机构25经由透镜驱动器26通过CPU30被驱动控制。
[0108]设置于摄像机主体12的CPU30根据来自操作部36的控制信号依次执行从存储器37读出的各种程序和数据，统一控制数码摄像机10的各部分。存储器37的RAM区域作为用于CPU30执行处理的工件存储器或各种数据的临时保管目的地来发挥作用。
[0109]操作部36包含由用户操作的按钮、键、触控面板及与这些类似的部件。例如，设置于摄像机主体12并由用户操作的电源开关、快门按钮、聚焦模式切换杆、聚焦环、模式切换按钮、十字选择键、执行键、后退按钮等可包含于操作部36。
[0110]摄像元件27将通过摄影光学系统20及机械快门23的被摄体光转换为电输出信号来输出。该摄像元件27具有多个像素沿水平方向(第I方向)及与该水平方向垂直的垂直方向(第2方向)并置的单板式像素排列，可采用CCD (Charge Coupled Device)、CMOS (Complementary Metal Oxide Semicondu ctor)等任意方式。以下内容中，对构成摄像元件27的多个像素由CMOS构成的例子进行说明。
[0111]对于构成摄像元件27的各像素的详细内容，将进行后述，其具有提高聚光率的微透镜、RGB的滤色器、微透镜及接收透过滤色器的光并输出像素数据的光电二极管(光电转换元件)。
[0112]摄像元件驱动器31在CPU30的控制下驱动控制摄像元件27，从摄像元件27的像素向图像处理电路(图像处理装置)32输出摄像信号(图像数据)。
[0113]图像处理电路32对所接收的摄像信号(图像数据)实施灰度转换、白平衡校正、γ校正处理等各种图像处理来生成摄影图像数据。对图像处理电路32的详细内容将进行后述，其具有检测重影光等异常倾斜入射光并进行校正处理的混色判定校正部。
[0114]当由用户按压操作快门按钮时，压缩伸长处理电路34对存储于存储器37的VRAM区域的摄影图像数据实施压缩处理。另外，RAW数据获取模式中，可以不进行基于压缩伸长处理电路34的压缩处理。并且，压缩伸长处理电路34对经由媒体界面33从存储卡38获得的压缩图像数据实施压缩伸长处理。媒体界面33进行相对于存储卡38的摄像图像数据的记录及读出。
[0115]显示控制部35进行如下控制，即该控制在摄像模式时对EVF(电动取景器)39及背面IXD (背面液晶)40的至少一个显示通过图像处理电路32生成的实时取景图像(即时预览图像)的控制。并且，在图像再生模式时，显示控制部35向背面LCD40(和/或EVF39)输出通过压缩伸长处理电路34伸长的摄像图像数据。
[0116]数码摄像机10(摄像机主体12)上可设置有除上述以外的其他处理电路等，例如设置有自动聚焦用AF检测电路和自动曝光调节用AE检测电路。CPU30通过根据AF检测电路的检测结果经由透镜驱动器26及聚焦机构25驱动聚焦透镜22来执行AF处理，并且通过根据AE检测电路的检测结果经由透镜驱动器26驱动机械快门23来执行AE处理。
[0117]<滤色器排列>
[0118]图2是表示摄像元件27的滤色器(像素)的一例的俯视图，图2A表示沿水平方向及垂直方向共排列4个具有规定的滤色器排列图案的基本排列图案(基本排列像素群)P的状态，图2B是I个基本排列图案P的放大图。图2中，“R”表示红色(红)滤色器(第I颜色种类的滤色器；R像素)，“G”(包含Gl?G20)表示绿色(绿)滤色器(第2颜色种类的滤色器；G像素)，“B”表示蓝色(蓝)滤色器(第3颜色种类的滤色器；B像素)。
[0119]本例的摄像元件27的滤色器具有由与MXN(6 X 6)像素对应的正方排列图案构成的基本排列图案P，该基本排列图案P沿水平方向及垂直方向反复并置多个而构成摄像元件27的多个像素。因此，进行从摄像元件27读出的RGB的马赛克图像数据(RAW数据)的图像处理时，能够根据以基本排列图案P为基准的重复图案进行处理。
[0120]各基本排列图案P通过图2B所示的具有3像素(水平方向)X3像素(垂直方向)的像素排列的第I子排列(第I子排列像素群)、与具有3像素(水平方向)X3像素(垂直方向)的像素排列的第2子排列(第2子排列像素群)沿水平方向及垂直方向交替排列而构成。因此，第I子排列在水平方向及垂直方向上与第2子排列相邻，第2子排列在水平方向及垂直方向上与第I子排列相邻。
[0121]第I子排列包含配置于中央及四角的G像素、配置于沿水平方向的正方向及负方向(图2中为左右方向)与中央的G像素相邻的位置的R像素、及配置于沿垂直方向的正方向及负方向(图2中为上下方向)与中央的G像素相邻的位置的B像素。另一方面，第2子排列包含配置于中央及四角的G像素、配置于沿垂直方向的正方向及负方向(图2中为上下方向)与中央的G像素相邻的位置的R像素、及配置于沿水平方向的正方向及负方向(图2中为右左方向)与中央的G像素相邻的位置的B像素。因此，在第I子排列与第2子排列之间，R滤波器与B滤波器的位置关系逆转，但G滤波器的配置相同。
[0122]第I子排列与第2子排列的四角的G滤波器通过第I子排列与第2子排列沿水平方向及垂直方向交替配置，构成与2像素(水平方向)X 2像素(垂直方向)对应的正方排列的G滤波器群。即，通过配置于第I子排列的四角的像素中配置于一个对角方向的二像素、及配置于第2子排列的四角的像素中配置于另一对角方向的二像素构成正方排列的G像素群。另外，能够将该正方排列的G像素群中包含的G像素用作后述的“用于检测异常倾斜入射光的判定用像素”。
[0123]该滤色器排列中，与通常最有助于获得亮度信号的颜色(本例中为G色)对应的G滤波器在滤色器排列的水平、垂直、倾斜右上、及倾斜左上方向的各线内配置有I个以上。根据该滤色器排列，与亮度系像素对应的G滤波器配置于滤色器排列的水平、垂直、及倾斜方向的各线内，因此与成为高频的方向无关地，高频区域内的去马赛克处理的再现精确度得到提高。
[0124]另外，例如单位滤色器(单位像素)为正方形时，倾斜右上及倾斜右下方向成为相对于水平方向及垂直方向呈45°的方向。并且，单位滤色器为长方形时，倾斜右上及倾斜右下方向成为该长方形的对角线方向，相对于水平方向及垂直方向的倾斜右上及倾斜右下方向的角度可根据长方形的长边及短边的长度而改变。
[0125]图2所示的滤色器排列中，与上述G色以外的2色以上的其他颜色(本例中为R及B)对应的R滤波器及B滤波器分别在基本排列图案P的水平方向及垂直方向的各线内配置有I个以上。如此，通过R滤波器及B滤波器配置于滤色器排列的水平方向及垂直方向的各线内，能够减少假彩色(颜色云纹)的产生，并能够省略用于抑制假彩色的产生的光学低通滤波器。另外，配置光学低通滤波器时，采用本例的滤色器排列时，使用截断用于防止假彩色的产生的高频成分的动作较弱的滤波器来防止分辨率的损失。
[0126]并且，各基本排列图案P中，与R滤波器、G滤波器及B滤波器对应的R像素、G像素及B像素的像素数分别成为8像素、20像素(参考图2B的“G1”?“G20”)及8像素。即，R像素、G像素及B像素的像素数的比例成为2:5:2，最有助于获得亮度信号的G像素的像素数的比例高于R像素及B像素的像素数的比例。如此，G像素的像素数与R像素及B像素的像素数的比例不同，将尤其有助于获得亮度信号的G像素的像素数的比例设为大于R像素及B像素的像素数的比例，由此能够抑制去马赛克处理(Demosaic处理)中的混叠，并且还能够改善高频再现性。
[0127]以下，将图2所示的滤色器排列(像素排列)还称作“X-Trans (注册商标)”。
[0128]<图像处理>
[0129]图3是图像处理电路32 (参考图1)的功能框图。
[0130]图像处理电路32包含混色判定校正部41、白平衡校正部(WB校正部)42、进行γ校正、去马赛克处理、RGB/YC转换等信号处理的信号处理部43、RGB积算部44、及白平衡增益计算部(WB增益计算部)45。
[0131]图像处理电路32中输入有马赛克图像数据(RAW数据:RGB的颜色信号)。图像处理电路32中也可从摄像元件27直接输入有马赛克图像数据。并且，可将从摄像元件27输出的马赛克图像数据临时存储于存储器(图1的存储器37等)，并从该存储器向图像处理电路32输入马赛克图像数据。
[0132]输入至图像处理电路32的马赛克图像数据输入至混色判定校正部41。混色判定校正部41根据被输入的马赛克图像数据进行异常倾斜入射光的检测，进行减轻、消除由异常倾斜入射光带来的混色现象的影响(像素数据高低差)的像素数据校正。
[0133]通过混色判定校正部41进行了像素数据校正的马赛克图像的各像素的颜色信号输入至WB校正部42及RGB积算部44。
[0134]RGB积算部44按将I个画面分割为8X8或16X16等的分割区域的每个分割区域计算RGB的每一颜色信号的积算平均值，并计算由每一 RGB的积算平均值的比(R/G、B/G)构成的颜色信息。例如，将I个画面分割为8X8的64个分割区域时，RGB积算部44计算64个颜色信息(R/G、B/G)。
[0135]WB增益计算部45根据从RGB积算部44输入的每一分割区域的颜色信息(R/G、B/G)计算WB增益。具体而言，WB增益计算部45计算与64个分割区域的每一个相关的颜色信息的、R/G、B/G轴坐标的颜色空间上的分布重心位置，从该重心位置所示的颜色信息推断环境光的色温。另外，可代替色温，求出具有该重心位置所示的颜色信息的光源种类，例如，晴空、阴凉、晴朗、荧光灯(昼光色、日光色、白色、暖白色)、钨、低钨等，由此推断摄像时的光源种类(参考日本特开2007 - 53499)，并且可从所推断的光源种类推断色温。
[0136]WB增益计算部45中，与环境光的色温或光源种类对应地，预先准备(存储保持)有用于进行适当的白平衡校正的每一 RGB或每一 RB的WB增益。WB增益计算部45根据所推断的环境光的色温或光源种类读出所对应的每一 RGB或每一 RB的WB增益，并向WB校正部42输出该读出的WB增益。
[0137]WB校正部42相对于从混色判定校正部41输入的R、G、B的颜色信号的每一个乘以从WB增益计算部45输入的每一颜色的WB增益，由此进行白平衡校正。
[0138]从WB校正部42输出的R、G、B的颜色信号输入至信号处理部43。信号处理部43进行γ校正、对伴随摄像元件27的滤色器排列的R、G、B的颜色信号的空间性偏离进行插值来同时性地转换R、G、B的颜色信号的去马赛克处理(demosaic处理)、及将已去马赛克处理的R、G、B的颜色信号转换为亮度信号Y及色差信号Cr、Cb的RGB/YC转换等信号处理，并输出已信号处理的亮度信号Y及色差信号Cr、Cb。另外，由用户选择RAW数据输出模式时，可跳过上述的去马赛克处理及RGB/YC转换处理，从图像处理电路32输出RAW数据(马赛克图像数据)。
[0139]从图像处理电路32输出的亮度数据Y及色差数据Cr、Cb被压缩处理之后，记录到内部存储器(存储器37)或外部存储器(存储卡38)。
[0140]<异常倾斜入射光弓I起的混色现象>
[0141]图4是说明异常倾斜入射光(重影光等)引起的混色现象的机理的示意剖视图，图4A表示G像素、R像素及G像素的相邻配置例，图4B表示G像素、B像素及G像素的相邻配置例。
[0142]构成本例的摄像元件27的多个像素50包含由绿色滤色器构成的G(绿)像素50G、由红色滤波器构成的R(红)像素50R、及由蓝色滤色器构成的B(蓝)像素(第3颜色的像素)50B。G像素50G对获得亮度信号的贡献率高于R像素50R及B像素50B，例如能够通过以下公式获得亮度数据(亮度信号)Y。
[0143]Y(亮度数据)=(0.3XR像素数据+0.6XG像素数据+0.1 XB像素数据)
[0144]G像素50G、R像素50R及B像素50B的每一个包含在被摄体光的行进方向上依次设置的微透镜51、滤色器52及光电二极管53，输出与光电二极管53的受光量相应的像素数据。构成被摄体光的通常光56通过微透镜51聚光，通过滤色器52射入到光电二极管53。通常光56所通过的滤色器52与接收该通常光56的光电二极管53大致对应。
[0145]另一方面，异常倾斜入射光57以与通常光56不同的角度进入各像素，通过某一像素的滤色器52的异常倾斜入射光57被相邻像素的光电二极管53接收。如此，异常倾斜入射光57所通过的滤色器52与接收该异常倾斜入射光57的光电二极管53并不完全对应，接收异常倾斜入射光57的光电二极管53输出除了与通常光56的受光量相应还与异常倾斜入射光57的受光量相应的像素数据。因此，来自接收到异常倾斜入射光57的光电二极管53的输出像素数据与来自未接收到异常倾斜入射光57的光电二极管53的输出像素数据相比，增大，因此在相同颜色