像素之间在像素数据上产生高低差。
[0146]图5是表示当异常倾斜入射光射入到图2的摄像元件27时，从基本排列图案P所包含的G像素(Gl?G20)输出的像素数据的一例的曲线图。基本排列图案P内包含的G像素非常靠近而配置，因此原本通常会输出相同值或近似值的像素数据，但在入射有异常倾斜入射光时，在相同颜色像素之间(图5所示的Gl?G20之间)在输出像素数据上产生差(像素数据高低差)。
[0147]这是因为即使是相同颜色像素，由于相邻像素的颜色种类，异常倾斜入射光的受光量也不同。即，异常倾斜入射光越透过构成相邻像素的滤色器，异常倾斜入射光的受光量越增加，因此即使是相同颜色像素，根据相邻像素的种类(图案)，在输出像素数据上产生差。因此，通过可靠地确定异常倾斜入射光的入射的有无及入射方向，并适当地确定受到异常倾斜入射光引起的混色的影响的像素，能够获取适当的混色校正及准确的像素数据。
[0148]图6是表示图3的混色判定校正部41中的异常倾斜入射光的检测所涉及的功能结构的框图。
[0149]混色判定校正部41具有检测异常倾斜入射光的异常倾斜入射光检测部(异常倾斜入射光检测构件)61及根据入射光检测部61的检测结果校正马赛克图像数据的异常倾斜入射光校正部(校正构件)63。异常倾斜入射光检测部61上设置有存储保存有异常倾斜入射光的检测中使用的各种数据的存储部(存储构件)65。
[0150]异常倾斜入射光检测部61根据输入至混色判定校正部41的马赛克图像数据(RAW数据)检测入射到摄像元件27的异常倾斜入射光。本例的异常倾斜入射光检测部61根据马赛克图像数据分析后述的判定用像素的像素数据(输出值)，检测异常倾斜入射光的入射的有无、入射方向及强度。
[0151]异常倾斜入射光校正部63根据异常倾斜入射光检测部61的检测结果，对具有检测到异常倾斜入射光的区域内的光电二极管53的像素50的像素数据进行校正。即，异常倾斜入射光校正部63根据通过异常倾斜入射光检测部61检测判定的异常倾斜入射光的入射方向，判别摄像元件27的多个像素50中具有检测到异常倾斜入射光57的光电二极管53的像素50，修正该判别的像素50的像素数据。另外，通过异常倾斜入射光检测部61未检测到异常倾斜入射光时，跳过异常倾斜入射光校正部63中的校正处理。
[0152]异常倾斜入射光校正部63中的像素数据的具体的修正方法并无特别限定，能够通过任意方法校正入射有异常倾斜入射光57的像素(校正对象像素)的像素数据。例如，能够对从校正对象像素及其周边像素(例如，包含校正对象像素的基本排列图案P的大小范围中包含的像素)且与校正对象像素相同颜色的像素的像素数据导出的代表值，通过置换校正对象像素的像素数据等来进行像素数据校正。代表值可以是校正对象像素及周边像素的像素数据的平均值或加权平均值，也可以是校正对象像素及周边像素的像素数据的中央值或最大频度值。或者，代表值也可设为与校正对象像素相同颜色的像素且在基本排列图案P内异常倾斜入射光的影响最小的像素的像素数据。
[0153]并且，异常倾斜入射光校正部63通过将规定滤色器适用于校正对象像素，还能够校正入射有异常倾斜入射光57的像素(校正对象像素)的像素数据。能够在入射光校正部63使用的规定滤光器并无特别限定，例如可采用抑制校正对象像素及其周边的相同颜色像素的像素数据的高低差的滤波器(中值滤波器等)。
[0154]图7表示异常倾斜入射光的检测及混色校正所涉及的流程图的一例。
[0155]图7所示的图像处理方法中，首先检测摄像元件27的区域内的异常倾斜入射光的有无、入射方向及强度(图7的S1:异常倾斜入射光检测步骤)。检测到异常倾斜入射光的入射时(S2的是)，根据检测判定的异常倾斜入射光的入射方向，判别该区域内的多个像素中具有检测到异常倾斜入射光的光电二极管53的像素50，校正该判别的像素50的像素数据(S3)。另一方面，未检测到异常倾斜入射光时(S2的否)，跳过异常倾斜入射光校正部63中的校正处理。
[0156]异常倾斜入射光检测部61及异常倾斜入射光校正部63中的异常倾斜入射光的具体检测方法及混色校正方法根据摄像元件27的各颜色的像素排列(滤色器排列)确定。以下，与摄像元件27中的滤色器的排列例建立对应关系来对异常倾斜入射光的检测的具体方法进行说明。
[0157]<异常倾斜入射光的检测>
[0158]图8是说明异常倾斜入射光的检测方法的基本原理的一例的图，图8A?图8D表示G像素及R像素的各种配置图案。图8中，Gl?G4分别表示G像素，R表示R像素，A表示R像素以外的像素(图2所示的像素排列中的G像素或B像素)。
[0159]本例中，对将具有G滤波器(第2颜色的滤色器)的G像素(第2颜色像素)用作判定用像素，检测有无通过R像素(第I颜色像素)的R滤波器(第I颜色的滤色器)的异常倾斜入射光(红色异常倾斜入射光)的入射的例子进行说明。另外，通过R滤波器以外的滤色器的异常倾斜入射光被G像素以外接收的例子也具有相同的机理。
[0160]摄像元件27具有沿水平方向的正方向及负方向相邻的像素及沿垂直方向的正方向及负方向相邻的像素的滤色器图案互不相同的至少4种判定用像素(相同颜色像素)Gl?G4。相对于各个判定用像素Gl?G4，沿水平方向的正方向及负方向相邻的像素以及沿垂直方向的正方向及负方向相邻的像素中的至少I个具有R滤波器。
[0161]图8所示的例子中，将“R像素沿垂直方向的正方向相邻，具有R滤波器以外的滤色器的像素沿水平方向的正方向、水平方向的负方向、及垂直方向的负方向相邻的像素Gl(第3判定用像素)”、“R像素沿水平方向的正方向相邻，具有R滤波器以外的滤色器的像素沿水平方向的负方向、垂直方向的正方向、及垂直方向的负方向相邻的像素G2 (第I判定用像素)”、“R像素沿垂直方向的负方向相邻，具有R滤波器以外的滤色器的像素沿水平方向的正方向、水平方向的负方向、及垂直方向的正方向相邻的像素G3(第4判定用像素)”及“R像素沿水平方向的负方向相邻，具有R滤波器以外的滤色器的像素沿水平方向的正方向、垂直方向的正方向、及垂直方向的负方向相邻的像素G4 (第2判定用像素)”用作判定用像素。
[0162]另外，相对于判定用像素Gl?G4的每一个沿水平方向的正方向及负方向相邻的像素及沿垂直方向的正方向及负方向相邻的像素中，隔着判定用像素Gl?G4配置于与R像素对置的位置的像素具有R滤波器以外的滤色器。
[0163]这些判定用像素Gl?G4靠近配置(例如配置于基本排列图案P内)时，根据异常倾斜入射光的有无，判定用像素Gl?G4的输出值特性发生变动。即，判定用像素Gl?G4中未入射有异常倾斜入射光时，判定用像素Gl?G4的像素数据(输出值)成为相同值或近似值的可能性较高。然而，判定用像素Gl?G4中入射有红色异常倾斜入射光时，根据红色异常倾斜入射光的入射方向，判定用像素Gl?G4的像素数据发生变动。
[0164]例如，存在从垂直方向的正方向侧朝向负方向侧的红色异常倾斜入射光时，判定用像素Gl (参考图8A)的像素数据与其他判定用像素G2?G4的像素数据相比，变得较大(参考图9)。同样地，存在从水平方向的正方向侧朝向负方向侧的红色异常倾斜入射光时，判定用像素G2 (参考图SB)的像素数据与其他相比，变得相对较大，存在从垂直方向的负方向侧朝向正方向侧的红色异常倾斜入射光时，判定用像素G3(参考图SC)的像素数据与其他相比，变得相对较大，存在从水平方向的负方向侧朝向正方向侧的红色异常倾斜入射光时，判定用像素G4 (参考图8D)的像素数据与其他相比，变得相对较大。
[0165]如图9所示，异常倾斜入射光检测部61能够由判定用像素Gl?G4的像素数据的大小关系检测异常倾斜入射光的有无、入射方向及强度。以下，有时将异常倾斜入射光的有无、入射方向及强度称为“异常倾斜入射光的状态”。
[0166]另外，上述的图9(及后述的图12)中，仅示出了判定用像素Gl?G4的像素数据的相对大小关系，但判定用像素Gl?G4的像素数据的具体的大小关系受在异常倾斜入射光的入射侧相邻的像素的颜色种类的影响。
[0167]图10是表示从水平方向的正方向侧向负方向侧入射有红色异常倾斜入射光时的红色异常倾斜入射光相对于判定用像素Gl?G4的影响的大小的图。图1OA?图1OD的各图的下部中以箭头表示的“大”、“中”、“小”表示这种红色异常倾斜入射光的影响的大小。
[0168]作为滤色器特性，B滤波器及G滤波器无法完全截断红色光，实际上会使一部分红色光通过。尤其，G滤波器的红色光的透过率低于R滤波器，但红色光的透过率高于B滤波器。因此，从水平方向的正方向侧向负方向侧入射有红色异常倾斜入射光时，“沿水平方向的正方向相邻有R像素的判定用像素G2(参考图10B) ”最受影响，其次是“沿水平方向的正方向相邻有G像素的判定用像素Gl (参考图10A)及G4像素(参考图10D) ”受到较大影响，“沿水平方向的正方向相邻有B像素的判定用像素G3 (参考图10C) ”受到的影响最小。
[0169]另外，在被摄体图像的图像数据中，在基本排列图案P内的判定用像素Gl?G4之间原本就存在像素数据差时(例如，被摄体图像中存在各种图样和边缘(图像边界部)时)，即使不存在异常倾斜入射光，也会从判定用像素Gl?G4输出值大不相同的像素数据。然而，关于摄像元件27的区域(例如，包含一百个左右以上的基本排列图案P的区域)内包含的“判定用像素Gl?G4的每一种类的像素数据(各种判定用像素数据)”的平均值，若不存在异常倾斜入射光，则与被摄体图像无关地收敛于整体相同颜色像素(G像素)的平均值，成为统计上相互近似的值。另一方面，在入射有异常倾斜入射光的区域，相对于整体相同颜色像素的平均值，检测异常倾斜入射光的影响量作为高低差。
[0170]因此，鉴于这种判定用像素Gl?G4的输出值特性，异常倾斜入射光检测部61根据摄像元件27的区域内的判定用像素Gl?G4的每一种类的像素数据的平均值检测入射到摄像元件27的异常倾斜入射光的状态。
[0171]图11是说明异常倾斜入射光的检测方法的基本原理的另一例的图，图1lA?图1lD表示G像素及R像素的各种配置图案。图11中，Gl?G4分别表示G像素，R表示R像素，A表示R像素以外的像素。
[0172]本例的各个判定用像素Gl?G4，其沿水平方向的正方向及负方向相邻的像素以及沿垂直方向的正方向及负方向相邻的像素中的2个具有R滤波器。即，还能够将“R像素沿水平方向的正方向及垂直方向的正方向相邻，具有R滤波器以外的滤色器的像素沿水平方向的负方向及垂直方向的负方向相邻的像素GI (第I判定用像素)”、“ R像素沿水平方向的负方向及垂直方向的正方向相邻，具有R滤波器以外的滤色器的像素沿水平方向的正方向及垂直方向的负方向相邻的像素G2 (第2判定用像素)”、“ R像素沿水平方向的正方向及垂直方向的负方向相邻，具有R滤波器以外的滤色器的像素沿水平方向的负方向及垂直方向的正方向相邻的像素G3(第3判定用像素)”及“R像素沿水平方向的负方向及垂直方向的负方向相邻，具有R滤波器以外的滤色器的像素沿水平方向的正方向及垂直方向的正方向相邻的像素G4 (第4判定用像素)”用作判定用像素。
[0173]相对于图11所示的判定用像素Gl?G4，存在从垂直方向的正方向侧朝向负方向侧的红色异常倾斜入射光时，判定用像素Gl (参考图11A)及判定用像素G2(参考图11B)的像素数据与其他判定用像素G3?G4的像素数据相比，变得较大(参考图12)。同样地，存在从水平方向的正方向侧朝向负方向侧的红色异常倾斜入射光时，判定用像素Gl (参考图11A)及判定用像素G3(参考图11C)的像素数据与其他相比，变得相对较大，存在从垂直方向的负方向侧朝向正方向侧的红色异常倾斜入射光时，判定用像素G3(参考图11C)及判定用像素G4(参考图11D)的像素数据与其他相比，变得相对较大，存在从水平方向的负方向侧朝向正方向侧的红色异常倾斜入射光时，判定用像素G2(参考图11B)及判定用像素G4(参考图11D)的像素数据与其他相比，变得相对较大。
[0174]如此，即使是多个R像素(与检测对象的异常倾斜入射光的颜色种类对应的像素)相邻的判定用像素Gl?G4，也能够由判定用像素Gl?G4的像素数据的关系检测异常倾斜入射光的状态。
[0175]接着，对相对于图2的摄像元件27 (X-Trans排列)的异常倾斜入射光的检测方法的具体例进行说明。另外，本例中，也将检测有无红色异常倾斜入射光的入射的情况作为一例进行说明。
[0176]图13表示强调显示G像素及R像素的配置图案的图2的基本排列图案P的俯视图。
[0177]本例的摄像元件27中包含的G像素50G包含沿水平方向的正方向及负方向相邻的像素以及沿垂直方向的正方向及负方向相邻的像素的滤色器图案互不相同的10种G像素(Gl ?G10) ο
[0178]图13中，Gl像素沿垂直方向的正方向与R像素相邻配置，G2像素沿水平方向的正方向与R像素相邻配置，G3像素沿垂直方向的负方向与R像素相邻配置，G4像素沿水平方向的负方向与R像素相邻配置。并且，G5像素沿水平方向的负方向与R像素相邻配置，G6像素沿垂直方向的正方向与R像素相邻配置，G7像素沿水平方向的正方向与R像素相邻配置，G8像素沿垂直方向的负方向与R像素相邻配置。“G1像素与G6像素”、“G2像素与G7像素”、“G3像素与G8像素”及“G4像素与G5像素”在R像素的相邻配置上共同，但R像素以外的相邻像素的滤色器的配置图案互不相同。
[0179]并且，本例的G像素的种类中除了这些Gl像素?G8像素以外，还包含“沿水平方向的正负两方向相邻有R像素，并且沿垂直方向的正负两方向相邻有B像素的G9像素”及“沿水平方向的正负两方向相邻有B像素，并且沿垂直方向的正负两方向相邻有R像素的GlO像素”。
[0180]如上所述，作为判定用像素的条件，可举出“沿水平方向的正方向及负方向相邻的像素以及沿垂直方向的正方向及负方向相邻的像素的滤色器的图案互不相同”、“沿水平方向的正方向及负方向相邻的像素以及沿垂直方向的正方向及负方向相邻的像素中的至少I个具有R的滤色器(与检测对象的异常倾斜入射光的颜色种类对应的滤色器)”及“相对于各个判定用像素，沿水平方向的正方向及负方向相邻的像素以及沿垂直方向的正方向及负方向相邻的像素中，隔着判定用像素配置于与R像素对置的位置的像素具有R的滤色器以外的滤色器”。图13所示的Gl像素?G4像素满足这些条件，因此优选用作本例的判定用像素。
[0181]另外，例如G5像素?G8像素也满足上述条件，因此能够代替Gl像素?G4像素，或者与Gl像素?G4像素组合来用作判定用像素。即，本例的摄像元件27的基本排列图案P的每一个包含2组判定用像素组，不仅是“G1像素?G4像素”，还能够将“G5像素?G8像素”用作判定用像素。因此，通过组合基于“G1像素?G4像素”的判定用像素组的异常倾斜入射光的状态的检测结果、与基于“G5像素?G8像素”的判定用像素组的异常倾斜入射光的状态的检测结果，还能够提尚检测精确度。
[0182]并且，图13所示的BI像素?B4像素也满足上述条件，因此能够代替Gl像素?G8像素或者与Gl像素?G8像素组合来用作判定用像素。对于红色异常倾斜入射光以外的颜色种类的异常倾斜入射光的检测也相同，并且，还能够将G像素以外的像素用作判定用像素。例如，图13所示的Rl像素?R4像素相对于B像素满足上述条件，因此能够用作用于蓝色异常倾斜入射光的检测的判定用像素。
[0183]异常倾斜入射光检测部61将图13所示的这些G像素中的Gl像素?G4像素用作判定用像素，根据摄像元件27的区域内的Gl像素?G4像素的每一种类的像素数据的平均值检测摄像元件27的区域中的异常倾斜入射光的状态。
[0184]图14为表示摄像元件27的区域分割例的示意图。图14中，摄像元件27“沿水平方向5分割”及“沿垂直方向5分割”(共25分割)。例如，摄像元件27的像素数为4900像素(水平方向)X 3265像素(垂直方向)时，图14所示的分割区域(区域00?区域44)的每一个由980像素(水平方向)X 653像素(垂直像素)的像素数构成。
[0185]异常倾斜入射光检测部61能够按这些区域的每个区域计算区域内包含的Gl像素的像素数据(输出值)的平均值、G2像素的像素数据的平均值、G3像素的像素数据的平均值及G4像素的像素数据的平均值，根据这些平均值的大小关系检测各区域的红色异常倾斜入射光的状态(参考图8及图9)。如此，根据图14所示的例子，能够以25分割的精确度确定重影光等异常倾斜入射光引起的混色的产生部位。
[0186]接着，对异常倾斜入射光检测部61的异常倾斜入射光的检测方法的具体例进行说明。
[0187]<异常倾斜入射光的检测例I >
[0188]图15是表示使用判定用像素Gl?G4的像素数据的红色异常倾斜入射光的状态的检测方法的一例的图。图15中，横轴表示判定用像素Gl?G4，纵轴表示相对于判定用像素Gl?G4的像素数据平均值的比例。关于图15的纵轴，摄像元件27的区域中的所有判定用像素Gl?G4的像素数据的平均值设定为“像素数据平均值”，纵轴的“I”表示每一种判定用像素的像素数据的平均值与像素数据平均值相同。
[0189]图15所示的例子中，判定用像素Gl及G3的每一种类的像素数据的平均值与像素数据平均值相同，判定用像素G2的每一种类的像素数据的平均值大于像素数据平均值，判定用像素G4的每一种类的像素数据的平均值小于像素数据平均值。因此，红色异常倾斜入射光入射到该区域，该区域内的判定用像素Gl?G4的像素数据为图15所示的例子时，能够判定为该区域中“从水平方向的正方向侧朝向负方向侧”入射有红色异常倾斜入射光(参考图8及图9)。
[0190]如此，根据本例，能够根据区域内的判定用像素的像素数据值，尤其根据“每一种的判定用像素的像素数据值的平均值”相对于“所有判定用像素的像素数据值的平均值”的比例检测异常倾斜入射光的状态。
[0191]另外，异常倾斜入射光检测部61能够参考存储于存储部65 (参考图6)的判别表，由这些平均值检测入射到摄像元件27的异常倾斜入射光。例如，判别表中事先对“每一种判定用像素的像素数据的平均值(比例等)的数据图案”与“异常倾斜入射光的有无、入射方向及强度(异常倾斜入射光的状态)”建立对应关系。并且，异常倾斜入射光检测部61能够参考该判别表，由实际获取的“每一种判定用像素的像素数据的平均值的数据图案”获取“异常倾斜入射光的状态”。相对于判别表的“每一种判定用像素的像素数据的平均值”的对照并非一定要严密地进行，可设为只要是与判别表中规定的“每一种判定用像素的像素数据的平均值”的图案类似的图案，就可获取判别表中规定的对应的“异常倾斜入射光的状态”。
[0192]<异常倾斜入射光的检测例2 >
[0193]图16是表示使用判定用像素Gl?G4的像素数据的红色异常倾斜入射光的状态的检测方法的另一例的图。图16中，横轴表示判定用像素Gl?G4，纵轴表示判定用像素Gl?G4的像素数据值(左侧纵轴)及像素数据指标(右侧纵轴)。
[0194]关于“判定用像素一像素数据值”的关系，图16中，将摄像元件27的区域内的Gl像素?G4像素的每一种类的像素数据的平均值表示为“像素数据值”。
[0195]并且，关于“判定用像素一像素数据指标”的关系，图16中，根据摄像元件27的区域内的Gl像素?G4像素的每一种类的像素数据的平均值的大小，及“2”中某一个作为像素数据指标分配于各个判定用像素。例如，像素数据的平均值较大时分配“2”，像素数据的平均值较小时分配“0”，像素数据的平均值为两者中间时分配“ I ”。另外，像素数据指