应 的加权系数（总和）之比为1 :1。
[0098] 同样，对于图5B所示的加权平均滤光片将加权系数设定成，内核内的水平方向的 像素行内的与G像素对应的加权系数（总和）和与B像素的加权系数（总和）之比为1 : 1，并且内核内的垂直方向的像素行内的与G像素对应的加权系数（总和）和与B像素对应 的加权系数（总和）之比为1 :1。
[0099] [去马赛克处理]
[0100] 接下来，说明由图像处理部18的去马赛克处理电路对RGB的马赛克图像进行去马 赛克处理的方法。
[0101] 去马赛克处理电路如图4所示从由摄像元件14得到的马赛克图像（图4表示滤色 器排列并且也表示从摄像元件读出而得到的马赛克图像）提取3X3像素的局部区域（在 本例中，相当于基本排列图案P的尺寸）。去马赛克处理电路基于该局部区域内的各像素的 像素值和图5A所示的加权平均滤光片的加权系数，算出G、R的每色的积和运算值。即，将 局部区域内的各像素的像素值与各像素位置的加权平均滤光片的加权系数相乘，并对G、R 的每色的相乘结果相加而求出每色的积和运算值。同样，基于局部区域内的各像素的像素 值和图5B所示的加权平均滤光片的加权系数，算出G、B的每色的积和运算值。
[0102] 接下来，根据上述的那样算出的G、R的各加权平均值算出G、R的积和运算值之比 (色比），另外，根据G、B的各积和运算值算出GB的积和运算值之比（色比）。
[0103] 而且，将3X3像素的局部区域内的中央部的像素（图4所示的粗框的中央部的像 素 G3)设为去马赛克处理的处理对象的像素，基于所述算出的色比和像素 G3的像素值，算 出处置对象的像素 G3的像素位置的R、B的像素值。
[0104] 具体来说，将算出的所述RGB的每色的积和运算值分别设为Rf、Gf、Bf，在去马赛 克处理的处理对象的像素 G3的像素值是G的情况下，处理对象的像素位置的R、B的像素值 R、B由下式算出：
[0105] R = GX (Rf/Gf)... (1)
[0106] B = GX (Bf/Gf)... (2)。
[0107] 对于图5A及图5B所示的加权平均滤光片将加权系数设定成，内核内的水平方向 的像素行内的与G像素对应的加权系数（总和）和与R像素对应的加权系数（总和）和之 比为1 :1，并且内核内的垂直方向的像素行内的与G像素对应的加权系数（总和）和与R像 素对应的加权系数（总和）和之比为1 :1。因此，即使去马赛克处理电路相对于水平方向 或垂直方向存在高频的输入，乘以了这些加权系数的结果的色比（(Rf/Gf)、（Bf/Gf))的关 系也不偏离，能够算出局部区域的准确的色比。其结果为，能够基于所算出的色比，高精度 地进行去马赛克处理。
[0108] 接下来，说明使从马赛克图像提取的局部区域沿水平方向移动了 1个像素的情况 下的去马赛克处理。
[0109] 图6表示使图4所示的局部区域（由粗框所示的区域）沿水平方向（右方）移动 了 1个像素的情况。在该情况下，去马赛克处理的处理对象的像素（局部区域内的中央部 的像素）是图6所示的粗框的中央部的像素 R2,去马赛克处理电路算出该像素 R2的像素位 置的G、B的像素值。
[0110] < G的像素值的算出方法>
[0111] 在如图6所示地取出由粗框表示的局部区域的中央部的像素 R2的附近的2X2像 素的G像素，并将各G像素的像素值设为G2、G3、G4、G5的情况下，去马赛克处理电路所包 含的方向判别单元算出各方向分别的差分绝对值。
[0112] 即，水平方向的差分绝对值为（|G2 - G3| + |G4 - G5|)/2,垂直方向的差分绝对值 为（IG2 - G4 I +1G3 - G5 I) /2,右上方向的差分绝对值为IG3 - G4 I，右下方向的差分绝对 值为 |G2 - G5|。
[0113] 方向判别单元判定为在这四个差分绝对值中差分绝对值最小的方向上存在G的 像素值的相关性（相关方向）。
[0114] 由于如上述那样根据彼此相邻的2 X 2像素的G像素对相关方向进行判别，所以能 够以最小像素间隔对相关方向进行判别。即，能够不受高频的影响地高精度地对相关方向 进行判别。
[0115] 当判别出去马赛克处理的处理对象的像素中的相关方向，去马赛克处理电路在算 出去马赛克处理的处理对象的像素位置的其他颜色（本例的情况下，为G)的像素值时，使 用存在于上述所判别出的相关方向上的G像素的像素值。
[0116] 如图6所示，G像素存在于水平方向（第一方向）、垂直方向（第二方向）、斜右上 方向（第三方向）及斜右下方向（第四方向）的全部的像素行上。因此，去马赛克处理电 路将存在于处理对象的像素的附近的相关方向上的一个G像素的像素值或多个G像素的像 素值的插值后的值作为处理对象的像素位置的G的像素值。
[0117] 另一方面，基于上述那样算出的像素 R2的像素位置的G的像素值和该局部区域的 色比（Bf/Gf)，而算出像素 R2的像素位置的B的像素值。
[0118] 如图7A所示，使用图7B所示的加权平均滤光片算出3X3像素的局部区域的色比 (Bf/Gf)。该加权平均滤光片与图5A及图5B所示的加权平均滤光片同样，将加权系数设定 成，内核内的水平方向的像素行内的与G像素对应的加权系数（总和）和与B像素对应的 加权系数（总和）之比为1:1，并且内核内的垂直方向的像素行内的与G像素对应的加权系 数（总和）和与B像素对应的加权系数（总和）之比为1: 1。
[0119] 在此，将局部区域中的G、B像素的像素值的每色的积和运算值分别设为Gf、Bf，若 将对于像素 R2的像素位置算出的G的像素值设为G'，则像素 R2的像素位置的B的像素值 B由下式算出：
[0120] B = GiX (Bf/Gf) - (3) 〇
[0121] 另外，在处理对象的像素是B像素而算出该像素位置的G、R的像素值的情况下，与 上述相同地进行。即，基于由方向判别单元所判别出的相关方向的G的像素值而算出G的 像素值，并基于所算出的G的像素值和该局部区域的色比（Rf/Gf)而算出R的像素值。色 比（Rf/Gf)通过以以下方式设定了加权系数的加权平均滤光片来算出：内核内的水平方向 的像素行内的与G像素对应的加权系数（总和）和与R像素对应的加权系数（总和）和之 比为1:1，并且内核内的垂直方向的像素行内的与G像素对应的加权系数（总和）与R像素 对应的加权系数（总和）之比为1: 1。
[0122] 在此，将局部区域中的G、R像素的像素值的每色的积和运算值分别设为Gf、Rf，若 将对于像素 B (BI或B2)的像素位置算出的G的像素值设为G'，则像素 B的像素位置的R的 像素值R由下式算出：
[0123] R = GiX (Rf/Gf) - (4) 〇
[0124] 如此，对马赛克图像一边使局部区域逐个像素地移动一边依次进行去马赛克处 理。
[0125] 如图4所示，该实施方式的马赛克图像的基本排列图案P分别具有与周围的颜色 的位置关系不同的五个G像素（Gl?G5)、两个R像素（R1、R2)及两个B像素（B1、B2)这9 个像素。因此，对于五个G像素的各像素，准备用于算出色比（(Rf/Gf) (Bf/Gf))的不同的 加权平均滤光片。另外，对于两个的R像素的各像素，准备用于算出色比（Bf/Gf))的不同 的加权平均滤光片，对于两个的B像素的各像素，准备用于算出色比（Rf/Gf))的不同的加 权平均滤光片。
[0126] 去马赛克处理电路根据基本排列图案内的9个像素中的哪个像素是处理对象的 像素，而选择计算色比所使用的加权平均滤光片，并使用所选择的加权平均滤光片通过上 述的式（1)?（4)而算出处理对象的像素位置的R、B的像素值。
[0127] <加权平均滤光片的第二实施方式>
[0128] 图8的（a)部及（b)部是分别表示第二实施方式的加权平均滤光片的图，表示对 去马赛克处理的处理对象的像素（图4所示的像素 G3)而设计的加权平均滤光片的加权系 数。
[0129] 图8的（a)部及（b)部所示的加权平均滤光片具有比3X3像素的基本排列图案 P尺寸大的5X5像素的内核尺寸。图8的（a)部表示用于算出与5X5像素的局部区域对 应的内核内的G与R的色比的加权平均滤光片。图8的（b)部表示用于算出与5X5像素 的局部区域对应的内核内的G与B的色比的加权平均滤光片。
[0130] 对于图8的（a)部所示的加权平均滤光片将加权系数设定成，内核内的水平方向 的像素行内的对G像素的加权系数的总和与对R像素的加权系数的总和之比为1: 1，并且内 核内的垂直方向的像素行内的对G像素的加权系数的总和与对R像素的加权系数的总和之 比为1:1。
[0131] 同样，对于图8的（b)部所示的加权平均滤光片将加权系数设定成，内核内的水平 方向的像素行内的对G像素的加权系数的总和与对B像素的加权系数的总和之比为1: 1，并 且内核内的垂直方向的像素行内的对G像素的加权系数的总和与对B像素的加权系数的总 和之比为1:1。
[0132] 图8的（a)部所示的加权平均滤光片的与G像素及R像素对应的加权系数的总和 分别是10。现在，在对图8的（c)部所示的高频的纵条纹图像进行摄像的情况下，有助于积 和运算的白色部分的对G像素和R像素的加权系数的总和分别为3。另外，在对图8的（d) 部所示的高频的横条纹图像进行摄像的情况下，有助于积和运算的白部分的对G像素和R 像素的加权系数的总和分别为7。
[0133] S卩，即使对于水平方向或垂直方向存在高频的输入，乘以这些加权系数后的结果 的色比（(Rf/Gf)、（Bf/Gf))的关系也能够不产生偏离地算出局部区域的准确的色比。
[0134] <加权系数的决定方法>
[0135] 在图5A及图5B所示的与3 X 3像素的内核尺寸对应的局部区域内，在设定了具有 与水平方向及垂直方向平行的边的任意的四边形的情况下，寻找具有如下的两对的像素组 的四边形，该四边形的一方的对角具有G像素、另一方的对角具有同色的R像素或同色的B 像素。
[0136] 图9A表示在四边形的一方的对角位置具有像素 G1、G2,在另一方的对角位置具有 像素 RU R2的四边形。另外，图9B表示在四边形的一方的对角位置具有像素 Gl、G5,在另 一方的对角位置具有像素 Bl、B2的四边形。
[0137] 而且，作为这些四边形的两对对角的位置的加权系数，赋予相同值的加权系数。 图5A及图5B所示的加权系数，分别作为四边形的两对对角的位置的加权系数而被分配了 "1"，内核内的其他的位置被分配了 "0"。
[0138] 另外，在内核中，一方的对角分别具有G像素而另一方的对角分别具有R像素的四 边形和一方的对角分别具有G像素而另一方的对角分别具有B像素的四边形需要分别至少 存在一个以上。由此，能够设定具有如下加权系数的加权平均滤光片：被分配了加权系数 ("0"以外）的水平方向及垂直方向的各像素行的G像素、R像素所对应的加权系数的总和 之比为1:1。另外，能够设定具有如下加权系数的加权平均滤光片：水平方向及垂直方向的 各像素行的G像素、B像素所对应的加权系数的总和之比为1: 1。
[0139] 另外，在内核中，一方的对角分别具有G像素而另一方的对角分别具有R像素的四 边形和一方的对角分别具有G像素而另一方的对角分别具有B像素的四边形，分别至少需 要存在一个以上。因此，需要使马赛克图像的基本排列图案的像素尺寸为3X3像素以上。
[0140] 另外，图8的（a)部所示的加权平均滤光片的加权系数能够使用上述的四边形如 下述的那样地求出。
[0141] 如图10所示，在5X5的内核内中寻找一个以上的一方的对角分别具有G像素而 另一方的对角分别具有R像素的四边形。在图10所示的例子中采用了五个四边形。在五 个四边形的对角的位置分别作为加权系数而分配" 1"，在其以外的位置分配加权系数"0"。 另外，在四边形的对角重复的位置，分配该重复的数目（IX重复数）。
[0142] 通过如此决定加权平均滤光片的加权系数，能够使被分配了加权系数（"0"以外） 的水平方向及垂直方向的各像素行的G像素和R像素所对应的加权系数的总和之比为1:1。 此外，能够使水平方向及垂直方向的各像素行的G像素、B像素所对应的加权系数的总和之 比为1:1。
[0143] <摄像元件的第二实施方式及第三实施方式的加权平均滤光片>
[0144] 图IlA及图IlB是表示上述摄像元件14的第二实施方式和适用于此的第三实施 方式的加权平均滤光片的图。
[0145] 第二实施方式的摄像元件的滤色器排列包含与MXN(4X4)像素对应的基本排列 图案，将该基本排列图案P在水平方向（H)及垂直方向（V)上重复配置。
[0146] 如图IlA及图IlB所示，4X4像素的基本排列图案中的与R、G、B滤光片对应的R 像素、G像素、B像素的像素数分别为3像素、10像素、3像素。G像素的像素数与R像素 、B 像素的各自的像素数相比分配得较多。即，与R像素、B像素相比，用于获得亮度信号的贡 献率的较高的G像素的像素数的比率比R像素、B像素的像素数的比率大。
[0147] 另外，第二实施方式的滤色器排列（马赛克图像）在水平方向及垂直方向的像素 行中，RGB像素全部齐全的像素行和RGB像素不齐全的像素行（仅有G、R像素的像素行，仅 有G、B像素的像素行）混合存在。
[0148] 图IlA及图IlB所示的第三实施方式的加权平均滤光片具有与4X4像素的基本 排列图案相同尺寸的内核尺寸。图IlA表示用于算出与局部区域对应的内核内的G与R的 色比的加权平均滤光片。图IlB表示用于算出与局部区域对应的内核内的G与B的色比的 加权平均滤光片。
[0149] 另外，对于图IlA所示的加权平均滤光片的加权系数将加权系数设定成，内核内 的水平方向的像素行内的G像素所对应的加权系数的总和与R像素所对应的加权系数的总 和之比为1:1，并且内核内的垂直方向的像素行内的G像素所对应的加权系数的总和与R像 素所对应的加权系数的总和之比为1: 1。
[0150] 同样，对于图IlB所示的加权平均滤光片将加权系数设定成，内核内的水平方向 的像素行内的G像素所对应的加权系数的总和与B像素所对应的加权系数的总和之比为 1:1，并且内核内的垂直方