专利名称：图像处理装置、图像处理方法以及摄像装置的制作方法
技术领域：
本发明涉及一种图像处理装置、图像处理方法以及摄像装置。
背景技术：
作为一种全色摄像装置，所谓的单板式摄像装置例如民用的数字静态图片照相机 (DSC)或带相机的便携电话那样，适用于要求结构小型化及低价格化的情况。单板式摄像装 置将红色(R)用、绿色(G)用、蓝色⑶用的滤色器中的某一种设置在光电元件上，按照像 素位置计算不足颜色成分的灵敏度信号，由此从一个二维摄像元件得到多色的图像信号。 不足颜色成分的灵敏度级别值通过对位于关注像素周边的像素的灵敏度级别值进行插补 而生成。例如，在日本特开2001-197512号公报中提出以下技术，S卩，假想三维空间中的几 何学图形，基于几何学图形的线段相似比，生成不足颜色成分的灵敏度级别值。例如，在将既得颜色成分为R成分的R用像素作为关注像素的情况下，假想与如下 几何学图形相似的几何学图形，即，以关注像素的灵敏度级别值和位于关注像素的周边的R 用像素的灵敏度级别值为顶点的几何学图形，求得不足颜色成分的灵敏度级别值。作为单 板式二维摄像元件的像素阵列，在如下任意一种情况下，即，在已知的拜耳阵列的情况下、 在将关注像素设为R用像素的情况下、在设为B用像素的情况下，将四棱锥假想为相互相似 的几何学图形，能够算出不足颜色成分的灵敏度级别值。与之相对，在将关注图像设为G用 像素的情况下，由于G用像素的阵列与R用像素、B用像素不同，所以，将三角形假想为相互 相似的几何学图形，算出不足颜色成分的灵敏度级别值。这样，根据关注像素的既得颜色成 分假想不同的几何学图形，由此，存在对不足颜色成分的灵敏度级别值计算精度产生差异 的情况。另外，在使用三角形作为几何学图形的情况下，与使用四棱锥的情况相比，参照灵 敏度级别值的像素少，所以，与G光相比，灵敏度低的R光、B光以少的数据数插补。因此， 容易受到像素的输出不均勻的影响，精度进一步恶化。
发明内容
根据本发明的一个方式，提供一种图像处理装置，具有像素插补处理部，该像素插 补处理部通过摄像被拍摄体像所得到的图像信号的插补处理，生成不足颜色成分的灵敏度 级别值，上述像素插补处理部具有计算单元，该计算单元通过与既得颜色成分相应的计算， 输出关注像素中的上述不足颜色成分的灵敏度级别值，其中，对于上述关注像素，上述既得 颜色成分的灵敏度级别值是已经获得的，上述图像处理装置中，将与排列有各像素的二维 方向垂直的高度方向的轴作为表示灵敏度级别值的轴，假想第1几何学图形和第2几何学 图形，上述第1几何学图形是将对于上述关注像素为既得的灵敏度级别值、和对于多个第 1参照像素为既得的灵敏度级别值作为顶点的几何学图形，其中，该多个第1参照像素是位于上述关注像素附近的像素，并且其既得颜色成分与上述关注像素相同，上述第2几何学图形是在顶点包含对于多个第2参照像素为既得的灵敏度级别值的几何学图形，其中，该 多个第2参照像素位于上述关注像素附近，并以上述关注像素的上述既得颜色成分以外的 某颜色成分为既得颜色成分，上述计算单元以使上述第2几何学图形成为与上述第1几何 学图形相似的形状的方式算出上述关注像素中的上述不足颜色成分的灵敏度级别值，在上 述关注像素的上述既得颜色成分为任意一种颜色成分的情况下，使用同一图形作为上述几 何学图形。另外，根据本发明的一个方式，提供一种图像处理方法，该图像处理方法通过摄像 被拍摄体像所得到的图像信号的插补处理，生成不足颜色成分的灵敏度级别值，通过与既得 颜色成分相应的计算，输出关注像素中的上述不足颜色成分的灵敏度级别值，其中，对于上述 关注像素，上述既得颜色成分的灵敏度级别值是已经获得的，将与排列有各像素的二维方向 垂直的高度方向的轴作为表示灵敏度级别值的轴，假想第1几何学图形和第2几何学图形，上 述第1几何学图形是将对于上述关注像素为既得的灵敏度级别值、和对于多个第1参照像素 为既得的灵敏度级别值作为顶点的几何学图形，其中，该多个第1参照像素是位于上述关注 像素附近的像素，并且其既得颜色成分与上述关注像素相同，上述第2几何学图形是在顶点 包含对于多个第2参照像素为既得的灵敏度级别值的几何学图形，其中，该多个第2参照像素 位于上述关注像素附近，并以上述关注像素的上述既得颜色成分以外的某颜色成分为既得颜 色成分，以使上述第2几何学图形成为与上述第1几何学图形相似的形状的方式，算出上述关 注像素中的上述不足颜色成分的灵敏度级别值，在上述关注像素的上述既得颜色成分为任意 一种颜色成分的情况下，使用同一图形作为上述几何学图形。另外，根据本发明的一个方式，提供一种摄像装置，该摄像装置具有对通过摄像被 拍摄体像所得到的图像信号实施图像处理的图像处理装置，该图像处理装置具有像素插补 处理部，该像素插补处理部通过上述图像信号的插补处理，生成不足颜色成分的灵敏度级 别值，上述像素插补处理部具有计算单元，该计算单元通过与既得颜色成分相应的计算，输 出关注像素中的上述不足颜色成分的灵敏度级别值，其中，对于上述关注像素，上述既得颜 色成分的灵敏度级别值是已经获得的，上述图像处理装置中，将与排列有各像素的二维方 向垂直的高度方向的轴作为表示灵敏度级别值的轴，假想第1几何学图形和第2几何学图 形，上述第1几何学图形是将对于上述关注像素为既得的灵敏度级别值、和对于多个第1参 照像素为既得的灵敏度级别值作为顶点的几何学图形，其中，该多个第1参照像素是位于 上述关注像素附近的像素，并且其既得颜色成分与上述关注像素相同，上述第2几何学图 形是在顶点包含对于多个第2参照像素为既得的灵敏度级别值的几何学图形，其中，该多 个第2参照像素位于上述关注像素附近，并以上述关注像素的上述既得颜色成分以外的某 颜色成分为既得颜色成分，上述计算单元以使上述第2几何学图形成为与上述第1几何学 图形相似的形状的方式算出上述关注像素中的上述不足颜色成分的灵敏度级别值，在上述 关注像素的上述既得颜色成分为任意一种颜色成分的情况下，使用同一图形作为上述几何 学图形。
图1是第1实施方式的摄像装置的框图。
图2是说明拜耳阵列的像素配置的附图。图3是对在生成R用像素中的不足颜色成分的灵敏度级别值时参照的像素进行说 明的附图。图4是表示关注像素、第1参照像素、第2参照像素的各灵敏度级别值的分布的例子的附图。图5是说明参照像素、二维方向上的四棱锥形状的面积比的附图。图6是表示关注像素、第1参照像素、第2参照像素的各灵敏度级别值的分布的例 子的附图。图7是说明将三角形假想为几何学图形的情况的附图。图8是说明生成G用像素中的B成分的灵敏度级别值的方法的附图。图9是表示灵敏度级别值的分布的例子的附图。图10是对关于第2参照像素的插补灵敏度级别值的生成进行说明的附图。图11是表示对第2参照像素生成的插补灵敏度级别值的分布的例子的附图。图12是说明生成G用像素中的R成分的灵敏度级别值的方法的附图。图13是对关于第2参照像素的插补灵敏度级别值的生成进行说明的附图。图14是表示图像插补处理部的结构的一个例子的框图。图15是说明像素插补处理部的动作的流程图。图16是对将Gr像素作为关注像素的情况的插补灵敏度级别值的算出进行说明的 附图。图17是对将Gb像素作为关注像素的情况的插补灵敏度级别值的算出进行说明的 附图。图18是说明像素插补处理部的动作的流程图。图19是说明生成不足颜色成分的灵敏度级别值的计算式的一个例子的附图。
具体实施例方式下面，参照附图对本发明的实施方式的图像处理装置、图像处理方法以及摄像装 置进行详细说明。图1是作为本发明的第1实施方式的摄像装置的固体摄像装置的框图。固体摄像 装置具有摄像透镜1、摄像部2、模拟数字转换器(ADC) 3以及图像处理装置4。摄像透镜1 将来自被拍摄体的光取入。摄像部2通过将来自被拍摄体的光转换为信号电荷而拍摄被拍 摄体图像。摄像部2将红色、蓝色、绿色的像素值按照与拜耳阵列对应的顺序取入，并将导 入的模拟图像信号以从外部指定的摄像条件所对应的增益依次放大并输出。ADC3将从摄像 部2输出的模拟图像信号转换为数字图像信号。图像处理装置4对从ADC3输出的数字图 像信号实施各种图像处理。图像处理装置4具有第1噪声消除处理部10、透镜阴影(shanding)处理部11、损 伤修正处理部12、第2噪声消除处理部13、像素插补处理部14、白平衡处理部15、颜色矩阵 处理部16、轮廓处理部17、灰度系数修正部18以及输出部19。第1噪声消除处理部10从ADC3输出的数字图像信号中除去散粒噪声等与被拍摄 体像的信号不同的信号。通过图像处理装置4的初阶段的噪声消除处理，使后阶段的各部处理中的计算精度提高。第1噪声消除处理部10为了将电路规模和消耗电力抑制得较小 而不使用行存储器(Iinememory)，对以与拜耳阵列对应的顺序传递来的数字图像信号依次 执行噪声消除处理。因此，第1噪声消除处理部10基于数字图像信号的图像帧中的像素值 的一维排列而执行噪声清除处理。透镜阴影处理部11对通过第1噪声消除处理部10执行了噪声消除处理的数字图 像信号，乘以根据对应的像素的位置而分别决定的修正系数，由此执行电气的阴影修正。损 伤修正处理部12对通过透镜阴影处理部11执行了阴影修正的数字图像信号执行损伤修正 处理。损伤修正处理是为了修正在摄像部2中没有正常发挥作用的像素所引起的数字图像 信号的缺损部分(损伤)而进行的处理。第2噪声消除处理部13对通过损伤修正处理部12执行了损伤修正处理的数字图 像信号再次执行噪声清除处理。第2噪声清除处理部13使用行存储器而构成，将以对应于 拜耳阵列的顺序传递来的数字图像信号的数据临时存储于行存储器。第2噪声清除处理部 13通过使用二维过滤器等，对存储于行存储器的数据执行基于二维方向上的像素阵列的噪
声清除处理。像素插补处理部14通过第2噪声清除处理部13执行噪声清除处理，对以拜耳阵 列的顺序传递来的数字图像信号执行像素插补处理(去马赛克处理(demosaic处理))。像 素插补处理部14通过由被拍摄体像的摄像而得到的图像信号的插补处理，生成不足颜色 成分的灵敏度级别值。白平衡处理部15对通过像素插补处理部14执行了去马赛克处理后 的数字图像信号执行白平衡处理。颜色矩阵处理部16对通过白平衡处理部15执行了白平衡处理的数字图像信号执 行用于得到颜色再现性的颜色矩阵计算处理(颜色再现性处理)。轮廓处理部17对通过颜 色矩阵处理部16执行了颜色再现性处理的数字图像信号，使用基于摄像部2的摄像条件和 各像素的位置而算出的修正系数，执行轮廓强调处理。灰度系数修正部18对通过轮廓处理部17强调了轮廓的数字图像信号执行灰度系 数修正。输出部19将通过图像处理的执行而得到的数字图像信号向外部输出。另外，本实 施方式中说明的图像处理装置4的结构为一个例子，也可以适当地进行用于其它处理的要 素的追加或省略能够省略的要素等的变更。图2是说明拜耳阵列的像素的配置的附图。在图2中，记作“R”的标号表示红色 (R)用像素，记作“G”的标号表示绿色(G)用像素，记作“B”的标号表示蓝色⑶用像素。R 用像素对应于设置了使R成分选择性透过的滤色器的光电元件，将R成分作为既得颜色成 分，将G成分和B成分作为不足颜色成分。G用像素对应于设置使G成分选择性透过的滤色 器的光电元件，将G成分作为既得颜色成分，将R成分和B成分作为不足颜色成分。B用像 素对应于设置了使B成分选择性透过的滤色器的光电元件，将B成分作为既得颜色成分，将 R成分和G成分作为不足颜色成分。各像素在包含相互垂直的H方向和V方向的二维方向上并列。使R用像素以及G 用像素向H方向交替排列的列、和使G用像素以及B用像素向H方向交替并列的列，在V方 向上交替地配置。G用像素彼此在相对H方向和V方向倾斜的方向上邻接。相对于图2所 示的阵列，数字图像信号向着H方向的右侧被逐个像素地依次输入，当到达右端时，接着从 V方向上的下一层的列的左端的像素开始输入。
图3是对生成R用像素中的不足颜色成分的灵敏度级别值时参照的像素进行说明 的附图。将像素RO作为计算不足颜色成分的灵敏度级别值的对象即关注像素。像素RO以 R成分为既得颜色成分。像素Rl R4(像素R1、像素R2、像素R3、像素R4)为位于像素RO 附近的R用像素。像素R2、像素R0、像素R4经由G用像素在H方向上并列。像素R1、像素 R0、像素R3经由G用像素在V方向上并列。像素Rl R4与像素RO相同，是将R成分作为 既得颜色成分的第1参照像素。另外，在简单地称作R0、R1、R2、R3、R4的情况下，分别表示 像素R0、像素Rl R4中的R成分的灵敏度级别值。像素Bl B4(像素Bi、像素B2、像素B3、像素B4)为位于像素RO附近的B用像 素，以B成分为既得颜色成分。像素Bl B4在相对于H方向和V方向倾斜的方向上与像素 RO邻接。像素Bl B4是以像素RO的既得颜色成分以外的颜色成分即B成分作为既得颜 色成分的第2参照像素。另外，在简单地称作B1、B2、B3、B4的情况下，分别表示像素Bl B4中的B成分的灵敏度级别值。图4是表示关注像素、第1参照像素、第2参照像素的各灵敏度级别值的分布的例 子的附图。在这里，将垂直于各像素排列的H方向和V方向的高度方向设为Z方向，以Z方 向的轴作为表示灵敏度级别值的轴。标注了与图3所示的符号相同的符号的圆分别表示对 于各像素已经得到(既得)的灵敏度级别值。涂黑的圆表示关注像素RO中不足的B成分 的灵敏度级别值BO。 在包含H方向、V方向、Z方向的三维空间中，假想以R0、Rl、R2、R3、R4为顶点的四 棱锥形状Al。四棱锥形状Al是第1几何学图形。另外，假想包含并以B1、B2、B3、B4为顶 点的四棱锥形状A2。四棱锥形状A2为第2几何学图形。像素插补处理部14算出四棱锥形 状A2成为与四棱锥形状Al线性相似的形状的B0。图5是说明图3所示的参照像素和二维方向的四棱锥形状Al和A2的面积比的附 图。在二维方向上，相对于连接Rl R4所得到的四角形的面积，连接Bl B4所得到的四 角形的面积为二分之一。在这里说明的面积比相当于像素Rl R4中的R成分的能量与像 素Bl B4中的B成分的能量的比。相对于RO与Rl R4的插补值之间的差，BO与Bl B4的插补值之间的差为二分之一。像素插补处理部14由相关关系算出B0。图3所示的像素Gl G4(像素G1、像素G2、像素G3、像素G4)为位于像素RO附 近的G用像素，以G成分为既得颜色成分。像素Gl G4在H方向和V方向上与像素RO邻 接。像素Gl G4是以作为像素RO的既得颜色成分以外的颜色成分的G成分作为既得颜 色成分的第2参照像素。另外，在简单地称作G1、G2、G3、G4的情况下，分别表示像素Gl G4中的G成分的灵敏度级别值。图6是表示关注像素、第1参照像素、第2参照像素的各灵敏度级别值的分布的例 子的附图。涂黑的圆表示关注像素RO中不足的G成分的灵敏度级别值GO。与B成分的情 况相同，对于G成分，假想包含并以G1、G2、G3、G4为顶点的四棱锥形状A3。四棱锥形状A3 为第2几何学图形。像素插补处理部14算出四棱锥形状A3成为与四棱锥形状Al线性相 似的形状的GO。在H方向以及V方向的二维方向上，相对于连接Rl R4所得到的四角形的面积，连接Gl G4所得到的四角形的面积为四分之一。在这里说明的面积比相当于像素Rl R4中的R成分的能量与像素Gl G4中的G成分的能量的比。相对于RO与Rl R4的插补值之间的差，GO与Gl G4的插补值之间的差为四分之一。像素插补处理部14由相关 关系算出GO。当着眼于各像素的既得颜色成分时，在拜耳阵列的情况下，R用像素和B用像素在 二维方向中的倾斜方向上交替排列，在H方向和V方向中的任意一个方向上，在与G用像素 邻接的点上，阵列的形态相同。因此，在以关注像素为B用像素的情况下，与R用像素的情 况相同，通过使用四棱锥形状作为几何学图形，能够算出作为不足颜色成分的R成分、G成 分的各灵敏度级别值。与之相对，G用像素彼此在二维方向中的倾斜方向上邻接，G用像素 的阵列的形态与R用像素、B用像素中的任意一个都不同。因此，为了采用与R用像素、B用像素的情况相同的方法来算出G用像素中的R成分、B成分的各灵敏度级别值，假想四棱锥形状以外的形状作为几何学图形，例如如图7所 示，假想包含Z方向的面内的三角形。由于根据关注像素的既得颜色成分而假想不同的几 何学图形，有时不足颜色成分的灵敏度级别值的计算精度产生差异。另外，在使用三角形 作为几何学图形的情况下，与使用四棱锥的情况相比，由于参照灵敏度级别值的像素少，所 以，以少的数据数插补与G光相比灵敏度低的R光、B光。因此，容易受到像素的输出不均 的影响，进而使精度恶化。在这里，根据本实施方式，说明生成G用像素中的B成分的灵敏度级别值的方法。 图8所示的像素Gl G4是位于作为关注像素的像素GO附近的G用像素，在相对于H方向 以及V方向倾斜的方向上，与像素GO邻接。如图9所示的灵敏度级别值的分布的例子所示， 对于G成分，假想以GO G4为顶点的四棱锥A4。像素Bl和像素B2经由像素GO而向V方向并列。像素B3和像素Bl经由像素Gl 而向H方向并列。像素B4和像素B2经由像素G2而向H方向并列。像素B2和像素B6经 由像素G3而向H方向并列。像素Bl和像素B5经由像素G4而向H方向并列。像素Bl 像素B6是以B成分为既得颜色成分的第2参照像素，该B成分作为像素GO的既得颜色成 分以外的颜色成分。图10是对关于第2参照像素的插补灵敏度级别值的生成进行说明的附图。在关注 像素的既得颜色成分为作为特定颜色成分的G成分的情况下，图像插补处理部14对第2参 照像素通过既得的灵敏度级别值彼此的插补、例如通过线性插补，生成插补灵敏度级别值。 在这里，对于6个第2参照像素，对B成分生成4个插补灵敏度级别值。对于像素B3和像 素Bi，生成B3和Bl的插补灵敏度级别值B31。B31的位置为像素B3和像素Bl之间的像素 Gl的位置。对于像素B4和像素B2，生成B4和B2的插补灵敏度级别值B42。B42的位置为 像素B4和像素B2之间的像素G2的位置。对于像素B2和像素B6，生成B2和B6的插补灵 敏度级别值B26。B26的位置为像素B2和像素B6之间的像素G3的位置。对于像素Bl和 像素B5，生成Bl和B5的插补灵敏度级别值B15。B15的位置为像素Bl和像素B5之间的像 素G4的位置。图11是表示对第2参照像素生成的插补灵敏度级别值的分布的例子的附图。涂 黑的圆表示关注像素GO中不足的B成分的灵敏度级别值B0。对于像素Bl B6，作为第2 几何学图形，假想包含并以B31、B42、B26、B15为顶点的四棱锥A5。像素插补处理部14算 出四棱锥A5成为与四棱锥A4线性相似的形状的B0。在二维方向上，连接Gl G4所得到的四角形的面积与连接B31、B42、B26、B15所得到的四角形的面积相同。像素Gl G4中的G成分的能量与像素Bl B6中的B成分的 能量相同。像素插补处理部14由GO与Gl G4的插补值之间的差，等于BO与B31、B42、 B26、B15的插补值之间的差的关系算出B0。接下来，参照图12和图13，对像素GO中的R成分的灵敏度级别值RO的生成进行 说明。像素Rl和像素R2经由像素GO向H方向并列。像素R3和像素Rl经由像素Gl向V 方向并列。像素Rl和像素 R5经由像素G2向V方向并列。像素R2和像素R6经由像素G3 向V方向并列。像素R4和像素R2经由像素G4向V方向并列。像素Rl R6是以R成分 为既得颜色成分的第2参照像素，该R成分作为像素GO的既得颜色成分以外的颜色成分。对于R成分，对6个第2参照像素生成4个插补灵敏度级别值。对于像素R3和像 素R1，生成R3和Rl的插补灵敏度级别值R31。R31的位置为像素R3和像素Rl之间的像素 Gl的位置。对于像素Rl和像素R5，生成Rl和R5的插补灵敏度级别值R15。R15的位置为 像素Rl和像素R5之间的像素G2的位置。对于像素R2和像素R6，生成R2和R6的插补灵 敏度级别值R26。R26的位置为像素R2和像素R6之间的像素G3的位置。对于像素R4和 像素R2，生成R4和R2的插补灵敏度级别值R42。R42的位置为像素R4和像素R2之间的像 素G4的位置。对于像素Rl R6，作为第2几何学图形，假想包含并以R31、R15、R26、R42为顶点 的四棱锥形状。像素插补处理部14算出该四棱锥成为与作为第1几何学图形的四棱锥A4 线性相似的形状的R0。像素插补处理部14通过与BO相同的计算，算出R0。这样，像素插 补处理部14在关注像素为任意一个颜色用像素的情况下都能使用相同图形即四棱锥作为 几何学图形。图14是表示图像插补处理部14的结构的一个例子的框图。像素插补处理部14 具有4H的行存储器20、R用计算单元21R、G用计算单元21G、B用计算单元21B以及选择 器22。行存储器20保持4个线路量的数字图像信号。R用计算单元21R是用于关注像素 为R用像素时的像素插补处理的计算单元。G用计算单元21G是用于关注像素为G用像素 时的像素插补处理的计算单元。B用计算单元21B是用于关注像素为B用像素时的像素插 补处理的计算单元。选择器22根据V/H计数器的计数值选择R用计算单元21R、G用计算 单元21G、B用计算单元21B。像素插补处理部14从保持于行存储器20的4个线路和干线的1个线路共计5个 线路取得H方向5个像素X V方向5个像素的25个像素量的图像信号。选择器22通过V/ H计数器的计数值判断所取得的25个像素中作为关注像素的中心像素是R用像素、G用像 素、B用像素中的哪一个。在关注像素为R用像素的情况下，选择器22选择基于R用计算 单元21R的计算。在关注像素为G用像素的情况下，选择器22选择基于G用计算单元21G 的计算。在关注像素为B用像素的情况下，选择器22选择基于B用计算单元21B的计算。 各颜色用计算单元21R、21G、21B从取得的25个像素中确定第1参照像素和第2参照像素， 并输出关注像素中的不足颜色成分的灵敏度级别值。图15是说明像素插补处理部14的动作的流程图。在步骤Sl中，图像插补处理部 14判断关注像素是否为R用像素。在关注像素为R用像素的情况下(步骤Si，是)，像素插 补处理部14通过R用计算单元21R的计算生成关注像素中的G成分、B成分的各灵敏度级 别值。在关注像素不为R用像素的情况下(步骤Si，否)，像素插补处理部14在步骤S3中判断关注像素是否为B用像素。在关注像素为B用像素的情况下(步骤S3，是)，像素插补 处理部14通过B用计算单元21B的计算生成关注像素中的R成分、G成分的各灵敏度级别值。在关注像素也不为B用像素的情况下(步骤S3，否)，像素插补处理部14判断关注像素为G。像素插补处理部14通过G用计算单元21G的计算，对关于R成分的第2参照 像素、关于G成分的第2参照像素的每一个，计算插补灵敏度级别值(步骤S5)。接下来，像 素插补处理部14使用在步骤S5中算出的插补灵敏度级别值，生成关注像素中的R成分、B 成分的各灵敏度级别值(步骤S6)。通过结束基于R用计算单元21R的计算(步骤S2)、基于B用计算单元21B的计算 (步骤S4)、基于G用计算单元21G的计算(步骤S6)中的任意一个，结束对该关注像素的 像素插补处理。像素插补处理部14对所有的像素执行这样的像素插补处理。另外，判断关 注像素为哪一个颜色用像素的顺序是任意的，也可以同时进行。根据以上说明，即使在关注像素为任意颜色用像素的情况下，通过使用相同的图 形作为几何学图形，对不足颜色成分的灵敏度级别值，能够使计算精度的差减小。在以G用 像素作为关注像素的情况下，通过使用四棱锥作为几何学图形，与使用三角形的情况相比， 能够使用于生成不足颜色成分的灵敏度级别值而参照的像素增多。由于能够使比G光灵敏 度低的R光、B光的插补中使用的数据数增多，从而能够减小像素的输出不均的影响。由此， 具有能够以高精度生成不足颜色成分的灵敏度级别值的效果。由于B光比R光和G光的光 谱透过率小，所以，在单板式摄像装置中，存在B光的S/N比变差的倾向。本实施方式的图 像处理装置4通过使用插补灵敏度级别值生成不足颜色成分的灵敏度级别值，能够得到以 下效果，即，对最终输出的R、G、B的各图象信号改善S/N比。第2实施方式的特征在于，将G用像素分类为Gr像素和Gb像素，算出由Gr像素 彼此的插补而得到的插补灵敏度级别值、和由Gb像素彼此的插补而得到的插补灵敏度级 别值。Gr像素为G用像素中位于使R用像素向H方向并列的列中的第1绿色用像素。Gb 像素为G用像素中位于使B用像素向H方向并列的列中的第2绿色用像素。Gr像素在H方 向上与R用像素邻接，在该点上，Gr像素是二维方向上的阵列形态相同的G用像素。Gb像 素在H方向与B用像素邻接，在该点上，Gb像素是二维方向上的阵列形态相同的G用像素。图16是对将Gr像素作为关注像素的情况下的插补灵敏度级别值的计算进行说明 的附图。像素Grl Gr4(像素Grl、Gr2, Gr3, Gr4)是位于作为关注像素的像素GrO附近 的Gr像素。像素Gr2、像素GrO、像素Gr4经由R用像素在H方向上并列。像素Grl、像素 GrO、像素Gr3经由B用像素在V方向上并列。像素GrO中的G成分的灵敏度级别值为通过 使用Grl、Gr2、Gr3、Gr4的插补而生成的插补灵敏度级别值。另外，在简单地称作Grl、Gr2、 Gr3、Gr4的情况下，分别表示像素Grl Gr4中的G成分的灵敏度级别值。图17是对将Gb像素作为关注像素的情况下的插补灵敏度级别值的计算进行说明 的附图。像素Gbl Gb4(像素Gbl、Gb2、Gb3、Gb4)是位于作为关注像素的像素GbO附近的 Gb像素。像素Gb2、像素GbO、像素Gb4经由B用像素在H方向上并列。像素Gbl、像素GbO、 像素Gb3经由R用像素在V方向上并列。像素GbO中的G成分的灵敏度级别值为通过使用 Gbl、Gb2、Gb3、Gb4的插补而生成的插补灵敏度级别值。另外，在简单地称作Gbl、Gb2、Gb3、 Gb4的情况下，分别表示像素Gbl Gb4中的G成分的灵敏度级别值。这样，G用计算单元21G(参照图14)作为关注像素中的G成分的灵敏度级别值而输出插补灵敏度级别值。图18是说明像素插补处理部14的动作的流程图。由于从步骤S1到步骤S6与图 15所示的第1实施方式的说明相同，因此省略说明。在本实施方式中，在步骤S5中的R用 像素、B用像素的插补灵敏度级别值的算出与步骤S6中的G用计算单元21G的计算之间， 作为步骤S7，算出G用像素的插补灵敏度级别值。另外，步骤S5和步骤S7的顺序为任意， 也可以同时进行。在摄像部3(参照图1)中，Gr像素和Gb像素中的任意一个都使用G用滤色器。在 Gr像素和Gb像素中，由于空间的位置条件不同，所以因摄像部3的光电元件的配线关系，有 时实际上能够聚光的光量产生偏差。另外，在使用CMOS传感器的情况下，存在由Gr像素和 Gb像素对混色的影响等产生差异的情况。在本实施方式中，像素插补处理部14通过对G用 像素由相同特性的像素彼此生成插补灵敏度级别值，从而能够对灵敏度级别值进行高精度 的计算。第3实施方式的特征在于，通过由Gr像素彼此的插补而得到的插补灵敏度级别 值、和由Gb像素彼此的插补而得到的插补灵敏度级别值，分别对像素GrO、像素GbO的每一 个进行G成分的灵敏度级别值的修正。本实施方式参照图16和图17进行说明。G用计算单元21G(参照图14)算出由使用了 Grl、Gr2、Gr3、Gr4的插补而生成的 插补灵敏度级别值、和由使用了 Gbl、Gb2、Gb3、Gb4的插补而生成的插补灵敏度级别值的规 定比。G用计算单元21G将算出的规定比作为参数，分别对像素GrO中的G成分的灵敏度级 别值、像素GbO中的G成分的灵敏度级别值进行修正。在由Gr像素和Gb像素产生输出差时，G成分的光量在倾斜方向上产生差，由此， 颜色再现性降低。通过本实施方式，考虑到Gr像素和Gb像素的特性差，通过对G用像素中 的G成分的灵敏度级别值进行修正，能够对灵敏度级别值进行高精度的计算。图19是对生成不足颜色成分的灵敏度级别值的计算式的一个例子进行说明的附 图。从图中上层开始，分别依次表示关注像素为R用像素的情况、为B用像素的情况、为Gr 像素的情况、和为Gb像素的情况。关注像素为R用像素的情况、为B用像素的情况下的计 算式为第1实施方式中说明的计算式。关注像素为Gr像素的情况、为Gb像素的情况下的 计算式是第3实施方式中说明的计算式。在这里，作为插补值，使用用数据数除以多个灵敏 度级别值的和所得到的值。另外，插补的方法可以使用目前已知的任意一种方法。各计算 式也可以对应于插补的方法而适当变形。本领域技术人员能够容易地导出其它效果和变形例。因此，本发明的更广泛的实 施方式不仅限定于以上表述并说明的特定的详细并具有代表性的实施方式。因此，不脱离 由权利要求及其均等物定义的总括的发明的概念的精神或范围，可以进行各种变更。
权利要求
一种图像处理装置，其特征在于，具有像素插补处理部，该像素插补处理部通过摄像被拍摄体像所得到的图像信号的插补处理，生成不足颜色成分的灵敏度级别值，上述像素插补处理部具有计算单元，该计算单元通过与既得颜色成分相应的计算，输出关注像素中的上述不足颜色成分的灵敏度级别值，其中，对于上述关注像素，上述既得颜色成分的灵敏度级别值是已经获得的，上述图像处理装置中，将与排列有各像素的二维方向垂直的高度方向的轴作为表示灵敏度级别值的轴，假想第1几何学图形和第2几何学图形，上述第1几何学图形是将对于上述关注像素为既得的灵敏度级别值、和对于多个第1参照像素为既得的灵敏度级别值作为顶点的几何学图形，其中，该多个第1参照像素是位于上述关注像素附近的像素，并且其既得颜色成分与上述关注像素相同，上述第2几何学图形是在顶点包含对于多个第2参照像素为既得的灵敏度级别值的几何学图形，其中，该多个第2参照像素位于上述关注像素附近，并以上述关注像素的上述既得颜色成分以外的某颜色成分为既得颜色成分，上述计算单元以使上述第2几何学图形成为与上述第1几何学图形相似的形状的方式算出上述关注像素中的上述不足颜色成分的灵敏度级别值，在上述关注像素的上述既得颜色成分为任意一种颜色成分的情况下，使用同一图形作为上述几何学图形。
2.如权利要求1所述的图像处理装置，其特征在于，在上述关注像素的既得颜色成分 为特定颜色成分的情况下，对于上述第2参照像素，上述计算单元通过既得的灵敏度级别 值彼此的插补而生成插补灵敏度级别值，并将位于上述第2参照像素彼此之间的上述插补 灵敏度级别值作为上述第2几何学图形的顶点。
3.如权利要求1所述的图像处理装置，其特征在于，在上述关注像素的既得颜色成分 为特定颜色成分的情况下，对于着眼于各像素的既得颜色成分的情况下的上述二维方向上 的阵列样态相同的像素，上述计算单元通过既得的灵敏度级别值彼此的插补生成插补灵敏 度级别值，作为上述关注像素中的上述特定颜色成分的灵敏度级别值，输出上述插补灵敏 度级别值。
4.如权利要求1所述的图像处理装置，其特征在于，使将红色成分作为既得颜色成分 的红色用像素、将绿色成分作为既得颜色成分的绿色用像素、和将蓝色成分作为既得颜色 成分的蓝色用像素进行拜耳排列，将上述绿色用像素分类为第1绿色用像素和第2绿色用像素，上述第1绿色用像素是 位于使上述红色用像素并列排列的列中的上述绿色用像素，上述第2绿色用像素是位于使 上述蓝色用像素并列排列的列中的上述绿色用像素，上述计算单元通过由上述第1绿色用像素的灵敏度级别值彼此的插补生成的插补灵 敏度级别值、和由上述第2绿色用像素的灵敏度级别值彼此的插补生成的插补灵敏度级别 值，对上述关注像素为上述绿色用像素时的灵敏度级别值进行修正。
5.如权利要求1所述的图像处理装置，其特征在于，上述计算单元基于上述多个第2参 照像素的灵敏度级别值彼此的插补值、上述关注像素中的上述既得颜色成分的灵敏度级别 值与上述多个第1参照像素的灵敏度级别值彼此的插补值的差分、和上述第1几何学图形与上述第2几何学图形在上述二维方向上的面积比，算出上述不足颜色成分的灵敏度级别值。
6.如权利要求1所述的图像处理装置，其特征在于，上述几何学形状为四棱锥形状。
7.如权利要求1所述的图像处理装置，其特征在于，上述像素插补处理部具有红色用计算单元，是用于上述关注像素为红色用像素时的像素插补处理的上述计算单元；绿色用计算单元，是用于上述关注像素为绿色用像素时的像素插补处理的上述计算单 元；以及，蓝色用计算单元，是用于上述关注像素为蓝色用像素时的像素插补处理的上述计算单元。
8.一种图像处理方法，其特征在于，通过摄像被拍摄体像所得到的图像信号的插补处 理，生成不足颜色成分的灵敏度级别值，通过与既得颜色成分相应的计算，输出关注像素中的上述不足颜色成分的灵敏度级别 值，其中，对于上述关注像素，上述既得颜色成分的灵敏度级别值是已经获得的，将与排列有各像素的二维方向垂直的高度方向的轴作为表示灵敏度级别值的轴， 假想第1几何学图形和第2几何学图形，上述第1几何学图形是将对于上述关注像素为既得的灵敏度级别值、和对于多个第1 参照像素为既得的灵敏度级别值作为顶点的几何学图形，其中，该多个第1参照像素是位 于上述关注像素附近的像素，并且其既得颜色成分与上述关注像素相同，上述第2几何学图形是在顶点包含对于多个第2参照像素为既得的灵敏度级别值的几 何学图形，其中，该多个第2参照像素位于上述关注像素附近，并以上述关注像素的上述既 得颜色成分以外的某颜色成分为既得颜色成分，以使上述第2几何学图形成为与上述第1几何学图形相似的形状的方式，算出上述关 注像素中的上述不足颜色成分的灵敏度级别值，在上述关注像素的上述既得颜色成分为任意一种颜色成分的情况下，使用同一图形作 为上述几何学图形。
9.如权利要求8所述的图像处理方法，其特征在于，在上述关注像素的既得颜色成分 为特定颜色成分的情况下，对于上述第2参照像素，通过既得的灵敏度级别值彼此的插补 而生成插补灵敏度级别值，并将位于上述第2参照像素彼此之间的上述插补灵敏度级别值 作为上述第2几何学图形的顶点。
10.如权利要求8所述的图像处理方法，其特征在于，在上述关注像素的既得颜色成分 为特定颜色成分的情况下，对于着眼于各像素的既得颜色成分的情况下的上述二维方向上 的阵列样态相同的像素，通过既得的灵敏度级别值彼此的插补生成插补灵敏度级别值，作 为上述关注像素中的上述特定颜色成分的灵敏度级别值，输出上述插补灵敏度级别值。
11.如权利要求8所述的图像处理方法，其特征在于，使将红色成分作为既得颜色成分 的红色用像素、将绿色成分作为既得颜色成分的绿色用像素、和将蓝色成分作为既得颜色 成分的蓝色用像素进行拜耳排列，将上述绿色用像素分类为第1绿色用像素和第2绿色用像素，上述第1绿色用像素是 位于使上述红色用像素并列排列的列中的上述绿色用像素，上述第2绿色用像素是位于使上述蓝色用像素并列排列的列中的上述绿色用像素，通过由上述第1绿色用像素的灵敏度级别值彼此的插补生成的插补灵敏度级别值、和 由上述第2绿色用像素的灵敏度级别值彼此的插补生成的插补灵敏度级别值，对上述关注 像素为上述绿色用像素时的灵敏度级别值进行修正。
12.如权利要求8所述的图像处理方法，其特征在于，基于上述多个第2参照像素的灵 敏度级别值彼此的插补值、上述关注像素中的上述既得颜色成分的灵敏度级别值与上述多 个第1参照像素的灵敏度级别值彼此的插补值的差分、和上述第1几何学图形与上述第2 几何学图形在上述二维方向上的面积比，算出上述不足颜色成分的灵敏度级别值。
13.如权利要求8所述的图像处理方法，其特征在于，上述几何学形状为四棱锥形状。
14.如权利要求8所述的图像处理方法，其特征在于，确定上述关注像素是否为以红色成分为既得颜色成分的红色用像素、以绿色成分为既 得颜色成分的绿色用像素、以及以蓝色成分为既得颜色成分的蓝色用像素，当确定上述关注像素为红色用像素时，生成该关注像素中的绿色成分和蓝色成分的灵 敏度级别值，当确定上述关注像素为蓝色用像素时，生成该关注像素中的红色成分和绿色成分的灵 敏度级别值，当确定上述关注像素为绿色用像素时，利用插补灵敏度级别值，生成该关注像素中的 红色成分和蓝色成分的灵敏度级别值，其中，对于红色成分用第2参照像素和蓝色成分用 第2参照像素分别算出该插补灵敏度级别值。
15.一种摄像装置，其特征在于，具有对通过摄像被拍摄体像所得到的图像信号实施图 像处理的图像处理装置，该图像处理装置具有像素插补处理部，该像素插补处理部通过上述图像信号的插补处 理，生成不足颜色成分的灵敏度级别值，上述像素插补处理部具有计算单元，该计算单元通过与既得颜色成分相应的计算，输 出关注像素中的上述不足颜色成分的灵敏度级别值，其中，对于上述关注像素，上述既得颜 色成分的灵敏度级别值是已经获得的， 上述图像处理装置中，将与排列有各像素的二维方向垂直的高度方向的轴作为表示灵敏度级别值的轴， 假想第1几何学图形和第2几何学图形，上述第1几何学图形是将对于上述关注像素为既得的灵敏度级别值、和对于多个第1 参照像素为既得的灵敏度级别值作为顶点的几何学图形，其中，该多个第1参照像素是位 于上述关注像素附近的像素，并且其既得颜色成分与上述关注像素相同，上述第2几何学图形是在顶点包含对于多个第2参照像素为既得的灵敏度级别值的几 何学图形，其中，该多个第2参照像素位于上述关注像素附近，并以上述关注像素的上述既 得颜色成分以外的某颜色成分为既得颜色成分，上述计算单元以使上述第2几何学图形成为与上述第1几何学图形相似的形状的方式 算出上述关注像素中的上述不足颜色成分的灵敏度级别值，在上述关注像素的上述既得颜色成分为任意一种颜色成分的情况下，使用同一图形作 为上述几何学图形。
16.如权利要求15所述的摄像装置，其特征在于，在上述关注像素的既得颜色成分为 特定颜色成分的情况下，对于上述第2参照像素，上述计算单元通过既得的灵敏度级别值 彼此的插补而生成插补灵敏度级别值，并将位于上述第2参照像素彼此之间的上述插补灵 敏度级别值作为上述第2几何学图形的顶点。
17.如权利要求15所述的摄像装置，其特征在于，在上述关注像素的既得颜色成分为 特定颜色成分的情况下，对于着眼于各像素的既得颜色成分的情况下的上述二维方向上的 阵列样态相同的像素，上述计算单元通过既得的灵敏度级别值彼此的插补而生成插补灵敏 度级别值，作为上述关注像素中的上述特定颜色成分的灵敏度级别值，输出上述插补灵敏 度级别值。
18.如权利要求15所述的摄像装置，其特征在于，使将红色成分作为既得颜色成分的 红色用像素、将绿色成分作为既得颜色成分的绿色用像素、和将蓝色成分作为既得颜色成 分的蓝色用像素进行拜耳排列，将上述绿色用像素分类为第1绿色用像素和第2绿色用像素，上述第1绿色用像素是 位于使上述红色用像素并列排列的列中的上述绿色用像素，上述第2绿色用像素是位于使 上述蓝色用像素并列排列的列中的上述绿色用像素，上述计算单元通过由上述第1绿色用像素的灵敏度级别值彼此的插补生成的插补灵 敏度级别值、和由上述第2绿色用像素的灵敏度级别值彼此的插补生成的插补灵敏度级别 值，对上述关注像素为上述绿色用像素时的灵敏度级别值进行修正。
19.如权利要求15所述的摄像装置，其特征在于，上述计算单元基于上述多个第2参 照像素的灵敏度级别值彼此的插补值、上述关注像素中的上述既得颜色成分的灵敏度级别 值与上述多个第1参照像素的灵敏度级别值彼此的插补值的差分、和上述第1几何学图形 与上述第2几何学图形在上述二维方向上的面积比，算出上述不足颜色成分的灵敏度级别 值。
20.如权利要求15所述的摄像装置，其特征在于，上述几何学形状为四棱锥形状。
全文摘要
像素插补处理部通过图像信号的插补处理生成不足颜色成分的灵敏度级别值。关注像素的不足颜色成分的灵敏度级别值通过与关注像素的既得颜色成分相对应的计算并假想在顶点包含既得颜色成分的灵敏度级别值的几何学图形而算出。作为几何学图形，在既得颜色成分为任一颜色成分的情况下都使用同一图形。
文档编号H04N9/07GK101827274SQ20101012396
公开日2010年9月8日 申请日期2010年3月2日 优先权日2009年3月6日
发明者川上好日, 田渊和浩, 相泽裕俊, 细川纯一, 金光史吕志 申请人:株式会社东芝