能够进行高精度的缺陷像素修正处理的摄像装置的制作方法

专利名称：能够进行高精度的缺陷像素修正处理的摄像装置的制作方法
技术领域：
本发明涉及摄l象装置。更详细地说，涉^照相机的手机、数码相才/^M聂 ^^L等中寸^]的CMOS (Complementary Metal Oxide Semiconductor:互#险
属氧化半务沐)型图^象传感器。
背景技术：
通常，图像传感器容易产生在制造过程中引起的白#黑斑。在4M了这 种图像传感器的、RGB財排列的单;tlH相机中，作为修正徵泉像素信号的方 法，已知有^^]介质滤波器处理的置换处理(例如，特开2006-238060号〃>才艮 (例如参见日本专利申请KOKAI爿^Hf No,2006"238060)或者特开平9-247548 号公报(例如参见日本专利申请KOKAI公布No.09-247548))。该方法不4M 频器，而是实时断斑点像素的信号进^f'务正。另外，到3^为ali^案有在 使用徵泉像素周围的周围像素的平均^置 ￡点像素信号的方法(例如，特 开2004 - 112736号公报(参见例如，日本专利申请KOKAI公开 No.2004-112736)或者使用周围像素的最大值(最大电平信号)或最小值(最 小电平信号)来置换徵泉像素信号的方法(例如，特表2005 -528857号^^艮(例 如参见日本专利PCT申请^JHf No.2005-528857 )。
但是，在上ii^法的情况下，^^可一个都无，絲别斑点像素是纵向图^^莫 式中的徵泉像素还是横向图^^莫式中的I&A像素。因此，或者是通过介质滤波 器处理^fM周围同色8 ^^象素信号的中间值(中间电^M言号)置 ^、像素的 信号，或者是^ ]周围同色8 W象素信号中的最大值或最小^JlUi行置换，或 者，使用上下或者左右同色的2个像素的信号的平均值进行置换。所以，存在疵泉像素解析度恶化，在图《斜莫式的端部(i^t部分)容易纽误修正的问题。

发明内容
才M居本发明的第一方面，提供了一种摄像装置，二,配置了由光电变换
元件构成的多^H象素，对于由滤波器排列以矩阵2x2为^i4M^列的摄像部分别 输出的图像信号，通it^泉修正电路实^L定的信号处理，所述摄像装置的特 棘于所tt点修正电路包括模iU^取电路，依据所述图像信号中々IWJ 定像素的々N^象素的信号和分别与所述々N^象素接近并与所述々I^f象素同色的 周围像素的信号，提取图1料莫式信息；和置换电路，才M居与所述图^^莫式信息 相对应的、分别接i^斤述判定像素并与所述判定像素同色的周围像素的信号， 置换所述判定像素的信号。


图1是表示4 本发明第1实施例的摄像装置(CMOS型图像传感器)的 构成例的框图。
图2A和2B是表示用于说明图1所示的CMOS型图像传感器中的逸泉修 正电路的々N^象素模iy^取电路的动作的图。
图3A和3B A^示用于说明图1所示的CMOS型图像传感器中的徵泉修 正电路的徵泉像素置舰理电路的动作的图。
图4A和4B狄示用于说明4娥本发明第2实施例的々N^象素模i(^取电 路的动作的图。
图5A和5B狄示用于说明才娥本发明第2实施例的^A像素置城理电 路的动作的图。
图6絲示用于说明才娥本发明第3实施例的徵泉像素置城理电路的动 作的图。
图7A和7B是表示用于说明才財居本发明第4实施例的々^f象素模iU^取电 路的动作的图。
图8 ^示用于说明推据本发明第5实施例的々5^f象素模iOC取电路的动 作的图。
图9 ;14示用于说明才 本发明第5实施例的徵泉像素置舰理电路的动作的图。
图10^示用于说明4M^本发明第6实施例的4N^f象素模^^取电路的动 作的图。
图11絲示用于说明4娥本发明第6实施例的徵存、像素置概理电路的动 作的图。
图12是表示用于说明4M居本发明第7实施例的々fi^象素模iy^取电路的动 作的图。
图13;i4示用于说明^^本发明第8实施例的々N^象素模^C取电路的动 作的图。
图14 A^示用于说明才財居本发明第9实施例的々N^象素模iU^取电路的动 作的图。
图15是表示用于说明#^居本发明第10实施例的々N^象素模i(^取电路的 动作的图。
图16絲示用于说明4M居本发明第11实施例的4N^f象素模iUC取电路的 动作的图。
图17是表示用于说明才Mt本发明第11实施例的々l^f象素模iCa取电路的 另一例子的图。
图18 A4示用于说明才財居本发明第ii实施例的々i^f象素模^y^取电路的 进一步，例子的图。
图19狄示用于说明才 本发明第12实施例的极泉修正电路的动作的流 程图。
图20 A^示用于说明才娥本发明第12实施例的徵泉修正电路的动作的图。 M实施方式
本发明的实施例将参考附图进行沈明。应当注意，附图是示意性的，M 所示的尺寸比例与实际的不同。这些尺寸4^据附图的不同而不同，尺寸的比例 也不同。下面的实施例目的在于说明用于实施本发明的技术原理的设备和方法，
这些技^M^念并不M限定本发明的材料、形状、结构或元件的配置。在不脱 离所要求发明的范围的情况下，可以对该技术原理作出M变换和修改。第一实施例图1 ^^示4 本发明第一实施例的摄像装置的构成例的图。另外，#
实施例中，以CMOS型图像传感器为例进行说明。
在图l中，传感器部11具有彩色滤波器12、由多个像素(光电变^L件) 以二维形状排列成的光电4管矩阵(摄像部)13、和柱型才^t转换器(ADC) 14。彩色滤波器12将由透镜(摄像系)IO聚集的光信号分离成RGB信号，并 在光电二极管矩阵13上成像。光电二极管矩阵13针对每^象素将所成像的 RGB信号变^/ff号电荷传疆ADC 14。 ADC14将接J)ti'j的^f象素的信号 电荷变賊数字信号(图像信号)，并输出给线'^4^器21。另外，作为彩色 滤波器12的色彩滤波器排列，i议为以矩阵2x2为^的、RGB原色平行排 列(正方形排列)。
线'hi^器21例如具有垂直5行部分的絲器1 ~5，分别賴了传感器 部11的输出信号(来自ADC 14的图像信号)。线'^^#器21将这5行部分图 像信号提供给瓶#、修正电路31。
逸泉修正电路31并行 ^自幾^4^器21的5行部分的图像信号， ^H^]来自电平^^电路41的阈值电平(噪声阈值)LevN 4Ut宜,图像信 号进行缺陷像素修正处理。该斑点修正电路31由对作为判断像素的图^^莫式 (模式信息)进^^取处理的相邻像素模iC^取电路32、和检测徵存、像素(缺 陷像素)并对其进行置舰理的徵存、像素置派理电路33构成。即，在极泉修 正电路31中，首先，通W目々IVf象素模^^取电路32^JD与瓶存、像素相邻的良 ^f象素(有效像素)的信号和与该像素同色的周围8 W象素的信号，^MC取出 图像的模式。Jtt^，对应于图^^莫式的提赠果，通itt点像素置M理电路 33，例如使用与徵存、像素同色的周围8个像素的信号来置m点像素的信号。
另夕卜，所谓阈值电平LevN是适宜地设想了随机噪声等而i^t的，为判断 圾吝、像素时的基准。例如，在成为处理对象的像素的信号大于阈值LevN的情 况下，就判定该像素为Sfe^、像素(或者图^f嫌式ii^部分)。
信号处理电路51对来自徵泉修正电路31的输出实施众所周知的信号处理， 例如白平衡处理、色分离4hf尝处理、轮廓强4狄理、和伽马(Y)修正处理。另 外，通过RGB矩阵电路生成YUV信号或RGB信号，并通过输出端子 DOUT0 DOUT7向外部输出。
系统定时U电路(SG) 61才娥来自夕h^的时钟信号MCK和/或来自命令控制电路71的命令控制传感器部U、线'^W器21、徵#、修正电路31、和 信号处理电路51。
命令控制电路71产生对应于经由夕h^通过串行接口 (I/F) 81所提供的数 据DATA的命令，并控制线'1^4#器21、 ^泉修正电路31、电平设定电路41、 信号处理电路51、和SG61的参数等。
图2A和2B狄示用于说明图1所示结构的图像传感器中的逸泉修正电路 31和相々W象素模i(^取电路32的动作的图。扭匕，对图2A所示像素的排列(色 滤波器的排列)，以RO为JiliA像素、于^峰的GO为良^f象素的情;;u^ti兌 明。
首先，^fM与孰泉像素R0々條的、1 W象素前的^^象素GO的信号和与 其周围同色的8个G像素(周围像素)G1^G8的^MM言号，提取图^f財莫式(在 该例中，由于使G像素和R像素和B像素的像素间距一致，所以简4树其的 处理)。
在此，与G像素々條的R像素的信号A^具有与G像素的信号相同的模 式。利用这一点，图傳模式的提取可以通过分别产生々^f象素GO的信号与其 周围像素G1^G8的信号之间的差分信号的纟&^值(ABS),判断该差分信号的 乡树M否大于阈值电平LevN来执行。假如，在差分信号的全^t值比阈值电 平LevN小的情况下，就判定其周围像素G1^G8的信号为具有与々N^象素GO 相同电平的信号。通过与该^N^象素GO相同电平的信号相对于々l^f象素GO 处于上(Y01) /下(Y05 )、左(Y07 ) /右(Y03 )、右斜上(Y02 ) /左斜下(Y06 ) 和右斜下(Y04) /左斜上(Y08) 8个方向的哪个周围像素(G1W8)的位置上， 就可以抽出纵向图《斜莫式或横向图^^式，或者斜向图#^莫式。
即，例如，图2A所示那样，在々N^象素GO的信号与其上方(Y01)的周 围像素G1的信号之间的差^f言号的^t值G10 ( -ABS(Gl-GO))比阈值电平 LevN小的情况下，判定其周围像素Gl的信号与々P^f象素GO的信号为相同电 平(Y01-l)。同样，例如，在4p^f象素GO的信号与其下方(Y05)的周围像 素G5的信号之间的差^t号的^f值G50( = ABS(G5-G0))比阈值电平LevN 小的情况下，判定其周围像素G5的信号与々p^^象素GO的信号为相同电平 (Y05-l)。同样，例如，在々Ii^f象素GO的信号与其右斜上方(Y02)的周围 )像素G2的信号之间的差分信号的M值G20 ( =ABS(G2-G0))比阈值电平LevN小的情况小，判定其周围像素G2的信号与々N^象素GO的信号为相同电 平(Y02=l)。同样，例如在々N^象素GO的信号与其左斜下方(Y06)的周围 像素G6的信号之间的差分信号的to]"值G60 ( =ABS(G6-G0))比阈值电平 LevN小的情况下，判定其周围像素G6的信号与々N^象素GO的信号为相同电 平(Y06=l)。
同样，例如，在々[5^f象素G0的信号与其右方(Y03)的周围像素G3的信 号之间的差^f言号的绝对值G30 ( = ABS(G3-G0))比阈值电平LevN小的情况 下，判定其周围像素G3的信号与々P^^象素GO的信号为相同电平(Y03=l )。 同样，例如在々l^^象素GO的信号与其左方(Y07)的周围像素G7的信号之间 的差分信号的鍵对值G70 ( =ABS(G7-G0))比阈值电平LevN小的情况下，判 定其周围像素G7的信号与々N^f象素GO的信号为相同电平(Y07=l )。同样， 例如，在々l^^象素GO的信号与其右斜下方(Y04)的周围像素G4的信号之间 的差分"f言号的纟^t值G40 ( =ABS(G4-G0))比阈值电平LevN小的情况下，判 定其周围像素G4的信号与々Iil^象素GO的信号为相同电平(Y04=l )。同样， 例如在々N^象素GO的信号与其左斜上方(Y08)的周围像素G8的信号之间的 差分信号的绝对值G80 ( =ABS(G8-G0))比阈值电平LevN小的情况下，判定 其周围像素G8的信号与々I^f象素GO的信号为相同电平(Y08=l )。
另一方面，例如，如图2B所示，在8个方向Y01 Y08全部的周围像素 G1M^8的判定值为"0"的时候，才NtOR电路(生成部)32a、 32b、 32c的输出 (Pkiz(控制信号"0)判定为々N^f象素GO为瓶存、像素，并^U亍后面所述的用 于孰存、修正的置m理。
相反，在OR电路32a、 32b、 32c的输出为"Pkiz-l"的时候，判定为々條 像素GO为良:i^象素。这样，为了记忆图像的模式，8个方向Y01 Y08的判定 值作为模式信息Yl Y8分别被^ft在内部寄存器中(未图示)。
然后，对下面的像素，即逸泉像素RO,重复^f上舰理。其结果， 瓶*、 R0以及其周围同色的8个R像素(周围像素)R1 R8的8个方向Y01-Y08 的判定值为"Pki2H)"，则判定为徵存、像素，那么:t^f亍后面所述的用于徵A修 正的置换处理。
图3A和3B ^^示用于说明图1所示结构的图像传感器的徵S修正电路31 的徵泉像素置m理电路33的动作的图。另夕卜，知匕，以RO作为J^泉像素，将与该圾泉像素RO同色的周围8 W象素R1 R8的信号作为直接置湖数据 RO，i^f亍利用的情^it^ti兌明。
在本实施例中，除了边缘部分"卜，对于图傳模式的平坦部分，通过平均 ^M言号^f亍置m理，从而斷氐了随才;u^声。因此，例如图3A所示那样，通 itm向(YOl、 Y05)的周围像素R1、 R5的^M言号的平均值分别产生平均^/f言 号A,通过横向(Y03、 Y07)的周围像素R3、 R7的各个信号的平均值分别产 生平均化4言号B，通过斜方向(Y02、 Y06)的周围^f象素R2、 R6的名十f言号的 平均值分别产生平均^4言号C，通过横向(Y04、 Y08)的周围像素R4、 R8的 ^H言号的平均值分别产生平均化信号D，另外，通过周围8个像素R1 R8的 ^MM言号的平均值分别产生平均化信号G。另外，分别产生平均化倌号E作为 平均化4言号A、 C的平均值(周围像素R1、 R2、 R5、 R6^H言号的平均值)， 平均^f言号F作为平均^f言号B、 D的平均值(周围像素R3、 R4、 R7、 R8的 ^MM言号平均值)。
例如，如图3B所示那样，才,从々峰良:^象素GO的信号求出的模式信息 Y1 Y8，在信号选择电路中选择周围8^H象素R1 R8各自的信号或者平均^M言 号AW。通断应于OR电路32a、 32b、 32c的输出(PkizH))来切换开关， 将所选择的周围8个像素R1 R8的各个f言号或平均化信号A-G作为置换用户 数据RO，，并与徵泉像素RO的信号置换。
即，舐泉像素RO的信号净tt劾对应于模式信息Y1 Y8的周围8 W象素 R1 R8^H言号或平均化信号A、G中的任何一个。例如，^f莫式信息Yl Y8 为『10000000』的情况下，判定为图《料莫式的i4^部分，疵泉像素R0的信号 被^^]由周围像素Rl的信号构成的置湖数据R0，置换。例如，城式信息 Y1 Y8为『11111111』的情况下，判^;图<緣式的平坦部分，徵泉像素R0的 信号被"fM由平均^ft号G构成的置湖数据R0，置换。
这种处理，对于Gr像素、B像素、GlW象素的^f象素，也同样按照顺序 ■iMl"。通过^D模式信息Y1 Y8，能够实现逸合于像素模式的最佳置M理。 从而，可以防止噪声像素中的解析度的恶化。另夕卜，还可以防止像素模式的边 缘部分的误修正。
当然，判断为像素模式的平坦部分的^A像素RO的信号不^^]平均化的 信号而^L仅仅使用周围8个像素R1 R8的各个f言号也可以进行置换。如上所述，通ii^々條于判定像素即斑点像素的^f象素提取像素的模式 信息，并^/ft^应于该像素模式的置派理，可以实现高精度的缺陷像素修正 处理。
第二实施例
图4A和4B和图5A和5B狄示用于说明按照本发明第二实施例的J^泉 修正电路31的动作的视图。在此，对能够斷敏泉像素置M理电路33的电
^m^的结构的情;;Li^ti兌明。另外，对于与第i实施例重复的部分，进行简 单说明。
图4A和4B狄示用于说明徵泉修正电路31中的々N^f象素模iU^取电路 32的动作的视图。本实施例的々N^f象素模^^取电路32例如图4A所示那样， 在求得与々I^^象素GO同色的周围8W象素G1《8的^M言号的同时，还可以 求上下(YOl)、左右(Y03)、和两^1"方向(Y02， Y04) 4个方向上的才莫式 信息(Y1=Y01、 Y2=Y02、 Y3=Y03、 Y4=Y04)。
另外，对于纵向(上下)方向，假定以々P4^象素GO的信号与上方向周围 像素Gl的信号之间的差分信号(绝对值)为GIO，以邻樹象素GO的信号和下 方的周围像素G5的信号之间的差分信号(桑^H直)为G50,来判定其大小关 系。例如，在与差^j言号G50相比差^i言号G10小的情况下，^t择值P15 置为"0"，在大的情况(包括等于的情况)下，4f^械P15iM为"l"。同样, 对于横向(左右)方向和两^N1"(附近x字)方向，也分别实施选#<4 P26、 P37、 P48为"0/l"的判定。
如果4个方向Y01-Y04 4^的判定值为"0"，例如图4B所示那样，那么通 过OR电路(生成部)32d的输出(Pkiz (控制信号)=0),判定々[i^象素GO 为判定像素即徵泉像素。相反，在OR电路32d的输出"Pkiz^"的时候，为了 记忆图傢模式，4个方向Y01 Y04的判定值就分别作为模式信息Y1 Y4 ■ 在内部寄存器(未图示)。
图5A和5B狄示用于说明i^泉修正电路31中的徵泉像素置舰理电路 33的动作的视图。本实施例的^泉像素置^1:理电路33例如图5A所示那样， 为了斷氐电5^M^莫，成为对应于选择值P15、 P26、 P37、 P48,分别选择M 方向YOl、 Y02、 Y03、 Y04的2个像素的信号中的任何一个的方式。
例如，基于才 乾氛像素R0的信号上下方向的差^f言号GIO、 G50中小的一方接近的判断，即^^例如图f^莫式为纵向^:的时候，选MP15选择
周围像素R1、 R5 ^Ht号中较小的一方作为选^f言号A。同样，选择值P26 选择周围像素R2、 R6 ^[言号中较小的一方作为选#"1言号B。同样，选择值 P37选择周围像素R3、 R7 ^^H言号小的一方作为选^f言号C。同样，选賴 P48选择周围像素R4、 R8 ^f言号中较小的一方作为选^f言号D。
然后，在图《財莫式为纵向^^N黄向^il检测出四角的十字模式的时候， A^i^H言号A和选#^言号B的平均值中产生平均化信号E。在图像模式为右斜 线和左斜线或检测出旋转了 45度的四角的交叉(x字)模式时，^i4^f言号C 和选"^言号D的平均值中产生平均^f言号F。另外，对于图4糾莫式的平坦部分， 从平均化信号E和平均化信号F之间的平均值中产生平均化信号G。
选^f言号a ~ D和平均^M言号exg例如在图5B所示那样，是在信号选择 电路中，才財居从々條良:^象素GO的信号中求得的模式信息Yl ~Y4选躺。 通ii^t应于OR电路32d的输出(Pkiz=0 )来切换开关该所选择的选#1言号A D 和平均^M言号IMi成为置湖数据RO，，并置涵徵泉像素RO的信号。如此， 即^^斷敏泉像素置M理电路33的电5^W的情况下，也能够在制氐随机 噪声的同时，通过置换数据RO，高精度地置舰存、像素RO。
在上述结构的情况下，能够斷氐电路的规模，同时也能够实现高精度的缺 陷像素修正处理。第三实施例
图6是表示用于说明才M居本发明第三实施例的JJ^、修正电路31的徵泉像素 置m理电路33的动作的视图。在本实施例中，对于构成为利用与图5A和5B 所示方法不同的方法iMi行斑点像素置^l:理的情;Xi^f^兌明。另夕卜，对于与
第二实施例重复的部分，省B^"说明。
首先，准4^对应于才莫式信息Y1 Y4的与作为判断像素的逸存J象素RO同色 的+字(YOl、 Y03)方向和交叉(Y02、 Y04)方向的周围8个4象素R1 R8的
下面，#*1模式信息Yl ~ Y4,选择与徵泉像素RO同色的+字方向的周围 4 4象素各个的信号或交叉方向的周围4像素^^H言号的^f封可一个作为置换数据 R0'。但是，^f莫式信息Y1 Y4同时选择+字方向和交X^向的情况下， 距离瓶泉像素R0近的+字方向周围的4^H象素R1， R3， R5, R7的信号。下面，按照电平(DSD1)的大小顺序排列替换包含所选择的+字方向的 周围4个像素的*信号或交叉方向的周围的4个像素的名+f言号和逸泉像素 RO的信号的5 ^f象素部分的信号。
^匕，判断具有对应于信号最小值D1的像素为黑斑点、对应于最大值D5 的像素为白徵存、的可能性，败徵存、像素RO的信号为除了最大值D5和最小值 Dl"卜，中间值D2、 D3、 D4中的^^可一个。简单地也可以选择中央值D3。
在该例中，为了制氐随机噪声，将中间值D4和D3的差分信号(^值) 作为Sub43，把平均^/f言号作为AVE43。同样，把中间值D3、 D2的差^f言号 (乡^"值)作为Sub 32，把平均化信号为AVE32。然后，姊该差分信号Sub 43、 32中较小一方的平均值AVE43、 AVE32作为置换数据RO， ( =Tdata)， 并置^7^泉像素RO的信号。
另夕卜，也可以将中间值D2、 D3、 D4的平均值作为置换数椐RO， ( = Tdata )， 并置换为斑点像素RO的信号。
在才娥上i^r法^f于置换处理的结构的情况下，可以斷氐电路的规模，实 现高精度的缺陷像素修正处理。第四实施例
图7A和7B是表示用于说明才M本发明第四实施例的徵泉修正电路31的 动作的视图。在本实施例中，对于构成为能^f吏图4A和4B所示的々N^f象素模 iU^取电路32的动作更简化的情^ii行说明。另夕卜，对于与第二实施例重复的 部分，简单进4^兑明。
M实施例的情况下，首先，判断々P^f象素GO的信号和与^^近的同色 的8个方向的周围像素G1 G8 ^M言号之间的差分信号(鍵对值)GIO、 G20、 G30、 G40、 G50、 G60、 G70、 G80是否小于阈值电平LevN。
接着，在判断为比阈值LevN小的差分信号中，对于上下(Y01)方向、左 右(Y03)方向、和两揭(Y02、 Y04)方向，分别#^优^顿序选择与々條 像素GO相同电平的信号。
即，将朴方向上的差^^言号的某一方的优先顺序增加，针对每个方向， 选择优先顺序高的一方的差^f言号作为判断值。例如，在Y01方向上，在周围 像素Gl的信"f^皮判定为与邻^f象素GO的信号电平相同的情况下，将选择值 P15置为"0"。与》bN反，在判定周围像素G5的信号为与々P^f象素G0的信号电平相同的情况下，^P^择值P15置为"1"。例如，在使判域围像素G5的信 号与々N^f象素GO的信号具有相同电平的结果优先的情况下，即使判定为周围 像素G1的信号与々I^f象素G0具有相同的电平而^fe^择值P15iU为"0"，在 判定周围像素G5的信号与々N^f象素GO的信号具有相同电平的情况下，将作为 该选择值P15的"l"选择为判定值(Y01=l )。
由此，按照分别求的模式信息Yl(-YOl)、 Y2(=Y02)、 Y3(=Y03)、 Y4(=Y04)， 如上所ii^样，通过同W^亍后面的瓶存、像素置舰理，能够简^f莫iU^狄 理，并能够实现高精度缺陷图像修正处理。
第五实施例
图8和图9是表示用于说明才M居本发明第五实施例的J&A修正电路31的动 作的视图。在本实施例中，说明不从与々N^象素G0的信号同色的周围8^f象 素的各自信号中提取图像模式，而仅从々]54^象素GO的信号和纵向方向g向 方向和两M方向4个方向的周围像素的名^S言号之间的相关中提取图^斜莫式 的情况。另夕卜，对于说明重复的地方，不再进4辨细说明。
图8是表示用于说明徵泉修正电路31中的々N^象素模i(^取电路32的动 作的视图。本实施例的^^象素模i(^取电路32，例如在上下(Y01)方向， 判断周围〗象素Gl、 G5的VH言号的平均值和々I^^象素GO的信号之间的差分 信号的鍵对M否比阈值电平LevN小。在小的情况小(Y01=l)，能够判断为 在纵方向3目关。同样，对于左右(Y02)方向和两^W(Y03、 Y04)方向上， 判断有^目关。
在来自OR电^生成部)32e的输出(控制信号Pkiz)的4个方向Y01 Y04 的判定值^^可一个为"1，，的情况下(Pki27=l),判定々li^象素GO不是判定像素 即斑点像素，并将各个判定值作为模式信息(Yl=01、 Y2=Y02、 Y3=Y03、 Y4=Y04)，并将其^ft在内部寄存器(图中没有示出)。在4个方向Y01 Y04 的判定值全部为"O，，的情况(Pkiz - 0 )的情况下，将々l^^象素GO判断为爽泉像 素，如图9所示，通it^泉像素置^t理电路33实;^M、像素置^t理。
图9絲示用于说明^泉修正电路31中的徵泉像素置舰理电路33的动 作的视图。本实施例的斑点像素置换处理电路33依据所得到的模式信息 Y1 Y4，通iiit择对与徵泉像素R0同色的周围8 ^H象素R1 R8 ^M言号适当 :Nk^行平均^^的置换数据R0，，来置舰舰泉像素R0的信号。例如，在上下方向存叙目关的情况下(Yl=l)，把周围像素Rl、 R5 M 信号的平均值作为置换数据RO，， #^亍徵吝、像素RO的信号的置m理。另夕卜， 例如，在上下方向和左右方向和两^方向上4^存拟目关的情况下(Y1、 Y2、 Y3、 Y4=l)，将周围像素R1 R8的^M言号的平均值作为置换数据R0，， ^fr 斑点像素RO信号的置M理。
在本实施例结构的情况下，能够改善模iU^取的精度，同时，通itit宜地 平均化8个方向的周围像素的各个信号，可以降低随机噪声并能够降"f缓换数 据RO，的噪声。
第六实施例
图10和图11是表示用于说明才娥本发明第6实施例的Jfe^、修正电路31的 动作的视图。林实施例中，说明不从与々I5^f象素GO的信号同色的周围像素 的^M言号中抽出图1緣式，而是通过判定#^象素GO相对于+字方向的周 围像素的相关性强、还是相对于交叉方向的周围像素的相关性强，来提取图像 模式的情况。另夕卜，对于说明重复的部分，省略详细的说明。
图10是表示用于说明斑点修正电路31中的々I^f象素模iU^取电路32的动 作的视图。本实施例的邻"^f象素模^R取电路32首先对于上下方向，判定周围 像素Gl、 G5 ^M言号的平均值和々P4^象素GO的信号之间的差^j言号的纟树 ^flA否小于阈值电平LevN。在小的情况下，判定在纵方向Ji^目关。另夕卜，在左 右方向上，同样也判定有i^目关性。例如，如果判定为在上下方向和左右方向 ^f可一方相关，那么就能够判定为存W目对+字方向的周围像素的相关性的+ 字模式。^jt匕情况下，将+字方向Y01的判定值置为"l"。同样，对两^方 向也判断有^目关性，^4^f目对交叉方向周围像素的相关性的交义溪式的情 况下，将交叉方向Y02的判定值置为"l"。
在来自OR电瑜生成部)32f的输出(控制信号Pkiz)的+字方向Y01或交 叉方向Y02的判定值《封可一方为"1"的情况下，判断々N^f象素GO不是判定像素 即斑点像素，将朴判定值作为模式信息(Yl=01、 Y2-Y02)^ft在内部寄存 器(未图示)。在+字方向Y01或交叉方向Y02的判定值同时为"O，，的情况(Pkiz =0)的情况下，将々N^象素GO判断为瓶氛像素，如图11所示，实舰存、像 素置换处理电路33进行的組泉像素置^h理。
图11是表示用于说明斑点修正电路31中的^存、像素置舰理电路33的动作的视图。本实施例的逸泉像素置舰理电路33才娥所得到的模式信息Yl、 Y2从与斑点像素RO同色的周围8 ^f象素R1 R8的^H言号中选择+字方向 的周围像素R1、 R3、 R5、 R7或者交叉方向的周围像素R2、 R4、 R6、 R8。例 如，在只有模式信息Y1为"l，，的情况下，可以选择+字方向的周围像素Rl、 R3、 R5、 R7。另外，例如，在只有模式信息Y2为"l，，的情况下，可以选择交 叉矛向的周围4象素R2、 R4、 R6、 R8。但是，，式信息Yl、 Y2同时为"l" 的情况下，选择距离斑点像素RO较近的+字方向的周围像素Rl、 R3、 R5、 R7。
》k^的处理实施例如与图6所示的逸泉像素置狄對目同的处理。这样， 在能够降，低电路M^莫的同时，实现高精度缺陷像素修正处理。第七实施例
图12表示了用于说明才,本发明第7实施例的徵存、修正电路31的々P4^象 素模i01取电路32的动作的视图。林实施例中，才Nt与々N^象素GO同色的 周围8 W象素Gl ~ G8的^M言号比々I^f象素GO的信号是大还是小，对提取 像素模式的情;^i^ti兌明。另夕卜，对于说明重复的部分，省略详细的说明。
本实施例的々I^f象素模^a取电路32首先判断判定像素即邻4^象素GO是 否为逸泉Y象素。例如，通过比^^々P^f象素GO的信号和与其同色的周围8个像 素G1~G8的各个f言号，在々N^象素GO的信号成为包含周围像素GK8的各 个信号的最大值(D5或C5)或者最小值(Dl或者Cl)的情况下，判定々條 像素GO为徵瓿像素。在为徵泉像素的时候，控制信号Pkiz=0，在不为瓶氛像 素的时候控制信号Pkiz=l。
然后，对々P^f象素GO和其+字方向的周围像素Gl、 G3、 G5、 G7的5个 像素信号按照电平大小顺序重新排列，除了最大值D5和最小值D1"卜，求取 中间值D4、 D3、 D2中的2^"f象素信号的差^f言号(^t值)Sub43D、 SuW2D 和平均化倌号AVE43D、 AVE32D。然后，以所述差分信号中较小的一方的平 均值T+dl作为"AVE32D"。另夕卜，将差^H言号较大的一方的平均值T+d2作为 "AVE43D"。
同样，对々P^^象素G0和其交X^r向的周围像素G2、 G4、 G6、 G8的5个 像素信号按照电平大小顺序重新排列，除了最大值C5和最小值Cl^f，，沐 中间值C4、 C3、 C2中的2^H象素信号的差^f言号(^t值)Sub43C、 Sub32C和平均化信号AVE43C、 AVE32C。然后，以所述差分信号中较小的一方的平 均值Txdl作为"AVE32C"。另夕卜，将差分信号较大的一方的平均值Txd2作为 "AVE43C"。
接着，通it^所求的较大一方的平均值T+d2、 Txd2中，选择较小的一方 或较大的一方，可以判定々N^f象素GO与+字方向周围像素Gl、 G3、 G5、 G7 或者交叉方向的周围像素G2、 G4、 G6、 G8中哪一方的相关性更强。在判定 为相对于+字方向的周围像素Gl、 G3、 G5、 G7的相关性较强的+字模式的 情况下，将Y01方向的判定值置为"1"，将Y02方向的判定值置为"0"。相反， 在判定为相对于交叉方向的周围像素G2、 G4、 G6、 G8的相关',强的交叉 模式的情况下，将YOl方向的判定值置为"O"，将Y02方向的判定值置为"1"。
jtb^的处理，执行与例如图11所述的瓶氛像素置M刻目同的处理。由此， 在能够i^f氐电^t莫的同时，可以实现高精度的缺陷像素修正处理。
另夕卜，在图11所示的斑点像素置派理电路33中也可以具有对应于模式 信息Yl(-YOl)、 Y2 ( -Y02),单纯^^择+字方向的周围像素Rl、 R3、 R5、 R7或者交X^向周围像素R2、 R4、 R6、 R8中l封可一方的信号的结构。
或者，简单来说，通itit择中间值D4-D2和中间值C冬C2的差^^小的一
方，可以选择+字模式或者交叉模式。第八实施例
图13颜于说明才財居本发明第8实施例的逸泉修正电路31的々I^f象素模 iU^取电路32的动作的视图。林实施例中，才娥与々I^f象素GO同色的周围 8个像素Gl ~ G8的^f言号比々N^象素GO的信号是^ii是小，对提取像素模 式的环^fe^其方法进行说明。另外，对于说明重复的部分，省略详细的说明。
本实施例的々N^象素模i^C取电路32首先判断判定像素即邻4^象素GO是 否为逸泉像素。例如，通过比较々I^^象素G0的信号和与其同色的周围8个像 素G1~G8的各个信号,在々P^f象素GO为徵泉像素的时候，设控制信号Pkiz=0， 在不为徵泉像素的时候设控制信号Pkiz=l。
然后，对々P4^象素G0和其+字方向的周围像素G1、 G3、 G5、 G7的5个 像素信号按照电平大小顺序重新排列，棘中间值D3和々N^象素GO的信号之 间的差^f言号(^t值)Sub+30。同样，对々P^f象素GO和其交X^r向的周围 像素G2、 G4、 G6、 G8的5个像素信号按照电平大小顺序重新朝刚，求取中央值C3和々l5^j象素GO的信号之间的差分信号(鍵对值)Subx30。
接着，通錄所求的差^f言号Sub+30、 Subx30中，选#^小的一方或者 较大一方，可以判定与+字方向周围像素Gl、 G3、 G5、 G7或者交3U"向的 周围像素G2、 G4、 G6、 G8中哪一方的相关性更强。在判定为相对于+字方 向的周围像素G1、 G3、 G5、 G7的相关'I"嫩强的+字模式的情况下，将Y01 方向的判定值置为"l"，将Y02方向的判定值置为"0"。相反，在判定为相对于 交叉方向的周围像素G2、 G4、 G6、 G8的相关性较强的交iMt式的情况下， 将Y01方向的判定值置为"O"，将Y02方向的判定值置为"l"。
oth^的处理，^M亍与例如图11所述的徵泉像素置録3^目同的处理。由此， 在能够制氐电路规模的同时，可以实现高精度的缺陷像素修正处理。
另夕卜，在图11所示的傲*、像素置毅理电路33中也可以具有对应于模式 信息Yl(-YOl)、 Y2 ( =Y02)，单纯^1摔+字方向的周围像素Rl、 R3、 R5、 R7或者交叉方向周围像素R2、 R4、 R6、 R8中任4可一方的信号的结构。第九实施例
图14賴于说明才N居本发明第9实施例的徵存、修正电路31中的々I^f象素 模iy^取电路32的动作的视图。在本实施例中，才M居与々N^f象素GO同色的周 围8个像素Gl ~ G8的名十f言号比々F^象素GO的4言号是大ii是小，对提取像 素才莫式的环^^其方法进^f亍说明。另外，对于说明重复的部分，省略详细的说 明。
本实施例的^l^象素模iy^取电路32首先判断判定像素即々N^象素GO是 否为圾氨4象素。例如，通过J^^I5^f象素GO的信号和与其同色的周围8个像 素G1^G8的^H言号，在^^象素GO为^泉像素的时候，设控制信号PkizH)， 在不为徵存、像素的时候设控制信号PkiFl。
然后，求得接近々I5"^f象素G0的+字方向的周围像素Gl、 G3、 G5、 G7的 4个像素信号的平均值。另夕卜，求取该平均值与々N^象素GO的信号之间的差分 信号(多树值)Sub+30。同样求得接近々N^f象素GO的交叉方向的周围像素G2、 G4、 G6、 G8的4 ^M象素信号的平均值。另夕卜，^^i亥平均值与々N^f象素GO 的信号之间的差分信号(乡&^值)Subx30。
接着，通过在所求的差分信号Sub+30、 Subx30中，选摔较小的一方或者 较大一方，可以判定与+字方向周围像素Gl、 G3、 G5、 G7或者交叉方向的周围像素G2、 G4、 G6、 G8中哪一方的相关性更强。在判定为相对于+字方 向的周围像素G1、 G3、 G5、 G7的相关'f嫩强的+字模式的情况下，将Y01 方向的判定值置为"l",将Y02方向的判定值置为"0"。相反，在判定为相对于 交叉方向的周围像素G2、 G4、 G6、 G8的相关性较强的交，式的情况下， 将Y01方向的判定值置为"O",将Y02方向的判定值置为"l"。
jtb^的处理，^/f亍与例如图11所述的瓶泉像素置城赠目同的处理。 林实施例的情况下，由于不需要用于按照电平大小重新排列信号的电路， 所以更进一步斷氐了电路的规模。另外，由于4^莫iUC取中使用了 4个像素部 介f言号的平均值，所以可以更进一步,氐随机噪声，并实现高精度缺陷像素修 正处理。特别是，与々P^f象素GO信号电平相同的周围像素数目越多，差^f言 号越小，所以提高了差分信号的精度。
另夕卜，在图11所示的斑点像素置敝理电路33中也可以具有对应于模式 信息YieYOl)、 Y2 ( =Y02)，单^k^择+字方向的周围像素Rl、 R3、 R5、 R7或者交叉方向周围像素R2、 R4、 R6、 R8中任何一方的信号的结构。第十实施例
图15^Jf]于说明4M居本发明第10实施例的^泉修正电路31中的々I^f象素 模^^取电路32的动作的视图。在本实施例中，为了提高模^1取的精度，对 从与判定像素即^A像素RO々條的左右々I^^象素GO、 G3中提取图#^莫式的 情;Xi^ti兑明。另夕卜，对于说明重复的部分，省略详细的说明。
本实施例的々[i^象素模^C取电路32首先分别计算出徵泉像素RO两边的 々N^象素GO、 G3的+字方向的周围4 ^^象素的平均之间的差^f言号(^f值) Sub+30、 Sub+31,并将这些差^j言号中较小的一方置为Sub+min。同样，分 别计算出々J^f象素GO、 G3的交叉方向的周围4个4象素的平均值之间的差* 号(纟^ t值)Subx30、 Subx31，并将该差^ft号较小的一方置为Subxmin。
接着，通錄所求出的差^H言号Sub+min、 S油xmin中，选#^_小的一方 或者较大一方，可以判定与+字方向周围像素Gl、 G3、 G5、 G7或者G0、 G2、 G4、 G10,或者交X^r向的周围像素G2、 G4、 G6、 G8、或Gl、 G5、 G9、 Gll哪一方的相关'I"嫩强。
在判定为相对于+字方向的周围像素Gl、 G3、 G5、 G7或者GO、 G2、 G4、 G10的相关4嫩强的+字模式的情况下，将Y01方向的判定值置为"1"，将Y02方向的判定值置为"O"。相反，在判定为相对于交W向的周围像素G2、 G4、 G6、 G8或者G1、 G5、 G9、 Gll的相关性较强的交X^莫式的情况下，将 Y01方向的判定值置为"O"，将Y02方向的判定值置为"l"。
》b^的处理，^^f亍与例如图11所述的^泉像素置舰對目同的处理。
另夕卜，在图11所示的^泉像素置^t理电路33中也可以具有对应于模式 信息Yl(-YOl)、 Y2 ( -Y02),单纯3*^1^择+字方向的周围像素Rl、 R3、 R5、 R7或者交X^向周围像素R2、 R4、 R6、 R8中<树一方的信号的结构。
进一步，可以对々條于斑点像素R0的上下々N^象素Gb的^H言号增加上 述的模 狄理。
当然，在上述第1~第10实施例中，通过增加用于模i^l取的^^象素的 数量，可以提高模iU^取的精度。第十一实施例
图16~图18狄别用于说明才財居本发明第11实施例的逸泉修正电路31 中的#^象素模^_取电路32的动作的视图。^实施例中，说明在图<糾莫式 提取中，通过检查有无白棘黑^MM^测判定像素即斑点像素。另外，对于说 明重复的部分，省略详细的说明。
图16所示的々N^象素模^^取电路32首先判定々I^^象素GO是否为徵泉 像素。例如，对々N^f象素GO和其+字方向的周围像素Gl、 G3、 G5、 G7的5 W象素信号按照电平大小重新排列(DSD1)。同样，对々N^f象素GO和其交叉 方向的周围^(象素G2、 G4、 G6、 G8的5个4象素的4言号按照电平大小i^frt新 排列(C5^:i)。
接着，判断所重新氺刚信号的最大值D5与其次大的中间值D4之间的差分 信号的绝对M否比阈值电平LevN更大，在大的情况下，判断持有最大值D5 的像素有白斑的可能性。同样，通过判断最大值C5与其次大的中间值C4之间 的差^f言号的M^HIbl:否大于阈值电平LevN，在大的情况下，判断持有最大值 C5的像素有白斑的可能性。如果才娥2个差^f言号的^t值分别判定了有白斑 的可能f生，则最终AND电路32g的输出成为"l",并判定为在+字方向的5个 像素GO、 Gl、 G3、 G5、 G7中存在白斑。
另夕卜，判断所重新排列信号的最小值Dl与其次大的中间值D2之间的差分 信号的纟^tM否比阈值电平LevN更大，在大的情况下，判断持有最小值D1的像素有黑斑的可能I"生。同样，通过判断最小值C1与其次大的中间值C2之间 的差分信号的纟^H4A否大于阈值电平LevN，在大的情况下，判断持有最小值 Cl的像素有黑斑的可能性。如果根据2个差分信号的绝对值分别判定了有黑斑 的可能性，则最终AND电路32h的输出成为"l"，并判定在交X^r向的5^H象 素GO、 G2、 G4、 G6、 G8申存在黑斑0
如此，如^"测出白滅黑斑的至少一方，那么就将NOR电路32i的输出 Pkiz (控制信号)置为"0"，并将々|5#1象素GO判断为圾泉像素。
图17所示4N^f象素模i^^取电路32首先分别按照电平大小顺序重新排列 々N^f象素GO及其+字方向的周围像素Gl、 G3、 G5、 G7的5^f象素的信号和 々N^f象素G0及其交X^向周围像素G2、 G4、 G6、 G8的5^f象素的信号。
另夕卜，判断所重新排列信号的最大值D5、 C5的平均佳及其次大中间值D4、 C4的平均值之间的差分信号的^^Hi^否大于阈值电平LevN，在大的情况下， 判定持有最大值D5、 C5的像素具有白斑。同样，判断最小值D1、 Cl的平均 ^iA其次大中间值D2、 C2的平均值之间的差分信号的多树iiA否大于阈值电 平LevN，在大的情况下，判定持有最小值D1、 Cl的像素具有黑斑。如此，如^^则出白滅黑斑的至少一方，则NOR电路32j的输出Pkiz (控制信号)成为"0",并将々N^象素G0判断为孰泉像素。
图18所示々]i^象素模iUC取电路32首先分别按照电平大小顺序重新排列 々N^象素G0及其+字方向的周围像素G1、 G3、 G5、 G7的5个像素的信号和 々N^象素G0及其交X^向周围像素G2、 G4、 G6、 G8的5 ^H象素的信号。
另夕卜，判断所重新排列信号的最大值D5、 C5的差分信号的绝对M否为 "0",在为"0，，的情况下，判定持有最大值D5、 C5的像素具有白斑。同样，判 断最小值D1、 Cl的差^f言号的^f奴否为"0"，在为"0"的情况下，判定持 有最小值D1、 Cl的像素具有黑斑。
如此，如^r测出白絲黑斑的至少一方，则NOR电路32k的输出Pkiz (控制信号)成为"0",并，p^f象素GO判断为徵泉像素。
如上所述，##本实施例，在4^f可一种结构中，都可以大幅简化用于判断 徵氛像素的电路。
第12实施例
图19是表示用于说明才娥本发明第12实施例的瓶泉修正电路31的动作的视图。林实施例中，对增加^M、像素置m理，并进一步^Vf亍斷氐噪声的处 理的情况进行说明。其中，对说明重复的部分，省略详细的说明。
本实施例的徵氛修正电路31首先判断是否存在判定像素即^泉像素。在判 断斑点像素中，例如，可以^^]上ii^7实施例(参照图12)所示的々I^^象素 模iU^取电路32或者第11实施例(参照图16~18)所示的^f象素模i^l取 电路32等。
接着，才M居斑点像素的判断结果，！^亍图^f莫式提絲斑点置换、噪声降 低的处理。在图4斜莫i(^取中，例如，可以^J ]上麟6实施例(参照图IO) 所示的々N^象素模^U^取电路32、第7实施例(参照图12)所示的々[i^象素模 ^J^取电路32、第8实施例(参照图13)所示的々[l^象素模^^取电路32， 或者第9实施例(参照图14)所示的々P^f象素模iU^取电路32等。
接着，才M居图^^莫iC^取的结果，銜则刚料莫式^^部分，在没有^;则到
ii^部分的情况下，批J亍PH氐平坦部分噪声处理。图像模式ii^部分的检测和 平坦部絲声的l^f氐例如图20所示，首先，从图#^莫^€麟果中选择+字模 式或交3U莫式。
以下，对选择+字模式的情况进行说明。在选择了+字模式的情况下，按 照电平大小重新排列々N^象素GO和与其+字方向々條的同色的周围4像素 Gl、 G3、 G5、 G7的5个像素信号。然后，得到其最大值D5和最小值Dl之 间的差分信号(绝对值)Sub51。
接着，比録^f言号Sub51和阈值电平LevN，如果判0^^言号Sub 51 Jp懷大，那么就判定々P"^象素G0存在于图4斜莫式的ii^部分。相反，如果判 U^f言号Sub 51比较小，那么就判定々P^f象素G0存在于图l斜莫式的平坦部 分。
作为平坦部分噪声斷狄理例:ftait过4衞^4N^象素G0的信号进^^口重 处理，计算出该4皿和+字方向的周围4个像素Gl、 G3、 G5、 G7 ^H言 号的平均^RM言号G0，。然后，将该平均^f言号G0，与瓶泉像素R0的信号置换。
其中，作为平均化信号G0，也可以不用加重处理々P4^(象素G0的信号来计算 出，并且可以任意i议用于加重处理的增益。
另外，除了按照大小顺序重新排列的信号的最大值D5和最小值Dl W卜， 还可以才W中间值D4、 D3、 D2的平均4^f言号，置舰泉像素RO的信号。一方面，4#^测出图<斜莫式的^^^部分的情况下，例如，通过^JU图11所
示的徵氛像素置M理电路33，在进行徵泉像素置M理的同时，能够制組 缘部分的随才几噪声。
如此，在能够同时处理瓶泉像素置^h理和噪声斷氐处理的情况下，可以 共用用于提取图#^莫式的电路和用于置M理的电路，从而能够大幅斷氐电路 的糾莫。
其中，在上述各个实施例中，对于4^f可一种情况，都以例子说明了将彩色 滤波器的色滤波器排列进行財排列的情况。然而，并不局限于此，例如，RGB 的各像素以具有45度角度的滤波器排列(称为蜂窝排列)等情况也同样适用。
另外，不局限于CMOS型彩色图像传感器，也可以适用于黑白传感器。
另夕卜，作为阈值电平LevN，通过使其相应于信号能量和/或才對以电路的增 益等可变，可以进行最佳判定。例如，通it^fWJ:的时候将电路噪声赋予假 定的值，在光量较高的情况下，通过^fl^立噪声，增大阈值电平LevN iM￡ 行控制。如此，可以实S^效抑制随机噪声的处理。
特别地，在^f亍由透镜10的光学特性所引起的^f修正处理的情况下，对 于画面的中心，在接Ui下端、左右端、角落部分等，通过数字增益^MUd言 号。由jtbi曽加了画面上下端、左右端、角落部分的随才几噪声。因此，在合并了 数字增益的情况下，如#画面的上下端、左右端和角落部分控制得较大，那 么就可以增大噪声抑制效果，并能够改善画质。
这样，通it^目应于信号量、画面位置、色信息、增益信息等来变更各种阈 值电平LevN，可以进^"^L佳徵泉修正。
进而，并不局限于CMOS型的图像传感器，也可适用于CCD (电荷M 设备)和层积型传感器。
对;M贞域熟练技权员来说，4膝易发现雞的优点，并JU隨易进^W'务
改。因此，本发明在其更宽的方面并不局限于在j^斤表示^i兌明的具体细节和 ^^性的实施例。相应地，在不脱离如在所附权利要求书和它们的等同物中所 定义的总的发明构思的樹申和范围的情况下，可以作出M修改。
权利要求
1、一种摄像装置，二维地配置了由光电变换元件构成的多个像素，对于由滤波器排列以矩阵2×2为基本排列的摄像部分别输出的图像信号，通过斑点修正电路实施规定的信号处理，所述摄像装置的特征在于所述斑点修正电路包括模式提取电路，依据所述图像信号中邻接判定像素的邻接像素的信号和分别与所述邻接像素接近并与所述邻接像素同色的周围像素的信号，提取图像模式信息；和置换电路，根据与所述图像模式信息相对应的、分别接近所述判定像素并与所述判定像素同色的周围像素的信号，置换所述判定像素的信号。
2、 拟居糊要求1所述的摄像装置，絲棘于 所i^虑波器排列为以矩阵2x2为鉢的正方形排列。
3、 ##权利要求1所述的摄像装置，皿#于 所述滤波器排列为以矩阵2x2为基本，并使该排列倾斜45度角度的蜂窝排列。
4、 才Nt权利要求l所述的摄像装置，^M^絲于 所i^莫^^取电路包括差分信号计算处理，用于计算出所述々P^f象素的信号与其周围像素的Vh 信号之间的差^1言号；和电平判断处理，在所述差分f言号小于规定的阈值电平的情况下，判断对应 的周围1象素的信号与所述々I^^象素的信号为相同的电平；和提取处理，才娥所述々N^象素的哪一方向J^在具有与所述々N^象素的信 号相同电平的信号的周围像素，提,予所述置换电路的所述图像模式信息。
5、 才^^U'J要求4所述的摄像装置，^##于 所錄錄取电路还包括产生部，才,对M周围像素的信号的所迷电平判断处理的结果，产生用 于控制所述置换电路的控制信号，在判定为全部的周围像素的信号与所述々N^象素的信号不为相同电平的情况下，生成所述控制信号，并对所述々Ii^f象素^^于置舰理。
6、 才財居权利要求4所述的摄像装置，，^于 所述模iy^取电路通过提^^斤述々li^象素的上方、下方、左方、右方、左上方、左下方、右上方和右下方8个方向的所述图像模式信息，控制所述置换 电路。
7、 條权利要求6所述的摄像装置，絲 于 所述置换电糾时居基于所述图像模式信息所选择的、分别接近于判定像素的与所^i判定《象素同色的周围<象素的4言号，或分别接近于所述判定像素的与所 述判定像素同色的周围像素的信号的平均值，来置4^斤述判定像素的信号。
8、 才財居权利要求4所述的摄像装置，^JW^棘于所述模^y^取电路通过提^^斤述々i^^象素的上-下方向、左-右方向、左上-右下方向和右上-左下方向4个方向的所述图1斜莫式信息，控制所述置换 电路。
9、 才財居权利要求8所述的摄像装置，^#*于 所述模iU^取电路进一步分别对所述4个方向判断所述々N^象素的信号和对应的周围像素的2 ^H言号之间的差^f言号的大小关系，选择所述差^J言号较 小的一方的周围像素的1 W言号。
10、 條权利要求8所述的摄像装置，鉼棘于 所述置换电糾N^基于所述图^^式信息所选择的、分别接近判定像素的与所述，判定《象素同色的周围《象素的4言号的平均值，来置^^斤述判定像素的信号。
11、 W权利要求8所述的摄像装置，*#棘于所述置换电驗照大小顺序重新排列判定像素的1 ^f言号和基于所述图像 模式信息所选择的、分别接i^斤述判定像素的+字方向的与所述判定像素同色 的周围像素的4个信号或者分别接i^斤述判定像素的x字方向的与所述判定像 素同色的周围像素的4个信号，在所述按照大小顺序重新排列的所述判定像素 的1个信号和所述周围像素的4个信号中，除了最大值和最小值"卜，在作为 其他中间值的3个信号中，由电平大的2个信号计算出第1平均化信号和第1 差刺言号，并且由电平小的2 ^f言号计算出第2平均^M言号和第2差^j言号， 判定所述第1差分信号和所述第2差分信号的大小关系，在所述第2差分信号 大于所述第1差分信号的情况下，利用所述第1平均化信号置^^斤述判定像素 的1个信号，在所述第1差分信号大于所述第2差^f言号的情况下，利用所述 第2平均^/f言号置^^斤述判定像素的1个f言号。
12、 才M居权利要求8所迷的摄像装置，員;^于 所述模^C取电路进一步分别对所述4个方向，判断所述々N^象素的信号和对应的周围像素的2个信号的差分信号是否小于M^的阈值电平，^it择所 述差分f言号小的一方的周围像素的1个信号。
13、 才M居权利要求8所述的摄像装置，^##于 所述模iU^取电路进一步分别对所述4个方向判断对应的周围像素的2个信号的平均值与所述々N^象素的信号之间的差分信号是否小于规定的阈值电平来判断所述4个方向是否有相关性。
14、 條糊要求4所述的摄絲置，絲棘于 所，^^1取电*别对所述々154^象素的上-下方向、左-右方向、左上-右下方向和右上-左下方向的4个方向，通过判断对应的周围像素的2个信 号的平均值和所迷々Ii^象素的信号之间的差分信号是否小于规定的阈值电平， 来判断关于所iiJi -下方向和所述左-右方向的+字方向与所述左上-右下方 向和右上-左下方向的x字方向的2个方向有i^目关性，通过提取关于所述2 个方向的所述图像模式信息，控制所述置换电路。
15、 才娥权利要求4所述的摄像装置，^##于所i^莫iU^取电絲照大小顺序重新排列所述^^f象素的1 ^H言号和分别 接近于所述邻^^象素的+字方向的与所述々N^象素同色的周围像素的4个信 号，在所述按照大小顺序重新排列的所述#^象素的1 ^H言号和所述周围像素 的4^f言号中，除了最大值和最小值"卜，在作为，中间值的3^f言号中， 由电平大的2个信号计算出第1平均化信号和第1差分信号，并且由电平小的 2个信号计算出第2平均化信号和笫2差分信号，在所述第2差分信号的一方 小于所述第1差分信号的情况下，选棒所述第1平均化信号，按照大小顺序重新排列所述々N^f象素的i ^Ht号和分别接近于所述々N^象素的x字方向的与所述々p^^象素同色的周围像素的4个信号，在所述按照大小顺序重新排列的所述々N^i象素的i ^M言号和所述周围像素的4 ^f言号中，除了最大值和最小值^卜，在作为其他中间值的3个信号中，由电平大的2个信号计 算出第3平均化信号和第3差分信号，并且由电平小的2个信号计算出第4平 均化信号和第4差分信号，在所述第4差分信号的一方小于所述第3差分信号 的情况下，选择所述第3平均化信号，通过选择所述第1平均^M言号或所述第3平均^f言号较小的一方或者较大 的一方，判断关于所述+字方向和所述x字方向的2个方向有^目关性，通过提 取关于所述2个方向上的所述图像模式信息，来控制所述置换电路。
16、 條权利要求4所述的摄像装置，絲棘于 所i^莫iC^取电躲照大小顺序重新排列所述々F^象素的1 ^M言号和分别接近于所述々^^象素的+字方向的与所述邻##素同色的周围像素的4个信 号，才Wt为所述按照大小顺序重新排列的所述々P"^象素的1 4M言号以A^斤述 周围像素的4个f言号的中央值的1个f言号与所述々N^象素的1个信号求得第1 差分信号，按照大小顺序重新排列所述々I5^f象素的1 ^H言号和分别接近于所述^^象素的x字方向的与所述々N^象素同色的周围像素的4个ft号，才M,为所述按照 大小顺序重新排列的所述々I^^象素的i ^H言号以^^斤述周围像素的4 ^M言号的中央值的1个信号与所述々Ii^象素的1个信号求得第2差分信号，通itit择所述第1差分信号或所述第2差分信号较小的一方或者较大的一方，判断关于所述+字方向和所述x字方向的2个方向有iM目关性，通过提取关 于所述2个方向的所述图^^莫式信息，絲制所述置换电路。
17、 條权利要求4所述的摄像装置，絲棘于 所i^莫iUC取电糾N居所述々N^象素的1 ^H言号和分别接近于所述々P^f象素的+方向的与所述々P4^象素同色的周围像素的4个信号求得第1平均化信号， 并且才娥所述第1平均^4言号和所述々N^象素的1 ^f言号计算出第1差雑号，才M居所述々P"I^象素的1个信号和分别接近于所述々I^^象素的x方向的与所 述々N^象素同色的周围像素的4个信号求得第2平均化/f言号，并且才M居所ii^ 2平均化信号和所述々Ii^象素的1个信号计算出第2差分信号，通过选择所述第1差分信号或所述第2差分信号较小的一方或者较大的一 方，判断关于所述+字方向和所述x字方向的2个方向有iL4目关性，通过提取关 于所述2个方向的所述图《財莫式信息，綠制所述置换电路。
18、 才財居权利要求4所述的摄像装置，^#棘于 所述模iC^取电糾M居分别接近于所述々N^象素的+方向的与所^i々N^f象素同色的周围像素的4 ^H言号求得第1平均^4言号，并且才 所述第1平均化信号和所述々F^f象素的1 ^H言号计算出第1差刺言号，才,分别接近于所述々N^象素的x方向的与所述4[i^象素同色的周围像素的4个信号求得第2平均化信号，并且才娥所述第2平均^f言号和所述々N^f象 素的1个信号计算出第2差分信号，通过选择所述第1差分信号或所述第2差^f言号较小的一方或者较大的一 方，判断关于所述+字方向和所述x字方向的2个方向有W目关性，通过提取关 于所述2个方向的所述图<緣式信息，^fe制所述置换电路。
19、 粉居权利要求4所述的摄像装置，絲棘于 所i^莫iU^取电樹M^分别接近于与判定像素々峰的第1々N^象素的+方向的与所述第1々[i^f象素同色的周围像素的4个信号求得第1平均化信号，并 且根据所述第1平均化信号和所述第1々P^f象素的1个信号计算出第1差分信 !号，根据分别接近于与所述判定像素邻接的第邻接象素的+方向的与所述第2 邻接象素同色的周围像素的4个ft号求得第2平均化信号，并划^所述第2 平均化信号和所述第2邻樹象素的1个信号计算出第2差分信号，选择所述第1差^j言号或所述第2差^j言号较小的一方作为第3差^1言号， 并且，根据分别接近于与所述判定像素邻接的第1邻接象素的x方向的与所述第1 々N^象素同色的周围像素的4个f言号求得第3平均化信号，并划 所述第3 平均^4言号和所述第1々P^象素的1 W言号计算出第4差刺言号，根据分别接近于与所述判定像素々條的第2邻接象素的x方向的与所述第2邻接象素同色的周围像素的4个信号求得第4平均化4言号，并划^所述第4 平均化信号和所述第2邻接象素的1个信号计算出第5差分信号，选择所述第4差分信号或所述第5差分信号较小的一方作为第6差分信号， 通过选择所述第3差分信号或所述第6差分信号较小的一方或者较大的一 方，判断关于所述+字方向和所述x字方向的2个方向有iM目关性，通过提取关 于所述2个方向的所述图1斜莫式信息，綠制所迷置换电路。
20、根据权利要求1所述的摄像装置，絲棘于 所i^莫iU^取电i^f亍如下处理差分信号计算处理，在所述判定像素的信号比其周围像素的各个信号的最 大值大的情况下或者比最小值小的情况下，将所述判定像素判断为缺陷像素， 计算出所述々Ii^象素的信号和与+字方向上々條的周围像素的各^M言号的差分 信号、和所述々Ii^象素的信号和与x字方向々條的周围1象素的^M言号的差分信号；相关性判狄理，才M居所述差刺言号的计算结杲，判断对于所述々N^象素的+字方向的周围像素和x字方向的周围像素的相关性；和生成处理，^^所勤目关性判定处理的结果，生成用于控制所述置换电路 的控制信号。
全文摘要
本发明提供一种能够进行高精度的缺陷像素修正处理的摄像装置，其对于由滤波器排列以矩阵2×2为基本排列的摄像部输出的图像信号，通过斑点修正电路实施规定的信号处理。所述斑点修正电路包括依据邻接判定像素的邻接像素的信号和分别与所述邻接像素接近并与所述邻接像素同色的周围像素的信号，提取图像模式信息的模式提取电路；和根据所述图像模式信息，使用分别接近于所述判定像素并与所述判定像素同色的周围像素的信号置换所述判定像素的信号的置换电路。
文档编号H04N5/335GK101420537SQ200810173800
公开日2009年4月29日 申请日期2008年4月25日 优先权日2007年4月27日
发明者江川佳孝 申请人:株式会社东芝