图像处理装置、摄像设备和图像处理方法

专利名称：图像处理装置、摄像设备和图像处理方法
技术领域：
本发明涉及用于对已从CCD(Charge Coupled Device，电荷耦合器件)图像传感器或CMOS(Compl ementary Metal OxideSemiconductor，互补金属氧化物半导体)图像传感器等图像传感器获得的图像执行图像处理的图像处理装置、摄像设备和图像处理方法。特别地，本发明涉及提高拍摄到的图像的图像质量。

背景技术：
CCD图像传感器或CMOS图像传感器等的图像传感器用于数字照相机或摄像机等的摄像设备。近年来，伴随着各像素的大小的减小，图像传感器上的像素数量已经增加。使用具有增加的像素数量的图像传感器仍要求高速处理，以使得不损失连续拍摄速度等的可用性。高速处理的典型方法包括为图像传感器提供多个输出路径以便同时读出多个像素的多通道方法。然而，出现了以下情况由于光学信号因像素大小的减小而变小，因而像素易于受噪声影响。另外，在多通道效应的影响下，噪声量根据输出路径而不同。
例如，在具有多个输出放大器的多通道CMOS图像传感器中，如果这些输出放大器的特性中存在波动，则在各列中出现电平差。将该电平差称为“垂直方向的图案噪声”。另外，由于各像素共用电源和GND(接地)，因此如果各像素的电源和GND在读出所选择的行期间波动，则在全体的选择行中出现电平差。将该电平差称为“水平方向的图案噪声”。
根据电源和GND设置在图像传感器内的位置，水平方向的图案噪声可能引起左右方向的强度差。由于各像素的电源和GND的布线长度不同，因此对于不同像素，布线的阻抗也不同。因此，像素离电源和GND越远，布线的阻抗增加，由此电源和GND的波动的影响变得越强烈。结果，图案噪声强度可能在离电源和GND更远的位置处增加。这种图案噪声可能导致图像质量劣化，这就需要减少噪声量。
由于垂直方向的图案噪声由输出放大器的特性唯一确定，因此可以通过对各输出放大器的波动校正来校正。另一方面，如果电源和GND的波动是随机的，则水平方向的图案噪声可能变为随机的。用于校正这种图案噪声的典型方法包括以下要说明的偏移(offset)校正。
图像传感器设置有称为光学黑体(下文中称为“OB”)的区域，该区域被遮光以不允许从被摄体反射来的光到达图像传感器。图案噪声也出现在OB部中。因此，在偏移校正时，通过对OB部中以条带状设置在像素区域中水平方向的一端处的水平光学黑体(下文中称为“HOB”)的各行计算平均值，来计算水平方向的图案噪声量。通过从作为非遮光正常区域的有效部的各行减去该值来校正图案噪声。
此外，作为去除噪声的方法，已经提出了利用频率分解的噪声去除方法。日本特开2006-309749号公报公开了以下方法在该方法中，利用多重分辨率变换将图像分解成多个频带中的低频分量和高频分量，并对各个分解出的低频分量和高频分量进行噪声去除处理。在该方法中，将边缘保持平滑化滤波器用于噪声去除处理，并且对噪声去除后的频率分量进行合成以获得校正后的图像。
另外，日本特开2008-15741号公报公开了以下方法重复用于将由图像传感器所获得的图像分解成高频分量和低频分量的操作，将由此得到的分量分解成多个频带，从各频带中的高频分量去除噪声成分，从而通过频率合成获得校正后的图像。对于从高频分量的噪声去除，为了避免误去除被摄体边缘成分，对同一频带中的低频分量进行边缘检测滤波，由此生成边缘保持信息。利用该信息去除来自除边缘部以外的场所的噪声。
不利地，针对各行或各列所生成的图案噪声和针对各像素随机生成的随机噪声均包括在拍摄到的图像中。当存在大量随机噪声时，由于随机噪声的影响因而从有效部减去HOB区域的各行的平均值的偏移校正不能够从HOB区域精确地检测到图案噪声。另外，当出现具有左右方向的强度差的图案噪声时，仅由HOB区域不能够检测到左右方向的强度差。结果，不但不能获得充分的校正效果，图像质量还可能劣化。
由于在日本特开2006-309749号公报中公开的噪声去除方法使用边缘保持平滑化滤波器，因此不管在除边缘部以外的场所是否存在噪声都对任意噪声进行校正。同样，在日本特开2008-15741号公报中公开的噪声去除方法也不管在除已由边缘检测滤波器检测到边缘的位置以外的位置处是否存在噪声都进行噪声校正。因此，传统的噪声去除方法甚至在原来不存在噪声因而无需进行校正的位置处进行噪声校正，结果可能导致图像分辨率的下降。


发明内容
期望提供一种可以从拍摄到的图像中精确地检测到具有左右方向或上下方向的强度差的图案噪声并且可以通过校正这种图案噪声来提高图像质量的图像处理装置、摄像设备和图像处理方法。
本发明提供了一种图像处理装置，包括频率分量分解部，用于将从具有遮光像素区域和非遮光像素区域的图像传感器获得的图像分解成两个以上频率分量；噪声量计算部，用于基于所述遮光像素区域中的频率分量，计算该频率分量的噪声量；噪声抑制部，用于根据已由所述噪声量计算部计算出的所述噪声量，抑制所述非遮光像素区域中的频率分量的噪声成分；以及频率分量合成部，用于将已由所述频率分量分解部分解出的频率分量合成，以形成图像。
本发明还提供一种摄像设备，包括图像传感器，其具有遮光像素区域和非遮光像素区域；频率分量分解部，用于将从所述图像传感器获得的图像分解成两个以上的频率分量；噪声量计算部，用于基于所述遮光像素区域中的频率分量，计算该频率分量的噪声量；噪声抑制部，用于根据已由所述噪声量计算部计算出的所述噪声量，抑制所述非遮光像素区域中的频率分量的噪声成分；以及频率分量合成部，用于将已由所述频率分量分解部分解出的频率分量进行合成，以形成图像。
本发明提供还一种图像处理方法，包括以下步骤将从具有遮光像素区域和非遮光像素区域的图像传感器获得的图像分解成两个以上的频率分量；根据所述遮光像素区域中的频率分量，计算该频率分量的噪声量；根据所计算出的噪声量，抑制所述非遮光像素区域中的频率分量的噪声成分；以及将分解出的频率分量进行合成，以形成图像。
期望可以从拍摄到的图像精确地检测到具有左右方向或上下方向的强度差的图案噪声，并且可以通过校正这种图案噪声来提高图像质量。
通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。



图1是示出本发明的图像处理装置中的摄像设备的第一实施例的框图。
图2是示出使用CMOS图像传感器的第一实施例的图像传感器60的示意结构的图。
图3是示出CMOS图像传感器的单位像素(1个像素)600的电路的示例的图。
图4是示出由第一实施例的图像传感器60所采用的多通道结构中的CMOS图像传感器的整体布局的图。
图5是示出图像处理部100的电路结构的示例的框图。
图6是示出频率分量分解部110的电路结构的示例的功能框图。
图7是示出如何将输入图像分解成多个频率分量的图。
图8是示出频率分量合成部120的电路结构的示例的功能框图。
图9是示出校正部123的结构的框图。
图10A和10B是示出校正处理的图。
图11A和11B分别是示出LH图像中存在图案噪声的行的小波展开系数的绝对值的图和示出LH图像中未出现图案噪声的行的小波展开系数的绝对值的图。
图12A～12D是示出在噪声抑制部与小波展开系数相乘的校正系数的图。
图13是示出由校正部对LH图像的各行执行的处理的流程的流程图。
图14是示出图像处理部100中的噪声抑制处理的典型流程图。
图15是示出第二实施例的频率分量合成部220的电路结构的示例的功能框图。
图16是示出校正部223的结构的框图。
图17是示出在第三实施例中由校正部对LH图像的各行要执行的处理的流程的流程图。
图18A和18B是示出如何计算强度比Wr(m)的图。
图19是示出当根据水平位置出现具有强度差的图案噪声时LH图像中存在图案噪声的行的展开系数的绝对值和阈值Wth’(n，m)的图。
图20是示出将校正系数除以了强度比Wr(m)的图。
图21是示出第四实施例中的频率分量合成部420的电路结构的示例的功能框图。
图22是示出校正部423的结构的框图。
图23是用于根据被摄体的亮度水平计算亮度系数的图。
图24是示出第五实施例的图像处理部500的电路结构的示例的框图。
图25是示出频率分量合成部520的电路结构的示例的功能框图。
图26是示出校正部523的结构的框图。
图27是示出使用CMOS图像传感器的第六实施例的图像传感器60的示意结构的图。
图28A和28B是示出校正处理的图。
图29是示出LH图像中存在图案噪声的行的小波展开系数的绝对值的图。
图30是校正系数c’的图。
图31是示出在对LH图像中存在图案噪声的行进行噪声抑制处理之后的小波展开系数的绝对值的图。
图32是示出由校正部对LH图像的各行执行的处理的流程的流程图。
图33是示出第七实施例中由校正部对LH图像的各行执行的处理的流程的流程图。
图34A和34B是示出第七实施例中由噪声抑制部执行的处理的图。

具体实施例方式 现在将参考附图来说明用于执行本发明的最佳模式。第一实施例 图1是示出本发明的图像处理装置中的摄像设备的第一实施例的框图。第一实施例的摄像设备是数字照相机，并且包括拍摄透镜10、透镜控制单元11、快门12和快门控制部13。摄像设备还包括模拟前端电路(下文中称为“AFE”)14、数字前端电路(下文中称为“DFE”)15、时序发生电路(下文中称为“TG”)16、存储器控制电路17和图像显示存储器18。摄像设备还包括图像显示部19、存储器20、测距控制部21、温度计22、测光控制部23、闪光灯部24、配件插座25、系统控制电路26、存储器27、显示器部28、非易失性存储器29、操作部30和电源控制部31。摄像设备还包括电源部32、存储介质40、图像传感器60和图像处理部100。
拍摄透镜10是用于在图像传感器60上对被摄体图像进行成像的摄像透镜。拍摄透镜10设置有马达(未示出)，并且设置有根据以下所述的测距控制部21的处理结果驱动马达以实现聚焦的机构。透镜控制单元11将从拍摄透镜10接收到的信息发送至系统控制电路26，并且控制拍摄透镜10的动作。快门12是控制图像传感器60的曝光量的机械快门。快门控制部13控制快门12。
AFE 14包括将从图像传感器60输出的模拟信号转换成数字信号的A/D转换器，以及钳位电路(偏移调节器电路)和D/A转换器。DFE 15接收来自AFE 14的数字输出，并进行校正或重排等的数字处理。TG 16将时钟信号或控制信号供给至图像传感器60、AFE 14和DFE 15。由存储器控制电路17和系统控制电路26来控制TG 16。
存储器控制电路17控制AFE 14、DFE 15、TG 16、图像处理部100、图像显示存储器18和存储器20。通过图像处理部100和存储器控制电路17或者仅通过存储器控制电路17将来自DFE15的数据写入图像显示存储器18或存储器20中。图像显示存储器18是用于显示图像的存储器。图像显示部19是用于显示图像的显示面板，例如由TFT(Thin Film Transistor，薄膜晶体管)型的L CD(Liquid Crystal Display，液晶显示器)构成的图像显示部。存储器20是存储拍摄到的静止图像或运动图像的存储器，并且具有足够存储预定数量的静止图像和预定时间长度的运动图像的存储容量。
测距控制部21由系统控制电路26控制，并为执行AF(自动调焦)处理进行测距。温度计22进行温度感测，以测量拍摄环境中的周围温度或照相机内部(图像传感器周围等)的内部温度。测光控制部23由系统控制电路26控制，并为执行AE(自动曝光)处理进行测光。测光控制部23还具有与闪光灯部24相结合地进行闪光灯拍摄的功能。
闪光灯部24是在被摄体的亮度低时使辅助照明光闪光发光的电子闪光灯。闪光灯部24还具有AF辅助光的泛光(floodlight)功能。闪光灯部24直接连接至配件插座25。然而，根据拍摄状况，在通过专用线缆连接或者通过无线通信部(未示出)无线连接闪光灯部24的同时，闪光灯部24还可位于远离摄像设备的位置处。可以使用配件插座25的通信线路的一部分来判断闪光灯部24的连接状态，或者可以根据无线通信部(未示出)的通信状态来判断闪光灯部24的连接状态。在该特定实施例中，闪光灯部24采用从摄像设备可移除的形式。然而，闪光灯部24还可采用包含在摄像设备中的形式。配件插座25是闪光灯部24等的配件可从其移除的连接部，并且固定安装在摄像设备上。
系统控制电路26是本实施例的摄像设备的整体控制的控制部，并且包含已知的CPU等。存储器27是用于存储使系统控制电路26进行动作用的常量、变量或程序的存储部件。显示器部28是用于根据由系统控制电路26执行程序而显示动作状态或消息的显示器部。非易失性存储器29是已存储了使摄像设备动作所需要的各种程序的EEPROM(Electrically Erasable andProgrammable ROM，电可擦除可编程ROM)等的存储部件。
操作部30是包括用于输入系统控制电路26的各种动作指令的主开关(启动开关)，快门开关或用于切换拍摄模式的模式设置拨盘等的操作部。电源控制部31包括电池检测电路或DC-DC转换器，并且控制电源。电源部32是包括如碱性电池或锂(lithium)电池等的一次电池、如镍镉(NiCd)电池、镍氢(NiMH)电池和Li电池等的二次电池以及交流(AC)适配器等的电源。存储介质40是存储卡或硬盘等的可移除存储介质。该存储介质可以在被安装至读取/写入装置(未示出)的状态下读取和写入信息。
图像传感器60将被摄体图像，即光学图像转换成电信号。在该特定实施例中，使用CMOS图像传感器作为图像传感器60。图像传感器60具有设置在进行光电转换的半导体部的表面上的、用于针对各像素透射和会聚光的微型透镜ML和具有不同的光谱透射率的拜尔模式颜色滤波片CF。后面将说明图像传感器60的细节。图像处理部100对从DFE 15接收到的数据或从存储器控制电路17接收到的数据进行预定像素插值处理、颜色转换处理和图案噪声校正处理等的各种图像处理。在该特定实施例中，图像传感器60尤其具有针对图案噪声校正处理的特征，后面将说明该特征的细节。
图2是示出使用CMOS图像传感器的第一实施例的图像传感器60的示意结构的图。图像传感器60包括作为像素区域的水平光学黑体(下文中称为“HOB”)61、垂直光学黑体(下文中称为“VOB”)62和有效部63。HOB 61是以条带状设置在像素区域中水平方向的一端处的遮光像素区域，并且HOB 61被遮光以不允许从被摄体反射的光到达图像传感器60。在图2的例子中，HOB 61设置在图像传感器60的左端。VOB 62是以条带状设置在像素区域中垂直方向的一端处的遮光像素区域，并且VOB 62被遮光以不允许从被摄体反射的光到达图像传感器60。在图2的例子中，VOB 62设置在图像传感器60的上端。有效部63是未被遮光、从被摄体反射的光能够到达的非遮光像素区域。
图3是示出CMOS图像传感器的单位像素(1个像素)600的电路的示例的图。单位像素600包括光电二极管(下文中称为“PD”)601、传送开关(下文中称为“TX”)602、复位开关603、浮动扩散放大器(下文中称为“FD”)604、放大器605和行选择开关606。单位像素600连接至垂直输出线607。PD 601接收已由拍摄透镜10(参见图1)聚焦的被摄体图像的光，以生成并累积电荷。TX 602是将在PD 601处生成的电荷传送至FD 604的开关，由MOS晶体管构成。复位开关603复位FD 604的电位。FD604是临时累积电荷的电容器。放大器605是用作源极跟随器(source follower)的放大用的MOS放大器。行选择开关606是行选择开关。利用前述结构，由TX 602将已累积在PD 601中的电荷传送至FD 604，以将该电荷转换成电压，由此通过源极跟随器将像素输出从放大器605输出至垂直输出线607。
图4是示出在由第一实施例的图像传感器60所采用的多通道结构中的CMO S图像传感器的整体布局的图。在图4所示的配置中，以n×m矩阵的形式配置在图3中已说明的单位像素600(单位像素600(1-1)～600(n-m))，其中n和m是自然数。利用从垂直扫描电路647生成的信号(TX 602控制信号φTX、复位开关603控制信号φRES以及行选择开关606控制信号φSEL)来进行各像素的累积控制。
此外，垂直输出线607(607(1)～607(m))连通垂直方向排列的各单位像素600。该垂直输出线607连接至各线的S-N电路645(645(1)～645(m))。由水平扫描电路646(646a和646b)进行对S-N电路645(645(1)～645(m))的输出选择的控制。通过输出放大器644(644-1～644-4)将S-N电路645(645(1)～645(m))的输出输出至图1所示的AFE 14等的后续处理电路。
为了适应高速处理，图4所示的CMOS图像传感器配备有4个输出放大器644，从而可以同时处理多个水平像素(图4中的4个像素)，由此将信号分配至用于输出由此得到的数据的不同的输出路径。另外，为了有效地布局该结构，输出路径是从垂直输出线607通过S-N电路645直到输出放大器644，并且将水平像素中奇数像素的输出线(第1列、第3列等)配置在图像传感器结构的上部。同样，将水平像素中偶数像素的输出线(第2列、第4列等)配置在图像传感器结构的下部。
换言之，将由本实施例的图像传感器60所采用的CMOS图像传感器的信号输出路径大致划分为以下两个路径。一个路径是奇数列的信号输出路径即从像素输出通过配置在图像传感器上部的S-N电路块645a直到配置在图像传感器上部的输出放大器块644a(644-1和644-3)。另一个路径是偶数列的信号输出路径即从像素输出通过配置在图像传感器下部的S-N电路块645b直到配置在图像传感器下部的输出放大器块644b(644-2和644-4)。
S-N电路645用于去除CMOS图像传感器固有的噪声，由此可以获得与CCD图像传感器的S/N比(信噪比)同等的S/N比。对于由行选择开关606所选择的行的像素输出，分别保持了信号成分S和噪声成分N，从而由输出放大器644从各像素的信号成分S中减去噪声成分N，由此输出了无噪声的像素信号。
噪声成分是通过放大器605、行选择开关606和垂直输出线607将在TX 602断开(OFF)的情况下已由复位开关603复位的FD604保持为S-N电路645的N(Noise)信号的噪声成分。这种噪声成分包括FD 604的复位噪声、放大器605的栅源电压中的像素间波动等。与噪声成分相同，通过利用脉冲接通(ON)TX 602将从PD 601生成的电荷转换成FD 604中的电压，将信号成分保持为S-N电路645中的S(Signal)信号。噪声成分仍包括在所保持的信号中。与由放大器644读取S信号相同，通过从S信号减去N信号，消除了噪声成分。
如在背景技术中所述，当输出放大器块644a(644-1和644-3)以及644b(644-2和644-4)的特性中存在波动时，在各列中出现大致均匀的电平差，从而导致垂直方向的图案噪声。另外，由于在各个像素600(1-1)～600(n-m)中电源和GND是共用的，因此如果在读出所选择的行期间这些像素的电源和GND波动，则在整个所选择的行中出现电平差，从而导致水平方向的图案噪声。不仅在有效部中出现沿垂直和水平方向的图案噪声，同样在OB部中也出现垂直和水平方向的图案噪声。在该特定实施例中，通过图像处理部100的动作减少了这些图案噪声。
图5是示出图像处理部100的电路结构的示例的框图。图像处理部100包括频率分量分解部110和频率分量合成部120。此外，频率分量合成部120包括校正部123(124)。频率分量分解部110通过应用小波变换将对图像处理部100的输入图像分解成多个频率分量。频率分量合成部120对已由频率分量分解部110分解出的频率分量执行利用校正部123(124)的图案噪声抑制处理。然后，对分解出的频率分量进行合成以获得输出图像。在该特定实施例中，使用离散小波变换DWT作为小波变换。
图6是示出频率分量分解部110的电路结构的示例的功能框图。如图6所示，频率分量分解部110包括第一频率分量分解部111(级别1)、第二频率分量分解部112(级别2)等的多个频率分量分解部。频率分量分解部110通过在第一频率分量分解部111、然后在第二频率分量分解部112等处应用小波变换，将输入图像分解成多个频率分量。频率分量分解部110还包括设置用以分别与第一分率分量分解部111、第二频率分量分解部112等相对应的多个水平DWT部1111、1121等以及多个垂直DWT部1112、1113、1122和1123等。
水平DWT部1111、1121等沿水平方向对由输入图像或以下要说明的垂直DWT部1113、1123等生成的LL图像进行小波变换处理。通过该小波变换处理，水平DWT部1111、1121等生成由小波展开系数构成的高频分量和由缩放系数构成的低频分量。
图7是示出如何将输入图像分解成多个频率分量的图。如图7所示，将输入图像71分解成两个分量水平方向的高频分量(H图像72)和低频分量(L图像73)。此时，H图像72和L图像73在水平方向上的像素数比分解前的图像的像素数减少了一半。垂直DWT部1112、1122等沿垂直方向对由水平DWT部1111、1121等生成的H图像进行小波变换处理，以生成垂直方向高频分量和对角方向高频分量。换言之，如图7所示，将H图像72分解成两个分量垂直方向高频分量(HL图像74)和对角方向高频分量(HH图像75)。此时，HL图像74和HH图像75在垂直方向上的像素数比分解前的图像的像素数减少了一半。
垂直DWT部1113、1123等沿垂直方向对由水平DWT部1111、1121等生成的L图像进行小波变换处理，以生成低频分量和水平方向高频分量。换言之，如图7所示，将L图像73分解成两个分量低频分量(LL图像76)和水平方向高频分量(LH图像77)。此时，LL图像76和LH图像77在垂直方向上的像素数比分解前的图像的像素数减少了一半。
利用在第一频率分量分解部111中进行的前述处理，将图7所示的输入图像71分解成4个图像HH图像75、HL图像74、LH图像77和LL图像76。在这4个图像中，将LL图像76输入至第二频率分量分解部112中，并将LL图像76进一步分解成4个图像HH图像79、HL图像78、LH图像711和LL图像710。在这4个图像中，将LL图像710输入至第三频率分量分解部，并且同样，将LL图像710分解成4个图像HH、LH、HL和LL图像。以这种方式，重复以下处理将输入图像分解成1个低频分量和具有方向分量的3个高频分量，并将1个低频分量进一步分解成3个高频分量和1个低频分量。通过前述处理，将输入图像71分解成多个频率分量。这里，在第一频率分量分解部111、第二频率分量分解部112等处的分解分别称为级别1、2等的分解。
将参考图7来说明频率分解处理中的具体计算的例子。假定输入图像71的像素大小是16×16，并且各像素的值是sn，m(0)，其中，n表示垂直位置，m表示水平位置，并且指数表示分解级别。级别0是输入图像。水平DWT部1111通过对输入图像71(sn，m(0))的各行进行公式(1)和公式(2)所示的计算，来计算由缩放系数构成的L图像73(sn，m(1’))和由小波展开系数构成的H图像72(ωn，m(1’))。
公式1

公式(1) 公式2

公式(2) 在公式(1)中，pk(k＝0～3)是表示缩放的数列。在该特定实施例中，使用了在下面的表1中示出的Daubechies数列。
注意，数列的个数是使用公式(1)和公式(2)进行计算所需要的项(tap)的数量。在该特定实施例中，项的数量是4个。在公式(2)中，qk是可以使用公式(3)从表示缩放的数列pk计算出的表示小波的数列。
公式3 qk＝(-1)kp1-k公式(3) 对于L图像73(sn，m(1’))和H图像72(ωn，m(1’))，m的范围是1～8。相对于输入图像，水平方向的像素数减少了1/2(分辨率1/2)，但n保持为原始的垂直像素数16。
垂直DWT部1112通过对已由水平DWT部1111分解出的H图像72(ωn，m(1’))的各列进行公式(4)和公式(5)中所示的计算，来计算HL图像74(ωn，m(1，v))和HH图像75(ωn，m(1，d))。
公式4

公式(4) 公式5

公式(5) 指数部v和d分别表示垂直方向分量和对角方向分量。对于HL图像74(ωn，m(1，v))和HH图像75(ωn，m(1，d))，n的范围是1～8。相对于分解前的图像，垂直方向的像素数减少了1/2(分辨率1/2)。垂直DWT部1113通过对已在水平DWT部1111中分解出的L图像73(sn m(1’))的各列进行公式(6)和公式(7)所示的计算，来计算LL图像76(sn m(1))和LH图像77(ωn，m(1，h))。
公式6

公式(6) 公式7

公式(7) 在公式(7)中，指数部h表示水平方向分量。对于LL图像76(sn，m(1))和LH图像77(ωn，m(1，h))，n的范围是1～8。相对于分解前的图像，垂直方向的像素数减少了1/2(分辨率1/2)。利用以上过程，第一频率分量分解部111对于sn，m(0)(n，m＝1～16)，即输入图像71进行分解(分解级别1)。作为分解的结果，输出了水平方向和垂直方向上的分辨率均被降低了一半的3个高频分量ωn，m(1，v)、ωn，m(1，d)和ωn，m(1，h)(n，m＝1～8)和1个低频分量sn，m(1)。在这些分量中，将sn，m(1)，即低频分量，输入至第二频率分量分解部112。第二频率分量分解部112对sn，m(1)进行与上述的计算类似的计算，由此而输出ωn，m(2，v)、ωn，m(2，d)、ωn，m(2，h)和sn，m(2)(n，m＝1～4)。
图8是示出频率分量合成部120的电路结构的示例的功能框图。频率分量合成部120包括第二频率分量合成部121、第一频率分量合成部122等的多个频率分量合成部。频率分量合成部120还包括设置用以与各个频率分量合成部相对应的多个校正部123、124等。频率分量合成部120通过应用逆小波变换，对通过由频率分量分解部110进行的频率分量分解处理生成的各个频带的HH、LH、HL和LL图像进行合成。频率分量合成部120包括设置用以分别与第二频率分量合成部121、第一频率分量合成部122等相对应的垂直逆DWT部1211、1212、1221和1222等以及水平逆DWT部1213、1223等。
垂直逆DWT部各自针对已由频率分量分解部110生成的HH、LH、HL和LL图像沿垂直方向应用逆小波变换，由此生成高频图像(H图像)和低频图像(L图像)。垂直逆DWT部1211和1221针对HH图像和HL图像沿垂直方向进行合成处理，由此生成H图像。换言之，这与用于将图7所示的HH图像75和HL图像74合成以由此生成H图像72的处理相对应。该处理的结果是垂直方向的像素数变为合成前的图像的像素数的2倍。垂直逆DWT部1212、1222针对LH图像和LL图像沿垂直方向进行合成处理，由此生成L图像。换句话说，这与用于将图7所示的LH图像77和LL图像76合成以由此生成L图像73的处理相对应。通过该处理，垂直方向的像素数变为合成前的图像的像素数的2倍。
水平逆DWT部1213和1223针对已由前述垂直逆DWT部1211、1221、1212和1222生成的H和L图像沿水平方向应用逆小波变换，由此生成合成图像。换言之，这与用于将图7所示的L图像73和H图像72合成以由此生成合成图像71的处理相对应。如果已由第(j+1)频率分量合成部合成了该合成图像，则该图像变为要输入至第j频率分量合成部的LL图像。已在第一频率分量合成部中合成的图像变为输出图像。如上所述，频率分量合成部120按由频率分量分解部110进行的分解处理的逆顺序进行合成处理。
将参考图7来说明频率合成处理中的具体计算例子。将已在第二频率分量分解部112中分解出的HH图像79(ωn，m(2，d))和已在第二频率分量分解部112中分解出的并由以下所述的校正部123补偿的HL图像78(ωn，m(2，v))输入至垂直逆DWT部1211。在公式(8)所示的计算中合成H图像(ωn，m(2’))。通过该合成处理，垂直方向的像素数变为合成前的图像的像素数的2倍。
公式8

公式(8) 将已由第三频率分量合成部合成并输出的图像710(sn，m(2))作为LL图像输入至垂直逆DWT部1212。还将已在第二频率分量分解部112中分解出的并由以下要说明的校正部123补偿的LH图像711(ωn，m(2，h))输入至垂直逆DWT部1212。通过公式(9)所示的计算来生成L图像(sn，m(2’))。通过该合成处理，垂直方向的像素数变为合成前的图像的像素数的2倍。
公式9

公式(9) 将已在垂直逆DWT部1211中合成的H图像(ωn，m(2’))和已在垂直逆DWT部1212中合成的L图像(sn，m(2’))输入至水平逆DWT部1213。通过公式(10)所示的计算生成合成图像76(sn，m(1))。通过该合成处理，水平方向的像素数变为合成前的图像的像素数的2倍。
公式10

公式(10) 利用上述过程，第二频率分量合成部121对已由第三频率分量合成部合成并输出的图像sn，m(2)(n，m＝1～4)和已在第二频率分量分解部112中分解出的3个高频图像ωn，m(2，d)、ωn，m(2，v)和ωn，m(2，h)(n，m＝1～4)进行合成。作为合成的结果，生成了水平方向和垂直方向的像素数均已增加为2倍的合成图像sn，m(1)(n，m＝1～8)。该合成图像sn，m(1)变为要输入至第一频率分量合成部122的LL图像。
第一频率分量合成部122针对已在第一频率分量分解部111中分解出的前述sn，m(1)(n，m＝1～8)以及ωn，m(1，d)、ωn，m(1，v)和ωn，m(1，h)(n，m＝1～8)，进行与上述计算类似的计算。结果，生成了合成图像sn，m(0)(n，m＝1～16)。该合成图像sn，m(0)是向图像处理部的输入图像的校正图像。
接着，将参考对LH图像的处理作为例子，具体说明由校正部进行的校正处理。与第二频率分量合成部121、第一频率分量合成部122等相对应地分别设置校正部123、124等。将HL、LH和HH图像输入至设置在频率分量合成部内的校正部123、124等。在这些图像中，校正部123、124等对HL和LH图像进行图案噪声抑制处理。图9是示出校正部123的结构的框图。校正部123包括HOB参考部1231、VOB参考部1232和噪声抑制部1233和1234。
HOB参考部1231包括噪声量计算部1231a。噪声量计算部1231a根据所输入的LH图像的HOB部的小波展开系数，计算与频带相对应的各个行的图案噪声成分量，并且后面将说明其细节。HOB参考部1231还包括噪声判断部1231b。噪声判断部1231b根据由噪声量计算部1231a计算出的噪声成分量判断是否存在任意图案噪声。对已判断为出现了噪声的行进行由以下要说明的噪声抑制部1233进行的噪声抑制处理。
VOB参考部1232包括噪声量计算部1232a。噪声量计算部1232a根据所输入的HL图像的VOB部的小波展开系数，计算与频带相对应的各个列的图案噪声成分量。VOB参考部1232还包括噪声判断部1232b。噪声判断部1232b根据由噪声量计算部1232a计算出的噪声成分量判断是否存在任意图案噪声。对已判断为出现了噪声的列进行由以下要说明的噪声抑制部1234进行的噪声抑制处理。该处理使得能够仅补偿出现了图案噪声的任意行或列。
噪声抑制部1233和1234针对在HOB参考部1231或VOB参考部1232处已判断为出现了噪声的任意行或列进行噪声抑制处理。噪声抑制部1233和1234分别包括噪声分离部1233a和1234a。噪声分离部1233a和1234a还用作阈值确定部，该阈值确定部用于根据分别由噪声量计算部1231a和1232a计算出的图案噪声成分量，确定用于将有效部处的被摄体成分和噪声成分分离的阈值。噪声分离部1233a和1234a使用所确定出的阈值将被摄体成分和图案噪声成分分离。噪声抑制部1233和1234将小波展开系数乘以校正系数，从而仅抑制已被噪声分离部1233a和1234a分离的图案噪声成分，并且后面将说明该操作的细节。
将参考对LH图像的处理作为例子来具体说明由校正部123进行的校正处理。图10A和10B是示出校正处理的图。图10A示出输入图像的例子。在图10A的例子中，假定由N来表示垂直方向的像素数，并且由M来表示水平方向的像素数。在该图像中，左端处的第1列～第32列是HOB。将该输入图像输入至第一频率分量分解部111，以通过频率分解(分解级别1)生成LH图像。在图10B中示出该LH图像。在前述LH图像中，针对各列和各行将像素数缩减为分解前的图像的像素数的1/2。因此，LH图像中的HOB与左端处的第1列～第16列相对应。然而，应当注意，根据使用公式(2)进行的计算，第16列包括HOB部的成分和有效部的成分这两者。提取出LH图像的第(n-1)行和第n行中的值(小波展开系数)，以由此计算各个绝对值，在图11A和11B中示出各个绝对值。
图11A和11B示出LH图像中存在图案噪声的行(图11B)和LH图像中未出现图案噪声的行(图11A)的小波展开系数的绝对值。图案噪声成分包括在有效部和遮光HOB部两者中(如图11B所示)，而被摄体边缘成分(如图11A独自所示)仅包括在有效部中。因此，通过在噪声量计算部计算HOB部中的各行的小波展开系数的绝对值的平均值ave(n)，可以计算与各个频带相对应的各行的图案噪声成分量，其中n表示行数。
然而，在HOB内，用于计算平均值ave(n)的列的范围根据频带而不同。图10A是输入图像的例子。在第一频率分量分解部中已分解出的级别1的LH图像中，左端处的第1列～第16列与HOB相对应，并且将除包括了有效部的成分的第16列以外的第1列～第15列用于计算平均值ave(n)。在级别2的LH图像中，左端处的第1列～第8列与HOB相对应，并且使用了除包括有效部的成分的第8列以外的第1列～第7列。同样，在级别3的LH图像中，使用了左端处的第1列～第3列。以这种方式，随着分解级别的增加，HOB中的列的范围减半。在缩减后的列中，使用除包括了有效部的成分的像素以外的列的范围来计算ave(n)。
如图11A所示，当计算出的平均值ave(n)低于预定的噪声判断基准值时，噪声判断部1231b判断为该行中不存在图案噪声。因此，噪声抑制部1233不对该行进行噪声抑制处理。另一方面，如图11B所示，当平均值ave(n)高于前述噪声判断基准值时，噪声判断部1231b判断为该行中存在图案噪声。因此，噪声抑制部1233进行噪声抑制处理。这里，噪声判断基准值可以是固定值，或者可以是分别针对各频带的各校正部的值。还可以使用根据HH图像，即经过了频率分解的对角方向高频分量计算出的值。将在第二实施例中说明该操作的细节。
接着，将说明噪声抑制部1233中的处理。噪声抑制部1233对由HOB参考部1231的噪声判断部1231b判断为具有图案噪声的行进行噪声抑制处理。已判断为出现了噪声的行的有效部包括被摄体的边缘成分和图案噪声成分。由于在有效部中图案噪声的振幅小于被摄体的信号电平，因此经过了频率变换的小波展开系数的绝对值的图案噪声成分小于被摄体边缘成分。因此，可以使用如公式(11)所示的、在考虑了展开系数的波动的情况下将在前述HOB部计算出的平均值ave(n)乘以预定系数所获得的值Wth(n)，作为用于将图案噪声成分和被摄体边缘成分分离的阈值。噪声分离部1233a使用该阈值来分离图案噪声成分和被摄体边缘成分。这里，作为考虑了前述波动的例子，要与ave(n)相乘的预定系数是1.1。
公式11 Wth(n)＝ave(n)×1.1公式(11) 接着，按照单位像素计算出有效部中的小波展开系数的绝对值。根据各单位像素的绝对值的大小，将校正系数与小波展开系数相乘。如图12A～12D所示，在阈值Wth(n)前后校正系数的值不同。图12A是示出在噪声抑制部与小波展开系数相乘的校正系数的图。在有效部中的小波展开系数的绝对值小于阈值Wth(n)的单位像素中，换言之，当该单位像素是图案噪声成分时，将校正系数c(0≤c＜1)与小波展开系数相乘以抑制图案噪声成分。校正系数c的值是例如0.4。在有效部中的小波展开系数的绝对值大于阈值Wth(n)的单位像素中，换言之，当该单位像素是被摄体边缘成分时，将校正系数c＝1与小波展开系数相乘以保持被摄体边缘成分。
可以如公式(12)所示概括前述处理，其中wn，m(j，h)是校正之前的小波展开系数；并且w’n，m(j，h)是校正之后的小波展开系数。此外，j是表示频带的级别，并且h是水平方向分量。
公式12 公式(12) 这里，与在前述例子中相同，在前述小波展开系数的绝对值小于阈值Wth(n)的情况下使用的校正系数c可以是固定值，或者可以是分别针对各频带的值。当校正系数在阈值前后不连续时，该不连续性可能影响图像的轮廓。为了防止该不利影响，例如，校正系数可以如图12B所示连续变化。在该例子中，当小波展开系数是Wth(n)/2以下时校正系数c是0.4，当小波展开系数是Wth(n)以上时校正系数c是1，并且当小波展开系数位于Wth(n)/2和Wth(n)之间时校正系数c在0.4和1之间线性变化。
可选地，如图12C所示，当小波展开系数的绝对值小于阈值Wth(n)时，将校正系数设置为X(ave(n))来使用，以使得校正系数可以根据在HOB部计算出的各行的平均值(n)而变化。在这种情况下，例如，如图12D所示设置X(ave(n))的值。在图12D的例子中，当图案噪声成分ave(n)等于噪声判断基准值时，将X(ave(n))(即，校正系数c)设置为1，随着图案噪声成分越大，X(ave(n))线性减小，并且将X(ave(n))的下限设置为0.1。换言之，具有较大的图案噪声成分的任意行具有较小的校正系数，由此图案噪声成分的抑制量增大。
可以通过对前述LH图像进行校正处理来减小要合成的校正图像的图案噪声的振幅。如前所述，当图案噪声的振幅根据水平位置而不同时，从有效部减去OB的平均值的偏移校正不能在远离OB的位置处获得充分的校正效果。另一方面，即使在图案噪声的振幅根据水平位置而不同时，根据本实施例的通过将小波展开系数乘以校正系数来抑制图案噪声的校正方法也减小了图案噪声的振幅，由此可以获得均匀的校正效果。
使用流程图来概括由如上所述的校正部123执行的校正处理(对LH图像进行的处理的动作的例子)。图13是示出由校正部对LH图像的各行执行的处理的流程的流程图。首先，由HOB参考部1231的噪声量计算部1231a来计算展开系数的绝对值的平均值ave(n)(步骤(下文中称为“S”)101)。
接着，噪声判断部1231b将由噪声量计算部1231a计算出的ave(n)与图案噪声判断基准值相比较(S102)。当ave(n)小于判断基准值而判断为该行中不存在图案噪声时(S102中为“否”)，噪声抑制部不进行噪声抑制处理，由此结束对该行的处理。另一方面，当ave(n)大于该判断基准值时(S102中为“是”)，噪声抑制部1233进行噪声抑制处理。
噪声抑制部1233中的噪声分离部1233a针对已判断为出现了噪声的行，计算用于将图案噪声和被摄体边缘成分分离的阈值Wth(n)(S103)。接着，计算有效部中各像素的展开系数的绝对值(S104)。根据所计算出的绝对值的大小，将具有阈值Wth(n)的校正系数与各像素的小波展开系数相乘，以抑制图案噪声成分(S105)。对各行进行从S101～S105的处理。通过在各个频率分量合成部中的校正部中进行前述处理，仅抑制了图案噪声成分，并且由此获得了包含被摄体边缘成分的LH图像。
已经说明了由HOB参考部1231和噪声抑制部1233对LH图像执行的处理。当在VOB参考部1232和噪声抑制部1234中对HL图像进行上述处理时，可以抑制垂直方向的图案噪声成分。
接着，将说明在第一实施例的摄像设备的图像处理部100中的噪声抑制处理的流程。图14是示出图像处理部100中的噪声抑制处理的典型流程图。首先，图像处理部100获取从DFE 15等获得的图像(S201)。
接着，将该输入图像输入至第一频率分量分解部111，以生成高频图像(HH、HL和LH图像)和低频图像(LL图像)(S202)。将该低频图像(LL图像)输入至第二频率分量分解部112，以类似地生成高频图像(HH、HL和LH图像)和低频图像(LL图像)(S203)。类似地，将在第二频率分量分解部中生成的低频图像(LL图像)输入至第三频率分量分解部以进行进一步分解。重复该处理，直到实现了预定的分解级别为止(S204)。
将已在第j频率分量分解部即最高分解级别中分解出的高频图像(HH、HL和LH图像)和低频图像(LL图像)输入至第j频率分量合成部。在这四个图像中，由校正部对HL图像和LH图像进行噪声抑制。然后，对HH图像和LL图像以及噪声抑制后的HL和LH图像进行频率合成，以生成合成图像(S205)。
将该合成图像作为LL图像连同在第(j-1)频率分量分解部中生成的HH、HL和LH图像一起输入至第(j-1)频率分量合成部，以通过上述的频率合成处理输出合成图像。通过重复前述处理，按分解处理的逆顺序合成图像。在上述S205中进行的噪声抑制的动作以及以下所示的S206和S207中的动作中，进行之前参考图13所述的噪声抑制动作。
将已在第三频率分量合成部中合成的图像(LL图像)和已在第三频率分量分解部中分解出的HH、HL和LH图像输入至第二频率分量合成部121。在校正部中对HL和LH图像进行噪声抑制，然后将噪声抑制后的HL和LH图像连同HH和LL图像一起合成(S206)。
将已在第二频率分量合成部121中生成的合成图像(LL图像)和已在第二频率分量分解部112中分解出的HH、HL和LH图像输入至第一频率分量合成部122。然后，对已在校正部中进行了噪声抑制的HL和LH图像以及HH图像和LL图像进行频率合成，以生成合成图像(S207)。该图像是相对于输入图像图案噪声被抑制的校正图像，并将该图像从图像处理部输出(S208)。该输入图像可以是经过了拜尔分离的各个色带，即R、Gb、Gr和B的图像。在这种情况下，可以对四个图像中的每一个图像进行图14所示的各处理。
如上所述，在第一实施例中，各频率分量分解部顺次将输入图像分解成各频带的HH、HL、LH和LL图像。在校正部中抑制各个HL和LH图像的图案噪声成分，以由频率分量合成部顺次合成被分解的各个图像，由此可以获得仅在图案噪声存在的部分中抑制了图案噪声的校正图像。
第二实施例 除了代替频率分量合成部120设置了进行与频率分量合成部120的动作不同的动作的频率分量合成部220以外，第二实施例与第一实施例相同。因此，利用与在上述第一实施例中相同的附图标记来表示具有与第一实施例中的功能相同的功能的部分，并且适当省略对其的重复说明。图15是示出第二实施例的频率分量合成部220的电路结构的示例的功能框图。频率分量合成部220包括包含垂直逆DWT部2211、2212、2221和2222等以及水平逆DWT部2213、2223等的第二频率分量合成部221和第一频率分量合成部222。各个部件具有与第一实施例的垂直逆DWT部1211、1212、1221和1222等以及水平逆DWT部1213、1223等的功能相同的功能。频率分量合成部220还包括校正部223、224等。将已在各频率分量分解部中生成的HL、LH和HH图像输入至校正部223、224等。
图16是示出校正部223的结构的框图。校正部223包括HOB参考部2231、VOB参考部2232和噪声抑制部2233和2234。与在第一实施例中相同，HOB参考部2231和VOB参考部2232均包括噪声量计算部和噪声判断部(两者均未示出)。与在第一实施例中相同，噪声抑制部2233和2234还均包括噪声分离部(未示出)。
将已输入至校正部223的HH图像输入至HOB参考部2231和VOB参考部2232。HOB参考部2231计算HH图像的HOB部的展开系数的绝对值的平均值。VOB参考部2232计算HH图像的VOB部的展开系数的绝对值的平均值。乘以了预定系数(例如，1.1)的这些平均值分别是HOB参考部2231和VOB参考部2232的噪声判断基准值。使用这些噪声判断基准值对HL和LH图像进行的校正处理与在第一实施例中参考图13的流程图所述的处理相同。
在第一实施例中，在两者均设置在校正部内的HOB参考部1231或VOB参考部1232中，使用预定的固定值作为用于判断针对各行或各列是否产生了任意图案噪声的噪声判断基准值。作为对比，根据第二实施例，根据作为在各频率分量分解部中生成的对角方向高频分量的HH图像的HOB部或VOB部的展开系数的绝对值的平均值，计算噪声判断基准值。随机噪声包括在使用图像传感器拍摄到的图像的OB部和有效部两者中。对于由频率分量分解部分解出的全部频带的高频分量HH、HL和LH，包括了基本相同的随机噪声量。在这些噪声中，由于HH图像不包含水平或垂直方向的图案噪声成分，因此HH图像的HOB部仅包含随机噪声成分。
例如，当未出现水平方向的图案噪声时，LH图像的HOB的展开系数的绝对值与HH图像的HOB的展开系数的绝对值基本相同。相反，当出现水平方向的图案噪声时，仅LH图像的HOB部中存在图案噪声的行的展开系数的绝对值大于HH图像的HOB部的行的展开系数的绝对值。因此，可以使用根据HH图像的HOB部或VOB部中的展开系数的绝对值的平均值计算出的值，作为用于判断LH和HL图像中是否存在图案噪声的噪声判断基准值。
这样，在第二实施例中，使用根据HH图像的HOB部或VOB部中的展开系数的绝对值的平均值计算出的值，作为用于判断LH和HL图像中是否存在图案噪声的噪声判断基准值。结果，可以与随机噪声的大小无关地精确地判断出图案噪声出现状况，由此可以提高噪声抑制之后的图像质量。
第三实施例 除了代替第一实施例中的噪声抑制部1233和1234设置了进行与噪声抑制部1233和1234的动作不同的动作的噪声抑制部3233(与图16的2233相对应)以外，第三实施例与第一实施例相同。因此，利用与在上述第一实施例中相同的附图标记来表示具有与第一实施例的功能相同的功能的部分，并且适当省略对其的重复说明。图17是示出在第三实施例中由校正部要对LH图像的各行进行的处理的流程的流程图。图17与第一实施例的图13相对应。本实施例的动作与第一实施例的动作的不同之处在于在S304和S306中使用了强度比Wr(m)。此外，S301～S303与S101～S103相对应。这里，将说明强度比Wr(m)。
如早前所述，由于CMOS图像传感器内的各像素共用电源和GND，因此如果这些像素的电源和GND临时波动，则出现水平方向的图案噪声。由于从各像素的电源和GND的布线长度根据图像传感器内所设置的电源和GND配置的位置而不同，因此布线的阻抗也根据像素而不同。因此，远离电源和GND的位置中的像素可能引起布线的阻抗增加，由此电源和GND中的波动的影响变得更强烈。结果，在离电源和GND更远的位置处图案噪声强度也增大。例如，当从图像传感器的左侧提供电源和GND时，在像素的右侧处图案噪声强度增大。
在由于配置电源和GND的位置而出现的具有依赖于水平位置的不同强度的图案噪声的情况下，由与电源和GND的距离确定强度比，因而该比是固定值。因此，通过在图像传感器的制造过程中拍摄遮光图像，根据拍摄到的图像确定依赖于图案噪声的水平位置的强度比，并且在校正部中使用该强度比，可以对具有根据前述水平位置而不同的强度的图案噪声进行校正。在该特定实施例中，将该强度比表示为强度比Wr(m)。
接着，将说明用于计算强度比Wr(m)的方法。由第一实施例的图6所示的频率分量分解部110将在制造过程中在遮光状态下拍摄到的图像分解成各频带的HH、LH、HL和LL图像。当对依赖于图案噪声的水平位置的强度进行校正时，得到各个分解出的频带的LH图像的绝对值，以提取出各列的最大值。在所提取出的各列的最大值的图上，出现了依赖于图案噪声的水平位置的强度差。
图18A和18B是示出如何计算强度比Wr(m)的图。图18A是根据已由第一频率分量分解部111分解出的LH图像的展开系数的绝对值计算出的各列的所提取出的最大值的图。图18A和18B的横轴表示与图像传感器在左右方向上的位置相对应地示出的该图像传感器的水平位置。当从图像传感器的左侧提供电源和GND时，如图18A所示，离图像传感器的右侧区域越近，图案噪声成分的展开系数变得越大。图18B是示出将各列的全体最大值数据除以所计算出的HOB部的平均值的图。图18B示出基于HOB部中的图案噪声强度的水平位置中的强度比。针对各频带计算强度比，以确定强度比适合直线或多项式的函数Wr(m)。假定m是水平位置，则该函数是用于对依赖于图案噪声的水平位置的强度差进行校正的强度比Wr(m)。代替强度比Wr(m)，可以照原样使用图18B所示的强度比的数据。
返回参考图17，将说明本实施例的校正部的动作。S301～S303的处理与第一实施例的图13所示的S101～S103的处理相同。在S304中，代替阈值Wth(n)，计算从将阈值Wth(n)与强度比Wr(m)相乘所获得的Wth’(n，m)，作为用于将图案噪声成分和被摄体边缘成分分离的阈值。步骤S305与第一实施例的图13所示的S104相同。在S306中，根据计算出的绝对值的大小，使用阈值Wth’(n，m)将图案噪声成分和被摄体边缘成分分离，并且将具有阈值Wth’(n，m)的校正系数与各像素的展开系数相乘，由此抑制图案噪声成分。
图19是示出当依赖于水平位置出现具有强度差的图案噪声时LH图像中存在图案噪声的行的展开系数的绝对值和阈值Wth’(n，m)的图。通过使用已预先计算出的强度比Wr(m)将作为n和m的函数的Wth’(n，m)设置为阈值，具有较大的图案噪声强度的部分具有较高的阈值。因而，即使图案噪声根据水平位置而具有不同的强度，也可将图案噪声成分与被摄体图像成分精确地分离。代替公式(12)，还将如第一实施例的图13所示的S105中要与展开系数相乘的校正系数设置为使用强度比Wr(m)的公式(13)。
公式13 公式(13) 将展开系数的绝对值小于阈值Wth’(n，m)的成分，即要与图案噪声成分相乘的校正系数除以强度比Wr(m)。图20是示出将校正系数除以强度比Wr(m)的图。在图20中的例子中，所使用的强度比Wr(m)是图18B所示的强度比。通过减小图案噪声强度大的部分处的校正系数，增大了噪声抑制量。这样，即使对于根据水平位置具有强度差的图案噪声，也可以实现精确的校正。
第四实施例 除了代替频率分量合成部120设置了进行与频率分量合成部120的动作不同的动作的频率分量合成部420以外，第四实施例与第一实施例相同。因而，利用与上述第一实施例中相同的附图标记来表示具有与第一实施例的功能相同的功能的部分，并且适当地省略对其的重复说明。图21是示出第四实施例中的频率分量合成部420的电路结构的示例的功能框图。
频率分量合成部420包括包含垂直逆DWT部4211、4212、4221和4222等以及水平逆DWT部4213、4223等的第二频率分量合成部421、第一频率分量合成部422等。这些部分各自具有与第一实施例的垂直逆DWT部1211、1212、1221和1222等以及水平逆DWT部1213、1223等的功能相同的功能。频率分量合成部420还包括校正部423、424等。将已在各频率分量分解部中生成的HL和LH图像以及LL图像输入至校正部423、424等。
图22是示出校正部423的结构的框图。校正部423包括HOB参考部4231、VOB参考部4232、以及噪声抑制部4233和4234。与在第一实施例中相同，HOB参考部4231和VOB参考部4232均包括噪声量计算部和噪声判断部(两者均未示出)。与在第一实施例中相同，噪声抑制部4233和4234均包括噪声分离部(未示出)。校正部423还包括亮度参考部4235。
假定j是LL图像的分解级别，亮度参考部4235将所输入的LL图像的各缩放系数除以2j，由此将缩放系数变换成亮度水平。假定n和m分别是垂直位置和水平位置，例如，根据已变换成亮度水平的LL图像的各像素的值计算出如图23所示的根据亮度水平的亮度系数Y(n，m)。图23是用于根据被摄体的亮度水平计算亮度系数的图。
将已由亮度参考部4235计算出的亮度系数Y(n，m)输入至噪声抑制部4233和4234。由噪声抑制部4233和4234执行的处理与由第一实施例的图9所示的噪声抑制部1233和1234执行的处理基本相同，因此将省略详细的说明。噪声抑制部4233和4234与噪声抑制部1233和1234的不同之处在于要与小波展开系数相乘的校正系数不是如公式(12)所示的固定值，而是将校正系数乘以如上所述已计算出的亮度系数Y(n，m)所得的值。换言之，如公式(14)所示，将依赖于各单位像素的亮度的校正系数用于同与阈值Wth(n)相比具有较小的展开系数的成分，即图案噪声成分相乘。
公式14 公式(14) 如上所述，在第四实施例中，在针对各频带所设置的校正部中的噪声抑制部处，用于与HL和LH图像相乘的校正系数根据拍摄到的图像的亮度而变化。当在混合了清楚限定的明暗部分的拍摄到的图像中出现图案噪声时，与明部分中的信号电平相比较，在暗部分中信号电平低，从而导致差的S/N比。结果，在明部分中图案噪声不明显，而在暗部分中图案噪声明显。因此，当通过使用对于整体图像一致的校正系数来抑制噪声时，尽管明部分中的图案噪声不可见，但暗部分中的图案噪声仍保持可见。
为了解决这些情况，在第四实施例中，在噪声抑制部中，用于与HL和LH图像的各位置相乘的校正系数根据拍摄到的图像的亮度水平而变化。换言之，在拍摄到的图像的亮度水平较低的位置处，将校正系数设置为较小，从而增加噪声抑制量。
代替从拍摄到的图像获取亮度水平，从作为各频带的低频分量的LL图像获取亮度水平。该LL图像具有与要校正的HL和LH图像的分辨率相同的分辨率，以使得不需要通过从拍摄到的图像再次应用分辨率变换来计算各单位像素的亮度。应当注意，与分解前的LL图像的分辨率相比较，对于每1级别分解，在第一实施例的频率分量分解部中已生成的LL图像的分辨率在垂直和水平方向上都减半，而各缩放系数增加为2倍。
因此，可以将已在第一频率分量分解部中生成的级别1的LL图像转换成通过将各缩放系数除以2所得的亮度水平。可以将级别2的LL图像转换成通过将各缩放系数除以22所得的亮度水平。以这种方式，将级别j的LL图像转换成通过将缩放系数除以2j所得的用于使用的亮度水平。根据第四实施例，校正系数根据亮度水平变化，由此即使对于图像内具有大的亮度差的拍摄到的图像，也可将暗部分中的图案噪声抑制得不明显。
第五实施例 在具有已在第一实施例的频率分量分解部中生成的低分辨率的图像中，有效部的成分也包括在邻接该有效部的OB像素的频率分量中。因此，出现了在计算OB部的平均值时不能使用该像素的情况。在第五实施例中，通过将输入图像分别分离成有效部、HOB部和VOB部以提供独立的频率分解来解决上述情况。此外，在第五实施例中，利用与在上述第一实施例中相同的附图标记来表示具有与第一实施例的功能相同的功能的部分，并且适当省略对其的重复说明。
图24是示出第五实施例的图像处理部500的电路结构的示例的框图。图像处理设备500包括频率分量分解部510a、510b和510c、频率分量合成部520、以及图像区域分离部530。图像区域分离部530将输入图像分离成3部分有效部、HOB部和VOB部。将分离后的图像分别输入至频率分量分解部510a、510b和510c。频率分量分解部510a、510b和510c的内部结构与第一实施例的图6所示的频率分量分解部110的内部结构相同。为了区分在各个频率分量分解部中生成的图像，在频率分量分解部510a中要从图像的有效部生成的各频带的图像期望为HHa、HLa、LHa和LLa。频率分量分解部510b期望从HOB图像生成各频带的HHh、HLh、LHh和LLh图像。频率分量分解部510c期望从VOB图像生成各频带的HHv、HLv、LHv和LLv图像。由于在本实施例中没有直接使用HHh和HLh图像以及HHv和LHv图像，因此可以不提供这些图像。将已在频率分量分解部510a、510b和510c中生成的图像输入至频率分量合成部520。
图25是频率分量合成部520的电路结构的示例的功能框图。频率分量合成部520(521，522)包括垂直逆DWT部5211、5212、5221和5222等以及水平逆DWT部5213、5223等。各个部分具有与第一实施例的垂直逆DWT部1211、1212、1221和1222等以及水平逆DWT部1213、1223等的功能相同的功能。频率分量合成部520还包括校正部523、524等。将已从有效部的图像生成的HLa和LHa、已从HOB部的图像生成的LHh以及已从VOB部的图像生成的HLv输入至校正部523、524等。
图26是示出校正部523的结构的框图。校正部523包括HOB参考部5231、VOB参考部5232以及噪声抑制部5233和5234。与在第一实施例中相同，HOB参考部5231和VOB参考部5232均包括噪声量计算部和噪声判断部(两者均未示出)。与在第一实施例中相同，噪声抑制部5233和5234均包括噪声分离部(未示出)。
HOB参考部5231接收LHh图像的输入，计算各行的展开系数的绝对值的平均值ave(n)，并将该平均值ave(n)与噪声判断基准值进行比较，其中n是垂直位置。该处理的细节与在第一实施例的图9所示的HOB参考部1231中所述的处理类似。
VOB参考部5232输入HLv图像，计算各列的展开系数的绝对值的平均值ave(m)，并将该平均值ave(m)与噪声判断基准值进行比较，其中m是水平位置。该处理的细节与在第一实施例的图9所示的VOB参考部1232中所述的处理类似。噪声抑制部5233和5234分别输入已从有效部的图像生成的HLa和LHa图像。噪声抑制部5233对由HOB参考部5231判断为具有图案噪声的行进行噪声抑制处理。噪声抑制部5234对VOB参考部5232已判断为出现了图案噪声的列进行噪声抑制处理。该处理的细节与在第一实施例的图9所示的噪声抑制部1233和1234中所述的处理类似。
对各频带进行校正部523中的噪声抑制处理，以顺次合成已由频率分量分解部分解的各图像，由此可以获得图案噪声已被抑制的有效部的图像。根据第五实施例，可将OB部的全部像素用于计算OB部的平均值，由此可以更精确地进行噪声抑制处理。
第六实施例 在第一实施例中，(图2所示的)图像传感器60包括以条带状分别设置在水平方向和垂直方向的端部处的两个OB部。更具体地，如图2所示，图像传感器60包括设置在图像传感器60的左端处的水平光学黑体(HOB)61和设置在图像传感器60的上端处垂直光学黑体(VOB)62。作为对比，本实施例的图像传感器60包括分别设置在水平方向和垂直方向的两端处的OB部(第一和第二遮光像素区域)。换言之，将OB部以条带状设置在相对侧上。除由校正部执行的动作以外的动作与第一实施例的动作相同，并且这里将不给出进一步说明。
图27是示出使用CMOS图像传感器的本实施例的图像传感器60的示意结构的图。图像传感器60包括作为像素区域的水平光学黑体(HOB_L 661和HOB_R 662)、垂直光学黑体(VOB_U663和VOB_D 664)和有效部665。HOB_L 661和HOB_R 662是以条带状分别设置在像素区域的左端和右端的遮光像素区域，并且被遮光以防止从被摄体反射的光到达图像传感器60。VOB_U663和VOB_D 664是以条带状分别设置在像素区域的上端和下端的遮光像素区域，并且被遮光以防止从被摄体反射的光到达图像传感器60。有效部665是未被遮光、从被摄体反射的光可以到达的非遮光像素区域。
在下文，将说明由第六实施例的校正部123对LH图像的各行执行的处理的流程。图28A和28B是示出校正处理的图。图28A示出输入图像的例子。在图28A的例子中，N是在垂直方向的像素数，并且M是在水平方向的像素数。在该图中，左右端的各32列分别是HOB_L和HOB_R区域。将该输入图像输入至频率分量分解部110，以通过频率分解生成LH图像。在图28B中示出了该LH图像。在前述LH图像中，对于列和行两者，像素数是分解前的图像的1/2。因而，LH图像中的HOB_L和HOB_R区域与设置在左端和右端处的各16列相对应。然而，应当注意，如从使用公式(2)的计算可以理解，与有效部邻接的列包括HOB部的成分和有效部的成分这两者。图29示出在提取出LH图像的行的值(小波展开系数)之后所计算出的绝对值的结果。
图案噪声成分包括在有效部和遮光HOB部两者中，而被摄体边缘成分仅包括在有效部中。因而，通过在噪声量计算部计算HOB_L和HOB_R的各行的小波展开系数的绝对值的平均值ave_L(n)和ave_R(n)，可以计算出与各个频带相对应的各个行的图案噪声成分量，其中n表示行数。然而，应当注意，由于有效部的成分包括在邻接该有效部的HOB_L和HOB_R区域的列中，因此该列不用于计算平均值ave_L(n)和ave_R(n)。
在噪声判断部中，将已在噪声量计算部中计算出的ave_L(n)和ave_R(n)与针对HOB_L和HOB_R区域分别设置的噪声判断基准值进行比较。当ave_L(n)和ave_R(n)均大于噪声判断基准值时，噪声判断部判断为该行中存在图案噪声。用于判断是否存在图案噪声的条件还可以是ave_L(n)和ave_R(n)的任一个大于噪声判断基准值。与在第二实施例中相同，将作为在各个频率分量分解部中形成的对角方向高频分量的HH图像的各HOB_L区域和HOB_R区域的展开系数的绝对值的平均值用作噪声判断基准值。
接着，将说明噪声抑制部1233中的处理。噪声抑制部1233对HOB参考部1231的噪声判断部1231b已判断为出现了图案噪声的行进行噪声抑制处理。判断为已出现了噪声的行的有效部包括被摄体的边缘成分和图案噪声成分。由于在有效部中图案噪声的振幅小于被摄体的信号电平，因此已应用了频率变换的小波展开系数的绝对值的图案噪声成分也小于被摄体边缘成分。因此，可以将如公式(15)所示的通过对已在HOB_L和HOB_R区域中分别计算出的ave_L(n)和ave_R(n)的值进行线性插值的函数Wth(n，m)，用作用于将图案噪声成分和被摄体边缘成分分离开的阈值，其中n表示行数并且m表示列数。在公式(15)中，考虑到展开系数的波动，用于相乘的系数是1.1。将下面的公式表示为线性函数，但可以是任意类型的函数。
公式15 公式(15) 噪声分离部1233a使用前述阈值将图案噪声成分和被摄体边缘成分分离。通过使用前述方法，即使图案噪声在左右方向上具有不同的强度，也可以将图案噪声成分与被摄体边缘成分精确地分离。接下来，针对每单位像素计算有效部中的小波展开系数的绝对值。根据各单位像素的绝对值的大小，将校正系数与小波展开系数相乘。可以如公式(16)所示概括该校正系数，其中wn，m(j，h)是校正之前的小波展开系数，并且w’n，m(j，h)是校正之后的小波展开系数。此外，j是表示频带的级别，并且h是水平方向分量。
公式16 公式(16) 在有效部中的小波展开系数的绝对值小于阈值Wth(n，m)的单位像素中，换言之，当该单位像素是图案噪声成分时，将校正系数c’(0＜c’＜1)与小波展开系数相乘，以抑制图案噪声成分。在有效部中的小波展开系数的绝对值大于阈值Wth(n，m)的单位像素中，换言之，当该单位像素是被摄体边缘成分时，将校正系数c＝1与小波展开系数相乘，以保持被摄体边缘成分。如公式(17)所示，根据ave_L(n)和ave_R(n)计算要与图案噪声成分相乘的校正系数c’。
公式17 公式(17) 公式(17)所示的校正系数c’是在ave_L(n)和ave_R(n)的倒数之间延伸的直线。在图30中示出校正系数c’的图形。校正系数c’越小，则图案噪声成分越大，由此噪声抑制量也增大。结果，可以减少噪声抑制之后左右之间的强度差。与图29所示的展开系数wn，m(j，h)相对比，在图31中示出在公式(16)和(17)所示的计算之后的展开系数w’n，m(j，h)的绝对值。通过使用HOB_L和HOB_R区域两者的值确定阈值并且使用如公式(17)所示的与图案噪声成分相对应的校正系数，可以有利地抑制左右之间具有强度差的图案噪声。
使用流程图来概括由如上所述的校正部123所执行的校正处理(对LH图像的处理动作的例子)。图32是示出由校正部对LH图像的各行执行的处理的流程的流程图。首先，由HOB参考部1231的噪声量计算部1231a来计算各HOB_L和HOB_R区域中的展开系数的绝对值的平均值ave_L(n)和ave_R(n)(步骤(下文中称为“S”)601)。接着，噪声判断部1231b将已由噪声量计算部1231a计算出的各个ave_L(n)和ave_R(n)与图案噪声判断基准值进行比较(S602)。
当ave_L(n)和ave_R(n)的任一个或这两者小于噪声判断基准值而判断为该行中不存在图案噪声时(S602中为“否”)，噪声抑制部不进行噪声抑制处理，由此对该行的处理结束。另一方面，当ave_L(n)和ave_R(n)均大于判断基准值时(S602中为“是”)，噪声抑制部1233进行噪声抑制处理。噪声抑制部1233中的噪声分离部1233a针对已判断为出现了图案噪声的行，计算用于将图案噪声和被摄体边缘成分分离开的阈值Wth(n，m)(S603)。
接着，计算有效部中各像素的展开系数的绝对值(S604)。根据计算出的绝对值的大小，将具有阈值Wth(n，m)的校正系数与各像素的小波展开系数相乘，以抑制图案噪声成分(S605)。对各行进行S601～S605的处理。通过在各个频率分量合成部的校正部中进行前述处理，仅抑制了图案噪声成分，由此获得了保持了被摄体边缘成分的LH图像。
已经说明了由HOB参考部1231和噪声抑制部1233对LH图像执行的处理。当在VOB参考部1232和噪声抑制部1234中对HL图像进行上述处理时，可以抑制垂直方向的图案噪声成分。
第七实施例 与在第六实施例中相同，本实施例的图像传感器60包括以条带状分别设置在水平方向和垂直方向的两端的OB部。在第六实施例中，在校正部中的噪声抑制部，通过将有效部的小波展开系数乘以小于1的校正系数来抑制图案噪声成分。作为第七实施例中的另一噪声抑制方法，通过从有效部的展开系数减去已根据HOB_L和HOB_R区域计算出的图案噪声成分来去除噪声成分。
图33是示出在第七实施例中由校正部对LH图像的各行执行的处理的流程的流程图。步骤S701和S702与第六实施例的图32中所示的S601和S602相同。在S703中，根据已由HOB参考部计算出的ave_L(n)和ave_R(n)的值使用公式(18)来计算图案噪声成分Wpn(n，m)。在公式(18)中，n表示行数并且m表示列数。
公式18 公式(18) 在S704中，如公式(19)所示，通过从有效部的各像素的展开系数wn，m(j，h)减去图案噪声成分Wpn(n，m)，来计算校正之后的展开系数w’n，m(j，h)。
公式19 公式(19) 图34A示出在提取出LH图像的行的值(小波展开系数)之后所计算出的绝对值的结果。图34A还示出已使用公式(18)计算出的图案噪声成分Wpn(n，m)。图34B示出从对展开系数进行的公式(19)所示的处理所获得的结果。通过针对各行进行前述处理，可以从有效部去除左右方向具有强度差的图案噪声成分。
变形例 要理解，本发明不限于上述优选实施例。在不背离本发明的精神和范围的情况下，在本发明中可以进行各种变化和修改。
(1)在各前述实施例中，尽管由设置在摄像设备内的图像处理部进行校正处理，但在将由图像传感器拍摄到的图像输出之后，例如可以由个人计算机等的外部电路进行校正处理。在这种情况下，个人计算机等通过安装图像处理程序可以用作与上述图像处理部的部件等同的部件。
(2)尽管已针对数字照相机的例子在各个前述实施例中进行了说明，但本发明不限于此。例如，本发明可应用于摄像机或监视照相机等的其它形式的摄像设备。
(3)尽管已针对使用CMOS图像传感器作为图像传感器60的例子在各个前述实施例中进行了说明，但本发明不限于此。例如，本发明可应用于CCD图像传感器。
尽管这里没有给出进一步的说明，但可以以适当的组合使用实施例和变形例。本发明不限于前述实施例。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。本申请要求2008年8月12日提交的日本专利申请2008-207787和2009年4月7日提交的日本专利申请2009-092987的优先权，在此通过引用包含其全部内容。
权利要求
1.一种图像处理装置，包括
频率分量分解部，用于将从具有遮光像素区域和非遮光像素区域的图像传感器获得的图像分解成两个以上的频率分量；
噪声量计算部，用于基于所述遮光像素区域中的频率分量，计算该频率分量的噪声量；
噪声抑制部，用于根据已由所述噪声量计算部计算出的所述噪声量，抑制所述非遮光像素区域中的频率分量的噪声成分；以及
频率分量合成部，用于将已由所述频率分量分解部分解出的频率分量进行合成，以形成图像。
2.根据权利要求1所述的图像处理装置，其特征在于，还包括
噪声分离部，用于根据已由所述噪声量计算部计算出的所述噪声量，将所述非遮光像素区域中的频率分量的噪声成分与被摄体成分分离开，
其中，所述噪声抑制部抑制已由所述噪声分离部分离出的所述噪声成分。
3.根据权利要求2所述的图像处理装置，其特征在于，所述噪声分离部通过将由所述噪声量计算部计算出的列噪声量或行噪声量与噪声判断基准值进行比较来判断各列或各行是否有噪声产生，并且在已判断为产生了噪声的列或行中将所述噪声成分和所述被摄体成分分离开。
4.根据权利要求3所述的图像处理装置，其特征在于，所述噪声判断基准值是基于已由所述噪声量计算部从所述遮光像素区域中由所述频率分量分解部分解出的对角方向高频分量计算出的噪声量而确定的。
5.根据权利要求2所述的图像处理装置，其特征在于，还包括
阈值确定部，用于基于已由所述噪声量计算部计算出的所述噪声量确定阈值，
其中，所述噪声分离部使用由所述阈值确定部确定出的所述阈值，将所述噪声成分和所述被摄体成分分离开。
6.根据权利要求5所述的图像处理装置，其特征在于，所述遮光像素区域至少由在两个相对侧处被遮光的第一遮光像素区域和第二遮光像素区域构成，并且所述阈值确定部通过对所述第一遮光像素区域和所述第二遮光像素区域的噪声量进行线性插值来确定所述阈值。
7.根据权利要求1所述的图像处理装置，其特征在于，所述噪声抑制部通过将由所述频率分量分解部分解出的两个以上的频率分量中的高频分量乘以校正系数，来抑制所述噪声成分。
8.根据权利要求7所述的图像处理装置，其特征在于，所述校正系数是能够根据拍摄到的图像的亮度而变化的值。
9.根据权利要求1所述的图像处理装置，其特征在于，所述噪声抑制部从由所述频率分量分解部分解出的频率分量中的高频分量减去所述噪声成分。
10.根据权利要求5所述的图像处理装置，其特征在于，所述噪声抑制部通过将所述频率分量分解部分解出的频率分量中的高频分量乘以校正系数来抑制所述噪声成分，其中，所述校正系数是能根据所述阈值确定部确定的所述阈值而变化的值。
11.根据权利要求1所述的图像处理装置，其特征在于，还包括
图像区域分离部，用于将从所述图像传感器获得的图像分离成从所述遮光像素区域获得的图像和从所述非遮光像素区域获得的图像，
其中，所述频率分量分解部将在所述图像区域分离部中分离出的各图像分解成两个以上的频率分量。
12.根据权利要求1所述的图像处理装置，其特征在于，所述频率分量分解部进行小波变换，并且所述频率分量合成部进行逆小波变换。
13.一种摄像设备，包括
图像传感器，其具有遮光像素区域和非遮光像素区域；
频率分量分解部，用于将从所述图像传感器获得的图像分解成两个以上的频率分量；
噪声量计算部，用于基于所述遮光像素区域中的频率分量，计算该频率分量的噪声量；
噪声抑制部，用于根据已由所述噪声量计算部计算出的所述噪声量，抑制所述非遮光像素区域中的频率分量的噪声成分；以及
频率分量合成部，用于将已由所述频率分量分解部分解出的频率分量进行合成，以形成图像。
14.一种图像处理方法，包括以下步骤
将从具有遮光像素区域和非遮光像素区域的图像传感器获得的图像分解成两个以上的频率分量；
根据所述遮光像素区域中的频率分量，计算该频率分量的噪声量；
根据所计算出的噪声量，抑制所述非遮光像素区域中的频率分量的噪声成分；以及
将分解出的频率分量进行合成，以形成图像。
全文摘要
本发明涉及一种图像处理装置、摄像设备和图像处理方法。该图像处理装置包括频率分量分解部，用于将从具有遮光像素区域和非遮光像素区域的图像传感器获得的图像分解成两个以上的频率分量；噪声量计算部，用于基于遮光像素区域中的频率分量计算该频率分量的噪声量；噪声抑制部，用于根据已由噪声量计算部计算出的噪声量抑制非遮光像素区域中的频率分量的噪声成分；以及频率分量合成部，用于将已由频率分量分解部分解出的频率分量进行合成，以形成图像。
文档编号H04N1/40GK101651774SQ200910161380
公开日2010年2月17日 申请日期2009年8月12日 优先权日2008年8月12日
发明者池户秀树 申请人:佳能株式会社