视频输入处理器、成像信号处理电路和降低噪声的方法

专利名称：视频输入处理器、成像信号处理电路和降低噪声的方法
技术领域：
本发明涉及用于成像景物并抑制通过信号处理所产生的成像信号的噪声 分量的视频输入处理器。本发明还涉及成像信号处理电路和降低成像信号中 噪声的方法。
背景技术：
当通过被设计为例如以提高的ISO敏感度成像运动图片序列或静止图像 的照相机装置来成像景物时，激活自动曝光功能。这缩短了传感器(成像装 置)的曝光时间并增大了来自传感器的输出信号的增益。因此，由传感器本 身和位于其周围的IC所产生的噪声的影响变得更加明显。结果，最终图像成 为具有很差信噪比的带噪图像。
由与传感器本身相关的因素以及各种其他周围因素(如位于传感器周围 的IC的操作频率)产生噪声。此外，图像受由于信号源(传感器)本身特性 的变化和信号源本身的时间方面的(timewise)变化而引起的从低频到高频的
各种噪声模式影响。
用于在照相机装置内部执行信号处理以降低或抑制噪声的公知技术采用 具有大量降噪抽头(tap)的滤波器的电路进行降噪。通过由该电路执行的处 理改进了所显示图像的信噪比。
然而，如果由具有大量抽头的任意普通低通滤波器(如高斯滤波器)执 行所述处理，则附随地扩散边缘信息。在输出图像中，每一个边缘的陡度下 降，并且可见分辨率(apparentresolution)劣化。为了解决该问题，在照相机 信号的处理期间，通过在保持分辨率的同时执行滤波处理以改进输入图像的 S/N的降噪技术是必要的。方法使用配备有给定滤色镜(如红(R)、绿(G)
和蓝(B)滤光片)的成像装置。来自景物的光经过用于截除不可见辐射分量 的IR (红外辐射)截除滤波器，尤其在近红外区域中。由具有滤色镜的成像 装置接收通过IR截除滤波器的辐射。从成像装置输出具有高彩色再现性的图 像。另外，成像相同的景物，并且产生的图像不通过IR截除滤光片透射，以 获得具有更大量信息的图像。从其信息量通过不允许图像经过IR截除滤光片 来保持的图像中检测边缘信息(例如，见^-八-2006-180269 (专利对比文件 l))。
在以上所引用的专利对比文件1中，将用于获得边缘信息的图像称为不 可见光图像(在实施例中，称为红外光图像)。该图像保存(hold)包含从低 频到高频的宽范围的频率分量的图像信息，在图像通过IR截除滤光片之前获 得所述图像信息。
在以上所引用的专利对比文件1中，不可见光图像(红外光图像)通过 高通滤波器，以提取高频分量。同时，在增益方面调整可见光图像，即具有 高彩色再现性并且在被通过IR截除滤光片之后捕获的图像。然后，将图像通 过低通滤波器，以去除噪声。然而，当图像通过低通滤波器时，扩散了分辨 率信息，劣化了每一个边缘的陡度。因此，在以上所引用的专利对比文件1 中，组合通过低通滤波器的可见光图像和通过高通滤波器的红外光图像，所 述红外光图像保存边缘信息。因此，可以同时实现降噪和防止边缘信息扩散 (每一个边缘的卩走度劣化)。
关于IR截除滤光片，可以将选择性地透射或阻塞红外光分量的功能给予 成像装置的单个滤色镜层。
例如，JP-A-2005-006066 (专利对比文件2 )公开了其每一个像素单元均 由红(R)、缘(G)和蓝(B)三原色透射滤光片以及具有对红外区域敏感度 并透射红外光的红外通过滤光片(infrared pass filter)组成。专利对比文件2 声明红外滤光片可以是白色(W)滤光片。
另一方面，关于在白平衡调整期间执行的增益调整、彩色校正以及降噪， 具有红外光分量的成像信号的处理是公知的(见JP-A-2001-078204和 JP-A-2005-303704 (专利对比文件3和4 ))
发明内容
例如，类似于专利对比文件2所示的成像装置，每一个均具有红(R)、
绿(G)、蓝(B)和白(W)滤色镜的像素可以以2x2排列放置。以二维重 复地排列像素单元。用于透射红外(IR)光的红外通过滤光片可以仅在白(W) 像素上形成。因此，R、 G和B的可见光图像以及红外光图像(W+IR)(在 下文中可以称为A ("ALL"的缩写)图像)可以从一个成像装置中输出。
专利对比文件1中描述的技术可以通过使用如上所述作为可见光图像获 得的R、 G和B图像并使用作为红外光图像的A图像，执行用于关于可见光 图像降噪的处理。
专利对比文件1中描述的图像处理部分的配置在图13中示出。所示图像 处理部分(由100指示)具有增益调整部分101、作为降噪部分的低通滤波 器(LPF) 102、高通滤波器(HPF) 103以及图像合成器部分104。
增益调整部分101调整对于输入可见光图像的增益。这增大了对于作为 由于曝光不足而引起的暗图像捕获的可见光图像在每一个像素的灰度电平 (像素值)，以便最终像素值接近在合适的曝光捕获的图像的值。调整增益的 一种方法是将可见光图像的像素值乘以常数因子。另一种方法是基于指数函 数的伽玛校正。再一种方法是基于多项式函数调整增益的任意方法。
低通滤波器102包含边缘检测部分。通过边缘检测部分，从具有更大量 信息的红外光图像中检测边缘。作为降噪部分的低通滤波器102执行低通滤 波，同时保留所检测到边缘的信息。由此，从可见光图像中去除噪声。低通 滤波器将基础图像(base image)输出到图像合成器部分104。
同时，高通滤波器103从输入红外光图像中提取接近于边缘的详细部分， 并将所获得的细节图像(边缘紋理信息)输出到图像合成器部分104。
图像合成器部分104将得自低通滤波器102的基础图像与来自高通滤波 器103的细节图像(边缘紋理信息)，产生输出图像。
在景物4艮暗的情况下，可见光图像中包含的信息量很少。如果这被完整 地通过低通滤波器102并执行降噪，则输出图像仍然很暗。因此，由增益调 整部分101放大信号电平，然后执行使用低通滤波器102的降噪。此时，也 由信号放大来放大噪声电平。然而，随后执行降噪，并且因此将输出图像的 信噪比提高了与颜色信号电平的放大对应的量。
同时，通过从具有大量信息的红外光图像中检测边缘并微弱且局部地对 边缘应用降噪处理，可以保留输出图像中的边缘灰度电平差。然而，在每一个边缘处的信噪比没有提高。相反，信噪比可能劣化。因此，由高通滤波器
103提取的边缘部分细节图像，并由图像合成器部分104将其与基础图像组 合。因此，可以提高整个图像的信噪比。
由于上述特征，如果使用专利对比文件1中描述的图像处理部分100, 则通过接受到达红外波长区域的光，可以实现能够产生保留边缘信息并且即 使景物很暗也在整个图像帧上具有高信噪比的明亮的输出图像的照相机装 置。
在如之前所述的那样，由图13中所示的图像处理部分IO(H吏用R、 G和 B的可见光图像和组成A图像的红外光图像来执行处理的情况下，除了可见 光之外的分量(特别地，大比例的近红外光)被包含在A图像(红外光图像) 中，但近红外光分量与A图像的比率根据不同的光源而大大地变化。例如， 即使在相同的日光条件之下，所包含的近红外光的比率在黎明、日间和晚间 之中特別地变化。此外，即使在室内照明下，如果光源的色温变化，则所包 含的近红外光的部分也变化。例如，电灯泡比焚光灯包含更大部分的近红外 光。
图14是在光谱特性方面将具有3000K色温的电灯泡或一光源与荧光灯 或另 一不同光源进行比较的图。
在电灯泡是光源的情况下，如图所示，其包含很大部分的红外光分量。 因此即使在图像帧很暗并且R、 G和B可见光图像的信息量很小的情况下， A图像的信息量相对大。另外，A图像的S/N相对高。因此，在图像帧很暗 或图像帧很亮的情况下，如果将A图像用作用于边缘检测的参考图像，则对 于R、 G和B可见光图像可以有效地完成降噪，同时保留边缘信息。
另一方面，在使用焚光灯作为光源的情况下，如图所示，来自焚光灯的 光几乎不具有红外光分量。即使在这种情况下，如果显示屏幕上的图4象^f艮亮， 则作为用于边缘检测的参考图像的A图像一般也具有所要求的信息量。
然而，如果显示屏幕上的图像变得更暗，则A图像不提供边缘检测所必 需的信息量。因此，不能执行对R、 G和B图像的降噪，而同时保留边缘信 息。此外，如果图像很暗，则对于R、 G和B图像可以保证大增益，因此R、 G和B图像中的噪声电平在已经增大了增益之后非常大。在降噪部分(在图 13中，低通滤波器102)中将噪声的这些大电平削减到一定程度，但没有完 全去除。降噪之后所获得的S/N相对低。结果，即使在执行降噪之后，也输出带噪图像。
为了避开这些缺点，期望增大增益以便使降噪之后的显示屏幕上的图像 更亮而不强制地增大降噪部分之前的增益。
在期望以这种方式执行降噪之前不强制地增大增益的情况下，存在根据 室内光源是荧光灯还是电灯泡而使得图像带噪的可能性。此外，也可能根据 不同的室外照射条件(如不同的时间和不同的天气条件)而使得图像带噪。 另外，也可能根据光源的不同的光谱特性(如，根据在室外或室内完成拍摄) 而使得图像带噪。此外，可能由除了光源之外的因素(如景物的红外吸收特 性的不同)使得图像带噪。
以这种方式，如以上引用的专利对比文件1所示的用于降噪的图像处理 部分和使用图像处理部分的照相机装置根据红外光比率在降噪能力方面产生 了不同。结果，有时输出带噪图像。在这方面仍然存在改进的空间。
根据本发明的一个实施例的视频输入处理器具有成像信号产生部分、增 益调整部分和降噪部分。
成像信号产生部分成像景物，并产生包含可见光分量的第一成像信号以 及包含近红外光分量的第二成像信号。在一些情况下，成像信号产生部分是 成像装置。在其它情况下，成像信号产生部分包括成像装置和信号处理部分。 将第一和第二成像信号从成像信号产生部分发送到增益调整部分。
增益调整部分接收第一和第二成像信号。增益调整部分根据该可见光分 量与该近红外光分量之间的相对量值来可调整地设置最大增益值。增益调整 部分将用于该第一成像信号的增益调整在所设置的最大增益值。在增益调整 之后，将第一成像信号从增益调整部分发送到降噪部分。
降噪部分接收第 一成像信号，并对每一种颜色降低第 一成像信号中的噪 声，同时保留基于边缘信息识别的图像位置处的边缘信息。
根据本发明的一个实施例的成像信号处理电路是接收包含可见光分量的 第一成像信号以及包含近红外光分量的第二成像信号并降低该第一成像信号 中的噪声的成像信号处理电路。成像信号处理电路降低第 一成像信号中的噪 声。成像信号处理电路具有增益调整部分和降噪部分。增益调整部分在功能 上类似于前述视频输入处理器。
根据本发明的一个实施例的降低成像信号中的噪声的方法以获取包含寸 见光分量的第一成像信号以及包含近红外光分量的第二成像信号开始。根据该可见光分量与该近红外光分量之间的相对量值可调整地设置最大增益值。 在所设置的最大增益值对于第一成像信号进行增益调整。在增益调整之后， 降低该第一成像信号中的噪声。
在本发明的实施例中，第二成像信号最好包含等效于第一成像信号的可 见光分量的可见光分量以及与来自景物的近红外光的量对应的近红外光分 量。基于来自成像信号产生部分的第一和第二成像信号，增益调整部分计算 关于从第 一成像信号的可见光分量获得的第 一比较值与第二比较值之间的相 对量值的参数。通过将与第二成像信号的可见光分量对应的近红外光分量加 到等效于第一比较值的第二成像信号的可见光分量来获得第二比较值。增益 调整部分基于该参量的量值可调整地设置最大增益值。
此外，在本发明的实施例中，成像信号处理电路最好进一步包括边缘信 息获取部分，所述边缘信息获取部分被配置为从该第二成像信号获取边缘信 息。降噪部分对于每一种颜色降低该第一成像信号中的噪声，同时保留在基 于该边缘信息识別的图像位置处的边缘信息。
在如上所述的本发明的实施例的配置中，当对第 一成像信号调整增益时， 基于第一和第二成像信号设置最大增益值。更具体地，计算关于第一和第二
比较值之间的相对量值的参数。第一比较值从第一成像信号的可见光分量获 得并且与可见光分量的量值相关。第二比较值与通过将与第二成像信号的可 见光分量对应的近红外光分量加到等效于该第一比较值的第二成像信号的可 见光分量而获得的值相关。
增大该参数K的值意味着将第一和第二比较值之一设置为大于另一个。 相反，减小参数的值意味着将第一和第二比较值之一设置为小于另一个。
在本发明的实施例中，在降噪之前进行增益调整期间，例如根据参数的 量值确定在第二成像信号中包含的近红外光分量是大还是小。根据参数的量 值，在增益调整期间设置或限制最大增益值。在本发明的实施例中，根据参 数最大增益值可以变化到不同的值。
通常地，根据输入动态范围存在降噪中的限制。如果超过了限制，则输 出图像中的噪声迅速增大。由噪声电平的量值以及输入信号电平变化所述限 制。当在从成像到降噪的信号处理路径中信号的增益增大时，信号中包含的 噪声电平也增大。然而，通常由在装置内部执行的信号处理将在成像装置中 产生的噪声抑制到一定程度。因此，在成像装置与降噪级之间出现的放大器中产生的噪声主要支配确定前述降噪中的限制的噪声电平。
也就是说，降低噪声电平中的限制(超过该限制则噪声电平迅速增大) 与实际执行降噪之前所产生的信号电平相关，并且还与当对信号电平进行调 整时使用的增益有关。
在根据本发明的一个实施例的上述视频输入处理器中，将成像信号产生 部分设计为能够产生包含可见光分量的第一成像信号以及包含近红外光分量 的第二成像信号。如果第二成像信号的近红外光分量与第 一成像信号的可见 光分量之间的相对量值已知，则可以预测降噪中限制(超过该限制则噪声电 平将迅速增大)的相对量值。增益调整部分可以计算各光分量之间的相对量 值，例如作为参数。因此，可以可调整地设置最大增益值，以便不超过降噪 能力的限制。
由于到目前为止描述的配置，如果发生环境变化(如当使用不同的光源 以成像景物或光源的色温变化时)，防止了降噪能力在用于降低增益的处理期 间-波削弱。
本发明的实施例可以有效地消除以下缺点降噪能力根据所包含的红外 光分量而变化并且有时超过降噪能力；否则将输出带噪图像。


图1是并入根据本发明的实施例的成像信号处理电路的照相机装置的框
图2是示出图1中所示的成像装置的输出光谱特性的图，用以图解该实
施例；
图3A是在图1中所示的成像信号处理电路中所包括的降噪部分的框图； 图3B是示出最大增益值与参数的关系的图4A和4B是其每一个均示出多层滤光片中颜色阵列的一个像素单元的
图5是信号处理部分的框图； 图6是示出降噪块的细节的框图； 图7是累加块的图8是特别地图解拍摄图像之后所执行的边缘判决和降噪的流程图; 图9是概念性地图解边缘判决和滤光之间的关系的图；图10是概念性地图解滤波器系数的设置和滤波之间的关系的图11是特别地图解增益调整的流程图12是与本发明的修改相关的照相机配置的部分的示意图13是示出专利对比文件1中所描述的成像处理部分的配置的框图；以
及
图14是示出电灯泡和荧光灯之间光谱特性的不同的图，所述电灯泡和荧 光灯均作为光源。
具体实施例方式
在下文中，将参照附图描述本发明的实施例。 第一实施例
图1是并入了与本发明的实施例相关的成像信号处理电路的照相机装置 的框图。照相机装置与本发明的"视频输入处理器"的一种形式对应。照相机 装置可以是主要设计为拍摄运动图片序列的摄像机，也可以是主要设计为拍 摄静止图像的数字照相机。
所示的照相机装置具有光学元件1，包括镜头和光学滤光片；成像装置2; 模拟前端(AFE)电路3,用于处理模拟成像信号；模数转换器(ADC) 5,
用于将模拟成像信号转换为数字信号并将数字信号作为数字视频信号输出到 各种数字处理部分；以及数模转换器(DAC) 12,用于将经过各种处理的视 频信号转换为模拟信号，并将模拟信号作为视频信号14输出。
光学元件1中所包括的光学滤光片阻塞高于奈奎斯特频率的高频分量， 例如以防止混淆失真(aliasing distortion )。光学滤光片可以或可以不并入红外 截除滤光片的功能。在光学滤光片不具有红外截除滤光片的功能的情况下， 由成像装置2的单片多层滤光片拥有红外截除滤光片的功能。
图2示出在本实施例中使用的成像装置的输出光谱特性，所述成像装置 具有单片多层滤光片。在图2的图中，在横轴上绘出入射光的波长，而在纵 轴上绘出每一种颜色的成像信号的输出电平的灰度电平。例如，由8位表示 输出电平。也就是说，灰度电平可以假定从0到1,024的值。
从图2中可以看出，该成像装置在高于近红外区域下限(700到800nm; 在所示的示例中为750nm)的频率处具有对红(R)、绿(G)、蓝(B)以及 白(W)辐射的敏感度。所示的照相机装置具有信号处理部分4，用于处理来自模数转换器
(ADC) 5的数字信号。信号处理部分4是本发明的"成像信号处理电路"的 一种形式并且包括增益调整部分4A和降噪部分4B。
将信号处理部分4作为以IC形式、其中安装多个部分的模块形式或其上 安装多个部分的衬底形式的半导体芯片提供。信号处理部分4可以被并入到 照相机装置中。信号处理部分4连接在模数转换器5和数模转换器12之间， 并执行包括信号放大(即预处理)、降噪(NR)、分离为亮度和颜色信号、亮 度信号处理以及颜色信号处理的各种处理。
用于将通过前述分离而获得的亮度和颜色信号进行组合的混合器电路 (YC一MIX) 9连接在信号处理部分4和数模转换器12之间。信号处理部分 4也可以包括混合器电路9。信号处理部分4可以由IC或模块组成。
图3A示出图1中所示的包括增益调整部分4A和降噪部分4B的信号处 理部分4的一部分(降噪部分)的配置的示例。增益调整部分4A和降噪部 分4B是本实施例的特性部分。所示的降噪处理部分54A分别接收第一成像 信号和第二成像信号。第一成像信号包含可见光分量。第二成像信号包含近
红外光分量。
在此采用原色的成像信号作为示例。第一成像信号分别是红(R )、绿(G ) 和蓝(B)色(在下文中简称为R信号、G信号和B信号)像素的成像信号。 第二成像信号包含白成像信号(在下文中可以简称为W信号)以及近红外光 (在下文中简称为IR信号)分量的成像信号，所述白成像信号是等效于第一 成像信号的可见光分量(R信号+G信号+B信号)的可见光分量。在此将第 二成像信号(A信号或A像素信号)示出为W信号和R信号之和。
IR信号包含几乎所有从景物发出的光的近红外光分量。也就是说，图l 中所示的光学元件1和成4象装置2至少在用于接收IR信号的路线中均不具有 任何IR截除滤光片。因此，除了微小损失之外，IR信号包含几乎所有来自 景物的近红外光分量。
如图3A所示，降噪处理部分54A具有增益调整部分4A、降噪部分4B 和边缘信息获取部分4C。增益调整部分4A至少包括可变增益放大器GA, 其根据给定增益值放大或削减R、 G、 B信号。在此这被称为增益调整。增益 调整部分4A具有可调整地设置增益放大器GA的最大增益值Gmax的辨能。 将在后面详细描述该功能。边缘信息获取部分4C获得自A像素信号的边缘信息ED(如相邻像素之 间的差分像素值)并将边缘信息输出到降噪部分4B。
降噪部分4B执行用于对增益调整之后的R、 G、 B信号降噪的处理。此 时，降噪部分4B在保存基于所获得的边缘信息ED而识别的图像位置(边缘 部分)处的边缘灰度电平差的同时，执行用于在除了边缘之外的情况下的降 噪的处理。为了保存边缘灰度电平差，降噪部分4B在边缘处几乎不执行用于 降噪的处理或更弱地应用降噪处理。
更好地，边缘信息获取部分4C具有从A像素信号提取有关边缘部分的 局部详细信息(边缘紋理信息ET)的功能。为了在R、 G、 B信号中反映所 提取的边缘紋理信息ET,降噪(NR)部分54A并入组合部分4D,所述组合 部分4D用于将边缘紋理信息ET与经历了降噪处理的R、 G、 B信号进行组 合。
因此，由来自组合部分4D的输出信号指示的图像是其中保留了边缘灰 度电平并降低了噪声的高质量图像。此外，在高质量图像中，防止了边缘处 图像质量的劣化。
在本实施例中，在紧接图3A所示的降噪处理部分54A之前(位于处理 信号的方向的上流)的级中的所有配置与本发明的"成像信号产生部分"的 一种形式对应。也就是说，在图l中，信号处理部分4内部在增益调整部分 4A之前的级中的配置，即模数转换器5、模拟前端(AFE)电路3、成像装 置2和光学元件1，与本发明的"成像信号产生部分"对应。
光学元件1具有镜头和在镜头外壳中接受的光圈。光学元件1可以提供 用于控制曝光量的调焦控制和光圈控制。光学元件1包括用于曝光控制的光 圈驱动部分、用于自动调焦的驱动部分和用于所述驱动部分的控制电^^。
成像装置2是CCD传感器或CMOS图像传感器。将成像装置2保存在 照相机装置的机身内部，以便经由光学元件1将从景物产生并冲击(impinge) 成像装置的光学图像聚焦在成像装置的成像表面上。成像装置2具有由大量 光学传感器组成的像素阵列以及位于像素阵列的入射侧的多层滤光片。多层 滤光片是形成给定阵列的几个相邻光学传感器(像素单元)的组合体 (assemblage )。
在成像装置2是CCD传感器的情况下，定时发生器(TM) 13,与成像装 置2连接。成像装置2可以从定时发生器13接收时钟信号、垂直SYNC信号和水平SYNC信号。在成像装置2是CCD的情况下，与垂直SYNC信号和 水平SYNC信号同步的传送脉冲也从定时发生器13提供。
定时发生器13是用于在微型计算机10的控制下，产生用于从系统时钟 信号(未示出)控制这些定时的信号。关于成像装置2，由用于控制定时的 信号来控制各种操作，如传送操作以及快门速度的变更。在成像装置2是 CMOS传感器的情况下，可以将定时发生器13的功能给予成像装置2。
成像装置2包括在本发明的"成像信号产生部分"。由于"图像信号产生 部分，，包括图3A所示的配置之前的级中的所有配置，因此成像装置或装置2 可以是一个或两个。
在成像装置2在数量上是单个的情况下，用于输出第一成像信号的颜色 信号(如R、 G、 B信号)的像素和用于输出第二成像信号(如A像素信号) 的像素包含在组成重复单元的一个像素单元内的给定阵列中。由多层滤光片 的结构确定阵列，在该多层滤光片中，颜色选择和IR截除的功能全部被并入。
在存在两个分离的成像装置2的情况下，其中之一输出第 一成像信号。 另一成像装置输出第二成像信号。在这种情况下，通过光学元件(如二向棱 镜)将来自相同景物的光学图像分成沿着两个方向的两个部分。由沿着两个 方向放置的两个成像装置接收光学图像的两个部分。
将颜色选择滤光片放置在用于产生第一成像信号的成像装置上。将IR截 除滤光片安装在成像表面和光学元件之间的光程中。可替代地，将具有IR截 除滤光片和颜色选择滤光片的全部功能的多层滤光片放置在成像装置上。
同时，在用于产生第二成像信号的成像装置上，均不安装颜色选择滤光 片和IR截除滤光片。由此，成像装置可以产生A ( = W + IR)信号。
图4A和4B示出具有成像装置2的多层滤光片的颜色阵列的像素单元的 两个示例。颜色阵列适于存在单个成像装置的情况。在存在两个成像装置的 情况下，具有公知的"原色Bayer滤光片"或Knight颜色阵列的滤光片可以 用作成像装置之一。
颜色阵列的类型不限于这两个示例。现在描述原色滤光片的一种典型的 示例。在滤色镜是原色滤光片的情况下，可以采用除了所示阵列之外的阵列。 可替代地，如已经各种各样地提出的那样，滤色镜可以是补色滤光片，其中, 规则地排列任意选择的多个补色。
多层滤光片的每一个颜色选择层均具有颜色阵列，例如，如图4A或4B所示。
图4A所示的颜色阵列祐:公知为"W格(checker)"。图4B所示的颜色 阵列被公知为"WZ字型格"。"W格"和"WZ字型格"均包含具有对覆盖 所有G、 R和B像素的所检测到的波长区域的波长区域的敏感度的白(W) 像素。W像素以格的模式排列。
同时，多层滤光片的IR截除层被设计为截除G、 R和B像素处的红外辐 射并在W像素处透射红外辐射。
一般来说，近红外辐射具有从0.7到0.8jam(可见红光的更长波长上限) 至2.5jum(或1.5到3ym)的波长。由于近红外光分量具有使颜色发白的问 题，所以必须从第一成像信号(R、 G、 B信号)中移除近红外光分量。然而， 难以通过IR截除滤光片完全阻塞近红外光分量。通常地，即使在如图2所示 的近红外光区域中，成像装置的输出光谱特性也具有对红(R)、绿(G)、蓝 (B)和白(W)的#文感度。人的纟见觉感觉对长于略短于700nm的波长几乎 没有敏感度。因此，这样设计具有所示输出光谱特性的成像装置2，使得IR 截除层(或IR截除滤光片)抑制例如长于大约650nm的波长，由黑体点划 线所示。
重新参照图1，从成像装置2向其输入模拟成像信号的AFE电路3对模 拟信号执行各种处理，如例如由于相关双采样(在CCD的情况下)而引起 的复位噪声的去除、其他噪声去除以及放大。
模数转换器(ADC) 5将经处理的模拟信号转换为给定位(如8位或10 位)的数字信号。数字信号包含像素信号序列，其具有对于每个像素的给定 位的灰度电平值。也就是说，从模数转换器5输出的数字信号包含像素信号 序列，其中A像素与其它颜色的像素交替。
已经连同图3A描述的所述配置的降噪处理部分54A^L包括在信号处理 部分4中。在单板型(single plate type)的情况下，当显示图像时，成像装置 2以扫描顺序将红(R)、绿(G)、蓝(B)和All (A = W + IR)作为时间顺 序串行信号传递。需要在信号处理部分4的内部，将用于从串行信号中分离 第一成像信号(例如，R、 G和B信号)和第二成像信号(例如，A像素信 号)的配置放置在降噪处理部分54A之前。 -
降噪部分4B接收所分离的第一成像信号(R、 G、 B信号)的每一种颜 色并对于每一种颜色和每一个像素降噪。如后面详细描述的那样，当处理包含R、 G和B信号的像素信号时，在顺序修改要被处理的目标像素时重复所
述处理。如果基于由边缘信息获取部分4C获得的边缘信息确定在每一个目标 像素或其周围不存在边缘，则降噪部分4B执行降噪。如果确定在每一个目标 像素及其周围存在边缘，则不有效地执行降噪。
该处理由低通滤波器执行。在应该特别保持边缘灰度电平差的情况下， 使用边缘保持滤波器，如交叉双向滤波器(cross bilateral filter )。在下面的第 二实施例中详细地描述交叉双向滤波器。
将每一个在降噪之后获得的R、G和B信号分离成亮度信号和颜色信号。 在以给定方式处理每一个隔离的信号之后，从信号处理部分4输出所述信号。
混合器电路9将由信号处理部分4处理的亮度和颜色信号进行组合，并 产生视频信号。
数模转换器(ADC) 12是用于将视频信号转换为模拟视频信号14并将 其输出的电路。
微型计算机10是用于控制成像装置2、 AFE电路3、信号处理部分4、 定时发生器(TG) 13和所有其他元件的电路。用于保存控制参数的可再写存 储器(如非易失存储器(NVM) 11)与微型计算机10连接。在图1中没有 示出监视器显示部分、用于编码视频信号14并将经编码的信号输出到监视器 显示部分的电路以及用于处理并输出音频信号的电路。
第二实施例
在以下描述作为本实施例的一个特点的、包括降噪处理部分54A的更详 细的实施例。这里假定照相机装置具有单板型的成像装置2。 [信号处理部分的配置]
图5是示出信号部分4的配置的一个示例的框图。所示信号处理部分4 由一些主要的块，即用于执行预处理的PRE块41、用于提取并处理亮度信号 (Y )的Y块42、用于提取并处理颜色信号(C )的C块43以及用于检测显 示屏幕上的图像的亮度的OPD (光学检测器)块44组成。每一个块均经由 并行接口 (PIO) 45与微型计算机10 (图5中的CPU块)连接。所述块处于 微型计算机10的控制之下。由此，执行PRE块中的处理、自动曝光(AE)、 自动白平衡调整(AWB )和其他处理。
PRE块41具有数字自动增益控制(AGC)电路51、阴影缺陷校正电路 (shading-defect correcting circuit) 52、延迟线部分(D) 53、降噪(NR)块54、模式产生电路56和黑累计电路57。
AGC电路51对于输入数字成像信号调整增益。通常地，安装AGC电路 51以获得适于在后级中执行的处理的信号幅度。统一地放大单个成像信号的 全部。也就是说，统一地放大可见光分量和近红外光分量。
在本实施例中，降噪块54包括增益调整部分，并且因此获得了Y块42 和C块43所需的信号幅度。因此，除非到降噪块54之前的级(即阴影缺陷 校正电路52)的输入幅度太小以致于不能获得必需的处理精度或者除非发生 其他特殊情况，否则可以省略AGC电路51。
阴影缺陷校正电路52执行阴影校正，用于校正由在传感器(成像装置2 ) 的光接收面(light-receiving face )中的中心和边缘部分之间的光接收位置的 差异引起的亮度差异。此外，校正电路52补偿来自成像装置2的成像信号中 的凄t据丢失(data dropout )。
延迟线部分53是用于将信号延迟与水平方向和垂直方向上具有给定数 目的像素的几条线的视频数据标准(水平像素信号序列)对应的量的电路以 便于在降噪块54中处理。例如，在与5条线对应的延迟对于在降噪块54中 的处理是必需的情况下，可以串联四个1线延迟部分。可以将与5条线对应 的像素信号序列应用于与来自1线延迟部分的输出和非延迟线(照原样输出 输入的线)的输出并行的降噪块54。
代替延迟线部分53,可以安装图像存储器。可以读出一般地与所要求数 目的线对应的数据。将在后面详细描述降噪块54的配置和操作。
图1所示的成像装置2是单板型的，并且采用图4A或图4B所示的颜色 阵列。因此，关于由从成像装置2输出的成像信号所表示的各个颜色，具有 关于红(R)、绿(G)和蓝(B)中任意一种信息的像素信号与白(W)像素 信号在时间轴上交替地混合。因此，由成像信号表示的图像对于每一种颜色 处于马赛克模式(mosaic pattern )。将具有这样的马赛克颜色阵列的图像称为 "马赛克图像"。
如果将这样的马赛克图像完好地用在降噪处理中，则由于存在信息丟失， 所以可能不能精确地执行所述处理。因此，降噪块54具有将马赛克图像去马 赛克(demosaic)的功能。处理确定颜色的马赛克图像的"去马赛克"，通过 从具有关于特定颜色的信息的相邻像素内插，用于在不存在关于特定颜色的 信息的部分产生颜色信息，并且由此将马赛克图像转换为在所有对应像素部分中具有颜色信息的"经去马赛克的图像"。没有示出用于去马赛克的详细配 置。 一般来说，采用用于简单线性内插或使用颜色估计的重复和组合的高精 度内插的电路配置。
模式产生电路56在没有连接成像装置2的情况下产生测试模式。黑累计 电路57检测数字成像信号的黑电平。
y块42接收并处理在从pre块41输出的经去马赛克的成像信号之中具 有最大信息量的A像素的经去马赛克的成像信号。Y块42具有Y产生部分 61,用于从来自A像素的经去马赛克的成像信号产生亮度信号(Y);光圈控 制信号产生部分62,用于从亮度信号(y)产生光圈控制信号；以及伽玛(y ) 校正部分63,用于伽玛校正光圈控制信号。
将由Y产生部分61产生的亮度信号(Y)馈入OPD块44。光圈控制信 号产生部分62修改从Y产生部分61产生的亮度信号(Y),以便仅加重图像 轮廓。将经修改的亮度信号(Y)提供到伽玛校正部分63。伽玛校正部分63 将经伽玛校正的亮度信号(Y)输出到图1的混合器电路9。
c块43接收并处理r、 g和b信号的经去马赛克的成像信号。c块43 具有rgb矩阵电路71、白平衡调整(wb )和伽玛(y )校正电路72、用于 转换色差信号(r-g)和(b-g)的色差转换电路73以及用于产生色度信号 Cr和Cb的色度产生电路74。
rgb矩阵电路71接收并去马赛克r、 g和b像素的成像信号并输出对 于每一个像素单元同步的颜色信号(r、 g和b信号)。将r、 g和b信号输 出到opd块44以及wb和y校正电路72。
wb和y校正电路72从输入r、 g和b信号对于每一种颜色实现增益平 衡，并进行白平衡调整(wb)。此时，参照来自opd块44的亮度信息。将 经白平衡的r、 g和b信号的像素强度经历颜色伽玛(y )校正。为了表示 图像中的灰度电平的响应特性，此时使用公知为伽玛(y )的数值。例如， 将该数值保存在图1所示的非易失性存储器11中或微型计算机10的存储区 域中。将该值经由图5的pio 45提供到wb和y校正电路72。处理伽玛校 正用于正确地显示被显示图像的亮度和色饱和度。
色差转换电路73经伽玛校正的r、 g和b信号转换为色差信号(r-g) 和(b-g)。色度产生电路74从来自色差转换电路73的输出信号产生色度信 号Cr和Cb。将所产生的色度信号Cr和Cb发送到图1所示的混合器电路9。OPD块44包括用于产生用于例如自动曝光控制(AE )的累计亮度值的 亮度累计电路44A,和用于产生关于用于例如白平衡调整的各种颜色的累计 R、 G和B值的RGB累计电路44B。
例如，亮度累计电路44A在图像的一帧上，通过累计亮度信号(Y)来 产生经累计的亮度值。将经累计的亮度值提供到安装在图1的光学元件1中 的光圈控制电路以及经由微型计算机10并入到成像装置2的模拟增益电路。
例如，对于每一种颜色，RGB累计电路44B在一帧图像上，通过对于各 种颜色累计来自RGB矩阵电路71的R、 G、 B信号来产生经累计的R、 G和 B值。将经累计的R、 G和B值经由PI0 45提供到微型计算机10，其中计算 了 WB增益。将结果提供到WB和Y校正电路72。
这些累计电路可以由安装在降噪块54中的各种累加部分(在后面描述) 代替。在这种情况下，可以省略OPD块44。
图6是降噪块54的更详细的框图。所示降噪块54包括分离部分541、 同步部分542、 A去马赛克部分543、 RGB去马赛克部分545、增益调整部分 4A、降噪部分4B、边缘信息获取部分4C以及组合部分4D。在这些部分中， A去马赛克部分543、 RGB去马赛克部分545、增益调整部分4A、降噪部分 4B、边缘信息获取部分4C以及组合部分4D被包括在图3A所示的降噪处理 部分54A中。
分离部分541从其它颜色的R、 G和B像素信号中分离构成A ( W+IR) 像素的马赛克图像的A像素信号。同步电路542接收所分离的A像素信号、 R、 G和B像素信号，对它们进行同步并将其输出。将A像素信号施加到A 去马赛克部分543。将R、 G和B信号施加到增益调整部分4A。
A去马赛克部分543将输入A像素信号去马赛克，并产生经去马赛克的 A图像。类似地，RGB去马赛克部分545将输入R、 G和B像素信号去马赛 克，并产生经去马赛克的R、 G和B图像。
这些去马赛克步骤可以是诸如线性内插的简单去马赛克。更期望，例如， 可以由能够重复颜色估计和组合的电路执行去马赛克，所述电路用于高精度 内插。更具体地说，可以通过专用于内插的电路、诸如DSP(数字信号处理 器)之类的基于计算机的控制器以及用于操作该控制器的程序的函数来实现 去马赛克。 '边缘信息获取部分4C通过给定技术从经去马赛克的A图像中获取边缘
信息ED。此时，边缘信息获取部分4C从以目标像素为中心的相邻像素的范 围中获取边缘信息。例如，由水平和垂直方向中的任意数目的像素来定义相 邻像素的范围，如3x3或5x5像素。通常来说，范围的水平和垂直方向由相 同的奇数数目的像素组成。将目标像素经历降噪，所述降噪使用由降噪部分 4B执行的滤光。目标像素顺序地以输入顺序而变化，如以视频信号的水平方 向的一个指向(sense )。边缘信息获取部分4C再次识别相邻像素的范围，以 便只要将目标像素移动到相邻像素位置，则经修改的目标像素就变为中心。 由此，边缘信息获取部分4C重复边缘信息的获取。将所获取的边缘信息ED 从边缘信息获取部分4C提供到降噪部分4B。
获取边缘信息的特定技术是在以目标像素为中心的相邻像素的范围之 内，得出目标像素和其他像素之间的差别。
在本实施例中，降噪部分4B由交叉双向滤波器组成。滤波器配置基本 上是公知的二维低通滤波器(LPF)。例如，可以采用专利对比文件1中所示 的LPF配置。
此时，从所获取的边缘信息EB判断边缘。修改滤波器系数，以便基于 关于边缘的判断结果，保留更多的边缘灰度电平差。此时，还可以加重初始 边缘灰度电平差。将所修改的滤波器系数应用于R、 G和B图像的二维滤波 中。
以这种方式，从关于由A像素组成的经去马赛克的图像的边缘信息ED 中判断边缘。使用关于边缘的判断结果，由二维滤波器处理R、 G和B图像。 因此，可以与更多所期望的结果一起，保留与像素值差对应的边缘灰度电平 差。将参照与所滤光的景物不同的图像信息的二维滤波器特别地称为交叉双
向滤波器。将在后面简明地描述由交叉双向滤波器执行的处理。由于使用经 去马赛克的A图像来执行边缘检测(即边缘信息的获取和边缘的判断)，所 以可以精确地检测边缘。结果，在来自交叉双向滤波器的输出处，可以有效 地保留边缘信息。将经处理的R、 G和B信号输出到组合部分4D。
边缘信息获取部分4C具有从A像素信号(严格地讲，经去马赛克的A 像素信号)提取边缘紋理信息ET的功能。例如，可以通过AND将所有一皮判 断为边缘并且包含像素值差的相邻像素区域合并为 一个来获得提取的范围。 将边缘紋理信息ET从边缘信息获取部分4C输出到合并部分4D。合并部分4D将从降噪部分4B送入的R、 G和B像素信号中所包含的边 缘部分替换为从边缘信息获取部分4C送入的边缘紋理信息ET,由此组合图 像(即信号的混合)。
将来自组合部分4D的R、 G和B图像发送到用于处理颜色信号的C块 43。将来自A去马赛克部分543的经去马赛克的A图像AD发送到用于处理 亮度信号的Y块42。
作为本实施例的特性部分的增益调整部分4A包括增益放大器GA和累 加块58。增益放大器GA从RGB去马赛克部分545接收经去马赛克的R、 G 和B图像，并将形成经去马赛克的R、 G和B图像的颜色的R、 G和B像素 信号乘以增益值G，由此统一地改变信号幅度。增益值可以在不同的颜色之 中变化。在本实施例中，使用相同的增益值G,这是因为在较后级出现用于 彩色平衡校正的电路。
累加块57从A去马赛克部分543接收经去马赛克的A图像AD并从RGB 去马赛克部分545接收经去马赛克的R、 G和B图像RD、 GD和BD,并在 给定时间段中对于每一种颜色得出像素数据的累计值。也就是说，发现累加 的A、 R、 G和B^f直。
累加块58可以从来自同步部分542的输出中计算上述四个累加值，这是 因为在去马赛克之前和之后累加值的比率几乎不变。而且，期望从来自同步 部分542的输出中计算累加值，以便在早先的级中计算累加值。
图7示出累加块58的配置。图7示出从来自同步部分542的输出计算累 加值的情况。
在将来自成像装置2的模拟成像信号转换为数字形式之后，通过一些处 理步骤将信号送入图5的PRE块41,然后将其送入降噪(NR)块54。在NR 块54中，首先将成像信号送入图7所示的分离部分541。分离部分541与高 速时钟信号同步地操作以顺序地将输入数字成像信号的像素值指定到4通道 输出。将A、 R、 G和B像素值经由同步部分542从四通道输出送入累加块 58。
如图7所示，累加块58配备有分别与四个通道对应的四个分离的累加部 分58A、 58R、 58G和58B。每一个累加部分具有加法器581和延迟装置(如 闩锁电路582 )。可以将来自同步部分542的像素值送入加法器582的一个输入端。加法器581的输出与闩锁电路582的输入连接。闩锁电路582的输出 与加法器581的另一输入端连接。
累加部分的加法器581由高速时钟信号同步。在与分别施加像素值和下 一像素值的时间瞬间之间的间隔对应的时间段期间，闩锁电路582保存相同 的数据。因此，在每一个加法器581中累加像素值。在下一输入瞬间，加上 下一像素值用于累加。在给定时间段(如一帧时间段)期间执行该操作。结 果，接收A像素值的累加部分58A产生"A(W+IR)累加值ZA"。类似地， 接收R像素值的累加部分58R产生"R累加值I1R"。接收G像素值的累加部 分58G产生"G累加值i:G"。接收B像素值的累加部分58B产生"B累加值 ZB"。
图6所示的增益调整部分4A包括微型计算机10的一些功能，并基于四 个累加值(在下文中称为累加值i:)计算参数K。参数K是根据可见光分量 与近红外光分量之间的相对量值而变化的系数。微型计算机IO根据以下等式 (1-1)或(1-2)计算参数K。微型计算机10与本发明的"控制器"的一种 形式对应。注意，等式(1-1 )和(1-2)仅仅示出示例。可以将任何变量用作 参数K,只要所述变量根据所捕获图像的可见光分量与近红外光分量之间的 相对量值而变化即可。<formula>formula see original document page 23</formula>
其中符号",/ 和,指示分别对于各个颜色的校正系数。符号假定为小于1的任 意值。
这些等式的意义如下
通过累加在一帧图像中从A像素(见图4A和4B)输出的A像素数据来 获得A(W+IR)累力口值ZA。该累加值将以对应于包含可见光分量和近红外 光分量两者的成像信号的方式指示在成像屏幕上显示的整个图像的亮度。同 时，通过累加在一帧图像中从R像素输出的R像素数据来获得R累加值￡ R, 并指示R可见光分量的量值。类似地，G累加值ZG指示G可见光分量的量 值。B累加值EB指示B可见光分量的量值。因此，(ZA+ILG+ZB)指示 可见光分量的量值。假定白(W)电平，即W可见光分量的量值是EW，则一般存在以下关系
<formula>formula see original document page 24</formula>
如果在一帧图像中取得的近红外光分量之和是i: r,并且如果校正系数满
足关系a,"和y〈1,则以上等式(1-1 )可以修改为
<formula>formula see original document page 24</formula>
此外，上述等式(1-2)可以修改为
<formula>formula see original document page 24</formula>
也就是说，两个等式指示根据可见光分量Z W和近红外光分量EIR的量
值而变化的参数K。两个等式均意味着当可见光分量i:iR的量值的比率增大
时，参数K增大。
"￡ A + Z G + ￡ B，，与本发明的"从第 一成像信号(R、 G和B像素信号) 的可见光分量获得的第一比较值"对应。"ZA"是"通过将与可见光分量(￡ W)对应的近红外光分量(￡IR)加到等效于第一比较值"EA + SG + EB" 的第二成像信号(A像素信号)的可见光分量H W而获得的第二比较值"。从 以上等式(l-l)和(l-2)中很明显，参数K与第一比较值(ZA + ZG + ZB) 和第二比较值(ZA)的量值相关。
如目前所述的那样，参数K的值的增大使第一和第二比较值之一与另一 个的比率增大，反之亦然。
作为控制器的微型计算机IO基于所计算的参数K,可调整地设置图3A 或图6所示的增益放大器GA的最大增益值Gmax。
在图3B的图中示出用于该操作的一个示例。如之前所述的那样，意味着 当参数K增大时，近红外光分量i:iR的比率增大。因此，微型计算机10将 增益放大器设置在第一最大增益值Gmaxl。相反，意味着当参数K减小时， 近红外光分量ZIR的比率减小。微型计算机10将增益放大器GA设置在小于 第一最大增益值Gmaxl的第二最大增益值Gmax2。
优选地，将其中设置第一最大增益值Gmaxl的区域Rl设置得大于参数 K的第一参考值Pl。将其中设置第二最大增益值Gmax2的区域R2设置得小 于参数K的第二参考值P2 (P2〈P1)。
更优选地，要设置的最大增益值Gmax在参数K的第一参考值Pl和第二 参考值P2之间的中间区域Rm从第 一最大增益值Gmaxl到第二最大考益值 Gmax2线性变化或以阶梯方式变化。如果没有形成中间区域Rm,则增益值可以在第一最大增益值Gmaxl和 第二最大增益值Gmax2之间晃动(flip )。通过线性或以阶梯方式变化最大增 益值Gmax (如前所述)，防止了最大增益值大大地变化或频繁地切换。因此， 可以防止显示屏幕上的图像所感觉到的噪声迅速变化。
在仅需要防止最大增益值频繁切换的情况下，可以将滞后特性给予最大 增益值Gmax。
另 一方面，从作为图6所示的控制器的微型计算机10提供增益值G本身 并且增益值G本身可以变化。
例如，将增益值G用于显示屏幕上图像的亮度的调整。例如，并非基于 来自图6的OPD块44的亮度信息，而是基于来自累加块58的亮度信息(累 加值Z )来提供自动曝光控制(AE)。此时，微型计算机IO对于变亮的暗景 物进行逆光补偿。微型计算机还进行与色温对应的亮度补偿，以便当由于光 源的色温引起可见光分量的量很小时增亮显示屏幕上的整个图像。
用于如上所述的操作的一个示例如下。在显示屏幕上的整个图像的亮度 充足但图像内的局部点亮度不足的情况下，微型计算机IO参照在例如非易失 性存储器11中保存的逆光校正表，并读出合适的增益值G。此外，微型计算 机10根据指示近红外光分量i:iR的相对量值的参数K的值，通过参照在例 如非易失性存储器11中保存的色温亮度校正表来读出合适的亮度校正表。
将增益放大器GA设置为在微型计算机10的控制之下读出的增益值G。 例如，只要关于显示屏幕上图像的亮度信息变化，则重复包括读取合适的增 益值G和重置(更新)增益放大器GA的增益值G的操作序列。
在以这种方式动态地控制增益的情况下，例如，使用作为最小单元的一 帧图像动态地重复例如如图3B所示的最大增益值Gmax的重置控制。
在本实施例中，动态地控制最大增益值Gmax,这是因为该值与降噪密切 相关。
首先简要描述使用交叉双向滤波器的降噪。所述降噪包括根据本发明的 一个实施例的降噪方法的一个示例。然后，将描述降噪和最大增益值控制之 间的关系。
图8是图解在捕获图像的步骤之后执行的处理的流程图。所述处理示意 性地图解边缘判决和降噪。在图8的步骤STO，由在相同的像素单元中包括A、 R、 G和B的颜色 像素的成像装置2成像景物。
然后，由图1所示的模数转换器(ADC) 5将所获得的模拟成像信号转 换为数字形式(步骤ST1 )。接着，由图6所示的A去马赛克部分543和RGB 去马赛克部分545执行去马赛克(步骤ST2)。为了画图的方便起见，在图中 省略了由AFE电路3执行模拟前端(AFE)处理、由分离部分541的分离、 由同步部分542执行的同步以及其他处理。
在步骤ST3，由图6所示的边缘信息获取部分4C获取边缘信息。然后， 在步骤ST4，执行滤波。步骤ST4的滤波包括边缘判决(步骤ST41)、 LPF 系数的设置(步骤ST42 )以及滤波(步骤ST43 )。
与步骤ST3的开始同时，开始步骤ST5的增益调整。首先，描述步骤ST3 和ST4。
例如在边缘信息获取部分4C中包括的差分计算器(未示出)(如减法器) 在微型计算机10的控制之下执行边缘信息的获取(步骤ST3 )。
可以由微型计算机IO本身来执行差值的计算。在计算依赖于硬件的情况 下，可以要求差分值计算电路。差分值计算电路计算目标A像素At的像素 值与相邻A像素Ap的像素值之间的差值D,所述相邻A像素Ap在例如包 括目标A像素At的3x3像素的相邻像素的范围内位于目标A像素At周围， 如图8的经去马赛克的A图像AD所示。
除了与经去马赛克的3x3范围的相邻像素对应的经去马赛克A图像AD 之外，在图8中示出了与3x3经去马赛克的A图像AD对应的经去马赛克的 R、 G和B图像RD、 GD和BD。
3x3经去马赛克的R图像RD的中心像素是目标R像素Rt。类似地，3x3 经去马赛克的G图像GD的中心像素是目标G像素Gt。 3x3经去马赛克的B 图像BD的中心像素是目标B像素Bt。
这四个目标像素一般通常在时钟信号规定的同一时间瞬间、在成像装置
2的像素阵列中的图4A或4B所示的相同像素单元内获得。当所处理的对象 顺序地变化时，例如，在水平方向上将四个目标像素顺序地移动一个像素间 隔。相应地，对于每一种颜色在相同的方向中将3x3相邻像素的范围移动一 个像素间隔。 、
差分值计算电路以所示的8种方向计算经去马赛克的A图像AD中的差值diff (px, py)。坐标(px, py)表示所示采用的(x， y)绝对位置坐标系 内的局部相对坐标，所述坐标系与显示屏幕上图像中的像素地址对应。坐标 (px， py)指示经去马赛克的A图像AD内相对于目标A像素At的每一个 位置。 一个像素间隔的距离由1指示。
当经去马赛克的A图像AD的中心像素(目标A像素At)根据绝对位置 坐标由AO (x, y)指示时，相邻像素可以由Ap (x-xp, y-yp)指示。它们的 差值的计算导致diff (px， py)。
8种差值的计算导致所示的差值阵列(数值矩阵)。将所获得的边缘信息 ED (差值阵列)从边缘信息获取部分4C发送到降噪部分4B,其中将所述信 息经历滤波操作。
图9是概念性地图解在上述滤光操作中所包括的边缘判决(步骤ST41 ) 和滤波(ST43)的图。图IO是概念性地图解在滤波操作(ST42)中滤波和 LPF系数的设置的图。
如图9和IO所示，降噪部分4B并入用于交叉双向滤波器的边缘判决部 分544、滤波器部分546以及滤波器系数设置部分547。
边缘判决部分544可以由专用硬件组成。可替代地，处理顺序可以由撰t 型计算机10载入的软件实现。滤波器部分546由包括X方向滤波部分和Y 方向滤波部分的硬件单元组成。这些X方向滤波器和Y方向滤波器中的每一 个均包括移位寄存器、加法器和乘法器。滤波器设置部分547操作以便从例 如非易失性存储器11中读取基本滤波器系数组并修改该组。该处理序列由微 型计算机10载入的软件实现。
在滤波器系数设置时(步骤ST42)，作为由微型计算机IO组成的滤波器 设置部分547从例如非易失性存储器11中读取基本LPF系数WO。如果边缘 判决部分544确定存在边缘，则滤波器设置部分547在对应的位置修改所读 取的基本LPF系数WO。
具体地，如图10所示，在做出"存在边缘"的决定的位置，降低基本 LPF系数WO,并计算X方向中所修改的LPF系数W (x, px)。由所计算出 的LPF系数W (x, px)代替基本LPF系数W0的对应部分。类似地，计算 Y方向中LPF系数W (y, py)。由所计算出的LPF系数W ( y, py)代替基 本LPF系数W0的对应部分。 '
LPF系数降低的比率可以由滤波器设置部分547在之前确定。根据差分值的量值可以动态地控制所述系数。
例如在X方向中得出LPF系数的方法的一个示例由以下公式(2)表示。 通过将等式(2)的"x"代替为"y"来获得Y方向中的计算公式。在所述 等式中，根据离差(dispersion) (a2)来统一地确定降低系数的方式。
戸
exp [ { (j: - / 力2 / 2cr/} +
____ ____ 乂
其中edge(x)指示A像素数据中X方向中每一个灰度电平值(见图9和10)。 滤波器部分546执行图8的滤波操作(步骤ST43)。例如，在X方向滤 波操作中，接收R、 G和B像素数据(输入in (x)),并如图9所示产生输出 out (x)。由于到滤波器部分546的输入in (x)是在由图6所示的增益放大 器GA进行的增益调整之后获得的R像素数据、G像素数据和B像素数据中 的任意一个，所以噪声电平是高。边缘灰度电平差值被噪声混淆。
另一方面，A像素数据包含W像素数据(等效于R、 G和B像素数据之 和)和近红外光分量IR。因此，A像素数据最初是大量数据。不需要调整增 益。因此，如图9所示，S/N高，且边缘灰度电平差值清楚。以与到Y方向 滤波器的输入in ( y)和A像素数据中的Y方向灰度电平值edge ( y)相同的 方式，边缘通过输入到滤波器而混淆但在A图像中清楚。这是为什么在设置 LPF系数时使用A像素信号数据的原因。可以从等式(2)中看出，关于A 像素信号数据的差分值信息反映在LPF系数W中由虚线指示的部分中。
滤波器部分546是用于通过使用滤波器设置部分547设置的滤波器系数 (权重系数)将权重附到输入in (x)或in (y)的目标像素值以及双向(即 X和Y方向)中每一种颜色的相邻8个像素值，来变化并输出目标像素值的 灰度电平值的电路。例如在X方向，由滤波器部分546执行的处理数学地由 等式(3)给出。Y方向中的公式通过将等式(3)的"x，，替换为"y"而获 得。
ow《x) =--Z '"W 『(x，戸)... (3 )
此时，滤波部分546将目标像素移动到下一相邻像素位置。只要修改目 标像素，则滤波部分重新计算LPF系数，执行移位，并影响进行滤波。目标 像素的变化完全与边缘信息获取部分4C的操作同步。在以目标像素为中心的 相邻像素范围内执行由以上等式(3)表示的滤波。当完成滤波时，将目标像素移动到下一像素位置。对于经修改的目标像素和相邻8个像素执行类似的 处理。
图8概念性地图解基本LPF系数W0的数值。在图8中，为了系数的描 绘方便起见，由不同于实际系数电平的相对大的整数值指示数值。
在系数"1"、 "3"和"1"以一列的方向(以所显示像素的垂直方向)排 列的情况下，如果将该列以相邻列之间的几乎中间的位置判断为边缘的中心， 则降低系数l、 3和1。为了说明方《更起见，例如，将系数乘以因数0.2。由 此，修改系数以便使边缘更加清楚。以这种方式使用经修改的LPF系数组 执行滤波操作。
使用普通二维滤波器(双向滤波器)，如果执行滤波，则边缘信息扩散到 相邻像素。
另一方面，在根据本实施例的交叉双向滤波器中，使用A像素信号数据 以保留每一个边缘的陡度。部分地修改用于去噪的基本LPF系数。如果修改 经优化的LPF系数用于去噪，则去噪的能力劣化。仅在显示屏幕上的整个图 像中局部地检测边缘。因此，除非以这种方式在判断边缘出现的位置应用强 降噪，否则可以充分地实现全面降噪。
在以像素信号进入的顺序(即扫描顺序)变化目标像素的同时，对于一 种颜色重复迄今描述的所执行的处理。在颜色图像中，保留颜色信息。图像 4妻近如图9和10中X方向中输出out (x)所示的A像素分布。也就是说， 将轻度变化(mild variation)作为颜色信息保留。然而，平滑掉了 ( smooth out) 突然或随机变化。结果，降低了噪声分量(即去除或抑制)。
将相同的原则应用于Y方向和其他剩余的两种颜色。
将经历降噪的R、 G和B信号(即经去马赛克的R、 G和B图像RD、 GD和BD的信号)从降噪部分4B发送组合部分4D。
另 一方面，将边缘紋理信息ET从边缘信息获取部分4C输出到组合部分 4D。与边缘紋理信息ET对应的一些经去马赛克的R、 G和B图像RD、 GD 和BD由边缘紋理信息ET代替，由此执行图像组合。
将在图像组合之后获得的R、 G和B图像输出到C块43。将经去马赛克 的A图像AD输出到Y块42。
图8图解在图像组合之后执行的处理。如图所示，可以首先将iC过图像 组合获得的图像进行白平衡和伽玛(Y )校正。可以将经伽玛校正的R、 G和B图像输出到如图5所示用于Y处理的Y块42以及用于C处理的C块43。
图ll是特别地图解增益调整(步骤ST5)的流程图。在由成像装置捕获 图像之后执行给定处理(步骤ST0)。首先执行包括分离、同步和RGB去马 赛克的步骤ST3的给定处理子步骤。将处理子步骤共同地由图11的ST30指 示。然后，开始步骤ST5。
在步骤ST51,在所分离的成像信号之外，将通过从要对其调整增益的R、 G和B信号去马赛克而获得的经去马赛克的R、 G和B图像RD、 GD和BD 的信号施加到增益调整部分4A。
在以下步骤ST52中，设置最大增益值Gmax。特別地，图6的累加块58 通过由图7所示的电路配置、例如在对于每一种颜色A、 R、 G和B的一帧 图像中累积地求和像素值来得出(find) A(W+IR)累加值i:A、 R累加值E R、 G累加值i:G和B累加值ZB。
作为控制器的微型计算机IO例如使用诸如上述等式(1-1)或(1-2)之 类的给定公式从这些累加值中计算参数K。通过参照例如如图3B所示的给定 关系来得出合适的最大增益值Gmax。将图3B的关系作为表存储在例如非易 失性存储器11中。微型计算机IO通过参照所述表来确定与所发现的参数K 对应的最大增益值Gmax。微型计算机10将所获得的最大增益值Gmax作为 图6的增益放大器GA的增益的上限给出。
在图11所示的步骤ST53的增益调整中，执行前述自动曝光控制(AE)。 将与显示屏幕上图像的亮度对应的增益值G从微型计算机10给到增益放大 器GA。对由增益放大器GA的输入信号以给定最大增益值Gmax进行包括正 常放大和削减的增益调整。在增益调整之后，将R、 G和B信号从增益放大 器GA输出到用于在步骤ST43滤波的降噪部分4B。
如目前所述的那样，在本实施例中，例如，在降噪滤波之前进行的增益 调整(ST5)期间，参数K的量值确定R、 G和B信号(第二成像信号)中 所包含的近红外光分量的量是大或小(步骤ST43)。在增益调整期间，根据 参数K的量值来设置或限制最大增益值Gmax。在本实施例中，根据参数K (图3B),可以将最大增益值Gmax变化到不同的值。
在降噪滤波期间(步骤ST43),存在由于输入动态范围而引起的降噪的 限制。如果超过了限制，则输出图像(来自图9和10的滤波器部分546的输 出out)中的噪声显著增大。限制根据噪声电平以及到滤波器部分546的输入in的信号电平而变化。当从成像装置到降噪级的信号处理的增益增大时，信 号中所包含的噪声电平增大。然而， 一般来说，通过在装置内部执行的信号 处理将由成像装置产生的噪声抑制到一定程度。因此，在由存在于从成像装
置到降噪级的路径中的放大器(如增益放大器GA )产生的噪声主要支配确定 在降噪中的限制的噪声电平。
也就是说，降噪中的限制(超过所述限制则噪声电平显著增大)与实际 上经历降噪的信号电平以及当将信号调整到那个信号电平时的增益相关。
在本实施例的照相机装置(视频输入处理器)中，将成像信号产生部分 (以信号输入的顺序在增益调整部分4A之前的配置)设计为能够产生包含 可见光分量的R、 G和B图像(第一成像信号)以及包括近红外光分量的A 图像(第二成像信号)。如果在第一成像信号(R、 G和B信号)的可见光分 量(￡ (R+G+B) ^ZW)与第二成^f象信号(A信号)的近红外光分量(ZIR) 之间的相对量值是已知的，则可以预测降噪中的限制(超过所述限制则噪声 显著增大)的相对量值。增益调整部分4A可以计算光分量的相对量值，例 如作为参数K。结果，可以可调整地设置最大增益值Gmax,以便不超过降噪 能力中的限制。
由于目前所述的配置，如果发生环境变化，如当成像景物时所使用的光 源变为不同或者光源的色温变化时，则在降噪期间不损害降噪能力。因此， 降噪保证总是输出高质量图像。
提取边缘部分的细节图像作为边缘紋理信息ET并同步。因此，在降噪在 边缘部分不产生有益效果(fruitfiil effect)的情况下或由于滤波使得颜色不同 的情况下，可以保留初始噪声电平和颜色信息。
作为本发明的修改，在照相机装置的前表面上安装作为近红外光发射部 分的红外线灯15，其中如图12所示也安装光学元件1,所述前表面朝向景物。
当增益调整部分4A已经确定近红外光分量(EIR)的电平低于给定参考 电平时，例如，在微型计算机10的控制下，点亮红外线灯15。
因此，在不提供充分量的近红外光的光源之下，可以增大从景物入射到 成像装置2的光量本身。结果，可以获得稳定图像质量的高敏感度图像，这 是因为没有执行依赖于具有低S/N比的图像的不合理处理。
根据目前所述的本实施例，可以有效地防止前述问题(即，根猛所包含 的红外光分量的比例降噪能力变得不同，而且有时超过了降噪的限制，产生带噪输出图像)。此外，通过利用所做出的关于近红外光分量的电平是否充足 决定的结果，增大了近红外光的量。因此，获得了高敏感度图像。因此，可 以合理地执行降噪。
本领域的技术人员应该理解，根据设计要求和其他因素，可以出现各种 修改、组合、子组合以及变更，只要它们在所附权利要求或其等价物的范围 内即可。
权利要求
1.一种视频输入处理器，包括成像信号产生部分，被配置为成像景物，并产生包含可见光分量的第一成像信号以及包含近红外光分量的第二成像信号；增益调整部分，被配置为根据该可见光分量与该近红外光分量之间的相对量值来可调整地设置最大增益值，并将用于该第一成像信号的增益调整在所设置的最大增益值；以及降噪部分，被配置为在已经调整该增益之后降低该第一成像信号中的噪声。
2. 根据权利要求1所述的视频输入处理器，其中该第二成像信号包括等 效于该第一成像信号的可见光分量的可见光分量以及与从景物发出的近红外 光的量对应的近红外光分量，并且其中该增益调整部分计算与第一比较值和 第二比较值之间的相对量值相关的参数，其中，基于来自成像信号产生部分 的第 一和第二成像信号从第一成像信号的可见光分量获得该第 一比较值，并 通过将与第二成像信号的可见光分量对应的近红外光分量加到等效于该第一 比较值的第二成像信号的可见光分量来获得该第二比较值，并基于该参数的 量值可调整地设置最大增益值。
3. 根据权利要求1所述的视频输入处理器，其中该增益调整部分计算指 示相对量值的参数，在该参数超过第一参考值并且包含相对大量的近红外光 分量的区域中设置第一最大增益值，在该参数小于第二参考值并且包含相对 少量的近红外光分量的区域中设置小于该第一最大增益值的第二最大增益 值，并且在该参数小于该第一参考值但大于该第二参考值的区域中从该第一 最大增益值到该第二最大增益值线性地或以阶梯方式变化要设置的最大增益 值。
4. 根据权利要求2和3中任意一项所述的视频输入处理器，其中该增益 调整部分具有多个累加部分，被配置为在给定时间段中，计算该第一成像信号的可见 光分量与该第二成像信号的近红外光分量的累加值；可变增益放大器，被配置为接收该第一成像信号，并对于所接收到的第 一成像信号调整增益；以及控制器，被配置为从由该累加部分获得的多个累加值计算参数，并基于 该参数的量值，可调整地设置该可变增益放大器的最大增益值。
5. 根据权利要求4所述的视频输入处理器，其中该多个累加部分包括曝光累加部分，所述曝光累加部分能够在给定数目的图像帧中累加可见光分量 的量值和近红外光分量的量值之和，并检测成像装置的显示屏幕上图像的亮 度，所述和与从景物发出的光对应，并且其中该控制器根据来自该曝光累加 部分的累加值控制该可变增益放大器的增益值。
6. 根据权利要求1所述的视频输入处理器，进一步包括边缘信息获取部 分，所述边缘信息获取部分被配置为从该第二成像信号获取边缘信息，并且 其中该降噪部分对于每一种颜色降低该第一成像信号中的噪声，同时保留在 基于该边缘信息识别的图像位置处的边缘信息。
7. 根据权利要求1所述的视频输入处理器，进一步包括近红外光发射部 分，所述近红外光发射部分被配置为当该增益调整部分已经确定该近红外光 分量的量小于给定参考电平时，使用给定量的近红外光照射景物。
8. —种用于接收包含可见光分量的第一成像信号以及包含近红外光分量 的第二成像信号并降低该第一成像信号中的噪声的成像信号处理电路，该成 像信号处理电路包括增益调整部分，被配置为根据该可见光分量与该近红外光分量之间的相 对量值来可调整地设置最大增益值，并将用于该第一成像信号的增益调整在 该所设置的最大增益值；以及降噪部分，被配置为在对于每一种颜色增益调整之后，降低该第一成像 信号中的噪声。
9. 一种降低成像信号中的噪声的方法，包括步骤获取包含可见光分量的第 一成像信号以及包含近红外光分量的第二成像 信号；才艮据该可见光分量与该近红外光分量之间的相对量值可调整地设置最大 增益值；将用于该第一成像信号的增益调整在该所设置的最大增益值；以及 在该增益调整之后，降低该第一成像信号中的噪声。
10. 根据权利要求9所述的降低成像信号中的噪声的方法，进一步包括步 骤当确定该近红外光分量的电平小于给定参考电平时，使用给定量的近红外光照射景物。
11.一种电子装置，包括成像信号产生部分，被配置为成像景物，并产生包含可见光分量的第一成像信号和包含近红外光分量的第二成像信号；增益调整部分，被配置为根据该可见光分量与该近红外光分量之间的相 对量值可调整地设置最大增益值，并将用于该第一成像信号的增益调整在该 所设置的最大增益值；降噪部分，被配置为在该增益调整之后，降低该第一成像信号中的噪声；以及控制器，被配置为产生用于控制该增益调整部分的控制信号。
全文摘要
公开了一种视频输入处理器。该处理器包括成像信号产生部分，被配置为成像景物，并产生包含可见光分量的第一成像信号以及包含近红外光分量的第二成像信号；增益调整部分，被配置为根据该可见光分量与该近红外光分量之间的相对量值来可调整地设置最大增益值，并将用于该第一成像信号的增益调整在所设置的最大增益值；以及降噪部分，被配置为在已经调整该增益之后降低该第一成像信号中的噪声。
文档编号H04N9/07GK101309360SQ20081009715
公开日2008年11月19日 申请日期2008年5月19日 优先权日2007年5月17日
发明者沼田肇 申请人:索尼株式会社