专利名称：摄像设备和图像处理方法
技术领域：
本发明涉及一种校正包含在由摄像设备拍摄的图像中的拖
尾(smear)的技术。
背景技术：
当通过电荷耦合装置(CCD)传感器拍摄高亮度对象时，可 能发生 一种叫做拖尾的现象，即在所拍摄图像的垂直方向上出 现亮条紋线。当拖尾发生时，降低了所拍摄图像的图像质量。 为了防止拖尾的发生，已经应用了一种方法，该方法由作为有 效像素区域之外的遮蔽4象素区域的垂直光学黑(optical black， OB)和没有感光度的虚(dummy;K象素区域的输出电平来确定拖 尾量，并减去由图像信号获得的该拖尾量。
然而，最近由于CCD传感器更高的像素密度，使得像素大 小日益显现出最小化的趋势，而且图像读取时间也有增加的趋 势。因而，即使在拍摄低亮度对象时也会发生拖尾，而以前不 会发生这个问题。此外，当拍摄太阳等高亮度对象时，会发生 强烈的不可想象的拖尾，以前没有考虑过这个问题。
在日本特开平4-280579号公报中公开的摄像信号处理设备 配置成在不减去拖尾信号的情况下通过控制亮度伽玛校正电路 的增益和色差信号的增益来校正拖尾。此外，在美国专利 3，788，393号中公开的数字静态照相机设备配置成通过从多个 图像检测拖尾量来校正拖尾以减少弱拖尾信号。
然而，当校正大的拖尾信号时，日本特开平4-280579号公 报中公开的摄像信号处理设备不能达到充分的校正效果。
此外，美国专利3，788，393号中公开的数字静态照相机设备在运动图像中会出现拖尾，而且不能减少强烈的拖尾。
发明内容
本发明涉及 一 种用于对可能检测到拖尾的图像信号执行适 当的拖尾校正而不降低图像质量的方法。
根据本发明的一个方面， 一种摄像设备包括拖尾检测单 元，用于根据图像信号检测拖尾量；拖尾校正单元，用于基于 检测到的拖尾量执行拖尾校正；以及图像处理单元，用于基于 检测到的拖尾量执行图像处理。
根据本发明的另一方面， 一种图像处理方法包括根据图 像信号检测拖尾量；基于检测到的拖尾量执行拖尾校正；以及 基于检测到的拖尾量执行图像处理。
此外，通过以下参照附图对典型实施例的i兌明，本发明的 特征和方面将变得明显。
包含在说明书中并构成说明书 一部分的附图示出了本发明 的典型实施例、特征和方面，和说明书一起用来解释本发明的 原理。
图1是示出了根据本发明典型实施例的摄像设备的结构的 框图2是示出了基于拖尾量而校正的拖尾校正量的图； 图3是示出了各图像区域拖尾量变化的现象的图； 图4是示出了基于外部光的色温而执行的白平衡校正的图； 图5是示出了根据本发明典型实施例的摄像设备的操作的 流程图。
具体实施例方式
下面参考附图来详细说明本发明的各种典型实施例、特征 和方面。
图1是示出了根据本发明典型实施例的摄像设备100的结构
的框图。
在图l中示出了摄像镜头101和调焦镜头102。调焦镜头102 通过在光轴方向上改变焦点位置来调节焦点。图像传感器103 包括CCD传感器等。图像传感器103将通过摄像镜头101的对象 图像的光束光电转换为电信号。
相关双采样/模数(CDS/AD)单元104对由图像传感器103输 出的模拟信号执行箝位处理和增益处理以将该模拟信号转换为 数字信号。调焦驱动电路111控制调焦镜头102。摄像单元驱动 电路112控制图像传感器103和CDS/AD单元104。
拖尾4企测电路105在系统控制单元117的控制下从在 C D S / A D单元10 4转换得到的数字信号(图像信号)中检测拖尾信 号，并且还检测拖尾信号中的拖尾量。拖尾检测电路105基于用 作图像传感器103的光学遮光像素的光学黑(OB)像—素区域和/或 没有感光度的虚像素区域来4全测拖尾信号。拖尾#r测电路10 5 将检测结果发送到下面将说明的拖尾校正电路106和系统控制 单元117。拖尾检测电路105发送各像素区域的拖尾量。由于拖 尾信号主要是当电荷叠加在遮光垂直传输像素上时所产生的噪 声，因而拖尾4企测电3各105可以很容易地从OB像素区域和虚像 素区域检测到拖尾信号。
拖尾校正电路10 6在系统控制单元117的控制下基于检溯'j到 的拖尾量来设置拖尾校正量。而且，拖尾校正电路106用设置的 拖尾校正量执行图像信号的拖尾校正。
现在将参考图2来说明拖尾校正电路106基于拖尾量设置的拖尾校正量。在图2中，水平轴表示检测到的拖尾量，垂直轴表 示要设置的拖尾校正量。
图2中示出的特性线301表示基于拖尾量传统设置的拖尾校 正量。传统上，如特性线301所示，与拖尾量成比例地设置拖尾 校正量。因此，当拖尾量增大时，从图像信号中减去大的拖尾 校正量。因而，如果以大的拖尾校正量来校正只产生小拖尾量 的像素，则该像素的图像信号会由于过校正而变得太小并且使 图像质量下降。
另 一方面，图2中示出的特性线302表示根据本典型实施例 的基于拖尾量所设置的拖尾校正量。
在本典型实施例中，拖尾校正电路106保持特性线302的信 息。然而，代替拖尾校正电路106,还可由只读存储器(R0M)118 来存储该信息，系统控制单元117从R0M 118读出该信息并将它 设置到拖尾校正电路10 6 。
在特性线302中，在拖尾量非常小的范围内(图2中示出的从 0到T1的范围内)，拖尾校正电路106限制拖尾校正量并将其设置 为下限值(这里将拖尾校正量设置为O)。此外，当拖尾量在预定 量的范围内(图2中示出的从T1到T2的范围内)时，拖尾校正电路 106与拖尾量成比例地设置拖尾校正量。此外，当拖尾量等于或 大于预定量(图2中示出的T2以上)时，限制拖尾校正量并将其设 置为上限值(这是将拖尾校正量设置为R)。因而，即使拖尾量大， 拖尾校正电路106也将拖尾校正量限制为上限值，从而防止了由 于过校正而导致的图像质量的降低。
此外，拖尾4交正电路10 6允许在由拖尾4全测电^各10 5检测到
的有效像素区域内的任何图像区域中进行拖尾校正。然后，拖 尾校正电路10 6可以适应性地根据检测到的拖尾量对各图像区 域设置拖尾校正量。现在将参考图3说明示出了各图像区域的不同拖尾量的图 像。图3是示出了针对高亮度对象拍摄的图像的一个示例的图。 在图3所示的图像中，校正区域501是由于存在黑色对象而显示 有少量拖尾信号的区域。此外，校正区域502是在蓝色天空上叠 加广而稀的拖尾信号的区域。此外，校正区域503是由于存在太 阳等高亮度对象而叠加有强拖尾信号的区域。拖尾校正电源106 对各图像区域，换句话说，对校正区域501、才交正区域502和才交 正区域503设置拖尾校正量并执行拖尾4交正。
更具体地，拖尾校正电路106针对只有少量拖尾信号要执行 拖尾校正的校正区域501，将拖尾校正量设置为图2中所示的下 限值。此外，拖尾校正电路106在显示有稀的拖尾信号要执行拖 尾校正的校正区域5 0 2中，将拖尾校正量设置为与拖尾量成比例 的拖尾校正量。此外，拖尾校正电路106针对显示有强拖尾信号 要执行拖尾校正的校正区域503，将拖尾校正量设置为图2中所 示的上限值。因而，与4全测到的拖尾量相对应地执行拖尾4交正， 从而执行了适当的拖尾校正。特别地，当拖尾信号强时，由于 限制了拖尾校正量并将其设置为上限值，因此可以防止由过校 正导致的图像信号的减弱。此外，对各图像区域执行拖尾校正， 从而可以执行适合各图像区域的拖尾校正。
返回参考图l中的框图，信号处理电路108对由拖尾校正单 元106进行了拖尾校正的图像信号或来自系统控制单元117的图 像信号执行白平衡处理、像素插值处理、颜色信号处理、亮度 信号处理和颜色增益调整等信号处理。
在上述拖尾校正电路106中，为了防止由于过校正而导致的 图像信号的减弱，当拖尾信号强时，限制拖尾校正量并将其设 置为上限值。因此，拖尾校正是不足的。因而，在图像中可能 仍残留有拖尾。因此，信号处理电路108基于拖尾量执行图像处理，从而使拖尾变得不明显。更具体地，由于拖尾包含品红色
分量，因而信号处理电路108执行白平衡以根据拖尾量減少品红 色分量。
现在将参考图4说明信号处理电路108基于拖尾量执行图像 处理(白平衡处理)的情况。在图4中，水平线表示检测到的拖尾 量，垂直线表示要设置的白平衡校正量。在图4中示出了与拖尾 量相对应的白平衡校正量的一维查询表。在本典型实施例中， 信号处理电路108保持有关查询表的信息。然而，并不限于这个 典型实施例。可以配置成使ROM 118存储该信息，系统控制单 元117从R0M 118中读取该信息并将其设置给信号处理电路 108。图4中所示的水平线上的T1和T2与图2所示的水平轴上的 T1和T2相对应。
图4中示出的特性线401表示当外部光的色温正常时与拖尾 量相对应的白平衡校正量的一维查询表。如特性线401所示，当 拖尾量在预定量的范围内(在图4中所示的从O到T2附近的范围 内)时，信号处理电路108将白平衡校正量设置为O。此外，当拖 尾量为预定量以上(在拖尾量大于图4中所示的T2附近的范围内) 时，信号处理电路108以与拖尾量成比例的方式设置绿色的白平 衡校正量。更具体地，信号处理电路108执行颜色增益调整以执 行白平衡处理。因而，以与拖尾量成比例的绿色白平衡校正量 来执行白平衡处理，从而可以校正拖尾而不降低图像质量。
此外，图4中所示的特性线402表示当外部光为诸如天气良 好或多云时的阴影等的高色温光源时与拖尾量相对应的白平衡 校正量的一维查询表。在高色温光源中，蓝色分量变强。因而， 由一维查询表来提供特性线402,该查询表将特性线401大致平 行地向品红色侧移动，从而将品红色设置为白平衡校正量以减 少蓝色分量。如特性线402所示，当拖尾量在预定量的范围内(在图4中示出的从0到T2附近的范围内)时，信号处理电路108将白 平衡校正量设置为品红色侧的预定值并执行白平衡处理。此外， 当拖尾量为预定值以上(在拖尾量大于图4中示出的T2附近的范 围内)时，信号处理电路108以与拖尾量成比例的方式设置品红 色或绿色的白平衡校正量并执行白平衡处理。
由与在信号处理电路108中执行了图像处理的图像信号有 关的图像信息来计算外部光的色温。信号处理电路108根据计算 出的外部光的色温，在正常色温下使用特性线401而在高色温光 源下使用特性线4 02来执行图像处理。与在拖尾校正电路10 6中 的处理类似，信号处理电路108对如图3中所述的显示不同拖尾 量的各图像区域执行图像处理。因而，对各图像区域执行图像 处理，从而可以才丸行适合图像区域的图^f象处理。
返回参考图1中的框图，系统控制单元117将已在信号处理 单路108中进行过图像处理的图像信号存储在图像存储器107中 作为图像数据。图像存储器107有足够高的速度以存储所拍摄的 预定数量的静态图像和预定时间长度的运动图像，并且具有大 的存储容量。图像存储器10 7用作系统控制单元117的工作区。
记录电路109是与随后将说明的存储介质110的接口 。记录 电路109在记录电路109和存储介质110之间发送并接收图4象数 据和附加至图像数据的管理信息。
存储介质110包括可移除存储卡、硬盘等。记录电路109将 存储在图像存储器10 7中的图像数据记录在存储介质110上。
显示装置114包括液晶显示器(LCD)等。在显示装置114上， 显示拍摄的图像数据。此外，显示装置114可以通过在其上顺续 显示拍摄的图像数据而被用作电子取景器。
显示电路113执行控制以在显示装置114上显示拍摄的图像 数据等。此外，显示电路113基于在系统控制单元117控制下的程序执行来执行显示装置114的显示、距离测量框显示、对焦显
示、散焦(out-of-focus)警告显示等的开/关(ON/OFF)。
将在显示装置114上显示的数据存储在随机存取存储器 (RAM)119中。显示电路113在系统控制单元117的控制下将存储 在RAM 119中的数据显示在显示装置114上。将用于系统控制单 元117的运行的常数、变量和程序存储在ROM 118和RAM 119 中。
用户可以通过开关(SW1)115和开关(SW2)116来执行静态 图像记录和运动图像记录的开始和停止操作。
系统控制单元117控制整个摄像设备100。此外，系统控制 单元117通过控制摄像镜头101中的光圏和快门来执行自动曝光 控制(AE),并且通过控制调焦驱动电路lll来执行自动调焦 (AF)。
接下来将参考图5中示出的流程图来说明摄像设备100的处 理。在下面各步骤中，当通过除了系统控制单元117之外的主构 件来执行处理时，主构件在系统控制单元117的控制下执行处理。
首先在步骤S1中，系统控制单元117将^vOB区域输出的信 号设置为预定值(设置黑信号电平)。例如，当使用具有14位最 高输出的CDS/AD单元时，以16383最小有效位(least significant bit, LSB)来提供最大输出信号。作为一个示例，系统控制单元 117调整CDS/AD单元，从而以最大输出值的5%(819 LSB)来提 供OB像素输出值和虚像素输出值。如果没有叠加拖尾等噪声信 号，则将OB像素输出值和虚像素输出值作为调整值输出。
接下来在步骤S2中，拖尾4企测电路1054企测拖尾信号。由 于拖尾信号是叠加在OB像素输出值和虚像素输出值上的噪声 信号，因而拖尾检测电路105从OB信号和虚信号中减去调整值，从而斥企测拖尾量。在本典型实施例中，拖尾检测电路105可以在 l到15564 LSB的范围内检测拖尾量。拖尾检测电路105根据检 测到的拖尾量来分割图像区域。在下面的步骤中，对分割后的 各图像区域执行处理。
接下来在步骤S3中，拖尾校正电路106判断在拖尾检测电 路105中检测到的拖尾量是否在第一预定范围内。例如，在图2 示出的特性线302的情况下，拖尾校正电路106判断拖尾量是否 在图2中示出的从0到T1的范围内。根据步骤S3中的结果，判断 是否要校正稍后将说明的白平衡处理参数和颜色处理参数等有 关图像质量的参数。如果拖尾量在第一预定范围内(在步骤S3 中为"是")，则系统控制单元117使处理进入步骤S4。如果拖尾 量不在第一预定范围内(在步骤S3中为"否")，则系统控制单元 117使处理进入步骤S6。
在步骤S4中，拖尾校正电路106将拖尾校正量设置为预定 下限值(下限值箝位处理)。随后，拖尾校正电路106以设置的拖 尾校正量执行拖尾校正。例如，在图2示出的特性线302的情况 下，由于拖尾校正量为O，因而拖尾校正电路106不执行拖尾校 正。
接下来在步骤S5中，类似于对没有发生拖尾的图像的处
号执行图像处理(正常图像处理)。此时，系统控制单元117检测 由信号处理电路108处理后的图像信号的外部光的色温。信号处 理电路108根据检测到的色温来设置当执行白平衡处理时使用 的白平衡校正量等。例如，在正常光源下，信号处理电路108 基于图4中示出的特性线401(拖尾量在0到Tl的范围内)将白平 衡校正量设置为O。此外，在高色温光源下，信号处理电路108 基于图4中示出的特性线4 02设置白平衡校正量以使品红色变强，并执行白平衡处理。此外，信号处理电路108执行像素插值
处理等图像处理。
在步骤S6中，拖尾校正电路106根据在拖尾检测电路105中 检测到的拖尾量来判断是否可以完全执行拖尾校正。在这个步 骤中，拖尾校正电路106判断拖尾量是否在第二预定范围内。例 如，在图2中示出的特性线302中，拖尾校正电路106判断拖尾量 是否在图2中所示的从T1到T2的范围内。如果拖尾量在第二预 定范围内(在步骤S6中为"是")，则处理进入步骤S7。如果拖尾 量没有在第二预定范围内(在步骤S6中为"否")，则处理进入步 骤S8。
在步骤S7中，拖尾校正电路106从图像信号中减去与拖尾 量相对应的拖尾校正量，并执行拖尾校正。在图2示出的特性线 302中，拖尾4交正电^各106以与拖尾量成比例的拖尾校正量来执 行拖尾校正。随后，与步骤S5类似，信号处理电路108对执行 拖尾校正的图像信号执行图像处理。
在步骤S8中，拖尾校正电路106将拖尾校正量设置为预定 上限值(上限值箝位处理)。接着，拖尾校正电路106以设置的拖 尾校正量来执行拖尾校正。例如，在图2示出的特性线302的情 况下，由于拖尾校正量的上限值为"R",因而拖尾校正电路106 将拖尾校正值设置为"R",并执行拖尾校正。
接着在步骤S9中，信号处理电路108对以预定上限值进行 了拖尾校正的图像信号执行与拖尾量相对应的图像处理(适应 性的信号处理)。此时，系统控制单元117检测在信号处理电路 108中处理后的图像信号的外部光的色温。信号处理电路108根 据检测到的色温来设置当执行白平衡处理时使用的白平衡校正 量等。例如，在正常光源下，信号处理电路108基于图4中示出 的特性线401(在拖尾量大于T2的范围内)，根据检测到的拖尾量设置白平衡校正量以使绿色变强，并执行白平衡处理。此外，
在高色温光源的情况下，信号处理电路108基于图4中示出的特 性线4 0 2,与检测到的拖尾量成比例地设置白平衡校正量以使品 红色变弱，并执行白平衡处理。此外，当超过了预定拖尾量时， 信号处理电路108以与拖尾量成比例的方式设置白平衡校正量 以使绿色变强，并执行白平衡处理。此外，信号处理电路108 将与检测到的拖尾量相对应的颜色信号处理等的图像质量有关 的参数设置为合适的值，并执行图像处理。
类似地，信号处理电路108对在步骤S2中分割得到的各图 像区域执行上述步骤S3到步骤S9的处理。因而，对分割得到的 各图像区域执行拖尾校正和图像处理，从而可以对各图像区域 执行合适的拖尾校正和图像处理。
根据上述典型实施例，当检测到的拖尾量大于预定值时， 将拖尾校正量设置为上限值以执行拖尾校正，从而可以防止图 像信号由于过校正而变得太小。另一方面，即使由于设置了上 限而不能充分地执行拖尾校正，在基于检测到的拖尾量执行白 平衡处理并补偿拖尾校正时，也可以使拖尾不明显。在本典型 实施例中，只说明了基于检测到的拖尾量执行拖尾校正和图像 处理的情况。然而，并不限于本典型实施例。例如，信号处理 电路108可以基于拖尾校正量来执行图像处理。
可以通过运行存储在计算机的RAM或ROM中的程序来实 现本发明的上述典型实施例中的构成摄像设备的各单元或摄像 设备的图像处理方法的各步骤。本发明中包括程序和记录程序 的计算机可读存储介质。
此外，本发明包括系统、设备、方法和程序或计算机可读 存储(记录)介质等典型实施例。更具体地，本发明可应用于包 括多个仪器的系统。本发明直接或从远程向设备或系统提供实现上述典型实施 例的功能的软件程序。然后，可以通过使系统或设备的计算机 读取并执行提供的程序代码来实现本发明。
因此，为了通过计算机实现本发明的功能处理，安装在计 算机上的程序代码本身也可以实现本发明。就是说，本发明也 包括用于实现本发明的功能处理的计算机程序本身。在这种情 况下，本发明可以是目标代码、由解释程序执行的程序、提供
给操作系统(os)的脚本数据等的形式，只要其包括程序的功能即可。
此外，通过使计算机读取并执行程序来实现上述典型实施
例的功能。此外，也可以基于运行在计算机上的程序命令、OS
等，执4于实际处理的一部分或全部，/人而实现上述典型实施例
的功能。
此外如其它方法，将从计算机可读存储(记录)介质中读取 的程序写入插入计算机的功能扩展板或连接到计算机的功能扩 展单元中提供的存储器中。基于该程序的命令，功能扩展板或
功能扩展单元中提供的中央处理单元(CPU)等执行实际处理的
一部分或全部，/人而可以实现上述典型实施例的功能。
尽管已经参考典型实施例说明了本发明，但是应该理解， 本发明不限于所公开的典型实施例。所附权利要求书的范围符 合最宽的解释，以包含所有这类修改以及等同结构和功能。
权利要求
1.一种摄像设备，包括拖尾检测单元，用于根据图像信号检测拖尾量；拖尾校正单元，用于基于检测到的拖尾量执行拖尾校正；以及图像处理单元，用于基于检测到的拖尾量执行图像处理。
2. 根据权利要求l所述的摄像设备，其特征在于，所述拖 尾校正单元基于检测到的拖尾量限制拖尾校正量。
3. 根据权利要求l所述的摄像设备，其特征在于，所述图 像处理单元基于检测到的拖尾量执行白平衡处理。
4. 根据权利要求l所述的摄像设备，其特征在于，所述图 像处理单元基于检测到的拖尾量执行颜色增益调整。
5. 根据权利要求l所述的摄像设备，其特征在于，还包括 色温检测单元，用于执行色温检测，其中所述图像处理单元基于检测到的拖尾量和检测到的色温执行图像处理。
6. 根据权利要求l所述的摄像设备，其特征在于，所述拖 尾检测单元检测发生拖尾的图像区域，以及所述拖尾校正单元对检测到的各图像区域执行拖尾校正。
7. 根据权利要求6所述的摄像设备，其特征在于，所述图 像处理单元基于检测到的拖尾量对检测到的各图像区域执行图 像处理。
8. 根据权利要求l所述的摄像设备，其特征在于，所述图拖尾校正量相对应的图像处理。
9. 根据权利要求l所述的摄像设备，其特征在于，当检测 到的拖尾量超过所述拖尾校正单元的上限值时，所述图像处理 单元执行用于减小由拖尾引起的图像颜色的变化程度的图像处理。
10. —种图像处理方法，包括 根据图像信号检测拖尾量； 基于检测到的拖尾量执行拖尾校正；以及 基于检测到的拖尾量执行图像处理。
11. 根据权利要求10所述的图像处理方法，其特征在于， 还包括基于检测到的拖尾量执行白平衡处理。
12. 根据权利要求10所述的图像处理方法，其特征在于， 还包括基于检测到的拖尾量执行颜色增益调整。
13. 根据权利要求10所述的图像处理方法，其特征在于， 还包括4企测色温；以及基于检测到的拖尾量和检测到的色温执行图像处理。
14. 根据权利要求10所述的图像处理方法，其特征在于， 还包括检测发生拖尾的图像区域；以及 对检测到的各图像区域执行拖尾校正。
全文摘要
本发明提供一种摄像设备和图像处理方法。该摄像设备包括拖尾检测单元，用于根据图像信号检测拖尾量；拖尾校正单元，用于基于检测到的拖尾量执行拖尾校正；以及图像处理单元，用于基于检测到的拖尾量执行图像处理。
文档编号H04N5/335GK101616254SQ20091014224
公开日2009年12月30日 申请日期2009年6月26日 优先权日2008年6月26日
发明者伊藤明治 申请人:佳能株式会社