灰尘检测系统以及数码相机的制作方法

专利名称：灰尘检测系统以及数码相机的制作方法
技术领域：
本发明涉及一种根据拍摄的图像检测粘附在安装在例如数码相机
的照相装置的成像装置上的灰尘的灰尘检测(detection)系统。
背景技术：
在可以更换镜头的数码相机中，例如单反相机，当从机身上去除镜头时候，灰尘可以意外的进入照相机机身。进入机身的灰尘可以粘附到成像装置或成像装置的滤光片上。当粘附(adhere)这样的灰尘时，所述灰尘会显示在拍摄的图像上。
即使灰尘在拍摄的图像上是可见的， 一些灰尘通过直接视觉观察是不可见的。日本未审查专利申请No. 2005-341381中提出了一种确定是否附着(attach) 了这样的灰尘的数码相机。如果检测到灰尘，则通过警告建议使用者去除灰尘。
在成像装置的生产过程中或者在成像装置向照相机机身的安装过程中，在红外截止滤光片或者低通滤光片上有可能产生微小的缺陷(flaw)，或者微小的灰尘会进入这些滤光片之间。在制造之后，这种微小的缺陷和灰尘是难以去除的。从而，如果在制造之后的照相机的质量检查中，缺陷或者灰尘在拍摄的图像上是可见的，那么照相机就不能通过检验。
充分小的缺陷和灰尘在拍摄的图像上是不可见的并且是不会造成问题的。然而，这样的缺陷和灰尘的图像会通过在上述专利公开的灰尘检测功能的边缘增强信号处理被放大(exaggerate),从而允许用户识别缺陷或灰尘。由于如上文所述，这样的缺陷和灰尘不能被去除，所以即使在清洁滤光片或成像装置之后，也不希望用户检测到它们。

发明内容
由此，本发明的目的是提供一种根据拍摄的图像检测制造时伴随的灰尘和缺陷(固有缺陷，intrinsic flaw)以外的灰尘的灰尘检测系统。
根据本发明，提供一种灰尘检测系统，其包括接收器，灰尘提取模块(extraction block),存储器，以及图像校正模块。接收器接收图像信号。成像装置根据捕捉到的光学图像产生图像信号。灰尘提取模块通过根据图像信号在光学图像中提取灰尘子图像产生灰尘图像信号。存储器存储对应于所述灰尘提取模块在初始化时提取的包括灰尘的子图像的固有缺陷图像的固有缺陷图像信号。图像校正模块根据固有缺陷图像信号以及正常灰尘图像信号，产生校正的灰尘图像信号。校正的灰尘图像信号对应于校正的灰尘图像。正常灰尘图像信号对应于所述灰尘提取模块在初始化后提取的、包括灰尘的子图像的正常灰尘图像。校正的灰尘图像是，从其中删除了固有缺陷图像中的灰尘的子图像的正常灰尘图像。
此外，根据检测的缺陷区域确定固有缺陷区域。检测的缺陷区域是在固有缺陷图像中检测到灰尘的区域。图像校正模块通过在正常灰尘图像的固有缺陷区域中删除灰尘子图像，产生校正的灰尘图像信号。
此外，灰尘检测系统包括第一确定模块。第一确定模块确定可调整的参数的值。可调整的参数影响通过成像装置捕捉的整个图像中的目标的子图像的可见性。目标位于成像装置的表面的周围区域。可调整的参数被确定，从而捕捉正常灰尘图像时的可见性相比捕捉固有缺陷图像时被更多的降低。


本发明的目的和优点将从下面的说明参考附图，更好的得到理解，^中
图1是显示根据本发明的第一到第三实施例的，具有灰尘检测系统的数码相机的部分内部结构的剖面图2是显示第一和第二实施例的图像处理模块的内部结构的块图;
图3是显示第一实施例的灰尘图像处理模块的内部结构的块图4说明正常灰尘图像；
图5说明检测的缺陷区域的放大；图6描述了固有缺陷图像；图7描述了固有缺陷区域；
图8说明了具有局部加黑的灰尘子图像的正常灰尘图像；图9说明了校正的灰尘图像；
图io是说明第一实施例中的通过系统控制器产生固有缺陷图像信
号以及将其存储在闪速存储器的执行过程的流程图11是说明在第一实施例的灰尘警告模式中通过系统控制器执行
的过程的流程图12是显示第二实施例中的灰尘图像处理模块的内部结构的块
图13显示了检测的缺陷区域的放大和光圈值之间的关系；图14显示了检测的缺陷区域的放大和出瞳及成像装置间的距离之间的关系；
图15显示了作为固有缺陷区域确定的帧宽度和出瞳的位置及成像装置间的距离之间的关系；
图16是说明第二实施例中在灰尘警告模式通过系统控制器执行的过程的流程图17是说明第二实施例中在灰尘警告模式通过系统控制器的执行的过程的流程图18是显示第一和第三实施例中的图像处理模块的内部结构的块
图19是显示第三实施例中的图像处理模块的内部结构的块图；图20是说明第三实施例中在灰尘警告模式通过系统控制器的执行的过程的流程图。
具体实施例方式
本发明参考附图中显示的实施例在下面进行详述。在图1中，数码相机10是单反相机，以及包括镜头单元20和照相机模块30。镜头单元20能够连接到照相机模块30或从照相机模块30分开。在图1中，水平和竖直方向分别对应于数码相机的10从前到后的方向以及竖直方向。在下面的描述中，完整图像的一部分被定义
7为子图像。
镜头单元20包括镜头单元驱动机构21 (第一确定模块)以及拍摄
光学系统22。此外，镜头存储器(未示出)安装在镜头单元20上。镜头存储器存储拍摄光学系统22的信息，例如最大光圈值、最小光圈值、焦距、最小模糊圈(circle of confusion)、出瞳位置等等。
通过在机身31中安装反射镜32、成像装置33、监视器34、图像处理模块40、五棱镜35、目镜36、以及其它组件形成照相机模块30。镜头单元周期性的和照相机模块30通讯，于是拍摄光学系统的22的信息存储在安装在照相机模块30中的闪速存储器(在图1中未示出)中。当执行诸如光圈控制的特定功能时，使用拍摄光学系统22的信息。在镜头单元20和照相机模块30具有一致的形式的照相机中，拍摄光学系统22上的信息被直接存储在照相机模块30的闪速存储器中。
拍摄光学系统22包括多个镜头，包括聚焦镜头和变焦镜头，以及光圈23。通过沿着拍摄光学系统22的光轴移动聚焦镜头，调整聚焦。通过沿光轴移动变焦镜头，调整焦距。此外，通过调整光圈23的光圈尺寸，可以调整入射光的量。镜头单元驱动机构21移动聚焦镜头以及变焦镜头，以及调整光圈23的光圈尺寸。
安装反射镜32从而反射镜32绕垂直于拍摄光学系统22的光轴的轴旋转。在拍摄准备模式，反射镜32保持在光轴上，从而光轴和反射镜32的平面表面的之间的角度是45度。
五棱镜35安装在反射镜32之上。成像装置33安装在反射镜32的后面。目镜36安装在五棱镜35的后面。
在拍摄准备模式，从目标反射的光穿过拍摄光学系统22，并被反射镜32所反射。反射的光学图像经五棱镜35投射到目镜36上。在目镜36可以观察光学图像。
通过按下释放按钮(未示出)，执行释放操作。在释放操作中，反射镜32向上转动，快门(未示出)打开，以及目标的光学图像形成在成像装置33的光接收表面(light-receiving surface)上。
成像装置33覆盖有红外截止滤光片(未示出)和光学低通滤光片(未示出)。密封元件(未示出)安装在成像装置和红外截止滤光片之间，以及红外截止滤光片和光学低通滤光片之间，以防止灰尘进入它们之间的空间。
成像装置33根据到达光接收表面上的整个光学图像产生图像信 号。图像信号传送到图像处理模块40，以及进行预定数据处理。图像
处理模块40连接到监视器34。对应于从图像处理模块40传送的图像 信号的图像显示在监视器34上。
接下来，说明图像处理模块40的结构。如图2所示，图像处理模 块40包括A/D转换器41 (接收器)，正常图像处理模块42，灰尘图像 处理模块50， D/A转换器43，以及其它组件。
数码相机10具有多个操作模式，包括拍摄模式，显示模式以及灰 尘警告模式。根据用户输入到输入模块37 (开关)的指令而改变操作 模式。根据输入到输入模块37的指令，系统控制器38 (控制器)控制 包括数码相机10的图像处理模块40的每个组件。
当数码相机10的操作模式变化到拍摄模式，数码相机10的所有 组件切换到拍摄准备模式。在拍摄准备模式，当释放按钮按下，反射 镜32以及快门如上述被驱动，以及驱动成像装置33，从而产生图像信 号的一个帧。
产生的图像信号被传送到图像处理模块40，如上文所述。被传送 到图像处理模块40的模拟图像信号被A/D转换器41接收并进行数字 化处理。在系统控制器38的控制下，作为结果的图像数据被传送到正 常图像处理模块42。
正常图像处理模块42执行图像数据上的预定数据处理，例如白平 衡处理和灰度(gamma)校正。经过预定数据处理的图像数据存储在可 移动存储器39中。
当数码相机10的操作模式改变到显示模式时，存储在可移动存储 器39中的图像数据经正常图像处理模块42被传送到D/A转换器43。 D/A转换器43转换数字图像信号到图像信号，以及传送到监视器34。 对应于接收的图像信号的图像被显示在监视器34上，如上文所述。
在灰尘警告模式，粘附在成像装置33的表面上的灰尘被拍摄以及 显示在监视器34上，如下文所述。
当数码相机10的操作模式改变到灰尘警告模式时，调整镜头单元 20从而被拍摄的物体在图像中是可以辨别的。例如，根据光圈优先模式执行自动曝光控制。光圈23的光圈尺寸被调整从而拍摄光学系统22
的F数是F16 (相当于APEX系统中的光圈值8)。此外，快门速度被调 整，从而曝光被校正。
在调整光圈尺寸之后，执行释放操作，以及产生图像信号。在灰 尘警告模式，应当拍摄均匀的场，从而检测粘附在成像装置33上的灰 尘。在灰尘警告模式，建议(instruct)用户对准花样较少的表面拍 摄，从而在灰尘警告模式中所有的在释放操作之后的操作的执行假定 拍摄的目标没有花样。
在灰尘警告模式，通过成像装置33产生的图像信号，在此后称为 正常灰尘图像信号，被传送到图像处理模块40，如同在拍摄模式。传 送的正常灰尘图像信号被A/D转换器41数字化处理。在灰尘警告模式， 在系统控制器38的控制下，正常灰尘图像数据被传送到灰尘图像处理 模块50。
灰尘图像处理模块50通过在正常灰尘图像数据上执行预定的数据 处理，产生校正的灰尘图像数据。如下面所述，校正的灰尘图像数据 对应于仅包括粘附在成像装置33上的可去除的灰尘的子图像的整体的 校正的灰尘图像。校正的灰尘图像数据被传送到D/A转换器43。 D/A 转换器43将校正的灰尘图像数据转换为模拟信号，然后校正的灰尘图 像信号被传送到监视器34。在监视器34上显示正确的灰尘图像。
接下来，在下面通过说明灰尘图像处理模块50的结构来详细解释 通过灰尘图像处理模块50执行的预定数据处理。如图3所示，灰尘图 像处理模块50包括分辨率转换电路51，边界增强(edge enhancement) 电路52， 二元化电路53 (灰尘提取模块)，放大电路54，闪速存储器 55 (存储器)，以及灰尘图像校正电路56 (图像校正模块)。
从A/D转换器41输出的正常灰尘图像数据被输入到分辨率转换电 路51。分辨率转换电路51降低正常灰尘图像数据的图像分辨率，通过 成像装置33的有效像素数减小正常灰尘图像数据的像素数。例如，图 像分辨率从百万像素降低到VGA分辨率。通过降低图像分辨率，在通 常的拍摄环境下不会被识别出的非常小的灰尘的图像将被删除。
降低分辨率的正常灰尘图像数据被传送到边界增强电路52。边界 增强电路52在接收到的正常灰尘图像数据上执行边界增强处理，以及拍摄的光学图像的清晰度增加。
进行了边界增强处理的正常灰尘图像数据被传送到二元化电路
53。第一，二元化电路53计算正常灰尘图像数据的每个像素的亮度数
据分量的平均亮度以及标准偏差，此后称为o。平均亮度是正常灰尘
图像数据的亮度数据分量的数据水平(data level)的平均值。
在计算平均亮度和o之后，二元化电路53将每个像素的亮度数据 分量的值转换为图像处理模块50所允许的最低或最高水平的其中之 一，在该实施例中分别是0和255。初始时大于或等于第一值的值被计 算为平均亮度加nxo (n是正整数)，初始时小于或等于第二值的初 始值被计算为平均亮度减nx。，被转换为最低水平。另一方面，初始 时大于第二值以及小于第一值的值被转换为最高水平。
只要在灰尘警告模式拍摄花样少的目标，如果没有灰尘，通常可 以预期用于产生光学图像的像素的亮度数据分量的值的范围在第二和 第一值之间。从而，二元化到最低水平的像素预期对应于附着灰尘的 位置。另一方面，二元化到最高水平的像素预期对应于没有灰尘的位 置接下来，通过选择二元化值为最低水平的像素而提取没有灰尘的光 学图像。
通过二元化电路53而二元化的正常灰尘图像数据被传送到灰尘图 像校正电路56。灰尘图像校正电路56通过校正接收的正常灰尘图像数 据，使用存储在闪速存储器55的固有缺陷图像数据，产生校正的灰尘 图像数据。
在下面详细解释正常灰尘图像数据的校正。当在灰尘警告模式配 设花样少的目标时，通过成像装置33捕捉正常灰尘图像(包括如图4 所示的一些灰尘的多个子图像)。正常灰尘图像不仅包括可去除的灰尘 的子图像，也包括不可去除的在红外截止滤光片和光学低通滤光片上 的小缺陷的子图像，以及在成像装置和红外截止滤光片之间以及红外 截止滤光片和光学低通滤光片之间的不可去除的小灰尘。
在制造商的调整过程之中，完整的光学图像，仅包括不可去除的 小缺陷和作为固有缺陷图像被捕捉的小灰尘的子图像。根据成像装置 33捕捉的固有缺陷图像的固有缺陷图像数据存储在闪速存储器55中。 附带提及，如上文所述，闪速存储器55接收和存储拍摄光学系统22
ii的信息。
根据下面的方法产生固有缺陷图像数据，并存储在闪速存储器55。 首先，在制造数码相机10之后的初始化操作中，镜头单元20的 参数被适当的调整以产生固有缺陷图像信号。被选择以产生固有缺陷
图像信号的参数是允许成像装置33捕捉图像的参数，其中图像的周围 比旨在用于灰尘警告模式的图像清晰。例如，光圈23的光圈大小可以 调节，从而拍摄光学系统22的F数是F22。
在初始化操作中，花样少的目标被选择和拍摄，如在灰尘警告模 式中。由于初始化操作在通常被认为没有灰尘的洁净的房间中进行的， 在初始化操作中作为固有缺陷图像的完整图像被捕捉，该完整图像包 括仅具有不可去除的小缺陷和小灰尘的子图像。
根据捕捉的固有缺陷图像而产生的图像信号被按顺序传送到A/D 转换器41，分辨率转换电路51，边界增强电路52，以及二元化电路 53，上述电路在图像数据上分别执行上述的数据处理，如在灰尘警告 模式中。
二元化电路53用于提取固有缺陷图像而执行的提取数据处理的图 像数据，与灰尘警告模式不同，被传送到放大电路54。
放大电路54放大每个被提取的灰尘图像。例如，灰尘的原始的子 图像从灰尘的子图像的中心被一个、两个或三个像素的向外放大，如 图5所示。
被捕捉的灰尘的子图像的位置和尺寸根据镜头单元20的参数而变 化。每个灰尘的原始的子图像被放大从而在固有缺陷图像中的灰尘的 子图像可以从正常灰尘图像中删除，即使镜头单元20的参数改变。根 据初始化操作和灰尘警告模式之间的参数的区别，确定固有缺陷图像 中的灰尘的子图像的放大程度。
下面给出放大率确定方法的一个例子。有不同类型的镜头单元20 和根据镜头单元20的镜头参数不同的调整范围。光圈23的光圈尺寸 以及灰尘警告模式中的出瞳的位置是根据镜头单元20的类型而预定 的。
在灰尘警告模式下，对比初始化操作时的光圈尺寸，而按光圈23 的光圈尺寸按比例确定放大率。此外，在灰尘警告模式下，放大率与出瞳的位置与成像装置33的光接收表面之间的距离成反比，比较初始 化操作中的距离。
在整个固有缺陷图像中的灰尘所在位置的检测缺陷区域被放大， 以及放大的检测缺陷区域被定义为固有缺陷区域。通过放大，放大电
路54产生固有缺陷图像数据，所述固有缺陷图像数据具有0亮度等级 分量以及位于固有缺陷区域，以及其他位置的像素数据具有255的亮 度分量。
例如，根据如图6所述的固有缺陷图像，对应于整个图像的图像 信号包括每个灰尘的原始子图像，该被放大和变黑(见图7)的每个灰 尘的原始子图像被作为固有缺陷图像数据被产生并存储在闪速存储器 55中。此外，具有帧的区域也被确定为固有缺陷区域，所述帧包括原 始捕捉的整体图像以及具有第一宽度。当灰尘图像校正电路56接收正 常灰尘图像数据时，存储在闪速存储器55中固有缺陷图像数据通过灰 尘图像校正电路56被读取。
在输入到灰尘图像校正电路56的正常灰尘图像数据中，位于每个 灰尘颗粒的子图像的像素的亮度数据分量的值为零，以及如图8所示， 每个灰尘颗粒的子图像表现为黑色。灰尘图像校正电路56将用于像素 的亮度数据分量的数据等级转换为255，所述像素在正常灰尘图像数据 中位于固有缺陷区域的相同的位置。
通过亮度数据分量的转换，从正常灰尘图像中检测到在固有缺陷 区域检测到的灰尘的子图像。然后，如图9所述，灰尘的子图像位于 固有缺陷区域(见虚线)的对应于校正的灰尘图像的校正的灰尘图像 数据从正常灰尘图像中删除。如上文所述，校正的灰尘图像信号经D/A 转换器43被传送到监视器34，以及校正的灰尘图像被显示在监视器 34上。
接下来，使用图IO的流程图解释了在第一实施例中，通过系统控 制器38执行的过程产生固有缺陷图像数据。
在制造照相机模块30之后的初始化操作中，固有缺陷图像数据被 产生以及存储在闪速存储器55中，如上文所述。在初始化操作之前， 出瞳调整到预定位置的，设置为F22的F数(等于9的光圈值)的初 始化镜头通过制造者被连接到照相机模块30上。此外，数码相机10被固定，从而花样少的入射到成像装置33上的目标的光学图像占据整 个有效图像区域。
在这样的参数下，开始产生固有缺陷图像数据。在步骤SIOO，系
统控制器38驱动成像装置33以产生成像装置33捕捉的对应于整个光 学图像的图像信号。产生的图像信号被控制从而被传送到灰尘图像处 理模块50。
在歩骤SlOl，系统控制器38在灰尘图像处理模块50命令分辨率 转换电路51转换接收的图像数据的图像分辨率到VGA。
在步骤S101之后的步骤S102，系统控制器38命令边界增强电路 52执行图像数据的边界增强处理。
边界增强处理之后，处理继续到步骤S103。在步骤S103，系统控 制器38命令二元化电路53 二元化多个包括图像数据的像素数据的亮 度数据分量。
在歩骤S103之后的步骤S104，系统控制器38命令放大电路54 通过放大检测的缺陷区域产生固有缺陷图像数据，所述检测的缺陷区 域根据二元化的亮度数据分量被提取。
在产生固有缺陷图像数据之后，处理进行到步骤S105。在步骤 S105，系统控制器38命令闪速存储器55以存储产生的固有缺陷图像 数据。当固有缺陷图像数据被存储时，过程终止。
接下来，在第一实施例的灰尘警告模式中，通过系统控制器38执 行的过程使用图11所示的流程图进行解释。
当用户向输入模块37输入命令以开始灰尘警告模式时，灰尘警告 模式处理开始。在开始灰尘警告模式之前，固定数码相机10，从而花 样少的入射到成像装置33上的目标的光学图像占据整个有效图像区 域。
在步骤S200，系统控制器38命令镜头单元驱动机构21从而调整 光圈23的光圈尺寸，从而拍摄光学系统22的F数是F16。
在调整光圈尺寸之后，处理继续到步骤S201，在步骤S201，系统 控制器38确定快门速度，从而曝光适合于选择的光圈的尺寸。
在确定快门速度之后，处理继续到步骤S202，在歩骤S202，系统 控制器38驱动成像装置33以捕捉将作为正常灰尘图像信号的图像，如步骤S100中。此外，产生的正常灰尘图像信号被传送到灰尘图像处 理模块50。
在步骤S203-S205，系统控制器38命令分辨率转换电路51，边界 增强电路52， 二元化电路53执行正常灰尘图像数据的图像分辨率转 换，边界增强处理，以及亮度数据分量的二元化，如歩骤S101-S103中。
在亮度数据分量的二元化之后，处理进行到步骤S206。在歩骤 S206，系统控制器38命令灰尘图像校正电路56读取存储在闪速存储 器55中的固有缺陷图像数据。
在步骤S206之后的步骤S207，系统控制器38命令灰尘图像校正 电路56通过校正正常灰尘图像数据，产生校正的灰尘图像数据，所述 正常灰尘图像数据使用在步骤S206读取的固有缺陷图像数据，在步骤 S203-S205进行数据处理。
在结束校正正常灰尘图像数据之后，处理过程到S208。在步骤 S208，系统控制器38命令图像处理模块40向监视器34输出校正的灰 尘图像信号，以及系统控制器38命令监视器34显示校正的灰尘图像。 当校正的灰尘图像显示在监视器34上时，灰尘警告模式终止。
在上述第一实施例中，在捕捉固有缺陷图像之后进入的灰尘可以 被检测。
此外，在上述第一实施例中，从检测的缺陷区域放大的位于固有 缺陷区域的灰尘的子图像被检测。如果镜头单元20的参数改变，缺陷 和灰尘的尺寸和位置也改变。然而，在上述第一实施例中，位于固有 缺陷区域的灰尘的子图像被检测。因此，即使参数不同于初始化时的 参数，缺陷的子图像以及固有缺陷图像中的灰尘可以被准确的去除。
此外，在上述第一实施例中，位于被确定为固有缺陷区域的帧区 域的灰尘的子图像，从正常灰尘图像中被检测。在正常灰尘图像的捕 捉中，出瞳和成像装置33的光接收表面之间的距离越远，显示在传感 器上的光轴的子图像就越大。从而，在初始化操作中由于到光轴的距 离而未被包括在固有图像中的灰尘的子图像，如果出瞳距离改变，在 正常灰尘图像上会显示为接近光轴。与这样的现象相反，在上述第一 实施例中，通过删除位于固有缺陷区域确定的帧的区域的灰尘的子图
15像，从正常灰尘图像中删除一些未在整体固有缺陷图像中被捕捉的灰 尘的子图像。
此外，在上述第一实施例中，确定捕捉固有缺陷图像的光圈23的
光圈尺寸，从而F数是F22，其小于确定为F数为16的、捕捉正常灰 尘图像的光圈尺寸。从而，在正常灰尘图像中模糊的，无法分辨的一 些灰尘能够在固有缺陷图像中被分辨。由此，在整体固有缺陷图像中 的灰尘的子图像能够在整体的正常灰尘图像中的灰尘的可见子图像中 被充分的删除。
接下来解释第二实施例的具有灰尘检测系统的数码相机。第二实 施例和第一实施例的主要区别是确定固有缺陷区域的方法。主要参考 不同于第一实施例的结构而进行第二实施例的解释。这里，相同的附 图标记用于表示对应于第一实施例的结构。
第二实施例中的数码相机10具有镜头单元20和照相机模块30， 如第一实施例中。此外镜头单元20包括镜头单元驱动机构21以及拍 摄光学系统22，如第一实施例中。此外，照相机模块30包括反射镜 32、成像装置33、监视器34、图像处理模块40、五棱镜35、目镜36、 以及其它机身31中的组件，如第一实施例中。除了图像处理模块40 以外，这些组件在照相机模块30的结构和功能与第一实施例相同。
与第一实施例不同， 一些存储在镜头单元20中的镜头存储器24 中的信息用于灰尘警告模块。镜头单元驱动机构21包括检测聚焦透镜 和变焦透镜的位置的镜头传感器，以及检测光圈23的光圈尺寸的光圈 传感器。聚焦透镜和变焦透镜的检测的位置存储在镜头存储器24中作 为位置数据。此外，检测的光圈尺寸也存储在镜头存储器24中作为Av 数据。
图像处理模块40包括A/D转换器41，正常图像处理模块42，灰 尘图像处理模块500， D/A转换器43，如第一实施例中。在第二实施例 中的灰尘图像处理模块500与第一实施例中不同。
如图12所示，灰尘图像处理模块500包括分辨率转换电路51，边 界增强电路52， 二元化电路53，灰尘图像校正电路56，闪速存储器 550，以及固有缺陷区域确定电路57。
分辨率转换电路51，边界增强电路52， 二元化电路53，以及灰尘图像校正电路56的功能与第一实施例相同。从而分辨率转换电路51
转换正常灰尘图像数据的图像分辨率，边界增强电路52执行边界增强 处理，二元化电路53二元化正常灰尘图像数据的亮度数据分量，以及 正常灰尘图像校正电路56根据存储在闪速存储器550的固有缺陷图像 数据校正正常灰尘图像数据。
产生固有缺陷图像数据的方法以及在第二实施例中确定固有缺陷 区域的方法与第一实施例不同。闪速存储器550直接连接到二元化电 路53，与第一实施例不同。在与第一实施例相同的透镜单元20的相同 参数下捕捉固有缺陷图像，A/D转换器41，分辨率转换电路51，边界 增强电路52， 二元化电路53，根据捕捉到的图像在产生的图像信号中 执行数据处理。
与第一实施例不同，二元化图像数据存储在闪速存储器550中作 为固有缺陷图像数据。在第二实施例中，对应于整个图像(见图6)的、 包括被变黑的每个灰尘颗粒的原始子图像的图像数据存储在闪速存储 器550中作为固有缺陷图像数据，而在第一实施例中的对应整个图像 的、包括被放大以及变黑的(见图7)每个灰尘颗粒的原始子图像的图 像数据存储在闪速存储器55中作为固有缺陷图像数据。
在初始化操作中，初始化镜头的出瞳的Av数据以及位置数据被写 入闪速存储器550，而不像第一实施例中。
当执行灰尘警告模式时，固有缺陷区域确定电路57读取存储在闪 速存储器550中的出瞳的固有缺陷图像数据、Av数据以及位置数据。
此外，当执行灰尘警告模式时，对于当前附加的、从镜头存储器 24经系统控制器38捕捉正常灰尘图像可交换镜头，固有缺陷区域确定 电路57读取Av数据以及位置数据，所述Av数据以及位置数据分别对 应于聚焦镜头的位置和光圈23的光圈值。固有缺陷区域确定电路57 根据聚焦透镜在捕捉的正常灰尘图像上确定出瞳的位置。
接下来，固有缺陷区域确定电路57确定根据读取数据、灰尘的子 图像应当从整体正常灰尘图像中删除的固有缺陷区域。通过放大检测 的缺陷区域确定固有缺陷区域，其中灰尘的每个子图像根据光圈值和 出瞳位置，位于整体固有缺陷图像中。
如图13所示，与捕捉到的固有缺陷图像相比，在捕捉到的正常灰尘图像上与光圈值成反比放大每个检测的缺陷区域。
如图14所示，与捕捉到的固有缺陷图像相比，在捕捉到的正常灰
尘图像上，在拍摄光学系统22的光轴和成像装置33的交点相反的方 向上放大每个检测的缺陷区域，与出瞳和成像装置33的光接收表面之 间的距离成反比。
此外，如图15所示，与捕捉到的固有缺陷图像相比，在捕捉到的 正常灰尘图像上，待确定的帧区域作为固有缺陷区域被加宽，与出瞳 和成像装置33的光接收表面之间的距离成反比。
对应于区域确定为被变黑的固有缺陷区域的图像的图像数据，被 传送到灰尘图像校正电路56，以及该灰尘图像校正电路使用接收到的 图像数据校正正常灰尘图像数据，如第一实施例。
接下来，通过系统控制器38执行处理，以产生固有缺陷图像数据， 在第二实施例中使用图16的流程图进行解释。
在初始化操作之前，镜头设置为F22的F数，以及出瞳调整为初 始化操作的预定位置，通过制造者连接到照相机模块30，如第一实施 例中。此外，数码相机10被固定从而花样少的入射到成像装置33上 的目标的光学图像占据整个有效图像区域。
然后，开始产生固有缺陷图像数据。在歩骤S300-S303，系统控制 器38控制成像装置33以及每个电路，从而根据捕捉到的固有缺陷图 像产生的图像信号执行预定的数据处理，与第一实施例中的步骤 S100-S103相同。
在步骤S304，系统控制器38控制镜头存储器24以及闪速存储器 550从而在步骤S300捕捉到的光学图像的出瞳的位置和光圈值从镜头 存储器24到闪速存储器550通信，以及作为数据存储在闪速存储器550 中。
在步骤S305,系统控制器38命令闪速存储器550存储图像数据， 该图像数据在步骤S301和S302作为固有缺陷图像数据进行预定的数 据处理。当固有缺陷图像数据存储到闪速存储器550时，处理终止。
接下来，在第二实施例的灰尘警告模式，通过系统控制器38执行 处理，在这里使用图17的流程图进行解释。
当用户向输入模块37输入命令以开始灰尘警告模式时，灰尘警告
18模式处理开始。在开始灰尘警告模式之前，固定数码相机10，从而花样少的入射到成像装置33上的目标的光学图像占据整个有效图像区域。
在步骤S400，系统控制器38命令镜头单元驱动机构21从而调整光圈23的光圈尺寸，从而拍摄光学系统22的F数是在调节范围内的小于F22的最大F数。在步骤S400之后的步骤S401-S405，系统控制器38命令每个组件在正常灰尘图像数据上产生并执行预定的数据处理，如第一实施例中的步骤S201-S205。
在完成正常灰尘图像数据上的预定数据处理之后，过程进行到步骤S406。在步骤S406，系统控制器38命令固有缺陷区域确定电路57从闪速存储器550读取固有缺陷图像数据、Av数据以及位置数据。此外，系统控制器38命令固有缺陷区域确定电路57从镜头存储器24读取在步骤S402捕捉到的光学图像的出瞳的Av数据以及位置数据。
在步骤S406之后的步骤S407，系统控制器38命令固有缺陷区域确定电路57根据正常灰尘图像数据和步骤S406读取的一些数据确定固有缺陷区域。在歩骤S407之后的步骤S408，系统控制器38命令灰尘图像校正电路56根据步骤S407确定的固有缺陷区域校正正常灰尘图像数据，以及产生校正的灰尘图像数据。
当正常灰尘图像数据校正完成时，过程进行到步骤S409。在歩骤S409,系统控制器38命令图像处理模块40向监视器34输出校正的灰尘图像信号，以及系统控制器38命令监视器34显示校正的灰尘图像。当校正的灰尘图像显示在监视器34时，灰尘警告模式的处理终止。
在上述第二实施例中，在固有缺陷图像被捕捉之后引入的灰尘也可以被检测。
此外，在上述第二实施例中，固有缺陷区域的尺寸根据光圈值被确定。在整体正常灰尘图像中，灰尘的子图像的尺寸具有反比于光圈值的尺寸，所述光圈值与F数等价。检测的缺陷区域反比于光圈值被放大。从而，即使执行灰尘警告模式的光圈值不同于捕捉固有缺陷的图像的光圈值，进入滤光片的灰尘的子图像在制造时可以从正常灰尘图像中被删除。
此外，在上述的第二实施例中，根据出瞳的位置确定固有缺陷区域的尺寸。在正常灰尘图像中的灰尘的子图像的尺寸和到光轴的表面距离，随着出瞳到成像装置33的光接收表面的距离的减小而增加。出瞳到光接收表面的位置越近，检测到的缺陷区域在与光轴相反的方向就放大的越大。从而，即使在执行灰尘警告模式下，出瞳距离也与捕捉到固有缺陷图像时的出瞳距离不同，在制造时进入滤光片的灰尘的子图像也可以通过正常灰尘图像被删除。
此外，在上述第二实施例中，作为固有缺陷区域的待检测的帧的宽度根据出瞳的位置被确定。当出瞳进一步远离成像装置33的光接收表面，待捕捉的图像的整体区域变大。从而，在固有缺陷图像中未显示的缺陷或灰尘的子图像，可以被捕捉作为正常灰尘图像。然而，在上述第二实施例中，随着出瞳到光接收表面的距离的增大，帧的宽度被设置为更大。作为结果，在制造时进入滤光片的灰尘的子图像也可以从正常灰尘图像中删除。
此外，在上述第二实施例中，在捕捉到的固有缺陷图像中的光圈
23的光圈尺寸适当的变化，以及小于捕捉正常灰尘图像的光圈尺寸，
如第一实施例中。从而固有缺陷图像中的灰尘的子图像能够在整体正常灰尘图像中，从灰尘的可见子图像中有效的删除。
接下来，解释第三实施例的具有灰尘检测系统的数码相机。第三实施例和第一实施例的主要区别在于附着的可去除灰尘的宣告方法。主要参考与第一实施例不同的结构来解释第三实施例。这里，相同的附图标记用于表示对应于第一实施例的结构。
第三实施例中的数码相机10具有镜头单元20和照相机模块30，如第一实施例中。此外，镜头单元20包括镜头单元驱动机构21以及拍摄光学系统22，如第一实施例中。此外，照相机模块30包括反射镜32、成像装置33、监视器34、图像处理模块400、五棱镜35、目镜36、以及其它机身31中的组件，如第一实施例中。除了图像处理模块400以外，这些组件在照相机模块30的结构和功能与第一实施例相同。
如图18所示，图像处理模块400包括A/D转换器41，正常图像处理模块42， D/A转换器43，如第一实施例中。此外图像处理模块400包括灰尘检测模块60，与第一实施例中不同。
在拍摄和显示模式下，每个组件执行的操作与第一实施例中相同。
20通过用户向输入模块37输入命令，数码相机10切换到灰尘警告模式，
然后开始通过成像装置33和灰尘检测模块60分别执行释放操作和预
定图像处理操作。
当数码相机10的操作模式切换到灰尘警告模式，镜头单元20的参数，例如光圈23的光圈尺寸被调整。在结束镜头单元20的参数调整之后，执行释放操作，而产生图像信号。
在灰尘警告模式中，成像装置33产生的图像信号被传送到图像处理模块400作为正常灰尘图像信号，如第一实施例中。图像处理模块400经A/D转换器41向灰尘检测模块60传送接收到的正常灰尘图像信
号
如图19所示，灰尘检测模块60包括分辨率转换电路51，边界增强电路52， 二元化电路53，放大电路54，闪速存储器55，以及确定电路61 (第二确定模块)，以及警告图像产生电路62。
在正常灰尘图像数据上通过分辨率转换电路51，边界增强电路52，二元化电路53执行第一实施例的相同的数据处理。从而正常灰尘图像包括的多个像素的亮度数据分量被转换为0或255。像素的转换的亮度数据分量被按顺序传送给确定电路61。
根据第一实施例相同的方法产生的固有缺陷图像数据被存储在闪速存储器55中。固有缺陷图像数据的相同像素的亮度数据分量，作为正常灰尘图像数据的接收的亮度数据分量被传送到确定电路61。
如果接收的固有缺陷图像数据的亮度数据分量的值是255，像素在固有缺陷区域之外。然后，确定电路61确定是否灰尘在正常灰尘图像中被检测，根据正常灰尘图像数据的亮度数据分量的值。如果正常灰尘图像数据的亮度数据分量的数据等级是0，那么确定电路61确定灰尘存在。
另一方面，如果接收的固有缺陷图像数据的亮度数据分量的值是0，像素在固有缺陷区域之内。然后，确定电路61延缓确定在正常灰尘图像中是否存在灰尘。
如果在正常灰尘图像的一帧中检测到灰尘，产生警告图像的命令被传送到警告图像产生电路62。当警告图像产生电路62接收到命令时，警告图像产生电路62产生警告图像数据，该警告图像数据对应于警告灰尘附着于成像装置33的警告图像。警告图像数据经D/A转换器
43被传送到监视器34，以及然后警告图像显示在监视器34上。
接下来，使用流程图20解释在第三实施例中系统控制器38在灰尘警告模式下的执行过程。在这里，根据显示在图io中的第一实施例相同的方法，产生固有缺陷图像数据并预先储存在闪速存储器55中。当用户向输入模块37输入命令以开始灰尘警告模式时，灰尘警告模式处理开始。在开始灰尘警告模式之前，固定数码相机10，从而花样少的入射到成像装置33上的目标的光学图像占据整个有效图像区域。
在步骤S500-S505，系统控制器38控制每个组件执行相同的操作，例如确定镜头单元20的参数，捕捉光学图像，以及在产生的图像数据上进行预定数据处理，如第一实施例中的步骤S200-S205。此外，系统控制器38命令灰尘检测模块输入按顺序进行预定数据处理的正常灰尘图像数据的亮度数据分量。
在紧跟步骤S505的歩骤S506，系统控制器38命令确定电路61按顺序读取存储在闪速存储器55的固有缺陷图像数据的亮度数据分量。在步骤S506之后的步骤S507，系统控制器38命令确定电路61确定接收的亮度数据分量的像素是否位于固有缺陷区域。
如果像素在固有缺陷区域之外，那么处理进行到步骤S508。在步骤S508，根据正常灰尘图像数据的亮度数据分量，系统控制器38命令确定模块61确定是否被捕捉的灰尘的子图像在整体正常灰尘图像中。如果像素在固有缺陷区域之中，或者在确定模块61完成确定之后，过程进行到步骤S509。
在步骤S509，系统控制器38命令确定电路61确定是否在步骤S507的用于正常灰尘图像的一帧的所有像素的亮度数据分量的确定都完成了。
如果不是所有亮度数据分量的确定都完成了，那么过程返回到步骤S505，以及重复步骤S506-S509，直到所有亮度数据分量的确定都完成了。如果所有亮度数据分量的确定都完成了，过程进行到S510。
在步骤S510，系统控制器38命令确定电路61确定是否灰尘的子图像至少在步骤S508确定的一个像素中被捕捉。如果灰尘的子图像被捕捉，过程继续进行到S511。在歩骤S511中，系统控制器38命令警 告图像产生电路62产生警告图像数据，以及命令监视器34显示警告 图像。如果灰尘的子图像未在任何像素中被捕捉，或者当警告图像显 示在监视器34中，灰尘警告模式的过程终止。
在上述第三实施例中，在捕捉到固有缺陷图像以后引入的灰尘能 够被检测。
用于捕捉正常灰尘图像以及固有缺陷图像的光圈值被预定，从而 值与上述第一到第三实施例中的值不同。然而，镜头单元20的用于捕 捉正常灰尘图像和固有缺陷图像之间的参数是预定的，从而彼此不同。 只要镜头单元20的参数改变，从而灰尘的子图像在捕捉的正常灰尘图 像中的可见性相比于在捕捉的固有缺陷图像中降低，在固有缺陷图像 中的灰尘的所有的子图像能够有效的从正常灰尘图像中删除。
用于捕捉正常灰尘图像以及固有缺陷图像的光圈值被预定，从而 在上述第一到第三实施例中，捕捉正常灰尘图像的光圈值小于捕捉固 有缺陷图像的光圈值。然而，光圈值不是必须在捕捉正常灰尘图像的 光圈值以及捕捉固有缺陷图像的光圈值之间变化。当然，优选的变化 光圈值，从而能够有效的从正常灰尘图像删除固有缺陷图像的灰尘的 子图像。但是，即使光圈值不变化，在固有缺陷图像上的大多数子图 像可以被去除。
在上述第一和第二实施例中，通过在整体固有缺陷图像中删除位 于固有缺陷区域中的灰尘的子图像，从正常灰尘图像中删除固有缺陷 图像中的灰尘的子图像。但是，根据任何其他方式，也可以从正常灰 尘图像中删除固有缺陷图像中的灰尘的子图像。
环绕被捕捉的固有缺陷图像的整体区域的帧所在的区域在上述第 一和第二实施例中被确定为固有缺陷区域。但是，区域并非一定要被 确定为固有缺陷区域。如上文所述，优选确定帧的区域为固有缺陷区 域，从而有效的从正常灰尘图像中删除固有缺陷图像中的灰尘的子图 像。然而，即使区域没有被确定为固有缺陷区域，固有缺陷图像中的 大多数灰尘的子图像可以被去除。
在第一和第三实施例中，放大的检测的缺陷区域被确定为固有缺 陷区域。然而，检测的缺陷区域可以被确定为固有缺陷区域而无需放
23大。只要镜头单元20在捕捉的固有缺陷图像和正常灰尘图像上的参数 相等，固有缺陷图像中的灰尘的子图像能够从正常灰尘图像中删除， 而无需放大检测的灰尘图像。此外，即使镜头单元20的参数不同，一 些固有缺陷图像的灰尘的子图像也能够从正常灰尘图像中删除。
在第二实施例中，根据出瞳的位置放大固有缺陷区域。然而，固 有缺陷区域也可以不根据出瞳的位置放大。只要捕捉的固有缺陷图像 和正常灰尘图像上的出瞳位置相等，固有缺陷图像的灰尘的子图像也 能够从正常灰尘图像中删除而无需调整。此外，即使出瞳的位置不同， 一些固有缺陷图像的灰尘的子图像也能够从正常灰尘图像中删除。
在第二实施例中，根据出瞳的位置改变作为固有缺陷区域的待确 定的帧的宽度。然而，宽度也可以不根据出瞳的位置改变。如上文所 述，优选改变帧的宽度从而固有缺陷图像中的灰尘的子图像能够有效 的从正常灰尘图像中删除。然而，即使不改变宽度，固有缺陷图像中 的大部分灰尘的子图像能够被删除。
在第二实施例中，固有缺陷图像中放大灰尘的子图像的放大率根 据光圈值确定。放大率可以是常数而无论光圈值如何变化。只要捕捉 的固有缺陷图像和正常灰尘图像上的光圈值相等，固有缺陷图像中的 灰尘的子图像能够从正常灰尘图像中删除而无需改变放大率。此外， 即使光圈值不同，固有缺陷图像中的一些灰尘的子图像也能够从正常 灰尘图像中删除。
虽然参考附图在这里描述了本发明的实施例，显然本领域技术人 员无需背离本发明的保护范围就可以做出变体和改变。
权利要求
1、一种灰尘检测系统，包括接收图像信号的接收器，成像装置根据捕捉到的光学图像产生所述图像信号；灰尘提取模块，通过根据图像信号在光学图像中提取灰尘的子图像产生灰尘图像信号；存储器，存储对应于所述灰尘提取模块在初始化时提取的、包括灰尘的子图像的固有缺陷图像的固有缺陷图像信号；以及图像校正模块，根据所述固有缺陷图像信号以及正常灰尘图像信号，产生校正的灰尘图像信号，所述校正的灰尘图像信号对应于校正的灰尘图像，所述正常灰尘图像信号对应于所述灰尘提取模块在所述初始化后提取的、包括灰尘的子图像的正常灰尘图像信号，所述校正的灰尘图像是从其中删除了所述固有缺陷图像中的灰尘的子图像的所述正常灰尘图像。
2、 如权利要求1所述的灰尘检测系统，其中，根据检测的缺陷区域确定固有缺陷区域，所述检测的缺陷区域是在所述固有缺陷图像中检测到灰尘的区域；以及所述图像校正模块通过在所述正常灰尘图像的所述固有缺陷区域中删除灰尘的子图像，产生所述校正的灰尘图像信号。
3、 如权利要求2所述的灰尘检测系统，其中帧区域被确定为所述固有缺陷区域，包括所述整体固有缺陷图像的帧位于所述帧区域，以及所述帧具有第一宽度。
4、 如权利要求2所述的灰尘检测系统，其中所述固有缺陷区域被确定，从而所述固有缺陷区域包括所述检测的缺陷区域以及所述固有缺陷区域大于所述检测的缺陷区域。
5、 如权利要求2所述的灰尘检测系统，其中所述固有缺陷区域被确定，从而所述成像装置到所述拍摄光学系统的出瞳的距离越近，在 从拍摄光学系统的光轴和所述成像装置的交点朝向所述检测的缺陷区 域的方向，所述固有缺陷区域从所述检测的缺陷区域放大的越大，所 述拍摄光学系统安装在所述成像装置的光接收表面一侧。
6、 如权利要求3所述的灰尘检测系统，其中所述帧区域被确定， 从而对于所述成像装置的所述出瞳的距离越近，所述第一宽度就越宽。
7、 如权利要求2所述的灰尘检测系统，其中所述固有缺陷区域被 确定，从而所述固有缺陷区域大于当光圈打开时的所述检测的缺陷区 域，所述光圈安装在所述成像装置的光接收表面一侧。
8、 如权利要求1所述的灰尘检测系统，进一步包括第一确定模块，该第一确定模块确定可调整的参数的值，所述可调整的参数影响通过 成像装置捕捉的整个图像中的目标的子图像的可见性，所述目标位于 所述成像装置的表面的周围区域，所述可调整的参数被确定，从而与 捕捉所述固有缺陷图像时相比，更多的降低捕捉所述正常灰尘图像时 的可见性。
9、 如权利要求8所述的灰尘检测系统，其中所述可调整的参数是光圈的光圈尺寸，该光圈安装在所述成像装置的光接收面一侧，所述 第一确定模块确定所述尺寸，从而捕捉所述正常灰尘图像时的所述尺 寸大于捕捉所述固有缺陷图像时的所述尺寸。
10、 一种灰尘检测系统，包括接收图像信号的接收器，成像装置根据捕捉到的光学图像产生所述图像信号；第二确定模块，根据所述图像信号确定是否所述整体光学图像包括的部分区域包括灰尘的子图像；存储器，存储对应于所述部分区域的固有缺陷区域信号，所述第 二确定模块根据初始化产生的所述图像信号确定了所述部分区域是包括灰尘的子图像；控制器，该控制器命令所述第二确定模块延缓确定是否对应所述固有缺陷区域信号的所述部分区域包括所述灰尘的子图像。
11、 一种数码相机，包括接收图像信号的接收器，成像装置根据捕捉到的光学图像产生所述图像信号；灰尘提取模块，通过根据所述图像信号在所述光学图像中提取灰尘的子图像产生灰尘图像信号；开关，命令所述灰尘提取模块产生灰尘图像信号；存储器，存储对应于所述灰尘提取模块在初始化时提取的、包括灰尘的子图像的固有缺陷图像的固有缺陷图像信号；以及图像校正模块，根据所述固有缺陷图像信号以及正常灰尘图像信号，产生校正的灰尘图像信号，所述校正的灰尘图像信号对应于校正的灰尘图像，所述正常灰尘图像信号是所述灰尘提取模块对所述开关的操作产生的所述灰尘图像信号，所述校正的灰尘图像是从其中删.除了所述固有缺陷图像中的灰尘的子图像的正常灰尘图像，所述正常灰尘图像对应于所述正常灰尘图像信号。
全文摘要
本发明提供一种灰尘检测系统以及数码相机，其包括接收器，灰尘提取模块，存储器，以及图像校正模块。接收器接收图像信号。灰尘提取模块根据图像信号产生灰尘图像信号。存储器存储对应于灰尘提取模块在初始化时提取的、包括灰尘的子图像的固有缺陷图像的固有缺陷图像信号。图像校正模块根据固有缺陷图像信号以及正常灰尘图像信号，产生校正的灰尘图像信号。正常灰尘图像信号对应于灰尘提取模块在初始化后提取的、包括灰尘的子图像的正常灰尘图像。校正的灰尘图像是从其中删除了固有缺陷图像中的灰尘的子图像的正常灰尘图像。
文档编号H04N5/232GK101494743SQ20091000852
公开日2009年7月29日 申请日期2009年1月23日 优先权日2008年1月23日
发明者加藤哲明, 堀田智, 川浪直人 申请人:Hoya株式会社