在数字成像系统中的故障检测和检测故障的方法与流程

背景技术：

诸如数字相机的数字成像系统被用于诸如汽车应用和安全应用的许多关键情况。例如，随着数字成像的改善，在自动驾驶员辅助系统(adas)中正在进行改进，其中通过使用数字相机辅助驾驶员。在汽车应用或其它关键应用中使用的数字相机的故障可能产生严重的不利影响。例如，在汽车应用中，驾驶员所依赖的数字相机的故障可能导致车辆碰撞。

数字相机的完全故障或部分故障可以是瞬时的或在长时间段内是渐进的。例如，对数字相机的物理影响可能损坏相机中的镜头或其它部件，这导致数字相机的瞬间故障。该故障可能是数字相机无法操作的完全故障，或者它可能是其中由数字相机捕获的图像被劣化的部分故障或劣化。在长时间段内，数字相机中的像素和其它部件的特性可能改变，这缓慢地改变数字相机的操作，并且最终可能导致完全的故障。

技术实现要素：

在描述的示例中，分析数字相机的方法包括使用相机中的图像传感器生成第一图像数据。在第一图像数据的至少一部分上执行第一分析。使用图像传感器生成第二图像数据，并且在第二图像数据的至少一部分上执行第二分析。将第一分析的结果与第二分析的结果进行比较。响应于第一分析不同于第二分析达预定量而生成指示数字相机的故障的信号。

附图说明

图1是数字相机和诊断系统的实施例的框图。

图2是数字相机和诊断系统的另一个实施例的框图。

图3是示出数字相机和诊断系统的操作的实施例的流程图。

具体实施方式

图1示出包括数字相机102和图像系统诊断器(diagnostic)104的示例成像系统100的框图。诊断器104可以是硬件、软件或其组合，其分析由相机102生成的图像数据以确定相机是否发生故障、劣化或面临即将发生的故障。在一些实施例中，诊断器104还控制相机102的某些功能并分析所得到的图像数据。在图1的示例中，诊断器104被示出为与相机102分离，但是在其它示例中相机102和诊断器104是一体的。在图1的示例中，相机102是数字视频相机，但是在其它示例中，相机102是数字静态相机。

相机102包括相机部件，(在这些示例中)所述相机部件包括图像传感器108、光圈(iris)110和光源112。图像传感器108、光圈110和光源112由处理器120控制。数字相机通常包括若干其它部件，所述其它部件在这里未被示出并且可以被包括在相机102的其它实施例中。图像传感器108是将光转换为电信号的常规图像传感器。图像传感器108的实施例包括互补金属氧化物半导体(cmos)器件和电荷耦合器件(ccd)。图像传感器108具有像素(图1中未示出)，每个像素将入射到图像传感器108的图像的小部分转换为图像数据。在一些实施例中，图像数据包括入射在像素上的光的颜色和光的强度。由图像传感器108生成的图像数据有时被称为原始图像数据。原始图像数据由处理器120处理以产生经处理的图像数据或数字图像。

光圈110位于图像传感器108附近并控制入射在图像传感器108上的光的量或强度。在低光条件下，光圈110打开以允许更多的光入射到图像传感器108上。在高光条件下，光圈110减少入射到图像传感器108上的光的量。如果太多的光入射到图像传感器108上，则图像传感器108上的像素变得饱和并且所得的数字图像被劣化。如果像素具有入射到其上的足够的光以变得饱和，则它们输出表示其动态范围的最大值的数据。类似地，如果入射在图像传感器108上的光太暗，则像素将不能够生成精确的图像数据，因为它们正在其动态范围的低端生成图像数据。这两种情况都产生不正确的数字图像。动态范围是可以由图像传感器108检测并且可以通过光圈110并且通过调节图像传感器108的增益和/或曝光时间而改变的光的范围。

光源112有时被称为预热塞(glowplug)，并且用作参考光源。在一些实施例中，光源112具有预定的发光(luminescence)和/或色温。因此，当光源112被图像传感器108成像时，如果图像传感器108正确地工作，则图像传感器108应生成表示光源108的特定图像数据。例如，如果图像传感器108和与图像传感器108和相机102相关联的其它部件正确地工作，则由图像数据表示的强度和/或颜色应该匹配预定或存储的图像数据。

处理器120控制相机102，并且分析和/或处理由图像传感器108生成的原始图像数据。此外，处理器120接收由图像传感器108生成的原始图像数据并分析图像数据以确定用于图像传感器108和相机102中的其它装置(包括光圈110)的设置。例如，处理器120可以确定用于图像传感器108的增益和曝光时间的设置。处理器120还将图像数据处理为用于显示以生成数字图像的形式。处理器120可以将图像数据输出到诊断器104。在一些实施例中，处理器120根据从诊断器104接收的指令输出命令和数据。例如，诊断器104将某些指令发送到处理器120，该处理器120设置相机102中的参数。诊断器104然后分析所得的图像数据。

处理器120包括几个模块(下文所述)，其可以是软件、固件、硬件和软件的组合或其它介质。在一些实施例中，模块是单个模块，但是为了便于它们的描述，在此它们被分开。图像数据分析器122分析由图像传感器108生成的图像数据。图像数据分析器122可以确定图像或图像的一部分的发光和颜色，以及与数字成像相关联的其它变量。光圈控制器(control)124控制光圈110。在分析图像数据期间，处理器120可能需要更多或更少的光，因此光圈控制器124使光圈110增加或减少入射在图像传感器108上的光。光源控制器126控制光源112。在一些实施例中，光源112被照亮以用于图像传感器108对已知光源成像或生成表示已知光源的图像数据。在一些实施例中，光源控制器126控制光源112的强度、色温和其它参数。在其它实施例中，光源112由诊断器104控制。

图像传感器控制器128控制图像传感器108。在一些实施例中，图像传感器控制器128控制曝光(有时称为积分时间)、增益以及与图像传感器108生成图像数据相关联的其它参数。例如，如果需要更亮的图像，则图像传感器控制器128可以增加曝光时间，这增加了在图像数据生成期间光入射到图像传感器108上的持续时间。图像传感器控制器128还可以增加增益，这增加了由像素生成的图像数据的值。

数据线130将图像数据从图像传感器108发送到处理器120。在一些实施例中，关于图像传感器108的操作的指令通过数据线130从处理器120传输到图像传感器108。控制线132将指令从处理器120传送到图像传感器108、光圈110和光源112。更具体地，控制线134将指令传输到图像传感器108，控制线136将指令传输到光源112，并且控制线138将指令传输到光圈110。在一些实施例中，控制线132将诸如不同操作特性的数据传输回处理器120。在一些实施例中，相机102的用户或制造商确定在处理器120和相机102之间传输的数据和/或指令。这些指令有时被称为用户定义的指令或制造商定义的指令。

诊断器104监视图像数据、相机102中的部件以及相机102中的其它参数，以确定相机102是否适当地操作。伴随相机102的诊断器104的功能基于允许对处理器120的(多个)输出的恒定跟踪的闭环功能。图像数据也被跟踪以确定指令(诸如增益和曝光)是否按照图像数据的分析被正确地设置。如果在需要校正的图像数据和发送到相机102的指令之间的反馈不正确，则相机102可能正在经历故障。闭环架构使多种形式的诊断可行，包括当相机102被上电时测试图像传感器的图像传感器108的上电诊断。也可以通过像素上的动态范围和老化伪影来测试问题。此外，运行时间检查可以被执行以验证图像传感器108中的图像采集是否在预定参数内工作。

在图1的示例中，诊断器104被描述为与相机102分离，但是在其它示例中，诊断器104被并入处理器120或相机102的其它部分。数据线140将诊断器104耦接到控制线132。在一些实施例中，数据线140监视在控制线132上传输的数据和/或指令。数据线140可以将诸如控制信号的数据输出到图像传感器108、光圈110和光源112。数据线142监视和/或传输在数据线134和诊断器104之间的数据。数据线144监视和/或传输数据在数据线136和诊断器104之间的数据。数据线146监视和/或传输在数据线138和诊断器104之间的数据和/或指令。

数据线150传输在处理器120和诊断器104之间的数据和/或指令。例如，诊断器104可以监视由图像传感器108生成的图像数据，该图像数据通过数据线150被传输到诊断器104。诊断器104还可以通过数据线150将指令传输到处理器120。例如，诊断器104可以命令(instruct)处理器120向图像传感器108发送特定指令以在相机102上执行某些诊断。上述数据线和控制线是图像系统100中的通信的示例。在其它实施例中可以使用其它数据和控制线配置，其中的一些在下文中描述。

在图1的实施例中，诊断器104监视在数据线132上传输的数据和/或指令，以确定相机102是否正常运行。在一些实施例中，诊断器104比较在不同时间处生成的图像数据，以确定相机102是否已经随着时间而劣化或已经遭受故障。诊断器104还可以通过在数据线132上传输指令来操作图像传感器108、光圈110和光源112。例如，诊断器104可以命令处理器120停止发送指令。然后，诊断器104可以通过数据线142、144、146将指令发送到图像传感器108、光圈110和/或光源112，并且诊断器104监视响应于该指令而生成的图像数据。通过监视所得的图像数据，诊断器104可以确定相机102是否正常操作。

当成像系统100正在操作时，处理器120接收信号以生成图像数据。在一些实施例中，成像系统100被附于车辆上，并且车辆内的电子装置命令处理器120生成图像数据。处理器120将指令发送到图像传感器108以生成图像数据并将原始图像数据传输回处理器120。在一些实施例中，耦接到处理器120的传感器(诸如光传感器)监视环境条件并提供关于相机102的环境的信息。基于环境条件，处理器120(通过图像传感器控制器128和光圈控制器124)将指令发送到图像传感器108和光圈110以基于环境条件运行。在低光条件下，图像传感器控制器128可以命令图像传感器108上的增益和/或曝光时间增加并使光圈110扩大。类似地，在高光条件下，图像传感器控制器可以命令图像传感器108上的增益和/或曝光时间减小并且光圈110被限制。

随着时间，相机102通常将改变或劣化，导致改变或劣化的图像数据和图像。例如，透镜(未示出)可能变得凹陷或经受其光学特性中的其它变化。此外，对于透镜，图像传感器108的增益或动态范围可以随着时间而改变。随着时间，在图像传感器108内，不考虑入射到像素上的光，故障像素可能生成表示暗点或亮点(诸如饱和的像素)的图像数据。

诊断器104对相机102执行许多不同的分析。分析涉及生成和分析第一图像数据，并且随后生成和分析第二图像数据，以确定相机102是否已经劣化以及劣化的程度。如果劣化大于预定量，则可能生成警报信号，指示相机102需要被修理或更换。在一些实施例中，诊断器104可以改变图像数据的处理参数以抵消劣化相机102的影响。当相机102正在为用户生成图像数据和/或当相机102不是正在为用户生成图像数据时，诊断器104执行分析。一些分析被执行得足够快以避免干扰由图像数据生成的图像，因此可以在正常的相机操作期间执行分析。

在一些实施例中，帧是由图像传感器108中的所有像素生成的图像数据，并且诊断器104分析来自多个帧或帧的部分的图像数据。在此类实施例中，诊断器104可以分析帧的图像数据或部分的图像数据，以确定相机102是否劣化或故障。分析可以包括对图像数据求平均以确定图像数据的平均值是否随着时间而劣化或改变超过预定量。在该分析中，第一图像数据被求平均。第一图像数据可以是帧、多个帧或其部分的图像数据。通过使用来自多个帧的图像数据，偶尔的伪影(artifact)或一次性异常具有较小的影响，即使它们将另外导致单个帧中的错误。帧、多个帧或其部分的第二图像数据被求平均。将第二图像数据的平均值与第一图像数据的平均值进行比较以确定劣化或故障是否发生。来自多个帧的图像数据可以被分析以确定变化率或劣化率是否在指定水平内并估计用于替换或修复相机的未来时间。在类似的条件下，第一图像数据的平均值应该在第二图像数据的预定值内。而且，视频相机中的第一图像数据和第二图像数据之间的平均值应该改变，除非相机发生故障，诸如在不能生成新图像数据的锁定情况下。

在一些分析中，诊断器104基于相机102的预定条件来分析和存储图像数据。例如，在某些时间(诸如制造之后不久或另一时间)处，生成第一图像数据。然后将第一图像数据与稍后日期或时间捕获的第二图像数据进行比较。在一些实施例中，第一图像数据和第二图像数据在光圈110完全关闭的情况下被捕获，使得由图像传感器108生成的图像数据应该代表暗图像。诊断器104或处理器120可以向光圈110发送指令，使其关闭。通常，一些像素生成指示光入射到图像传感器108的图像数据。如果此类像素的数量快速增加或达到预定数量，则诊断器104可以促使生成警报信号，指示相机102发生故障。该测试可以在相机102的上电序列期间或者在相机102的正常操作中的短暂暂停期间执行。

在其它分析中，当图像传感器108生成第一图像数据时，光圈110关闭，并且光源112被照亮。因此，图像传感器108生成表示具有已知发光、色调和/或其它参数的已知光源的图像的图像数据。第二图像数据在光源112被照亮并且光圈110关闭的情况下生成。比较第一图像数据和第二图像数据，以确定相机102是否在生成第一图像数据的时间与生成第二图像数据的时间之间已经劣化。如果第一图像数据和第二图像数据之间的差异大于预定量，则生成警报信号，指示相机102可能发生故障。当相机102上电或在相机102的操作中的短暂暂停期间时，可以执行该分析。

当像素检测到使该像素输出可能的图像数据的最大值的光的强度时，饱和发生。在当像素有缺陷的一些情况下，饱和也发生。不管入射到缺陷像素上的光的量，缺陷像素总是输出最大的数字数。在一个分析中，诊断器104分析由图像传感器108捕获的帧并计算帧中的饱和像素和不饱和像素的平均数量。在相机102的操作期间，饱和像素的平均数量应当保持恒定。更具体地，饱和像素应该是由于缺陷像素而不是由于入射到图像传感器108上的过多的光引起的。如果非常大量的像素处于饱和状态，则图像传感器108的增益或曝光时间可能太高并且可以被降低，诸如通过从诊断器104传输到处理器120的指令。如果处于饱和的像素的数量下降，则像素不是有缺陷的。如果增益和/或曝光时间被降低并且处于饱和的像素的数量保持为高，则图像传感器108可能是有缺陷或劣化的，并且诊断器104可以生成警报信号。如果高数量的像素处于饱和，并且如果诊断器104没有检测到处理器120通过减少曝光时间或增益来校正问题，则诊断器104可以确定处理器120发生故障。在一些实施例中，诊断器104命令处理器120忽略由缺陷像素生成的图像数据和/或生成指示相机102有缺陷或劣化的信号。

在一些实施例中，诊断器104监视向图像传感器108发送指令的控制线134，以确定处理器120是否如上所述地正在控制增益和/或曝光时间。在相机102包括光圈110的实施例中，诊断器还可以监视控制线138以确定处理器120是否正在传输指令以控制入射在图像传感器108上的光的量。如果处理器不是正在传输用于降低第一图像数据和第二图像数据之间的光的指令，则诊断器104可以：确定处理器120发生故障；并生成信号。如果处理器120正在通过控制线132传输正确的控制信号，但是饱和像素的平均数量保持为高，或者如果图像数据指示非常明亮的图像，则诊断器104生成警报，因为图像传感器108和/或光圈110可能发生故障。相同的分析可以应用于输出其最低值或接近其最低值的数字数的像素。这些分析可以在相机102的正常操作期间执行。

相机102的一些分析包括计算从一帧到另一帧的像素值的全局平均值。在一些实施例中，帧中的像素的部分被求平均，而不是所有像素被求平均。然后，将第一图像数据的平均值与第二图像数据的平均值进行比较。表示帧的图像数据在任何时间被生成并且可以在相机102在使用中被分析。全局平均值提供总体发光和/或其它成像特性的整体状态。当图像传感器108中的曝光和增益增加时，总体发光增加，并且反之亦然。在一些分析中，诊断器104在保持增益恒定的同时使曝光斜坡上升和斜坡下降，并检查图像数据是否遵循配置到图像传感器108中的内容。如果第一图像数据和第二图像数据不正确或未适当地被改变，可能生成警报。这些测试可以在相机运行时或启动序列期间执行。

除了指示缺陷相机102的全黑或全饱和，视频图像的图像数据将永远不是恒定的。通过基于平均值使用上述分析，从第一图像数据到第二图像数据的平均像素值将改变。从第一图像数据到第二图像数据的所有像素值的全局平均值也将改变。基于上述内容，诊断器104可以测量第一图像数据中的平均值并将其与第二图像数据中的平均值进行比较。如果没有变化发生，则诊断器104可以生成警报信号。这些分析还可以测量具有大于或低于预定值的值的像素的数量，或者分析可以使用第一图像数据和第二图像数据之间的其它统计分析。

诊断器104可以执行上述分析的不同实施例。在一些实施例中，在低光条件下，其中最大曝光已被配置，诊断器104可以增加图像传感器108的增益或使增益将被增加，以人为地放大第一图像数据和第二图像数据之间的像素值。在非常低的光条件下，光源112可以被照亮以检查像素的动态范围。此外，在非常明亮的条件下，光圈110对检查图像传感器108的动态范围是有用的。如果结果不在指定值内，则警报信号可以被生成。

如图2所示，成像系统200的另一实施例类似于成像系统100，但是诊断器204与控制线232成一直线(in-line)被定位，以更直接地监视和改变传输到图像传感器208、光圈210和光源212的信号。该配置使诊断器204能够改变传输到图像传感器208、光圈210和光源212的值和指令，而无需向处理器220发送指令。在一些实施例中，诊断器204可以传递意图用于图像传感器208、光圈210和光源212的指令而无需改变它们，而只是监视指令。例如，诊断器204可以将数据和/或指令传递到处理器220或从处理器220传递数据和/或指令，以便测试处理器220是否在第一图像数据和第二图像数据之间传输正确的指令。在其它实施例中，诊断器204可以中断数据流以传输其自己的数据和/或指令，以便相应地验证在第一图像数据和第二图像数据之间的图像数据改变。

在图2的实施例中，诊断器204可以独立于处理器220操作图像传感器208、光圈210和光源212。例如，诊断器204可以终止来自处理器220的指令并且传输其自己的指令。然后，诊断器204可以监视从处理器220传输的指令以确定处理器是否响应于由诊断器204传输的指令来传输正确的指令。

两个成像系统100和200的操作由图3的流程图300描述。操作在步骤302处以使用图像传感器108、208生成第一图像数据而开始。在步骤304处，在第一图像数据的至少一部分上执行第一分析。在步骤306处，使用图像传感器生成第二图像数据。在步骤308处，在第二图像数据的至少一部分上执行第二分析。在步骤310中，基于如所示的第一分析和第二分析，该过程继续比较第一图像数据的至少一部分与第二图像数据的至少一部分。在步骤312处，响应于第一图像数据的至少一部分不同于第二图像数据的至少一部分达预定量而生成指示数字相机的故障的信号。

成像系统100、200的反馈回路可以执行上述分析，除此之外还执行下面描述的分析。如上所述，像素的动态范围被测试。在相机102、202中设置低光条件和已知光条件，其也用于测试像素和图像传感器108、208的增益。可以通过利用光源112、212照亮图像传感器108、208并生成第一图像数据和第二图像数据来测试颜色灵敏度。如果由光源表示的颜色在第一图像数据和第二图像数据之间改变大于预定量，则图像传感器108、208的颜色灵敏度可能降低。上述测试已与检测或计数缺陷或劣化的像素有关。在一些实施例中，缺陷或劣化的像素的簇被定位。如果检测到大簇或大量的簇，则诊断器104、204可以确定图像传感器108、208有缺陷或发生故障。

在描述的实施例中，修改是可能的，并且在权利要求的范围内，其它实施例是可能的。