成像系统的制作方法
【专利摘要】本公开涉及成像系统。要解决的一个技术问题是提供改善的成像系统。所述成像系统包括：图像像素阵列，所述图像像素阵列以行和列式布置；转换器电路，所述转换器电路经由对应的列线被耦合到所述阵列的给定列中的图像像素；列存储器；切换电路，所述切换电路被耦合在所述列存储器与所述转换器电路之间；以及测试数据注入电路，其中所述测试数据注入电路被配置为禁用所述切换电路，并且在所述切换电路被禁用时，将测试数据提供给所述列存储器。通过本实用新型，可以获得改善的成像系统。
【专利说明】
成像系统
技术领域
[0001]本实用新型整体涉及成像系统，更具体地讲，涉及使用验证电路测试成像系统的完整性的成像系统。【背景技术】
[0002]现代电子设备(诸如移动电话、相机和计算机)通常使用数字图像传感器。成像器件(即，图像传感器)可由二维图像感测像素阵列形成。每个像素接收入射光子(光)并将这些光子转换成电信号。有时，图像传感器被设计为使用联合图象专家组(JPEG)格式将图像提供给电子设备。
[0003]在汽车图像传感器中，遵从熟知的汽车安全标准(诸如ISO 26262道路车辆功能安全标准)对于总体系统的完整性可能是有益的。为符合此类安全标准，可能有利的是，汽车图像传感器执行自检程序以确定图像传感器是否正常运行。具体地讲，可能有利的是，确定图像传感器内的图像像素阵列是否满足性能准则。在常规汽车图像传感器中，不可能在图像传感器嵌入在汽车内时在像素阵列上施加已知的光子场景。这对系统提出了测试汽车图像传感器安全性的挑战。
[0004]因此，提供一种改善的成像系统以便能够验证嵌入在汽车内的成像系统的功能将是有利的。【实用新型内容】
[0005]本实用新型要解决的一个技术问题是提供改善的成像系统。
[0006]根据本实用新型的一个方面，提供了一种成像系统，所述成像系统包括:图像像素阵列，所述图像像素阵列以行和列式布置;转换器电路，所述转换器电路经由对应的列线被耦合到所述阵列的给定列中的图像像素;列存储器;切换电路，所述切换电路被耦合在所述列存储器与所述转换器电路之间；以及测试数据注入电路，其中所述测试数据注入电路被配置为用所述切换电路，并且在所述切换电路被禁用时，将测试数据提供给所述列存储器。
[0007]在一个实施例中，所述测试数据注入电路被配置为通过禁用所述切换电路来使所述转换器电路从所述列存储器电解耦。
[0008]在一个实施例中，所述成像系统还包括:减法电路，其中所述测试数据注入电路被配置为在所述切换电路被禁用时，将所述测试数据提供给所述列存储器和所述减法电路。
[0009]在一个实施例中，所述测试数据包括第一组测试数据和第二组测试数据，其中所述列存储器包括复位存储器，并且其中所述测试数据注入电路被配置为在所述切换电路被禁用时，将所述第一组测试数据提供给所述复位存储器，并将所述第二组测试数据提供给所述减法电路。
[0010]在一个实施例中，所述复位存储器被配置为在所述测试数据注入电路将所述第二组测试数据提供给所述减法电路时，将所述第一组测试数据提供给所述减法电路，并且其中所述减法电路被配置为通过从所述第一组测试数据减去所述第二组测试数据来生成差值。
[0011]在一个实施例中，所述列存储器还包括输出存储器，所述输出存储器被配置为存储所述差值。
[0012]在一个实施例中，所述成像系统还包括:测试控制电路，其中所述测试控制电路被配置为根据所述图像像素阵列生成的图像帧的当前行，指示所述测试数据注入电路禁用所述切换电路。
[0013]在一个实施例中，所述测试控制电路包括第一寄存器和第二寄存器，所述第一寄存器存储所述第一组测试数据，所述第二寄存器存储所述第二组测试数据。
[0014]在一个实施例中，所述测试数据注入电路被配置为启用所述切换电路，并且所述转换器电路被配置为在所述切换电路被启用时，将所述给定列的所述图像像素生成的像素值提供给所述列存储器。
[0015]在一个实施例中，所述列存储器包括输出存储器，所述输出存储器存储图像帧的数据列，并且其中所述测试数据注入电路被配置为选择性地来回切换所述切换电路，使得存储在所述列存储器上的所述图像帧的所述数据列包括所述测试数据，所述测试数据散布在所述阵列的所述给定列中所述图像像素生成的像素值之间，所述成像系统还包括:验证电路，其中所述验证电路被配置为根据所述图像帧中的所述测试数据，验证至少一些所述成像系统运作正常。
[0016]在一个实施例中，所述转换器电路包括模拟-数字转换器电路，所述测试数据包括测试数据位的预定模式，并且所述列存储器被配置为在生成单图像帧时，在相应的时间段期间存储所述测试数据位的预定模式和所述给定列的所述图像像素生成的所述像素值。
[0017]根据本实用新型的另一方面，提供了一种成像系统，所述成像系统包括:中央处理单元;存储器;输入-输出电路；以及成像设备，其中所述成像设备包括:图像像素阵列，所述图像像素阵列以行和列式布置；以及列读出电路，所述列读出电路经由多条列读出线被耦合到所述阵列，其中所述列读出电路包括:复位存储器;减法电路;测试数据注入电路，其中所述测试数据注入电路被配置为将第一组测试位提供给所述复位存储器并且将第二组测试位提供给所述减法电路，其中所述复位存储器被配置为在所述减法电路接收所述第二组测试位时，将所述第一组测试位提供给所述减法电路，并且其中所述减法电路被配置为通过使用所述第一组测试位和所述第二组测试位执行减法运算以生成测试数据；以及输出存储器，其中所述输出存储器被配置为存储具有行和列的图像帧的各行，其中所述图像帧的至少一行由所述测试数据形成，并且所述图像帧的至少一行由所述图像像素生成的像素数据形成。
[0018]在一个实施例中，所述图像帧的由所述测试数据形成的所述至少一行被插入在所述图像帧的由所述图像像素生成的所述像素数据形成的至少两行之间，其中所述减法电路被配置为使用所述图像像素生成的复位电平像素值和图像电平像素值执行减法运算，以在所述图像帧的所述至少两行中生成所述像素数据，并且其中所述系统还包括:验证电路，所述验证电路被配置为使用所述图像帧的由所述测试数据形成的所述至少一行，来验证至少一部分所述成像设备的性能符合要求。
[0019]本实用新型的一个有益效果是提供改善的成像系统。【附图说明】
[0020]图1是根据本实用新型实施例的示例性系统的示意图，其中该系统包括成像系统和主机子系统。
[0021]图2是根据本实用新型实施例的示例性图像传感器的示意图，其中该图像传感器具有图像像素阵列、验证电路及耦合到图像像素阵列的控制电路。
[0022]图3是根据本实用新型实施例的示例性基于列的列读出电路的示意图，其中该列读出电路具有用于在捕捉到的图像数据的帧中执行测试数据注入的电路。
[0023]图4是根据本实用新型实施例的示例性步骤的流程图，图像传感器可执行这些示例性步骤来将测试数据注入捕捉到的图像帧中，并使用注入的测试数据验证图像传感器功能正常。
[0024]图5是根据本实用新型实施例的可由图像传感器执行的示例性步骤的流程图，其中该图像传感器具有基于列的测试数据注入电路，该电路用于将测试数据注入捕捉到的图像帧中。
[0025]图6是根据本实用新型实施例的示例性示意图，其示出基于列的读出电路可如何生成测试数据，这些测试数据散布在图像帧中的读出像素数据的行之间。
[0026]图7是根据本实用新型实施例的系统的框图，其中该系统采用图1至图6的实施例。【具体实施方式】
[0027]具有数字相机模块的成像系统广泛用于电子设备，诸如数字相机、计算机、移动电话和其他电子设备中。数字相机模块可包括一个或多个图像传感器，这些图像传感器收集入射光以捕捉图像。
[0028]在一些情况下，成像系统可形成更大的系统的一部分，这些更大的系统包括诸如车辆(如，汽车、公共汽车或任何其他车辆)的监控系统或安全系统。在车辆安全系统中，成像系统捕捉到的图像可供车辆安全系统使用以确定车辆周围的环境状况。例如，车辆安全系统可包括诸如停车辅助系统、自动或半自动巡航控制系统、自动制动系统、防撞系统、车道保持系统(有时称为防车道偏离系统)等。
[0029]在至少一些情况下，成像系统可形成半自主或自主无人驾驶车辆的一部分。此类成像系统可捕捉图像并使用这些图像检测附近车辆。如果在图像中检测到附近车辆，则车辆安全系统有时可打开警示灯、发出警告，或者可激活制动、主动转向或其他主动防撞措施。车辆安全系统可使用具有数字相机模块的成像系统连续捕捉的图像，来帮助避免与物体(如，其他汽车或其他环境物体)碰撞，帮助避免不期望的偏离(如，越过车道标记)，或者帮助车辆在其任何正常运行模式期间安全运行。
[0030]车辆安全标准可能要求在车辆运行之前、期间和/或之后验证车辆安全系统的任何部件(包括成像系统部件)运行正常。成像系统部件的验证操作可在车辆运行之前和/或之后(如，在启动和/或关闭成像系统时)由成像系统执行。在这些验证操作中，可能不需要执行成像系统的并行操作。然而，可能有利的是，在成像系统运行期间连续地监测成像系统部件的状态，尤其是在成像系统提供的成像数据质量可影响车辆安全性的情况下。可提供具有这种即时(如，实时)验证能力的成像系统。
[0031]图像传感器可包括图像像素阵列。图像传感器中的像素可包括光敏元件，诸如将入射光转换成电荷的光电二极管。图像传感器可具有任何数量(如，数百或数千或更多)的像素。典型的图像传感器可(例如)具有数百、数千或数百万的像素(如，百万像素)。图像传感器可包括用于验证图像传感器正确运行的验证电路。例如，在图像传感器捕捉到的图像被用作车辆主动控制系统的输入的情况下，图像传感器中的验证电路可被配置为生成验证图像数据并将验证图像数据与预期结果比较，以免将不正确的图像传感器数据输入到主动控制系统中。
[0032]在一些配置中，可将验证图像数据与预定标准比较，该标准存储在成像系统中、由成像系统在运行期间生成、或存储在成像系统外的额外电路上。预定标准可以是预期值，可以是按数学方法确定的阈值，有时可称为“黄金”标准图像，可在成像系统的制造期间或其他合适的时间(如，在启动或关闭成像系统期间)捕捉，并且/或者可包括一个或多个按数学方法或实验方法确定的范围，可将验证图像数据与这些值或范围比较。
[0033]根据验证图像数据与预定标准或预定模式比较的结果，(如，若结果在预定范围夕卜，或者若结果与参考信号不匹配)成像系统可被禁用或(如，若结果在预定范围内，或者若结果与参考信号匹配)可继续正常运行。在一些布置中，成像系统可保持运行，但向用户提供指示，告知用户成像系统需要进一步检查和/或修理(如，在验证操作的结果表明成像系统的运行具有潜在问题时，成像系统可提供“检查成像系统”的指示)。
[0034]图1是示例性成像和响应系统的示意图，其中该系统包括使用图像传感器来捕捉图像的成像系统。图1的系统1〇〇可以是车辆安全系统(如，主动制动系统或其他车辆安全系统)，可以是监控系统，或可以是电子设备(诸如相机、移动电话、摄像机或其他捕捉数字图像数据的电子设备)。
[0035]如图1所示，系统100可包括成像系统(诸如成像系统10)和主机子系统(诸如主机子系统20)。成像系统10可包括相机模块12。相机模块12可包括一个或多个图像传感器14以及一个或多个镜头。相机模块12中的镜头可(例如)包括被布置成M X N阵列的M*N个单独的镜头。可将单独的图像传感器14可(例如)布置成对应的MXN图像传感器阵列。M和N的值可各自大于或等于1，可各自大于或等于2,可超过10,也可以是任何其他恰当的值。
[0036]相机模块12中的每个图像传感器可以相同，或者在给定的图像传感器阵列集成电路中可以存在不同类型的图像传感器。每个图像传感器可以是(例如)具有480X640图像传感器像素分辨率的视频图形阵列(VGA)传感器。如果需要，也可为图像传感器使用其他图像传感器像素排列。例如，可使用分辨率高于VGA分辨率的图像传感器(如，高清图像传感器)、 分辨率低于VGA分辨率的图像传感器、以及/或者其中图像传感器不完全相同的图像传感器阵列。
[0037]在图像捕捉操作的过程中，每个镜头可将光聚集到相关的图像传感器14上。图像传感器14可包括将光转换成数字数据的光敏元件(S卩，像素)。图像传感器可具有任何数量 (如，数百、数千、数百万或更多)的像素。典型的图像传感器可(例如)具有数百万的像素 (如，百万像素)。例如，图像传感器14可包括偏置电路(如，源极跟随器负载电路)、采样保持电路、相关双采样(CDS)电路、放大器电路、模拟-数字(ADC)转换器电路、数据输出电路、存储器(如，缓冲电路)、寻址电路等。
[0038]可将来自图像传感器14的静态图像数据和视频图像数据经由路径26提供给图像处理和数据格式化电路16。图像处理和数据格式化电路16可用于执行图像处理功能，诸如数据格式化、调节白平衡和曝光率、实现视频图像稳定、脸部检测等。如果需要，图像处理和数据格式化电路16还可用于压缩原始相机图像文件(如，将文件压缩成联合图象专家组格式或简称JPEG格式)。在有时称为片上系统(SOC)布置的典型布置中，相机传感器14与图像处理和数据格式化电路16在公用半导体衬底(如，公用硅图像传感器集成电路裸片)上实现。如果需要，相机传感器14与图像处理电路16可形成在单独的半导体衬底上。例如，相机传感器14与图像处理电路16可形成在已堆叠的单独的半导体衬底上。[〇〇39]成像系统10(如，图像处理和数据格式化电路16)可通过路径18将采集的图像数据传送到主机子系统20。主机子系统20可包括主动控制系统，该控制系统将用于控制车辆功能(诸如制动或转向)的控制信号传递到外部设备。主机子系统20可包括处理软件，用于检测图像中的物体、检测物体在图像帧之间的运动、确定图像中物体的距离、过滤或以其他方式处理成像系统10提供的图像。主机子系统20可包括报警系统，该报警系统被配置为在与图像传感器相关的验证数据表明图像传感器运作不正常时，禁用成像系统10和/或生成警告(如，汽车仪表盘上的警示灯、声音警告或其他警告)。
[0040]如果需要，系统100可向用户提供许多高级功能。例如，在计算机或高级移动电话中，可为用户提供运行用户应用程序的能力。为实现这些功能，系统100的主机子系统20可具有输入-输出设备22(诸如小键盘、输入-输出端口、操纵杆和显示器)及存储和处理电路 24。存储和处理电路24可包括易失性和非易失性的存储器(例如，随机存取存储器、闪存存储器、硬盘驱动器、固态驱动器，等等)。存储和处理电路24还可包括微处理器、微控制器、数字信号处理器、专用集成电路等。
[0041]在成像系统10运行期间，相机模块12可连续捕捉图像帧并将图像帧提供给主机子系统20。在图像捕捉操作期间，可不定时地(如，在捕捉每个图像帧后，在捕捉每隔一个图像帧后，在捕捉每五个图像帧后，在捕捉一部分图像帧的过程中，等)操作与图像传感器14相关的验证电路(在本文中有时称为测试电路)。操作验证电路时捕捉到的图像可包括测试数据，该测试数据(在本文中有时称为验证数据)包含验证信息。可将验证数据提供给图像处理电路16和/或存储和处理电路24。图像处理电路16可被配置为将验证数据与图像处理电路16上存储的预定数据集比较。在比较后，图像处理电路16可向主机子系统20发送状态信息或其他验证信息。这个例子仅为示例性的。一般来讲，验证电路可对验证数据执行任何所需的测试处理操作，以验证相机模块12的一个或多个组件功能和性能正常。
[0042]图2中示出相机模块12的布置的例子。如图2所示，相机模块12包括图像传感器14 与控制和处理电路16。图像传感器14可包括像素阵列，诸如像素28(在本文中有时称为图像传感器像素或图像像素28)的阵列30。控制电路16可耦合到行控制电路32,并且可经由全局数据路径44耦合到列控制和读出电路42。行控制电路32可从控制电路16接收行地址，并可通过控制路径128向图像像素28供应对应的行控制信号(如，双重转换增益控制信号、像素复位控制信号、电荷转移控制信号、光晕控制信号、行选择控制信号或任何其他所需的像素控制信号)。列控制和读出电路42可经由一条或多条导线(诸如列线40)耦合到像素阵列30 的列。列线40可耦合到图像像素阵列30中的每列图像像素28(如，每列像素可耦合到对应的列线40)。列线40可用于从图像像素28读出图像信号，并向图像像素28供应偏置信号(如，偏置电流或偏置电压)。在图像像素读出操作期间，可使用行控制电路32来选择图像像素阵列30中的像素行，并且与该像素行的图像像素28相关的图像数据可由电路42在列线40上读出。[〇〇43]列控制和读出电路42可包括许多列读出电路46。每个列读出电路46可耦合到对应的列线40,并且可从耦合到对应列线的像素28读出和接收图像信号。每个列读出电路46可包括列电路，诸如用于放大从阵列30读出的信号的列放大器、用于对从阵列30读出的信号进行采样和存储的采样保持电路、用于将读出的模拟信号转换成对应数字信号的模拟-数字转换器(ADC)电路、以及用于存储读出信号和任何其他所需数据的列存储器。列读出电路 46可通过线44将数字像素值输出到控制和处理电路16。
[0044]阵列30可具有任何数量的行和列。一般来讲，阵列30的大小以及阵列30中行和列的数量将取决于图像传感器14的具体实现。虽然行和列在本文中一般分别被描述为水平和垂直的，但是行和列可以指任何网格状的结构(如，本文中描述为行的特征可垂直地布置， 并且本文中描述为列的特征可水平地布置)。[〇〇45]如果需要，列读出电路46可包括用于对图像传感器14执行测试操作的测试和验证电路。例如，列读出电路46可用于将测试数据(如，测试位的预定模式)注入从阵列30读出的像素数据中。相机模块12可包括验证(测试)电路，诸如验证电路100。验证电路100可处理测试信号，以确定图像传感器14是否正常运行。例如，验证电路100可将输出测试信号与参考数据比较，以确定图像传感器14是否正常运作。
[0046]在一些情况下，可通过暂时禁用图像传感器14的正常成像操作模式(如，将传感器 14从成像模式转变为测试或校准模式)，来执行图像传感器14的测试。一旦图像传感器14处于测试模式，就将测试数据注入阵列中，并从阵列读出这些数据以用于验证图像传感器14 的性能。然而，使图像传感器14离开正常操作模式(如，离线)来执行测试会对图像传感器14 的用户造成干扰，并可能妨碍正常成像操作。例如，在相机模块12形成为汽车成像系统的一部分的情况下，这种干扰产生的影响可能显著增大。因此，可能有利的是能够为图像传感器 14提供用于执行测试操作的改善的系统和方法。[〇〇47]如果需要，列读出电路46可在正常成像操作中将测试数据注入读出的图像数据帧中(如，从而无需进入单独的测试操作模式)。图3是具有测试控制电路的给定列读出电路46 的示例性示意图，该测试控制电路用于选择性地将测试数据注入读出的像素数据帧中，以对图像传感器14执行测试和验证操作而无需进入单独的测试操作模式。[〇〇48] 如图3所示，列控制和读出电路42的给定列电路46可包括ADC电路110，该ADC电路经由列线40接收已从阵列30的对应列中的像素28读出的信号。例如，在ADC 110处接收的信号可包括模拟复位电平信号和模拟图像电平图像信号。该复位电平和图像电平信号可(例如)在相关双采样(CDS)信号操作中进行处理，以便从最终图像信号中移除kTC复位噪声。 [〇〇49] ADC电路110可通过列线40接收模拟复位电平和图像电平信号，并且可将模拟信号转换成对应数字信号(如，数字复位电平信号和数字图像电平信号)。由ADC 110输出的数字信号在本文中有时称为数字像素值或数字像素数据(如，复位电平数字像素值、复位电平数字像素数据、图像电平数字像素值、或图像电平数字像素数据hADC 110的输出端可经由列开关118可切换地耦合到列测试注入电路116、复位存储器112和减法电路114。
[0050]当在ADC 110的输出端处提供图像电平或复位电平像素数据时，可启用开关118 (如，使用开关控制信号SWCTR闭合)，以便将像素数据传到复位存储器112和减法电路114。当开关118闭合时，复位存储器112可接收和存储从ADC 110接收的复位电平像素数据。复位存储器112可存储接收到的复位电平像素数据，直到已从ADC 110接收到对应的图像电平数据。可将图像电平数据传到减法电路114的第一输入(-)端。当在减法电路114的第一输入 (_)端处接收到图像电平数据时，复位存储器112可将存储的对应复位电平数据输出到减法电路114的第二(+ )输入端。减法电路114可从对应的复位电平数据减去从复位存储器112接收到的图像电平数据，以在输出端140上生成差值。该差值可存储在输出存储器142上，并可传送到控制和处理电路16,在控制和处理电路处，存储的差值被用于生成最终图像。通过生成并存储复位电平像素数据与图像电平像素数据之间的差值，可从最终图像中移除kTC噪声。[〇〇51 ]列读出电路46可包括基于列的测试和验证电路，诸如由测试控制电路120控制以执行测试和验证操作的列测试数据注入电路116。列测试注入电路116可具有经由路径122 耦合到测试控制电路120的输入端。列测试注入电路116可通过路径122从测试控制电路120 接收测试数据(如，测试位的模式)R’和S’以及测试注入启动信号TEST_EN。当测试启动信号 TEST_EN有效时(或当信号TEST_EN以其他方式表明应执行测试数据注入时)，列测试注入电路116可使用通过路径132提供给开关118(如，通过路径132提供给开关118的控制终端)的开关控制信号SWCTR来禁用(打开)开关118。当开关118打开(关断)时，列测试数据注入电路 116可将测试数据R’和S’提供(如，“注入”)到路径130上。[〇〇52]列测试数据注入电路116可向复位存储器112提供测试位R’，并可向减法电路114 的(_)输入端提供测试位S’(如，在向复位存储器112提供测试位R’之后)。例如，在向复位存储器112提供测试位R’之后，电路116可向减法电路114提供位S’。测试位R’在本文中有时称为复位电平测试位，而测试位S’在本文中有时称为图像电平测试位。存储器112可存储测试位R ’，并可输出测试位R ’，使得在减法电路114处接收到对应的输出测试位S ’时，在减法电路114处接收到测试位R’。减法电路114可从测试位R’减去测试位S’，以在输出端140处生成测试差值R’-S’。测试差值R’-S’可存储在输出存储器142处，并可输出到控制和处理电路 16,作为一行或多行测试(验证)数据散布在阵列30生成的图像数据的行之间(如，在包括测试数据和像素数据的最终图像帧中)。例如，测试控制电路120可来回切换开关118,使得最终输出的图像帧的一些行包括从阵列30接收到的像素数据，而最终输出的图像帧的其他行包括由列测试注入电路116注入的测试数据。验证电路110可对测试差值R’-S’进行处理，以验证一些或全部图像传感器14是否达到足够的性能。[〇〇53]测试控制电路120可协调并控制列读出电路46执行的测试注入操作。测试控制电路120可包括存储电路，诸如复位寄存器124和信号寄存器126。寄存器124和126可存储要注入从阵列30读出的像素数据中的测试数据R’和S’。例如，可将复位电平测试位R’存储在复位寄存器124中，而将图像电平测试位S’存储在图像信号寄存器126中。存储的测试数据R’ 和S’可从外部电路诸如控制电路16(图2)接收，或可在测试控制电路120处生成以用于对图像传感器14执行任何所需的测试和验证操作。存储的测试数据R’和/或测试数据S’可包括任何所需的位模式，位模式在本文中有时称为测试模式(如，用于对图像传感器14的任何所需部分执行任何所需测试的高位和低位预定序列)。存储器112和输出存储器142可统称为列存储器，并且可由公用存储器电路或单独的存储器电路形成。如果需要，寄存器124和126 可针对阵列30的每列生成全局测试信号(如，全局位R’、S’和信号TEST_EN)，或可在这样的模式下操作:阵列30中的第一组列(如，一半的列)接收第一组测试位R’和S’，而阵列30中的第二组列(如，剩下的一半列)接收第二组不同的测试位R’和S’。相对于每列接收不同测试位的情况，为阵列30的多列提供公用测试位R’和S’可减少处理资源和功率。测试控制电路 120以及寄存器124和126可(例如)位于列电路46外部(如，作为电路42的与列读出电路分开或与图像传感器14中其他电路分开的一部分)，从而允许控制电路120向多个列电路46提供测试位。寄存器124,126及存储器112和142可包括任何所需的易失性和/或非易失性存储电路(如，静态或动态随机存取存储器、闪存存储器等)。列电路46可作为阵列30形成在公用半导体衬底(如，集成电路芯片)上，或可形成在单独的衬底上。[〇〇54] 测试控制电路120可通过路径128(如，从列控制和读出电路42的其他部分、和/或从控制和处理电路16)接收行识别控制信号ROW和测试数据识别信号TESTID。行识别控制信号ROW可识别要生成的输出图像帧的当前行(如，对应于阵列30中的像素行28的像素数据行，或要附加或插入在阵列30生成的像素数据行之间的测试数据行)。测试控制电路120可根据行识别控制信号ROW生成测试启动信号TEST_EN，该测试启动信号指示列测试注入电路 116将测试数据位R’和/或S’注入到信号路径130上，或指示测试注入电路116不将测试数据注入到路径130上。例如，测试控制电路120可识别出应在当前接收到的像素数据行之后或应在当前图像帧的当前行之后插入测试数据行(如由行识别控制信号ROW识别)，并且随后可指示测试注入电路116禁用开关118并将测试数据R’和S’路由到路径130上。测试数据识别信号TESTID可识别出要将寄存器124和126上存储的测试数据的哪些位提供给列测试注入电路116并路由到路径130。例如，识别信号TESTID可识别要注入路径130上以用于执行所需的测试操作的特定测试模式或所存储的位的子集。一旦完成测试数据注入，列测试注入电路就可闭合开关118,并且从阵列30接收到的像素数据可被路由到复位存储器112和减法电路114,以用于在当前图像帧中生成像素数据行。[〇〇55] 通过在每个列读出电路46中形成测试注入电路116,可将测试数据选择性地注入阵列30输出的每列像素数据中。通过将测试数据存储在复位存储器112和输出存储器142 上，验证电路100除了验证图像传感器14的任何其他所需部件的性能之外，还可验证读出电路42的每列和阵列30的每列中列存储器的性能。
[0056]图4是示例性步骤的流程图，相机模块12可执行这些示例性步骤，以使用具有列读出电路的图像传感器14来执行验证操作，该列读出电路具有用于将测试数据注入图像帧中的基于列的测试电路46。[〇〇57]在步骤200中，像素阵列30可开始捕捉图像帧。例如，像素阵列30可捕捉阵列30上多行像素28的复位电平信号和图像电平信号。[〇〇58] 在步骤202中，一个或多个列读出电路46中的测试控制电路120可将测试数据注入图像帧的一行或多行中(如，介于一行或多行图像数据之间)。测试数据可包括(例如)差值 R’-S’行，而像素数据行可包括在电路46中通过从复位电平像素值减去图像电平像素值而生成的差值。测试数据可插入在两行或多行图像数据之间，或可附加到图像数据的起始部分或末尾部分。[〇〇59]在步骤204中，可将图像数据和测试数据输出到控制和处理电路16(如，逐行输出， 或在使用帧缓冲区的情况下作为完整的图像帧输出)。可将图像数据行(如，差值)输出到额外的处理电路，以进行额外的图像处理、使用显示设备显示、存储等。可将测试数据行(如，R’-S’值)提供给验证电路100(图2)。
[0060]在步骤206中，验证电路100可处理测试数据，以确保图像传感器14正常运行。例如，验证电路100可在测试数据行逐行从输出存储器142流出时接收这些行，并且可处理测试数据以确定列电路46中的列存储器是否正常运行、像素28内的电路是否正常运行等。如果需要，可将测试数据输出到主机20,以在相机模块12之外执行验证操作。
[0061]例如，可将测试数据与预定参考数据比较，以(如，使用验证电路100或主机20)识别故障像素。可使用主机20和/或验证电路100来确定故障像素(如果有的话)是否会使图像传感器14无法运行。仅仅存在故障像素并不必然意味着必须弃用该图像传感器14。例如，如果故障像素均匀分布在整个像素阵列中，则图像传感器14仍可符合设计准则。然而，如果故障像素集中在小集群中，则可认为图像传感器14不符合要求。响应于确定像素阵列仍可运行，成像系统10可在系统100继续运行时恢复图像捕捉和成像系统验证的循环。[〇〇62]响应于主机20和/或验证电路100确定像素阵列无法运行，主机子系统20可禁用一些或全部成像系统10,并且如果需要，可为系统100的操作员生成故障信号，诸如声音或视觉故障警示信号(如，包括车辆安全系统诸如系统100的车辆的操作员可接收警示信号)。在一些布置中，成像系统10可保持运行，但可向操作员提供指示，告知操作员成像系统需要进一步检查和/或修理(如，在验证操作的结果表明成像系统的运行具有潜在问题时，成像系统可提供“检查成像系统”的指示)。
[0063]图5是示例性步骤的流程图，图像传感器14可执行这些示例性步骤来将测试数据注入图像帧的读出像素数据行中。可(例如)在处理图4的步骤202时执行图5的步骤。[〇〇64] 在步骤210中，控制和处理电路16可选择阵列30的给定行。例如，可选择阵列30的第一行。处理电路16可将行识别控制信号ROW提供给列读出电路46上的测试控制电路120， 该行识别控制信号识别所选的阵列行。测试控制电路120可确定控制信号ROW所识别的行与测试数据不相关，并可由此将测试启动信号TEST_EN提供给列测试注入电路116,该测试启动信号指示测试注入电路116启用(闭合)列开关118,使得ADC110被电耦合到复位存储器 112和减法电路114。
[0065]在步骤212中，列读出电路46可各自从所选的行的对应像素读出复位电平信号 (如，第一列电路46可从所选的行的第一像素读出复位电平信号，第二列电路46可从所选的行的第二像素读出复位电平信号，等)。可在ADC 110处将复位电平信号转换成数字复位电平值，并且可将数字复位电平值存储在每个列电路46中的复位存储器112上。
[0066]在步骤214中，列读出电路46可各自从所选的行的对应像素读出图像电平信号 (如，第一列电路46可从所选的行的第一像素读出图像电平信号，第二列电路46可从所选的行的第二像素读出图像电平信号，等)。可在ADC 110处将图像电平信号转换成数字图像电平值，并且可将数字图像电平值传到减法电路114。在减法电路114接收到图像电平值时，复位存储器112可将存储的复位电平值提供给减法电路114。
[0067]在步骤216中，减法电路114可通过从复位电平值减去图像电平值而生成差值，并可通过路径140将差值传到输出存储器142。可将差值存储在输出存储器142上，并可逐行输出到其他处理电路。
[0068]在步骤218中，测试控制电路120可确定图像帧中的下一行(如，阵列或帧中继所选的行之后的行)是否为测试行(如，要将其测试数据注入图像帧中的行)。例如，如果在步骤210中选择了阵列的第一行，控制电路120可确定图像帧的第二行应包括注入的测试数据还是阵列30生成的图像数据。如果图像帧的下一行预期并非旨在成为测试行，处理过程可继续到步骤224，如路径220所示。[〇〇69]在步骤224中，控制电路120可确定帧中是否还存在待处理的行。如果仍存在行，处理过程可继续到步骤225,以选择阵列的下一行。处理过程可循环回到步骤212,如226所示， 以读出阵列30的下一个所选的行的像素数据。如果不存在行，处理过程可继续到图4的步骤 204,如路径229所示。如果图像帧的下一行预期是测试行，处理过程可继续到步骤230,如路径228所示。
[0070] 在步骤230中，测试控制电路可(如，使用控制信号TEST_EN)指示列测试数据注入电路116禁用(打开)开关132，使ADC 110从复位存储器112和减法电路114解耦。测试控制电路120可识别存储在复位寄存器124上的一组复位电平测试位R’和存储在信号寄存器126上的一组图像电平测试位S’，以作为测试数据注入图像帧中。例如，控制电路120可根据接收到的测试位识别控制信号TESTID来识别要提供的测试位组(模式)。测试控制电路120可将识别出的复位电平测试位R’组和图像电平测试位S’组提供给列测试数据注入电路116。 [0071 ] 在步骤232中，列测试注入电路116可经由路径130将复位电平测试位R’组提供给复位存储器112。可将复位测试位R’存储在复位存储器112上。在减法电路114接收到图像电平测试位S’时，复位存储器112可将存储的复位电平值提供给减法电路114。[〇〇72] 在步骤234中，列测试注入电路116可经由路径130将图像电平测试位S ’组提供给减法电路114。
[0073]在步骤236中，减法电路114可通过从复位电平测试位减去图像电平测试位来生成测试差值，并可通过路径140将测试差值传到输出存储器142。可将测试差值存储在输出存储器142上，并可逐行输出到其他处理电路。[〇〇74]在步骤238中，测试控制电路120可确定要生成的帧中是否还存在额外的行。如果仍存在额外的行，处理过程可循环回到步骤218,如路径240所示，以便针对帧中的下一行生成测试数据，或者针对帧的下一行读出图像数据。如果不存在额外的行，处理过程可继续到图4的步骤204,如路径242所示。这样，可将具有散布在图像数据行之间的测试数据行(如， 测试差值R’-S’)的最终图像帧逐行输出到处理电路16。验证电路100可处理注入的测试数据，以验证图像传感器14性能正常。通过生成单独的复位电平测试位和图像电平测试位，测试控制电路120可确定列电路46中的列存储器(如，复位存储器112、输出存储器142等)是否正常运作。可对帧的每行的每个列电路46执行图4的步骤。如果需要，可重复图4的步骤以生成额外的图像帧(如，静态图像帧、用于生成视频数据的图像帧的序列，等)。
[0075]图6是示例性示意图，其示出如何可以使用给定的列读出电路46之一，将测试位的行散布在图像数据的行之间以生成最终的图像帧。如图6所示，给定的读出电路46可从帧的对应列和第(M-1)行中的像素接收第一复位电平值280-1和第一图像电平值284-1(如，在处理图5的处理步骤212和214时)。读出电路46随后可从帧的对应列和第M行中的第二像素接收第二复位电平值280-2和第二图像电平值284-2(如，值280-1和280-2可由阵列30的相同列的相邻行中的像素生成)。在图6的例子中，每个复位电平值和图像电平值是十位值(如， 复位值280-1包括十个位R0、R1、…R8和R9，第一图像电平值包括十个位SO、S1、…S8和S9， 等)。这个例子仅为示例性的，一般来讲，复位电平值和图像电平值可包括任何所需数量的位。
[0076]在图6的例子中，电路120可识别出要为帧的第(M+1)行和第(M+2)行生成测试数据行(如，在处理图5的处理步骤218时)。测试数据注入电路116可将复位电平测试值282-1和图像电平测试值286-1注入到读出路径130上(如，在处理图5的步骤232和234时)，并随后可将复位电平测试值282-2和图像电平测试值286-2注入到读出路径130上。在图6的例子中， 每个复位电平测试值和图像电平测试值是十位值(如，复位电平测试值282-1包括十个位 R0 ’、R1’、…R8 ’和R9 ’，图像电平测试值包括十个位SO ’、S1’、…S8 ’和S9 ’，等)。这个例子仅为示例性的，一般来讲，复位电平测试值和图像电平测试值可包括任何所需数量的位。读出电路46随后可从阵列30接收图像帧的M+3和M+4行的复位电平数据和图像电平数据。值280-3和280-4可(例如)由阵列30的相邻行中处于相同列并且邻近生成值280-1和280-2的像素的像素生成(如，测试数据282和286可插入在阵列30的相邻行生成的像素数据之间)，或者可由相邻行中处于相同列但不邻近生成值280-1和280-2的像素的像素生成(如，测试数据 282和286可在最终帧中替代由阵列30的一行或多行生成的像素数据)。[〇〇77]可从对应的复位电平值280减去每个图像电平值284,以生成在最终图像帧中使用的差值。例如，可从第一复位电平值280-1减去第一图像电平值284-1，以生成对应于阵列的对应列和第(M-1)行中第一像素的第一差值，可从第二复位电平值280-2减去第二图像电平值284-2,以生成对应于阵列的对应列和第M行中第二像素的第二差值，等。类似地，可从第一复位电平测试值282-1减去第一信号电平测试值286-1，以生成图像帧的对应列和第(M+ 1)行的第一测试差值，可从第二复位电平测试值232-2减去第二信号电平测试值286-2,以生成图像帧的对应列和第(M+2)行的第二测试差值，等。这样，可在不间断的正常成像操作期间生成kTC复位噪声减轻的最终图像帧，而无需进入专用的测试/校准模式，同时允许验证列存储器和/或图像传感器14的任何其他所需的部分。[〇〇78]图7以简化形式示出包括成像设备400的典型处理器系统500(诸如数字相机)。成像设备400可包括具有形成于图像传感器S0C上的图2所示类型像素的像素阵列401(如，像素阵列401可以是像素28的阵列)。借助上述方法，可在正常成像操作期间使用基于列的读出电路将测试数据注入图像帧中。验证电路可将从像素阵列读出的测试数据与参考数据比较，以确定图像像素阵列是否正常运作。[〇〇79]处理器系统500是可包括成像设备400的具有数字电路的示例性系统。在不进行限制的前提下，这种系统可包括计算机系统、静态或视频摄像机系统、扫描仪、机器视觉、车辆导航、视频电话、监控系统、自动对焦系统、星体跟踪器系统、运动检测系统、图像稳定系统、 以及其他采用成像设备的系统。
[0080]处理器系统500可以是数字静态或视频摄像机系统，其可包括镜头，诸如镜头596， 该镜头用于在快门释放按钮597被按下时，将图像聚焦到像素阵列(诸如像素阵列401)上。 处理器系统500可包括中央处理单元，诸如中央处理单元(CPU)595<XPU 595可以是微处理器，它控制相机功能和一个或多个图像流功能，并通过总线(诸如总线593)与一个或多个输入/输出(I/O)设备591通信。成像设备400还可通过总线593与CPU 595通信。系统500可包括随机存取存储器(RAM)592和可移动存储器594。可移动存储器594可包括通过总线593与CPU 595通信的闪存存储器。成像设备400可在单个集成电路或在不同芯片上与CPU 595相组合， 也可具有或没有存储器。尽管总线593被示为单总线，但该总线也可以是一个或多个总线或桥接器或其他用于互连系统组件的通信路径。
[0081]已描述各种实施例，示出包括成像系统和主机子系统的成像和响应系统(参见例如图1的系统100)。成像系统可包括一个或多个图像传感器。每个图像传感器可包括形成在半导体衬底上的图像像素阵列。每个图像像素可包括一个或多个光敏元件，这些光敏元件被配置为将入射光转换成电荷。
[0082]耦合到阵列的列读出电路可包括各自经由相应的列读出线耦合到对应列的列读出电路。每个列读出电路可包括耦合到阵列的对应列中的图像像素的转换器电路、列存储器、耦合在列存储器与转换器电路之间的切换电路、以及测试数据注入电路。测试数据注入电路可被配置为禁用切换电路，并在切换电路被禁用时将测试数据提供给列存储器，并且可被配置为启用切换电路，使得转换器电路接收到的像素数据被传送到列存储器。[〇〇83]列存储器可包括复位存储器和输出存储器。减法电路可插入在复位存储器与输出存储器之间。
[0084]在切换电路被禁用时，测试数据注入电路可存储并检索第一组测试数据位和第二组测试数据位，并可将第一组测试位传到复位存储器，以及将第二组测试位传送到减法电路(如，注入电路可将测试数据注入到列存储器上)。在减法电路从注入电路接收第二组测试位时，复位存储器可将第一组测试位传到减法电路。减法电路通过使用第一组测试位和第二组测试位来执行减法运算，可生成测试差值。输出存储器可存储测试差值。
[0085]测试数据注入电路可启用切换电路以将转换器电路的输出端电耦合到列存储器。 在切换电路被启用时，转换器电路可将复位电平像素值(像素数据)传到复位存储器，并且可将图像电平像素值传到减法电路。在减法电路接收图像电平像素值时，复位存储器可将复位电平像素值提供给减法电路。减法电路可使用复位电平像素值和图像电平像素值来执行减法运算以生成差值，这些差值存储在输出存储器上。这些差值和测试差值可形成图像帧的一列的部分，使得测试差值散布在差值之间。每个列读出电路可共同地存储图像帧，该图像帧具有散布在像素数据行之间的测试数据位行(如，该图像帧中的给定测试数据行可插入在两行或多行像素数据之间)。[〇〇86]验证电路可耦合到列读出电路，并且可接收存储在输出存储器上的一些或全部图像帧。验证电路可处理图像帧中的测试数据(如，测试差值)，以根据测试数据验证至少一些成像系统运作正常。如果成像系统的运作未达到最佳，则可禁用成像系统的一些部分，可通知成像系统的用户，等。可将图像帧传到其他处理电路以及作为最终图像帧输出(如，最终图像帧包括测试数据，或已从其中移除测试数据)。这样，可使用在正常成像操作模式期间捕捉的图像帧执行验证操作，而不干扰成像操作，并且无需进入成像系统的专用的测试或校准操作模式。
[0087]根据本实用新型的又另一方面，提供了一种操作图像传感器以生成图像帧的方法，其中所述图像传感器包括图像像素阵列和列读出电路，所述图像像素阵列以行和列式布置，所述列读出电路被耦合到所述阵列的给定列，其中所述列读出电路包括列存储器，所述列存储器经由列开关被耦合到所述阵列的所述给定列，所述方法包括:利用所述列读出电路中的测试数据注入电路，启用所述列开关；利用所述列存储器，在所述列开关被启用时，存储所述阵列的所述给定列中的图像像素生成的像素值;利用所述测试数据注入电路， 禁用所述列开关；以及利用所述测试数据注入电路，在所述列开关被禁用时，将测试数据位注入到所述列存储器上。
[0088]在一个实施例中，所述方法还包括:利用所述列存储器中的复位存储器，在所述列开关被启用时，存储所述给定列中的所述图像像素生成的复位电平像素值；以及利用所述复位存储器，在减法电路从所述给定列中的所述图像像素接收对应的图像电平像素值时， 将所存储的复位电平像素值提供给所述减法电路。
[0089]在一个实施例中，所述方法还包括:利用所述减法电路，使用所述图像电平像素值和所述复位电平像素值执行减法运算，以生成差值；以及利用所述列存储器中的输出存储器，存储所生成的差值。
[0090]在一个实施例中，其中所述测试数据位包括第一组数据位和第二组数据位，所述方法还包括:利用所述复位存储器，在所述列开关被禁用时，存储所述第一组测试数据位； 利用所述减法电路，在所述列开关被禁用时，从所述测试数据注入电路接收所述第二组测试数据位；以及利用所述复位存储器，在所述减法电路从所述测试数据注入电路接收所述第二组测试数据位时，将所存储的第一组测试数据位提供给所述减法电路。
[0091]在一个实施例中，所述方法还包括:利用所述减法电路，使用所述第一组测试数据位和所述第二组测试数据位执行减法运算，以生成测试差值；以及利用所述输出存储器，存储所生成的测试差值。
[0092]在一个实施例中，所述方法还包括:利用所述输出存储器，输出所述图像帧的一列的各行，其中所述图像帧包括所生成的测试差值，所生成的测试差值散布在所生成的差值之间。[〇〇93]在一个实施例中，所述方法还包括:利用被耦合到所述列读出电路的验证电路，处理所生成的测试差值，以验证至少部分所述图像传感器运作正常。
[0094]前述内容仅是对本实用新型原理的示例性说明，因此本领域技术人员可以在不脱离本实用新型的精神和范围的前提下进行多种修改。上述实施例可单独地或以任意组合方式实施。
【主权项】
1.一种成像系统，其特征在于:所述成像系统包括:图像像素阵列，所述图像像素阵列以行和列式布置；转换器电路，所述转换器电路经由对应的列线被耦合到所述阵列的给定列中的图像像 素；列存储器；切换电路，所述切换电路被耦合在所述列存储器与所述转换器电路之间；以及测试数据注入电路，其中所述测试数据注入电路被配置为禁用所述切换电路，并且在 所述切换电路被禁用时，将测试数据提供给所述列存储器。2.根据权利要求1所述的成像系统，其特征在于:所述测试数据注入电路被配置为通过 禁用所述切换电路来使所述转换器电路从所述列存储器电解耦。3.根据权利要求1所述的成像系统，其特征在于:所述成像系统还包括:减法电路，其中所述测试数据注入电路被配置为在所述切换电路被禁用时，将所述测 试数据提供给所述列存储器和所述减法电路。4.根据权利要求3所述的成像系统，其特征在于:所述测试数据包括第一组测试数据和 第二组测试数据，其中所述列存储器包括复位存储器，并且其中所述测试数据注入电路被 配置为在所述切换电路被禁用时，将所述第一组测试数据提供给所述复位存储器，并将所 述第二组测试数据提供给所述减法电路。5.根据权利要求4所述的成像系统，其特征在于:所述复位存储器被配置为在所述测试 数据注入电路将所述第二组测试数据提供给所述减法电路时，将所述第一组测试数据提供 给所述减法电路，并且其中所述减法电路被配置为通过从所述第一组测试数据减去所述第 二组测试数据来生成差值。6.根据权利要求5所述的成像系统，其特征在于:所述列存储器还包括输出存储器，所 述输出存储器被配置为存储所述差值。7.根据权利要求4所述的成像系统，其特征在于:所述成像系统还包括:测试控制电路，其中所述测试控制电路被配置为根据所述图像像素阵列生成的图像帧 的当前行，指示所述测试数据注入电路禁用所述切换电路。8.根据权利要求7所述的成像系统，其特征在于:所述测试控制电路包括第一寄存器和 第二寄存器，所述第一寄存器存储所述第一组测试数据，所述第二寄存器存储所述第二组 测试数据。9.根据权利要求1所述的成像系统，其特征在于:所述测试数据注入电路被配置为启用 所述切换电路，并且所述转换器电路被配置为在所述切换电路被启用时，将所述给定列的 所述图像像素生成的像素值提供给所述列存储器。10.根据权利要求9所述的成像系统，其特征在于:所述列存储器包括输出存储器，所述 输出存储器存储图像帧的数据列，并且其中所述测试数据注入电路被配置为选择性地来回 切换所述切换电路，使得存储在所述列存储器上的所述图像帧的所述数据列包括所述测试 数据，所述测试数据散布在所述阵列的所述给定列中所述图像像素生成的像素值之间，所 述成像系统还包括:验证电路，其中所述验证电路被配置为根据所述图像帧中的所述测试数据，验证至少 一些所述成像系统运作正常。11.根据权利要求9所述的成像系统，其特征在于:所述转换器电路包括模拟-数字转换 器电路，所述测试数据包括测试数据位的预定模式，并且所述列存储器被配置为在生成单 图像帧时，在相应的时间段期间存储所述测试数据位的预定模式和所述给定列的所述图像 像素生成的所述像素值。12.—种成像系统，其特征在于:所述成像系统包括:中央处理单元；存储器；输入-输出电路；以及成像设备，其中所述成像设备包括:图像像素阵列，所述图像像素阵列以行和列式布置；以及列读出电路，所述列读出电路经由多条列读出线被耦合到所述阵列，其中所述列读出 电路包括:复位存储器；减法电路；测试数据注入电路，其中所述测试数据注入电路被配置为将第一组测试位提供给所述 复位存储器并且将第二组测试位提供给所述减法电路，其中所述复位存储器被配置为在所 述减法电路接收所述第二组测试位时，将所述第一组测试位提供给所述减法电路，并且其 中所述减法电路被配置为通过使用所述第一组测试位和所述第二组测试位执行减法运算 以生成测试数据；以及输出存储器，其中所述输出存储器被配置为存储具有行和列的图像帧的各行，其中所 述图像帧的至少一行由所述测试数据形成，并且所述图像帧的至少一行由所述图像像素生 成的像素数据形成。13.根据权利要求12所述的成像系统，其特征在于:所述图像帧的由所述测试数据形成 的所述至少一行被插入在所述图像帧的由所述图像像素生成的所述像素数据形成的至少 两行之间，其中所述减法电路被配置为使用所述图像像素生成的复位电平像素值和图像电 平像素值执行减法运算，以在所述图像帧的所述至少两行中生成所述像素数据，并且其中 所述系统还包括:验证电路，所述验证电路被配置为使用所述图像帧的由所述测试数据形成的所述至少 一行，来验证至少一部分所述成像设备的性能符合要求。
【文档编号】H04N5/225GK205726039SQ201620490917
【公开日】2016年11月23日
【申请日】2016年5月26日
【发明人】C·梅尔斯
【申请人】半导体元件工业有限责任公司