读取二维像素矩阵的方法及实施这种方法的设备的制作方法

专利名称：读取二维像素矩阵的方法及实施这种方法的设备的制作方法
技术领域：
本发明总体上涉及次分辨率模式(subresolution mode)下的图像传 感器读出领域，其中特别涉及对来自所述传感器的图像流中的目标进行检 测和,的情形。
更具体而言，本发明涉及用于读取图像传感器的二维像素矩阵的方法 和设备，其中，像素矩阵以构成宏像素的像素块来组织，每一个宏像素可 以在高分辨率模式和/或低分辨率模式下读取。
现有技术
在感测应用期间，或者对于用数字相机跟踪移动对象来说，通常4吏用 一种被称之为"次分辨率"模式的模式来读取传感器。
在本发明的上下文中，移动意指图像的一部分的亮度的快速大幅变 化，而所述变化主要是由真实世界的实际移动的对象，或者由傳_例如闪光 灯的光源的亮度变化引起的。
这种类型的"次分辨率"读出在于，将相机光敏元件或像素的二维矩阵 细分成块(称作"宏像素")，并且在于读取包括移动对象的预定矩阵区域 的宏像素的所有像素(称作高分辨率读出模式)。而其它宏像素则以低分 辨率模式读取，该低分辨率模式在于例如只读取每个宏像素的一个l象素。
这样，对所关心的宏《象素进行高分辨率读出，而对其它宏像素进行低 分辨率读出的这种组合读出模式，就具有充分减少待处理数据的量的效 果。从而降低了功耗，并减少了对计算资源的需求。
这样一种读出模式在例如文件US-A-2004/0095492中有述。在该文件 冲，对目标对象使用高分辨率。例如，检测模式被用来在图像中找到光斑，
以及确定以高分辨率或低分辨率来读取其单元。然后，通过基于以高分辨
率模式所读取的像素来分析移动，确定对高分辨率区域的更新。
对移动对象的检测或跟踪在使用具有热辐射测量传感器的数字相机 来进行红外观察的领域具有具体的应用。实际上，使用这种能感测红外线的相机，允许全天MJ^视诸如例如停车场一类的区域而不受时段的影响， 这一点与要求现场有充足照明的可^测器不同。
热辐射测量传感器是以矩阵形式设置的器件，并且能够在环境温度工 作，从而不需要冷却到很低的温度。
在常规情况下，这些非冷却式传感器利用了适当材料的物理量随
300K附近的温度的变化。在热辐射测量传感器的情况下，这个物理量是 电阻率。
在常规情况下，用于红外成像的传感器以基本传感器或热辐射测量计 的矩阵的形式制成，所述矩阵通过支撑臂悬置在通常由硅制成的基板上 方。
用于对基本传感器和电激励装置进行按序寻址以及用于处理这些基 本传感器所生成的电信号的装置通常i殳置在141上。这个141和这些集成 装置通常称作"读出电路"。
观测发现，热辐射测量计的响应实际上显示出^L性(dispersion ), 该^t性还随时间增强或变化。
这样，热辐射测量传感器所生成的均匀场景的图像通常并不是均匀的 图像。这种情况被称作"偏移，，分散性。同样，在热辐射测量计的增益中观 测到了M性，因为均匀变化的均匀场景的热辐射测量传感器图《象是不均 匀的。
这种*性有多种原因，但可以特别提到的是如例如在对强辐射源 (太阳、泛光灯等)的观测期间，传感器受到的高通量的照射，这种照射 引起持久余辉现象，而这种现象对传感器所传送的热图像的品质是有害 的。
还值得提到的是在给定的一批成像热辐射测量计当中，它们的电阻 存在着固有的^t性，取决于制造时所采用的方法和材料，该a性或多 或少是明显的。因此，从传感器的最初使用开始，它的检测特性就存在空 间上的^t性。
实际上，成^象热辐射测量计的电阻与基准电阻的1%的偏差4吏得通过 该成〗象热辐射测量计所估计的场景温度产生大约10%到20%的误差。
此外，有用信号的值通常只占热辐射测量传感器的总动态范围的大约 10%，因此容易理解，热辐射传感器的检测特性的^L性严重影响到检测质量。
一般说来，未校正的热辐射测量传感器的图像难以以视觉方式使用。

发明内容
本发明的目的是解决上述问题，提出 一种用于对检测器矩阵进行次分 辨率读出的方法，该方法基本上消除了所述传感器的检测特性的^t性的 影响，从而使得能够容易地使用由这些传感器生成的图像，或者甚至以可 视的方式使用这些图像。
为此，本发明涉及用于读取图像传感器的二维像素矩阵的方法，所述 矩阵以形成宏像素的像素块来组织，每一个宏像素可以在高分辨率模式和 /或低分辨率模式下以相互独立的方式读取。
根据本发明，本方法包括如下步骤
在为宏像素选择高分辨率读出模式期间，读取并存储宏像素的像素的 值，以《更限t基准宏《象素；
在随后对所述宏像素的高分辨率读出循环期间，形成宏像素的像素的 读取值与所逸基准宏像素的对应像素的值之间的差值。
在本发明的上下文中， <象素意指构成检测矩阵的基#测部件，例如， 在热辐射测量传感器的情况下的热辐射测量计或者在可视传感器的情况 下的光电二极管。
换言之，以高分辨率所获得的宏像素由在高分辨率读出模式激活时所 获得的这些像素的值来校正。
如果我们考虑此时这个宏像素的l象素的值A的话，这个值是由有用 信号/7。和被看作噪声的无用值乌组成的。换言之，以表达式表示为i>。
在随后的读取循环期间，例如在时间n，这个像素的校正值尸/则等于 =i> - (p。+ +i)。+ ) - (p。+D〃)，其中/7 和D"分别是时间n的有用信 号和噪声。
噪声Z)的时间常数在本质上是像素响应的*性的时间常数，其在 热辐射测量传感器的情况下本质上是环境温度，所以说对于所观测的大多 数场景(例如有行人或移动着的汽车的停车场)，噪声D的变化在对宏像素的高分辨率读出期间基本上可以忽略。因此说噪声在时间n的值/) 通
常基本上等于高分辨率读出激活时的值/>。。因此，校正的像素值ir基本
上等于e =/>。+" -力。
这样，以高分辨率所读取的宏像素的校正值基本上独立于形成这个宏 像素的像素的检测特性的M性。
根据本发明的一个具体实施例，以模拟的形式来实现对基准宏像素的 存储以及所述差值的形成。所述方法优选地包括对宏像素的读取值进行模 数转换的步骤，该步骤在形成所述差值的步骤之后执行。
换言之，所述校正是在对宏像素的值进行任何模数转换之前以模拟的 方式完成的。这特别使得能够进行快速校正以及例如对适用于所述差值的 转换的动态范围施加m转换，从而对比适用于像素的未校正值的动
态范围小的动态范围施加m转换。这样能够节约能量。
根据本发明的一个优选实施例，当在宏像素中检测到移动，或者在邻 近的宏像素中检测到移动时，选择对宏像素的高分辨率读出模式。
由于对其中检测到移动的宏像素的邻近宏像素进行高分辨率读出模 式，从而避免了 "叠影，，对象和图像运动现象。
本发明还涉及用于读取图像传感器的二维像素矩阵的设备，所述矩阵 以形成宏像素的像素块来组织，所述设备包括用于以高分辨率模式和/或 以低分辨率模式来读^c每一个宏〗象素的装置。
才艮据本发明，^^i殳备包括
用于当为宏像素选择了高分辨率读出模式时，存储所述宏像素的像素 的值，以便限定基准宏像素的装置；以及
用于形成所述宏像素的像素的读取值与所述基准宏像素的对应像素 的值之间的差值的装置。
这个i殳备适用于实施上述方法。
根据具体的实施例，用于存储和形成所述差值的装置以模拟的形式制 成。所述设备优选地包括用于对所形成的差值进行m转换的装置。


通过对以下描述的阅读可以更好地理解本发明，所述描述是专门为举例并且结合附图而提供的，在附图中
图l是才艮据本发明的目标跟踪系统的示意图； 图2是本发明的方法的流程图；以及，
图3和图4是根据本发明的方法的校正前和校正后的图像的实例。
具体实施例方式
图1总体上示出了系统10，该系统用于跟踪和检测由热辐射测量计 或者4象素12的二维矩阵所传送的图^^流中的移动对象。
像素12的矩阵包括n行m列像素14，并且被细分成N行M列相同 的像素块16或者宏4象素，其中n、 m、 N和M是预定的正整数。例如， 每一个宏像素具有的尺度是3像素乘3像素或者是5像素乘5像素。
在以下的讨论中，将考虑例如9像素乘9像素的矩阵，而其宏像素是 3像素乘3像素的。
系统IO包括寻址电路18，用于按照一个宏像素行接一个宏像素行的 方式对矩阵12进行寻址。
系统10还包括读取电路20，该电路适用于以高分辨率模式或低分辨 率模式来读取电路18所寻址的宏像素行中的每一个宏像素。更具体而言， 对于读取电路20，对宏像素的低分辨率模式读出在于读取该宏像素的像 素的空间平均值。
为此，系统10可包括分组电路(binningcircuit) 22,其受控于寻址 电路18,并且在宏像素被以低分辨率模式读取之前对该宏像素的〗象素的 原始值执行空间平均。例如，分组电路22遵循文件US-A2004/0095492 中的教导。分组电路尤其适用于包括光电二极管的传感器，如用于检测可 见光的光电二极管。
对于包括热辐射测量计的传感器，可以利用适用于读取通过多个热辐 射测量计的电流的平均值的电路22，如Coulombe J所写的文章中所描述 的电路，该文章题为"KiWfl6/e reso/wftV w cw/re"/附octe fl"/ve /;ixe/
se附C，见Circuits and Systems, Proceedings. ISCAS 2000 Geneva, IEEE, Volume 2， 28-31 May 2000，第293-296页，vol.2。
读取电路20也连接到寻址电路18，以便使这两个电路所进行的对宏像素行的寻址和读出实现同步。
分析和定时电路24也连接到寻址电路18和读出电路20。这个电路 24通过将待读取的宏像素行的地址传送到电路18来控制寻址的时序。
电路24还针对每一个宏像素分析对该宏像素的低分辨率读出的结 果，并由此控制寻址电路18和读出电路20，以便对所述宏像素进行低分 辨率或高分辨率读出。
更具体而言，当宏像素的两个连续读出之间的空间平均值的变化大于 或等于预定阈值时，分析和定时电路24激活对该宏像素的高分辨率读出， 例如，所述阈值是等于像素的总动态范围的2%的阈值，或者通过自适应 阈值确定技术计算得到的阈值。
同样，当所述同一个变化小于所述阈值时，分析和定时电路24根据 需要来去激活(deactivate)对所述宏《象素的高分辨率读出。
如上所述，当由于宏像素的空间平均值的变化大于所述阈值而激活了 对这些宏《象素的高分辨率模式读出时，分析和定时电路24还控制寻址电 路18和读出电路20来激活对这些宏像素附近的宏像素的高分辨率模式读 出。例如，对这些宏像素中的每一个宏像素来说，以高分辨率模式读取3 乘3宏像素或5乘5宏像素的邻域。
系统10还包括存储电路26，该电路连接到读出电路20并受控于分 析电路24。在对宏像素的高分辨率读出激活期间，分析和定时电路24对 存储电路26进行控制，以便使存储电路26存储在所述激活之后第一次由 读出电路20所读取的宏像素的像素的值。
从而在以高分辨率模式对宏像素的最新激活期间，存储电路26对这 些宏像素中的每一个宏像素的值进行存储，由此形成随后用来校正高分辨 率读出的基准宏像素矩阵。
系统10还包括模拟减法电路28，该电路连接到读出电路20并且连 接到存储电路26。针对以高分辨率读取的每一个宏像素，减法电路28形
值之间的差值。
针对以高分辨率模式读取的每一个宏像素，得到该宏像素的这样一个 值该值等于该宏像素的未校正值，即由读出电路20所读取的值，与存 储在电路28中的该宏像素的基准值之间的差值。电路26优选地由电容器阵列形成，例如，该阵列所具有的尺度等于
矩阵12的尺度，而减法电路28优选地以模拟的形式制成。这样，以高分 辨率模式读取的宏像素就完全是以模拟模式校正的。
系统10还包括 转换器30，其连接到减法电路28的输出，并且 将由此形成的差值数字化，以便用于后续的例如图像处理的需要。
还可以提供外围设备32 (屏幕、存储器等)，用于对数字化的差值进 行显示和/或存储。
图2示出了由上述系统所实施的方法的流程图。这个流程图涉及对特 定宏像素的读出，对其它宏像素的读出与"M目同。
本发明的方法的第 一个步骤是对宏像素的低分辨率读出的步骤50 。
这个步骤50包括子步骤52，在子步骤52，以低分辨率模式读取所述 宏像素，即，计算所述宏像素的像素的值的空间平均值，随后读出该宏像 素的像素的值。
随后，在子步骤54执行检验，以便确定是否满足以高分辨率模式来 读取这个宏像素的条件。特别地，如果刚刚读取的所述宏像素的低分辨率 值与先前所存储的低分辨率值之差的绝对值大于所述阈值(在此情况下在 所述宏像素中检测到移动)，则满足这个条件。如果所述宏像素属于其中 已经检测到移动的宏像素的邻域，也满足这个条件。
否则，子步骤54就再循环到子步骤52，以便继续详细检查满足高分 辨率读出模式激活4Hf的情况的出现。
如果在子步骤54所执行的检验结果是肯定的，则低分辨率步骤50 前进到校正初始化步骤56。
这个初始化步骤56包括对所述宏像素进行高分辨率读出的子步骤， 即读出该宏像素的全部像素，1^是对所读取的像素值进行存储的子步骤 60,由此形成基准宏像素。
一旦完成了初始化步骤56,则启动一个这样的步骤，即以高分辨率 模式读出所述宏像素并且对所述宏像素的噪声进行校正的步骤62。
这个步骤62包括以高分辨率模式读出所述宏像素的子步骤64。然后， 子步骤64之后是子步骤66，在该子步骤66，形成刚刚读取的像素值与在 60所存储的基准宏像素的对应像素的值之间的差值。
然后，带有校正的高分辨率模式读出步骤62前进到将由此所形成的差值转换成数字宏像素的子步骤68。
与此同时，在对所述宏像素的高分辨率读出模式的子步骤64之后， 启动验证满足高分辨率读出模式激活条件的步骤70 。
这个步骤70包括与子步骤62相同的以低分辨率模式读出所述宏像素 的子步骤，以及检验是否仍然满足高分辨率读出条件的子步骤74,子步 骤74与子步骤54《_相同的。
如果在74所执行的检验的结果是肯定的，则子步骤74循环到步骤 62，以便进行新的带有校正的高分辨率模式读出。
否则，子步骤74前进到子步骤76，在该子步骤76，执行^r验来确定 是否必须以低分辨率模式来读取所述宏像素。更具体而言，在76执行所 述检验来确定所述宏像素的至少 一个邻近宏像素是否处于在其中检测到 移动之后的高分辨率读出的过程中。
如果是，则通过将子步骤76循环到步骤62来继续进行对所述宏像素 的高分辨率模式读出。
否则，即在所述宏^^素的邻域中没有检测到移动，则通过将子步骤 76循环到步骤50来激活其低分辨率模式读出。
图3是一个场景的图像，该图像由传感器生成而未作任何校正。从中 可以看到，这个图像是不可用的，至少不能以视觉的方式来使用。图4 是应用了本发明的方法之后生成的同 一个场景的图像，图像中的黑块对应 于其中未检测到移动的宏4象素。
如可以观察到的，根据本发明以带有校正的高分辨率模式自动读取了 其中检测到移动的宏4象素的邻域内的宏4象素。
如果没有这样一种功能，作为基准而记录的宏像素包括移动目标的图 像，该图像是f^从后续读取的原始图像中提取的图像。由此在连续校正 的图像中出现"叠影"对象或者图像运动现象。
对紧邻其中检测到移动的宏《象素的宏1象素(例如3x3宏像素或者5x5 宏像素的邻域)的高分辨率读出的激活，对于这个邻近的宏〗象素而言，具 有存储不包括移动对象的基准宏像素的效果。这样，所存储的基准宏像素 只对应于所述场景的背景。 一旦所述目标^该邻近的宏像素，则针对它 所得到的校正图像因此基本上只对应于移动目标的图像。这样就不存在叠 影对象或图像运动了。 一步接一步地，由于总是将高分辨率窗口重新对准检测到的对象，并且由于对象移动的上游的宏像素转为高分辨率(由于"照 亮，，邻近宏像素的原理)，所获得的基准不会使得在宏像素中出现所述对 象，因此防止了叠影对象的产生。
在这里，目标自身的移动保证了对基准宏像素的更新。这个移动隐含 了对高分辨率模式读出的足够均匀的激活，所以所存储的基准宏像素包括 在实际高分辨率读出时的噪声。
作为一种替换，例如考虑到传感器的检测特性的M性的^f艮快的变 化，还提供了以周期性的方式对基准宏像素进行更新。例如，当所观测的 场景自身正在经历很快的温度变化(例如，比例如场景的背景的温度高很
多的对象的突然D时，或者当传感器的制造技术隐含了^t性的这样 一种快速变化时，就是以周期性的方式对基准宏像素进行更新。
以上描述了这样一个实施例，在该实施例中，基准宏像素以模拟的形 式存储在例如由电容器阵列形成的电路中，并且，利用 转换器来存储 刚刚读取的宏像素与基准宏像素之间的模拟形式差值。
作为一种替换，将基准宏像素数字化并存储在数字存储器中。同样， 将刚刚读取的宏像素数字化，并以数字的形式来计算刚刚读取的宏像素与 基准宏像素之间的差值。这特别用iME免以模拟的形式来执行所述存储时 通常所观测到的基准宏像素值的时间漂移(例如在用于模拟存储的电容器 阵列中出现的泄漏)。当对象停滞在所观测的场景的一部分中的时候(在 此情况下对基准宏像素的更新频率不高)，以数字的形式来存储基准宏像 素是特别有用的。
尽管以上描述了通过使用热辐射测量传感器来将本发明应用于红外 检测，本发明适用于所有类型的以次分辨率模式进行读取并显示出检测特 性的^t性的传感器。
因此，本发明适用于例如利用光敏半导体传感器(光电二极管矩阵或 光电晶体管矩阵)的可视范围内的检测。
权利要求
1. 一种用于读取图像传感器的二维像素矩阵(12)的方法，所述矩阵以形成宏像素的像素块(16)来组织，每一个宏像素能够在高分辨率模式和/或低分辨率模式下以相互独立的方式来读取，其特征在于，所述方法包括如下步骤在为宏像素选择(50)高分辨率读出模式期间，读取(58)并存储(60)所述宏像素的像素的值，以便限定基准宏像素；在随后对所述宏像素的高分辨率读出循环(62)期间，形成(66)所述宏像素的像素的读取值与所述基准宏像素的对应像素的值之间的差值。
2. 如权利要求1所述的用于读取图像传感器的二维像素矩阵(12) 的方法，其特征在于，所述矩阵在缺省情况下以低分辨率模式读出，针对 给定的宏像素，对所述高分辨率读出模式的选择和取消选择取决于在该宏 像素中或者在该宏像素的邻域中是否检测到移动。
3. 如上述权利要求中的任何一项所述的用于读取图像传感器的二维 像素矩阵(12)的方法，其特征在于，当在宏《象素中或者宏《象素的邻近宏 像素中检测到移动时，选^^对该宏《象素的高分辨率读出模式；当在该宏《象 素中或者该宏像素的邻近宏像素中不再检测到移动时，取消对该宏像素的 高分辨率读出模式的选择。
4. 如上述权利要求中的任何一项所述的用于读取图像传感器的二维 像素矩阵(12)的方法，其特征在于，当在以低分辨率模式对给定宏像素 的两次连续读出中所记录的值显示出大于预定阈值的变化时，在该宏像素 中检测到移动。
5. —种用于读取图像传感器的二维像素矩阵(12)的设备，所述矩 阵以形成宏像素的像素块(16 )来组织，所述设备包括用于在高分辨率模 式和/或低分辨率模式下以相互独立的方式读取每一个宏像素的装置(20),其特征在于，所述设备包括用于当为宏像素选择了高分辨率读出模式时，存储所述宏像素的像素 的值，以便限定基准宏像素的装置(26);以及的值之间的差值的装置(28 )。
6.如权利要求5所述的用于读取图像传感器的二维像素矩阵(12)的设备，其特征在于，所述设备进一步包括用于针对给定的宏像素，根据 在该宏像素中或者该宏像素的邻域中是否检测到移动来选择高分辨率读 出模式或者取消对高分辨率读出模式的选择。
7. 如权利要求5和6中的任何一项所述的用于读取图像传感器的二 维像素矩阵(12 )的设备，其特征在于，用于存储和形成所述差值的装置(26)以模拟的形式制成。
8. 如权利要求7所述的用于读取图像传感器的二维像素矩阵(12) 的设备，其特征在于，所述设备包括用于对所形成的所述差值进行m转 换的装置(30)。
9. 如权利要求5和6中的任何一项所述的用于读取图像传感器的二 维像素矩阵(12 )的设备，其特征在于，所述设备包括用于对针对像素或 者宏像素所读取的值进行模数转换的装置。
10. 如权利要求9所述的用于读取图像传感器的二维像素矩阵(12) 的设备，其特征在于，用于存储宏像素的像素的值的所述装置(26)是数 字存储器，并且，用于形成所述差值的所述装置(28)包括数字电路。
全文摘要
本发明涉及读取二维像素矩阵(12)的方法及实施这种方法的设备。所述矩阵以形成宏像素的像素块(16)来组织，每一个宏像素可以在高分辨率模式和/或低分辨率模式下以相互独立的方式来读取。根据本发明的方法包括如下步骤在为宏像素选择(50)高分辨率读出模式期间，读取(58)并存储(60)所述宏像素的像素的值，以便限定基准宏像素；在随后对所述宏像素的高分辨率读出循环(62)期间，形成(66)所述宏像素的像素的读取值与所述基准宏像素的对应像素的值之间的差值。
文档编号H04N5/365GK101431597SQ20081017178
公开日2009年5月13日 申请日期2008年10月23日 优先权日2007年11月5日
发明者阿诺·韦尔当 申请人:原子能委员会