光子传感器装置的制作方法

本发明涉及光子传感器装置，例如适用于稀疏光子事件的异步检测和测量的装置。

背景技术：

电荷耦合器件(ccd)和互补金属氧化物半导体(cmos)是两种类型的常用线传感器。两者都不能产生时间分辨的输出。存在一种竞争的单光子雪崩二极管(spad)阵列技术。

已知各种光检测器中的spad包括点、线和2d成像阵列。基本的单spad接收器在被单个光子撞击时产生电子输出。这些单独的接收器通常与附加电路一起布置成阵列以形成像素设备，可以将其简称为像素。像素设备继而可以布置成线性链以形成线传感器，或者布置成2-d阵列以形成成像传感器。这些传感器提供了独特的光感测能力的组合，用于高速敏感光学仪器，并允许获得与超快光学现象有关的时间分辨信息。

对于时间相关的单光子计数(tcspc)直方图化，片外直方图存储器巨大。已知的固态spad传感器在像素中实现时间数字转换器(tdc)，但是通过使用外部存储器资源(例如外部固态存储器或硬盘驱动器)在片外传送时间戳数据来执行tcspc直方图化。由于spad检测到的每个光子都需要在片外传送数据，因此可能造成输入/输出(i/o)数据瓶颈。

假设总共p个像素，每秒r比特的最大i/o速率，l是每像素生成的字的大小(比特数)，每像素的最大光子速率被限制为r/(l×p)hz。随着像素数量的增加，可以传送到外部存储器的光子的最大速率对应降低。该速率可以显著低于spad可以生成脉冲的速率(数百兆赫兹)和tdc可以处理这些脉冲的速率(数百兆赫兹)二者。芯片的i/o速率通常受焊盘数量、这些焊盘的数据速率和功耗的限制。gb/s范围内的速率r是典型的高分辨率cmos图像传感器。对于大约1000个像素的像素阵列，这导致大约1mhz的最大光子速率，为由那些其他因素所决定的可用峰值容量以下两个数量级。对于具有10～100k个像素的成像器，这种情况约束的比例更大。

技术实现要素：

在本发明的第一方面中，提供了一种用于光子感测的传感器装置，包括：多个像素设备，每个像素设备包括：多个光子检测器，被布置为响应于光子检测事件而产生检测信号。该装置可以包括处理资源，例如专用于某个像素或与其他像素共享的处理资源，其被配置为处理检测信号以产生光子检测事件信号，其中，每个光子检测事件信号包括表示相应的光子检测事件发生的检测时间的时间数据。该装置可以包括另外的处理资源，其被配置为处理光子检测事件信号以获得表示检测时段内的光子检测事件的检测数据。该装置可以包括像素存储器。该装置可以包括通信资源，用于发送来自像素设备的检测数据。对光子检测事件信号的处理可以使得对检测数据的存储和/或发送使用比对光子检测事件信号的存储和/或发送所要使用的存储容量和/或通信容量更少的存储容量和/或通信容量。像素存储器可以被配置为存储检测事件信号和/或检测数据。在处理资源是共享处理资源的情况下，对于多个像素，可以存在单个共享处理资源(例如tdc)，其被配置为处理检测信号以产生光子检测事件信号。

每个光子检测器可以包括单光子雪崩二极管(spad)。

对光子检测事件信号的处理可以包括直方图化处理，和/或检测数据可以包括直方图数据。

对由光子检测器产生的检测信号的处理可以包括时间到数字转换处理。

检测数据可以将传感器装置处所检测到的光子的分布表示为时间的函数。

对光子检测事件信号的处理可以包括，在多个时间直方(timebin)之间分配光子检测事件信号。对光子检测事件信号的处理可以包括，获得表示多个时间直方(timebin)中每个时间直方(timebin)的相应计数值的计数数据。响应于检测事件，所收集和存储的光子检测数据可以表示到达传感器装置的光子的时间分布。

每个时间直方(timebin)可以具有表示时间间隔的宽度，并且另外的处理资源可以被配置为选择或改变时间直方(timebin)中至少一个时间直方的宽度。

该另外的处理资源可以被配置为自动地或响应于用户输入，和/或基于至少一个配置参数来选择或改变时间直方(timebin)中至少一个时间直方的宽度。

另外的处理资源可以被配置为根据感兴趣的特征来选择检测时段，感兴趣的特征例如是在光子检测事件的分布中测量的或预计的峰值位置。

可以在检测时段期间获得光子检测事件信号，并且对光子检测事件信号的处理可以包括，选择检测时段的一部分，以及排除检测时段中所选择的部分以外的光子检测事件信号，例如当处理检测信号以获得检测数据时。

处理资源可以被配置为在时间直方(timebin)上分配检测时段中所选择的部分的光子检测事件信号。

另外的处理资源可以被配置为修改和/或选择时间数据的一部分，例如以便选择或改变时间直方(timebin)的宽度和/或以便选择检测时段的一部分。

时间数据的每个项目可以包括一系列比特，并且修改时间数据可以包括，针对时间戳数据的项目中的至少一些项目，排除一系列比特中的至少一些比特。

每个像素设备可以被配置为将另外的处理资源重置，并自动写入来自另外的处理资源的信号。

选择时间数据的至少一部分可以包括，针对时间数据的项目中的至少一些项目，选择一系列比特中的一些比特。

该装置还可以包括延迟发生器，用于修改提供给初始处理资源的时钟信号，从而使光子检测数据的收集延迟和/或使检测时段移位。

像素存储器可以包括一个或多个计数器。像素存储器可以包括三态mux组件。计数器可以用于对每个直方(bin)检测到的光子事件数量进行计数。在曝光时间的结尾处，可以将计数器内容存储到直方图存储器中(准备读出)，并且可以重置计数器以用于下一曝光周期。

像素存储器可以具有至少5个字节或10个字节且小于1千字节的大小。优选地，像素存储器小于50个字节，例如44个字节。可以根据直方图直方(bin)的数量和/或每直方(bin)的比特数来选择像素存储器大小，反之亦然。例如，可以有32个直方(bin)，每个直方(bin)11比特，因此总的像素直方图存储器为44个字节。

对于像素设备中的每个像素设备，像素设备的通信资源可以被配置为将检测数据从像素设备发送给远离像素设备的附加处理资源和/或远离像素设备的另外的存储器。

附加处理资源和/或另外的存储器可以被配置为处理和/或存储来自多个像素设备中的每个像素设备的检测数据。

传感器装置可以设置在芯片或电路板上，附加处理资源和/或另外的存储器可以在芯片或电路板的外部，例如远离芯片或电路板。

对于多个像素设备中的每个像素设备，初始和/或另外的处理资源和/或存储器可以位于多个光子检测器附近或至少部分地位于多个光子检测器下方。

多个像素设备可以布置成阵列，并且对于像素设备中的至少一些像素设备，像素设备的另外的和/或初始处理资源和/或存储器可以位于像素设备的光子检测器和相邻像素设备的光子检测器之间。

光子检测事件可以响应于将激光辐射施加到对象而发生。装置可以被配置为使得光子传感器的操作和/或对光子检测事件信号和/或检测时段的处理与施加激光辐射(例如脉冲激光辐射)的激光器的操作同步。

装置可以被配置为用于例如激光雷达系统、飞行时间系统、荧光光谱系统或拉曼光谱系统。

在可以独立提供的另一方面，提供了一种感测方法，包括：响应于光子检测事件来获得像素设备处的光子检测事件信号，其中，每个光子检测事件信号包括表示光子检测事件发生的检测时间的时间数据；在像素设备处对光子检测事件信号进行处理，以获得表示检测时段内的光子检测事件的检测数据；发送来自像素设备的检测数据，其中，处理使得对检测数据的存储和/或发送使用比对光子检测事件信号的存储和/或发送所要使用的存储容量和/或通信容量更少的存储容量和/或通信容量。

在另一方面，提供了一种感测系统，包括被配置为将激光辐射施加到对象的激光器和如本文中要求保护或描述的传感器装置，传感器装置被配置为感测对象响应于激光辐射而发射的光子。

可以以任何适当的组合来将一个方面中的特征提供为任何其他方面中的特征。例如，可以将方法特征提供为装置特征，反之亦然。

附图说明

现在将参考附图，以仅作为示例的方式对本发明的各种方面进行描述，在附图中：

图1是光子传感器装置的示意图；

图2是概略地示出根据实施例的光子传感器芯片的架构的示意图；

图3是光子传感器装置的像素单元的示意图；

图4(a)和图4(b)是由光子传感器装置生成和接收的信号的子集的时序图；

图5是由光子传感器装置产生的直方图的说明性绘图；

图6是11比特直方图直方(bin)的电路图；

图7是直方图解码器的电路图；

图8是32个直方(bin)的直方图存储器的电路图；

图9示出了使用光子传感器捕捉的示例寿命衰减；

图10示出了使用线传感器捕捉的最大计数速率比较；

图11示出了使用线传感器捕捉的基于(a)tcspc和(b)直方图模式的时间分辨的3-d光谱；

图12示出了使用线传感器捕捉的基于(a)tcspc和(b)直方图模式的估计寿命；

图13示出了使用线传感器捕捉的tcspc和直方图模式之间的计数速率比较，以及

图14示出了直方图模式的缩放特征。

具体实施方式

用于测量样本属性的光子传感器装置的示例布置在图1中示出。光子传感器装置具有光子传感器10。提供一种光学仪器，例如内窥镜。光学仪器具有纤维束，该纤维束包括成像束、毛细纤维和荧光珠和/或表面增强拉曼光谱(sers)纤维。两个脉冲激光器经由合适的聚焦装置和显微镜物镜与纤维束光学通信。合适的聚焦装置可以是二向色镜。

来自激光器的脉冲激光耦接到多模纤维中并用于照射样本。响应于对样本的照射而发生光子检测事件。检测事件根据应用而改变。例如，检测事件可以源自荧光散射和/或拉曼散射。信号由纤维束接收并经由镜或光栅发送给光子传感器装置。然后，将来自线传感器的数据发送给计算机，并在显示器上显示。

光子传感器10的示例实施例在图2中示出。光子传感器10具有包括1×512个像素的像素阵列。传感器架构可以提供每秒1m光谱的读出和视频速率光子计数/粗时间相关的单光子计数(tcspc)，以用于扫描操作。除了其他操作模式之外，传感器结构还提供片上和像素内实时直方图化的能力。传感器结构还向像素内直方图化提供缩放和移位的能力。

像素阵列的说明性像素设备42(也简称为像素)在图2中示出。像素42包括两组八个“红色”单光子雪崩二极管(spad)44和两组八个“蓝色”spad45。尽管在图2的实施例中提供了红色和蓝色spad，但是在备选实施例中，可以提供任何其他合适布置的不同spad设备规格，包括但不限于不同颜色敏感的spad，或者所有spad可以具有同样的规格(例如相同的波长敏感度曲线)和/或所有spad可以是spad规格的任何混合。

红色spad44对600nm至900nm范围内的光敏感。蓝色spad46对450nm至550nm范围内的光敏感。两组红色spad44和两组蓝色spad45共同形成像素spad阵列46。像素42还具有专用处理资源，例如时间数字转换器(tdc)48和布置在像素中的每像素存储器资源50。tdc提供光子检测事件信号，例如以时间戳数据、数字时序信号或事件发生时间的其他表示的形式。依像素来提供与每像素存储器资源50相关联的另外的处理资源，以处理光子检测事件信号，以获得检测数据。可以将另外的处理资源提供为每像素存储器资源的一部分或提供为单独的组件。初始处理资源、每像素存储器资源50和另外的处理资源被配置为根据传感器的操作模式来执行。传感器还具有控制模块52和延迟发生器54形式的全局处理资源。控制模块52可以包括存储各种配置参数的值的配置寄存器。在该实施例中，传感器10还包括传感器输出总线形式的通信资源，其包括串行器56和读出模块60。传感器输出总线实现了从传感器10到外部处理资源(未示出)的检测和其他数据的传输。

说明性像素设备42具有“红色”和“蓝色”spad。然而，像素设备42仅是说明性的。例如，也可以仅使用具有同样规格的spad来实现像素设备。

单个光子到达的时刻被记录为spad状态的改变，例如从未激活状态改变为激活状态。激活之后，每个spad具有固有的死区时间，通常持续数十纳秒。在死区时间时段到期之后，spad重置为其原始的未激活状态。

每个像素的宽度为23.78μm，因此像素阵列的宽度等于约12.175mm，如附图标记62所示。传感器10的高度由附图标记64指示，小于或等于2mm。传感器的宽度66等于约13mm。提供上述尺寸仅用于说明目的，也可以是其他尺寸和形状。像素阵列和各个像素可以为任何合适的形状和大小。如图2所示，像素阵列可以是具有一个像素宽度的一维阵列，以形成用于光谱测定或线扫描的线传感器。备选地，像素阵列可以是二维阵列，其长度和宽度都大于一个像素，以形成图像传感器。

该实施例的特征是传感器10具有与spad阵列并排放置在芯片上的一些存储器和处理组件，其可以用于确保仅对所选择的数据进行处理和/或发送和/或存储。

光子传感器10可以以各种操作模式之一操作，对操作模式的选择确定了如何使用每像素存储器资源50。特别感兴趣的是片上直方图化模式，参考图3、图4和图5对该模式中的操作进行了描述。其他操作模式包括单光子计数(spc)模式(时间门控的)，其中存储器具有两个计数器，计数器a和计数器b，两个计数器都具有例如10比特模式和20比特模式。其他操作模式还包括例如11比特模式或17比特模式下的tcspc操作模式。

图3是示出由传感器的像素42的电路组件和处理逻辑执行的一系列操作的流程图和示意图。图3示出了像素42中用于检测光的像素spad阵列46、tdc48和每像素存储器50。图3还示出了延迟发生器54。还示出了控制资源70。可以将控制资源70提供为片上控制器54的一部分或在片外提供。除了以上像素组件之外，像素还具有脉冲组合电路72、另外的处理资源，例如解码器(在图3中示出为每像素存储器50的一部分)和读出模块74。

在一些实施例中，单个tdc或tdc的至少一些组件被多个像素42共享。因此，在这些实施例中，可以由公共tdc或者由共享至少一些公共组件的tdc生成多个像素42的时间戳或其他时序信息。这种共享tdc可以实现减小的电路面积和功耗，但是在一些情况下可能导致更多的spad事件丢失。

延迟发生器54是耦接到所有像素的全局组件。如下面更详细地描述的，延迟发生器54向像素提供经全局修改的时钟信号，由stopd指示。具体地，将经修改的时钟信号提供给tdc48。经修改的时钟信号一般与导致在传感器装置处发生光子检测事件的来自对象的荧光或其他光子发射过程的发生一致。像素42的组件被布置为使得光子到达spad阵列46处的时间是参考由延迟发生器54提供的经修改的时钟信号来测量的。像素42的处理逻辑可以提供对多个光子的到达时间的测量，这可以例如被称为光子检测事件信号，并且对测量结果进行分类和/或以其他方式进行处理以产生并在每像素存储器资源50上存储时序分布，例如直方图，这可以例如被称为检测数据。像素42可以通过传感器输出总线提供读出信号，读出信号可以包括或表示检测数据，表示在检测时段内在spad阵列处检测到的光子的时间分布。依像素来提供时间分布，因此，传感器10为每个像素提供时间分布。

更详细地，像素spad阵列46的每个spad经由多个spad脉冲通道耦接到脉冲组合器72，其中每个spad具有相应的spad脉冲通道。每个spad具有对应的处理逻辑(未示出)，处理逻辑包括前端、数字化器、数字缓冲器和猝灭电路，其可以是有源的或无源的。数字缓冲器用于隔离spad电容，使其不被后续电路加载，并将脉冲信号发送给脉冲组合电路72。

在一些实施例中，形成像素处理逻辑的一部分的脉冲组合器电路72将spad阵列46耦接到tdc48。脉冲组合器电路用作压缩器，并将spad输出组合到单个组合通道中。单个通道每光子计数提供一个短脉冲。脉冲组合器电路72在时间上压缩相对长的spad脉冲(数十纳秒)，从而移除spad脉冲的任何死区时间。首先通过单稳态来在时间上压缩相对长的spad脉冲(数十纳秒)，然后通过“或树”(ortree)进行“或(or)”运算(空间压缩)。

在示例实现方式中，其中spad阵列包括红色和蓝色spad，来自红色spad的spad脉冲与来自蓝色spad的spad脉冲分开组合。在该示例中，选择蓝色或红色脉冲流用于下一处理步骤。脉冲组合器72为降低传感器的其他级的硬件(例如tdc48和每像素存储器资源50)要求提供了有效手段。通过组合spad通道，丢失了与脉冲信号的精确源有关的一些空间信息。例如，在检查组合脉冲信号时，可能无法确定脉冲源自哪个单独的spad。

形成像素处理逻辑的一部分的tdc48被配置为接收来自脉冲组合器电路72的单通道输入和来自延迟发生器54的延迟时钟信号，该延迟时钟信号用作传感器的每个像素的全局时钟信号。tdc48被配置为处理这些输入并且产生光子检测事件信号，光子检测事件信号包括表示光子检测事件发生的检测时间的时间数据。

系统可以被配置为在不同模式下操作，例如tcspc模式和直方图化模式。tdc和其他组件可以在tcspc和直方图化模式下不同地操作。以下结合图4提供对tcspc和直方图化模式下的操作的进一步描述。

在直方图化模式下，tdc48被配置为处理这些输入并产生光子检测事件信号，光子检测事件信号包括组合脉冲信号的每个脉冲发生光子检测事件的检测时间的时间数据。tdc可以是门控环形振荡器tdc。

形成像素处理逻辑的一部分的解码器(例如，如图7所示)可以形成像素的分离的组件或者形成每像素存储器资源50的一部分。备选地，解码器可以形成tdc48的一部分。解码器提供tdc48和存储器资源50之间的接口。解码器被配置为至少部分地基于由tdc48生成的光子检测事件信号和至少一个控制参数来产生解码信号。控制参数可以是缩放参数，其指示或可以用于确定直方图的分辨率。下面进一步详细描述解码器的操作。

在用户控制下，可以在“缩放”过程中对整个直方图上的直方(bin)的时域的分配进行连续改进，直到仅历及包含有用信息的区域。由于不必存储任何给定时间处通常存储在芯片外的所有数据，因此可以实现具有适中的每像素片上存储器数量的高度时间分辨的数据。由于该存储器不占用太多面积，因此可以将其添加到每个像素，同时保持光敏区域的合理填充因子。

每个每像素存储器资源50被划分为多个存储器部分，每个存储器部分用作时间直方(timebin)，例如用于直方图化处理。存储器部分可以是计数器。解码器用于向对应的存储器部分提供解码信号，对应的存储器部分对所接收的解码信号进行计数。因此，每像素存储器资源以直方图的形式产生和存储计数数据，例如计数值，其表示光子的时间分布。解码器可以通过例如缩放参数或使用任何其他合适的处理来设置直方图时间分辨率。每像素存储器资源50可以以包括纹波计数器阵列在内的多种备选方式实现。解码器可以实现为逻辑门链，其选择一个直方图直方(bin)以将计数增加一。

像素还具有像素读出模块74，其被配置为从传感器的另一组件或从传感器外部接收读取信号。响应于接收到读取信号，读出模块74被配置为产生表示存储器资源的状态的像素输出信号78。像素读出模块74将像素输出提供给传感器输出总线。

延迟发生器54被配置为接收延迟参数。延迟参数由控制资源70基于用户输入值或像素输出78生成。控制资源70可以在像素42和延迟发生器54之间提供反馈回路。延迟发生器54被配置为接收与激光脉冲同步的stop信号，并使用延迟参数调整stop信号以产生经延迟的stop信号。在特定实施例中，stopd信号是将stop信号延迟d×tdel时序的副本，其中，d是延迟参数，tdel是延迟锁相环(dll)或可编程延迟链的基本延迟分辨率。

在使用中，在直方图化模式下，发生光子发射事件，并且光子入射在像素spad阵列46的spad上，使像素spad阵列46产生spad脉冲。spad脉冲经由其处理逻辑从spad发送给脉冲组合器72。脉冲组合电路将组合脉冲信号提供给tdc48。tdc48针对组合脉冲信号的每个脉冲，以时间戳的形式生成光子检测事件信号。针对基本上tdc48所接收到的组合脉冲信号的每个脉冲产生时间戳。注意，在一些情况下，tdc处理检测到的spad事件(例如，生成时间戳)所花费的时间可能导致脉冲丢失。例如，如果所生成的spad脉冲彼此太接近，则tdc可能因正在完成对当前spad脉冲的处理而无法处理下一个spad脉冲。

解码器对时间戳进行解码以产生解码信号，并将解码信号分发给每像素存储器资源50的正确(例如，表示特定时间直方(timebin))的部分，从而增加相应存储器部分的计数。随着入射在像素spad阵列上的光子涌现，计数分布被存储在每像素存储器50的各部分上。响应于读取信号，读出模块74发送表示每像素存储器50的状态的读出信号78。发送的信号包括像素的计数分布。

发送的信号与来自传感器其他像素的像素信号一起被传感器输出总线接收。同时可以进一步处理像素信号以产生传感器阵列直方图。作为示例，图5中示出了传感器阵列直方图。可以通过在片外对直方图直方(bin)求和来对光子进行计数。

虽然参考图3将tdc、解码器和存储器描述为分离的功能模块，但是可以将它们形成为与提供stop(或stopd)信号的延迟发生器通信的像素处理逻辑电路的一部分。在一个实施例中，tdc包括门控环形振荡器、纹波计数器和移位寄存器，解码器包括逻辑链，例如如图7所示。在该实施例中，存储器资源由实现像素内直方图的纹波计数器阵列提供，例如参见图6和图8。在操作中，spad触发以启动门控环形振荡器(gro)，该门控环形振荡器(gro)操作tdc中的纹波计数器。这将为移位寄存器生成以“1”为单位计时的时钟。stop脉冲对移位寄存器的状态进行采样以生成温度计码，该温度计码由“异或链”(xorchain)进行解码以增加实现像素内直方图的纹波计数器阵列的单个直方(bin)。stop信号对移位寄存器已经沿着“1”移位了多久进行采样，然后直接激活对应的直方图直方(bin)。可以根据gro输出的划分版本来操作移位寄存器。在一些实施例中，如果像素处理逻辑的其他组件被布置为使得可以沿着单个“1”移位，则不需要解码器。

转到图4(a)和图4(b)，提供了传感器在不同操作模式下的典型时序图。图4(a)示出了tcspc模式下的系统操作的时序图。由于其光子效率和特异性，tcspc是低光时间分辨成像的优选技术。图4(b)示出了直方图化模式下的系统操作的时序图。tdc、存储器资源和解码器的操作取决于传感器的操作模式。

例如，如在图4(a)中可以看出，对于tcspc模式下的操作，tdc仅针对在曝光时间窗口内捕捉的第一个光子生成光子检测事件信号，例如时间戳。对于如图4(b)所示的直方图化模式下的操作，针对组合spad脉冲的每个脉冲生成光子检测事件信号。

图4(a)和图4(b)均示出了十七个波形。第一个并且是最上面的波形是由脉冲激光器产生的波形。例如，脉冲激光器生成例如用于飞行时间系统或荧光/拉曼显微镜或光谱系统的激励。在另一示例中，可以采用能够以通常为mhz速率生成短脉冲的激光器来激励样本或者在脉冲lidar系统内生成回波。第二个波形stop时钟与激光脉冲同步。stop时钟通常从激光器的sync输出导出。stop时钟信号提供参考信号，可以对照该参考信号测量光子到达。将stop时钟信号提供给延迟发生器54，并且可以将其延迟设定时间(如其他地方所述)，以提供第三个波形stopd。第四个波形示出了spad脉冲。第五个波形是可变曝光窗口(win)信号。

第六和第七个波形是tdc波形，与tdc计数器(tdc_counter)和tdc输出(tdc_out)波形相对应。第八个波形是像素写入波形(pix_write)。第九个波形是像素重置波形(pix_resetn)。像素重置信号(通过fpga板)在外部与一些其他控制信号一起生成，例如pix_write。像素重置信号之间的时间间隔定义了曝光时间(然而，在每个曝光周期中仅考虑活动窗口(即，图4(a)中的win)内的spad事件)。

第十个波形是auto_seq信号。第十一和第十二个波形对应于tdc写入信号(tdc_write)和tdc重置信号(tdc_resetn)。第十三个波形(hist_en)对应于参数sel，参数sel是在存储器资源中使能直方图化模式的控制寄存器比特。直方图模式参数(hist_mode)控制信号是第十四个波形。参考表1、表2和表3更详细地描述该控制信号。第十五、第十六和第十七个波形是直方图读出波形(hist_readout)、tdc读出(tdc_readout)和像素输出信号(pix_out)。

在对图4(a)和图4(b)进行比较时，tcspc模式和直方图化模式之间的差异是明显的。例如，在tcspc模式下，仅针对在曝光时间内捕捉的第一个光子生成时间戳。此外，在tcspc模式下，将直方图存储器旁路，直接读出所生成的时间戳。

在直方图化模式下，tdc可以在曝光时间内转换更多的spad，并且将每个经转换的spad用于构建直方图(通过将直方图bin增加一)。在该模式下，通过将auto_seq控制信号设置为高(high)，在片上自动且独立地为每个像素(与全局pix_write和pix_resetn信号分开)生成tdc_write和tdc_resetn控制信号，如图4(b)所示。在直方图化模式下，通过这些tdc重置和tdc写入信号而在单个曝光周期期间转换多个光子事件。与此不同的是，在tcspc模式下，每个曝光周期仅转换一个光子事件，并且通过全局像素重置信号(pix_restn)重置(所有像素的)所有tdc。

参考图4(b)和直方图化模式下的操作，检测到光子，因此产生spad脉冲形式的检测信号(如第四个波形所示)。spad脉冲触发tdc计数器信号，随后的stopd上升沿停止tdc计数器。在片上自动且独立地为每个像素生成tdc写入和tdc重置控制信号。独立于全局像素写入信号和像素重置信号生成这两个tdc控制信号。响应于接收到tdc写入控制信号，tdc将tdc值写入存储器。响应于接收到tdc重置控制信号，将tdc计数器重置为零。如图4(b)所示，全局像素写入控制信号(pix_write)被发送给所有像素。在接收到全局像素写入控制信号时，将当前直方图直方(bin)计数存储到直方图存储器中，并在接收到全局像素重置控制信号(pix_resetn)时，清除直方图直方(bin)。然后，在hist_readout控制信号的控制下，读出每个直方图直方(bin)。

可以通过全局重置信号来重置直方图存储器。然而，在直方图化模式下，在检测到光子事件之后(例如，生成时间戳)，tdc数据被发送给直方图模块以用于进一步的处理，并且tdc计数器被自动重置(例如，参见图4(b)中的控制信号auto_seq、tdc_write和tdc_resetn)。

返回到图3，现在描述像素的缩放和延迟功能。从tdc48发送的时序信号包括大量时间戳(通常在1k和1m之间)，因为在直方图化模式下，在检测时段期间，基本上针对tdc所接收的每个光子产生了时间戳。每个时间戳具有由tdc48确定的大小。例如，tdc可以被配置为输出作为l比特字的时间戳。l比特的时间戳可以存储与2^l个时间间隔相对应的信息，以这种方式，每个tdc具有内置的最大时间分辨率。

存储器资源50具有定义数量的分区或计数器，每个计数器具有预定大小。每个计数器都是用来存储计数信息的合适的大小。例如，m比特大小的计数器可以对多达2^m次的事件发生进行计数。

示例值是l＝10和m＝8。作为比较示例，考虑以最大时间分辨率存储事件的时序信息需要多大的存储器资源。对于上述值并且以该分辨率，需要2^l＝1024个计数器(针对每个时间间隔的计数器)，其中每个计数器是8比特(1个字节)。为了以该分辨率存储时序信息，每个像素的存储器大小为1024个字节。对于片上每像素存储器，这种大小非常大。

因此，以减少数量的存储器部分来提供每像素存储器资源50，其中每个存储器部分对应于时间直方(timebin)。总共有n个时间直方(timebin)，其中n＜2^l。通过减少直方(bin)的数量，减少了所需的每像素存储器区域开销，并将存储器资源50放置在像素42内。由于存储器与tdc48接近，因此放置在像素内的存储器可以实现数百兆赫兹的时间戳累积。在该实施例中，通过选择tdc输出的不同比特来实现直方图缩放。

每像素存储器资源的大小为m×n比特，其中n是直方图的时间直方(timebin)的数量，m是每个直方的每个计数器的大小。像素解码器接收l比特的时间戳，选择l比特时间戳的一部分并确定应该将l比特的时间戳的所选择的部分分配到哪个直方(bin)。

在示例实现方式中，像素解码器接收包含配置参数k和sel的输入信号。参数k可以被认为是缩放参数，其值确定时间直方(timebin)的大小。sel是控制寄存器比特，用于在存储器资源中使能直方图化模式。输入信号k和sel在图4(a)和图4(b)中分别指示为hist_mode和hist_en。解码器选择由k和n的值确定的l比特字的第一部分，具体地，解码器选择与比特k至k+log2n–1相对应的l比特字的一部分。可以认为该选择在执行直方图化时有效地排除了至少一些比特。因此，该解码信号的大小等于log2k。通过对每个l比特时间戳执行相同的操作，以基于缩放参数k的因子来对每个直方图直方(bin)的时间间隔进行缩放。k可以选择为0至l-log2n的任何值。缩放参数k的选择将来自tdc分辨率直方(bin)宽度的直方(bin)时间宽度增加了2^k倍。

片上直方图选项的示例实现方式在图5以及表1、表2和表3中示出。在该特定实现方式中，选项是针对具有50ps时间分辨率的12比特(l＝12)tdc指定的。在这种情况下，k可以是例如自动设置或基于用户输入设置的从0至7的任何值。选择或改变k的值可以有效地选择或改变直方(bin)的时间宽度，从而有效地选择或改变直方图缩放的水平。表1中示出了选项1至8，这些选项对应于从7至0的k值。在选项1、2和3下产生的直方图如图5所示。在该示例实现方式中，时间直方(timebin)的数量n＝32。在该实现方式中，选择12比特tdc时间戳的5比特部分。由于2⁵＝32，因此所选择的5比特部分表示由时间直方(timebin)表示的32个可能时间间隔之一，因此确定了光子应该被分配到哪个直方(bin)。

图5的(a)示出了与tdc接收的stop信号相对应的激光同步信号。图5的(b)示出了与利用随时间进行光子计数而测量的荧光或其他光子发射过程相对应的实际响应曲线。响应曲线具有直到峰值的第一倾斜段和峰值之后的衰减段。图5的(c)至图5的(e)中所示的直方图由系统产生，表示响应曲线在连续精细分辨率下的形状。

选择选项1对应于将k选择为最大可能值7。所得到的直方图的绘图在图5的(c)中示出。该选择使解码器选择tdc输出的12比特时间戳的5比特部分，该部分与12比特时间戳的比特7至比特11相对应。然后，解码器将5比特部分分配给直方图存储器(即，直方图直方(bin))。比特0至比特6确定直方化(binning)的水平。在这种情况下，比特0至比特6对应于2^7＝128个连续tdc编码。因此，tdc编码0至127被一起直方化在第一直方(bin)中，并且第一直方(bin)计数器增加一。同样地，tdc编码128至255被一起直方化在第二直方(bin)中，并且第二直方(bin)计数器增加一。以这种方式，对所有32个直方(bin)计数器进行更新。选项1中的直方图的总时间范围为204.8ns，直方(bin)宽度为6.4ns。

选择选项2对应于将k选择为第二大的可能值6。所得到的直方图的绘图在图5的(d)中示出。该选择使解码器选择tdc输出的12比特时间戳的5比特部分，该部分与12比特时间戳的比特6至比特10相对应。然后，解码器将5比特部分分配给直方图存储器。比特0至比特5确定直方化(binning)的水平。在这种情况下，比特0至比特5对应于2^6＝64个连续tdc编码。因此，tdc编码0至63被一起直方化在第一直方(bin)中，并且第一直方(bin)计数器增加一。同样地，tdc编码64至127被一起直方化在第二直方(bin)中，并且第二直方(bin)计数器增加一。以这种方式，向所有32个直方(bin)提供了条目。不使用由比特11保留的信息。与选项1相比，丢弃最高比特(比特11)将总tdc范围的值减少了一半。因此，选项2中的直方图的总时间范围为102.4ns，直方(bin)宽度为3.2ns。

选择选项3对应于将k选择为第三大的可能值5。所得到的直方图的绘图在图5的(e)中示出。该选择使解码器选择tdc输出的12比特时间戳的5比特部分，该部分与12比特时间戳的比特5至比特9相对应。然后，解码器将5比特部分分配给直方图存储器。比特0至比特4确定直方化(binning)的水平。在这种情况下，比特0至比特4对应于2^5＝32个连续tdc编码。tdc编码0至31被一起直方化在第一直方(bin)中，并且第一直方(bin)计数器增加一。同样地，tdc编码32至63被一起直方化在第二直方(bin)中，并且第二直方(bin)计数器增加一。以这种方式，向所有32个直方(bin)提供了条目。不使用由比特10和比特11保留的信息。与选项2相比，丢弃最高的2个比特(比特10和比特11)将总tdc范围的值减少了一半。因此，选项3中的直方图的总时间范围为51.2ns，直方(bin)宽度为1.6ns。

表1、表2和表3示出了k的另外的选择。选择选项8对应于将k选择为最小的可能值0。该选择使解码器选择tdc输出的12比特时间戳的5比特部分，该部分与12比特时间戳的比特0至比特4相对应。然后，解码器将5比特部分分配给直方图存储器。因此，不存储由比特5至比特11保留的时序信息。

对于选项8，直方(bin)宽度为0.05ns，总tdc范围为1.6ns。该选项中的分辨率对应于tdc的固有分辨率。换言之，时间直方(timebin)宽度等于tdc的时间分辨率。

表1：提供用于调整tdc范围和直方图直方(bin)宽度的选项

表2：用于表1中的模式的另外的参数。histmode<2:0>对应于针对k选择的值。表2表示了每个所选择的模式的tdc范围(单位为纳秒)。总tdc范围通过将可用时间间隔的数量(第一种情况下是2¹²＝4096)乘以tdc的时间分辨率(50ps)来计算。

表3：用于表1中的模式的另外的参数。表3将表1和表2相同的tdc范围表达为可用tdc编码的数量，并且将直方图直方(bin)宽度表达为tdc编码的数量。

在表1、表2和表3中，描述了具有直方链接(bin-chaining)和不具有直方链接情况下的直方图直方(bin)大小。直方链接(bin-chaining)允许将两个m比特的直方(bin)用作单个2m比特的直方(bin)。结果是，直方(bin)大小翻倍，直方(bin)数量减半。

11比特直方图直方(bin)的示例实现方式的电路图在图6中示出。每个直方(bin)被实现为11比特纹波加法器和基于mux的三态存储器单元。32个直方(bin)直方图的示例实现方式的电路图在图7中示出。

在直方链接(bin-chaining)的示例实现方式中，每个直方(bin)如图6中那样实现。在操作中，在直方链接(bin-chaining)模式下，两个11比特加法器被简单地链接在一起(一个加法器的最高有效比特连接到另一个加法器的最低有效比特)，形成22比特加法器(由于剩余的2比特是溢出比特，因此有效部分为20比特)。

作为另外的处理资源的示例的直方图解码器的示例实现方式的电路图在图7中示出。直方图解码器采用以下项作为输入：来自tdc的时间戳(tdc_out)、直方图模式(hist_mode)控制信号和直方图模式使能(hist_en)控制信号。直方图模式控制信号指示使用的k的值，如参考表1、表2和表3所描述的。

直方图解码器使用k的值检查tdc时间戳是否在直方图窗口内。然后，使用k的值从tdc输出中选择5比特tdc数据块，如参考表1、表2和表3所描述的。然后，由5到32解码器对所选择的5比特tdc数据块进行转换，然后将该输出提供给直方图化存储器以使对应的直方图直方(bin)计数器增加。

32个直方图bin存储器的电路图在图8中示出。图8还示出了所包括的两个单光子计数器spca和spcb，用于单光子计数模式下的操作。如参考图7所描述的，直方图解码器输出从tdc时间戳导出的直方图直方(bin)信息，其使直方(bin)计数器增加。分配可以顺序地执行。

除了所描述的缩放特征之外，延迟信号还在缩放之前提供直方图的延迟偏移。延迟偏移使感兴趣的特征(例如峰值和指数衰减)移位，使得当这些直方(bin)扩大了2^k倍时，该特征占据直方图的第一个直方(bin)。参数d将直方图中与激光脉冲相对应的锐利特征朝向直方图的前几个直方(bin)移位，以允许有效的缩放。这可以自动完成，或由系统的用户完成。通过控制资源70，系统通过使用粗直方(bin)大小并且逐渐降低k，来监视和调整直方图峰值位置，同时通过精确选择d来调整峰值。将光学波形的特征缩放到由脉冲激光创建的锐利特征周围对于飞行时间测距系统是重要的，因为其给出了更精确的距离估计。缩放和延迟对于拉曼光谱测定也很重要，因为它提供对荧光成分的抑制。

前面段落中概述的对延迟信号的使用可以有效地用于选择检测时段的一部分(例如，检测时段中开始于感兴趣的特征或恰好在感兴趣的特征之前的部分，感兴趣的特征例如是峰值和随后的衰减)，并且排除检测时段中所选择的部分之前和/或之后的检测信号(例如，在显著早于峰值的时间获得的检测信号(如果有的话))。

可以使用任何其他合适的处理来选择要在直方图化或其他处理中使用的检测时段或检测时段的一部分。例如，在一些实施例中，可以使用阈值处理来确定计数数量达到或超过阈值水平的时间。然后，可以在直方图化或其他处理的使用中排除检测时段中在该时间点之前的部分，因为可以认为其未包括足够的有用数据。类似地，在一些实施例中，可以使用阈值处理来确定计数数量已经下降到峰值之后的另外的阈值水平的时间。然后，例如可以排除该时间点之后的数据，有效地切断了衰减曲线的结尾。在其他实施例中，可以基于可以预计的光子检测事件的预计时间段来选择要使用的检测时段或检测时段的一部分。例如，在将激光脉冲施加到对象之后，在可以预计光子检测事件开始之前，可以存在预计的空载时间，并且可以存在随后的衰减过程的预计长度，在该预计长度期间光子检测事件的数量从峰值下降到零或下降到阈值水平。在一些实施例中，传感器装置可以与激光器的操作同步，使得对检测时段的选择使得其与可以预计获得有用或期望数据(例如，检测事件信号)的时段匹配。

图9示出了使用参考图2描述的一维传感器在片上每像素直方图化中捕捉的示例寿命衰减。上部绘图是示出像素阵列直方图的3维绘图。x轴和y轴显示了像素数量和直方(bin)数量。直方(bin)数量从0到31。像素数量从0到511。z轴显示了光子计数。因此，对于每个像素，该绘图显示了每个时间直方(timebin)的光子计数。

下部绘图示出了对应的热图。x轴显示了直方(bin)数量，y轴显示了像素数量。每个像素直方(bin)的颜色对应于上部绘图中所示的高度，该高度是光子计数。

某些实施例的特征在于，对于多个像素中的每个像素，像素的每像素处理资源和/或存储器可以位于多个光子检测器附近或至少部分地位于多个光子检测器下方，例如以分层结构形成在spad下方。像素可以布置成阵列，并且对于至少一些像素，像素设备的处理资源和/或存储器位于像素的spad或其他光子检测器与相邻像素的spad或其他光子检测器之间。

图2的实施例的传感器10可以设置在单个芯片或电路板上，或设置在多个芯片或电路板上，像素设备的通信资源可以被配置为将检测数据从芯片或电路板发送给芯片或电路板外部的另外的存储器、处理器或其他处理资源。例如，可以将来自每个像素设备的检测数据发送给pc或其他计算机，或者发送给服务器，或者发送给专用处理和存储硬件，用于进一步处理和存储。芯片或电路板可以包括另外的通信资源，来自像素设备的通信资源的检测数据可以经由芯片或电路板的另外的通信资源发送给另外的存储器和/或发送给另外的处理资源。可以通过另外的通信资源接收和重新发送检测数据。一些实施例中的芯片和电路板可以包括用于存储检测或其他数据的附加存储器和/或可以在将检测数据发送离开芯片或电路板之前对检测数据执行进一步处理的附加处理资源。例如，附加处理资源可以对检测数据进行处理以提取感兴趣的特征。感兴趣的特征可以包括在直方图数据中识别的感兴趣的特征(例如峰值的位置或高度)，或可以用于将衰减曲线拟合到直方图数据的一个或多个拟合参数。通过在芯片上包括附加处理资源，可以更快速地执行特征提取或其他处理。然而，附加处理资源不限于设置在与检测器相同的芯片或电路板上，在一些实施例中，附加处理资源可以设置在片外或电路板外。

在以100mhz触发的受控led照明下测试根据实施例的线传感器，以测量所有模式下的最大计数速率。如图10所示，每像素直方图化实现了～1/4spc计数速率，展示了最大化tcspc事件时序的能力。为了展示传感器的时间分辨光谱能力，研究了荧光素-罗丹明fret(fluorescein-rhodaminefret)。将线传感器放置在摄谱仪中，并且捕捉来自被483nm脉冲激光二极管(20mhz重复率)照射的样本的荧光。图11示出了在tcspc模式(图11的(a))和片上直方图化模式(图11的(b))下获得的混合结构的时间分辨光谱。在波长527nm和584nm处获得具有两种不同寿命的两个清晰的峰值。荧光寿命与所涉及的着色一样(图12)。图13示出了每波长的片上直方图化数据获取速率比原始tcspc模式高多达15倍。仅使用荧光素样本的情况下，这增加至68倍。图14展示了从3.2ns/直方(bin)缩放到0.8ns/直方(bin)。传感器准许现有的时间分辨光谱和成像应用，并且能够实现新的应用。

在某些实施例中，传感器可以仅在光子撞击时消耗功率。实施例可以提供的另一个优点是传感器还减少了基于spad的时间分辨图像传感器输出所需的大数据量。此外，在多个光子入射传感器的情况下，传感器具有低功率要求。另一个优点是传感器可以利用先进的较低层处理在堆叠3dcmos中有效地实现。

本领域技术人员应认识到，在不脱离本发明的情况下，可以对所公开的布置进行改变。例如，每像素存储器资源50可以是更大存储器资源的一部分。例如，可以为所有像素提供存储器资源，但将其分区为针对每个像素的独立的像素分区。在另一示例中，虽然时间直方(timebin)被示出为宽度相等，但可以实现变时间模式以为直方图提供对数大小的时间直方(timebin)，例如使得每个时间直方(timebin)的宽度大小为t、2t、4t、8t等。这可以均衡响应曲线的每个直方(bin)中的光子计数，该响应曲线是根据荧光寿命建立的呈指数减小的波形。

传感器的另外的变型可以包括消除对温度计解码器的需要，以及通过在以转换时间为函数的电源电压下操作tdc来降低功率。

某些实施例中的传感器只要生成短暂的光突发(例如，若干个100ns)就进行应用，并且期望准确地捕捉空间位置和到达时间，以及确定事件中光子的数量。一种应用是在用于医学/科学应用的光谱荧光寿命扫描领域中，例如内窥镜检查、癌症检测、可摄入的药丸。本发明不限于上述应用，并且可以同样地用于例如飞行时间距离感测/成像、3d成像、激光雷达、无人驾驶汽车的激光雷达(adas)、建筑物中的人员计数、生产线上的3d对象扫描、用于防御的对角落背后进行查看、条形码扫描、无人机地面数字化、3d范围成像、对象数字化。在另外的实施例中，可以将传感器用于任何其他合适的应用。

可以将处理资源和另外的处理资源提供为专用电路，例如用来提供期望的功能的电子组件的专用布置，或者可以将其提供为软件、硬件或软件和硬件的任何适当的组合。

对具体实施例的上述描述仅作为示例而做出，而不是为了限制的目的。本领域技术人员清楚的是，可以在本发明的范围内对细节进行修改。