具有数字像素存储的差量图像传感器的制作方法

本发明涉及包括多个像素电路的图像传感器，更具体地，涉及具有数字像素存储和同步采样的差量图像传感器。

背景技术：

1、众所周知，图像传感器每个像素或每个小的像素子集具有一个adc。这些图像传感器通常用于在像素中实施重要处理的应用(例如，x射线粒子轨迹跟踪或卫星成像)。

2、在具有单斜坡adc的图像传感器中，每个像素包括比较器是已知的，例如，由reckleben等人(2015),suarez等人(2010)以及chi等人(2010)而已知。特别是，suarez等人针对像素排列从全局上创建的模拟斜坡和数字编码，并将数字编码提供给像素。

3、从wo 2014/174498 al中获知一种图像传感器，其中先前照明电平的表示被数字化地存储在像素中，并且在样本之间进行比较，以创建事件改变数据，同时itoh等人在“4-layer 3-d ic with a function of parallel signal processing(具有并行信号处理功能的4层3d ic)”(microelectronic engineering，1991年第1-4期第15卷第187-190页)中，更早地提出了一种概念上相关的结构，相比于固定电平，这种结构具有简单的单比特像素。

4、在模拟域中使用图像像素电平改变检测、存储和比较进行事件生成的图像传感器是已知的，例如，chi等人的“cmos camera with in-pixel temporal change detectionand adc(具有像素内时间改变检测和adc的cmos相机)”(ieee journal of solid-statecircuits，2007年第10期第42卷第2187-2196页)。模拟域中的比较和存储提供了数字方法的优点(例如实现起来结构紧凑)以及缺点(例如，存储逐渐退化，包括“热像素(hot-pixels)”、对不匹配的敏感性、光到电的转换功能的灵活性降低)。

5、在像素之间共享电路的图像传感器是众所周知的，例如，kr2020-0029328a。

6、使用频闪效应一般是已知的，以及通过在干扰(不需要的信号)时段内取平均或同步来抑制谐波，例如us 2015/358570 a1，其中在相机中应用这种技术，用来检测和同步到可变光源，然后抑制对光源的响应。

7、gallego等人在“event-based vision:a survey(基于事件视觉的综述)”(ieeetransactions on pattern analysis and machine intelligence，2020arxiv:1904.08405v3)中公开了出于立体视觉的目的，对来自多个事件相机的信息进行同步，并向事件数据添加时间戳，其中时间戳参考由外部时基提供。

8、us 2015/0035949 a1公开了基于目标图像中的光源调制在多个相机之间使用同步。

9、wo 2020/080383 al公开了一种基于事件的动态视觉传感器，其具有基于相邻像素的事件状态(单个比特)忽略来自一个像素的事件的滤波器。

10、t.delbruck在“frame-free dynamic digital vision(无帧动态数字视觉)”(proceedings of the international conference on secure life electronics,advanced electronics for quality life and society，2008年，第21-26页)中，公开了基于像素的最后一个事件的时间戳或相邻像素的时间戳对来自动态视觉传感器的事件进行滤波。这种处理是在像素阵列外部实施的，需要以高计算成本的方式(32比特时间戳)将事件传输至阵列外部以进行后续滤波。

11、ep 3313064 al公开了一种模拟存储动态视觉传感器，其中一个比较器输入是像素照明的先前值的表示，然后，后续使用该值进行比较。这可以被认为是来自先前电平的模拟反馈，用来控制在创建数字事件输出时启用(采样)的模拟比较器的后续功能。

12、ep 2933995 al解决了在亚阈值操作中使用晶体管的动态视觉传感器的标准模拟存储实施方式中不良失配的问题。由于这种晶体管模式下的操作仅在有限的范围内正确运作，因此它们使用到整个阵列的采集电路的模拟部分的全局模拟反馈来获得满意的操作。

技术实现思路

1、可能存在的需求是，需要一种包括改进的像素电路的差量(delta)图像传感器，该改进的像素电路具有像素中先前照明强度的表示的数字存储。

2、这种需求可以通过独立权利要求的主题满足。有利的实施例在从属权利要求中限定。

3、本发明基本实施例的构思可以解释为特别地基于以下观察和认知：

4、cmos(互补金属氧化物硅)图像传感器是在经优化的铸造工艺中通过专业化工艺大批量生产出来的。cmos数字逻辑器件在经优化的铸造工艺中进行大批量生产。两种工艺的密度都在增加，特别是逻辑工艺的密度。增加的密度允许增加与图像传感器中的像素电路有关的数字复杂性。

5、像素电路中先前电平的数字存储在存储保真度和所存储电平的后续处理方面具有优势。

6、由于冗余数据的传播和处理受到限制，因此电平的局部处理在功率和面积方面具有效率优势。

7、本发明公开了一种结构和方法，其中，在像素电路中组合有数字转换和存储，连同对随时间和位置改变的差异的局部评估以及对事件信息的准备和传播一起。

8、本发明在独立权利要求中限定。从属权利要求描述了其优选实施例。

9、本发明涉及一种差量图像传感器，该图像传感器包括像素排列和多个采集电路，多个采集电路与至少一个像素对应并形成为集成电路的一部分。每个采集电路包括至少一个传感器电路、至少一个模数转换电路、至少一个数字存储电路、至少一个数字比较电路和至少一个数字输出电路，至少一个传感器电路包括光传感器，光传感器配置为根据照明至少一个像素的光传感器的光信号生成传感器信号vsig，至少一个模数a/d转换电路配置为生成与当前vsig对应的数字表示。优选地，该a/d转换电路是单斜坡模数a/d转换电路。至少一个数字存储电路配置为存储至少一个先前vsig的表示。至少一个数字比较电路配置为将所存储的表示的电平与当前vsig进行比较，以检测是否存在改变的电平。至少一个数字输出电路配置为在存在改变的电平的条件下生成事件输出。模数转换的重复率选自与照明光传感器的光信号的光源调制对应的一个或多个重复率。

10、各种实施例可以优选地实现以下特征：

11、本发明的一个方面，模数转换的重复率是根据周期来选择的，以提供滤波，滤波优选以下之一，与由图像传感器拍摄的目标图像中的光源相关的抑制、增强的响应和/或频率转换功能。

12、根据本发明的另一方面，模数转换的重复率选择为抑制或最小化对干扰的事件响应。

13、根据本发明的另一方面，模数转换的重复率选择为最大化对由图像传感器拍摄的目标图像中的光源的事件响应。

14、根据本发明的另一方面，模数转换的重复率选择为降低由图像传感器拍摄的目标图像中的变化的光源生成的事件的频率，同时保留与光源调制有关的信息。

15、本发明提供了一种具有数字像素存储和同步采样的差量图像传感器。该发明使用数字像素内转换和存储的优势，实现了区域优化的像素结构，特别是小像素结构，这种像素结构用于制成高分辨率和成本优化的图像传感器。

16、每个采集电路可以形成为集成电路或集成电路的一部分。采集电路在整个说明书中也可以称为像素电路。至少一个传感器电路可以连续地或周期性地生成传感器信号。模数转换电路可以将当前vsig转换为数字信号。数字存储电路可以相应地配置为存储与先前vsig对应的至少一个数字信号的表示。当前和先前vsig的数字表示可以通过至少一个数字比较电路进行比较。先前vsig或vsig的数字表示可以分别对应于在任何先前采样周期中生成并存储在数字存储电路中的信号。也可以是从外部提供并存储为参考信号的信号。此外，电路中可以包括至少一条事件输出线，以输出来自差量图像传感器的事件输出。至少一条事件输出线也可以由多个数字输出电路共享。

17、优选地，每个采集电路在至少两个像素之间共享，其中，优选地，像素彼此相邻。

18、优选地，传感器电路配置为基于以下关系之一生成vsig：

19、a)对光强度的线性依赖性，

20、b)对光强度的非线性依赖性，优选地，对光强度的对数依赖性，以及

21、c)对光强度的非线性和线性依赖性的组合，

22、其中，优选地，关系是能够响应于控制信号而改变的。

23、控制信号可以从像素阵列和采集电路的外部提供。可以整个阵列存在一个控制信号，或者存在更多目标信号。

24、优选地，传感器电路配置为在操作期间响应于控制信号而改变vsig对光强度的依赖性，优选地，传感器电路配置为在操作期间响应于控制信号而不定时地改变vsig对光强度的依赖性，和/或传感器电路配置为在单独针对至少一个像素或像素的子集的操作期间，响应于控制信号而改变vsig对光强度的依赖性。

25、控制信号不定时地改变可能由全局光强度或操作模式的改变导致。可以提供独立的电路，用于不定时地生成控制信号的改变。

26、图像传感器可以优选地进一步实现以下特征：

27、a)模数转换电路可以包括比较器，比较器配置为将vsig与以下扫频信号之一比较：

28、aa)扫频模拟输入信号，以及

29、ab)顺序扫频模拟输入信号，其中每个扫频模拟信号提供不同的差函数(difference function)，

30、其中，优选地，为多个转换电路提供输入信号，和/或

31、b)模数转换电路还可以配置为向至少一个像素提供与扫频模拟信号同步的至少一个数字编码，

32、ba)其中，优选地，数字编码为格雷(gray)编码的数字信号，以及

33、bb)其中，优选地，模拟扫频信号和数字编码之间的关系在存储斜坡(ramp)和比较斜坡之间改变。

34、此外，

35、a)扫频信号可以是线性斜坡，或

36、b)扫频信号可以是非线性斜坡，或

37、c)扫频信号可以在操作期间改变，和/或

38、d)扫频信号的周期可以在操作期间改变，和/或

39、e)扫频信号的重复可以在操作期间被中断一短暂或延长的时间段，和/或

40、f)扫频信号的重复率可以选自与照明光传感器的光信号的光源调制对应的一个或多个重复率，优选地，以增加或抑制事件输出。

41、特别地，在上述f)项下，扫频信号的重复率可以选自与照明光传感器的光信号的光源调制相对应的一个或多个重复率，以优选地增加或抑制对目标的响应，或者，以抑制对具有给定频率的干扰的响应，目标例如是具有给定频率的光源。

42、人造光源通常具有规律变化的强度，主要基于主电源的变化的电压，例如参见2016年ionescu的“fft based investigations on light flicker in new lightingsystems(基于fft的新型照明系统中的光闪烁研究)”。根据本论文，白炽灯的测量的强度变化为14％；荧光灯的为8％；led光的为9％(含荧光粉)，在所有情况下，主要分量的频率为100hz(或120hz)，取决于主电源频率。可能会在荧光灯中遇到更高的频率，例如100khz，但一般位于低得多的调制深度。动态视觉传感器中用于产生事件的改变阈值通常为2％，并且响应频率比调制(100hz或120hz)高得多，所以人造光的调制可能在整个图像上创建大量冗余事件。

43、人造光的调制对于标准摄影来说也是已知问题，但可以通过将曝光时间延长到明显慢于光调制来缓解。这种方法不适用于动态视觉传感器。

44、使用频闪效应一般是众所周知的，还有通过在干扰(不需要的信号)周期内取平均或同步来抑制谐波。

45、根据本发明，将在干扰(不需要的信号)周期内通过取平均或同步来抑制谐波的技术应用于动态视觉传感器(事件生成传感器)，优选地，在多个像素上以有效的实施方式(斜坡生成的时序)全局地应用，这是数字存储动态视觉传感器设计的固有部分。

46、在选择重复周期为多个干扰周期的情况下，对干扰的事件响应被完全抑制。

47、在重复率与干扰的重复率相似但不相同的情况下，图像数据(在事件生成之前)以低于干扰的频率变化(降频转换)，降低了事件和数据率。这保留了信息内容，同时减少了数据量。

48、在选择重复周期为干扰率的一半的情况下，事件输出可以最大化。

49、斜坡重复率的修改同样适用于所有像素，无需额外的电子器件，并且有效地实现了在响应或抑制功能方面的全局提高。

50、图像的很大一部分很可能被相同的、变化的光源或具有相似干扰特性(闪烁)的光源照明。特别是由于导致调制的原因通常是多个光源共同的主电源，针对所有像素设置一次速率对降低整个图像上的冗余事件生成有很大影响。

51、传感器本身每单位时间产生的事件的数量或模拟感测像素信号可以为同步提供参考信号。存在多种众所周知的技术用来同步到信号的频率分量，通常实施为具有相位比较器、低通滤波器和受控振荡器的锁相环。

52、优选地，图像传感器还包括配置为设定扫频斜坡限制的至少一个参考像素，其中，优选地，至少一个参考像素位于像素排列外部，和/或其中，优选地，至少一个参考像素在参考条件下偏置。

53、优选地，数字比较电路配置为在模拟信号扫频期间执行与所存储的电平的比较，或者，数字比较电路配置为在模拟信号扫频后执行与所存储的电平的比较。

54、“在模拟信号扫频期间”以及“在扫频模拟信号期间”可以表示相同的过程。

55、特别地，如果在模拟信号扫频期间执行比较，则不需要存储a/d输出值，仅仅存储比较的结果。这使得内存需求更少，但会执行更多比较。如果在模拟信号扫频后执行比较，则需要存储a/d输出值。这增加了内存需求，但减少了所需的比较次数。

56、优选地，

57、a)数字比较电路配置为使用像素电路中的静态逻辑来执行比较，或

58、b)数字比较电路配置为使用像素电路中的动态逻辑来执行比较，和/或

59、c)数字比较电路配置为基于迟滞来执行比较，和/或

60、d)数字比较电路配置为通过获取在操作中不定时地改变的差来执行比较。

61、优选地，输出电路配置为根据相邻像素中比较电路的比较结果生成输出，或者输出电路配置为根据固定配置中或在操作期间改变的配置中的相邻像素的函数生成输出，其中，优选地，函数是平均函数，和/或输出电路配置为如果比较的比较结果的改变率超过一定阈值则生成输出。

62、优选地，

63、a)输出电路配置为根据相邻像素中的输出生成输出，或者

64、b)输出电路配置为根据相邻像素中存储的电平生成输出，或者

65、c)输出电路配置为根据多个存储的值生成输出。

66、优选地，

67、a)输出电路配置为生成指示改变的电平的方向的事件输出，和/或

68、b)输出电路配置为生成仅指示沿一个方向改变的电平的事件输出，和/或

69、c)输出电路配置为生成指示改变的电平的大小的事件输出，和/或

70、d)输出电路配置为生成指示改变的电平之前和/或之后的照明强度的事件输出。

71、优选地，

72、a)数字存储电路配置为在像素排列的输出线处提供所存储的数字表示，和/或

73、b)数字存储电路配置为在像素排列的输出线处选择性地针对具有事件输出的像素提供所存储的数字表示，和/或

74、c)数字存储电路配置为在输出线处使用事件列线提供所存储的数字表示，和/或

75、d)数字存储电路配置为将所存储的数字表示写入像素，和/或

76、e)数字存储电路配置为从数据流写入所存储的数字表示，和/或

77、f)其中，数字存储电路配置为从作为事件流的数据流写入所存储的数字表示。

78、可以提供单条或多条输出线。也可以在输出电路之间共享输出线。也可以提供为输出电路。

79、此外，采集电路中存储的数字表示也可以从阵列外部写入。先前的输出可以写回到存储的像素数字电平中，以为电路提供改变的参考。然后，电路将仅报告相对于参考的改变。正常图像数据会表示所有像素。然而，事件流仅包括改变，因此数据较少。因此，写回事件流允许较低的数据率。

80、优选地，传感器电路从与存储的数字电平对应，或与相邻像素的存储的数字电平对应的数字存储电路接收反馈，并且传感器电路配置为根据反馈生成vsig。a/d电路可以从存储的数字电平，或相邻像素的存储的数字电平接收反馈，并且可以配置为根据反馈调整输出信号。

81、优选地，传感器电路配置为提供vsig，和/或图像传感器由多个半导体层构成，其中，每个电平针对层的功能进行优化。

82、特别地，可以提供vsig的模拟表示或模拟电平，并直接从电路或阵列中读出。

83、多组采集电路可以连接到公共的或多条公共的事件输出线。

84、一组采集电路可以共享以下电路元件中的至少一个，(a)数字输出电路，(b)数字比较电路，(c)附加地，数字存储电路，(d)附加地，模数转换电路。附图是代表性的，不排除共享元件的其他组合。

85、本公开还可以包括使用利用扫频模拟信号和数字编码的比较器实现模数转换。

86、本发明提供了多硅层器件上的事件生成，这在上面所述的itoh等人的文献中没有公开。

87、在图像传感器设计中，图像传感器中像素之间的共享电路(例如kr2020-0029328a)对于创建密集像素阵列和高像素分辨率是至关重要的。本发明以时间顺序的方式使用数字存储和事件计算，这特别适合于在像素之间共享资源而不降低性能。

88、进一步地，本发明将us 2015/358570 al所公开的技术的使用扩展到动态视觉传感器，其中使用具有全局时序的数字存储和处理，这是有效的，并且降低所生成事件的数量对功耗和后续处理有重要影响。

89、本发明能够实现像素内数字存储，可以基于相邻像素中存储的数字电平(多个比特)选择性地创建事件。这种选择性滤波的特定配置可用于实现与wo 2020/080383 al公开的单比特滤波相同的结果。

90、另外，与如上所述的t.delbruck等相比，本发明由于a/d转换技术而具有固有的时基，以降低时间戳的复杂性，并且能够实现对事件的局部的、数字的时间滤波，而无需进一步传输。

91、本发明基于存储的数字电平或事件输出来调制模拟电路参数，因为这种反馈是利用数字控制下的开关有效地实现的(表面积)，因此这与上述公开的ep 3313064 al不同。与上述ep 2933995 a1相比，本发明提出了一种基于局部存储的像素数字电平或事件输出对模拟电路参数的调制，因为这种反馈是利用数字控制下的开关有效地实现的(表面积)。这与ep2933995al在功能(像素局部)、实施方式(数字控制)和目的上有所不同。

92、如上所述，gallego等人公开了出于立体视觉的目的，将来自多个事件相机的信息同步，以及将时间戳添加到事件数据，其中时间戳参考由外部时基提供。同步源(外部时基)和目的(多个图像的组合)与本发明不同。

93、us 2015/0035949 a1公开了基于目标图像中的光源调制在多个相机之间使用同步。然而，us 2015/0035949 a1既不涉及事件相机，也不涉及本发明中采样同步的目的(抑制或增加闪烁衍生的事件输出)。