动态视觉传感器的制作方法

1.本发明涉及一种传感器，尤其涉及一种动态视觉传感器。


背景技术：

2.目前动态视觉传感器(dynamic vision sensor；dvs)被广泛地应用在各技术领域中，例如是自驾车技术。然而，目前的动态视觉传感器需搭配设计以复杂的电路。并且，由于目前的动态视觉传感器无法与rgb图像传感器有效地整合，而导致动态感测操作与图像感测操作无法同时进行，而实现在发生动态事件时可有效地取得的对应的感测图像信息。有鉴于此，以下将提出几个实施例的解决方案。


技术实现要素：

3.本发明提供一种动态视觉传感器可具有良好的动态感测功能。
4.根据本发明的实施例，本发明的动态视觉传感器包括第一感测像素、另一第一感测像素、存储电容以及另一存储电容。第一感测像素包括多个颜色光感测子像素、第一像素电路、红外光感测子像素、第二像素电路以及斜坡电容。斜坡电容耦接在上斜坡信号以及第一节点之间。多个颜色光感测子像素耦接至第一节点。第一像素电路耦接至第一节点，并且用以依序输出多个颜色光感测子像素的感测结果。红外光感测子像素耦接至第一节点。第二像素电路耦接至第一节点，并且用以输出红外光感测子像素的感测结果。另一第一感测像素包括另多个颜色光感测子像素、另一第一像素电路、另一红外光感测子像素、另一第二像素电路以及另一斜坡电容。另多个颜色光感测子像素耦接至另一第一节点。另一第一像素电路耦接至另一第一节点，并且用以依序输出另多个颜色光感测子像素的感测结果。另一红外光感测子像素耦接至另一第一节点。另一第二像素电路耦接至另一第一节点，并且用以输出另一红外光感测子像素的感测结果。另一斜坡电容耦接在下斜坡信号以及另一第一节点之间。存储电容经由开关晶体管耦接至第一节点，并且用以存储红外光感测子像素的感测结果。另一存储电容经由另一开关晶体管耦接至另一第一节点，并且用以存储另一红外光感测子像素的感测结果。
5.基于上述，本发明的动态视觉传感器可通过感测像素中的多个颜色光感测子像素来取得感测图像，并且可通过感测像素中的多个红外光感测子像素在拍摄一张感测图像的过程中同时地感测当前感测对象是否对应于一动态事件。
6.为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附附图作详细说明如下。
附图说明
7.图1是本发明的一实施例的动态视觉传感器的像素阵列的示意图；
8.图2是本发明的一实施例的感测像素的电路示意图；
9.图3是本发明的一实施例的形成差动对的第一感测像素以及第二感测像素的示意
图；
10.图4是本发明的一实施例的动态视觉传感器的操作时序图。
11.附图标记说明
12.100、300:动态视觉传感器；
13.110:像素阵列；
14.120_1～120_n、200、320_1～320_8:感测像素；
15.121_1～121_n、122_1～122_n、123_1～123_n、221_1、222_1、223_1:颜色光感测子像素；
16.124_1～124_n、224_1:红外光感测子像素；
17.310_1、310_2:感测像素组；
18.t1～t8:晶体管；
19.pd1～pd4:光电二极管；
20.n1～n3、n3_1～n3_8:节点；
21.cr:斜坡电容；
22.cs1、cs2:存储电容；
23.rs:重置信号；
24.rout1、rout2:选择信号；
25.vdd:工作电压；
26.vramp、vramp_p、vramp_n:斜坡信号；
27.tx1～tx4:切换电压；
28.r1～r8:红色光感测子像素；
29.g1～g8:绿色光感测子像素；
30.b1～b8:蓝色光感测子像素；
31.i1～i8:红外光感测子像素；
32.rr_1～rr_3、rg_1～rg_3、rb_1～rb_3、ri_1～ri_8:重置时序；
33.sr_1～sr_3、sg_1～sg_3、sb_1～sb_3、si_1～si_8:读取时序；
34.t0～t21:时间；
35.er1、er2、ec1:曝光期间。
具体实施方式
36.现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同元件符号在附图和描述中用来表示相同或相似部分。
37.图1是本发明的一实施例的动态视觉传感器的像素阵列的示意图。参考图1，动态视觉传感器100包括像素阵列(array)110，并且像素阵列包括阵列排列的多个感测像素120_1～120_n，其中n为大于1的正整数。在本实施例中，感测像素120_1包括多个颜色光感测子像素121_1、122_1、123_1以及红外光感测子像素124_1。以此类推，感测像素120_2～120_n包括有多个颜色光感测子像素121_2～121_n、122_2～122_n、123_2～123_n以及红外光感测子像素124_2～124_n。在本实施例中，颜色光感测子像素121_1～121_n可例如是红色光感测子像素。颜色光感测子像素122_1～122_n可例如是绿色光感测子像素。颜色光感
测子像素123_1～123_n可例如是蓝色光感测子像素。红外光感测子像素124_2～124_n可用于感测红外光。然而，本发明的每一个感测像素的多个颜色光感测子像素以及红外光感测子像素的排列方式以及排列顺序并不限于图1。
38.在本实施例中，感测像素120_1～120_n各别包括第一像素电路以及第二像素电路，并且第一像素电路以及第二像素电路可分别设置(或制作)于像素阵列110中形成多个感测子像素的像素区域的主动区当中，以有效节省用于设置动态视觉传感器100的相关功能电路的像素阵列110以外的周边区的面积。在本实施例中，动态视觉传感器100的像素阵列110以外的周边区可例如设置有模拟前端(analog front end；afe)电路、模拟至数字转换器(analog to digital converter；adc)电路以及数字信号处理器电路(digital signal processor；dsp)等，本发明并不加以限制。
39.在本实施例中，动态视觉传感器100可为互补性氧化金属半导体图像传感器(complementary metal-oxide semiconductor image sensor；cis)。在本实施例中，每一个感测像素的所述第一像素电路可用以依序输出每一个感测像素中的多个颜色光感测子像素的感测结果。每一个感测像素的所述第二像素电路可用以依序输出每一个感测像素中的红外光感测子像素的感测结果。因此，本实施例的动态视觉传感器100可用于实现图像感测功能以及视觉动态感测功能。
40.值得注意的是，本实施例的颜色光感测子像素121_1～121_n、122_1～122_n、123_1～123_n适于被执行以滚动式快门(rolling shutter)的曝光操作，并且本实施例的红外光感测子像素124_1～124_n适于被执行以全域快门(global shutter)的曝光操作。在本实施例中，在动态视觉传感器100通过颜色光感测子像素121_1～121_n、122_1～122_n、123_1～123_n进行一个图框(frame)的图像感测操作中，动态视觉传感器100可包括通过红外光感测子像素124_1～124_n进行视觉动态感测操作。在本实施例中，在一个图框期间中，动态视觉传感器100可依据整体的颜色光感测子像素的感测结果来输出一张彩色图像的图像数据，并且可依据整体的红外光感测子像素的感测结果来输出红外光动态图像。
41.图2是本发明的一实施例的感测像素的电路示意图。参考图2，图1的感测像素120_1～120_n的每一个可具有如图2所示的感测像素200的像素电路配置。在本实施例中，感测像素200包括颜色光感测子像素221_1、222_1、223_1以及红外光感测子像素224_1，其中颜色光感测子像素221_1、222_1、223_1以及红外光感测子像素224_1分别包括光电二极管pd1～pd4。在本实施例中，感测像素200还包括斜坡电容cr、重置晶体管t5、源极随耦器(source follower)晶体管t6、选择晶体管t7以及开关晶体管t8。值得注意的是，本实施例的重置晶体管t5、源极随耦器晶体管t6以及选择晶体管t7可被操作如主动式像素感测(active pixel sensor；aps)操作。值得注意的是，上述的第一像素电路包括重置晶体管t5、源极随耦器晶体管t6以及选择晶体管t7，并且上述的第二像素电路包括开关晶体管t8。
42.在本实施例中，光电二极管pd1的第一端(阴极)耦接至晶体管t1的第一端，并且光电二极管pd1的第二端(阳极)耦接至接地电压。晶体管t1的控制端接收至切换信号tx1，并且晶体管t1的第二端耦接至节点n1。在本实施例中，光电二极管pd2的第一端(阴极)耦接至晶体管t2的第一端，并且光电二极管pd2的第二端(阳极)耦接至接地电压。晶体管t2的控制端接收切换信号tx2，并且晶体管t2的第二端耦接至节点n1。在本实施例中，光电二极管pd3的第一端(阴极)耦接至晶体管t3的第一端，并且光电二极管pd3的第二端(阳极)耦接至接
地电压。晶体管t3的控制端接收至切换信号tx3，并且晶体管t3的第二端耦接至节点n1。在本实施例中，光电二极管pd4的第一端(阴极)耦接至晶体管t4的第一端，并且光电二极管pd4的第二端(阳极)耦接至接地电压。晶体管t4的控制端接收至切换信号tx4，并且晶体管t4的第二端耦接至节点n1。
43.在本实施例中，斜坡电容cr的一端耦接至斜坡信号vramp，并且斜坡电容cr的另一端耦接至节点n1。在本实施例中，重置晶体管t5的第一端耦接至工作电压vdd，并且重置晶体管t5的第二端耦接至节点n1(电路节点)。重置晶体管t5的控制端接收重置信号rs。在本实施例中，源极随耦器晶体管t6的第一端耦接至工作电压vdd，并且源极随耦器晶体管t6的第二端耦接至选择晶体管t7的第一端。源极随耦器晶体管t6的控制端耦接至节点n1。在本实施例中，选择晶体管t7的第二端耦接至节点n2，并且选择晶体管t7的控制端接收选择信号rout1。在本实施例中，开关晶体管t8的第一端耦接至节点n1，并且开关晶体管t8的第二端耦接至节点n3。开关晶体管t8的控制端接收选择信号rout2。
44.在本实施例中，节点n2可耦接至动态视觉传感器的信号输出线，并且信号输出线还可耦接至动态视觉传感器的相关信号处理电路，例如上述的模拟前端电路、模拟至数字转换器电路以及数字信号处理器电路。以颜色光感测子像素221_1的操作为例，在颜色光感测子像素221_1的重置期间，重置晶体管t5以及晶体管t1为导通，并且其他的晶体管为未导通，以使光电二极管pd1以及节点n1的电位被重置。在颜色光感测子像素221_1的曝光期间，全部的晶体管为未导通。在颜色光感测子像素221_1的读取期间，选择晶体管t7以及晶体管t1为导通，并且其他的晶体管为未导通，以使源极随耦器晶体管t6操作在源极随耦器状态，以将节点n1所存储的光电二极管pd1的感测结果(曝光结果)的电压从选择晶体管t7以及节点n2提供至动态视觉传感器的相关信号处理电路。以此类推，感测像素200进行颜色光感测子像素222_1、颜色光感测子像素223_1以及颜色光感测子像素224_1的重置、曝光以及读取期间可依序执行类似的操作，以使动态视觉传感器的相关信号处理电路可依据节点n2所提供的各颜色像素感测结果来产生感测图像。
45.在本实施例中，节点n3可耦接至存储电容，其中所述存储电容可例如是金属绝缘层金属(metal-insulator-metal；mim)电容。在本实施例中，在红外光感测子像素224_1的重置期间，重置晶体管t5以及晶体管t4为导通，并且其他的晶体管为未导通，以使光电二极管pd4以及节点n1的电位被重置。在红外光感测子像素224_1的曝光期间，全部的晶体管为未导通。在红外光感测子像素224_1的读取期间，开关晶体管t8以及晶体管t4为导通，并且其他的晶体管为未导通，以使开关晶体管t8将光电二极管pd4的感测结果(曝光结果)的电压提供至所述存储电容。在本实施例中，所述存储电容还可耦接动态视觉传感器的相关信号处理电路。
46.图3是本发明的一实施例的形成差动对的第一感测像素以及第二感测像素的示意图。参考图3，动态视觉传感器300包括第一感测像素组310_1以及第二感测像素组310_2。第一感测像素组310_1包括感测像素320_1～320_4，并且第二感测像素组310_2包括感测像素320_5～320_8。值得注意的是，感测像素320_1～320_8可例如对应于图1的感测像素120_1～120_8。图1的像素阵列110可包括多个感测像素组。在本实施例中，感测像素120_1～120_8的每一个包括一个红色光感测子像素r1～r8、一个绿色光感测子像素g1～g8、一个蓝色光感测子像素b1～b8以及一个红外光感测子像素i1～i2。在本实施例中，第一感测像素组
310_1的各感测像素的像素电路依序输出的多个颜色光感测子像素的感测结果与第二感测像素组310_2的各感测像素的像素电路依序输出的对应的另多个颜色光感测子像素的感测结果可形成差动输出，以有效降低感测图像(彩色图像)受到电源噪声(power noise)的影响。
47.具体而言，第一感测像素组310_1的感测像素320_1～320_4的每一个的斜坡电容在感测像素320_1～320_4各别进行读取期间可接收相同的上斜坡信号(ramp up signal)vramp_p，并且第二感测像素组310_2的感测像素320_5～320_8的每一个的斜坡电容在感测像素320_5～320_8各别进行读取期间可接收相同的下斜坡信号(ramp down signal)vramp_n，以形成差动输出。对此，上斜坡信号vramp_p与下斜坡信号vramp_n形成一差动信号对，其中上斜坡信号vramp_p具有三角形的顶角朝向上(例如电压增加趋势的方向)的波形，而下斜坡信号vramp_n具有三角形的顶角向下(例如电压减少趋势的方向)的波形。
48.举例而言，感测像素320_1的红色光感测子像素r1以及感测像素320_5的红色光感测子像素r5可的感测结果(曝光结果)可被同时读出，而形成差动输出。在本实施例中，动态视觉传感器300可基于双重三角采样(double delta sampling)的操作方式来读出红色光感测子像素r1、r5分别的感测结果，以有效减少噪声(电源噪声)，且可有效地读出真实的亮度值(real digital number(dn)value)。另外，本实施例的动态视觉传感器300所读出的颜色光感测子像素的模拟至数字转换器解析度(adc resolution)可例如是对应于10比特(bit)的数据量。
49.以此类推，感测像素320_1与感测像素320_5各别的多个颜色光感测子像素形成差动输出。感测像素320_2与感测像素320_6各别的多个颜色光感测子像素形成差动输出。感测像素320_3与感测像素320_7各别的多个颜色光感测子像素形成差动输出。感测像素320_4与感测像素320_8各别的多个颜色光感测子像素形成差动输出。值得注意的是，感测像素320_1～320_4的多个颜色光感测子像素是采用滚动式快门的操作方式进行运作。因此，感测像素320_1～320_4的多个颜色光感测子像素的操作时序彼此不同步，但是感测像素320_1～320_4的多个颜色光感测子像素与感测像素320_5～320_8的对应的多个颜色光感测子像素的操作时序同步。
50.在本实施例中，第一感测像素组310_1的红外光感测子像素i1～i4以及第二感测像素组310_2分别的红外光感测子像素i5～i8可以在部分重叠或不重叠的期间进行重置操作、曝光操作及读取操作。具体而言，感测像素320_1～320_8的多个红外光感测子像素i1～i8是采用全域快门的操作方式进行运作。值得注的意是，为了有效进行动态感测，本实施例的动态视觉传感器300是通过红外光感测子像素i1～i4以及红外光感测子像素i5～i8分别在两个极短的曝光期间内进行感测，因此其图像强度较低。因此，为了增加感测结果的图像强度，本实施例是分将四个红外光感测子像素为一组来存储其加总的感测结果。对此，感测像素320_1～320_4的多个红外光感测子像素i1～i4可同时执行重置、曝光以及读取操作，以取得一张红外光图像，并且感测像素320_5～320_8的多个红外光感测子像素i5～i8可同时执行重置、曝光以及读取操作，以取得另一张红外光图像。
51.在本实施例中，感测像素320_1～320_4的多个红外光感测子像素i1～i4的曝光期间与感测像素320_5～320_8的多个红外光感测子像素i5～i8的曝光期间可为部分重叠或不重叠。举例而言，感测像素320_1～320_4的多个红外光感测子像素i1～i4可在第一读取
期间同时将感测像素320_1～320_4的曝光结果经由节点n3_1～n3_4(类似于图2实施例所述的n3)存储至存储电容cs1。存储电容cs1的一端耦接节点n3_1～n3_4，并且存储电容cs1的另一端接地。感测像素320_5～320_8的多个红外光感测子像素i5～i8可在第二读取期间同时将感测像素320_5～320_8的曝光结果经由节点n3_5～n3_8(类似于图2实施例所述的n3)存储至存储电容cs2。存储电容cs2的一端耦接节点n3_5～n3_8，并且存储电容cs1的另一端接地。另外，本实施例的动态视觉传感器300所读出的红外光感测子像素的模拟至数字转换器解析度(红外光感测子像素i1～i4或红外光感测子像素i5～i8的加总结果)可例如是对应于4比特的数据量。
52.在本实施例中，动态视觉传感器300的信号处理电路可分别读出存储电容cs1以及存储电容cs2的存储结果(电荷值)，并且可通过比较存储电容cs1的存储结果以及存储电容cs2的存储结果来产生红外光动态图像，有效地判断动态视觉传感器300于当前感测的感测图像是否为对应于动态事件。
53.换言之，为了判断动态视觉传感器300于当前感测的感测图像是否为对应于动态事件，本实施例的动态视觉传感器300可在执行彩色图像感测的过程(曝光时间较长)中同时以曝光时间较短的方式快速感测两张红外光图像，并且可通过比较此两张红外光图像是否存在差异(例如通过像素值比较)来有效地判断动态视觉传感器300的当前感测对象是否有移动或动作变化等动态事件。
54.图4是本发明的一实施例的动态视觉传感器的操作时序图。参考图3以及图4，动态视觉传感器300可进行如图4的操作时序。在本实施例中，如重置时序rr_1所示，红色光感测子像素r1、r5可在时间t0进行重置操作。如重置时序rg_1所示，绿色光感测子像素g1、g5可在时间t1进行重置操作。如重置时序rb_1所示，蓝色光感测子像素b1、b5可在时间t2进行重置操作。如重置时序ri_1～ri_4所示，红外光感测子像素i1～i4可在时间t3进行重置操作。如重置时序ri_5～ri_8所示，红外光感测子像素i5～i8可在时间t4进行重置操作。值得注意的是，红外光感测子像素i1～i4的第一重置期间与红外光感测子像素i5～i8的第二重置期间可为部分重叠或不重叠。接着，如重置时序rr_2所示，红色光感测子像素r2、r6可在时间t7进行重置操作。如重置时序rg_2所示，绿色光感测子像素g2、g6可在时间t8进行重置操作。如重置时序rb_2所示，蓝色光感测子像素b2、b6可在时间t9进行重置操作。接着，如重置时序rr_3所示，红色光感测子像素r3、r7可在时间t10进行重置操作。如重置时序rg_3所示，绿色光感测子像素g3、g7可在时间t11进行重置操作。如重置时序rb_3所示，蓝色光感测子像素b3、b7可在时间t12进行重置操作。以此类推，感测像素320_4、320_8分别的多个颜色光感测子像素可依序进行重置操作。
55.在本实施例中，如读取时序sr_1所示，红色光感测子像素r1、r5可在时间t13进行读取操作。如读取时序sg_1所示，绿色光感测子像素g1、g5可在时间t14进行读取操作。如读取时序sb_1所示，蓝色光感测子像素b1、b5可在时间t15进行读取操作。如读取时序sr_2所示，红色光感测子像素r2、r6可在时间t16进行读取操作。如读取时序sg_2所示，绿色光感测子像素g2、g6可在时间t17进行读取操作。如读取时序sb_2所示，蓝色光感测子像素b2、b6可在时间t18进行读取操作。接着，如读取时序sr_3所示，红色光感测子像素r3、r7可在时间t19进行读取操作。如读取时序sg_3所示，绿色光感测子像素g3、g7可在时间t20进行读取操作。如读取时序sb_3所示，蓝色光感测子像素b3、b7可在时间t21进行读取操作。以此类推，
感测像素320_4、320_8分别的多个颜色光感测子像素可依序进行读取操作。值得注意的是，这里的读取操作是指各颜色光感测子像素基于晶体管(类似于图2实施例的晶体管t1～t3)的切换结果使得光电二极管经感光后所产生的电荷由光电二极管转移至浮动扩散结点(floating diffusion node)(类似于图2实施例的节点n1)的操作。
56.在本实施例中，比对重置时序ri_1～ri_4与读取时序si_1～si_4，在时间t3至时间t5之间，在红外光感测子像素i1～i4结束重置期间后，红外光感测子像素i1～i4接着进行曝光期间er1，并且红外光感测子像素i1～i4在时间t5开始读取操作。比对重置时序ri_5～ri_8与读取时序si_5～si_8，在时间t4至时间t6之间，在红外光感测子像素i5～i8结束重置期间后，红外光感测子像素i5～i8接着进行曝光期间er2，并且红外光感测子像素i5～i8在时间t6开始读取操作。值得注意的是，这里的读取操作是指各红外光感测子像素基于晶体管(类似于图2实施例的晶体管t4、t8)的切换结果使得光电二极管经感光后所产生的电荷由光电二极管转移至存储电容(类似于图3实施例的存储电容cs1、cs2)的操作。曝光期间er1与曝光期间er2可为部分重叠或不同重叠。
57.如图4所示，红外光感测子像素i1～i4的曝光期间er1以及红外光感测子像素i5～i8的曝光期间er2较颜色光感测子像素的曝光期间为短(例如红色光感测子像素r1、r5的曝光期间ec1)。因此，本实施例的动态视觉传感器300可在取得一张感测图像(彩色图像)的过程中，同时快速地感测两张红外光图像，并且可通过比较此两张红外光图像是否存在差异(例如通过像素值比较)来有效地判断动态视觉传感器300的当前感测对象是否有移动或动作变化等动态事件。另外，本发明的红外光感测子像素的重置、曝光、读取期间的时序不限于图4。本发明的红外光感测子像素的重置、曝光、读取期间的时序可安排在颜色光感测子像素取得一张感测图像的过程中的任一时间区间。
58.综上所述，本发明的动态视觉传感器可包括多个颜色光感测子像素以及多个红外光感测子像素，并且本发明的感测子像素可利用在取得一张感测图像的过程中，同时地进行动态感测，以有效地判断此一张感测图像中的感测对象是否有移动或动作变化等动态事件发生。
59.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。