基于动态视觉传感技术的CMOS感存算一体电路结构的制作方法

本发明属于图像传感技术与集成电路技术领域，具体涉及一种基于动态视觉传感技术的cmos感存算一体电路结构。

背景技术：

以大数据技术的发展和以神经网络为核心的深度学习技术浪潮的兴起为代表，对传统的主流硬件平台的算力提出了更高的要求。由于深度学习算法计算时需要处理流式数据，在基于冯·诺依曼计算架构的硬件平台在处理相关任务时，会使得大量的数据会在计算单元和存储单元之间流动。而后者的读写速度要远慢于前者的计算速度，访问内存的操作过程占了总体能耗和延迟的绝大部分，限制了数据的处理速度，这被称为“冯·诺依曼瓶颈”或“内存瓶颈”。“内存瓶颈”使得计算系统表现出功耗高、速度慢等缺点。在以大数据量为中心的计算任务中，存算分离带来的问题就更加突出。

在这种背景下，类似脑神经结构的计算存储一体化架构逐渐发展起来，作为一种类似于人脑的模型，它将数据存储单元和计算单元融合为一体，不但减少了数据的搬运，还极大地提高了计算并行度和能效。可以肯定的是，在技术逐渐成熟以及应用需求的同时驱动下，计算存储一体化的芯片及其具体的应用会加速落地。

目前对于存算一体化电路的研究仅仅聚焦于存储和计算两方面，将存算一体化电路与其它应用相结合的研究少之又少，特别是与传感电路相结合的感存算一体的电路。

技术实现要素：

为了解决现有技术的问题，通过对现有的cmos有源相素电路进行研究，发现cmos有源相素都是以大规模像素阵列的形式存在的，即像素阵列、存储单元、运算单元都是独立的电路模块。这种冯·诺依曼结构必然导致不同电路模块之间需要单独的数据总线、地址总线和控制总线，以及相应的译码电路、控制电路，这种工作方式运算速度低，产生的功耗也较大。因此本发明采用感存算一体的思想，通过将cmos动态视觉传感有源相素电路与存算一体化电路相结合，可以在一个单元内实现对动态视觉传感数据的采集、存储和线性运算。实现节省存储面积、降低计算功耗和提升计算速度的目的。

本发明采用的技术方案是：

基于动态视觉传感技术的cmos感存算一体电路结构，其特征在于，包括基于aer方式的传感电路模块和存算一体电路模块；

所述基于aer方式的传感电路模块用于传感动态图像数据，具体包括动态视觉传感有源相素电路、相关二次采样电路、差分比较器电路、光强变化探测电路和逻辑判定电路；其中，

所述动态视觉传感有源相素电路用于感应输入光信号并转换为电信号；

所述相关二次采样电路，耦接到所述动态视觉传感有源相素电路的输出端，用于对转换输出的电压信号分别在复位周期和积分周期进行采样并保持；

所述差分比较器电路，耦接到所述相关二次采样电路的输出端，用于对二次采样的结果进行差分运算，并将运算结果与参考电压进行比较；

所述光强变化探测电路，用于感应动态光强是否发生改变；

所述逻辑判定电路,分别耦接到差分比较器电路和光强变化探测电路，用于结合差分比较器和光强探测电路的数据进行有效性判定并输出判定结果；具体为：只有当差分比较器判定光强发生了改变，并且光强探测电路判定动态光强发生了改变，才会输出有效的数据“1”存入sram，否则存入“0”；

所述存算一体电路模块用于对动态图像数据进行存储和计算，具体包括sram单元、权值写入电路、数字逻辑单元、模拟累加器和线性放大器；其中，

所述sram单元，耦接到所述逻辑判定电路的输出端，用于存储外部权值数据以及传感数据；

所述权值写入电路，耦接到所述sram单元的输入端，用于给sram单元写入外部权值数据；

所述数字逻辑单元，耦接到sram单元的输出端，其电路结构包括用于将外部权值和传感数据作乘的乘法器、用于识别乘法运算结果的计数器、用于产生脉冲信号的脉冲产生单元；

所述模拟累加器，耦接到脉冲产生单元的输出端，用于将脉冲信号的个数以电容充电的形式并进行累加，转换成模拟电压信号；

所述线性放大器，耦接到模拟累加器的输出端，用于对模拟电压信号进一步线性放大。

进一步的，所述动态视觉传感有源相素电路主要由光电二极管、复位二极管、源极跟随器、行选开关管组成；其中，

所述光电二极管用于感应外界光照强度，将光照强度转换为感应电流；

所述复位二极管在复位信号的控制下，周期性地工作于复位周期和积分周期；在复位周期，复位二极管打开，对所述光电二极管负端节点进行充电；在积分周期时，复位二极管关断，所述光电二极管负端节点的寄生电容上的电荷被感应电流线性泄放；

所述源极跟随器作为缓冲器，能够避免所述光电二极管负端节点的电荷在读取信号过程中泄漏；

所述行选开关管，用于控制信号的输出。

进一步的，所述相关二次采样电路由时钟信号控制的mos开关管、采样电容、采样信号读取电路组成；

所述时钟信号控制的mos开关管用于控制开关管分别在复位周期和积分周期的末端打开，并对这两个时刻的电压信号进行采样；

所述采样电容用于保持采样数据；

所述采样信号读取电路由三个p型mos管串联而成，作为缓冲器用于对采样电压结果进行读取以及电平提升。

进一步的，所述差分比较器电路由实现差分功能的差分运算电路组成；

所述实现差分功能的差分运算电路，由运算放大器和相应和四个相等的电阻组成，能够对两个采样电压进行等比例求差运算，输出差分运算结果，该差分运算结果即代表光强信息。

进一步的，所述光强变化探测电路能够判断动态光强是否发生改变，即通过判断光强的变化量在不同的周期是否相等，该变化量即代表图像是否为动态变化，实现只采样动态变化的光强数据。

进一步的，所述sram单元分别存储两部分数据，其中一部分为外部权值数据，另一部分为动态图像传感数据。

进一步的，所述权值写入电路用于给sram单元写入外部权值数据，其包括4个写入晶体管和2个寄生电容。因为sram在写入数据之前要求数据线必须先进行预充电和预放电，才能保证写入数据的准确性和稳定性。

进一步的，所述数字逻辑单元电路结构包括用于将外部权值和传感数据作乘的乘法器、用于识别乘法运算结果的计数器、用于产生脉冲信号的脉冲产生单元；

所述乘法器的具体运算法则为，外部输入权值与传感数据的每一位进行相与运算；

所述计数器用于统计乘法运算结果的数据中“1”的个数；

所述脉冲产生单元根据计数器统计结果，发放相等数目的的短时间脉冲信号。

进一步的，所述模拟累加器由充电晶体管、放电晶体管、求和电容和缓冲器组成，其工作原理如下：每当接收到一次脉冲，就会打开充电晶体管，以小电流对求和电容进行一次充电，电容上的电压进行等比例累加，故能够将数字信号结果转换成模拟的电压信号；而当电容充满电以后，通过打开放电晶体管将电荷全部泄放掉。

进一步的，所述线性放大器由运算放大器和相应的电阻组成，运算放大器的输入与所述模拟累加器的输出端耦接，能够对模拟累加器输出结果进行线性运算，进一步放大。

本发明的有益效果在于：本发明将已有的cmos存算一体化芯片与采用地址-事件触发(address-eventrepresentation，aer)技术的动态视觉传感电路相结合，从而具有高采样率、高速度、高精度、低时延的特点。

附图说明

图1是一种基于动态视觉传感技术的cmos感存算一体电路整体结构示意图；

图2是图1的具体电路结构示意图；

图3是动态视觉传感有源相素电路结构示意图；

图4是动态视觉传感有源相素电路输出电压示意图；

图5是相关二次采样电路的电路结构示意图；

图6是所述相关二次采样电路的工作原理示意图；

图7是所述差分比较器电路的电路结构示意图；

图8是光强变化探测电路的电路结构示意图；

图9是结合差分比较器电路和光强变化探测电路的逻辑判定电路的电路结构示意图；

图10是两个连续周期内光强变换情况相同时逻辑判定电路的关键信号的输出波形示意图；

图11是两个连续周期内光强变换情况不同时逻辑判定电路的关键信号的输出波形示意图；

图12是权值写入电路的电路结构示意图；

图13是sram单元的电路结构示意图；

图14是权值写入电路和sram单元的整体电路结构示意图；

图15是数字逻辑电路的结构示意图；

图16是模拟累加电路的电路结构示意图；

图17是线性放大器的电路结构示意图；

图18是模拟累加器以及线性放大器对于运算结果对应的脉冲信号的输出波形示意图；

图19是另一种实现4bit权值与1bit传感数据进行乘法运算的数字电路结构示意图。

具体实施方式

本发明在现有技术的基础上提出了一种基于动态视觉传感技术的cmos感存算一体电路结构，利用该电路结构可以在同一电路上实现动态视觉传感、存储、计算的功能。由这种电路构成的像素阵列，不仅能够实现更大规模的动态图像数据的传感和存储，还能够实现更复杂的并行运算处理。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图通过具体实施例对本发明进一步地详细说明，应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，一种基于动态视觉传感技术的cmos感存算一体电路整体架构由基于aer方式的传感电路模块1和存算一体电路模块2组成；其中，基于aer方式的传感电路模块1包括动态视觉传感有源相素单元3、相关二次采样电路5、差分比较器电路7、光强变化探测电路9和逻辑判定电路12；存算一体电路模块2包括权值写入电路15、sram单元17、数字逻辑单元19、模拟累加器21和线性放电路23；电路工作时信号流程如下：首先来自外部的光强信号14被dvs有源相素单元3所感应到并产生感应电压信号4；相关二次采样电路5分别采样两次不同周期的感应电压信号4，输出采样结果6；差分比较器电路7对采样结果6进行差分运算，得到差分运算结果8和10；光强探测电路9根据乘法运算结果8得到光强变化信息11；由逻辑判定电路12综合处理差分运算结果10和光强变化信息11得到最后的传感数据13；sram单元17同时存储着经权值写入电路15写入的外部输入权值23以及传感数据13，并将存储数据18传输给数字逻辑单元19；在数字逻辑单元19中对外部输入权值23以及传感数据13处理得到乘法运算结果并向模拟累加电路21发放脉冲信号数据20；模拟累加电路21将累加后的结果22传递给线性放大电路23，并得到最终的运算结果25。

如图2所示，是图1所对应的具体电路结构示意图。

如图3所示，是所述动态视觉传感有源相素电路3的结构示意图。这种动态视觉传感有源像素单元称为4管结构，在像素单元中除了光电二极管31外，还包括一个复位管26、一个源极跟随器管27和一个行选管28，以及提供偏置的晶体管30。像素的工作原理如下：光电二极管31在复位信号21的控制下每个工作过程经历两个周期：充电周期和积分周期。在充电周期，复位信号21保持高电平，打开复位管26并对节点32的上寄生电容充电至vdd-vth，其中vth是复位管26的阈值电压；在积分周期，关断复位管26，并给予光电二极管31一定强度的光照，此时节点32上的寄生电容存储的电荷被光电二极管产生的感应电流所泄放，使得节点32上的电压线性降低。这两个工作周期循环进行，就可以对外界的光强变化信息通过光电二极管31进行实时传感，并通过源极跟随器27和行选开关28将节点32上的电压信号无损耗地读出，即为输出电压信号29。

如图4所示，是所述动态视觉传感有源相素电路3的输出电压的示意图。每一个周期t分为充电周期和分周期；在充电周期0—t1，节点32被充电至vdd-vth导致输出节点29被充电至vr，其中vr约为vdd-2vth；在积分周期t1—t2，由于感应电流的存在，导致节点32上的电压近似为线性下降，因此输出节点39的电压也近似线性下降至vs1；同理可以分析第二个周期t的情况。

如图5所示，相关二次采样电路5具有相同的两个采样通路，其电路由采样管33和40、采样电容35和42、源极跟随器38和45、开关管37和44以及偏置管36和43组成。电路工作原理如下：在充电周期的末端，通过控制信号34打开采样管33，对输出电压29进行采样并将采样电压保存在采样电容35中，采样电压通过源极跟随器38读出，在开关管37源极节点得到充电周期采样电压39；积分周期的工作方式同上所述，得到积分周期采样电压46。

如图6所示，是所述相关二次采样电路5的工作原理示意图。根据所述动态视觉传感有源相素电路3的输出电压变化情况，在充电周期的末端，节点29的电压被充电至vr时，采样管33的控制信号34产生一个脉冲信号，将节点29的电压vr采样到采样电容35中，因为充电周期每次都会使得节点29的电压上升为vr，故在之后vr保持不变，与此同时，通过跟随器38和开关管37将采样电压无损地读出到节点vr并保持不变，其中vr约为vr+vth；在积分周期的末端，节点29的电压减小到一个周期的最小值，此时采样管40的控制信号41产生一个脉冲信号，将节点29的电压vs1采样到采样电容42中，通过跟随器45和开关管44将采样电压无损地读出到节点vs并保持不变，其中vs约为vs1+vth直到下一次采样时。第二个周期t的情况同理分析得到。

如图7所示，是所述差分比较器电路7的示意图，该差分比较器主要由一个差分电路和一个比较器电路组成。差分电路由三个相等的电阻40、42和43(阻值均为r)和反馈电阻42(阻值为rf)以及高精度的运算放大器44组成，如果选择电阻值r＝rf，则由“虚短”“虚断”的原理可以推出运算放大器的输出为：vd＝vr-vs，因此通过将vd与参考电压vrefh比较，则可以得出在一个周期t内是否感应到足够的光强。如果vd较大，则代表在积分周期内vs的电压变化较大，即感应到了足够的光强信息，因此比较器45输出高电平，否则输出低电平。

如图8所示，是所述光强变化探测电路9的示意图，该电路也是由一个差分比较电路和双比较器电路组成。其中差分比较电路由由三个相等的电阻46、47、48(阻值均为r)和反馈电阻49(阻值为rf)以及高精度的运算放大器50组成，如果选择电阻值r＝rf，同上分析可以得出：△v＝vd2-vd1’，其中vd2代表该次周期t内由差分比较电路计算得到的节点54的电压vd，vd1’代表上一周期t内由差分比较电路计算得到的节点54的电压vd，其中vd1’可以通过一个缓存器53来实现，这样就能实现检测两个相邻周期t内的vd电压的变化情况。再将得到的△v与两个参考电压±vrefl同时进行比较，只要△v的变化量高于﹢vrefl或者低于﹣vrefl，该电路就输出一个高电平表示检测到了光强的动态变化，否则该电路输出低电平。通过该电路就可以实现光强的动态变化的检测，即只有当此次周期t内的光强变化与上一次周期t的光强变化不一样时，才能检测到该周期t内的光强数据。

如图9所示，是结合差分比较器电路7和光强变化探测电路9的所述逻辑判定电路12的电路结构示意图。该电路主要由差分比较器电路7中的比较器44和光强变换探测电路9中的比较器51、52以及逻辑或门55，逻辑与门56组成，其工作原理如下：只有当差分比较器电路7感应到了足够强度的光照强度信息，并且光强探测电路9检测该次周期t的光强变化与上一次周期t的光强变化不一致时，才会整体判定检测到了动态光强信息，并输出高电平，否则输出低电平。

如图10所示，是两个连续周期内光强变换情况相同时逻辑判定电路12的关键信号vc、vcd和va的输出波形示意图；从图中vph的变化可以看出在两个连续的周期t内，都感应到了足够的光照强度，产生了相同的电压变化量。因此虽然差分比较器电路7输出高电平代表感应到了光照强度，但是由于光强变化探测电路9并没有感应到动态变化的光强信息，因此输出低电平。同时逻辑判定电路也输出低电平。

如图11所示，是两个连续周期内光强变换情况不同时逻辑判定电路12的关键信号vc、vcd和va的输出波形示意图；从图中vph的变化可以看出在两个连续的周期t内，都感应到了足够的光照强度，但是两个周期内产生的电压变化量并不相同。因此差分比较器电路7输出高电平代表感应到了光照强度，并且光强变化探测电路9也感应到了动态变化的光强信息，因此也输出高电平。同时逻辑判定电路也输出高电平，代表识别到了动态传感数据，并将该数据存储到给sram单元17中。

如图12所示，是所述权值写入电路15的结构示意图，其主要由写入管59、60，偏置管57、58组成，其中61、62是寄生电容，其工作原理如下：当需要写入相应的权值数据w时，需要同时输入信号63和其反相信号64，假设需要向sram单元17写入数据“1”，则输入信号63为低电平，其反相信号64为高电平，则节点65(bl)被拉低到gnd，同时节点66(blb)被充电到vdd，写入数据“0”也可以同理分析，再通过与sram单元17的相应控制信号配合，就能够将权值数据稳定地写入sram单元17中。

如图13所示，是所述sram单元17的单个存储单元结构示意图，pmos管67和nmos管71组成的cmos反相器与pmos管68和nmos管72组成的cmos反相器首尾相连，该结构即为经典的sram结构，可用于存储1比特数据。要存储数据“1”，则需要信号65(bl)保持高电平，而信号66(blb)保持低电平；要存储数据“0”，则需要信号65(bl)保持低电平，而信号66(blb)保持高电平。当需要向sram单元17存入数据时，需要先通过所述权值写入电路15的预处理，即当权值写入电路15对数据节点65(bl)和节点66(blb)预充电，写入数据准备好以后，写入控制信号73才保持高电平，允许数据写入，此时完成权值数据的写入；传感数据也存储在sram单元17中，写入的原理同上所述。

如图14所示，是权值写入电路和sram单元的整体电路结构示意图。

如图15所示，是所述数字逻辑单元19的架构示意图，所述数字逻辑单元19是利用数字电路实现的，其主要包括乘法器76，计数器77，脉冲产生单元78。假设外部权值数据与传感数据均为1bit的数据，则所述乘法器76的具体运算法则为，外部输入权值与传感数据的进行相与运算；所述计数器用于统计乘法运算结果的数据出现“1”的个数；而所述脉冲产生单元根据计数器统计结果，发放相等数目的的短时间脉冲信号。

如图16所示，是所述模拟累加器21的电路结构示意图，其主要由充电管80，放电管81，求和电容84以及缓冲器86组成，工作原理如下：保持信号83为低电平，只要当上述脉冲产生单元78发放一次脉冲时，充电管80就会向求和电容84进行等时间、短时间、小电流的充电过程，该充电电流就会在求和电容84上形成求和电压，并由缓冲器86向后续电路读出，而求和电压也可以通过放电管81进行清零。

如图17所示，是所述线性放大器23的示意图，由高精度的运算放大器90和输入电阻87、匹配电阻88、反馈电阻89组成，根据运算放大器“虚短”“虚短”的原理可以推出：vout＝﹣r2/r1×va，即能够对模拟累加器输出结果进行线性运算，进一步放大，得到系统最后的输出vout。

如图18所示，是模拟累加器21和线性放大器23工作时的输出电压的示意图。从图中可以看出，当数字逻辑单元19得到乘法运算的结果后，通过脉冲产生单元78向模拟累加器21发放对应的脉冲信号，向模拟累加器21充电。每产生一个脉冲信号，模拟累加器21上的电压vq就增加△v，并且通过电压跟随器86可以由线性放大器23读出，并且能够放大-r2/r1倍。

如图19所示，是另一种实现4bit权值与1bit传感数据进行乘法运算的数字电路结构示意图。其中，权值写入电路15、逻辑判定电路12、sram单元的结构和工作原理不变，而由外部输入权值23先向sram单元17中存入4bit的权值数据。将4bit的权值数据与1bit的传感数据进行运算，乘法运算的具体规则改变为：4bit的权值数据与1bit的传感数据相与运算；即每当逻辑判定电路12向sram单元17存入一个“1”，就将4bit的权值数据向8bit加法器100累加一次；如果逻辑判定电路12向sram单元17存入的数据是“0”，则保存之前8bit加法器100中的的数据，直到8bit加法器100溢出，此时清零该8bit加法器100。8bit加法器100的初值设定为8’b00000000。该数字逻辑单元98也可以通过数字电路来实现。