用于aer图像传感器的全数字多卷积核卷积处理芯片的制作方法
【技术领域】
[0001]本发明涉及AER图像传感器图像处理领域，尤其涉及一种以AER为信息载体的特殊图像卷积处理芯片。
【背景技术】
[0002]AER(Address-Event Representat1n，AER，地址-事件表不)图像传感器可以有效地降低数据冗余，具有超高速，高实时性等特点，研究与AER图像传感器相适应的特殊图像后端处理芯片，可以摆脱“帧”的限制，以事件为研究对象，对前端传感器产生的事件流进行实时接收和运算。
[0003]参考图1，图的上半部分表示传统图像传感器的图像采集传输过程，其以“帧”为单位，只有达到一帧的周期才会输出图像，很难实现图像的实时处理。图的下半部分为AER图像传感器的图像采集传输过程，AER图像传感器并没有帧的概念，当任何一个像素感受到光强发生变化时，就立刻输出一个事件，可以实现事件的实时输出。
[0004]在基于帧的图像处理算法中，卷积处理算法是其中比较常用的一种，通过对每一帧图像的卷积操作来实现特征的抽取和增强。由于AER图像传感器的上述特点，因此需要采用与其相适应的卷积算法来实现事件的处理。
[0005]参考图2，是一种以AER为信息载体的卷积处理过程，在图2最上方的图中，假设只有两个事件输出，AER图像传感器输出的事件信息中包含事件的地址和时间信息，分别是10ns时(3，3)处和200ns时(2，3)处。图2中间两图是假定的卷积核矩阵，是一个3 X 3的矩阵。图2最下方的四张图中，以事件所指示的地址为中心，卷积核被累加到了卷积阵列中，实现了事件的卷积过程。
【发明内容】
[0006]为克服现有技术的不足，根据AER特殊卷积处理过程，本发明提出一种用于AER图像传感器的全数字多卷积核卷积处理芯片。为此，本发明采取的技术方案是，用于AER图像传感器的全数字多卷积核卷积处理芯片，由AER输入模块、控制与时序模块、卷积核存储区、译码和移位部分、事件积分器阵列、AER输出模块、缓存与行列仲裁，AER图像传感器输出的每个事件，通过AER输入模块进入卷积芯片，通过控制与时序模块，根据控制指令和信号事件的时间标记，将视觉传感器产生的异步事件转换为卷积处理芯片的内部同步事件，以便进行同步运算处理，并且控制卷积核存储区选取需要的卷积核，卷积核存储区中的卷积核通过译码和移位部分将卷积核转化为二进制补码形式，并映射到事件积分阵列的相应地址中；在事件积分器阵列中，根据卷积窗口的具体形状和大小对以该地址为中心的特定区域进行卷积运算处理；当多个地址都产生AER输出请求时，由缓存与行列仲裁采用二维仲裁的方式依次输出，即先按照行进行仲裁，然后进行列仲裁，通过AER输出模块进行排序输出。
[0007]卷积核存储区:设置核RAM将需要的多卷积核保存在核RAM中，根据事件特征提取过程中需要使用的卷积核的数量，大小和精度计算出全部所需要的存储量，设置相应大小的核RAM来保存所有的卷积核;在卷积处理芯片接收外部事件时，控制与时序模块根据其事件发出地址从查找表中读取卷积核的配置参数，从核RAM中读取卷积核，然后由控制器控制进行卷积累加产生输出事件。
[0008]控制和时序部分主要通过控制状态机来实现:控制状态机初始处于复位状态，等待新的输入事件，当有新的输入事件到达时，控制状态机根据事件的地址信息，从核RAM中读取需要的卷积核;选定卷积核后，状态机判定所选择的卷积核阵列是完全处于像素阵列中，还是部分处于像素阵列中，或者完全处于像素阵列外，共三种状态；如果是上述三种状态的最后一种状态，则不对该事件进行操作，并返回到初始复位状态;如果是上述第一种状态，则状态机产生控制其他操作的读写使能信号，控制实现后续的卷积累加；如果是状态二，则需要先控制卷积核进行移位操作，移位到相应的位置，然后再产生其他的控制使能信号。
[0009]本发明的特点及有益效果是:
[0010]根据以AER为信息载体的特殊卷积原理提出的全数字卷积处理芯片，既保证了对输入事件的实时处理，同时还可以实现任意形状，不同大小的多卷积核的卷积功能。采用全数字的设计方法可以使整个芯片具有更高的精度和更快的处理速度。
【附图说明】
:
[0011 ]图1传统图像传感器与AER图像传感器对比。
[0012]图2 AER事件卷积过程。
[0013]图3全数字AER卷积处理器基本结构图。
[0014]图4AER卷积运算单元基本结构图。
[0015]图5AER卷积处理芯片控制模块基本结构图。
【具体实施方式】
[0016]本发明提出的全数字多卷积核卷积处理芯片，其结构如图3所示。全数字卷积处理芯片包括事件积分器阵列、卷积核存储区、控制与时序、行列仲裁等七个部分，各部分功能如下。
[0017](I)事件积分器阵列:该结构主要包括了高精度、低功耗累加器和阈值比较器，其工作过程如图4所示，控制开关根据前端视觉传感器光强事件的发生地址，将卷积核读取到事件积分阵列中，加法器和累加器完成此次权重与历史累加值的相加，比较器对当前值与阈值进行比较，超过阈值则产生输出请求。
[0018](2)卷积核存储区:为了探测不同的空间特征，需要由多个卷积模板对视觉传感器输出的某个AER事件进行卷积运算，从而实现对应目标特征的识别提取。本发明提出的设计可以实现多个卷积核的卷积功能，这部分具体实现方式如下:设计核RAM，将需要的多卷积核保存在核RAM中，根据事件特征提取过程中需要使用的卷积核的数量，大小和精度计算出全部所需要的存储量，然后设计出相应大小的核RAM来保存所有的卷积核。在卷积芯片接收外部事件时，控制与时序模块根据其事件发出地址从查找表中读取卷积核配置参数，以及从核RAM中读取卷积核，然后由控制器控制进行卷积累加产生输出事件。
[0019](3)缓存与行列仲裁:多个并发的AER输出请求采用二维仲裁方式进行处理，即先按照行进行仲裁，由此产生的一列并发响应请求采用列仲裁方式进行排序输出；未被选中的请求信号会存入缓存在队列中等候处理；
[0020](4)控制与时序