基于aer图像传感器的目标识别系统的制作方法
【技术领域】
[0001] 本发明涉及图像处理技术领域，尤其涉及一种基于事件驱动的后端处理系统，具 有实时、高速、并行、异步的优势，实现目标识别追踪的智能视觉图像应用。具体讲，即涉及 基于AER图像传感器的目标识别系统。
【背景技术】
[0002] 随着网络技术、通信技术和多媒体处理技术的不断发展，计算机视觉技术的广泛 应用，运动物体识别的研究价值日渐凸现。它在交通监控、周界防护、虚拟现实、人机交互及 移动机器人导航等领域都有着广泛的应用。在智能监控系统中，对运动目标实现无人检测、 监控是当今研究的热点问题，涉及到图像获取、图像处理、模式识别和人工智能等多领域的 核心技术。
[0003] 传统的目标识别系统包括图像采集和后端处理系统，参考图1，图像采集多采用 CMOS图像传感器采集图像，后端处理系统包括预处理、特征提取及识别过程。后端处理系统 读取图像信息后，首先采用平滑滤波对图像进行预处理，而图像信息处理的方法有很多，对 于目标识别追踪，最初的提取特征算法有背景差分法、帧间差分法、光流方法、数学形态学 方法等，最终实现识别的功能。
[0004] 传统的目标识别系统往往存在一些不足。如：图像传感器将获取的大量原始图像 数据串行传送到后端处理系统中进行处理，由于是串行传送，所以存在严重的带宽限制；后 端处理系统利用软件对图像进行处理也是逐个像素串行处理的，由于串行传输和串行处理 的限制，传统目标识别系统的处理速度远远无法满足高速实时性需求。另外，传统目标识别 算法虽然操作简单，但考虑到目标形状的多样性，形状模型集和计算非常复杂，不能达到目 标追踪的实时输出，且面对复杂目标和背景噪声干扰大的图像时，提取结果也不够理想。因 此，设计一种实时、高速的目标识别系统是十分必要的。
【发明内容】
[0005] 为克服现有技术的不足，提供一种基于AER异步事件驱动的目标识别系统。该系统 能够实时采集并处理从摄像头采集的图像信息，实现目标识别并提供目标位置参数等信 息。为此，本发明采取的技术方案是，基于AER图像传感器的目标识别系统，利用图像传感器 和后端处理系统两部分实现，图像传感器选用基于地址-事件表示（Address-Event Rep reSentati〇n，AER)方法的图像传感器，用于高速采集图像数据，采集的图像数据并行传 输到仲裁机制模块中，通过仲裁机制模块判断传输的先后顺序并形成时间标签，时间标签 仅包含时间信息和位置坐标信息，图像数据和时间标签并行传输到后端处理系统中；后端 处理系统用于对接收来自AER图像传感器的事件数据进行快速并行计算处理，提取出运动 目标，计算目标位置参数，并显示出处理结果;其中后端处理系统由用于提取特征信息的多 级卷积处理模块和神经网络模块构成。
[0006] 多级卷积处理模块由事件触发，并行接收前端图像传感器输出的事件信息，根据 其地址映射关系，仅对传感器像素光强变化的地址进行卷积处理；多级卷积处理模块共含 有a层，每层由多个二维平面组成，也就是子模块，设定义每层含有h个子模块，i为所处模 块层数，如第2层含有132个子模块，每一层卷积处理模块处理方法不同，处理方法分为提取 特征法和下采样方法，每层仅用一种处理方法，多级卷积处理模块各层采用提取特征法和 下采样方法交替进行。
[0007]提取特征法主要是:选取mi X m大小的加伯变换Gabor卷积核，加伯变换，是小波变 换的一种，为加窗的傅立叶变换，唯一达到测不准关系下分界的函数，同一层中不同子模块 的π^ιη数值可能不同，以提取不同尺度下的目标特征信息，Gabor滤波器的频率和方向表示 接近人类视觉系统对于频率和方向的表示，表达式为：
[0008]
(1)
[0009] u = xcos9+ysin9 (2)
[0010] v = -xsin9+ycos9 (3)
[0011 ]其中，Θ是滤波器的方向，通过变换θ，以提取不同方向下的目标特征信息，〇u〇v分别 是高斯包络在u轴和v轴上的标准差，u轴平行于θ，ν轴垂直于0，f表示滤波器的频率。
[0012] Gabor卷积核仅对像素输出事件的地址及其邻域进行卷积累加，邻域尺寸与对应 卷积核尺寸一致，当累加值超过设定阈值范围时，就会输出新的事件给卷积处理模块的下 一层。
[0013] 下采样方法则是将图像分割为p个ClXCl大小的区域（Cl>l，为像素阵列的整除 数），将区域内所有点求和除平均值，设定P个权值依次与所得平均值相乘，下采样 时每个子模块中P个权值是--对应、完全相同的；
[0014] 卷积处理模块中同层的各个子模块同时接收事件，以此形成高度并行的卷积处理 模块，实现图像初级到高级的分级处理;经过多级卷积处理模块提取特征信息后，将多级卷 积处理模块与神经网络进行全连接，使特征信息传入神经网络输入层中，神经网络选取BP 神经网络，含有一个输入层，c个隐含层，一个输出层，输入层神经元个数与多级卷积处理模 块最后输出目标特征信息个数相同，隐含层个数为d个，输出层个数与设定可识别目标种类 一致;通过在神经网络中反复的训练学习，最终输出目标类别并提供目标位置参数信息。
[0015] 卷积处理模块和神经网络可设计成数字电路集成在芯片上实现，或通过编码在 FPGA上实现。
[0016] 本发明的特点及有益效果是：
[0017]在图像信息采集及目标识别基础上提出基于AER图像传感器的目标识别系统，突 破了原有图像处理基于"帧"的串行处理模式，完善了基于AER方式仿生视觉系统的模型架 构，减少处理数据量及冗余信息，大幅度提升视觉系统的等效处理帧频，满足了高速实时性 的需求。后端处理系统采用并行体系架构，将卷积与神经网络相结合，仅输出少量图像特征 数据及分析识别结果，便可处理复杂度更高的图像，智能化程度高，鲁棒性更好。
【附图说明】：
[0018]图1传统目标识别系统流程图。
[0019]图2基于AER图像传感器的目标识别系统流程图。
[0020]图3多级卷积处理模块示意图。
[0021] 图4神经网络示意图。
[0022]图5目标识别系统架构图。
【具体实施方式】
[0023]本发明的构思是:减小传输数据量及并行传输数据可以提高系统的运行速度，达 到实时性需求。本发明包括两部分:一是图像传感器，另一个是后端处理系统。图像传感器 选用基于地址-事件表示(Address-Event Representation，AER)方式的图像传感器，用于 高速采集图像数据，并将采集的图像数据并行传输到后端处理系统中；后端处理系统用于 对接收来自AER图像传感器的事件数据进行快速并行计算处理，提取出运动目标，计算目标 位置参数，并显示出处理结果。
[0024]基于AER图像传感器的目标识别系统的工作过程如下，参考图2。首先利用AER图像 传感器选用32 X 32像素阵列，灵敏捕获光强变化的像素点，过滤掉无用的背景信息，减少传 输数据量，将数据并行传输到仲裁机制模块中，通过仲裁机制模块判断传输的先后顺序并 形成时间标签，时间标签仅包含时间信息