和位置坐标信息，将时间标签传输给并行的多级 卷积处理模块。多级卷积处理模块将视觉模式分解成许多子模块(特征），然后进入分层递 阶式相连的特征平面进行处理，将视觉系统模型化，即使在物体有位移或轻微变形的时候， 也能完成识别。
[0025]多级卷积处理与传统的卷积处理方法不同，多级卷积处理模块由事件触发，并行 接受前端图像传感器输出的事件信息，根据其地址映射关系，仅对传感器像素光强变化的 地址进行卷积处理。参考图3。
[0026]卷积处理模块和神经网络可设计成数字电路集成在芯片上实现，或通过编码在 FPGA上实现。
[0027]选取4层卷积处理模块，每层由多个二维平面组成，也就是子模块，第一层选取提 取特征法，含有16个子模块，卷积核为Gabor变换来提取不同方向、不同尺度下的目标特征 信息，角度Θ分别选取〇、了、々、，尺寸miXni分别选取3X3,5X5,7X7,9X9， 4 2 4 Gabor滤波器的频率和方向表示接近人类视觉系统对于频率和方向的表示，表达式为：
[0028]
CD
[0029] u = xcos9+ysin9 (2)
[0030] v = -xsin9+ycos9 (3)
[0031] 其中，Θ是滤波器的方向，〇u〇v分别是高斯包络在u轴和v轴上的标准差( u轴平行于 Θ，v轴垂直于Θ) i表示复正弦函数的频率。
[0032] 第二层采用下采样方法则是将图像分割为16X16个大小为2X2的区域，求平均后 乘以权值，使尺寸缩减为16X16。第三、四层的方法与一、二层相似，第三层采用提取特征 法、第四层采用下采样方法。
[0033]经过多级卷积处理模块提取特征信息后，将多级卷积处理模块与神经网络进行全 连接，使特征信息传入神经网络输入层中，神经网络选取BP神经网络，参考图4，含有一个输 入层，一个隐含层，一个输出层，输入层神经元个数与多级卷积处理模块最后输出目标特征 信息个数相同，隐含层元胞数为8个，输出层个数与设定可识别目标种类一致选为4个。如图 5所示，是基于本实施例视觉图像处理系统的高速目标识别追踪算法流程。本发明所提出的 运动物体识别算法支持三类运动的识别:平移、下蹲、跳起。利用人工神经网络进行识别，人 工神经网络经过充分的训练学习之后就是识别过程，注意到待识别动作中的一种特殊情况 (即没有待识别区域的"空白"手势），神经网络将输出空，因此，会有四种输出结果。
【主权项】
1. 一种基于AER图像传感器的目标识别系统，其特征是，利用图像传感器和后端处理系 统两部分实现，图像传感器选用基于地址-事件表示(Address-Event Representation, AER)方法的图像传感器，用于高速采集图像数据，采集的图像数据并行传输到仲裁机制模 块中，通过仲裁机制模块判断传输的先后顺序并形成时间标签，时间标签仅包含时间信息 和位置坐标信息，图像数据和时间标签并行传输到后端处理系统中；后端处理系统用于对 接收来自AER图像传感器的事件数据进行快速并行计算处理，提取出运动目标，计算目标位 置参数，并显示出处理结果；其中后端处理系统由用于提取特征信息的多级卷积处理模块 和神经网络模块构成。2. 如权利要求1所述的基于AER图像传感器的目标识别系统，其特征是，多级卷积处理 模块由事件触发，并行接收前端图像传感器输出的事件信息，根据其地址映射关系，仅对传 感器像素光强变化的地址进行卷积处理;多级卷积处理模块共含有a层，每层由多个二维平 面组成，也就是子模块，设定义每层含有h个子模块，i为所处模块层数，如第2层含有b 2个子 模块，每一层卷积处理模块处理方法不同，处理方法分为提取特征法和下采样方法，每层仅 用一种处理方法，多级卷积处理模块各层采用提取特征法和下采样方法交替进行。3. 如权利要求2所述的基于AER图像传感器的目标识别系统，其特征是，提取特征法主 要是:选取nu X m大小的加伯变换Gabor卷积核，加伯变换，是小波变换的一种，为加窗的傅 立叶变换，唯一达到测不准关系下分界的函数，同一层中不同子模块的 mi、m数值可能不同， 以提取不同尺度下的目标特征信息，Gabor滤波器的频率和方向表示接近人类视觉系统对 于频率和方向的表示，表达式为： f if u2v2 \1 te(x ：>)二 expj ----+-~- cos(2^/z/) (61) ? 2:K crjJJ · u = xcos9+ysin9 (2) v = -xsin9+ycos9 (3) 其中，Θ是滤波器的方向，通过变换Θ，以提取不同方向下的目标特征信息，〇u〇v分别是高 斯包络在U轴和V轴上的标准差，U轴平行于θ，ν轴垂直于0，f表示滤波器的频率； Gabor卷积核仅对像素输出事件的地址及其邻域进行卷积累加，邻域尺寸与对应卷积 核尺寸一致，当累加值超过设定阈值范围时，就会输出新的事件给卷积处理模块的下一层。4. 如权利要求2所述的基于AER图像传感器的目标识别系统，其特征是，下采样方法则 是将图像分割为pfClX Cl大小的区域，Cl>l，为像素阵列的整除数，将区域内所有点求和除 Cl X (^取平均值，设定P个权值依次与所得平均值相乘，下采样时每个子模块中P个权值是一 一对应、完全相同的。5. 如权利要求1所述的基于AER图像传感器的目标识别系统，其特征是，卷积处理模块 中同层的各个子模块同时接收事件，以此形成高度并行的卷积处理模块，实现图像初级到 高级的分级处理;经过多级卷积处理模块提取特征信息后，将多级卷积处理模块与神经网 络进行全连接，使特征信息传入神经网络输入层中，神经网络选取BP神经网络，含有一个输 入层，c个隐含层，一个输出层，输入层神经元个数与多级卷积处理模块最后输出目标特征 信息个数相同，隐含层个数为d个，输出层个数与设定可识别目标种类一致;通过在神经网 络中反复的训练学习，最终输出目标类别并提供目标位置参数信息。6.如权利要求5所述的基于AER图像传感器的目标识别系统，其特征是，卷积处理模块 和神经网络可设计成数字电路集成在芯片上实现，或通过编码在FPGA上实现。
【专利摘要】本发明涉及图像处理技术领域，为能够实时采集并处理从摄像头采集的图像信息，实现目标识别并提供目标位置参数等信息，本发明采取的技术方案是，基于AER图像传感器的目标识别系统，利用图像传感器和后端处理系统两部分实现，图像传感器选用基于地址-事件表示方法的图像传感器，用于高速采集图像数据，采集的图像数据并行传输到仲裁机制模块中，通过仲裁机制模块判断传输的先后顺序并形成时间标签，时间标签仅包含时间信息和位置坐标信息，图像数据和时间标签并行传输到后端处理系统中；后端处理系统用于对接收来自AER图像传感器的事件数据进行快速并行计算处理，提取出运动目标，计算目标位置参数。本发明主要应用于图像处理。
【IPC分类】G06K9/00, G06T7/00, G06T7/20
【公开号】CN105469039
【申请号】CN201510801983
【发明人】徐江涛, 王含宇, 高志远, 聂凯明, 高静, 史再峰
【申请人】天津大学
【公开日】2016年4月6日
【申请日】2015年11月19日