用于AER图像传感器的实时特征提取方法与流程

本发明涉及AER图像传感器图像处理领域，尤其涉及一种以AER为信息载体的特殊图像卷积实时特征提取方法。具体讲,涉及用于AER图像传感器的实时特征提取方法。

背景技术：

AER(Address-Event Representation,AER，地址-事件表示)图像传感器可以有效地降低数据冗余，具有超高速，高实时性等特点，研究与AER图像传感器相适应的特殊图像后端处理芯片，可以摆脱“帧”的限制，以事件为研究对象，对前端传感器产生的事件流进行实时接收和运算。

参考图1，图的上半部分表示传统图像传感器的图像采集传输过程，其以“帧”为单位，只有达到一帧的周期才会输出图像，很难实现图像的实时处理。图的下半部分为AER图像传感器的图像采集传输过程，AER图像传感器并没有帧的概念，当任何一个像素感受到光强发生变化时，就立刻输出一个事件，可以实现事件的实时输出。

在基于帧的图像处理算法中，卷积处理算法是其中比较常用的一种，通过对每一帧图像的卷积操作来实现特征的抽取和增强。由于AER图像传感器的上述特点，因此需要采用与其相适应的卷积算法来实现事件的处理。

参考图2，是一种以AER为信息载体的卷积处理过程，在图2最上方的图中，假设只有两个事件输出，AER图像传感器输出的事件信息中包含事件的地址和时间信息，分别是100ns时(3,3)处和200ns时(2,3)处。图2中间两图是假定的卷积核矩阵，是一个3×3的矩阵。图2最下方的四张图中，以事件所指示的地址为中心，卷积核被累加到了卷积阵列中，实现了事件的卷积过程。

技术实现要素：

为克服现有技术的不足，本发明旨在提出图像传感器的实时特征提取方法，该方法具有高速，实时性的特点，提取出的特征包含很好的尺度和角度信息。为此，本发明采用的技术方案是，用于AER图像传感器的实时特征提取方法，AER图像传感器的输出事件作为特征提取的输入，经过卷积层S1的卷积操作，再经过类最大化操作C1层的最大化操作，即能够提取出相应的特征信息；其中，实现事件的卷积操作的S1层中包含N1个卷积模块，每个卷积模块都配置一种卷积核，采用Gabor函数来计算生成卷积核，Gabor函数的计算如公式(1)所示：

μ₀＝μcosθ+νsinθ

ν₀＝-μsinθ+νcosθ (1)

其中μ和ν分别代表生成的卷积核的横纵坐标，λ代表正弦函数波长；θ代表Gabor核函数 的方向，σ代表高斯函数的标准差，γ代表空间长宽比，决定Gabor函数的形状，μ₀是横坐标的转向坐标，ν₀是纵坐标的转向坐标。

C1层对S1层的卷积结果进行最大化操作来进一步提取特征，最大化操作是采用两级的MAX操作来提取特征，第一级的最大化操作是在每个卷积特征图map1中，每个点的值都与其相邻的Q个点的值相比较，如果中心点的值不是最大值，则该点未赢得最大化；如果中心点是最大值，则该点赢得最大化操作；第二级的最大化操作是在不同卷积模块的卷积特征图map2之间进行，如果某一位置赢得了第一级的最大化操作，该位置的卷积结果需要跟相同尺度，不同角度卷积核的卷积结果再进行最大化操作，以此得到角度特征信息，类似的相同角度，不同尺度卷积核的卷积结果也要进行最大化操作，以得到尺度特征信息，经过两级的最大化操作，得到提取出包含角度和尺度信息的特征信息，用于后续的识别。

本发明的特点及有益效果是：

本发明提出的包含多卷积，两级最大化操作的特征提取方法，充分利用了AER图像传感器输出事件的特点，具有高速，实时性的特点，经过两级的最大化操作，提取出的特征包含了很好的尺度和角度信息。

附图说明：

图1传统图像传感器与AER图像传感器对比。

图2 AER事件卷积过程。

图3实时特征提取结构图。

图4不同角度和尺度的MAX操作。

具体实施方式

本发明提出的实时特征提取方法，其结构如图3所示。该结构是一个两层结构，AER图像传感器的输出事件作为特征提取模块的输入，经过卷积层(S1)的卷积操作，再经过类最大化操作(C1)层的最大化操作，就可以提取出相应的特征信息。

S1层实现事件的卷积操作，该层中包含N1个卷积模块，每个卷积模块都配置一种卷积核，本发明中采用Gabor函数来计算生成卷积核，Gabor函数的计算如公式(1)所示：

μ₀＝μcosθ+νsinθ

ν₀＝-μsinθ+νcosθ (1)

其中μ和ν分别代表生成的卷积核的横纵坐标，λ代表正弦函数波长；θ代表Gabor核函数的方向，σ代表高斯函数的标准差，γ代表空间长宽比，决定Gabor函数的形状，μ₀是横坐标的转向坐标，ν₀是纵坐标的转向坐标。

C1层对S1层的卷积结果进行最大化(MAX)操作来进一步提取特征。采用两级的MAX操作来提取特征，第一级的最大化操作是在每个卷积特征图(map1)中，每个点的值都与其相 邻的Q个点的值相比较，如果中心点的值不是最大值，则该点未赢得最大化；如果中心点是最大值，则该点赢得最大化操作。第二级的最大化操作是在不同卷积模块的卷积特征图(map2)之间进行，如果某一位置赢得了第一级的最大化操作，该位置的卷积结果需要跟相同尺度，不同角度卷积核的卷积结果(map)再进行最大化操作，以此得到角度特征信息，类似的相同角度，不同尺度卷积核的卷积结果(map)也要进行最大化操作，以得到尺度特征信息。经过两级的最大化操作，就可以得到提取出包含角度和尺度信息的特征信息，可以用于后续的识别等。

本发明的具体实例是，S1层采用Gabor公式计算的值作为卷积核，公式(1)中的λ＝5，σ＝2.8，卷积核的尺度分别设为3×3，,5×5，,7×7，9×9，每种尺度下又分别设置4个不同角度分别为0°，45°，90°和135°，因此S1层一共包括16个卷积模块实现卷积功能。C1层实现两级的MAX操作，根据S1的卷积结果(maps)C1层实现相应的操作，提取出包含尺度和角度信息的特征，如图4所示，代表了对S1层16种卷积核的卷积结果的两级MAX操作，垂直方向为4种不同的尺度，水平方向为4种角度，虚线部分给出了该两级MAX操作的一种示例。