一种基于脉冲神经网络的图像特征描述方法与流程

本发明属于智能计算领域，具体涉及一种基于脉冲神经网络的图像特征描述方法。

背景技术：

在对物体的识别能力上，生物的视觉系统相对于目前的计算机视觉系统拥有更强大的能力。当两个不同的图像同时出现在人类试验者的左右时，试验者可以在120-130毫秒的时间内选择出目标物体。如果我们假定人类的视觉系统中的处理延迟是20-30毫秒，这意味着潜在的视觉处理可以在100毫秒或更短的时间内完成。在最新的猴子脑电试验中，记录颞叶皮层(it)的数据显示，在12.5ms的时间段内脉冲点火(spike)，并且在刺激发起之后仅约100ms产生关于视觉刺激的信号。

计算机视觉是使用计算机及相关设备模拟生物视觉，其最终研究目标是使计算机能像人一样通过视觉观察和理解世界，对环境具有自主适应能力。目前，计算机视觉广泛应用于工业、军事等领域，具体应用包括机器人路径规划、无人机侦查、自主战斗等。然而，要实现上述应用，其中一项最基本且重要的研究内容是计算机视觉中的图像分类与识别。其研究思路是：首先，设计一种图像特征的描述和记忆方法；然后，用该方法描述和记忆训练图像，并记录描述和记忆结果；最后，用同样的方法描述和记忆测试图像，并记录描述和记忆结果，将训练图像和测试图像的描述和记忆结果进行比较，最终实现图像分类与识别。可以看出，从很大程度上说，图像特征的描述和记忆方法决定了图像分类与识别的效果。

传统的图像分类和识别算法是将图像分解为一系列局部区域，提取局部区域中的图像特征，用所有局部特征集合来描述和记忆图像。在上述方法中，特征的选择与提取较为繁琐，且计算复杂。后来，有研究者将卷积神经网络应用于图像描述和记忆，一定程度上改善了传统的图像描述和记忆方法中特征提取的复杂度。卷积神经网络借鉴了人类视觉系统的层级结构和局部感受野特性，网络中每个神经元表示一种特征，上层特征由下层某一局部区域内的特征经线性组合及非线性变换后得到。通过反向传播算法训练该网络可自动提取对分类最有影响的特征，因而这类方法在很大程度上提高了图像分类准确率。

综上所述，现有技术存在的问题是：无论是采用集合方法还是线性组合方法来描述图像局部特征的组合，都会丢失特征之间的相对位置信息，导致无法根据记忆对图像进行较完整的恢复，即现有的这些方法对于图像的描述和记忆还不够完整。

技术实现要素：

针对现有技术中的上述不足，本发明提供了一种特征选择与提取简便，计算方便，提取特征区分性强，提取效果好以及实用性高的基于脉冲神经网络的图像特征描述方法，保证了提取特征的不变性，解决了现有技术存在的特征选择与提取繁琐，计算复杂，提取的特征对物体的区分性弱，重要特征易丢失和改变以及无法根据记忆对图像进行较完整的恢复的问题。

为了达到上述发明目的，本发明采用的技术方案为：

一种基于脉冲神经网络的图像特征描述方法，包括如下步骤：

s1：对原始图像进行预处理，得到处理后图像；

s2：使用sobel算子对脉冲神经网络的gabor滤波器卷积层进行稀疏化处理，得到稀疏gabor滤波器卷积层；

s3：将处理后图像输入稀疏gabor滤波器卷积层进行特征提取，得到处理后图像中每个像素点处的梯度方向；

s4：根据每个像素点处的梯度方向，得到卷积特征图；

s5：根据卷积特征图，使用编码层进行spiking编码与采样处理，得到编码层神经元输出的脉冲序列；

s6：根据脉冲序列，使用改进的tempotron算法，学习编码层神经元到学习层神经元的连接权重；

s7：根据编码神经元和学习神经元的发放时刻，进行处理后图像的描述，根据连接权重，进行图像特征的描述。

进一步地，所述步骤s1中，进行预处理，即将原始图片转换为灰度图，并通过插值采样将灰度图都压缩至100*100像素。

进一步地，所述步骤s3中，梯度方向的计算公式为：

式中，θ(x,y)为在图像(x,y)处的梯度方向，即θ；gx和gy为在图像(x,y)处的偏导数。

进一步地，所述步骤s5中，spiking编码与采样处理的方法，包括如下步骤：

s5-1：使用spiking编码算法，将卷积特征图转换为spiking初始时空信号；

s5-2：采用基于差异延迟的采样算法对spiking初始时空信号进行采样，得到采样特征图；

s5-3：根据采样特征图输出采样时空信号，即脉冲序列。

进一步地，步骤s5-1中，将卷积特征图的每一个像素点模拟成神经元，spiking编码算法即脉冲时间编码算法的计算公式为：

式中，fij为脉冲编码函数；pij为在坐标(i,j)处的像素值；pmax为数字图像中最大的像素值；t为时间窗口。

进一步地，所述步骤s5-2中，脉冲传递的延迟时间的计算公式为：

式中，dij为在坐标位置(i,j)出神经元的脉冲传递的延迟时间；(xc，yc)为感受野的中心位置；k为超参数；d为基本延迟时间。

进一步地，步骤s6中，使用改进的tempotron算法中，膜电压的计算公式为：

式中，v(t)为在时刻t的神经元的膜电压；ωi为各个前突触的影响权重；ti表示第i个输入神经元发射脉冲的时刻；k(t-ti)为第i个神经元的在ti时刻对突触后膜电位的影响；vrest为重置膜电压；

影响函数的计算公式为：

k(t-ti)＝v0(exp[-(t-ti)/τ]-exp[-(t-ti)/τs])

式中，k(t-ti)为第i个神经元的在ti时刻对突触后膜电位的影响；v0为原始膜电压；τ和τs均为时间常数。

进一步地，步骤s6中，使用改进的tempotron算法中，误差函数的公式为：

式中，vhigh为模式为正类时，神经元设定的点火阈值；vlow为模式为负类时，神经元设定的点火阈值；tmax为最大膜电压的时间；vtmax为最大膜电压。

进一步地，步骤s6中，使用改进的tempotron算法中，权重更新的公式为：

式中，δwi为权重更新函数；tmax为最大膜电压的时间；λ为学习率；k(tmax-ti)为第i个神经元的在ti时刻对突触后最大膜电压的影响。

本方案的有益效果为：

(1)本发明实现了对于图像的描述和记忆，提高了实用性；

(2)通过构造多尺度多方向的gabor滤波器卷积核对原始图像进行卷积，这比传统的滤波器更具有生物解释性，并且由于特征从多角度多方向获得，因此提取的特征对物体的区分性很强；

(3)gabor滤波器有不同的角度方向，在进行卷积时，图像的边缘切线和gabor滤波器的角度越接近，则卷积的结果越大的特点；在遍历卷积之前，使用sobel算子计算边缘的切线角度，根据切线角度和gabor滤波器方向的差异决定是否进行卷积运算，提高了实用性；

(4)改进后的卷积方法，在加快了计算速度的同时，并不会对卷积层的结果产生太大的影响，重要的特征得以保留，改善了特征的提取效果；

(5)在对卷积层的采样中，通过模拟感受野的生物神经系统，对输入的脉冲序列添加了不同的处理延时，相对于直接的采样，更符合生物视觉的神经特点，提高了采样的准确性；

(6)随后在多尺度上进行采样，保留了同方向的最重要特征，过滤了不必要的冗余信息，保证了特征的不变性。

附图说明

图1为基于脉冲神经网络的图像特征描述方法流程图；

图2为脉冲神经网络模型图；

图3为卷积特征图；

图4为进行spiking编码与采样处理的方法流程图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

本发明实施例中，一种基于脉冲神经网络的图像特征描述方法，如图1所示，包括如下步骤：

s1：对原始图像进行预处理，即将原始图片转换为灰度图，并通过插值采样将灰度图都压缩至100*100像素，得到处理后图像；

s2：使用sobel算子对如图2所示的脉冲神经网络的gabor滤波器卷积层进行稀疏化处理，得到稀疏gabor滤波器卷积层；

s3：将处理后图像输入稀疏gabor滤波器卷积层进行特征提取，得到处理后图像中每个像素点处的梯度方向；

梯度方向的计算公式为：

式中，θ(x,y)为在图像(x,y)处的梯度方向，即θ；gx和gy为在图像(x,y)处的偏导数；

s4：根据每个像素点处的梯度方向，得到如图3所示的卷积特征图；

s5：根据卷积特征图，使用编码层进行spiking编码与采样处理，得到编码层神经元输出的脉冲序列，如图4所示包括如下步骤：

s5-1：将卷积特征图的每一个像素点模拟成神经元，使用spiking编码算法即脉冲时间编码算法，将卷积特征图转换为spiking初始时空信号，计算公式为：

式中，fij为脉冲编码函数；pij为在坐标(i,j)处的像素值；pmax为数字图像中最大的像素值；t为时间窗口；

s5-2：采用基于差异延迟的采样算法对spiking初始时空信号进行采样，得到采样特征图，脉冲传递的延迟时间的计算公式为：

式中，dij为在坐标位置(i,j)出神经元的脉冲传递的延迟时间；(xc,yc)为感受野的中心位置；k为超参数；d为基本延迟时间；

s5-3：根据采样特征图输出采样时空信号，即脉冲序列；

s6：根据脉冲序列，使用改进的tempotron算法，学习编码层神经元到学习层神经元的连接权重；

使用改进的tempotron算法，计算公式如下：

膜电压的计算公式为：

式中，v(t)为在时刻t的神经元的膜电压；ωi为各个前突触的影响权重；ti表示第i个输入神经元发射脉冲的时刻；k(t-ti)为第i个神经元的在ti时刻对突触后膜电位的影响；vrest为重置膜电压；

影响函数的计算公式为：

k(t-ti)＝v0(exp[-(t-ti)/τ]-exp[-(t-ti)/τs])

式中，k(t-ti)为第i个神经元的在ti时刻对突触后膜电位的影响；v0为原始膜电压；τ和τs均为时间常数；

误差函数的公式为：

式中，vhigh为模式为正类时，神经元设定的点火阈值；vlow为模式为负类时，神经元设定的点火阈值；tmax为最大膜电压的时间；vtmax为最大膜电压；

权重更新的公式为：

式中，δwi为权重更新函数；tmax为最大膜电压的时间；λ为学习率；k(tmax-ti)为第i个神经元的在ti时刻对突触后最大膜电压的影响；

s7：根据编码神经元和学习神经元的发放时刻，进行处理后图像的描述，根据连接权重，进行图像特征的描述。

本发明提供了一种特征选择与提取简便，计算方便，提取特征区分性强，提取效果好以及实用性高的基于脉冲神经网络的图像特征描述方法，保证了提取特征的不变性，解决了现有技术存在的特征选择与提取繁琐，计算复杂，提取的特征对物体的区分性弱，重要特征易丢失和改变以及无法根据记忆对图像进行较完整的恢复的问题。