一种基于忆阻的神经网络联想记忆方法与流程

本发明属于人工智能领域，更具体地，涉及一种基于忆阻特性和神经网络稳定性实现的联想记忆方法，可应用于模式识别。

背景技术：

在过去的几十年，神经网络已经成功的应用在图像处理、模式识别和优化控制等领域，其中联想记忆由于在分类识别方面的广泛应用而成为模式识别领域的热点之一。值得注意的是，目前关于神经网络电路的硬件实现是使用电阻来模拟生物神经元之间突触的连接强度，然而生物突触的连接强度是可变的，电阻的阻值却是固定的，这表明目前神经网络电路连接权并不能达到最优解。由于神经网络电路的连接权直接决定神经网络的精度和可靠性，因此目前基于电阻的神经网络电路联想记忆精度和可靠性都存在不足。

1971年，蔡少棠教授从对称性的角度预测除了电容、电感和电阻，电子电路还存在第四种基本元件，并将其命名为忆阻器。2008年5月，惠普实验室宣布制造出这种纳米级双端可变电阻。后来，忆阻器又被发现可同时进行布尔逻辑运算、数据处理和信息存储。忆阻器的优良特性暗示可以将忆阻器作为生物突触的电子等价物，从而实现类脑神经网络以弥补目前基于电阻实现的神经网络电路联想记忆精度和可靠性方面的缺陷。

技术实现要素：

本发明的目的是针对目前基于电阻实现的神经网络电路联想记忆精度和可靠性方面的缺陷，提出一种基于忆阻实现的神经网络联想记忆方法，以解决目前神经网络电路连接权不能达到最优解造成的联想记忆精度和可靠性受到限制的问题。

与现有技术比较，本发明的优点是：

1、借助忆阻器自身阻值可变的特性，解决了基于电阻实现的神经网络电路连接权不可调整的缺陷，具有更好的灵活性。

2、以忆阻实现的神经网络电路由于权值可调整，可实现神经网络连接权的最优解，进而提高了神经网络联想记忆的精度。

3、由于神经网络输出精度提高，从而使得神经网络联想记忆的可靠性性和准确性都得到提升。

4、由于忆阻器是纳米级材料，因此将传统神经网络电路中的电阻替换为忆阻将使得神经网络电路更加微型化。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是忆阻神经网络电路图；

图2是忆阻器simulink电气建模图；

图3是忆阻器电压-电流特性曲线图；

图4是忆阻器二值切换特性曲线；

图5是自联想记忆图；

图6是自联想记忆状态曲线轨迹图；

图7是自联想记忆输出曲线轨迹图；

图8是自联想记忆动态过程演化图；

图9是异联想记忆图；

图10是异联想记忆状态曲线轨迹图；

图11是异联想记忆输出曲线轨迹图；

图12是异联想记忆动态过程演化图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

在经典的联想记忆案例巴普洛夫的狗实验中，给狗喂食物时狗会分泌唾液；而只打铃不喂食物，狗不会分泌唾液；在喂食物的同时打铃，经过一段时间后，即使只打铃不喂食物，狗也会分泌唾液。巴普洛夫的狗实验展现了一个联想记忆的完整过程。

巴普洛夫的狗的实验中展现的完整联想记忆过程可分为自联想记忆和异联想记忆。自联想记忆定义为外部输入字母“l”，在任意初始条件下，神经网络都能联想记忆输出字母“l”。异联想记忆定义为外部输入字母“t”，在任意初始条件下，神经网络都能联想记忆输出字母“l”。其中喂食物产生唾液展现了自联想记忆过程，只打铃不喂食物则展现了异联想记忆过程。

本发明的基于忆阻的神经网络联想记忆方法具体包含如下步骤。

步骤1.通过用忆阻替换传统神经网络电路中的电阻获得基于忆阻的神经网络电路如图1所示。

如图1标注所示，cr的忆阻所代表的神经网络连接权矩阵为d，cp框的忆阻所代表的神经网络连接权矩阵为a，cg框的忆阻所代表的神经网络连接权矩阵为b。其中连接权d表示与电容并联的忆阻，连接权a表示激活函数项fn(xn(t))与电容电压xn(t)之间的忆阻，连接权b表示激活函数时滞项fn(xn(t-τ))与电容电压xn(t)之间的忆阻。其中，n表示神经元的个数。

步骤2.根据基尔霍夫电流定律导出忆阻神经网络数学模型如下：

移项化简：

各符号名词的解释为：

mi＝mi(qi(t)):表示连接权矩阵d的子元素，即与电容并联的忆阻。

表示连接权矩阵a的子元素，即只有激活函数项fj(xj(t))的忆阻。

表示连接权矩阵b的子元素，即只有激活函数时滞项fj(xj(t-τj(t)))的忆阻。

表示外部输入。

xi(t)：表示电容ci两端电压。

τj(t):表示传输时变时滞。

并定义sgnij函数为：

步骤3.上述神经网络数学模型可改写为如下分量形式：

其中di(qi(t))，和是基于忆阻的连接权并且被定义如下：

步骤4.可知与基于忆阻的神经网络数学模型的分量形式对应的矩阵形式为：

y(t)＝f(x(t))sgnij。

步骤5.根据惠普实验室制造出的忆阻器的数学模型，在simulink中搭建忆阻器的电气模型，如图2所示。其中simout模块输出忆阻器电压变化过程数据到工作站，simout1模块输出忆阻器电流变化过程数据到工作站，simout2模块输出忆阻器电压的积分即磁通变化过程数据到工作站，simout3模块输出忆阻器电流的积分即电荷变化过程数据到工作站。

步骤6.根据输出到工作站中的电压和电流数据绘制hpmemristor电压-电流特性曲线，由hpmemristor电压-电流特性曲线可抽象出用于二值切换的typicalmemristor电压-电流特性曲线，如图3所示。

步骤7.忆阻器是一个非线性无源二端元件，其忆阻值被定义为并且磁通和电荷分别定义为电压和电流对时间的积分(说明：电气建模图中的1/s即为积分环节用于对电压电流积分，输出磁通与电荷)，其计算表达式为：

为了使我们的说明更加通俗易懂，下面以忆阻器二值切换作为特例进行具体说明。

步骤8.与hpmemristor电压-电流特性曲线相对应，利用simout2模块和simout3模块导出的磁通电荷数据绘制hpmemristor磁通-电荷特性曲线；根据忆阻值的定义电荷-磁通特性曲线在某一时刻的斜率即为当前时刻的忆阻值；根据hpmemristor磁通-电荷特性曲线，忆阻器的忆阻值任意连续可变，故可用忆阻器代替传统神经网络电路中的电阻构成精度更高的忆阻神经网络电路；同理，抽象出用于二值切换特例的typicalmemristor磁通-电荷特性曲线。

如图4所示这里必然存在着一个阈值电荷，这个阈值电荷将实现忆阻器的阻值切换。根据忆阻器二值切换特性曲线知二值切换规则为：

步骤9.根据忆阻神经网络连接权表达式知连接权是关于忆阻m(q(t))的函数，因此可导出忆阻神经网络连接权模型为：

步骤10.根据忆阻神经网络电路，可获得忆阻神经网络电路中忆阻两端电压通式为：

vij＝fj(xj(·))sgnij-xi(t)；

(1)对于连接权矩阵d来说，根据神经网络电路，由于d没有激活函数项fj(xj(t))sgnij和时滞激活函数项fj(xj(t-τ(t)))sgnij，因此f(xj(·))j＝0，故对于d所属的忆阻的两端电压为vij(t)＝0-xi(t)；

(2)对于连接权矩阵a来说，根据神经网络电路，由于a只有激活函数项fj(xj(t))sgnij，因此f(xj(·))j＝fj(xj(t))sgnij，故对于a所属的忆阻的两端电压为vij(t)＝fj(xj(t))sgnij-xi(t)；

(3)对于连接权矩阵b来说，根据神经网络电路，由于b只有时滞激活函数项fj(xj(t-τ(t)))sgnij，因此f(xj(·))j＝fj(xj(t-τ(t)))sgnij，故对于b所属的忆阻的两端电压为vij(t)＝fj(xj(t-τ(t)))sgnij-xi(t)。

步骤11.附图所示电压-电流特性曲线为一个忆阻周期变化过程(本示例通过设置相关参数使得周期t＝1s)，显然在每一个忆阻周期内曲线没有交叉点，因此在任意时刻t，忆阻的两端电压被唯一确定。附图所示磁通-电荷特性曲线为一个忆阻周期变化过程，显然在每一个忆阻周期内曲线没有交叉点，因此在任意时刻t，忆阻的忆阻值被唯一确定，并且每一个忆阻值都唯一对应当前时刻忆阻的电荷q(t)；综上所述，对于某个确定的时间t，忆阻的两端电压和两端电荷存在着一个确定的映射关系；根据忆阻神经网络电路如下映射关系可表述为qi(t)→-xi(t)，aij(q`ij(t))→fj(xj(t))sgnij-xi，以及bij(q′ij(t))→fj(xj(t-τj(t)))sgnij-xi；通过利用忆阻的两端电压替换两端电荷作为切换条件，忆阻神经网络二值切换连接权模型改写如下：

其中，υ表示替换后的阈值电压，表示替换前的阈值电荷。

步骤12.若联想记忆字母图像，从整体上看，输出字母图像过程是多个色块按照一定的规则运动，并且运动的方向由联想记忆转换矩阵t决定。因此，可以通过转换矩阵t来实现字母图像的联想记忆运动，即动态图像的联想记忆。

步骤13.本发明通过将传统神经网络电路中的电阻替换为忆阻，并将记忆原型作为外部输入提出基于忆阻的神经网络模型如下，进而实现神经网络联想记忆功能：

y(t)＝f(x(t))sgnij

fj(xj(·))是忆阻激活函数，是外部输入矩阵，是的列向量变换。

步骤14.假设联想记忆原型矩阵为则原型矩阵的列向量变换为同理假设联想记忆输出矩阵为则输出矩阵的列向量变换为若p＝q，则称为自联想记忆，若p≠q则称为异联想记忆，自联想与异联想的区别在于转换矩阵的不同。

忆阻神经网络自联想记忆转换矩阵为

其中e表示单位矩阵。

忆阻神经网络异联想记忆转换矩阵为t＝vu^-1，其中

自联想记忆实例实施步骤：

自联想记忆定义为外部输入字母“l”，在任意初始条件下，神经网络都能联想记忆输出字母“l”。如图5所示，将字母‘l’划分为4行3列共12个色块。如调色棒所示，1表示棕红色，-1表示深蓝色；

联想记忆原型矩阵和联想输出矩阵列向量变换可编码如下：

θ(φ(t))＝[1,-1,-1,1,-1,-1,1,-1,-1,1,1,1]^t＝[1,v]^t，

因此自联想记忆转换矩阵为：

自联想记忆实例参数选取如下：时变时滞τ(t)＝0.2s，基于忆阻的神经网络连接权模型定义为：

附图6展示了忆阻神经网络自联想记忆状态曲线轨迹，其直观展示了忆阻神经网络电路电容ci两端电压变化。

附图7展示了忆阻神经网络自联想记忆输出曲线轨迹，其直观展示了经忆阻神经网络电路处理后的输出变化。

附图8展示了忆阻神经网络自联记忆动态过程演化图，由自联想记忆动态过程演化图知time＝6.5415s时，对于外部输入字母‘l’，已自联想记忆出字母‘l’。

异联想记忆实例实施步骤：

异联想记忆定义为外部输入字母“t”，在任意初始条件下，神经网络都能联想记忆输出字母“l”。如图9所示，将字母‘t’划分为4行3列共12个色块。如调色棒所示，1表示棕红色，-1表示深蓝色。

联想记忆原型矩阵和联想记忆输出矩阵列向量变换可编码如下：

θ(φ(t))＝[1,-1,-1,1,-1,-1,1,-1,-1,1,1,1]^t＝[1,v]^t，

因此异联想记忆转换矩阵为：

异联想记忆实例参数选取如下：时变时滞τ(t)＝0.2s，基于忆阻的神经网络连接权模型定义如下：

图10展示了忆阻神经网络异联想记忆状态曲线轨迹，其直观展示了忆阻神经网络电路电容ci两端电压变化。

图11展示了忆阻神经网络异联想记忆输出曲线轨迹，其直观展示了经忆阻神经网络电路处理后的输出变化。

图12展示了忆阻神经网络异联记忆动态过程演化图，由异联想记忆动态过程演化图知time＝6.0544s时，对于外部输入字母‘t’，已异联想记忆出字母‘l’。

本发明实施方案中的关键点：

1、本发明的关键点在于制造具有非线性光滑的电荷-磁通特性的忆阻器，因此忆阻器的制造工艺以及相关掺杂参数的选取至关重要。

2、由于忆阻器为纳米级材料，因此将传统神经网络中的电阻替换为忆阻也是本发明的技术难点。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。