基于随机二值电阻阵列的储备池计算模型的硬件实现方法

本技术涉及机器学习及人工智能领域，尤其涉及一种基于随机二值电阻阵列的储备池计算模型的硬件实现方法、装置及电子设备。

背景技术：

1、时间序列信号在现实世界中无处不在，其包含了大量的时间相关信息，承载着广泛的现实应用，例如医疗信息、金融等应用。时序信号常常使用递归神经网络(rnn)处理，具有强大的时间数据处理能力。储备池计算模型——回声状态网络(esn),是一种简化的rnn，其完全消除了大型复杂递归层权值的训练，在简化网络结构的同时也能保持不错的时序信号处理能力，广泛应用在各种时序信号识别任务中。

2、然而，在边缘端使用储池模型处理时序数据给传统数字硬件方式带来了巨大挑战。传统冯·诺伊曼架构式数字系统存储单元和计算单元分离，这些单元之间存在频繁的数据传输，导致大量的时间和能量开销，限制了其在资源受限边缘端的应用。使用基于非易失性存储器(如rram)的存内计算(computing in memory，cim)加速器可以解决上述问题。

3、但是由于器件存在例如电导变化、编程非线性、电导状态有限等非理想特性，采用高精度的神经网络模型处理时序信号数据不利于器件编程，且对外围电路的设计有着较高的精度要求，难以直接部署到存内计算芯片上实现。

技术实现思路

1、本技术的目的在于提供一种基于随机二值电阻阵列的储备池计算模型的硬件实现方法、装置和电子设备，以解决由于器件存在例如电导变化、编程非线性、电导状态有限等非理想特性，采用高精度的神经网络模型处理时序信号数据不利于器件编程，且对外围电路的设计有着较高的精度要求，难以直接部署到存内计算芯片上实现的问题。

2、第一方面，本技术提供一种基于随机二值电阻阵列的储备池计算模型的硬件实现方法，包括：

3、应用于二值化随机卷积储池网络模型中，所述二值化随机卷积储池网络模型包括依次连接的随机二值卷积层、输入层、随机二值储池和全连接读出层；所述方法包括：

4、对忆阻器阵列进行编程，得到随机二值分布的电阻阵列；

5、将预设数据集中的时间序列信号样本进行量化，映射为输入电压信号，输送至所述随机二值卷积层中以提取局部特征；

6、将所述局部特征依次传输至到所述输入层、所述随机二值储池中，从输出部分读取得到样本全局特征；

7、在训练阶段，将所述样本全局特征输入至所述全连接读出层，得到样本预测类别；

8、根据所述样本预测类别和标签确定误差并更新全连接读出层参数；

9、在推理阶段，待处理信号依次经过所述输入层、所述随机二值卷积层、所述随机二值储池和训练好的所述全连接读出层输出目标样本类别。

10、采用上述技术方案的情况下，本技术实施例提供的基于随机二值电阻阵列的储备池计算模型的硬件实现方法，应用于二值化随机卷积储池网络模型中，所述二值化随机卷积储池网络模型包括依次连接的随机二值卷积层、输入层、随机二值储池和全连接读出层；所述方法包括：对忆阻器阵列进行编程，得到随机二值分布的电阻阵列；将预设数据集中的时间序列信号样本进行量化，映射为输入电压信号，输送至所述随机二值卷积层中以提取局部特征；将所述局部特征依次传输至到所述输入层、所述随机二值储池中，从输出部分读取得到样本全局特征；在训练阶段，将所述样本全局特征输入至所述全连接读出层，得到样本预测类别；根据所述样本预测类别和标签确定误差并更新全连接读出层参数；在推理阶段，待处理信号依次经过所述输入层、所述随机二值卷积层、所述随机二值储池和训练好的所述全连接读出层输出目标样本类别，可以正确识别时序信号数据，与现有全精度储池计算模型相比，该模型可以在减少模型参数量、降低精度的条件下达到良好的识别效果，可以直接部署到存内计算芯片上。

11、在一种可能的实现方式中，所述将预设数据集中的时间序列信号样本进行量化，映射为输入电压信号，输送至所述随机二值卷积层中以提取局部特征，包括：

12、将预设数据集中的时间序列信号量化为预设位数，输入至随机二值卷积层中；

13、将随机的二值权重，以及模型稀疏化处理后的权重确定为所述随机二值卷积层的权重；

14、通过所述随机二值卷积层在时间维度上滑动，提取时间序列信号的局部特征。

15、在一种可能的实现方式中，所述将所述局部特征依次传输至到所述输入层、所述随机二值储池中，从输出部分读取得到样本全局特征，包括：

16、将所述局部特征依次传输至到所述输入层、所述随机二值储池中，根据预设条件进行迭代从输出部分读取得到样本全局特征。

17、在一种可能的实现方式中，所述预设条件包括：

18、

19、

20、其中，x(t+1)表示(t+1)时刻下的储池状态；x(t)表示(t)时刻下的储池状态，u(t+1)为在(t+1)时刻的输入，泄漏率α取0.001，win和wres为初始化的随机二值权重矩阵，储池的大小为256，f为非线性函数，这里使用的是tanh函数；当迭代到最后一个时间步时，输出全局特征。

21、在一种可能的实现方式中，所述对忆阻器阵列进行编程，得到随机二值分布的电阻阵列，包括：

22、随机选择所述忆阻器阵列中一半的器件做设置操作，另一半的器件做重置操作，得到随机二值分布的电阻阵列。

23、在一种可能的实现方式中，所述对忆阻器阵列进行编程，得到随机二值分布的电阻阵列，包括：

24、利用编程电压越大器件击穿的概率越高的特点对所述忆阻器阵列进行编程，得到随机二值分布的电阻阵列。

25、在一种可能的实现方式中，所述利用编程电压越大器件击穿的概率越高的特点对所述忆阻器阵列进行编程，得到随机二值分布的电阻阵列，包括：

26、在对器件进行编程时，若对应的器件的击穿电压低于施加电压，所述器件发生电介质击穿形成低阻，另一部分器件保持完全高阻状态，得到随机二值分布的电阻阵列。

27、在一种可能的实现方式中，所述在对器件进行编程时，若对应的器件的击穿电压低于施加电压，所述器件发生电介质击穿形成低阻，另一部分器件保持完全高阻状态，得到随机二值分布的电阻阵列，包括：

28、在对器件进行编程时，若对应的器件的击穿电压低于施加电压，所述器件发生电介质击穿形成低阻，另一部分器件保持完全高阻状态，将每相邻的两个器件构成一个差分对，代表一个权值，形成随机二值分布，得到随机二值分布的电阻阵列。

29、第二方面，本技术还提供一种基于随机二值电阻阵列的储备池计算模型的硬件实现装置，用于实现第一方面任一所述的基于随机二值电阻阵列的储备池计算模型的硬件实现方法，所述装置包括：

30、编程模块，用于对忆阻器阵列进行编程，得到随机二值分布的电阻阵列；

31、局部特征提取模块，用于将预设数据集中的时间序列信号样本进行量化，映射为输入电压信号，输送至所述随机二值卷积层中以提取局部特征；

32、全局特征读取模块，用于将所述局部特征依次传输至到所述输入层、所述随机二值储池中，从输出部分读取得到样本全局特征；

33、预测类别确定模块，用于在训练阶段，将所述样本全局特征输入至所述全连接读出层，得到样本预测类别；

34、全连接读出层参数更新模块，用于根据所述样本预测类别和标签确定误差并更新全连接读出层参数；

35、目标样本类别输出模块，用于在推理阶段，待处理信号依次经过所述输入层、所述随机二值卷积层、所述随机二值储池和训练好的所述全连接读出层输出目标样本类别。

36、在一种可能的实现方式中，所述局部特征提取模块包括：

37、输入子模块，用于将预设数据集中的时间序列信号量化为预设位数，输入至随机二值卷积层中；

38、确定子模块，用于将随机的二值权重，以及模型稀疏化处理后的权重确定为所述随机二值卷积层的权重；

39、局部特征提取子模块，用于通过所述随机二值卷积层在时间维度上滑动，提取时间序列信号的局部特征。

40、在一种可能的实现方式中，所述全局特征读取模块包括：

41、全局特征读取子模块，用于将所述局部特征依次传输至到所述输入层、所述随机二值储池中，根据预设条件进行迭代从输出部分读取得到样本全局特征。

42、在一种可能的实现方式中，所述预设条件包括：

43、

44、

45、其中，x(t+1)表示(t+1)时刻下的储池状态；x(t)表示(t)时刻下的储池状态，u(t+1)为在(t+1)时刻的输入，泄漏率α取0.001，win和wres为初始化的随机二值权重矩阵，储池的大小为256，f为非线性函数，这里使用的是tanh函数；当迭代到最后一个时间步时，输出全局特征。

46、在一种可能的实现方式中，所述编程模块包括：

47、第一编程子模块，用于随机选择所述忆阻器阵列中一半的器件做设置操作，另一半的器件做重置操作，得到随机二值分布的电阻阵列。

48、在一种可能的实现方式中，所述编程模块包括：

49、第二编程子模块，用于利用编程电压越大器件击穿的概率越高的特点对所述忆阻器阵列进行编程，得到随机二值分布的电阻阵列。

50、在一种可能的实现方式中，所述第二编程子模块包括：

51、编程单元，用于在对器件进行编程时，若对应的器件的击穿电压低于施加电压，所述器件发生电介质击穿形成低阻，另一部分器件保持完全高阻状态，得到随机二值分布的电阻阵列。

52、在一种可能的实现方式中，所述编程单元包括：

53、编程子单元，用于在对器件进行编程时，若对应的器件的击穿电压低于施加电压，所述器件发生电介质击穿形成低阻，另一部分器件保持完全高阻状态，将每相邻的两个器件构成一个差分对，代表一个权值，形成随机二值分布，得到随机二值分布的电阻阵列。

54、第二方面提供的基于随机二值电阻阵列的储备池计算模型的硬件实现装置的有益效果与第一方面或第一方面任一可能的实现方式描述的基于随机二值电阻阵列的储备池计算模型的硬件实现方法的有益效果相同，此处不做赘述。

55、第三方面，本技术还提供一种电子设备，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得执行第一方面任一可能的实现方式描述的基于随机二值电阻阵列的储备池计算模型的硬件实现方法。

56、第三方面提供的电子设备的有益效果与第一方面或第一方面任一可能的实现方式描述的基于随机二值电阻阵列的储备池计算模型的硬件实现方法的有益效果相同，此处不做赘述。