基于忆阻器件的深度神经网络系统的制作方法
【技术领域】
[0001] 本发明设及一种深度神经网络系统。
【背景技术】 W02] 2006年，加拿大多伦多大学教授GeofTrey化nton在《科学》上发表论文 "ReducingtheDimensionalityofDatawith化ural化tworks"，从此掀起了W深度神 经网络为主的人工神经网络研究新浪潮。深度神经网络值eep化ural化tworks，DNN)有 别于传统的人工神经网络，主要借鉴生物神经网络具有多层拓扑结构的特征，人为构建具 有多个隐含层的人工神经网络。由于结合了 "逐层预训练"运种贪婪无监督算法和全局调 整算法，运种多层神经网络相对容易收敛。与浅层神经网络模型相比，深度神经网络具有突 出的特征学习能力，学习得到的特征能够对数据进行更本质的表达，从而更有利于后端分 类和识别处理。因此，深度神经网络使得计算机在图像、视频、语音等信息处理应用方面的 性能得到了极大地提高。虽然深度神经网络在性能上具有明显的优势，但在实际应中依然 较难推广。主要原因在于现有的人工神经网络研究基本是在计算机软件中仿真实现的，其 软件模型虽然是分布式和并行的，但其硬件执行依然束缚于冯?诺依曼计算范式，最终实现 的硬件开销、能耗和信息处理速度不容乐观。即便是利用最先进的大体积超级计算机，也不 能实现人脑规模的实时模拟与大脑计算的超低能耗。
[0003] 图1为传统基于计算机软件的人工神经网络计算原理示意图。前端突触输入信号 \经过对应的突触连接权重WW，完成相应的权重乘法操作并进入神经元节点，该神经元节 点完成对前端突触输入信号\的累加，并经过非线性变换f(?)产生输出信号Y1并发送至 后端突触网络，整个计算过程等效于Yi=f(EkXiWki+bi)。上述计算过程在传统人工神经 网络中基于冯?诺依曼计算机串行范式，导致各种尺寸、能耗、时间等开销巨大，很难在嵌入 式领域应用。
【发明内容】
[0004] 有鉴于此，确有必要提供一种运算速度更快且能耗更低的深度神经网络系统。 阳〇化]一种基于忆阻器件的深度神经网络系统，包括：输入层、输出层W及多个隐含层； 所述输入层接收外部信息输入模式，并将该输入模式送入所述多个隐含层，所述多个隐含 层对来自输入层的输入模式进行逐层计算转换，并将计算结果发送至所述输出层，所述输 出层接收所述隐含层的计算结果，并将其作为输出结果对外输出，相邻两层的神经元节点 通过突触权重网络连接；所述深度神经网络系统的突触权重采用忆阻器件模拟，所述忆阻 器件的电阻随着施加电信号进行改变。
[0006] 一种信息处理系统，包括：基于忆阻器件的深度神经网络系统、计算模块、驱动电 路、输出结果比对模块、输入信息接口W及输出信息接口；所述输入信息接口用于将外界信 息输入模式转换为所述深度神经网络系统所需的信号；所述深度神经网络系统的输入端连 接所述输入信息接口，输出端连接所述输出信息接口，所述深度神经网络系统用于进行深 度神经网络运算，并将运算结果作为输出结果发送至所述输入信息接口；所述输出信息接 口分别连接所述深度神经网络系统与所述输出结果比对模块，用于将所述深度神经网络系 统产生的输出信号转换并发送给所述输出结果比对模块；所述输出结果比对模块分别连接 所述输出信息接口与所述计算模块，所述输出结果比对模块将当前深度神经网络系统的输 出结果与理想结果进行比对，并将比对结果发送之所述计算模块；所述计算模块分别连接 所述输出结果比对模块与所述驱动电路，所述计算模块接受所述输出结果比对模块发送的 误差信号，根据设定的神经网络训练算法计算网络连接权重调整量并发送至驱动电路；所 述驱动电路接收所述计算模块发送的网络连接权重调整量，并根据该网络连接权重调整量 控制所述忆阻器件的电阻值。
[0007] 与现有技术相比，本发明提供的基于忆阻器件的深度神经网络系统采用忆阻器件 实现深度神经网络运算，整个系统的运算速度与密度均有很大提高，运行能耗则大幅降低， 有望实现对大脑规模神经网络的实时与低能耗模拟。
【附图说明】
[0008] 图1为现有基于计算机软件的人工神经网络计算原理示意图。
[0009] 图2为本发明实施例提供的基于忆阻器件的深度神经网络拓扑结构图。
[0010] 图3为基于忆阻器件的深度神经网络计算原理示意图。 W11] 图4为本发明实施例中忆阻器件调制示意图。
[0012] 图5为本发明实施例基于忆阻器件的深度神经网络系统。
[0013] 主要元件符号说明
[0014]
[0015] 如下【具体实施方式】将结合上述附图进一步说明本发明。
【具体实施方式】
[0016] 下面将结合附图及具体实施例对本发明提供的基于忆阻器件的深度神经网络系 统作进一步的详细说明。
[0017] 请参见图2,本发明实施例提供一种基于忆阻器件的深度神经网络系统10,包括： 输入层11、多个隐含层12W及输出层13。所述输入层11与所述多个隐含层12连接，所述 输入层11接收外部信息输入模式14,并将该输入模式14送入所述多个隐含层12。所述多 个隐含层12分别与所述输入层11、输出层13连接，所述多个隐含层12对来自输入层11的 输入模式14进行逐层计算转换，并将计算结果发送至所述输出层13。所述输出层13接收 所述隐含层12的计算结果，并将其作为输出结果15对外输出。
[0018] 所述输入层11、多个隐含层12W及输出层13均包括多个神经元节点16,各层的 神经元节点个数可W根据不同的应用情况设定。所述深度神经网络系统10信息流的逻辑 层数通常大于3层，相邻两层神经元节点之间通过突触权重网络17连接。
[0019] 所述深度神经网络系统10的突触权重由忆阻器件18实现。所述忆阻器件18是 一种电阻值可W随着所施加的电信号进行改变的可塑物理器件，忆阻器件18的运种特性 可W模拟神经网络间连接突触连接强弱的行为，即模拟神经网络自适应学习的功能。所述 忆阻器件18的类型可W为两端忆阻器件、=端忆阻器件或其他常见的类型。所述忆阻器件 18依靠不同的电阻值来区分不同的存储状态，其读写速度、器件密度、编程电压等各项指标 都可W与当今领先的存储技术媳美，且其掉电不丢失，属于非易失性器件，能耗相当低。
[0020] 请参见图3,该图为基于忆阻器件的神经网络系统计算原理示意图。本实施例中所 述忆阻器件18的一端连接前端突触输入信号，另一端连接运算放大器的反向输入端。所述 神经网络系统的计算过程可描述为Yi=f(Ek-XiRfGki+bi)，其中，Xi为第i个神经元节点 的前端突触输入信号，Gki为第i个神经元节点的第k个输入突触权重，Rf为第i个神经元 节点上的运放反馈电阻，可W电导权重无量纲化，实现与人工神经网络无量纲权重的匹配 (运种无量纲化的方式不仅限于本实施例提供的采用运算放大器实现运一种方法）。-RfGki 等效于传统神经网络的突触权重Wki。输入信息乘W权重累加的过程，在忆阻器网络中直接 映射实现，并且忆阻器具有低能耗、小尺寸和高速度的优点，提供了一种异于传统计算机神 经网络的新型计算范式。
[0021] 请参见图4,该图为所述深度神经网络系统10中忆阻器件的调制示意图。神经 网络计算需要根据信息输入模式、当前输出结果和理想输出结果不断调整突触权重进行学 习。基于忆阻器件的神经网络系统采用忆阻器件18模拟突触权重，利用所述忆阻器件18 的电阻可