一种全连接神经网络结构的制作方法
【技术领域】
[0001]本发明涉及神经网络构造技术，特别涉及一种全连接神经网络结构。
技术背景
[0002]人类大脑的神经网络由近千亿个神经元组成，每个神经元通过树突或轴突相连接。当神经元收到刺激时，该神经元通过树突或轴突末端的突触将刺激信号传递给其他神经元，所有神经元刺激信号的抽象集合使得人脑产生逻辑思维等智能行为。而如何通过人工硬件模拟大脑神经网络结构一直是人工智能领域的一个研究难题。
[0003]近年来，深度学习作为一种行之有效的神经网络方法兴起，得到了广泛研究和应用。深度学习的神经网络结构是一种多层神经元结构，相邻两层神经元之间通过全连接的方式互联。深度学习方法的有效性与网络规模(包括神经元数量和连接数量)相关，具有实际应用价值的深度学习网络连接规模达到百亿(10G)以上，而人脑新皮层的连接(突触)数量达到150T(150万亿)。
[0004]现有技术中可基于CPU或CPU和GPU的结合来模拟人脑神经网络结构，目前很多深度学习算法实现就是采用这种方案。由于CPU只能够进行串行计算，因此单纯使用CPU来模拟人脑神经网络结构，其设备成本巨大且运算效率很低。2012年6月，Google公司的Google Brain项目用16000台电脑搭建模拟了一个人脑神经网络,连接数量达到10亿。2013年斯坦福大学在一项研究中，使用了 16台服务器实现了 100亿网络连接，每个服务器包含两个四核CPU、四个GPU和一个带宽适配器来模拟人脑神经网络结构，利用了 GPU的并行运行功能，该模拟系统的运算效率相对于之前的CPU模拟有所提高，然而这样一个模拟系统的花费也在2万美元。如果用这种方案实现人脑新皮层规模的神经网络，成本至少需要3亿美元，这还不考虑互联很功耗成本。因此，采用CPU和GPU等传统计算体系不是解决深度学习方法应用的有效途径。
[0005]此外，无论是基于CPU还是基于CPU和GPU的结合，其人工神经网络系统的运转还是要依靠计算机程序来模拟人脑神经网络的深层学习过程。即若脱离了计算机程序的控制，现有技术中单纯依靠硬件系统无法模拟人脑神经网络的活动过程。
【发明内容】
[0006]有鉴于此，本发明实施例提供了一种全连接神经网络结构，实现低成本的人脑神经网络结构。
[0007]本发明实施例提供的一种全连接神经网络结构，包括:至少两个全连接神经网络层，其中:
[0008]每一层全连接神经网络层由输入导线层、输出导线层和位于其中的塑性器件层构成，输入导线层和输出导线层分别包括至少一根导线，且输入、输出两层导线层的导线纵横交叉，塑性器件位于纵横交叉点处，分别与输入、输出导线层连接；输出导线层中每一根导线的末端连接一神经元模拟器；
[0009]所述至少两个全连接神经网络层依次连接，将上一个全连接神经网络层的输出作为下一个全连接神经网络层的输入，以形成深度学习网络。
[0010]利用本发明实施例提供的全连接神经网络结构，通过塑性器件作为上、下层刺激的传递媒介(突触)，既可以模拟人脑神经反应曲线，又因为塑性器件耗能小，成本低，使得利用塑性器件构成的全连接深度学习神经网络成为现实，相比于现有技术构建的全连接神经网络结构，成本可以降低五个数量级。因此，也只有采用这种新的结构，人脑规模的模拟才能成为可能。
[0011]另外，本发明实施例提供的全连接神经网络结构，结构规整，便于利用成熟的集成电路生产工艺进行大规模生产制造，其连接数量能够达到甚至超越人类大脑的神经突触数量。
【附图说明】
[0012]图1是本发明一实施例提供的一种全连接神经网络层的结构示意图。
[0013]图2是本发明一实施例提供的一种全连接神经网络结构的结构示意图。
[0014]图3是本发明一实施例提供的一种全连接神经网络结构的结构示意图。
[0015]图4是本发明一实施例提供的一种全连接神经网络结构的结构示意图。
【具体实施方式】
[0016]为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。
[0017]图1是本发明一实施例提供的一种全连接神经网络层的结构示意图。如图1所示，该全连接神经网络层包括输入导线层1、输出导线层2和位于两层导线层1、2之间的塑性器件层3。导线层1和导线层2均由多根并行排列的导线构成，且导线层1和导线2纵横交叉。其中，上层导线层2通过塑性器件层3与下层导线层1实现全连接。
[0018]在输出导线层2的每一根导线的末端均设置有一个神经元模拟器4。这些神经元模拟器4除了具备存储功能外，还有计算(累积)、判断(是否超过阈值)和发放(向后续神经元发放刺激信号，发放后清除累积)功能。其将所在导线所连接的塑性器件的接收信息进行累加，并根据累加结果判断是否超过阈值，在超过阈值的情况下，输出脉冲信息。
[0019]在本发明一实施例中，神经元模拟器4可以由电容电阻等传统器件组成，也可以用忆阻器构成；可以根据成本、存储容量或者电路实现方式来选择任一一种。
[0020]在图1所示的神经网络结构中，输入导线层1模拟的是神经网络结构的输入，输出导线层2模拟的是神经网络结构的输出。其中，输出导线层2末端的神经元模拟器4类似与人脑神经元；导线层1和导线层2中的每一根导线用于传导刺激信号，因而可以类比为人脑神经网络的树突或轴突；塑性器件3用于将刺激信号传递给下一层导线层，可类比为人脑神经网络中的突触。
[0021]当对导线层1的每一根导线同时施加相应的脉冲信号时，导线层1的每根导线对应传递/不传递对应的脉冲信号，并通过塑性器件将脉冲信号传递给导线层2中的每根导线，导线层2末端的神经元模拟器将对应导线上每一个塑性器件的响应累加起来，如果累加值超过一预定阀值，则该神经元模拟器对应的神经元输出一脉冲，并认为该神经元被激活。
[0022]图1所示的全连接神经网络层模拟的是深度学习网络中的某一层神经激励过程。根据需要，将多个图1所述的全连接神经网络层输入输出首尾相连即可以形成一深度学习神经网络。
[0023]全连接神经网络层的数量由所要实现深层学习算法的复杂度而定，因而全连接神经网络层的具体数量并不能用于限制本发明的保护范围。
[0024]可以通过塑性器件两端的电压值，来调整塑性器件的连通强度。通过调整塑性器件的连通强度又可以执行不同的深度学习算法，以及也构造出具有特定功能的神经网络，例如用于映射、变换、特征提取、分类、识别等神经网络。
[0025]同时，作为深层学习网络每一层的全连接神经网络层中输出神经元的数目也是由大脑的功能所确定，大脑功能要求越强，所需要的输出神经元数量越多。在本发明某一实施例中，单层输出神经元的个数为10000个。
[0026]忆阻器(memristor)是一种具备阻值记忆功能的塑性器件，其阻值可以根据电压大小变化，而且既使断电后，其阻值仍可保留，这种特性跟人脑神经的突触较为类似。为此，本发明一实施例中，可以利用忆阻器作为塑性器件，通过调节忆阻器的电阻来控制塑性器件的连通强度，以执行不同的深度学习算法。图2是本发明一实施例提供的一种全连接神经网络结构的结构示意图。在图2所示的全连接神经网络结构中，每一个塑性器件与一开关5连接，通过控制每个塑性器件对应的开关5来控制塑性器件的工作与否。一旦某一开关5断开，