神经网络处理系统的制作方法

本发明是关于一种类神经网络的系统，特别是一种经改良后的神经网络处理系统。

背景技术：

随着软件技术的开发，软件定义的神经网络的深度学习，通过通用的学习过程，大大提升了人工智慧的能力，如图像识别，语音识别，自然语言理解和决策。一种硬件神经网络(hardwareneuralnetworks，hnn)的出现，更进一步地降低了深度学习系统的硬件尺寸、成本及功耗。

hnn由通过突触而相互连接的神经元网络组成，hnn可以有成千上万个突触，其中可以在训练期间，优化突触(synapse)的权重(weight)。请参照图1所示，例如一神经元10可以接收多个输入信号12，在突触14的训练过程中，权重142通常用随机值初始化，并通过微幅的增量以进行改变。通常，突触14的权重142会存储在多位(multi-bit；multi-level)的存储器装置(memory)中。其中，电阻式随机存取存储器(resistiveram，rram)的模拟多位准特性可用于储存突触的权重，使用高密度交错式rram的突触阵列更加特别，因为它们可以通过分布式权重的储存，完全并行矩阵向量的乘法及权重的更新，以显著提高学习效率。

然而，这种rram会有几个问题，首先，模拟多位准rram在技术上远不如二元的rram成熟。第二，模拟多位准rram可能需要复杂的写入步骤，也就是可能需要精确控制脉冲幅度及持续时间，而非理想的模拟行为，例如有限的精确度及权重的非线性更新都会损害最后hnn性能。第三，模拟rram元件通常具有较差的数据保存时间及可靠性。

利用简单的二元rram可以改善模拟rram的缺点，这一般是采取两种不同的方法达成，一个是使用多个随机二元rram单元，以表示单一模拟权重，但权重精确度只能通过提高网络密度而增加，因此会限制网络规模；另一种方法是仅使用单一rram单元表示二元权重，在这种情况下，虽然在耗时的离线(offline)训练后可以实现高精确度的推论能力，但是权重的精确度不足，导致无法加速在线(online)训练。

有鉴于此，本发明提出一种改善二元权重计算的神经网络处理系统，以改善传统突触的权重计算。

技术实现要素：

本发明的主要目的是提供一种神经网络处理系统，利用突触外部可量测的权重及内部不可直接量测的权重，通过外部信号，如电信号等刺激并搭配适当的学习法则进行更新，在持续的外部刺激下，内部的权重具有累计特性，当累积至一临界值时，会同时改变外部的权重值，以产生出精确的权重信号。

本发明的另一目的是提供一种神经网络处理系统，利用任一突触具有内、外权重值的技术特征，改善了已知单一模拟权重精确度不佳的缺点，并藉此可以达到在线学习所需要的准确权重更新的要求，加速深度学习中的预测及学习功能，以实现即时在线学习能力的硬件神经网络。

为了达成上述的目的，本发明提供一种神经网络处理系统，包含至少一突触及一神经元电路，神经元电路连接至少一突触，突触可接收输入信号，且突触各自具有一外部权重值及一内部权重值，内部权重值会经由外部刺激以产生变化，当内部权重值的变化累积至一临界值时，会同时改变外部权重值，使得输入信号乘上突触的外部权重值以产生一权重信号，突触会传输权重信号至神经元电路，使其计算权重信号后输出。

在本发明中，外部权重值可经由电性量测以得知。其中，电性量测为对电阻、电容、电感或阻抗的量测。

在本发明中，内部权重值为突触物理结构的差异，其为缺陷数目、元素组成、原子排列型态、分子形貌、铁电域或铁磁域排列等。上述物理结构的差异均匀或不均匀存在突触元件中。

在本发明中，内部权重值变化累积的计算方法为梯度下降向后传播规则、尖峰时序相关的可塑性规则、赫布学习规则、oja学习规则或bcm理论。

在本发明中，外部刺激为电压或电流。

在本发明中，外部权重值的改变为二元变化，且通过内部权重值的累计分布函数决定改变机率。而内部权重值的累计分布函数通过如外部的刺激调整，如脉冲振幅、脉冲宽度、脉冲电压/电流刺激的松弛周期。

在本发明中，突触为二元的电阻式随机存取存储器、氧化物随机存取存储器、电桥式随机存取存储器、相变化随机存取存储器、磁性随机存取存储器、铁电随机存取存储器或自旋转移力矩的磁性随机存取存储器或其串、并联组成的元件。当单一突触为多个存储器组成时，突触的外部权重值为多位变化组成。

底下通过具体实施例配合所附的图式详加说明，当更容易了解本发明的目的、技术内容、特点及其所达成的功效

附图说明

图1为已知硬件神经网络的架构示意图。

图2为本发明的架构示意图。

图3为本发明以实施例说明神经网络处理系统的架构示意图。

图4为本发明内部权重值与外部权重值产生变化的第一实施例的曲线图。

图5a～图5e为本发明内部权重值通过缺陷值改变的步骤示意图。

图6为本发明内部权重值与外部权重值产生变化的第二实施例的曲线图。

图7为本发明内部权重值与外部权重值产生变化的第三实施例的曲线图。

附图标号

10神经元

12输入信号

14突触

142权重

20神经网络处理系统

22突触

222外部权重值

224内部权重值

226缺陷

228部位

24神经元电路

xi输入信号

y输出信号

a临界值

b临界值

具体实施方式

本发明在硬件神经网络的架构中，提出一种创新的型态，可以加速深度学习中的预测及学习功能，利用如二元存储器的突触产生内、外权重值，并配合适当的学习法则进行更新，以实现高精确度且具即时在线学习能力的硬件神经网络。

首先，请参照本发明图2所示，一种神经网络处理系统20包含至少一突触22及一神经元电路24，神经元电路24与这些突触22相连接，突触22为二元的电阻式随机存取存储器(resistiverandom-accessmemory，rram)、氧化物随机存取存储器(oxideram)、电桥式随机存取存储器(conductive-bridgingram，cbram)、相变化随机存取存储器(phase-changememory，pcm)、磁性随机存取存储器(magnetoresistiverandomaccessmemory，mram)、铁电随机存取存储器(ferroelectricram，feram)或自旋转移力矩的磁性随机存取存储器(spintorquetransfermram，stt-mram)或其串、并联组成的元件，在本实施例中突触22为二元的电阻式随机存取存储器，在此以多条突触22为例说明，但不以此为本发明的限制。每一突触22接收一输入信号xi，这些输入信号xi可能是相同或是不同的信号，且每一突触22中各自具有一外部权重值222及一内部权重值224，且每一突触22可产生一权重信号至神经元电路24，以使神经元电路24可产生一输出信号y输出，在本实施例中，内部权重值224为突触22的物理结构的差异，如缺陷(defect)数目、元素组成、原子排列(atomarrangement)、分子形貌(molecularconfiguration)、铁电域(ferroelectricdomain)排列或铁磁域(ferromagneticdomain)排列，上述物理结构的差异，会均匀或不均匀地存在突触22中，而外部权重值222可经电性量测而得知，例如对电阻、电容、电感或阻抗的量测所测得的值，其为外部权重值222，但在本实施例中暂不限制内部权重值224或外部权重值222，可依照使用者的电路需求作调配。

说明完本发明的连接架构后，接续说明本发明的作动方式，并请续参本发明图2，每一突触22可接收输入信号xi，而突触22中的内部权重值224会经由外部刺激而产生变化，在本实施例中外部刺激为自突触22外部所输入的电压或是电流，以对突触22产生变化，并使得突触22中的内部权重值224会进行改变，且此内部权重值224的改变为累计的，当内部权重值224的变化累积到一个临界值时，会同时改变外部权重值222，使得外部权重值222进行二元(binarystates)变化，外部权重值222进行的二元变化是具随机性的，且通过内部权重值的累计分布函数(cumulativedistributionfunction，cdf)以决定改变机率。接着，突触22通过输入信号xi乘上突触22的外部权重值222，以产生出一权重信号，每一突触22再将自己所形成的权重信号传输到神经元电路24中计算，以使神经元电路24将计算后的输出信号y输出。

承接上段，上述说明内部权重值224的变化累积的计算方法，可以利用梯度下降向后传播规则(gradient-descentbackwardpropagationrule)、尖峰时序相关的可塑性规则(spike-timing-dependentplasticity，stdp)、赫布学习规则(hebbrule)、oja学习规则(ojarule)或bcm理论(bienenstock-cooper-munrorule，bcmrule)以进行计算。

说明完本发明的架构及其作动后，接着以一实施例说明本发明的神经网络处理系统，请参照本发明图3及图4所示，在本实施例中以三个突触为例说明，且每一突触22的输入信号xi是独立的，使用者可以从外部对作为二元的电阻式随机存取存储器的突触22输入电压，藉此与突触22中的电阻进行反应，随着不同的外部输入电压产生不同的反应结果，此时即是在改变突触22的内部权重值224，例如一外部输入电压一可以使内部权重值224渐增，一外部输入电压二可以使内部权重值224渐减。然而，请同时参照本发明图5a至图5e所示，当内部权重值224的改变，即是突触22中的缺陷226数量的变化，缺陷226为金属族的原子或是氧的空位所形成，彼此连接的缺陷226形成局部的电流导通路径，在本实施例中缺陷226是以氧空位为例。如图5a所示，一开始在突触22不导通的二部位228中，缺陷226的起始数量为临界值a，还不足以导通突触22的二部位228。渐渐的，当突触22因为相对较多的电压一输入，如图5b所示，渐渐造成突触22中产生更多缺陷226数量，如图5c所示，当缺陷226的数量多到连接了原先不连接的二部位228时，即上述临界值b，同时也导通了突触22中原先不导通的二部位228，使得外部权重值222进行二元变化从0变成1。如图5d所示，缺陷226数量亦可通过相对较多的电压二输入而减少，但缺陷226数量的减少还不足以改变突触22二部位228间的导通状态，如图5e所示，当缺陷226的数量减少到原先连接的二部位228断开时，即低于上述临界值a，外部权重值222进行二元变化从1变成0。接着，每一突触22在依照所接收的输入信号xi各自乘上自己的外部权重值222以产生权重信号，每一突触22各自再传输权重信号到神经元电路24中计算以输出。

在另一实施例中，请参照本发明图6所示，突触的内部权重值的改变方式会随着不同的外部权重值而改变，例如当外部权重值为0时，仅外部输入电压一可以使内部权重值渐增，但外部输入电压二不会影响内部权重值，而当外部权重值为1时，仅外部输入电压二可以使内部权重值渐减，但外部输入电压一不会影响内部权重值。

在另一实施例中，请参照本发明图7所示，突触的内部权重值的改变会受限于两个临界值a与b之间，例如当外部权重值为1时，外部输入电压一不会使内部权重值继续增加，而当外部权重值为0时，外部输入电压二不会使内部权重值224继续减少。

在上述实施例中，当内部权重值到达两个临界值a与b时也不必然进行外部权重值二元变化，外部权重值二元变化有随机性，机率取决于一由内部权重值所决定的累计分布机率，而累计分布机率特性还可以通过外部刺激的脉冲振幅(pulseamplitude)、脉冲宽度(pulseduration)、脉冲电压/电流刺激的松弛周期(pulserelaxationperiodforapulsevoltage/currentstimulus)进行调整。

本发明中利用已知hnn梯度下降向后传播规则的公式进行内部权重值更新，并搭配其累计分布机率函数进行外部权重值的更新，以发展出一套新的计算公式，如下列的公式(1)至公式(7)：

δk＝(tk-ok)×fa'(ik)(3)

其中，hj为第j个隐藏层神经元的输出值，ok为第k个输出层神经元的输出值，xi为第i个输入层的输入值，wext,i,j为第i个输入层和第j个隐藏层神经元之间的外部权重值，wext,j,k为第j个隐藏层和第k个输出神经元之间的外部权重值，fa为激活函数，ij为第j个隐藏层神经元权重乘积和，ik为第k个输出层神经元权重乘积和，tk为第k个输出层的目标输出值，fa^’为激活函数的微分项，δk为第k个输出层的误差量，δj为第j个隐藏层的误差量，wint,i,j为第i个输入层和第j个隐藏层神经元之间的内部权重值，wint,j,k为第j个隐藏层和第k个输出神经元之间的内部权重值，η为学习速率，w^old为更新前的权重值，w^new为更新后的权重值，pext,sw为外部权重值切换的机率，cdf为由内部权重值所决定的累计分布函数。

本发明所提出的神经网络处理系统，可以通过多个神经网络处理系统的结合，以形成一种新型态的硬件神经网络架构，利用多个神经网络处理系统可以同时加速深度学习中的预测与学习功能，在每一神经网络处理系统中的单一突触可以利用一二元存储器为代表，除了可以具有外部可量测的外部权重值以外，还具有一内部不可直接量测的内部权重值，例如一种模拟权重，其可通过外部的电信号刺激，并搭配适当的学习法则或公式进行更新，在连续受到外部的刺激下，模拟权重的更新具有累计特性，使得权重值的更新直接取决于如模拟权重的内部权重值。

本发明不限制突触的数量以及形式，除了是二元的电阻式随机存取存储器外，还可以是其它种类的存储器或是由多个存储器所组成，一旦当单一突触是由多个二元存储器所组成时，在单一突触中的外部权重值就会是多位值。上述实施例的说明，皆非为本发明的限制，本发明主要是利用突触中具有内、外权重值的技术特征，改善已知单一模拟权重精确度不佳的缺点，并以此达成准确权重更新的要求。

以上所述的实施例仅为说明本发明的技术思想及特点，其目的在使熟习此项技艺的人士能够了解本发明的内容并据以实施，当不能以的限定本发明的专利范围，即大凡依本发明所揭示的精神所作的均等变化或修饰，仍应涵盖在本发明的专利范围。