使用非易失性半导体存储元件的神经网络运算电路的制作方法

本发明涉及能够实现低功耗化和大规模集成化的使用非易失性半导体存储元件的神经网络运算电路及其动作方法。

背景技术：

随着信息通信技术的进展，所有的事物与因特网相连的iot(internetofthings)技术的到来受到关注。在iot技术中，通过将各种电子设备连接到因特网，期待设备的高性能化，但作为实现更高性能化的技术，近年来活跃地开展电子设备自己进行学习和判断的人工智能(ai：artificialintelligence)技术的研究开发。

在人工智能技术中，使用对人的脑型信息处理进行工学上的模仿的神经网络技术，并且以高速、低功耗执行神经网络运算的半导体集成电路的研究开发正在火热地进行。

在专利文献1、专利文献2、专利文献3中公开了以往的神经网络运算电路。神经网络电路由将多个输入以分别具有不同的耦合权重系数的被称作突触(synapse)的耦合来连接的被称作神经元(neuron)(也有被称作感知器(perceptron)的情况)的基本元件构成，通过将多个神经元相互连接，能够进行图像识别及声音识别这样的高级的运算处理。在神经元中，进行对将各输入与各耦合权重系数相乘后的值全部进行相加的乘加运算动作。乘加运算电路由保存输入及耦合权重系数的存储器电路和寄存器电路、将输入与耦合权重系数相乘的乘法电路、将乘法结果累积相加的累加器(accumulator)电路、以及进行这些电路块的动作控制的控制电路构成。这些电路块全部由数字电路构成。

在非专利文献1中，公开了以往的神经网络运算电路的另一例。其使用能够设定模拟电阻值(电导)的电阻变化型非易失性存储器而构成神经网络运算电路，在非易失性存储器元件中保存相当于耦合权重系数的模拟电阻值(电导)，对非易失性存储器元件施加相当于输入的模拟电压值，利用此时流过非易失性存储器元件中的模拟电流值。由神经元进行的乘加运算动作通过以下这样进行：将多个耦合权重系数作为模拟电阻值(电导)保存到多个非易失性存储器元件中，向多个非易失性存储器元件施加相当于多个输入的多个模拟电压值，得到将流过多个非易失性存储器元件中的电流值合计的模拟电流值作为乘加运算结果。使用非易失性存储器元件的神经网络运算电路与上述的由数字电路构成的神经网络运算电路相比能够实现低功耗化，近年来，火热地开展能够设定模拟电阻值(电导)的电阻变化型非易失性存储器的工艺开发、器件开发及电路开发。

现有技术文献

专利文献

专利文献1：日本特开2001－188767号公报

专利文献2：日本特开平6－259585号公报

专利文献3：日本特开平2－161556号公报

非专利文献

非专利文献1：m.prezioso，etal.，“trainingandoperationofanintegratedneuromorphicnetworkbasedonmetal－oxidememristors，”nature，no.521，pp.61－64，2015.

技术实现要素：

发明要解决的课题

但是，上述的以往的神经网络运算电路有以下所示的问题。

即，在由数字电路构成的神经网络运算电路中，需要搭载保存大量的输入数据及耦合权重系数的大容量的存储器电路和寄存器电路、进行以浮点小数表现的大量的输入数据与耦合权重系数的乘加运算的大规模的乘法电路和累积加法电路(累加器电路)、以及进行这些电路块的动作控制的大规模的控制电路，半导体集成电路的芯片面积增大是个问题。

此外，为了进行高速的神经网络运算，需要使大规模的数字电路高速地动作，所以目前被产品化的进行神经网络运算处理的半导体芯片的功耗为几十瓦特到几百瓦特，非常大，半导体集成电路的功耗增大也是个问题。

另一方面，为了解决由数字电路构成的神经网络运算电路的功耗增大，近年来提出了使用能够设定模拟电阻值(电导)的电阻变化型非易失性存储器的神经网络运算电路。其将多个耦合权重系数作为模拟电阻值(电导)保存到多个非易失性存储器元件中，向多个非易失性存储器元件施加相当于多个输入数据的多个模拟电压值，得到将多个非易失性存储器元件中流过的电流值合计的模拟电流值作为乘加运算结果，由此进行乘加运算动作，但是，由于神经元的输入及输出被以模拟电压值或模拟电流值进行处理，所以需要以模拟值进行神经元间的信息传递，有难以将大规模的神经网络电路向半导体集成电路安装、即难以实现大规模的半导体集成化的问题。为了使神经元间的信息传递变得容易，也有使用模拟－数字变换电路(ad变换电路)将模拟值变换为数字值而进行信息传递、使用数字－模拟变换电路(da变换电路)将数字值变换为模拟值的方法，但在安装大规模的神经网络电路的情况下，需要搭载大量的模拟－数字变换电路(ad变换电路)和数字－模拟变换电路(da变换电路)，从半导体集成化的观点看并不优选。

本发明是鉴于上述问题而做出的，目的是提供一种能够实现低功耗化和大规模集成化的使用非易失性半导体存储元件的神经网络运算电路。

用来解决课题的手段

本发明的使用非易失性半导体存储元件的神经网络运算电路，根据能够取第1逻辑值或第2逻辑值的数据的多个输入数据、与多个输入数据分别对应的多个耦合权重系数、以及多个输入数据与对应的耦合权重系数的乘加运算结果，输出第1逻辑值或第2逻辑值的输出数据，其特征在于，具备：多个字线；第1数据线；第2数据线；第3数据线；第4数据线；多个运算机构，由第1非易失性半导体存储元件与第1单元晶体管的串联连接构成，第1非易失性半导体存储元件的一端连接于第1数据线，第1单元晶体管的一端连接于第2数据线，第1单元晶体管的栅极连接于字线，并且由第2非易失性半导体存储元件与第2单元晶体管的串联连接构成，第2非易失性半导体存储元件的一端连接于第3数据线，第2单元晶体管的一端连接于第4数据线，第2单元晶体管的栅极连接于字线；字线选择电路，将多个字线设为选择状态或非选择状态；以及判定电路，判定在第1数据线和第3数据线、或者第2数据线和第4数据线中发生的电压值或电流值的大小关系，输出第1逻辑值或第2逻辑值的数据；在多个运算机构的第1非易失性半导体存储元件和第2非易失性半导体存储元件中保存多个耦合权重系数；字线选择电路根据多个输入数据，将多个字线设为选择状态或非选择状态；判定电路将输出数据输出。

此外，在本发明的使用非易失性半导体存储元件的神经网络运算电路中，也可以是，在多个耦合权重系数向多个运算机构的第1非易失性半导体存储元件和第2非易失性半导体存储元件的保存中，在耦合权重系数为正值的情况下，向第1非易失性半导体存储元件进行写入，以使流过第1非易失性半导体存储元件的电流值成为与耦合权重系数的值成比例的电流值；在耦合权重系数为负值的情况下，向第2非易失性半导体存储元件进行写入，以使流过第2非易失性半导体存储元件的电流值成为与耦合权重系数的值成比例的电流值。

此外，在本发明的使用非易失性半导体存储元件的神经网络运算电路中，也可以是，在多个耦合权重系数向多个运算机构的第1非易失性半导体存储元件和第2非易失性半导体存储元件的保存中，在耦合权重系数为正值的情况下，向第1非易失性半导体存储元件和第2非易失性半导体存储元件进行写入，以使流过第1非易失性半导体存储元件的电流值比流过第2非易失性半导体存储元件的电流值大，并且其电流差成为与耦合权重系数的值成比例的电流值；在耦合权重系数为负值的情况下，向第1非易失性半导体存储元件和第2非易失性半导体存储元件进行写入，以使流过第2非易失性半导体存储元件的电流值比流过第1非易失性半导体存储元件的电流值大，并且其电流差成为与耦合权重系数的值成比例的电流值。

此外，在本发明的使用非易失性半导体存储元件的神经网络运算电路中，也可以是，字线选择电路在输入数据是第1逻辑值的情况下，将对应的字线设为非选择状态；在输入数据是第2逻辑值的情况下，将对应的字线设为选择状态。

此外，在本发明的使用非易失性半导体存储元件的神经网络运算电路中，也可以是，在第1数据线或第2数据线中，流过与耦合权重系数为正值的多个输入数据和对应的正值的耦合权重系数的乘加运算结果对应的电流值；在第3数据线或第4数据线中，流过与耦合权重系数为负值的多个输入数据和对应的正值的耦合权重系数的乘加运算结果对应的电流值。

此外，在本发明的使用非易失性半导体存储元件的神经网络运算电路中，也可以是，判定电路在流过第1数据线或第2数据线的电流值比流过第3数据线或第4数据线的电流值小的情况下，输出第1逻辑值；在流过第1数据线或第2数据线的电流值比流过第3数据线或第4数据线的电流值大的情况下，输出第2逻辑值。

此外，在本发明的使用非易失性半导体存储元件的神经网络运算电路中，也可以是，第1非易失性半导体存储元件和第2非易失性半导体存储元件是由电阻变化型元件形成的电阻变化型存储元件、由磁阻变化型元件形成的磁阻变化型存储元件、由相变型元件形成的相变型存储元件、由强电介质型元件形成的强电介体型存储元件中的哪一种都可以。

发明效果

本发明的使用非易失性半导体存储元件的神经网络运算电路，是神经元的输入数据和输出数据能够取0数据或1数据的2值的数字值的神经网络电路，具备运算机构，该运算机构由串联连接在第1数据线与第2数据线之间的第1非易失性半导体存储元件和第1单元晶体管、串联连接在第3数据线与第4数据线之间的第2非易失性半导体存储元件和第2单元晶体管构成；将耦合权重系数例如作为电阻值(电导)保存到第1非易失性半导体存储元件和第2非易失性半导体存储元件中。

这里，在耦合权重系数为正值的情况下，向第1非易失性半导体存储元件进行写入，以使流过第1非易失性半导体存储元件的电流值成为与耦合权重系数的值成比例的电流值(流过第2非易失性半导体存储元件的电流值为零)，在耦合权重系数为负值的情况下，向第2非易失性半导体存储元件进行写入，以使流过第2非易失性半导体存储元件的电流值成为与耦合权重系数的值成比例的电流值(流过第1非易失性半导体存储元件的电流值为零)。

或者，在耦合权重系数为正值的情况下，向第1非易失性半导体存储元件和第2非易失性半导体存储元件进行写入，以使流过第1非易失性半导体存储元件的电流值比流过第2非易失性半导体存储元件的电流值大，并且其电流差成为与耦合权重系数的值成比例的电流值，在耦合权重系数为负值的情况下，向第1非易失性半导体存储元件和第2非易失性半导体存储元件进行写入，以使流过第2非易失性半导体存储元件的电流值比流过第1非易失性半导体存储元件的电流值大，并且其电流差成为与耦合权重系数的值成比例的电流值。该写入方法在不能将流过非易失性半导体存储元件的电流值设定为零的情况下、或在不能仅用1个非易失性半导体存储元件设定与耦合权重系数的值成比例的电流值的情况下是有效的。

字线选择电路根据输入数据(0数据或1数据)，将连接在第1单元晶体管和第2单元晶体管的栅极上的字线设为非选择状态(0数据的情况)或选择状态(1数据的情况)，由此将运算机构设为非激活状态或激活状态。

在第1非易失性半导体存储元件所连接的第1数据线中，流过与耦合权重系数为正值的多个输入数据和对应的正值的耦合权重系数的乘加运算结果对应的电流值，在第2非易失性半导体存储元件所连接的第3数据线中，流过与耦合权重系数为负值的多个输入数据和对应的负值的耦合权重系数的乘加运算结果对应的电流值。

判定电路判定流过第1数据线的电流值与流过第3数据线的电流值的大小关系，将输出数据(0数据或1数据)输出。即，在输入数据与耦合权重系数的乘加运算结果是负值的情况下输出0数据，在正值的情况下输出1数据。

本发明的使用非易失性半导体存储元件的神经网络运算电路通过上述的动作，使用流过非易失性半导体存储元件的电流值进行神经网络电路的乘加运算动作。由此，不搭载以往的由数字电路构成的大容量的存储器电路或寄存器电路、大规模的乘法电路或累积加法电路(累加器电路)、以及复杂的控制电路就能够进行乘加运算动作，所以能够实现神经网络运算电路的低功耗化及半导体集成电路的芯片面积缩小化。此外，由于是神经元的输入数据和输出数据能够取0数据或1数据的2值的数字数据的神经网络电路，所以能够使神经元间的信息传递成为数字传送，容易进行使用多个神经元的大规模的神经网络电路的安装，能够进行半导体集成化。

即，本发明的使用非易失性半导体存储元件的神经网络运算电路能够实现低功耗化和大规模集成化。详细情况通过后述的实施例公开。

附图说明

图1a是表示在神经网络运算中使用的神经元的图。

图1b是表示进行图1a的神经元的运算处理的详细电路结构的图。

图2是表示深度神经网络的结构的图。

图3是表示神经网络运算中的神经元的计算的图。

图4是表示在神经网络运算中的神经元的计算中，将偏倚系数b的运算分配给输入x0和耦合权重系数w0的情况下的计算的图。

图5是表示有关实施方式的神经网络运算中的神经元的激活函数f的图。

图6是表示的有关实施方式的使用非易失性半导体存储元件的神经网络运算电路的整体结构的图。

图7a表示构成图6中的存储器单元阵列的非易失性半导体存储元件即存储器单元mc的电路图的图。

图7b表示存储器单元mc的剖视图。

图7c是表示存储器单元mc的各动作模式下的施加电压的图。

图8a是表示示出有关实施方式的神经网络运算电路的动作原理的计算的图。

图8b是表示有关实施方式的运算机构pui的动作的图。

图9a是表示运算机构pui的动作的图。

图9b是表示有关实施方式的运算机构pui的与输入xi对应的字线wli的状态的图。

图9c是表示有关实施方式的运算机构pui的电阻变化元件rp、rn的电流范围、以及向电阻变化元件写入的电流值的计算的图。

图9d是表示有关实施方式的运算机构pui的输入xi与耦合权重系数wi的乘加运算动作的图。

图10a是表示有关第1实施方式的神经网络运算的结构、以及耦合权重系数的值的图。

图10b是表示有关第1实施方式的神经网络运算的耦合权重系数的值的图。

图11是表示有关第1实施方式的神经网络运算电路的详细结构的图。

图12a是表示有关第1实施方式的运算机构的电阻变化元件的电流范围、以及向电阻变化元件写入的电流值的图。

图12b是表示有关第1实施方式的运算机构pu0～pu3的电阻变化元件rp、rn的电流范围、以及向电阻变化元件rp、rn写入的电流值(电阻值)的图。

图13a是表示有关第2实施方式的神经网络运算的结构的图。

图13b是表示有关第2实施方式的神经网络电路的真值表的图。

图13c是表示有关第2实施方式的神经网络电路的耦合权重系数的图。

图13d是表示有关第2实施方式的神经网络电路的输入层、隐藏层、输出层的运算动作的图。

图14a是表示有关第2实施方式的运算机构的电阻变化元件的电流范围、以及向电阻变化元件写入的电流值的图。

图14b是表示有关第2实施方式的神经网络运算电路的运算机构的电阻变化元件的电流范围、以及向电阻变化元件写入的电流值的图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。

图1a及图1b是表示有关实施方式的使用非易失性半导体存储元件的神经网络运算电路的详细结构的图。图1a是表示在神经网络运算中使用的神经元的图，图1b是表示由本发明实施图1a的神经元进行的运算处理的情况下的详细电路结构的图，是表示本发明的特征的代表图。关于图1a及图1b在后述中详细地进行说明。

<神经网络运算>

首先，对神经网络运算的基础理论进行说明。

图2是表示深度神经网络的结构的图。神经网络由供输入数据输入的输入层1、接受输入层1的输入数据而进行运算处理的隐藏层2(也有称作中间层的情况)、接受隐藏层2的输出数据而进行运算处理的输出层3构成。在输入层1、隐藏层2、输出层3各自中，存在许多被称作神经元10的神经网络的基本元件，各个神经元10经由耦合权重11被连接。多个耦合权重11分别具有不同的耦合权重系数而将神经元间连接。神经元10中被输入多个输入数据，神经元10中进行这些多个输入数据与对应的耦合权重系数的乘加运算动作，并作为输出数据输出。这里，隐藏层2是将多级(在图2中是4级)神经元连结的结构，在形成较深的神经网络的意义上，图2所示那样的神经网络被称作深度神经网络。

图3是表示神经网络运算中的神经元的计算的图，在图3的式(1)、式(2)中表示神经元10进行的计算式。神经元10通过分别具有耦合权重系数w1～wn的耦合权重连接有n个输入x1～xn，进行输入x1～xn与耦合权重系数w1～wn的乘加运算。神经元10具有偏倚系数b，对输入x1～xn与耦合权重系数w1～wn的乘加运算结果加上偏倚系数b。神经元10具有激活函数f，对于对输入x1～xn与耦合权重系数w1～wn的乘加运算结果加上偏倚系数b后的结果，进行激活函数的运算处理，将输出y输出。

图4是表示在神经网络运算中的神经元的计算中、将偏倚系数b的运算分配给输入x0和耦合权重系数w0的情况下的计算的图，在图4的式(1)、式(2)中表示神经元10进行的计算式。在上述的图3中，神经元10进行输入x1～xn与耦合权重系数w1～wn的乘加运算和偏倚系数b的加法运算，但如图4所示，可以将偏倚系数b的加法运算设为输入x0＝1、耦合权重系数w0＝b，解释为将n+1个输入x0～xn用分别具有耦合权重系数w0～wn的耦合权重连接的神经元10。如图4的式(1)、式(2)所示，能够将神经元10的计算仅用输入x0～xn与耦合权重系数w0～wn的乘加运算来简单地表现。在本实施方式中，如图4所示，将偏倚系数b的加法运算表现为输入x0＝1和耦合权重系数w0＝b。

图5是表示有关实施方式的神经网络运算中的神经元的激活函数f的图，x轴是激活函数f的输入u，y轴是激活函数f的输出f(u)。在本发明的实施方式中，激活函数f使用阶跃函数。在本实施方式中，作为激活函数而使用阶跃函数，但作为在神经网络运算中使用的其他的激活函数，有s形函数等。如图5所示，阶跃函数是在输入u为负值(<0)的情况下将输出f(u)＝0输出、在输入u为正值(≧0)的情况下将输出f(u)＝1输出的函数。在上述的图4的神经元10中，在使用阶跃函数的激活函数f的情况下，在输入x0～xn与耦合权重系数w0～wn的乘加运算结果为负值的情况下将输出y＝0输出，在乘加运算结果为正值的情况下将输出y＝1输出。

<使用非易失性半导体存储元件的神经网络运算电路的整体结构>

图6是表示有关实施方式的使用非易失性半导体存储元件的神经网络运算电路的整体结构的图。本发明的神经网络运算电路具备存储器单元阵列20、字线选择电路30、列选通器40、判定电路50、写入电路60、控制电路70。

存储器单元阵列20以矩阵状配置有非易失性半导体存储元件，在非易失性半导体存储元件中保存有在神经网络运算中使用的耦合权重系数。存储器单元阵列20具有多个字线wl0～wln、多个位线bl0～blm、多个源极线sl0～slm。

字线选择电路30是驱动存储器单元阵列20的字线wl0～wln的电路。与神经网络运算的神经元的输入对应地将字线设为选择状态或非选择状态(后述)。

列选通器40是与位线bl0～blm、源极线sl0～slm连接，从多个位线、多个源极线中选择规定的位线、源极线并连接到后述的判定电路50、写入电路60的电路。

判定电路50是经由列选通器40连接着位线bl0～blm、源极线sl0～slm，检测位线或源极线中流过的电流值并将输出数据输出的电路。进行保存在存储器单元阵列20的存储器单元中的数据的读出、以及神经网络运算的神经元的输出数据的输出(后述)。

写入电路60是经由列选通器40连接着位线bl0～blm、源极线sl0～slm，向存储器单元阵列20的非易失性半导体存储元件施加改写电压的电路。

控制电路70是对存储器单元阵列20、字线选择电路30、列选通器40、判定电路50、写入电路60的动作进行控制的电路，进行对于存储器单元阵列20的存储器单元的读出动作、写入动作、以及神经网络运算动作的控制。

<非易失性半导体存储元件的结构>

图7a～图7c是有关实施方式的非易失性半导体存储元件的电路图、剖视图、以及表示各动作中的施加电压的图。

图7a表示构成图6的存储器单元阵列20的非易失性半导体存储元件即存储器单元mc的电路图。存储器单元mc由电阻变化元件rp和单元晶体管t0的串联连接结构构成，是由1个单元晶体管t0和1个电阻变化元件rp构成的“1t1r”型的存储器单元。电阻变化元件rp是被称作电阻变化型存储器reram(resistiverandomaccessmemory)的非易失性半导体存储元件。存储器单元mc的字线wl连接于单元晶体管t0的栅极端子，位线bl连接于电阻变化元件rp，源极线sl连接于单元晶体管t0的源极端子。

图7b表示存储器单元mc的剖视图。在半导体基板80上形成有扩散区域81a、81b，扩散区域81a作为单元晶体管t0的源极端子、扩散区域81b作为单元晶体管的漏极端子发挥作用。扩散区域81a、81b间作为单元晶体管t0的沟道区域发挥作用，在该沟道区域上形成有氧化膜82、由多晶硅形成的栅极电极83，作为单元晶体管t0而动作。单元晶体管t0的作为源极端子的扩散区域81a经由导通孔84a连接于作为第1布线层85a的源极线sl。单元晶体管t0的作为漏极端子的扩散区域81b经由导通孔84b连接于第1布线层85b。进而，第1布线层85b经由导通孔86连接于第2布线层87，第2布线层87经由导通孔88连接于电阻变化元件rp。电阻变化元件rp由下部电极89、电阻变化层90、上部电极91构成。电阻变化元件rp经由导通孔92连接于作为第3布线层93的位线bl。

图7c是表示存储器单元mc的各动作模式下的施加电压的图。

对复位动作(高电阻化)而言，通过向字线wl施加vg_reset(例如2v)的电压而使单元晶体管t0成为选择状态，向位线bl施加vreset(例如2.0v)的电压，向源极线sl施加接地电压vss(0v)。由此，电阻变化元件rp的上部电极上被施加正电压，电阻变化为高电阻状态。对置位动作(低电阻化)而言，通过向字线wl施加vg_set(例如2.0v)的电压而使单元晶体管t0成为选择状态，向位线bl施加接地电压vss(0v)，向源极线sl施加vset(例如2.0v)的电压。由此，电阻变化元件rp的下部电极上被施加正电压，电阻变化为低电阻状态。

对读出动作而言，通过向字线wl施加vg_read(例如1.1v)的电压，使单元晶体管t0成为选择状态，向位线bl施加vread(例如0.4v)的电压，向源极线sl施加接地电压vss(0v)。由此，在电阻变化元件rp是高电阻状态(复位状态)的情况下流过较小的存储器单元电流，此外，在电阻变化元件rp为低电阻状态(置位状态)的情况下流过较大的存储器单元电流，通过由判定电路判定该电流值的差异，进行保存在存储器单元中的数据的读出动作。

在将存储器单元mc作为保存0数据或1数据的半导体存储器使用的情况下，电阻变化元件rp的电阻值仅能够取高电阻状态(0数据)和低电阻状态(1数据)这2个电阻状态(数字)，但在作为本发明的神经网络运算电路使用的情况下，将电阻变化元件rp的电阻值设定为多个等级(模拟)的值而使用。

<使用非易失性半导体存储元件的神经网络运算电路的详细结构>

图1a及图1b是表示有关实施方式的使用非易失性半导体存储元件的神经网络运算电路的详细结构的图。

图1a是表示在神经网络运算中使用的神经元的图，与图4相同。神经元10中，n+1个输入x0～xn分别具有耦合权重系数w0～wn而被输入，输入x0～xn能够取0数据或1数据的某个值，耦合权重系数w0～wn能够取多等级(模拟)的值。对于输入x0～xn与耦合权重系数w0～wn的乘加运算结果，进行图5所示的作为阶跃函数的激活函数f的运算，将输出y输出。

图1b是表示进行图1a的神经元10的运算处理的详细电路结构的图。存储器单元阵列具有多个字线wl0～wln、多个位线bl0、bl1、多个源极线sl0、sl1。

作为神经元10的输入x0～xn，对应着字线wl0～wln，输入x0对应于字线wl0，输入x1对应于字线wl1，输入xn－1对应于字线wln－1，输入xn对应于字线wln。字线选择电路30是根据输入x0～xn将字线wl0～wln设为选择状态或非选择状态的电路。在输入为0数据的情况下将字线设为非选择状态，在输入为1数据的情况下将字线设为选择状态。在神经网络运算中，由于输入x0～xn分别能够任意地取0数据或1数据的值，所以在输入x0～xn之中有多个1数据的情况下，字线选择电路30将多个字线同时多路选择。

作为神经元10的耦合权重系数w0～wn，对应着由存储器单元构成的运算机构pu0～pun，耦合权重系数w0对应于运算机构pu0，耦合权重系数w1对应于运算机构pu1，耦合权重系数wn－1对应于运算机构pun－1，耦合权重系数wn对应于运算机构pun。

运算机构pu0通过由电阻变化元件rp和单元晶体管t0构成的存储器单元、以及由电阻变化元件rn和单元晶体管t1构成的存储器单元构成。即，1个运算机构由2个存储器单元构成。运算机构pu0连接于字线wl0、位线bl0、bl1、源极线sl0、sl1，字线wl0连接于单元晶体管t0、t1的栅极端子，位线bl0连接于电阻变化元件rp，源极线sl0连接于单元晶体管t0的源极端子，位线bl1连接于电阻变化元件rn，源极线sl1连接于单元晶体管t1的源极端子。输入x0作为运算机构pu0的字线wl0被输入，耦合权重系数w0作为电阻值(电导)被保存到运算机构pu0的2个电阻变化元件rp、rn中。运算机构pu1、pun－1、pun的结构也与运算机构pu0的结构是同样的，所以省去详细的说明。即，输入x0～xn作为分别连接于运算机构pu0～pun的字线wl0～wln被输入，耦合权重系数w0～wn分别作为电阻值(电导)被保存到运算机构pu0～pun的电阻变化元件rp、rn中。

位线bl0经由列选通晶体管yt0连接于判定电路50，位线bl1经由列选通晶体管yt1连接于判定电路50。列选通晶体管yt0、yt1的栅极端子连接于列选通控制信号yg，如果列选通器控制信号yg被激活，则位线bl0、bl1连接于判定电路50。源极线sl0经由放电晶体管dt0连接于接地电压，源极线sl1经由放电晶体管dt1连接于接地电压。放电晶体管dt0、dt1的栅极端子连接于放电控制信号dis，如果放电控制信号dis被激活，则源极线sl0、sl1被设定为接地电压。在进行神经网络运算动作的情况下，通过使列选通器控制信号yg、放电控制信号dis激活，将位线bl0、bl1连接到判定电路50，将源极线sl0、sl1连接到接地电压。

判定电路50是检测在经由列选通晶体管yt0、yt1连接的位线bl0、bl1中流过的电流值、进行比较并将输出y输出的电路。输出y能够取0数据或1数据的某个值。在流过位线bl0的电流值比流过位线bl1的电流值小的情况下输出0数据的输出y，在流过位线bl0的电流值比流过位线bl1的电流值大的情况下输出1数据的输出y。即，判定电路50是判定流过位线bl0、bl1的电流值的大小关系并将输出y输出的电路。

关于如以上那样构成的使用非易失性半导体存储元件的神经网络运算电路的动作原理和动作方法、以及将耦合权重系数向电阻变化元件保存的方法，以后详细地进行说明。

<使用非易失性半导体存储元件的神经网络运算电路的动作原理>

图8a及图8b是表示示出有关实施方式的神经网络运算电路的动作原理的计算、及运算机构的动作的图。

图8a是表示示出有关实施方式的神经网络运算电路的动作原理的计算的图。如图8a的式(1)所示，神经元10进行的运算是对输入xi与耦合权重系数wi的乘加运算结果进行了作为阶跃函数的激活函数f的运算处理。在本发明中，如图8a的式(2)所示，其特征在于，将耦合权重系数wi替换为流过电阻变化元件(存储器单元)的电流值ii，进行输入xi与流过电阻变化元件(存储器单元)的电流值ii的乘加运算。

这里，神经网络运算中的耦合权重系数wi取正值(≧0)、负值(<0)的两者，在乘加运算动作中输入xi与耦合权重系数wi的乘积是正值的情况下进行加法，在负值的情况下进行减法。但是，由于流过电阻变化元件(存储器单元)的电流值ii只能取正值，所以输入xi与耦合权重系数wi的乘积为正值的情况下的加法运算能够通过电流值ii的加法来实现，但要使用正值的电流值ii来进行输入xi与耦合权重系数wi的乘积为负值的情况下的减算运算，需要研究。

图8b是表示有关实施方式的运算机构pui的动作的图。运算机构pui的结构是在图1a及图1b中说明的结构，省去详细的说明。本发明的特征是将耦合权重系数wi保存到2个电阻变化元件rp、rn中，将对电阻变化元件rp设定的电阻值设为rpi，将对电阻变化元件rn设定的电阻值设为rni，将向位线bl0、bl1施加的电压设为vbl，将流过电阻变化元件rp、rn的电流值设为ipi、ini。在本发明中，其特征在于，将正的乘加运算结果与流过位线bl0的电流相加，将负的乘加运算结果与流过位线bl1的电流相加，设定电阻变化元件rp、rn的电阻值rpi、rni(电流值ipi、ini)以使得如上述那样电流流过。通过如图1b所示将输入x0～xn(耦合权重系数w0～wn)的个数的该运算机构pui并联连接于位线bl0、bl1，能够得到神经元10的正的乘加运算结果作为流过位线bl0的电流值，得到负的乘加运算结果作为流过位线bl1的电流值。在图8a的式(3)、式(4)、式(5)中表示上述的动作的计算。即，通过对运算机构pui的电阻变化元件rp、rn适当地写入相当于耦合权重系数wi的电阻值rpi、rni，能够在位线bl0、bl1中分别得到与正的乘加运算结果、负的乘加运算结果对应的电流值。

在图8a的式(5)中，激活函数f是阶跃函数(在输入是负值(<0)的情况下为0数据输出，在正值的情况下(≧0)为1数据输出)，所以通过以如下方式检测并判定流过位线bl0、bl1的电流值，能够使用具有电阻变化元件rp、rn的运算机构pui来进行神经元10的神经网络运算，上述方式为，在作为正的乘加运算结果的流过位线bl0的电流值比作为负的乘加运算结果的流过位线bl1的电流值小的情况下、即在全部的乘加运算结果是负值的情况下输出0数据，在作为正的乘加运算结果的流过位线bl0的电流值比作为负的乘加运算结果的流过位线bl1的电流值大的情况下、即在全部的乘加运算结果是正值的情况下输出1数据。

图9a～图9d是表示有关实施方式的运算机构的详细动作的图。图9a是表示运算机构pui的动作的图，由于与图8b相同，所以省去详细的说明。以下，对运算机构pui的输入xi与耦合权重系数wi的乘加运算动作进行说明。

图9b是表示有关实施方式的运算机构pui的与输入xi对应的字线wli的状态的图。输入xi取0数据或1数据的某个值，在输入xi为0数据的情况下，字线wli被设为非选择状态，在输入xi为1数据的情况下，字线wli被设为选择状态。字线wli连接于单元晶体管t0、t1的栅极端子，在字线wli为非选择状态的情况下，单元晶体管t0、t1为非激活状态(断路状态)，不论电阻变化元件rp、rn的电阻值rpi、rni如何，在位线bl0、bl1中都不流过电流。另一方面，在字线wli为选择状态的情况下，单元晶体管t0、t1为激活状态(连接状态)，基于电阻变化元件rp、rn的电阻值rpi、rni，在位线bl0、bl1中流过电流。

图9c是表示有关实施方式的运算机构pui的电阻变化元件rp、rn的电流范围、以及向电阻变化元件写入的电流值的计算的图。设电阻变化元件rp、rn中流过的电流值的可取的范围为从最小值imin到最大值imax而进行说明。进行标准化以使向神经元输入的耦合权重系数的绝对值|wi|成为0～1的范围，决定向电阻变化元件写入的电流值以成为与标准化后的耦合权重系数|wi|成比例的电流值(模拟值)。

在耦合权重系数wi是正值(≧0)的情况下，为了将输入xi(0数据或1数据)与耦合权重系数wi(≧0)的乘加运算结果(≧0)作为电流值加到正的乘加运算结果的电流流过的位线bl0中，对于与位线bl0连接的电阻变化元件rp，进行与耦合权重系数的绝对值|wi|成比例的电流值imin+(imax－imin)×|wi|流动的电阻值rpi的写入，对于与位线bl1连接的电阻变化元件rn，进行成为电流值imin(相当于耦合权重系数0)的电阻值rni的写入。

另一方面，在耦合权重系数wi为负值(<0)的情况下，为了将输入xi(0数据或1数据)与耦合权重系数wi(<0)的乘加运算结果(<0)作为电流值加到负的乘加运算结果的电流流过的位线bl1中，对与位线bl1连接的电阻变化元件rn，进行与耦合权重系数的绝对值|wi|成比例的电流值imin+(imax－imin)×|wi|流过的电阻值rni的写入，对于与位线bl0连接的电阻变化元件rp，进行成为电流值imin(相当于耦合权重系数0)的电阻值rpi的写入。

通过如上述那样设定向电阻变化元件rp、rn写入的电阻值(电流值)，得到流过位线bl0的电流(相当于正的乘加运算结果)与流过位线bl1的电流(相当于负的乘加运算结果)的差分电流(imax－imin)×|wi|，作为相当于输入与耦合权重系数的乘加运算结果的电流值。关于将耦合权重系数的绝对值|wi|标准化为0～1的范围的方法的详细情况，在后面叙述。

图9d是表示有关实施方式的运算机构pui的输入xi与耦合权重系数wi的乘加运算动作的图。

在输入xi是0数据的情况下，与耦合权重系数wi的值无关，乘加运算结果xi×wi为0。由于输入xi是0数据，所以字线wli为非选择状态，单元晶体管t0、t1为非激活状态(断路状态)，所以流过位线bl0、bl1的电流值ipi、ini为0。即，由于乘加运算结果xi×wi是0，所以在相当于正的乘加运算结果的电流流过的位线bl0、相当于负的乘加运算结果的电流流过的位线bl1双方中都不流过电流。

在输入xi是1数据、耦合权重系数wi是正值(≧0)的情况下，乘加运算结果xi×wi为正值(≧0)。由于输入xi是1数据，所以字线wli为选择状态，由于单元晶体管t0、t1为激活状态(连接状态)，所以基于电阻变化元件rp、rn的电阻值，在位线bl0、bl1中流过在图9c中说明的电流ipi、ini。流过位线bl0的相当于正的乘加运算结果的电流ipi与流过位线bl1的相当于负的乘加运算结果的电流ini的差分电流(imax－imin)×|wi|成为相当于输入xi与耦合权重系数wi的乘加运算结果xi×wi(≧0)的电流，在位线bl0中与位线bl1相比更多地流过。

在输入xi是1数据、耦合权重系数wi是负值(<0)的情况下，乘加运算结果xi×wi为负值(<0)。由于输入xi是1数据，所以字线wli为选择状态，单元晶体管t0、t1为激活状态(连接状态)，所以基于电阻变化元件rp、rn的电阻值，在位线bl0、bl1中流过在图9c中说明的电流ipi、ini。流过位线bl0的相当于正的乘加运算结果的电流ipi与流过位线bl1的相当于负的乘加运算结果的电流ini的差分电流(imax－imin)×|wi|成为相当于输入xi与耦合权重系数wi的乘加运算结果xi×wi(≦0)的电流，在位线bl1中与位线bl0相比更多地流过。

这样，在位线bl0、bl1中流过相当于输入xi与耦合权重系数wi的乘加运算结果的电流，在正的乘加运算结果的情况下在位线bl0中与位线bl1相比更多地流过，在负的乘加运算结果的情况下在位线bl1中与位线bl0相比更多地流过。通过将输入x0～xn(耦合权重系数w0～wn)的个数的运算机构pui并联连接于位线bl0、bl1，能够得到神经元10的乘加运算结果作为流过位线bl0的电流与流过位线bl1的电流的差分电流。

这里，如果使用连接于位线bl0、bl1的判定电路，使得在流过位线bl0的电流值比流过位线bl1的电流值小的情况下、即在乘加运算结果为负值的情况下输出0数据的输出数据，并在流过位线bl0的电流值比流过位线bl1的电流值大的情况下、即在乘加运算结果为正值的情况下输出1数据的输出数据，则相当于判定电路进行作为阶跃函数的激活函数的运算，能够实现进行乘加运算和激活函数的运算处理的神经网络运算。

<使用非易失性半导体存储元件的神经网络运算电路的第1实施方式>

在上述中对本发明的使用非易失性半导体存储元件的神经网络运算电路的动作原理进行了说明。以下，对具体的实施方式进行说明。

图10a是表示有关第1实施方式的神经网络运算的结构的图，图10b是表示有关第1实施方式的神经网络运算的耦合权重系数的值的图。如图10a所示，神经元10具有与4个输入x0～x3对应的耦合权重系数w0～w3，在图10a的式(1)中表示神经元10进行的运算。神经元10的激活函数f是阶跃函数。

如图10b所示，神经元10具有的耦合权重系数是w0＝+0.6、w1＝－0.9、w2＝－1.2、w3＝+1.5。以下，对进行图10a及图10b所示的神经元10的运算动作的使用非易失性半导体存储元件的神经网络运算电路进行说明。

图11是表示有关第1实施方式的神经网络运算电路的详细结构的图。在图11中，对于与图1b的构成要件相同的构成要件赋予相同的标号、号码，省去其详细的说明。第1实施方式的神经网络运算电路是4输入、1输出的神经元，具备保存耦合权重系数w0～w3的4个运算机构pu0～pu3、以及与输入x0～x3对应的4条字线wl0～wl3、连接有电阻变化元件rp和单元晶体管t0的位线bl0、源极线sl0，连接有电阻变化元件rn和单元晶体管t1的位线bl1、源极线sl1。

在进行神经网络运算动作的情况下，根据输入x0～x3将字线wl0～wl3分别设为选择状态、非选择状态，将运算机构pu0～pu3的单元晶体管t0、t1设为选择状态、非选择状态。位线bl0、bl1经由列选通器yt0、yt1被从判定电路50供给位线电压，源极线sl0、sl1经由放电晶体管dt0、dt1连接于接地电压。由此，在位线bl0中流过相当于正的乘加运算结果的电流，在位线bl1中流过相当于负的乘加运算结果的电流。判定电路50通过检测及判定流过位线bl0、bl1的电流的大小关系，将输出y输出。即，在神经元10的乘加运算结果是负值(<0)的情况下输出0数据，在正值(≧0)的情况下输出1数据。判定电路50输出以乘加运算结果为输入的激活函数f(阶跃函数)的运算结果。

图12a及图12b是表示有关第1实施方式的运算机构pu0～pu3的电阻变化元件rp、rn的电流范围、以及向电阻变化元件rp、rn写入的电流值(电阻值)的图。如图12a所示，在第1实施方式中，假设电阻变化元件rp、rn中流过的电流值的能够取的范围为0ua到50ua。即，电流值的最小值imin是0ua，电流值的最大值imax是50ua，使用50ua的电流范围(动态范围)。

如图12b所示，首先将耦合权重系数w0～w3进行标准化以成为0～1的范围。在本实施方式中，耦合权重系数w0～w3的绝对值最大的是w3＝+1.5，将该耦合权重系数的标准化后的值设为w3＝+1.0。通过该标准化，其余的耦合权重系数的标准化后的值成为w0＝+0.4、w1＝－0.6、w2＝－0.8。

接着，如图12a所示，使用被标准化的耦合权重系数决定向运算机构pu0～pu3的电阻变化元件rp、rn写入的电流值。在图12b中表示向电阻变化元件rp、rn写入的电流值的计算结果。由于耦合权重系数w0的标准化后的值是+0.4，为正值，所以向电阻变化元件rp写入的电流值为20ua，向电阻变化元件rn写入的电流值为0ua。由于耦合权重系数w1的标准化后的值是－0.6，为负值，所以向电阻变化元件rp写入的电流值为0ua，向电阻变化元件rn写入的电流值为30ua。由于耦合权重系数w2的标准化后的值是－0.8，为负值，所以向电阻变化元件rp写入的电流值为0ua，向电阻变化元件rn写入的电流值为40ua。由于耦合权重系数w3的标准化后的值是+1.0，为正值，所以向电阻变化元件rp写入的电流值为50ua，向电阻变化元件rn写入的电流值为0ua。这样，通过向运算机构pu0～pu3的电阻变化元件rp、rn写入电流值(电阻值)，能够进行神经网络运算。

<使用非易失性半导体存储元件的神经网络运算电路的第2实施方式>

图13a～图13d是表示有关第2实施方式的神经网络电路的结构、真值表、耦合权重系数的值、以及输入层、隐藏层、输出层的运算动作的图。

图13a是表示有关第2实施方式的神经网络电路的结构的图。第2实施方式的神经网络电路是具有输入层1、隐藏层2、输出层3的多层神经网络电路。

输入层1具有3个输入x0～x2，输入x0是总为1数据的输入，如在上述的图4中表示那样，通过输入x0和其耦合权重系数进行隐藏层2的偏倚系数的运算。2个输入x1、x2从外部作为输入数据而被输入。

隐藏层2具有1个输入y0和3个神经元y1～y3，输入y0是总为1数据的输入，如在上述的图4中表示那样，通过输入y0和其耦合权重系数进行输出层3的偏倚系数的运算。3个神经元y1～y3分别从输入层1接受3个输入x0～x2和其耦合权重系数，将输出y1～y3输出。

输出层3具有1个神经元z1，从隐藏层2接受4个输入y0～y3和其耦合权重系数，将输出z1输出。

在图13a的式(1)和式(2)中表示神经元y1～y3、z1的神经网络运算的计算。这里，耦合权重系数wik_y是在隐藏层2的神经元y1～y3的计算中使用的耦合权重系数，耦合权重系数wik_z是在输出层3的计算中使用的耦合权重系数，激活函数f是阶跃函数。

图13b是表示有关第2实施方式的神经网络电路的真值表的图。2个输入的x1、x2、输出z1取0数据或1数据的值，输出z1仅在输入x1、x2都是1数据的情况下输出1数据，在其他情况下输出0数据。即，有关第2实施方式的神经网络电路是输出z1对输入x1、x2的and逻辑进行输出。

图13c是表示有关第2实施方式的神经网络电路的耦合权重系数的图。隐藏层2的神经元y1～y3分别具有与3个输入x0～x2对应的3个耦合权重系数。此外，输出层3的神经元z1具有与4个输入y0～y3对应的4个耦合权重系数。

图13d是表示有关第2实施方式的神经网络电路的输入层、隐藏层、输出层的运算动作的图。输入层1的输入的组合是4种。隐藏层2的接受到来自输入层1的输入x0～x2的神经元y1～y3的乘加运算结果和以乘加运算结果为输入的激活函数(阶跃函数)的输出结果、以及输出层3的接受到来自隐藏层2的输入y0～y3的神经元z1的乘加运算结果和以乘加运算结果为输入的激活函数(阶跃函数)的输出结果如图13d，如图13b的真值表所示，输出z1对输入x1、x2的and逻辑进行输出。

图14a及图14b是表示有关第2实施方式的神经网络运算电路的运算机构的电阻变化元件的电流范围、以及向电阻变化元件写入的电流值的图。如图14a所示，与第1实施方式同样，在第2实施方式中，假设电阻变化元件rp、rn中流过的电流值的能够取的范围为0ua到50ua。即，电流值的最小值imin是0ua，电流值的最大值imax是50ua，使用50ua的电流范围(动态范围)。

图14b是表示将在隐藏层2的神经元y1～y3、输出层3的神经元z1的神经网络运算中使用的耦合权重系数向运算机构的电阻变化元件rp、rn写入的电流值的图。首先，计算将耦合权重系数标准化为0～1的范围的耦合权重系数，根据标准化后的耦合权重系数，决定向电阻变化元件rp、rn写入的电流值。耦合权重系数的标准化按每个神经元来实施。

说明计算将隐藏层2的神经元y1的耦合权重系数w10_y＝+0.8、w11_y＝－0.6、w12_y＝－0.4向电阻变化元件rp、rn写入的电流值的方法。将3个耦合权重系数分别作为电阻值(电流值)向3个运算机构的电阻变化元件rp、rn写入。当进行耦合权重系数的标准化时，耦合权重系数w10_y、w11_y、w12_y的绝对值最大的是w10_y＝+0.8，将该耦合权重系数的标准化后的值设为w10_y＝+1.0。通过该标准化，其余的耦合权重系数的标准化后的值成为w11_y＝－0.75、w12_y＝－0.5。

接着，如图14a所示，使用标准化后的耦合权重系数，决定向运算机构的电阻变化元件rp、rn写入的电流值。在图14b中表示向电阻变化元件rp、rn写入的电流值的计算结果。由于耦合权重系数w10_y的标准化后的值是+1.0，为正值，所以向电阻变化元件rp写入的电流值为50ua，向电阻变化元件rn写入的电流值为0ua。由于耦合权重系数w11_y的标准化后的值是－0.75，为负值，所以向电阻变化元件rp写入的电流值为0ua，向电阻变化元件rn写入的电流值为37.5ua。由于耦合权重系数w12_y的标准化后的值是－0.5，为负值，所以向电阻变化元件rp写入的电流值为0ua，向电阻变化元件rn写入的电流值为25ua。同样，在图14b中表示对于隐藏层2的神经元y2、y3、输出层3的神经元z1计算向运算机构的电阻变化元件rp、rn写入的电流值的结果。

在神经网络电路的运算动作中，对于配置在存储器单元阵列中的多个运算机构的电阻变化元件rp、rn写入图14b所示的电流值(电阻值)，首先以输入层1的输入数据为输入，选择保存有隐藏层2的运算所需要的耦合权重系数的运算机构，检测及判定流过位线的电流，由此决定隐藏层2的输出数据。接着，以隐藏层2的输出数据为输入，选择保存有输出层3的运算所需要的耦合权重系数的运算机构，检测及判定流过位线的电流，由此决定输出层3的输出数据。通过这样动作，能够进行多层神经网络运算。

<结论>

如以上这样，本发明的使用非易失性半导体存储元件的神经网络运算电路使用流过非易失性半导体存储元件的电流值进行神经网络电路的乘加运算动作。由此，不用搭载由以往的数字电路构成的大容量的存储器电路或寄存器电路、大规模的乘法电路或累积电路(累加器电路)、以及复杂的控制电路就能够进行乘加运算动作，所以能够实现神经网络运算电路的低功耗化、以及半导体集成电路的芯片面积缩小化。此外，由于是神经元的输入数据和输出数据能够取0数据或1数据的2值的数字数据的神经网络电路，所以能够使神经元间的信息传递成为数字传送，容易进行使用多个神经元的大规模的神经网络电路的安装，能够实现大规模的神经网络电路的半导体集成化。即，本发明的使用非易失性半导体存储元件的神经网络运算电路能够实现低功耗化和大规模集成化。

以上，说明了本发明的实施方式，但本发明的使用非易失性半导体存储元件的神经网络运算电路并不仅限定于上述的例示，对于在不脱离本发明的主旨的范围内施加了各种变更等的形态也是有效的。

例如，上述实施方式的使用非易失性半导体存储元件的神经网络运算电路是电阻变化型非易失性存储器(reram)的例子，但本发明在磁阻型非易失性存储器(mram)、相变型非易失性存储器(pram)、强电介质型非易失性存储器(feram)等电阻变化型存储器以外的非易失性半导体存储元件中也能够应用。

产业上的可利用性

有关本发明的使用非易失性半导体存储元件的神经网络运算电路由于是使用非易失性半导体存储元件进行乘加运算动作的结构，所以不用搭载以往的使用数字电路的乘法电路或累积电路(累加器电路)等就能够进行乘加运算动作。此外，通过将输入数据和输出数据进行2值的数字化，能够容易地将大规模的神经网络电路集成化。

因而，具有能够实现神经网络运算电路的低功耗化和大规模集成化的效果，例如对于搭载有自己进行学习和判断的人工智能(ai：artificialintelligence)技术的半导体集成电路、以及搭载有这些的电子设备等是有用的。

标号说明

1输入层

2隐藏层

3输出层

10神经元

11耦合权重

20存储器单元阵列

30字线选择电路

40列选通器

50判定电路

60写入电路

70控制电路

80半导体基板

81a、81b扩散区域

82氧化膜

83栅极电极(字线)

84a、84b、86、88、92导通孔

85a、85b第1布线层

87第2布线层

89下部电极

90电阻变化层

91上部电极

93第3布线层

x0～xn输入

w0～wn耦合权重系数

b偏倚系数

f激活函数

y输出

pu0～pun运算机构

mc存储器单元

t0、t1单元晶体管

rp、rn电阻变化元件

yt0、yt1列选通晶体管

dt0、dt1放电晶体管

wl0～wln字线

bl0～blm位线

sl0～slm源极线

yg列选通器选择信号

dis放电控制信号

vbl位线电压

rpi、rni电阻变化元件的电阻值

ipi、ini流过电阻变化元件的电流值