神经突触芯片的三维整合的制作方法

背景技术：

在大脑中，神经元通过称为在产生神经元的轴突上发送的尖峰的二进制消息与接收神经元的树突进行通信。轴突和树突之间的接触点称为突触，它具有特定的强度，决定了来自源突触前神经元的尖峰对目标突触后神经元的功效。

神经形态(或认知)计算系统模拟针对特定应用的大脑处理。神经形态计算系统是概率性的，它不仅产生数值问题的答案，而且产生关于更复杂和有意义的数据主体的假设、推论和推荐。类似于大脑，神经形态计算系统由神经元(处理)设备和自适应突触(存储)设备的大规模网络组成。神经元装置有两个主要功能。第一个主要功能是从连接的突触设备获取输入。如果输入超过预定的输入阈值，则神经元装置产生尖峰状的输出信号，该信号被处理为神经元装置的较大网络的一部分，然后作出一些计算决定。这个过程被称为尖峰定时依赖可塑性(stdp)。神经元装置的第二个主要功能是改变一个或多个连接的突触装置的状态，其中在这种情况下每个突触装置作为存储器装置。

神经元和突触装置已经在称为神经突触芯片的集成电路上实现。在一个已知的实施方式中，突触装置是基于硅的装置，诸如以交叉阵列连接的可转置的8-晶体管单元静态随机存取存储器(8-tsram)装置。其他实施方式包括磁性ram(mram)或相变存储器(pcm)。神经突触芯片是模块化神经形态结构的关键构件。

技术实现要素：

各个实施例提供了用于神经突触芯片的三维(3-d)整合的技术。例如，在一个实施例中，一种方法包括形成一个或多个神经元层，每个神经元层包括多个处理装置，在一个或多个神经元层的顶部形成一个或多个突触层，每个突触层包括存储器装置阵列，形成将所述一个或多个神经元层连接到所述一个或多个突触层的多个交错的硅通孔(tsv)，其中所述多个交错的tsv作为所述一个或多个神经元层中的一个或多个处理设备以及一个或多个突触层中的一个或多个存储器设备之间的通信链路进行操作。

附图说明

现在将参照附图仅以举例的方式描述本发明的实施例，其中：

图1是神经突触核心网络的结构抽象。

图2a是根据本发明的第一实施例的包括存储器装置阵列的突触层的示意性俯视图。图2b是根据本发明的第一实施例的，包括图2a的突触层的3d突触结构的示意性横截面侧视图。

图3a是根据本发明的第二实施例的3-d突触结构的示意性横截面侧视图。

图3b是根据本发明的第二实施例的突触电路层的示意性俯视图。

具体实施方式

本发明的实施例涉及神经突触芯片，并且具体涉及用于神经突触芯片的三维(3-d)整合的技术。此外，本发明的实施例为神经网络电路提供了可伸缩的三维神经突触结构。应该理解的是，附图中所示的各种层、结构和/或区域是不一定按比例绘制的示意图。另外，为了便于解释，在给定的附图中可能没有明确地示出通常用于形成电路器件或结构的类型的一个或多个层、结构和区域。这并不意味着从实际电路结构中省略了未明确示出的任何层、结构和区域。

此外，在整个附图中使用相同或相似的附图标记来表示相同或相似的特征、元件、层、区域或结构，并且因此不会针对每个附图对相同或相似的特征、元件、层，、区域或结构重复详细的解释。应该理解的是，如在此使用的关于厚度、宽度、百分比、范围等的术语“大约”或“大体上”意在表示接近或接近，但不是完全一致。例如，如本文所使用的术语“约”或“基本上”意味着存在小的误差范围，例如1％或小于所述量。而且，在附图中，相对于另一层、结构和/或区域，一个层，结构和/或区域的所示比例不一定旨在表示实际比例。

在认知计算研究中人们越来越感兴趣的是开发可缩放到生物水平的电子神经形态机器技术。因此，使用神经突触芯片作为认知系统的构件越来越受到关注。神经突触芯片领域中的当前技术水平包括例如具有256个数字积分触发(integrate-and-fire)神经元的神经突触核心以及使用ibm的45nm绝缘体上硅(soi)处理器的用于突触的1024×256位静态随机存取存储器(sram)交叉存储器，以及基于相变存储器(pcm)的超高密度大规模神经形态系统中的突触，其中不同的硫族化物材料被表征以显示突触行为。虽然称为truenorth的最新的ibm神经突触芯片集成了54亿个晶体管，并具有100万个可编程神经元和2亿5千6百万个可编程突触，但仍不足以完全模仿具有1000亿个神经元和100万亿至150万亿个突触的普通成人大脑。不用说，适应这种特征的突触芯片的尺寸以指数级增长。

因此，本发明的实施例示出了用于突触电路的3-d集成/体系结构的技术。有利地，这样的3d结构显著地缩小了突触芯片的覆盖区，同时增加了突触和神经元之间的轴突连接的数量。此外，3-d集成允许单元容错结构以及突触芯片(互补金属氧化物半导体(cmos)或非易失性存储器)与神经元芯片的异构集成。说明这些优点的实施例将在下面参照图2a-3b更详细地描述。

现在参考图1。在图1中，示出了神经突触核心网络的架构抽象，其可以实现高效，可扩展和灵活的大规模尖峰神经网络。图1是一个架构的概念蓝图，与大脑一样，将内存，计算和通信紧密集成在分布式模块中，这些分布式模块并行运行，并通过事件驱动的网络进行通信。

图2a描绘了根据本发明的第一实施例的神经突触电路结构的俯视图。例如，结构200包括神经元层202。神经元层202包括多个神经元(处理装置，在图2a中未示出)，并且多个神经元可以使用任何常规配置分布在神经元层202内，例如n×n阵列。神经元可以包括例如本领域已知的任何常规处理或计算设备，其尺寸、功能和/或能力可以变化。在一些实施例中，神经突触电路结构可以包括多个神经元层，并且所述多个神经元层中的每一个可以包括以n×n阵列分布的相应的多个神经元。

结构200还包括突触层210。突触层210包括突触阵列(存储器装置)。例如，突触可以包括本领域已知的任何常规存储器设备，诸如pcm，电阻式随机存取存储器(rram)或cmos存储器设备。在某实施例中，神经突触电路结构可以包括多个突触层，并且多个突触层中的每一个可以包括相应的突触阵列。在这样的实施例中，每个突触层可以包括大小不同的突触阵列。例如，突触层可以包括5×5突触阵列，而另一个突触层可以包括6×6突触阵列。而且，每个突触阵列可以包括相同或不同的pcm、rram或cmos存储器件。在替代实施例中，突触层可以包括多个突触阵列。

任何给定突触层中的突触阵列的每一行和列延伸经过突触并连接到从神经元层正交出现的一个或多个硅通孔(tsv)。例如，在结构200中，突触层210包括6乘6突触阵列，并且阵列的每个行和列连接到从神经元层202正交出现的相应tsv(tsv212-a到tsv212-l)。

根据一个实施例，tsv以交错的方式排列。如本文所使用的“交错tsv”可以指在中心的任一侧以锯齿形方式(zigzag)或以交替方式排列的多个tsv。例如，在结构200中，tsv212-a到212-f以左-右交错的方式连接到阵列的每一行，同样，tsv212-g到212-l以一种向下交错的方式连接到阵列的每一列。因此，tsv212-a到212-l可以统称为多个交错的tsv。

现在参考图2b，结构200'描绘了图2的结构200的沿着aa轴的横截面侧视图。图2b示出了包括神经元层202和突触层210的结构200'。图2b进一步示出了在突触层210下面包括两个另外的突触层(称为突触层220和突触层230)的结构200'，其未在图2a中示出。突触层220和230都包括相应的突触阵列。

图2b进一步示出了包括tsv212-e的结构200'。应该注意的是，如图2a所示的tsv212-c和212-a在图2b中被隐藏，因为它们直接位于图2b中的tsv212-e之后。仅出于简化附图的目的，图2b进一步省略了tsv212-g，212-h，212-i，212-j，212-k，212-l，212-f，212-d和212-b。图2b进一步示出了包括附加tsv222-e和232-e的结构200'。tsv222-e从神经元层202垂直升起并连接到突触层220，而tsv232-e从神经元层202正交上升并连接到突触层230。还应注意的是，tsv222-e是连接到突触层220中的突触阵列的每个行和列的多个交错的tsv(222-a到222-l，在图2b中未示出)的一部分，并且tsv232-e是连接到突触层230中的突触阵列的每个行和列的多个交错的tsv(232-a到232-l，在图2b中未示出)的一部分。

重要的是注意到，在图2b中，tsv212-e，222-e和232-e垂直交错。如本文所使用的“交错的tsv”还可以指代与另一多个tsv水平偏移的多个tsv。此外，如本文所使用的“交错的tsv”可以指具有交错的垂直高度的一组水平偏移的tsv。例如，第一多个交错tsv(212-a至212-l)，第二多个交错tsv(222-a至222-l)和第三多个交错tsv(232-a至232-l)中的每个具有交错的垂直高度以达到各自的突触层。

最后，图2b示出了包括布置在神经元层202正上方的再分布层204的结构200'。再分布层204可以作为布线层来控制从一个或多个tsv到分布在神经元层202中的一个或多个神经元的选择性耦合。

如图2a和2b所示，多个交错的tsv被放置在神经元层202的外周边中。在一些实施例中，可能优选的是将连接到最低突触层的多个交错的tsv放置在神经元层的最外周边中，以及将连接到最高突触层的多个交错的tsv放置在神经元层的最内周边中。这样的配置允许水平和垂直行进时间之间的有效折衷。然而，这样的说明并不意图以任何方式限制本发明的范围。在替代实施例中，突触层可以包括多个突触阵列，并且tsv不仅分布在阵列的外周边中，而且分布贯穿于给定突触层中的一个或多个突触阵列或在两者之间。

上面描述的任何实施例可以全部堆叠在彼此之上。例如，如图2b所示，另一组神经元层，再分布层，突触层和tsv可堆叠在结构200'的顶部上。在这样的结构中，从给定的神经元层上升的tsv也延伸到堆叠在顶部上的一个或多个神经元层，并且作为任何一个神经元层中的一个或多个计算设备与任何一个突触层中的一个或多个存储器设备之间的通信链路。

在上述任何实施例中，用于突触的阵列不需要是尺寸为n×n的正方形阵列。例如，多个突触可以在尺寸为n×m的阵列中的突触层内分布，其中n>m。

在一些实施例中，神经元层可以包括比堆叠在其上的任何一个突触层更大的维度区域。例如，神经元层可以包括20mm×20mm的尺寸，并且多个突触层可以各自包括19mm×19mm的尺寸。在这样的实施例中，多个突触层可以同心地堆叠在神经元层上，并且多个tsv可以在包围多个突触层的神经元层的外周边处从神经元层正交地延伸。这种配置的示例性实施例如图2a和2b所示。

应该注意的是，关于阵列的数量和大小或其中包含的神经元或突触的数目的任何上述示例仅是示例性的。此外，关于tsv的数量，形状，布置或分布的以上示例中的任何示例仅是示例性的，并不意图以任何方式限制本发明的范围。

在本发明的任何公开的实施例中，可以实现突触层的异构整合。例如，在给定的多个突触层中，第一层可以包括pcm器件的阵列，而第二层可以包括rram器件的阵列。突触层可以包括包含pcm，rram或cmos存储器件中的一个或多个的存储器件阵列。此外，在任何公开的实施例中，tsv可以由钨，铜或任何其他合适的材料制成。例如，可以通过cu-cu键合，聚合物键合，氧化物键合或混合键合来实现3d键合。对于高密度的3d集成结构，氧化物键合是优选的。

作为示例性说明，传统的2-d突触芯片可以包括256个神经元装置，其具有总计1024×256个突触装置的1024个轴突连接。突触装置可以以1024×256大小的阵列分布，其中1024行对应于每个轴突连接，256列对应于每个神经元装置。与传统的2-d突触芯片不同，本发明的实施例包括包含256个神经元装置的神经元层。在神经元层的顶部，堆叠4个突触层，每个包含256×256大小的阵列的突触装置的层将在明显减小的区域中容纳相同数量的突触装置。例如，三维结构的基本尺寸可能只是神经元层的大小，只需要与突触设备大小相同。或者，将每个包含突触装置的16个突触层堆叠在128×128的阵列中也将在更小的区域中容纳相同数量的突触装置。因此，三维集成结构显着降低了突触芯片的占用面积。此外，不需要更多的维度区域，堆叠更多的突触层可以实现更多的神经元装置和更多的突触装置之间的轴突连接。

根据第二实施例，图3a描绘了结构300的横截面侧视图，其中不同于图2b中所示的结构200'，神经元层被替换为突触芯片核心层302。而且，与图2b所示的堆叠多个包含突触阵列的突触层不同，结构300示出了堆叠多个并联(paralleled)突触电路层304-1,304-2，...304-n(统称为并联的突触电路层304)。类似于图2a和2b所示的结构，突触芯片核心层302可操作地配置为经由多个交错的tsv与每个平行的突触电路层进行通信。结构300进一步包括再分布层306。重新分布层306可以作为布线层操作以将突触芯片核心层302处的某个点布线到特定的并联突触电路层304中的位置。

现在参考图3b，结构300'中所示的tsv以基本上类似于以上参照图2a和2b公开的第一实施例的方式被配置和操作。此外，用于在突触芯片核心层之上堆叠多个并联的突触电路层以及堆叠多个各自包括对应的多个并联的突触电路层的突触芯片核心层的技术基本上类似于以上参考第一实施例所公开的技术。因此，为了描述的简化，省略了关于具体安排和配置的公开内容

虽然已经参照附图描述了说明性实施例，但是应该理解的是，本发明不限于那些精确的实施例，并且本领域技术人员可以做出各种其他的改变和修改，而没有偏离本发明的范围。