平铺型光子神经网络卷积层芯片的制作方法

本发明涉及智能光子信号处理技术和神经网络技术，特别是一种光子神经网络卷积层芯片技术。

技术背景

神经网络是一种经典的机器学习算法，是由生物脑神经信息处理模式启发得到的一种计算模型。它的提出为人类解决机器学习问题提供了一种更加强大更加普适性的思路和方法。其中一个典型的应用便是深度学习(y.lecun,etal,“deeplearning,”nature,vol.521,pp.436-444,2015)。利用多层神经网络，深度学习可以实现海量复杂数据特征学习并能够提供超高准确率的智能预测结果。其应用领域十分广泛。例如，在计算机图像领域，深度学习已经在图像识别与分类、图像超分辨率、图像去噪及去文字等方向取得了突破性的成果；在自动驾驶领域，深度学习为无人驾驶车辆提供了路面情况预判以及行人行为预判等方面的信息；在医学诊断领域，深度学习提供了多种疾病的自动化诊断方式；在人类游戏方面，深度学习已经在围棋、象棋、dota等方向战胜人类。虽然深度学习的应用面十分广泛，但构建其所需要的神经网络是规定化和一般化的。

深度学习中应用最为广泛的神经网络一般包括了卷积层和全连接层。卷积层通过不同的卷积窗口训练得到数据的不同特征，全连接层通过矩阵乘法运算将不同的特征赋予不同的权重因子，最终实现数据的处理和判决。传统地深度学习都利用计算机在中央处理器(以下简称cpu)或者图形处理器(以下简称gpu)中编程实现，但由于深度学习的计算量需求极大，并且cpu或者gpu的设计均是面向通用化应用的，无法做到对神经网络进行有效的专门化加速。于是很有必要提出一种新型的针对于神经网络计算的处理芯片。在光子信息处理领域，2017年，麻省理工学院提出了一种光子矩阵乘法运算芯片(y.shen,etal,“deeplearningwithcoherentnanophotoniccircuits,”naturephotonics,vol.11,pp.441-446,2017)，在极大的降低芯片能量需求的情况下使数据处理的速度提升到了光速，为神经网络中的全连接层提供了一种专门化的加速途径。为解决神经网络中另一大类的数据运算，可以利用光子信息处理技术，设计光子卷积运算芯片，将卷积计算的运算速度提升至光速。这将为神经网络计算能力的发展提供变革型的助力，也将有助于推动未来的智能化应用的加速到来。

技术实现要素：

本发明的目的在于针对现有技术的不足，提出一种平铺型光子神经网络卷积层芯片及其设计方法。该芯片通用于所有包含了卷积层的神经网络。将待运算的数据通过光幅度在光子集成器件中进行表示，并且通过光子集成器件的级联和组网，形成数据运算的功能，并将运算结果实时输出。利用光子集成器件的可调性，可以将任意的信号调制在光幅度上，实现了任意待卷积信号的卷积计算。由于光子信息处理的速度均是常数级(即光速)，可以将传统计算机架构的卷积计算提升数个数量级。同时具有能耗比的优势。

本发明的技术方案如下：

一种平铺型光子神经网络卷积层芯片，其特点在于包括激光源阵列、光放大器阵列、光子卷积核阵列和光电探测器阵列，所述的激光源阵列共有m个输出端，所述的光放大器阵列由m个输入端、m路光放大器和m个输出端构成，所述的光子卷积核阵列包括m个同样架构的光子卷积核，所述的光电探测器阵列包括m个光电探测器；

所述的激光源阵列的第m输出端与所述的光放大器阵列的第m输入端相连，所述的光放大器阵列的第m输出端与所述的光子卷积核阵列的第m输入端相连，第m光子卷积核的输出端与所述的光电探测器阵列的第m光电探测器的输出端相连，所述的m为正整数；

第m光子卷积核包括第一级光分支器、第二级光分支器、第一级mzm、第二级mzm、第一级光合路器和第二级光合路器，第一级光分支器的输入端接所述的所述的光放大器阵列的第m输出端，将输入光分为l1分光、l2分光，l1分光与所述的第二级光合路器的第一输入端相连，l2分光与所述的第二级光分支器的输入端相连，该第二级光分支器的n个输出端分别与n个第一级mzm的输入端相连，n个第一级mzm的输出端分别与所述的n个第二级mzm的输入端相连，n个第二级mzm的输出端与所述的第一级光合路器的n个对应点输入端相连，该第一级光合路器将n路光合成为一路调制光经输出端输出，所述的第一级光合路器与所述的第二级光合路器的第二输入端相连，所述的第二级光合路器将所述的调制光与参考光合成从输出端输出；该所述的第二级光合路器的输出端即第m光子卷积核的输出端，所述的n个第一级mzm的调制端与所述的待卷积的信号输入端相连，所述的n个第二级mzm的调制端与所述的卷积窗信号输入端相连，所述的n为正整数。

所述的光分支器采用y-分支器或多模干涉仪。

所述的mzm采用铌酸锂电光调制器、聚合物电光调制器或硅基集成电光调制器。

所述的光合路器采用y-合路器或多模干涉仪。

卷积计算本质上是待卷积信号与卷积窗参数之间的相乘相加运算，可以由如下的表达式表示：

本发明提出的平铺型光子神经网络卷积层芯片可以完成上述的卷积即相乘相加计算。所述的激光源阵列共有m个输出端，第m个输出端与所述的光放大器阵列的第m个输入端相连。所述的光放大器阵列的第m个输出端与所述的光子卷积和阵列的第m个输入端相连，为每一个光子卷积核提供强度足够的连续光。在每一个光子卷积核中，包含两级光分支器，第一级光分支器将一部分光分开(记为l1)，用于后端的正负相位检测。第二级光分支器将剩余的部分光(记为l2)分成幅度和相位均相同的n路光，随后每一路光都经过两级mzm得到n路调制光。在第一级mzm中，n个待卷积的信号分别通过幅度调制加载至光的幅度上；在第二级mzm中，n个卷积窗参数分别通过幅度调制加载至光的幅度上，经过两级mzm，完成了对待卷积信号的相乘操作，在获得的n路调制光的幅度中表示了这种相乘操作。第一级光合路器将n路光合为一路(记为l3)，实现了n路调制光的幅度相加操作。第二级光合路器将相位相同的l1和l3进行幅度相加，完成l3的正负相位的检测。光子卷积核阵列的m个输出端与光电探测器阵列的m个输入端相连，将计算得到的光信号转换为电信号用于后续的存储和操作。

所述的光分支器可以采用但不限于y-分支器、多模干涉仪，材料可以采用但不限于soi、铌酸锂。

所述的mzm可以采用但不限于铌酸锂电光调制器、聚合物电光调制器、硅基集成电光调制器。

所述的光合路器可以采用但不限于y-合路器、多模干涉仪，其材料可以采用但不限于soi、铌酸锂。

基于以上技术特点，本发明具有以下优点：

1、利用光子集成器件实现卷积运算，卷积操作的运算时间变为常数级。将运算速度较传统的运算单元提升了数个数量级。

2、在信号的计算过程中，由于mzm的电容特性，在架构完成的光子卷积核中将不消耗能量，激光器以及光放大器所带来的能量消耗与电子器件相比更小，因此该芯片相对于电子芯片具有更高的能耗比。

本发明对于提升神经网络以及深度学习的运算速度，发展人工智能向更宽广的领域应用具有极其重要的作用。

附图说明

图1为本发明平铺型光子神经网络卷积层芯片的一个实施例图。

图2为本发明平铺型光子神经网络卷积层芯片中的光子卷积核阵列的组成示意图。其中(a)为光子卷积核阵列中的卷积核排列示意图，(b)为单个光子卷积核的组成示意图。

图3为利用本发明装置对mnist数据集的卷积结果图。其中(a)是本发明装置对mnist数据集的卷积结果；作为比较，(b)是64位计算机编程得到的mnist数据集的卷积结果图。

图4为理想情况下本发明装置的运算速度与集成规模的关系图。利用现有计算架构的典型值作为比较。

具体实施方式

下面结合附图和实施例对本发明的技术方案作详细说明，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

请参阅图1，图1为本发明平铺型光子神经网络卷积层芯片的一个实施例图。由图可见，本发明平铺型光子神经网络卷积层芯片，包括激光源阵列1、光放大器阵列2、光子卷积核阵列3和光电探测器阵列4，所述的激光源阵列1共有m个输出端，所述的光放大器阵列2由m个输入端、m路光放大器和m个输出端构成，所述的光子卷积核阵列3包括m个同样架构的光子卷积核，所述的光电探测器阵列4包括m个光电探测器；

所述的激光源阵列1的第m输出端与所述的光放大器阵列2的第m输入端相连，所述的光放大器阵列2的第m输出端与所述的光子卷积核阵列3的第m输入端相连，第m光子卷积核的输出端与所述的光电探测器阵列4的第m光电探测器的输出端相连，所述的m为正整数；

第m光子卷积核包括第一级光分支器3.1、第二级光分支器3.2、第一级mzm3.3、第二级mzm3.4、第一级光合路器3.5和第二级光合路器3.6，第一级光分支器3.1的输入端接所述的所述的光放大器阵列2的第m输出端，将输入光分为l1分光、l2分光，l1分光与所述的第二级光合路器3.6的第一输入端相连，l2分光与所述的第二级光分支器3.2的输入端相连，该第二级光分支器3.2的n个输出端分别与n个第一级mzm3.3的输入端相连，n个第一级mzm3.3的输出端分别与所述的n个第二级mzm3.4的输入端相连，n个第二级mzm3.4的输出端与所述的第一级光合路器3.5的n个对应点输入端相连，该第一级光合路器3.5将n路光合成为一路调制光经输出端输出，所述的第一级光合路器3.5与所述的第二级光合路器3.6的第二输入端相连，所述的第二级光合路器3.6将所述的调制光与参考光合成从输出端输出；该所述的第二级光合路器3.6的输出端即第m光子卷积核的输出端，所述的n个第一级mzm3.3的调制端与所述的待卷积的信号输入端相连，所述的n个第二级mzm3.4的调制端与所述的卷积窗信号输入端相连，所述的n为正整数。

所述的光分支器采用y-分支器或多模干涉仪。

所述的mzm采用铌酸锂电光调制器、聚合物电光调制器或硅基集成电光调制器。

所述的光合路器采用y-合路器或多模干涉仪。

在图1所示的实施例中，所述的激光源阵列1共有6个输出端，第m个输出端与所述的光放大器阵列2的第m个输入端相连。所述的光放大器阵列2的第m个输出端与所述的光子卷积核阵列3的第m个输入端相连，为每一个光子卷积核提供强度足够的连续光。在每一个光子卷积核中，包含两级光分支器，第一级光分支器3.1将一部分光分开(记为l1)，用于后端的正负相位检测。第二级光分支器3.2将剩余的部分光(记为l2)分成幅度和相位均相同的9路光，随后每一路光都经过两级mzm得到9路调制光。在第一级mzm3.3中，9个待卷积的信号分别通过幅度调制加载至光的幅度上；在第二级mzm3.4中，9个卷积窗参数分别通过幅度调制加载至光的幅度上，经过两级mzm，完成了对待卷积信号的相乘操作，在获得的9路调制光的幅度中表示了这种相乘操作。第一级光合路器3.5将9路光合为一路(记为l3)，实现了9路调制光的幅度相加操作。第二级光合路器3.6将相位相同的l1和l3进行幅度相加，完成l3的正负相位的检测。光子卷积核阵列的6个输出端与光电探测器阵列的6个输入端依次相连，将计算得到的光信号转换为电信号用于后续的存储和操作。

上述过程中，通过改变输入的待卷积信号5便可以改变输出结果，若待卷积信号遍历了整个待卷积的图像、语音等信号，那么即可在输出端得到该图像语音等信号在预设的卷积窗下的卷积结果。其效果可以参见图3，图3为本发明平铺型光子神经网络卷积层芯片对于mnist数据集中的图片进行卷积的结果，作为比较，同时给出了在64位计算机中编程得到的卷积结果。一张手写数字“7”的图片经过16个卷积窗得到了16张卷积结果。可以看见，由本发明装置得到的卷积结果和计算机中计算得到的精确结果误差很小。本发明平铺型光子神经网络卷积层芯片的计算速率较现有的电子计算芯片也有着明显的优势，其效果可见图4。在理论上，随着本发明平铺型光子神经网络卷积层芯片的集成规模的提升，其计算速率将远远超过现有的电子计算芯片。