基于超表面的插拔衍射神经网络优化方法及任务识别器件

本发明涉及一种基于超表面的插拔衍射神经网络优化方法，主要涉及了插拔衍射神经网络的训练方式与光学系统的搭建方法，属于光学神经网络、微纳光学、图像识别应用。

背景技术：

1、目前深度学习发展十分迅速，算力要求不断提高导致现有计算架构无法满足，并且需要巨大的能量消耗。光学神经网络拥有高计算速度、高并行度、低能耗等优势，逐步被证明是一种辅助ai模型加速运算有效架构。使用光学神经网络代替传统电子神经网络，能够极大的提高其计算速度并且降低能源的消耗，是一种非常有潜力的新型计算框架。传统的光学神经网络架构通常使用透镜、空间光调制器等光学器件实现，所搭建的光学系统通常比较庞大。虽然这些网络能够展现出光学神经网络的优势，但是由于光学系统体积的问题不易实现集成系统，实现高度可集成的光学神经网络是一个需要重点研究的方向。

2、超表面是一种新型的二维结构，与传统的衍射光学元件相比，超表面为超薄平面光学提供了一个很有前途的平台。通过改变超表面单元结构的大小、排列和形状，可以同时控制光的振幅和相位。目前已经有不少基于超表面的光学神经的研究，主要应用于微分和互相关数学运算、求解微分方程图像边缘提取、图像识别等任务中。由于超表面的超轻薄特性，使用超表面来实现光学神经网络有助于实现光学系统的集成。

3、衍射神经网络是近年光学神经网络较为热门的一种架构，通过使用光学的单元结构模拟电子神经网络中的神经元，通过模拟神经网络进行大量的并行数据处理，进一步挖掘了光学神经网络的潜力。衍射神经网络与超表面相结合能够在实现高性能计算的同时保证光学系统的小型化、集成化。然而，目前绝大部分衍射神经网络由无源器件物理实现，包括超表面也是一种无源器件，因此想要实现动态可调较为困难，在实际的应用中无法满足在同一器件中实现多种功能的需要。目前虽然有工作通过使用可编程的电磁超表面或者光电融合计算架构来解决衍射神经网络功能单一的问题，但是这些方法需要引入额外的能量消耗，并且又增加了实验装置的复杂程度。

技术实现思路

1、为解决衍射神经网络无法动态调控、功能单一的问题。本发明主要目的之一在于提供一种基于超表面的插拔衍射神经网络优化方法，插拔衍射神经网络由输入层、调制层、输出层三部分构成，其中调制层划分为共享层和插拔层；使用梯度下降算法和反向传播算法结合迁移学习算法优化插拔衍射神经网络调制层参数；根据优化完成的插拔衍射神经网络调制层相位分布挑选超表面纳米柱结构，并制备超表面；通过切换网络中由超表面实现的可插拔组件能够实现多种识别任务的切换，提高插拔衍射神经网络的灵活性，同时减少计算资源消耗和训练时间。

2、本发明主要目的之二在于提供一种基于超表面的插拔衍射神经网络多任务识别器件，根据基于超表面的插拔衍射神经网络优化方法得到调制层相位分布，根据相位分布挑选对应相位调制的纳米柱结构，并制备多层超表面，进而制作基于超表面的插拔衍射神经网络多任务识别器件，实现衍射神经网络的小型化和多功能化。

3、本发明目的是通过下述技术方案实现的。

4、本发明公开的基于超表面的插拔衍射神经网络优化方法，插拔衍射神经网络由输入层、调制层、输出层三部分构成，其中调制层划分为共享层和插拔层。插拔衍射神经网络所述插拔层由用于实现不同分类任务的插拔层插件构成。通过切换插拔层插件实现多种识别任务的切换。利用梯度下降算法和反向传播算法结合迁移学习算法训练插拔衍射神经网络调制层参数，使用识别任务数据集训练插拔衍射神经网络调制层参数，确定共享层及插拔层层数，得到插拔衍射神经网络调制层相位分布。根据透过率需求确定纳米柱单元几何尺寸，选取相同尺寸、不同方位角的矩形介质纳米柱，生成相应的超表面结构加工文件，并制备超表面。通过振幅编码携带物体信息的偏振光入射超表面时，能够对入射信息进行调制，将出射光束能量聚集在对应探测平面子区域，根据其能量分布选取能量最大区域代表的类别作为识别结果。当切换插拔层插件时能够实现多种物体的分类任务，提高网络设计的灵活性，增加衍射神经网络的可调性。

5、本发明公开的基于超表面的插拔衍射神经网络优化方法，通过切换插拔层插件实现多种识别任务的切换，包括如下步骤：

6、步骤一：基于超表面构建的插拔衍射神经网络由输入层、调制层、输出层三部分构成。输入层使用掩模板实现待识别的物体图像的信息编码，将图像信息编码至光束振幅通道中，作为信息输入到调制层中；调制层由多层相位分布组成并由多层超表面物理实现，其中：设定调制层数量为n，前n-m层为共享层，后m(m<n)层为插拔层，所述插拔层由用于实现不同分类任务的插拔层插件构成。输出层为预先设定好的探测平面，识别物体数量为c，则需要在探测平面选择c个等大区域作为子探测区域。通过将调制层分为共享层和插拔层，通过切换插拔层插件实现多种识别任务的切换。调制层层数n、插拔层层数m由插拔衍射神经网络在在识别任务中的性能而定。

7、步骤二：基于步骤一所述插拔衍射神经网络构建传播模型，所述传播模型划分为前向传播模块和反向传播模块。根据瑞利-索末菲衍射理论构建插拔衍射神经网络的前向传播模块，通过前向传播模块实现输入信息到探测平面的传播，用于检测插拔衍射神经网络的识别准确率。反向传播模块使用梯度下降算法和反向传播算法，根据损失函数梯度优化调制层的相位参数，进而得到调制层的相位分布。设总共有y种数据集，首先从y种数据集中选取一种，第一次训练插拔衍射神经网络，根据训练好的插拔衍射神经网络相位分布确定步骤一所需的调制层层数n；接着结合迁移学习算法选取另一种数据集对衍射神经网络插拔层相位参数继续训练，并且固定共享层相位参数，根据新训练好的插拔层相位分布确定插拔层层数m。最终确定调制层层数为n，插拔层层数为m，并确定插拔衍射神经网络的相位分布。

8、步骤二具体实现方法包括如下步骤：

9、步骤2.1：根据瑞利-索末菲衍射理论实现插拔衍射神经网络的前向传播模块，通过其传播形式表示为:

10、u(rl+1)＝t(rl)∫∫su(rl)·h(rl+1-rl)dxdy                            (1)

11、公式(1)展示了从第l层传播到l+1层的光场分布变化，表示第l层的透射率，其中a和分别代表振幅和相位，在仅训练纯相位型的插拔衍射神经网络时设a＝1。

12、公式(1)中h(rl+1-rl)表示传递过程中的脉冲响应，表示为：

13、

14、其中λ为入射波长，根据需要能够用于可见光、近红外和微波波段的设计。

15、当l＝n+1时表示探测平面，根据探测平面子探测区域的能量分布，子探测区域对应的能量分布可以表示为si＝|ui|2，i表示探测器序号，选取能量最大的区域对应的类别为输出识别结果。

16、步骤2.2：在第一次训练中选取一种数据集作为训练数据集，例如mnist数据集，将其作为训练集对插拔衍射神经网络调制层相位参数进行训练，训练的目标是最大化对应类别子探测区域能量分布，同时最小化子探测区域外的能量。在优化过程中，使用均方误差损失函数e来评估不同子探测器区域的能量分布与目标能量分布之间的差异：

17、

18、其中gc表示目标能量分布，c为识别物体数量。

19、通过计算损失函数梯度使用随机梯度下降和误差反向传播算法，对调制层相位参数进行优化，经过多次迭代直至收敛且准确率无法提升时停止训练。重复上述步骤通过调整调制层层数n，寻找能够达到设计者所需的物体识别准确率的调制层层数。根据训练好的插拔衍射神经网络相位分布确定调制层层数n。

20、步骤2.3：在第二次训练中选取另一种数据集作为训练数据集，例如fashion-mnist数据集，使用迁移学习算法将网络的前n-m层参数固定作为共享层，使用fashion-mnist数据集继续优化插拔层(后m层)的相位参数。通过调整插拔层层数m，寻找能够达到设计者所需的物体识别准确率的调制层层数。根据新训练好的插拔衍射神经网络插拔层相位分布确定插拔层层数m。确定调制层层数为n，插拔层层数为m，并确定插拔衍射神经网络的相位分布包含n-m个相位分布共享层和2×m个插拔层相位分布。

21、步骤2.4：选取y种数据集中的其他数据集，重复步骤2.3，最终能够得到包含n-m个相位分布共享层和y×m个插拔层相位分布的插拔衍射神经网络的相位分布。

22、步骤二所述训练模拟软件采用基于python的tensorflow算法框架。

23、步骤三：根据步骤二确定的调制层的相位分布，挑选用于实现插拔衍射神经网络调制层所需相位分布的超表面纳米柱，根据步骤二确定的相位排布已挑选的超表面纳米柱，制作得到调制层，并根据步骤一构建基于超表面的插拔衍射神经网络。

24、为了降低超表面的加工难度，作为优选，使用相同尺寸、不同方位角的矩形介质纳米柱阵列组成的多层超表面实现插拔衍射神经网络。将berry相位原理作为超表面的设计原理，berry相位调制方式能够实现无色散方位角全相位控制，当圆偏振光入射时会被转换为其相反的螺旋并且携带2θ的相位延迟。超表面单元结构参数包括纳米柱的长度l、宽度w、高度h以及单元周期长度p。

25、在扫描超表面单元结构时固定纳米柱高度h以及单元周期长度p，利用电磁全波仿真软件可以计算每个纳米结构的电磁响应。通过对纳米柱长度l和宽度w进行二维扫描，得到不同尺寸的纳米柱在偏振光入射的情况下同向偏振光和交叉圆偏振光的透射系数trr(tll)和trl(tlr)。在仿真过程中通过对入射波长λ、纳米柱材料、纳米柱基底材料进行合理的选择，能够挑选到交叉圆偏振光的透射系数尽量接近于1的纳米柱结构，从而保证整个超表面的能量利用效率最高。接着根据berry相位原理，旋转纳米柱结构完成与调制层相位分布对应的相位调制。按照步骤二中训练完成插拔衍射神经网络调制层相位分布排布纳米柱结构，生成相应的超表面加工文件并制备多层超表面。为了保证超表面内单元结构加工的尺寸与设计相吻合，作为优选，使用标准电子束刻蚀技术制作多层超表面。

26、步骤三所述仿真软件采用基于严格耦合波分析方法的rcwa、基于时域有限差分方法的fdtd。

27、还包括步骤四：根据步骤三实现基于超表面的插拔衍射神经网络，当切换插拔层插件时能够实现多种物体的分类任务，提高插拔衍射神经网络设计的灵活性，增加衍射神经网络的可调性。

28、本发明公开的基于超表面的插拔衍射神经网络多任务识别器件，包括掩模板、探测器、用于构建插拔衍射神经网络的超表面。所述用于构建插拔衍射神经网络的超表面，根据基于超表面的插拔衍射神经网络优化方法得到调制层相位分布，根据相位分布挑选对应相位调制的纳米柱结构，并制备多层超表面，进而得到基于超表面的插拔衍射神经网络多任务识别器件。

29、在自动驾驶系统中，所述基于超表面的插拔衍射神经网络多任务识别器件通过与cmos成像芯片相结合，切换插拔层能够实现实时路面障碍检测，并且实现小型化的集成器件。在医学图像识别系统中，所述基于超表面的插拔衍射神经网络多任务识别器件能够根据输入的医学图像类型切换对应的插拔衍射神经网络实现医学图像识别，辅助进行医中的基础研究和临床实验。

30、有益效果：

31、1、本发明公开的基于超表面的插拔衍射神经网络优化方法及任务识别器件，插拔衍射神经网络由输入层、调制层、输出层三部分构成，其中调制层划分为共享层和插拔层；使用梯度下降算法和反向传播算法迁移学习算法优化插拔衍射神经网络调制层参数；根据优化完成的插拔衍射神经网络调制层相位分布挑选超表面纳米柱结构，并制备超表面；通过切换网络中由超表面实现的可插拔组件能够实现多种识别任务的切换，提高网络设计的灵活性，同时减少计算资源消耗和训练时间，实现一种多功能衍射神经网络及多任务识别器件。

32、2、本发明公开的基于超表面的插拔衍射神经网络优化方法及任务识别器件，使用梯度下降算法和反向传播算法、迁移学习算法，根据损失函数梯度优化插拔衍射神经网络调制层的相位参数，进而得到调制层的相位分布，确定调制层层数和插拔层层数，完成基于超表面的插拔衍射神经网络调制层相位分布优化，提高网络设计的灵活性，增加衍射神经网络的可调性。

33、3、本发明公开的基于超表面的插拔衍射神经网络优化方法及任务识别器件，根据优化完成的插拔衍射神经网络调制层相位分布，确定超表面纳米柱结构生成加工文件，并制备多层超表面，得到基于超表面的插拔衍射神经网络多任务识别器件，实现衍射神经网络的小型化和多功能化。

34、4、本发明公开的基于超表面的插拔衍射神经网络优化方法及任务识别器件，应用于可见光、近红外和微波波段，通过挑选合理的纳米柱结构并且设计优化纳米柱几何尺寸，能够实现各个波段的插拔衍射神经网络。