基于多成像投影架构的光学张量卷积计算系统及方法

本发明涉及光学计算，具体地，涉及一种基于多成像投影架构的光学张量卷积计算系统及方法。

背景技术：

1、目前已经提出并发展了各种光计算方案，其中，基于平面光波导架构的矩阵矢量乘法器(现有技术1：nat.photon.11,441(2017)、现有技术2：nature 569,208(2019)，现有技术3：nature 589,52(2021)、现有技术4：nature 589,44(2021))只能实现一维矢量矩阵乘法计算，其算力可拓展性严重受限于芯片制造工艺，因而该方案存在难以逾越的算力天花板。此外，基于衍射光学元件的空间衍射光学神经网络(现有技术5：science 361,1004-1008(2018))采用级联的衍射光学器件的实现不同卷积层之间的空间互连，从原理上避免了一维向量实现高密度互连的障碍，能够充分利用光学空间互连能力。然而，该方案需要根据衍射光学的相关公式迭代计算衍射光学元件的振幅及相位才能实现指定矩阵计算，实际上造成了额外的计算量。这一定程度上制约了该方案的使用范围。最后，基于4f系统的卷积计算系统(现有技术6：optica 7,1812-1819(2020))，由于物面和像面之间受到傅里叶变换关系的限制，因此难以实现大规模、高精度的卷积计算。中科院上海光机所基于阴影投递法提出了一种基于多成像投影架构的光学卷积计算系统，通过引入达曼光栅有望实现大规模矩阵-矩阵的光学卷积，是数学卷积过程的完美光学实现。然而，在实际卷积神经网络的应用中往往都是采用3×3、5×5、7×7的小卷积核，这很难充分发挥该方案的优势。因此，上海光机所提出了相应的矩阵重排方法来实现多通道卷积核和多通道输入图像的卷积。然而，该方法需要占用输入图像矩阵和卷积核矩阵的空间资源而降低了系统的算力。

2、总而言之，平面集成光学波导方案存在明显的算力天花板。目前，平面集成光学波导方案主要采用波分复用加延时的方案实现光学张量卷积计算。然而，这种方法仍然需要将卷积核展开为一维向量输入权重矩阵中，将数学上卷积的平移滑动过程转为按照时间序列依次完成，这一定程度上会限制光学卷积计算的速度。

3、而空间衍射光学方案虽然从原理上可以实现大规模矩阵计算，但实际中如何实现复杂电磁场精确调控的三维亚波长光学元件，尤其是在光学波段，依然面临着相当的困难；基于4f光学系统的光计算方案在频谱面对输入信号进行处理，进而利用卷积定理实现光学卷积过程。然而，该方案受制于物面和频谱面的制约关系无法进一步拓展算力；基于多成像投影架构的光学卷积方案利用分束器实现输入矩阵的复制和移位，然而在实用的卷积神经网络中其算力优势无法最大程度发挥。可以看到，基于4f光学系统可以在频谱面实现卷积核矩阵的复用，而基于多成像投影架构可以在物面实现卷积核矩阵的复用。但是，目前仍然没有可以实现在物面和频谱面同时进行输入图像矩阵和卷积核矩阵复用的光计算架构，因此，仍然没有基于空间互连光学方案实现光学张量卷积计算的光计算架构被提出。

技术实现思路

1、本发明针对现有技术中存在的上述不足与空白，提供了一种基于多成像投影架构的光学张量卷积计算系统及方法。

2、根据本发明的一个方面，提供了一种基于多成像投影架构的光学张量卷积计算系统，包括：光学张量卷积组件，所述光学张量卷积组件依据光路传播方向依次包括：光源阵列模块，成像投影模块、信号调制模块以及探测模块；其中：

3、所述光源阵列模块，用于对输入的光学信号加载多通道图像矩阵的信息，得到携带多通道图像信息的光学信号；

4、所述成像投影模块，用于对所述携带多通道图像信息的光学信号生成不同衍射级次的子光束，其中，每一衍射级次都携带所述多通道图像的全部信息。然后对所述不同衍射级次的子光束进行光学傅里叶变换得到所述多通道图像矩阵的频谱信息并输出至信号调制模块；

5、所述信号调制模块，用于加载多通道卷积核矩阵的频谱信息，并将所述不同衍射级次的子光束中携带的所述多通道图像矩阵的频谱信息与多通道卷积核矩阵的频谱信息进行频域乘法操作，得到多通道图像矩阵和多通道卷积核矩阵的频域相乘信息，进而得到携带所述频域相乘信息的光学信号；

6、所述探测模块，用于将携带频域相乘信息的光学信号进行光学傅里叶反变换得到所述多通道图像矩阵和所述多通道卷积核矩阵的光学张量卷积结果。

7、优选地，所述成像投影模块，包括多个分束器件，所述多个分束器件将所述携带多通道图像矩阵信息的光学信号分为若干子光束；然后，对所述子光束进行光学傅里叶变换得到所述多通道图像矩阵的频谱信息。其中，每一个子光束都携带了所述多通道图像矩阵的频谱信息，并且根据各自的衍射角度分别入射至所述信号调制模块的不同位置，实现所述携带多通道图像矩阵频谱信息的光学信号的并行平移操作；入射到所述信号调制模块的不同位置的子光束中携带的多通道图像矩阵的频谱信息分别与所述多通道卷积核矩阵的频谱信息进行像素级点乘，实现所述多通道图像矩阵与所述多通道卷积核矩阵的并行频域乘法操作。

8、优选地，所述多通道图像矩阵与所述多通道卷积核矩阵的并行频域乘法操作，包括：

9、通过成像投影模块中所述多个分束器实现所述多通道图像矩阵的复制；

10、对复制后的所述多通道图像矩阵进行光学傅里叶变换得到其频谱信息，并将其投射到信号调制模块的不同位置；

11、在调制模块的不同位置加载不同通道的卷积核矩阵的频谱信息，实现所述多通道图像矩阵频谱信息中的元素与所述多通道卷积核矩阵频谱中对应的元素点乘操作；

12、不同位置的光束携带着各自卷积核矩阵频谱和所述多通道图像矩阵频谱的点乘信息；

13、对全部位置的频域相乘信息进行光学傅里叶反变换得到多通道图像矩阵和多通道卷积核矩阵的光学张量卷积结果，其特征在于，不同位置处携带所述频域相乘信息的光学信号按照各自的衍射倾角分别入射到所述探测模块探测面的不同位置；

14、根据具体的神经网络结构，通过调整所述多个分束器的衍射倾角及所述成像投影模块与所述光源阵列模块之间的特征距离，将不同通道的卷积核矩阵和所述多通道图像矩阵的光子卷积结果相加，得到不同神经网络结构的卷积后的最终结果。

15、优选地，所述光源阵列模块的信号加载面和所述信号调制模块的调制平面满足物像共轭关系，所述信号调制模块的调制平面和所述探测模块的探测面也满足物像共轭关系。

16、优选地，通过调整所述多个分束器的衍射倾角及所述成像投影模块与所述光源阵列模块之间的特征距离，使得所述成像投影模块各衍射级次的衍射角度和所述信号调制模块中的不同通道卷积核的对应位置进行对准和匹配，进而实现所述多通道图像矩阵和所述多通道卷积核矩阵频谱信息的点乘操作。

17、优选地，所述系统还包括如下任意一项或任意多项：

18、-所述光源阵列模块采用发光元件阵列、光纤阵列或空间光调制器；

19、-所述成像投影模块包括傅里叶变换透镜和一个或多个达曼光栅，所述达曼光栅采用一维达曼光栅或二维达曼光栅；

20、-所述成像投影模块采用超表面分光元件或超材料分光元件；

21、-所述信号调制模块采用空间光调制器或光学掩模；

22、-所述探测模块包括傅里叶变换透镜和光接收机阵列。

23、优选地，所述系统还包括电子控制组件：所述电子控制组件包括数据并行加载模块、数据并行下载模块、自动化控制模块；

24、所述数据并行加载模块，用于对加载多通道图像矩阵和多通道卷积核矩阵进行预处理，并将预处理后的信息并行加载到所述光源阵列模块和所述信号调制模块；

25、所述数据并行下载模块，用于将所述探测模块探测到的光信号并行转换为电信号，并对所述电信号进行后续处理；

26、所述自动化控制模块，用于根据不同的算法结构实现所述光学张量卷积组件的自动调节，改变所述成像投影模块的投影平移步长以实现光学张量卷积结果的相加。

27、根据本发明的第二个方面，提供了一种基于多成像投影架构的光学张量卷积计算方法，其特征在于，包括：

28、对输入的光学信号加载所述多通道图像矩阵信息，得到携带多通道图像矩阵信息的光学信号；

29、对所述携带多通道图像矩阵信息的光学信号生成不同衍射级次的子光束；

30、对所有衍射级次的子光束进行光学傅里叶变换得到其对应的频谱信息；

31、在所述信号调制模块中对应于每一衍射级次子光束的位置加载各自的卷积核矩阵频谱信息，并将所述不同衍射级次的子光束携带的所述多通道图像矩阵频谱信息与所述多通道卷积核矩阵频谱信息进行点乘操作，得到所有位置处携带二者频域相乘信息的光学信号；

32、对携带频域相乘信息的光学信号进行光学傅里叶反变换，在所述探测模块中得到所述多通道图像矩阵和所述卷积和矩阵的光学张量卷积结果。

33、优选地，所述不同衍射级次的子光束以不同衍射角度传输到所述信号调制模块的不同位置，其中，每个衍射级次的光学信号均携带所述多通道图像矩阵的全部信息；

34、优选地，所述光源阵列模块中加载多通道图像矩阵，

35、

36、其中，x11为第一通道的图像矩阵，x1m第m个通道的图像矩阵，xn1是n×(m-1)+1个通道的图像矩阵，xnm是第n×m个通道的图像矩阵，n、m分别为所述多通道图像矩阵中个元素的行数、列数，o是相邻排布的图像矩阵之间的零矩阵。零矩阵中包括的零元素的个数需要保证相邻排布的图像矩阵卷积后的结果不互相重叠。

37、将所述多通道图像矩阵进行傅里叶变换，

38、

39、其中，v11、v12…vnm是所述多通道图像矩阵的频谱信息，n、m分别为所述多通道图像矩阵中个元素的行数、列数。

40、经过所述成像投影模块中所述多个分束器实现所述多通道图像矩阵的频谱信息的复制，每个衍射级次的子光束都携带着全部频谱信息并且沿着各自的衍射方向传播至所述信号调制模块调制面的不同位置，

41、

42、其中，v11、v12…vkp是所述信号调制模块调制面不同位置处的多通道图像矩阵的频谱信息，下标k、p分别为所述子光束的行号和列号。

43、将所述多通道图像矩阵的频谱信息与所述卷积核矩阵频谱信息相乘，

44、

45、其中，c 11是第一个通道卷积核矩阵的频谱，c12是第二个通道卷积核矩阵的频谱，ckp是第p×(k-1)+1个通道卷积核矩阵的频谱。y11是第一个通道卷积核矩阵的频谱和多通道图像矩阵频谱信息的点乘结果，y 12是第二个通道卷积核矩阵的频谱和多通道图像矩阵频谱信息的点乘结果，y kp是第p×(k-1)+1个通道卷积核矩阵的频谱和多通道图像矩阵频谱信息的点乘结果。

46、对所述多通道卷积核矩阵的频谱和所述多通道图像矩阵频谱信息的点乘结果做傅里叶反变换，

47、

48、其中，y11是第一个通道卷积核矩阵和多通道图像矩阵的卷积结果，y 12是第二个通道卷积核矩阵和多通道图像矩阵的卷积结果，y kp是第p×(k-1)+1个通道卷积核矩阵和多通道图像矩阵的卷积结果。

49、优选地，加载的所述多通道图像信息、加载的所述多通道卷积核信息以及得到的所述卷积结果矩阵信息均为模拟量，将所述卷积结果矩阵信息经过数字化处理后量化为数字结果，实现模拟光学张量卷积运算。

50、优选地，将待处理的高bit多通道卷积核矩阵信息和高bit多通道图像矩阵信息分别表示为多个编码后的低bit矩阵，得到编码后的低bit多通道卷积核矩阵信息和低bit多通道图像矩阵信息；将所述低bit多通道卷积核矩阵信息和低bit多通道图像矩阵信息分别作为加载的矩阵信息，得到低bit卷积结果矩阵信息；将所述低bit卷积结果矩阵信息解码为高bit卷积结果矩阵信息，实现数字光学张量卷积运算。

51、优选地，所述系统可以基于任意形式的满足所述多通道图像矩阵x和所述卷积结果矩阵y之间物像共轭关系的光学系统进行优化设计和开发；

52、优选地，所述基于多成像投影架构的光学张量卷积计算系统可以通过扩大容量的新型光通信技术进一步提高算力，其特征在于，光源阵列模块利用两种及两种以上不同特征的光信号同时加载两个及两个以上的多通道图像矩阵x的信息，光信号的特征包括但不限于波长、模式、偏振等，携带多个多通道图像矩阵信息的多种不同特征的光信号经过所述成像投影模块和所述信号调制模块后分别和所述多通道卷积核矩阵c的频谱信息完成点乘运算，最后所述探测模块探测得到多个多通道图像矩阵v和多通道卷积核矩阵c的卷积结果矩阵y。

53、由于采用了上述技术方案，本发明与现有技术相比，具有如下至少一项的有益效果：

54、本发明提供的基于多成像投影架构的光学张量卷积计算系统及方法，可以以高度并行、高速、低功耗的方式完成多通道图像矩阵和多通道卷积和矩阵的光学张量卷积计算，并直接在探测模块(探测器)端面上得到卷积结果矩阵。基于本发明提供的系统及方法，可以高效地计算具有大规模并行性和足够高的准确性的任意位矩阵的张量卷积。而且，张量卷积是通用的，所获得的计算结果非常容易移植到任何其他计算平台。通过开发具有更高对比度的高速空间光调制器，优化专用投影成像系统，并配置专用的点阵光源，可以构建与电子计算机相比，具有更高计算能力和更低能耗的光学张量卷积处理器。另外，由于成像系统本身的特性，通过级联多个4f系统并采用额外的多路复用自由度，可以成倍地增加系统的计算能力，有望构造基于多成像投影架构的光学张量卷积器的混合光电高性能计算中心或数据中心。

55、本发明提供的基于多成像投影架构的光学张量卷积计算系统及方法，充分提高了光学张量卷积计算系统中空间光调制器的像素利用率，降低了对探测模块动态探测范围的要求，并可以进一步提高光学张量卷积系统的运算精度。相较于电子ai加速器和其他光学计算方案，本发明提供的系统及方法，可以实现通用的、任意进制的数字光学张量卷积计算，具有高速、低功耗、高度并行、高容差、大规模和可重构等特性。本发明提供的系统及方法，为数字光子张量计算奠定了研究基础，有望进一步开发基于矩阵变换、分解等操作的数字光学计算系统，算力远远超过英伟达的gpu，在深度学习及其他涉及到海量矩阵运算的领域，具有重大应用价值和良好的经济效益。

56、本发明提供的基于多成像投影架构的光学张量卷积计算系统及方法，是一种具有真正大规模并行性和足够高精度的光学张量卷积计算系统，将多通道图像矩阵和多通道卷积核矩阵加载到输入模块后，在光信号一次通过系统后即可以在探测模块中直接得到大规模、高精度的光学张量卷积计算结果矩阵；其中，通过引入成像投影模块实现了多通道输入图像矩阵频谱信息的复制和处理，极大地提高了系统算力。更进一步地，通过调整多通道图像矩阵和成像投影模块之间的特征距离并与分束器的衍射角进行完美匹配，可以实现各种复杂神经网络结构。本发明提供的光学张量卷积计算系统及方法，首次实现了空间互连光学系统中物面和频谱面同时复用矩阵的光计算架构，相较于以往的光计算架构，本发明解决了空间互连式光计算方案在实现小卷积核时的限制，可以充分利用系统的资源实现更高的算力。因此，本发明是真正可以在使用的深度学习模型，特别是以卷积神经网络为核心技术的目标识别、自动驾驶等实际应用场景中得到真正的应用。