一种二维光子卷积加速方法和系统与流程

1.本发明涉及一种光子计算技术领域，尤其涉及一种二维光子卷积加速方法和系统。


背景技术：

2.人工智能如今广泛应用于机器视觉、自然语言处理及自动驾驶等领域，其中人工神经网络作为人工智能技术重要模型之一因具有优秀泛化能力及稳定性而被广泛使用，而在实际数据处理过程中，卷积运算是人工神经网络的前置运算，占用大部分人工智能运算的算力。由于目前电子芯片采用将程序空间与数据空间分离的经典计算机结构，致使存储单元与计算单元之间数据载荷不稳定且功耗较高，限制网络模型训练的效率。常用解决方案是通过提高电子芯片集成度或通过存内计算来提高运算效率，但受限于电子芯片的微观量子特性及宏观高频响应特性，这些技术方向也面临巨大挑战。以光子作为信息载体的光子技术具有大带宽、低损耗以及可并行等特点，目前已吸引研究人员将光子技术应用在人工智能领域（参见[shastri b j, tait a n, ferreira de lima t, et al. photonics for artificial intelligence and neuromorphic computing. nature photonics, 2021, 15(2): 102-114.]）。将光子技术与传统神经网络相结合，有望充分发挥两种技术的优势，突破传统电子神经网络高功耗、长延时、速度有限的技术发展瓶颈，解决传统电子技术受限的技术问题（参见[huang c, fujisawa s, de lima t f, et al. a silicon photonic
–
electronic neural network for fibre nonlinearity compensation. nature electronics, 2021, 4(11): 837-844.]）。首先，光子神经网络采用模拟计算架构，存算同时进行，在提高计算速度的同时能够降低计算时延；其次，基于光传输介质的本质特性，光链路具有低损耗特性，间接可降低系统功耗；最后，光子器件相对电子器件，有效工作带宽增加了几个数量级，更适应神经网络的高速实时运算。如方案（参见[xu x, tan m, corcoran b, et al. "11 toos photonic convolutional accelerator for optical neural networks," nature, vol. 589, no. 7840, pp. 45-51, 2021.]）提出一种基于色散技术实现待卷积信号的卷积运算与全连接前馈神经网络，运算速度已接近现有基于电子技术的最新芯片，但该方案功耗却得到大大降低，为光子神经网络迈向实用化提供了可靠依据。


技术实现要素：

[0003]
针对上述技术问题，本发明提出一种二维光子卷积加速方法和系统，基于光纤延时阵列与色散光纤实现两级延时，结合波束整形器的不同波长信号强度调节，在单个信号周期实现二维卷积核矩阵系数加权，解决传统方法数据冗余、部分数据丢失的问题，且卷积核矩阵可灵活扩展，适用于多维数据卷积运算。
[0004]
本发明采用的技术方案如下：一种二维光子卷积加速系统，包括：
多波长光源，用于产生包含mn个波长的多波长光信号，并将所述多波长光信号送入调制器；待卷积信号源，用于将原始待卷积的待卷积信号的二维数据转换成一维待卷积信号；调制器，用于将所述一维待卷积信号加载到所述多波长光信号上，得到多波长调制光信号，并将所述多波长调制光信号送入卷积加速模块；卷积加速模块，用于将所述多波长调制光信号进行卷积加速处理得到加权多波长调制光信号，并将所述加权多波长调制光信号送入光电探测器；光电探测器，用于将所述加权多波长调制光信号转换为电信号，并将所述电信号送入采集处理单元；采集处理单元，用于将电信号采集，并采集重构为对应原始待卷积信号的特征信号。
[0005]
进一步地，所述卷积加速模块包括：延时阵列组件，用于将所述多波长调制光信号转换为第一延时多波长调制光信号；色散光纤，用于对所述第一延时多波长调制光信号实现不同波长调制光信号的色散延时得到第二延时多波长调制光信号；卷积核控制组件，用于根据卷积核矩阵系数对不同波长调制光信号加权得到加权多波长调制光信号；所述延时阵列组件、所述色散光纤和所述卷积核控制组件通过光纤连接的前后位置可互相交换。
[0006]
进一步地，所述延时阵列组件包括：解波分复用器，用于将所述多波长调制光信号分为m个各包含n个波长的子调制光信号，并将所述子调制光信号送入光纤延时阵列；光纤延时阵列，用于对m个子调制光信号依次增加等间隔延时，并将所述延时后的m个子调制光信号送入波分复用器；波分复用器，用于将延时后的m个子调制光信号波分复用为一路为第一延时多波长调制光信号。
[0007]
进一步地，所述卷积核控制组件包括：波束整形器，用于对不同波长调制光信号加权得到加权多波长调制光信号；卷积核矩阵控制单元，用于向波束整形器提供卷积核系数控制信号。
[0008]
进一步地，所述多波长光信号中m与n为正整数，分别为卷积加速模块中最大可支持卷积核矩阵的行数与列数。
[0009]
进一步地，所述色散光纤长度为
∆
l=
∆
t /(d
∆
f)，其中
∆
t =1/sm为待卷积信号单个符号持续时间，sm为待卷积信号符号速率，d为色散光纤色散系数，
∆
f为所述多波长光信号中两个波长之间的频率间隔。
[0010]
进一步地，所述解波分复用器与所述波分复用器的通道间隔为n
∆
f，其中
∆
f为所述多波长光信号中两个波长之间的频率间隔。
[0011]
进一步地，所述光纤延时阵列由m段长度不同的光纤组成，以第一根为参考，其余根光纤长度依次增加
∆
l=(o-1)c
∆
t/nf，其中o为待卷积信号二维数据列数，c为光在真空
中速度，nf为光纤折射率，
∆
t=1/sm为待卷积信号单个符号持续时间，sm为待卷积信号符号速率，且待卷积信号符号速率最大值取决于所述调制器带宽。
[0012]
进一步地，所述待卷积信号为实际二维数据经矩阵平坦化处理后得到的一维信号；所述多波长光源为多波长激光器、锁模激光器、飞秒激光器、光频梳发生器或光孤子光频梳发生器；所述调制器为马赫-曾德尔调制器或电吸收调制器。
[0013]
本发明还提供一种二维光子卷积加速方法，包括以下子步骤：步骤s1：将待卷积信号通过调制器加载到多波长光源产生的包含mn个波长的多波长光信号上得到多波长调制光信号；步骤s2：将所述多波长调制光信号通过卷积加速模块进行卷积加速处理得到加权多波长调制光信号；步骤s3：所述加权多波长调制光信号通过光电探测器完成光电转换得到电输出信号，所述电输出信号通过采集处理单元采集重构后，得到对应原始待卷积信号的特征信号。
[0014]
本发明的有益效果是：1、本发明基于波长-时间交织技术实现二维卷积加速，单个调制器即可实现信号的光域加载，卷积运算速度仅限制于调制器速度。
[0015]
2、本发明基于两级延时结合波束整形器在单个信号周期即可实现二维数据的二维卷积核卷积加速运算，解决传统方法数据冗余问题，方案简单高效。
[0016]
3、本发明基于波束整形器实现卷积核矩阵系数的控制，可实现卷积核矩阵系数的快速更新，适应于实时数据处理应用。
附图说明
[0017]
图1为本发明一种二维光子卷积加速系统的结构示意图；图2为本发明一种二维光子卷积加速方法的流程示意图；图3为实施例一种二维光子卷积加速系统的结构示意图；图4为实施例原始二维待卷积数据及卷积核矩阵；图5为实施例二维数据一维平坦化处理方法示意图。
[0018]
图6为实施例多波长调制光信号的光谱分布图；图7为实施例波分复用器输出第一延时多波长调制光信号时间序列与波长关系图；图8为实施例色散光纤输出第二延时多波长调制光信号时间序列与波长关系图；图9为实施例波束整形器输出加权多波长调制光信号时间序列与波长关系图；图10为实施例有效时序重构的二维特征信号。
具体实施方式
[0019]
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0020]
参见图1，一种二维光子卷积加速系统，包括：多波长光源，用于产生包含mn个波长的多波长光信号，并将所述多波长光信号送
入调制器；所述多波长光信号中m与n为正整数，分别为卷积加速模块中最大可支持卷积核矩阵的行数与列数；待卷积信号源，用于将原始待卷积的待卷积信号的二维数据转换成一维待卷积信号；调制器，用于将所述一维待卷积信号加载到所述多波长光信号上，得到多波长调制光信号，并将所述多波长调制光信号送入卷积加速模块；卷积加速模块，用于将所述多波长调制光信号进行卷积加速处理得到加权多波长调制光信号，并将所述加权多波长调制光信号送入光电探测器；所述卷积加速模块包括：延时阵列组件，用于将所述多波长调制光信号转换为第一延时多波长调制光信号；所述延时阵列组件包括：解波分复用器，用于将所述多波长调制光信号分为m个各包含n个波长的子调制光信号，并将所述子调制光信号送入光纤延时阵列；光纤延时阵列，用于对m个子调制光信号依次增加等间隔延时，并将所述延时后的m个子调制光信号送入波分复用器；所述光纤延时阵列由m段长度不同的光纤组成，以第一根为参考，其余根光纤长度依次增加
∆
l=(o-1)c
∆
t/nf，其中o为待卷积信号二维数据列数，c为光在真空中速度，nf为光纤折射率，
∆
t=1/sm为待卷积信号单个符号持续时间，sm为待卷积信号符号速率，且待卷积信号符号速率最大值取决于所述调制器带宽；波分复用器，用于将延时后的m个子调制光信号波分复用为一路为第一延时多波长调制光信号；所述解波分复用器与所述波分复用器的通道间隔为n
∆
f，其中
∆
f为所述多波长光信号中两个波长之间的频率间隔；色散光纤，用于对所述第一延时多波长调制光信号实现不同波长调制光信号的色散延时得到第二延时多波长调制光信号；所述色散光纤长度为
∆
l=
∆
t /(d
∆
f)，其中
∆
t=1/sm为待卷积信号单个符号持续时间，sm为待卷积信号符号速率，d为色散光纤色散系数，
∆
f为所述多波长光信号中两个波长之间的频率间隔；卷积核控制组件，用于根据卷积核矩阵系数对不同波长调制光信号加权得到加权多波长调制光信号；所述卷积核控制组件包括：波束整形器，用于对不同波长调制光信号加权得到加权多波长调制光信号；卷积核矩阵控制单元，用于向波束整形器提供卷积核系数控制信号；所述延时阵列组件、所述色散光纤和所述卷积核控制组件通过光纤连接的前后位置可互相交换；光电探测器，用于将所述加权多波长调制光信号转换为电信号，并将所述电信号送入采集处理单元；
采集处理单元，用于将电信号采集，并采集重构为对应原始待卷积信号的特征信号；所述待卷积信号为实际二维数据经矩阵平坦化处理后得到的一维信号；所述多波长光源为多波长激光器、锁模激光器、飞秒激光器、光频梳发生器或光孤子光频梳发生器；所述调制器为马赫-曾德尔调制器或电吸收调制器；参见图2，一种二维光子卷积加速方法，包括以下子步骤：步骤s1：将待卷积信号通过调制器加载到多波长光源产生的包含mn个波长的多波长光信号上得到多波长调制光信号；步骤s2：将所述多波长调制光信号通过卷积加速模块进行卷积加速处理得到加权多波长调制光信号；步骤s3：所述加权多波长调制光信号通过光电探测器完成光电转换得到电输出信号，所述电输出信号通过采集处理单元采集重构后，得到对应原始待卷积信号的特征信号。
[0021]
实施例：参见图3，一种二维光子卷积加速系统，包括：1个多波长激光器、1个待卷积信号源、1个马赫-曾德尔调制器（mzm）、1个解波分复用器、1个光纤延时阵列、1个波分复用器、1个色散光纤、1个波束整形器、1个卷积核矩阵控制单元、1个光电探测器和1个采集处理单元。
[0022]
步骤s1：多波长激光器输出各个波长强度相等的多波长光信号，用矩阵表示为a=[a,a,a,
…
,a]
tmn
×1，其中m与n为正整数，分别对应二维卷积核矩阵的行数与列数，a为单波长光信号强度；待卷积信号源输出的待卷积信号通过马赫-曾德尔调制器（mzm）进行调制，并将待卷积信号加载到多波长光信号的不同波长上得到多波长调制光信号；待卷积信号序列表示为x(i)=[x(1),x(2),x(3),
…
,x(p)],其中i表示离散化时间序号，p=oq为待卷积信号的长度，待卷积信号为实际二维数据经矩阵平坦化处理后得到的一维信号，原始待卷积信号参见图4所示，为一个q行o列的矩阵。
[0023]
矩阵平坦化具体操作为将二维或多维矩阵转为一维矩阵，其过程参见图5所示。每一个强度调制的载波对应一个待卷积信号，得到多波长调制光信号，多波长调制光信号s
mod
用矩阵表示为：；对应的光谱分布参见图6所示。
[0024]
步骤s2：通过解波分复用器将所述多波长调制光信号分为m个各包含n个波长的子调制光信号s
mod_m
，用矩阵表示为： (m=1,2,
…
,m)；
所述解波分复用器与所述步骤s3中所述波分复用器的通道间隔为n
∆
f，其中
∆
f为所述多波长光信号中两个波长之间的频率间隔；步骤s3：m个所述子调制光信号进入光纤延时阵列分别通过延时等间隔增加的延时光纤，延时后的m个所述子调制光信号通过波分复用器合为第一延时多波长调制光信号；所述光纤延时阵列由m段长度不同的光纤组成，以第一根为参考，其余根光纤长度依次增加
∆
l=(o-1)c
∆
t/nf，其中o为待卷积信号二维数据列数，c为光在真空中速度，nf为光纤折射率，
∆
t=1/sm为待卷积信号单个符号持续时间，即x(i)与x(i-1)之间的时间差，sm为待卷积信号符号速率，且待卷积信号符号速率最大值取决于所述步骤s1中马赫-曾德尔调制器（mzm）带宽；延时后的子强度调制光信号s
mod_md
表示为： (m=1,2,..，m)；光纤延时阵列输出的子强度调制光信号通过波分复用器合为第一延时多波长调制光信号时间序列与波长关系图参见图7所示。
[0025]
步骤s4：所述第一延时多波长调制光信号送入色散光纤实现不同波长信号的色散延时得到第二延时多波长调制光信号；所述色散光纤长度为
∆
l=
∆
t/(d
∆
f)，其中d为色散光纤色散系数；色散延时后得到第二延时多波长调制光信号中每一个子延时多波长光信号s
mod_mdd
表示为： (m=1,2,..，m)；第二延时多波长调制光信号时间序列与波长关系图参见图8所示。
[0026]
步骤s5：所述第二延时多波长调制光信号通过波束整形器实现不同波长信号的卷积核矩阵系数加权得到加权多波长调制光信号；设卷积核矩阵系数m
con
表示为：；其中，w表示卷积核矩阵元素；则波束整形器输出加权多波长调制光信号的子加权多波长调制光信号s
modcon_m
表示为：
ꢀ
(m=1,2,..，m)；加权多波长调制光信号时间序列与波长关系参见图9所示。
[0027]
步骤s6：所述加权多波长调制光信号通过光电探测器完成光电转换得到电输出信号，所述电输出信号通过采集处理单元采集重构后，得到对应原始待卷积信号的特征信号。
[0028]
电输出信号有效时序内的信号表示为：；其中，s
ca
(r)为第r次卷积运算的结果，w
mn
为卷积核矩阵系数。
[0029]
采集处理单元对电输出信号采集后，对有效时序信号以矩阵平坦化处理相反的方式即可在数字域实现信号二维重构，二维重构的数据参见图10所示，其中灰色的n-1列为冗余数据。去除冗余数据后即可得到待卷积信号完成卷积运算后的二维特征信号。以上过程是在原始数据没有补零的情况下进行的具体实施例说明。当对原始数据补零时，补完零的数据可作为原始二维数据同上进行的操作。
[0030]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。