一种基于ZYNQ的光电混合计算控制系统

本发明属于fpga，具体涉及一种基于zynq的光电混合计算控制系统。

背景技术：

1、级联有mzi(mach-zehnder interfermeter)的光芯片可以实现任意矩阵的乘法计算，矩阵计算是一种线性计算，但是当前复杂的神经网络中并非只含有单一的矩阵计算。对于一个复杂的神经网络而言，会引入非线性计算，虽然这会使得神经网络的输入输出不再是简单的线性关系，但是却提高了神经网络的拟合度，更利于解决复杂的问题。此外，光学计算中，mzi的数量随着向量中的元素数量n呈n2增长，这将导致光子电路尺寸的增加，从而带来更多的损耗和噪声。这就表示光无法单独实现一个复杂的神经网络，需要通过电学平台来实现光无法完成的非线性计算。

2、光除了无法完成非线性计算，在数据存储方面也存在着问题。光信号经过传输后会消散，当前解决的方案是使用相变材料。相变材料有晶态和非晶态两种状态，这两种状态类似于电学中的高低电平是可以相互转化的，基于这种特实现信号的存储。但是相变材料的晶态和非晶态间的转换需要消耗很高的能量，且晶态和非晶态不是完全离散的状态，同时存在着阈值界定问题，难以实际应用。所以，光电混合计算中，数据存储仍需在电学平台中完成。

3、其次，集成电路的发展遵循着摩尔定律，然而随着工艺和技术的发展，芯片的集成度将达到极限，光电混合技术提供了一个解决方案，即以电子为信息载体的芯片和以光子为信息载体的芯片共同构建硅光平台。电学计算平台处理后的数据转换为光信号，传输到光学计算平台，完成卷积计算，再将数据传输给电学计算平台完成其他计算，最终完成光电混合计算，提升算力水平。

4、电学计算平台除了要完成相关的计算外，还需要实现数据处理和光电混合计算的数据传输架构。考虑到电学计算的通用性以及数据的控制，选用fpga作为电学计算平台。电计算部分通常在gpu(graphics processing unit)、fpga(field-programmable gatearray)、asic(application specific integrated circuit)等人工智能芯片上实现。如果使用gpu来实现电计算，存在着功耗高、计算能力不够、开发难度大等问题，如果采用asic来实现电计算，则又存在着灵活性差、成本高、开发周期长的问题。

5、综上所述，现有技术问题是：现有的光电混合计算系统通过gpu来实现电计算，存在着功耗高、计算能力不够、开发难度大等问题，通过asic来实现电计算，则又存在着灵活性差、成本高、开发周期长的问题。因此缺乏较好的光电混合计算系统，难以保证在电学计算平台上实现较为通用的神经网络同时完成光电混合计算的数据传输和控制。

技术实现思路

1、为解决上述技术问题，本发明提出一种基于zynq的光电混合计算控制系统，包括：上位机、ps端和pl端；

2、所述上位机与所述ps端的一端通过以太网连接，所述上位机用于对mnist图像数据的预处理并导入以及对所述pl端处理后的图像数据统计与判断；

3、所述ps端的另一端通过dma接口与所述pl端连接，所述ps端用于将预处理后的mnist图像数据下发至所述pl端和将所述pl端处理后的图像数据回收至ps端再回传到所述上位机，并用于对4通道dac、adc相关的寄存器进行配置；

4、所述pl端用于将所述ps端下发的mnist图像数据与dac位宽相匹配以及将处理后的图像数据与adc位宽相匹配并还原为mnist数据。

5、优选的，对mnist图像数据的预处理，包括：对mnist图像数据添加帧头帧尾，并对添加帧头帧尾后的mnist图像数据进行4个通道的分包处理。

6、优选的，所述ps端包括：ddr缓存器，用于缓存到来的数据。

7、优选的，所述dma接口设置位宽为32位。

8、优选的，对4通道dac、adc相关的寄存器进行配置，包括：

9、dac数据输出使能相关的寄存器，将缓存的数据写入到dac中；

10、adc数据采集长度相关的寄存器，设置的采集长度是128bit；

11、adc数据采集使能相关的寄存器，将adc采集的数据写入缓存中。

12、优选的，将所述ps端下发的mnist图像数据与dac位宽相匹配，包括：

13、通过rf_dac_dwidth_i32o64模块的接口将输入的32位图像数据扩展为64位数据，图像的每个像素数据占16位，扩展后的数据包含4个像素点；将扩展后的图像数据按照dac的四个通道顺序排放，得到每次64位数据均为相邻的4个通道数据，将这4个像素点分别传入四个位宽转换模块

14、rf_dac_dwidth_i16o256，位宽转换模块将16个周期的16bit数据转成1个周期的256bit输出，再将这256bit位宽的数据放入rf_dac_dwidth_i256o256数据存储模块进行缓存。

15、进一步的，所述存储模块主要由异步fifo构成，该fifo的数据输入时钟和pl侧一致，数据取出的时钟和adc时钟一致。

16、优选的，将处理后的图像数据与adc位宽相匹配并还原为mnist数据，包括：

17、从dac的数据存储模块中采集128bit、8个像素点的数据图像并通过模块rf_adc_fifo_i128o128缓存采集的数据并且模块rf_adc_fifo_i128o128的异步fifo的读时钟和pl侧保持一致以及写时钟和adc保持一致；

18、在当前周期对采集的图像数据同时进行帧头检测并判断，若数值落在帧头的阈值范围内，则生成帧头特征数据offset，若不在阈值范围内，则舍弃本次采集的数据；

19、保留下来的128bit图像数据通过模块axis_dwidth_converter_0的双端口ram的输入端周期性的顺序转换到双端口ram的输出端并将帧投替换为帧头特征数据offset，得到包含帧头特征数据offset的16bit图像数据；

20、将双端口ram输出的16bit图像数据缓存至模块fifo_d16_i64o64的fifo并合并四个像素数据输出64bit图像数据，经过模块rf_adc_to_dma转化为和dma接口相匹配的32bit图像数据，最终回传到ps端的ddr缓存器。

21、本发明的有益效果：本发明设计的光电混合计算系统为光电混合计算提供了一种有效而快速的传输架构，既能实现光学计算和电学计算，又可以确保光学计算和电学计算之间的数据传输，保证了系统的功耗均衡、灵活可靠、结构简洁。

技术特征：

1.一种基于zynq的光电混合计算控制系统，其特征在于，包括：上位机、ps端和pl端；

2.根据权利要求1所述的一种基于zynq的光电混合计算控制系统，其特征在于，对mnist图像数据的预处理，包括：对mnist图像数据添加帧头帧尾，并对添加帧头帧尾后的mnist图像数据进行4个通道的分包处理。

3.根据权利要求1所述的一种基于zynq的光电混合计算控制系统，其特征在于，所述ps端包括：ddr缓存器，用于缓存到来的数据。

4.根据权利要求1所述的一种基于zynq的光电混合计算控制系统，其特征在于，所述dma接口设置位宽为32位。

5.根据权利要求1所述的一种基于zynq的光电混合计算控制系统，其特征在于，对4通道dac、adc相关的寄存器进行配置，包括：

6.根据权利要求1所述的一种基于zynq的光电混合计算控制系统，其特征在于，将所述ps端下发的mnist图像数据与dac位宽相匹配，包括：

7.根据权利要求6所述的一种基于zynq的光电混合计算控制系统，其特征在于，所述存储模块主要由异步fifo构成，该fifo的数据输入时钟和pl侧一致，数据取出的时钟和adc时钟一致。

8.根据权利要求1所述的一种基于zynq的光电混合计算控制系统，其特征在于，将处理后的图像数据与adc位宽相匹配并还原为mnist数据，包括：

技术总结
本发明属于FPGA技术领域，具体涉及一种基于ZYNQ的光电混合计算控制系统，包括：上位机、PS端和PL端；所述上位机与所述PS端通过以太网连接，用于对mnist图像数据的预处理并导入以及对PL端处理后的图像数据统计与判断；所述PS端通过DMA接口与PL端连接，用于将预处理后的mnist图像数据下发至PL端和将PL端处理后的数据回收至PS端再回传到上位机；所述PL端用于将PS端下发的mnist图像数据与DAC位宽匹配以及将处理后的图像数据与ADC位宽匹配并还原为mnist数据。本发明设计的光电混合计算系统为光电混合计算提供了一种有效而快速的传输架构，保证了系统的功耗均衡、灵活可靠、结构简洁。

技术研发人员：彭析竹,葛大勇,陈磊
受保护的技术使用者：重庆邮电大学
技术研发日：
技术公布日：2024/1/13