一种基于FPGA实时目标识别检测的边缘计算平台及系统

本发明涉及微电子芯片，更具体地，涉及一种基于fpga实时目标识别检测的边缘计算平台及系统。

背景技术：

1、目前，卷积神经网络的应用越来越广泛，在图像分类、人脸识别、自动驾驶、语音识别等方面取得了跨越式的发展。然而，随着机器视觉和边缘计算的发展，由于卷积神经网络所需要处理的数据量和卷积层越来越多，高带宽传输和密集计算，对采用串行计算方式的cpu(central processing unit，中央处理器)形成极大的挑战，现有技术已见采用gpu(graphicprocessing units，图像处理器)以批量并行处理方式来满足神经网络推理计算的实时要求，但高能耗、大时延和低效率的缺点导致gpu在移动边缘计算应用场景中仍然存在局限，无法满足边缘计算领域对设备在高速运算、低延时、低功耗和高集成度等方面的严格要求，在此基础上，具有高速、低时延和低能耗等优点的fpga(field-programmable gatearray，现场可编程门阵列)成为移动边缘端神经网络加速的优选方案。

2、现有基于fpga的实时目标识别检测技术主要解决推理速度问题，一般以每秒多少亿次操作gops(giga operations per second)，以及实时帧率fps(frame per second)作为测量指标，影响测量指标的重要因素主要是fpga内部署有神经网络模型的推理加速器的推理效率及ddr(双倍速率同步动态随机存储器)的通信带宽。其中，ddr的通信带宽一般由器件的工艺水平决定；而针对推理加速器的推理效率，现有技术提出采用winograd快速卷积算法提高推理效率，但该方法对推理效率的提升仍然有限，在资源有限时无法满足数据量日益增长的边缘计算场景。

技术实现思路

1、本发明为克服上述现有技术推理效率低的缺陷，提供一种基于fpga实时目标识别检测的边缘计算平台及系统。

2、为解决上述技术问题，本发明的技术方案如下：

3、第一方面，一种基于fpga实时目标识别检测的边缘计算平台，包括互联的fpga和ddr，所述fpga上设有isp模块、前处理模块、vdma(video direct memory access，视频寄存器直接访问、存取)模块、推理加速器、cpu及字符叠加模块；

4、其中，所述isp模块用于获得原始实时图像进行图像预处理操作，得到rgb格式的第一图像，并通过vdma模块将第一图像分别存储至ddr及字符叠加模块中；

5、所述前处理模块，用于从ddr中读取第一图像进行图像前处理操作，得到指定尺寸的第二图像，并根据基色通道并行写入ddr；

6、所述推理加速器，用于部署预设的卷积神经网络模型，还用于从所述ddr读取任一帧第二图像和关于卷积神经网络模型中卷积核的权重参数数据，利用脉动阵列集群模块加速执行卷积神经网络模型的算法，并生成推理结果向量输出至ddr；其中，所述脉动阵列集群模块集成有winograd快速卷积算法与多通道脉动阵列；所述推理结果向量为对任一帧第二图像执行所述卷积神经网络模型的算法得到的输出结果；

7、所述cpu，用于根据推理结果向量进行预测，输出目标识别检测结果至字符叠加模块；所述目标识别检测结果包括目标类型和对应的目标位置信息；

8、所述字符叠加模块用于将第一图像与其对应的目标识别检测结果叠加后输出。

9、第二方面，一种实时目标识别检测系统，包括第一方面所述的边缘计算平台，还包括摄像模组和显示模组；其中，所述摄像模组的输出端与isp模块的输入端连接，所述显示模组的输入端与字符叠加模块的输出端连接。

10、与现有技术相比，本发明技术方案的有益效果是：

11、本发明公开了一种基于fpga实时目标识别检测的边缘计算平台及系统，优化了fpga的顶层架构，所述平台通过前处理模块实现第一图像的基色分离，在脉动阵列集群模块中集成winograd快速卷积算法与多通道脉动阵列，将卷积神经网络模型的前处理通过硬件实现、后处理通过软件实现，实现soc软硬件协同高效处理。相较于现有技术，本发明实现了卷积神经网络模型的加速运行，进而提高推理效率。

技术特征：

1.一种基于fpga实时目标识别检测的边缘计算平台，其特征在于，包括互联的fpga和ddr，所述fpga上设有isp模块、前处理模块、vdma模块、推理加速器、cpu及字符叠加模块；

2.根据权利要求1所述的一种基于fpga实时目标识别检测的边缘计算平台，其特征在于，所述卷积神经网络模型包括若干个隐藏层，所述隐藏层为池化层、resize层或对应不同卷积模式的卷积层；其中，最后一层隐藏层为卷积层；

3.根据权利要求2所述的一种基于fpga实时目标识别检测的边缘计算平台，其特征在于，所述卷积神经网络模型中，所述卷积模式为第一卷积模式、第二卷积模式或第三卷积模式；

4.根据权利要求3所述的一种基于fpga实时目标识别检测的边缘计算平台，其特征在于，所述脉动阵列集群模块包括快速算法预处理模块、快速算法后处理模块和至少两个脉动阵列；

5.根据权利要求4所述的一种基于fpga实时目标识别检测的边缘计算平台，其特征在于，每个所述脉动阵列包括4*4个pe，每个pe包括16个并行8*8位硬件乘法器，以实现一个clk脉冲完成16个乘法运算。

6.根据权利要求5所述的一种基于fpga实时目标识别检测的边缘计算平台，其特征在于，当所述卷积模式为第二卷积模式时，所述将所述第一权重矩阵和所述第二输入矩阵以流水线方式输入所述脉动阵列进行脉动阵列乘法运算，包括：

7.根据权利要求3所述的一种基于fpga实时目标识别检测的边缘计算平台，其特征在于，所述输入缓存模块包括输入缓存控制器、数据预处理模块、补零操作模块、数据转发模块、第一数据存储器和数据读取模块；

8.根据权利要求2所述的一种基于fpga实时目标识别检测的边缘计算平台，其特征在于，所述权重参数缓存模块包括权重参数写模块、权重存储器和权重参数读模块；

9.根据权利要求1-8任一项所述的一种基于fpga实时目标识别检测的边缘计算平台，其特征在于，所述图像前处理操作包括对第一图像进行三基色分离，还包括对第一图像的尺寸缩放处理，和/或对第一图像进行像素值数据类型转化，使像素值从无符号整型0-255转化为-127-127的8位有符号q0定点数；

10.一种实时目标识别检测系统，其特征在于，包括权利要求1-9任一项所述的边缘计算平台，还包括摄像模组和显示模组；其中，所述摄像模组的输出端与isp模块的输入端连接，所述显示模组的输入端与字符叠加模块的输出端连接。

技术总结
本发明公开了一种基于FPGA实时目标识别检测的边缘计算平台及系统，涉及微电子芯片领域。所述边缘计算平台包括：互联的FPGA和DDR，所述FPGA上设有ISP模块、前处理模块、VDMA模块、推理加速器、CPU及字符叠加模块。其中，所述推理加速器用于部署预设的卷积神经网络模型，还用于从DDR读取任一帧第二图像和关于卷积神经网络模型中卷积核的权重参数数据，利用脉动阵列集群模块加速执行卷积神经网络模型的算法，并生成推理结果向量输出至DDR；所述脉动阵列集群模块集成有Winograd快速卷积算法与多通道脉动阵列。相较于现有技术，本发明实现了卷积神经网络模型的加速运行，进而提高推理效率。

技术研发人员：李嘉松,余荣,谭北海,蔡述庭,陈平,李俊锋,胡子炜
受保护的技术使用者：广东工业大学
技术研发日：
技术公布日：2024/1/15