一种基于深度学习算法和边缘设备的智能安防系统的制作方法

本发明涉及，具体涉及一种基于深度学习算法和边缘设备的智能安防系统。

背景技术：

1、当前在中国，生产安全事故屡次发生，安全生产的形势非常严峻。其中，施工工人的不安全行为是导致安全事故的主要原因之一。研究表明，及时监督施工现场工人的不安全行为不仅可以提高项目管理水平，还可以降低安全事故的发生率。然而，目前对施工工人不安全行为的监管主要依赖人工实现，这不仅费时费力，而且效率低，覆盖面不广。

2、因此，开发一种智能化的监管系统对于安全生产管理至关重要。基于这一需求，本发明设计了一种基于深度学习算法和边缘设备的智能安防系统，该系统用于识别施工工人是否存在不安全行为，并提供可视化的操作界面，从而提高施工现场的安全管理效率。

技术实现思路

1、本发明所要解决的技术问题在于：如何解决现有人工监管方式存在的费时费力、效率低、覆盖面不广等问题，提供了一种基于深度学习算法和边缘设备的智能安防系统。

2、本发明是通过以下技术方案解决上述技术问题的，本发明包括视频采集装置、标注训练模块、模型库、边缘设备、告警模块、云服务器；

3、所述视频采集装置，用于获取工作区域的实时画面；

4、所述标注训练模块，用于对视频采集装置获取的实时画面进行预处理并标注，再利用深度学习算法进行训练得到相应的权重文件；

5、模型库，用于存放深度学习算法和训练后得到的权重文件；

6、边缘设备，用于对视频采集装置获取的实时画面进行检测分析；

7、告警模块，设置在边缘端，用于当边缘设备检测到违规画面时，触发告警装置，对做出违规行为的人进行及时警示。

8、更进一步地，所述视频采集装置包括多个能够采集每秒30帧及以上画面的终端摄像头，所述终端摄像头分在工作区域中的各个危险区域。

9、更进一步地，所述视频采集装置通过无线网络将获取的实时画面传输至标注训练模块，同时通过传输线将获取的实时画面传入边缘设备。

10、更进一步地，所述标注训练模块部署在计算机设备上，包括数据预处理单元、数据标注单元、模型训练单元、模型验证单元以及模型发布单元，其具体处理过程如下：

11、步骤a1：数据预处理单元通过无线网络从终端摄像头接收实时画面并对获取的实时画面进行隔帧采样，固定每10帧采集一个样本图片；然后对采样图片进行筛选，没有目标的图片被筛选掉，有目标的图片则被保存下来并传输至数据标注单元；

12、步骤a2：利用数据标注单元对已进行数据预处理后的图片进行标注，将其转化成适用于yolov5算法的格式，并构建yolov5所需格式的数据集；

13、步骤a3：利用模型训练单元从模型库中调取yolov5算法，并调用标注好的数据集进行训练，得到yolov5算法所需的权重文件；

14、步骤a4：通过模型验证单元对训练后模型的性能进行验证，验证通过即得到完整的yolov5模型；

15、步骤a5：通过模型发布单元将上述经过验证的权重文件输送至模型库。

16、更进一步地，所述模型库内存放有不同的深度学习算法和经训练后得到的权重文件，供标注训练模块的模型训练单元以及边缘设备调用。

17、更进一步地，所述边缘设备为具有计算能力的边缘盒子，所述边缘盒子为jetson系列设备，其通过连接线与视频采集装置和告警装置直接连接，并通过无线网络与云服务器连接，当检测到违规行为时，向告警装置发送信号。

18、更进一步地，将深度学习算法部署在边缘设备上的过程包括如下步骤：

19、步骤b1：利用移动设备将所述模型库中的深度学习算法和训练得到的权重文件传输至边缘设备；

20、步骤b2：根据深度学习算法运行要求，安装各项环境依赖包；

21、步骤b3：将训练好的权重文件，进行量化压缩转化为tensorrt加速引擎文件，部署在边缘设备上。

22、更进一步地，用深度学习算法进行实时检测的过程包括如下步骤：

23、步骤c1：将所述视频采集装置采集的实时画面作为网络的输入，并对其做预处理；

24、步骤c2：采用cspdarknet53结构与聚焦下采样结构作为分类器的网络，分别进行32、16、8倍下采样提取图像特征，获得不同层次的特征图；

25、步骤c3：通过上采样和张量拼接，将不同层次的特征图融合转化为维度相同的特征图；

26、步骤c4：采用考虑到预测框中心点欧氏距离和重叠率参数的损失函数作为yolov5算法预测框偏差的偏差指标；

27、步骤c5：输出图像中包含违规行为的框选结果，包括图像中的目标和目标坐标。

28、更进一步地，在所述步骤c1中，预处理过程具体为：将输入图像缩放到yolov5算法的输入尺寸，并将图像划分为s×s个单元格，经过一次卷积操作，变成320×320×32的特征图；对320×320×32的特征图进行归一化、嵌合体数据增强操作、自适应锚框计算以及自适应图像缩放操作。

29、更进一步地，在所述步骤c4中，损失函数具体如下：

30、

31、其中，lossloc表示目标位置损失函数，i表示第i个单元格，j表示由第i个单元格产生的先验框，表示先验框j包含的目标，n2、n分别表示单元格和先验框的总个数；

32、ciouij表示第i个单元格产生的先验框j的重复率参数，iou表示边框的交并比，ρ表示两个中心点间的欧氏距离，b表示预测框的中心点，bgt表示真实框的中心点，c表示最小外接矩形框对角线长度，α为权重函数；

33、ν为真实框与预测框矩形对角线倾斜角的方差，wgt表示真实框的宽，hgt表示真实框的高，w表示预测框的宽，h表示预测框的高。

34、本发明相比现有技术具有以下优点：该基于深度学习算法和边缘设备的智能安防系统，通过对不同场景下的不同对象进行单独的标注训练，可实现多场景多任务的需求；通过将检测任务分配到各个边缘设备，可以大幅降低云服务器的计算压力；人机交互界面可提供可视化的操作界面，上手难度较低；相较于传统的监测方法，可适应于多场景下的不同任务，极大地降低了各项成本。

技术特征：

1.一种基于深度学习算法和边缘设备的智能安防系统，其特征在于，包括视频采集装置、标注训练模块、模型库、边缘设备、告警模块、云服务器；

2.根据权利要求1所述的一种基于深度学习算法和边缘设备的智能安防系统，其特征在于：所述视频采集装置包括多个能够采集每秒30帧及以上画面的终端摄像头，所述终端摄像头分在工作区域中的各个危险区域。

3.根据权利要求1所述的一种基于深度学习算法和边缘设备的智能安防系统，其特征在于：所述视频采集装置通过无线网络将获取的实时画面传输至标注训练模块，同时通过传输线将获取的实时画面传入边缘设备。

4.根据权利要求1所述的一种基于深度学习算法和边缘设备的智能安防系统，其特征在于：所述标注训练模块部署在计算机设备上，包括数据预处理单元、数据标注单元、模型训练单元、模型验证单元以及模型发布单元，其具体处理过程如下：

5.根据权利要求1所述的一种基于深度学习算法和边缘设备的智能安防系统，其特征在于：所述模型库内存放有不同的深度学习算法和经训练后得到的权重文件，供标注训练模块的模型训练单元以及边缘设备调用。

6.根据权利要求1所述的一种基于深度学习算法和边缘设备的智能安防系统，其特征在于：所述边缘设备为具有计算能力的边缘盒子，所述边缘盒子为jetson系列设备，其通过连接线与视频采集装置和告警装置直接连接，并通过无线网络与云服务器连接，当检测到违规行为时，向告警装置发送信号。

7.根据权利要求4所述的一种基于深度学习算法和边缘设备的智能安防系统，其特征在于：将深度学习算法部署在边缘设备上的过程包括如下步骤：

8.根据权利要求7所述的一种基于深度学习算法和边缘设备的智能安防系统，其特征在于：用深度学习算法进行实时检测的过程包括如下步骤：

9.根据权利要求8所述的一种基于深度学习算法和边缘设备的智能安防系统，其特征在于：在所述步骤c1中，预处理过程具体为：将输入图像缩放到yolov5算法的输入尺寸，并将图像划分为s×s个单元格，经过一次卷积操作，变成320×320×32的特征图；对320×320×32的特征图进行归一化、嵌合体数据增强操作、自适应锚框计算以及自适应图像缩放操作。

10.根据权利要求8所述的一种基于深度学习算法和边缘设备的智能安防系统，其特征在于：在所述步骤c4中，损失函数具体如下：

技术总结
本发明公开了一种基于深度学习算法和边缘设备的智能安防系统，属于智能安防技术领域，包括视频采集装置、标注训练模块、模型库、边缘设备、告警模块、云服务器等。本发明通过对不同场景下的不同对象进行单独的标注训练，可实现多场景多任务的需求；通过将检测任务分配到各个边缘设备，可以大幅降低云服务器的计算压力；人机交互界面可提供可视化的操作界面，上手难度较低；相较于传统的监测方法，可适应于多场景下的不同任务，极大地降低了各项成本。

技术研发人员：赵继兴,代浩文,李伟,刘丙友,万国扬
受保护的技术使用者：华能巢湖发电有限责任公司
技术研发日：
技术公布日：2024/2/25