一种基于OpenVINO的安全工况实时监测方法

一种基于openvino的安全工况实时监测方法
技术领域
1.本发明专利涉及边缘计算技术领域，具体为一种基于openvino的安全工况实时监测方法。


背景技术：

2.openvino是英特尔针对自家硬件开发的视觉应用程序和解决方案，主要包括基于卷积神经网络推理模块ie，可以部署深度学习模型部署工具包。
3.树莓派是一款基于linux的单片机计算机。它由英国的树莓派基金会所开发，目的是以低价硬件及自由软件促进学校的基本计算机科学教育。虽说最初的目的是用于教育，但功能和普通电脑无异。电脑能做的大部分事情，在树莓派上都能做，而树莓派以其低能耗、移动便携性、gpio等特性，很多在普通电脑上难以做好的事情，用树莓派却是很适合的，便于自研开发。
4.这两年来随着硬件设备的不断更新换代，将深度学习的技术应用到解决目标检测相关问题的案例也越来越多，并且都收获了不错的成绩。现在加速模型推理计算的硬件有很多种方式，目前英特尔神经计算棒在加速模型推理计算方面效果明显，并且价格较其他加速硬件价格便宜的优势。


技术实现要素：

5.有鉴于此，本发明所要解决的技术问题是提供一种基于openvino的安全工况实时监测方法。
6.为解决以上技术问题，本发明专利提供如下技术方案：一种基于openvino的安全工况实时监测方法，其特征在于：包括英特尔神经计算棒（intel neural myriad x2 vpu）、树莓派主板、yolox算法、pc、摄像头、显示器和服务器；所述树莓派使用轻量化的64位arm架构平台；所述英特尔神经计算棒为低功耗高性能的视觉处理单元，所述英特尔神经计算棒作为协处理器用于深度学习及人工智能视觉应用加速，在此处即利用利用机器视觉加速对于工况环境视频流的推理作用，通过全新神经计算引擎的加速，所述英特尔神经计算棒可以实现每秒1tflops（万亿次）计算，总体峰值性能4tflops，支持4k视频解码，支持4k/30hz h.264/h.265、4k/60hz m/jpeg格式，并且功耗极低；主要通过摄像头或网络摄像机，以英特尔神经计算棒为协处理器为树莓派的嵌入式cpu提供强大的推理加速功能来进行安全工况实时监测，于直接用树莓派的嵌入式cpu进行推理，不仅在推理速度上有大幅度的提升，更是在运行的稳定性和推理准确率上有了大幅提高，其中英特尔神经计算棒的vpu芯片，该vpu芯片通过全新神经计算引擎的加速，可以在功耗很低的情况下实现每秒万亿次dnn计算。
7.进一步的，所述所述树莓派为主控单元，主要执行模型的推理工作 。
8.进一步的，使用深度学习的方法，利用yolox和openvino进行安全工况实时监测，包含以下步骤：
步骤1：构建适用于openvino优化部署的yolox；步骤2：构建安全工况环境数据集；步骤3：利用安全工况环境数据集训练改进过的yolox，并用openvino优化加速得到适用的模型文件；步骤4：将上述得到的模型部署到树莓派和英特尔神经计算棒，使其能实时监测工况环境的安全；步骤5：将上述监测到的未按要求着装的作业人员的实时信息截图保存，并利用服务器将相关信息发送给监测人员。
9.本发明的有益效果：进一步的，在步骤1中，构建适用于openvino优化部署的yolox时，使用能运行在神经计算棒上的激活函数等方法。
10.进一步的，在步骤1中，构建适用于openvino优化部署的yolox网络的关键在于替换openvino不支持的网络层，为之后的模型优化部署创造条件，并得到符合openvino要求的onnx格式的模型文件。
11.进一步的，在步骤2中，构建安全工况环境数据集，包括收作业人员规范着装的图片，使用标注软件标注出作业人员位置，将标注好的图片分成测试集和训练集。
12.进一步的，在步骤3中，使用安全工况环境数据集训练改进过的yolox，并使用openvino优化模型文件，得到开放神经网络交换（onnx）格式安全工况监测模型，之后使用openvino转换为ir文件。
13.进一步的，在步骤4中，在树莓派和英特尔神经计算棒部署使用openvino的推理引擎，加速硬件的推理性能，使性能硬件能高效的处理摄像头采集的视频图像数据，做到实时检测安全工况。
14.进一步的，在步骤5中，当模型推理结果中出现了作业人员未按要求规范着装，系统将自动截图并利用服务器将相关信息发送给监测人员。
15.由于本发明可以通过优化后的yolox算法训练模型，并经过openvino加速，最终加载到有神经计算棒加速的树莓派上进行推理，能实时监测作业人员是否按规定着装，并通过服务器将相关信息发送给监测人员。
附图说明
16.为了更清晰地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为本发明的一种基于openvino的安全工况实时监测方法的系统框图。
18.图2为本发明的推理模型优化流程图。
具体实施方式
19.下面将结合本发明专利实施例中的附图，对本发明专利实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明专利一部分实施例，而不是全部的
实施例。基于本发明专利中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明专利保护的范围。
20.请参阅图1-2，一种基于openvino的安全工况实时监测方法，其特征在于：包括英特尔神经计算棒（intel neural myriad x2 vpu）、树莓派主板、yolox算法、pc、摄像头、显示器和服务器；所述树莓派使用轻量化的64位arm架构平台；所述英特尔神经计算棒为低功耗高性能的视觉处理单元，所述英特尔神经计算棒作为协处理器用于深度学习及人工智能视觉应用加速，在此处即利用利用机器视觉加速对于工况环境视频流的推理作用，通过全新神经计算引擎的加速，所述英特尔神经计算棒可以实现每秒1tflops（万亿次）计算，总体峰值性能4tflops，支持4k视频解码，支持4k/30hz h.264/h.265、4k/60hz m/jpeg格式，并且功耗极低；主要通过摄像头或网络摄像机，以英特尔神经计算棒为协处理器为树莓派的嵌入式cpu提供强大的推理加速功能来进行安全工况实时监测，于直接用树莓派的嵌入式cpu进行推理，不仅在推理速度上有大幅度的提升，更是在运行的稳定性和推理准确率上有了大幅提高，其中英特尔神经计算棒的vpu芯片，该vpu芯片通过全新神经计算引擎的加速，可以在功耗很低的情况下实现每秒万亿次dnn计算。
21.进一步的，所述所述树莓派为主控单元，主要执行模型的推理工作 。
22.进一步的，使用深度学习的方法，利用yolox和openvino进行安全工况实时监测，包含以下步骤：步骤1：构建适用于openvino优化部署的yolox；步骤2：构建安全工况环境数据集；步骤3：利用安全工况环境数据集训练改进过的yolox，并用openvino优化加速得到适用的模型文件；步骤4：将上述得到的模型部署到树莓派和英特尔神经计算棒，使其能实时监测工况环境的安全；步骤5：将上述监测到的未按要求着装的作业人员的实时信息截图保存，并利用服务器将相关信息发送给监测人员。
23.本发明的有益效果：进一步的，在步骤1中，构建适用于openvino优化部署的yolox时，使用能运行在神经计算棒上的激活函数等方法。
24.进一步的，在步骤1中，构建适用于openvino优化部署的yolox网络的关键在于替换openvino不支持的网络层，为之后的模型优化部署创造条件，并得到符合openvino要求的onnx格式的模型文件。
25.进一步的，在步骤2中，构建安全工况环境数据集，包括收作业人员规范着装的图片，使用标注软件标注出作业人员位置，将标注好的图片分成测试集和训练集。
26.进一步的，在步骤3中，使用安全工况环境数据集训练改进过的yolox，并使用openvino优化模型文件，得到开放神经网络交换（onnx）格式安全工况监测模型，之后使用openvino转换为ir文件。
27.进一步的，在步骤4中，在树莓派和英特尔神经计算棒部署使用openvino的推理引擎，加速硬件的推理性能，使性能硬件能高效的处理摄像头采集的视频图像数据，做到实时检测安全工况。
28.进一步的，在步骤5中，当模型推理结果中出现了作业人员未按要求规范着装，系统将自动截图并利用服务器将相关信息发送给监测人员。
29.尽管已经示出和描述了本发明专利的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明专利的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明专利的范围由所附权利要求及其等同物限定。