电力安全作业及运维智能监管系统及方法与流程

技术特征：

1.一种电力安全作业及运维智能监管系统，其特征在于，包括前端采集单元（1）、智能处理单元（3）和分布式流媒体平台（4）；

所述前端采集单元（1）包括：

多个摄像装置（11），安装在不同的监控点，用于采集监控点的视频信息；

以及一个或一个以上的网络视频录像机（12），用于记录摄像装置（11）所采集的视频信息，该网络视频录像机（12）通过监控网络（2）与摄像装置（11）连接；

所述智能处理单元（3）包括：

模型训练机（33），用于构建卷积神经网络，并利用样本图像训练卷积神经网络；

智能分析器（31），利用训练好的卷积神经网络对前端采集单元（1）所采集的实时视频流进行识别，若识别出作业现场出现未授权的非作业人员，和/或设备出现异常，和/或作业现场人员有安全违规行为，则发出报警提示和/或记录；

数据库服务器（32），用于存储匹配的图像视频文件，该数据库服务器（32）与监控网络（2）连接；

所述分布式流媒体平台（4）包括：

流媒体服务器（41），用于转发前端采集单元（1）的直播视频流以及将前端采集单元（1）所采集的视频信息转发给智能分析器（31），该流媒体服务器（41）与监控网络（2）连接；

监控管理平台（42），用于对系统内的各设备进行监控和管理，该监控管理平台（42）与监控网络（2）连接。

2.根据权利要求1所述的电力安全作业及运维智能监管系统，其特征在于：所述分布式流媒体平台（4）还包括：

监控终端（43），该监控终端（43）与监控网络（2）连接，或该监控终端（43）通过云端接入监控网络（2）。

3.一种电力安全作业及运维智能监管方法，其特征在于：采用如权利要求1或2所述的电力安全作业及运维智能监管系统，其方法包括：

构建卷积神经网络，利用样本图像训练卷积神经网络；

利用训练好的卷积神经网络对前端采集单元（1）所采集的实时视频流进行识别，若识别出作业现场出现未授权的非作业人员，和/或设备出现异常，和/或作业现场人员有安全违规行为，则发出报警提示和/或记录。

4.根据权利要求3所述的电力安全作业及运维智能监管方法，其特征在于：还包括：

利用火焰识别算法判别图像是否为火焰，若判为火焰，则发出报警提示。

5.根据权利要求3或4所述的电力安全作业及运维智能监管方法，其特征在于：所述构建卷积神经网络，利用样本图像训练卷积神经网络包括：

训练采用迁移学习技术进行训练，分为样本采集、样本预处理和训练建模；

样本为视频时，采用相等时间间隔进行视频图像帧采样，将视频转化为图片格式文件；再对图像进行预处理，预处理包括图像降噪、图像色彩和饱和度调节；

完成样本预处理后启动模型训练进程，模型训练分为开发阶段模型原型训练和现场部署后在线迁移学习训练两种模式；

模型在训练过程中，在训练集上完成一个批次的训练，均在验证集上进行一次模型精度验证，检查模型泛化能力；模型经多轮迭代收敛后再进行上线部署，后期结合现场增量数据定期进行性能调优。

6.根据权利要求5所述的电力安全作业及运维智能监管方法，其特征在于：所述利用训练好的卷积神经网络对前端采集单元（1）所采集的实时视频流进行识别包括：

获取前端采集单元（1）所采集的实时视频流，经过视频抽帧后得到单帧图像，再进行降噪、色彩和旋转处理，并以图像矩阵的形式输入卷积神经网络；然后启动卷积神经网络向前传播计算模式，输入的图像矩阵经卷积进行图像特征重构后，由图像判别层生成预测标注框和故障种类代码的结构化数据。

7.根据权利要求6所述的电力安全作业及运维智能监管方法，其特征在于：所述卷积神经网络分为安全行为判别神经网络、设备运行状态判别神经网络和人脸识别神经网络，

利用人脸识别神经网络来识别作业现场是否出现未授权的非作业人员；

利用设备运行状态判别神经网络来识别设备是否有异常；

利用安全行为判别神经网络来识别作业现场人员是否有安全违规行为。

8.根据权利要求7所述的电力安全作业及运维智能监管方法，其特征在于：构建安全行为判别神经网络，利用样本图像训练安全行为判别神经网络的方法包括：

步骤11、构建原始图像数据集：对实际作业环境下工作人员的行为进行拍摄并录制视频，采取视频抽帧的方式获取包含工作人员行为的图片文件，构建原始图像数据集；

步骤12、构建训练数据集：原始图像数据集构建完成后，对图像进行标注，图像标注分为3个ROI进行，ROI为感兴趣区域；其中，第1个ROI包含人体头部至小腿中部区域；第2个ROI包含颈部和头部区域；第3个ROI包含小腿中部以下及足部；

图像依据下述分类规则进行标注：

第1个ROI的标注：规范的长袖长裤着装、穿短袖上衣、穿短裤、长袖上衣挽袖口、长裤挽裤脚、未佩戴安全帽；

第2个ROI的标注：穿安全鞋、穿拖鞋和凉鞋；

第3个ROI标注：未抽烟及打电话、打电话、抽烟；

标注后的ROI信息通过1个xml格式文件进行保存，每张图片对应1个xml文件；全部图片完成标注后，即构成训练数据集；

步骤13 、设计神经网络判别模型：神经网络判别模型包括输入层、卷积层、池化层和判别输出层；输入层用于图片的输入；卷积层采取多层叠加的形式布置，用于图像特征从低到高的提取；池化层接于卷积层后，用于降低参数规模和防止过拟合；判别输出层采用softmax函数进行分类判别值的输出；

步骤14、 模型训练：模型训练在DarkNet上实现，由DarkNet框架提供神经网络判别模型计算所需要的卷积、池化等算子，以及模型训练和性能评估算法；将训练数据集按预设的比例分为训练集与验证集；训练集图片数据集随机组合，每k1张图片组成1个批次，经图像旋转、色彩调节和亮度调节后，逐批次输入模型进行训练，训练采用SGD算法进行，设置初始学习率；每个批次训练完成后，计算模型的损失函数值、损失函数均方差、IOU值和召回率；统计并绘制损失函数变化曲线，根据损失函数值变化情况，对学习率进行调节，具体方法为：观察损失函数曲线，当每个批次模型训练迭代之后，损失函数值出现震荡，则将学习率降低，继续模型迭代；当损失函数收敛至趋近于零，且损失函数均方差低于预设阈值时，结束模型训练迭代，使用验证集对模型的性能进行评估；

步骤15、判别模型的持续优化：判别模型上线后，依靠判别模型对视频图像进行自动标注，并对图像标注的结果进行检查和筛选，形成增量图像数据集；将增量图像数据集与图像训练数据集合并，形成新的训练数据集，然后按步骤14重新训练模型，实现判别模型在增量数据上的持续优化。

9.根据权利要求7或8 所述的电力安全作业及运维智能监管方法，其特征在于：构建设备运行状态判别神经网络，利用样本图像训练设备运行状态判别神经网络的方法包括：

步骤21、构建原始图像数据集：对实际设备运行状态进行拍摄并录制视频，采取视频抽帧的方式获取包含设备运行状态的图片文件，构建原始图像数据集；

步骤22 、构建训练数据集：原始图像数据集构建完成后，对图像进行标注，图像标注1个ROI，分类标注规则为：设备正常运行、设备故障；标注后的ROI信息通过1个xml格式文件进行保存，每张图片对应1个xml文件；全部图片完成标注后，即构成训练数据集；

步骤23、 设计神经网络判别模型：判别模型包括输入层、卷积层、池化层和判别输出层；输入层用于图片的输入；卷积层采取多层叠加的形式布置，用于图像特征从低到高的提取；池化层接于卷积层后，用于降低参数规模和防止过拟合；判别输出层采用softmax函数进行分类判别值的输出；

步骤24、 模型训练：模型训练在DarkNet上实现，由DarkNet框架提供神经网络判别模型计算所需要的卷积、池化等算子，以及模型训练和性能评估算法；将训练数据集按预设的比例分为训练集与验证集；训练集图片数据集随机组合，每k2张图片组成1个批次，经图像旋转、色彩调节和亮度调节后，逐批次输入模型进行训练，训练采用SGD算法进行，设置初始学习率；每个批次训练完成后，计算模型的损失函数值、损失函数均方差、IOU值和召回率；统计并绘制损失函数变化曲线，根据损失函数值变化情况，对学习率进行调节，具体方法为：观察损失函数曲线，当每个批次模型训练迭代之后，损失函数值出现震荡，则将学习率降低，继续模型迭代；当损失函数收敛至趋近于零，且损失函数均方差低于预设阈值时，结束模型训练迭代，使用验证集对模型的性能进行评估；

步骤25、判别模型的持续优化：判别模型上线后，依靠判别模型对视频图像进行自动标注，并对图像标注的结果进行检查和筛选，形成增量图像数据集；将增量图像数据集与图像训练数据集合并，形成新的训练数据集，然后按步骤24重新训练模型，实现判别模型在增量数据上的持续优化。

10.根据权利要求9所述的电力安全作业及运维智能监管方法，其特征在于：构建人脸识别神经网络，利用样本图像训练人脸识别神经网络的方法包括：

步骤31、构建原始图像数据集：对人脸进行拍照，构建人脸数据集；

步骤32 、构建训练数据集：原始图像数据集构建完成后，对图像进行标注，图像标注1个ROI，即人物的面部特征，分类标注规则为：根据人员身份ID进行标注；标注后的ROI信息通过1个xml格式文件进行保存，每张图片对应1个xml文件；全部图片完成标注后，即构成训练数据集；

步骤33、设计神经网络判别模型：判别模型包括输入层、卷积层、池化层和判别输出层组成，输入层用于图片的输入；卷积层采取多层叠加的形式布置，用于图像特征从低到高的提取；池化层接于卷积层后，用于降低参数规模和防止过拟合；判别输出层采用softmax函数进行分类判别值的输出；

步骤34、 模型训练：模型训练在DarkNet上实现，由DarkNet框架提供神经网络判别模型计算所需要的卷积、池化等算子，以及模型训练和性能评估算法；将训练数据集按预设的比例分为训练集与验证集；训练集图片数据集随机组合，每k3张图片组成1个批次，经图像旋转、色彩调节和亮度调节后，逐批次输入模型进行训练，训练采用SGD算法进行，设置初始学习率；每个批次训练完成后，计算模型的损失函数值、损失函数均方差、IOU值和召回率；统计并绘制损失函数变化曲线，根据损失函数值变化情况，对学习率进行调节，具体方法为：观察损失函数曲线，当每个批次模型训练迭代之后，损失函数值出现震荡，则将学习率降低，继续模型迭代；当损失函数收敛至趋近于零，且损失函数均方差低于预设阈值时，结束模型训练迭代，使用验证集对模型的性能进行评估；

步骤35、判别模型的持续优化：判别模型上线后，依靠判别模型对视频图像进行自动标注，并由专业人员对图像标注的结果进行检查和筛选，形成增量图像数据集；将增量图像数据集与图像训练数据集合并，形成新的训练数据集，然后按步骤34重新训练模型，实现判别模型在增量数据上的持续优化。