复杂电力作业场景安全风险解译方法

本发明属于电力生产安全风险防控，具体涉及复杂电力作业场景安全风险解译方法。

背景技术：

1、随着电力系统的规模不断扩大，系统运行过程中安全事故频繁发生，造成了重大损失。电力作业场景的复杂性和工人的违章行为是引发安全事故的主要原因，因此，实现复杂电力作业场景下电力违章行为的智能检测对电力生产安全风险防控有重要意义。目前，已有研究多聚焦于利用目标检测或语义分割等实现简单作业场景下常规违章操作的识别，例如未佩戴安全帽、绝缘手套等，然而电力工程具有较强的系统性和动态性，且工人与工器具等交互关系复杂，仅仅采用基础计算机视觉方法无法满足电力工业实际生产需求。

技术实现思路

1、本发明的目的是提供复杂电力作业场景安全风险解译方法，能够应用于复杂场景中，实现作业场景的精细化描述及安全风险辨识，契合电力作业场景图像智能化处理的需求。

2、本发明所采用的技术方案是，复杂电力作业场景安全风险解译方法，具体按照以下步骤实施：

3、步骤1、利用成像设备获取电力作业现场的图片i；

4、步骤2、建立基于注意力机制的编码器-解码器模型，利用coco数据集对模型进行预训练；

5、步骤3、制作针对电力作业场景的专用图像描述数据集；利用专用图像描述数据集对预训练得到的模型进行微调；

6、步骤4、向微调后的模型中输入电力作业现场的图片i，通过模型分析计算得到图像中作业场景对应的语言描述y；

7、步骤5、建立标准电力安全作业规程语料库，利用sentence-bert模型计算语言描述y和标准电力安全作业规程语料库文本的语义相似度；

8、步骤6、提取语义相似度最高的文本，其内容为规程中规定的该场景下的规范操作，将计算得到的语义相似度与阈值进行比较，相似度高于阈值，判定为规范操作；反之，则判定为违章行为。

9、本发明的特点还在于：

10、步骤2中基于注意力机制的编码器-解码器模型，编码器部分把输入图片i转化为d维特征a，解码部分把d维特征a变成目标语言y。

11、

12、

13、其中，d＝2048为特征向量的维度，l＝32×32描述图像的不同区域，是k词汇表的大小，c为生成语言描述的长度。

14、步骤2具体过程为：

15、步骤2.1、编码器由预训练的残差网络resnet-101构成，删除resnet-101网络中的线性层和池化层，直接从卷积层中提取d维特征a，编码只进行一次，解码是逐个单词进行的，所有以下网络变量均带有下标t；

16、步骤2.2、将d维特征a输入注意力机制获取上下文向量zt，zt是原有特征向量a的加权和，权重为

17、

18、维度为l＝1024，记录原有特征向量a每个像素位置获得的关注度；

19、步骤2.3、利用lstm网络模拟记忆关系，包括内部隐状态ht、输入it、遗忘ft、存储ct、输出ot、候选gt。输入it、遗忘ft和输出ot用来控制其他状态的强度，都通过隐状态ht-1，以及当前上下文向量zt获得，候选gt描述进入存储的信息，生成方式相同，存储ct是lstm的核心，由前一词的存储ct-1和当前候选gt加权得到，遗忘门ft控制前一词存储，输入门it控制本次候选；

20、ct＝ft⊙ct-1+it⊙gt

21、隐状态ht由存储ct经过变化得到，强度由输出门ot控制：

22、ht＝ot⊙tanh(ct)

23、步骤2.4、当前隐变量ht通过全连网络生成当前单词yt，基于注意力机制的编码器-解码器模型搭建完成；

24、步骤2.5、利用coco数据集，使用自适应学习率通过随机梯度下降对基于注意力机制的编码器-解码器模型进行预训练。

25、步骤3具体过程为：

26、步骤3.1、收集电力作业现场的图片，对图片进行随机裁剪、翻转、旋转、随机增强操作，形成电力作业场景的专用图像数据集；

27、步骤3.2、为电力作业场景的专用图像数据集添加对应的描述文本，每张图片对应5句描述文本，描述文本以json文件格式存储，电力作业场景专用图像描述数据集制作完成，将数据集按照8:2的比例分为训练集和测试集；

28、步骤3.3、利用电力作业场景专用图像描述数据集对预训练模型进行微调。

29、步骤5具体过程为：

30、步骤5.1、建立标准电力安全作业规程语料库，语料库内容为《电力安全工作规程》中规定的规范操作相关条目；

31、步骤5.2、利用sentence-bert模型计算生成文本y和标准电力安全作业规程语料库文本的语义相似度，sentence-bert有两个一样的bert模型，把句子1输入第一个bert模型，把句子2输入第二个bert模型，获取两个句子对应的向量表示u和v，最后通过余弦相似计算两个向量的相似度：

32、s＝cos(u,v)。

33、步骤6中阈值取值为0.85。

34、本发明的有益效果是：

35、本发明复杂电力作业场景安全风险解译方法，借助高层场景语义理解任务图像描述，将电力作业场景图像信息直接转化为文字信息，模型通过注意机制对图像中多个目标区域给予不同的权重，使生成的文字描述更具有针对性，同时引入文本语义相似度分析，通过对比图像对应的文字信息与标准电力安全作业规程语义相似度判定该场景下是否存在违章行为。本发明方法可以应用在复杂场景中，实现作业场景的精细化描述及安全风险辨识，契合电力作业场景图像智能化处理的需求。

技术特征：

1.复杂电力作业场景安全风险解译方法，其特征在于，具体按照以下步骤实施：

2.根据权利要求1所述复杂电力作业场景安全风险解译方法，其特征在于，步骤2中所述基于注意力机制的编码器-解码器模型：

3.根据权利要求2所述复杂电力作业场景安全风险解译方法，其特征在于，步骤2具体过程为：

4.根据权利要求1所述复杂电力作业场景安全风险解译方法，其特征在于，步骤3具体过程为：

5.根据权利要求1所述复杂电力作业场景安全风险解译方法，其特征在于，步骤5具体过程为：

6.根据权利要求1所述复杂电力作业场景安全风险解译方法，其特征在于，步骤6中所述阈值取值为0.85。

技术总结
本发明复杂电力作业场景安全风险解译方法，建立基于注意力机制的编码器‑解码器图像描述模型，将电力作业场景图像信息直接转化为文字信息，模型采用残差网络ResNet‑101作为编码器提取图像特征，LSTM用来读取编码后的图像并生成文本描述，引入注意力机制，对图像中多个目标区域给予不同的权重，以增强图像区域和单词的相关性，获取更多的图像语义细节，生成复杂电力作业场景下的针对性语言描述，引入文本语义相似度分析，对生成文本和标准电力安全作业规程的语义相似度进行计算，相似度高于阈值，判定为规范操作；反之，则判定为违章行为。本方法结合计算机视觉和自然语言处理，可实现电力作业安全风险的存在性判别与智慧解译。

技术研发人员：马富齐,李微,贾嵘,刘永文,王嘉勋,刘恒,穆睿昕
受保护的技术使用者：西安理工大学
技术研发日：
技术公布日：2024/1/14