一种变电站头盔和工作服检测方法及装置与流程

本发明属于变电站智能巡检领域，具体涉及一种变电站头盔和工作服检测方法。

背景技术：

随着计算机视觉的不断发展，智能巡检逐渐成为变电站的一个重点研究领域，其中就涉及检测工作人员是否正确穿戴头盔、工作服等安全用具，为了保障工作人员的生命安全，需要能够同时检测头盔和工作服是否正确穿戴。

目前在目标检测中，r-cnn、yolo等系列算法为主流算法，上述算法虽然能够快速、准确的定位到检测目标，但是仍然存在检测的结果会出现重复的问题，即一个目标可能出现多个结果框，采用传统的非极大值抑制处理方式可能由于阈值设置不合理、多目标重叠等原因造成漏检或定位不准确等问题，不符合智能巡检的要求，导致误判报警，亟待改进。

技术实现要素：

有鉴于此，本发明提出了提供一种变电站头盔和工作服检测方法及装置、设备、存储介质，能够解决现有的变电站目标检测出现结果框重复、定位不准的问题。

本发明第一方面，公开一种变电站头盔和工作服检测方法，所述方法包括：

采集变电站工作人员巡检图像，在图像中标记头盔和工作服，作为第一标签；

将标记后的图像作为yolo3模型的输入，将输出结果框编号组成结果序列并保存在容器a中；

分别筛选不同目标对应的结果框及对应的结果序列；

对于重复结果框部分进行结果框重置计算、标签重新匹配和置信度重新匹配，其他部分保持不变，得到新的结果序列，保存容器c中；

以容器a中的原始序列为输入序列，以容器c中的新的结果序列为目标序列，训练seq2seq模型，得到结果框转化模型；

将yolo3模型与结果框转化模型进行串联整合，得到融合模型；

将待识别图像输入所述融合模型，删除输出的结果序列中置信度小于预设阈值的序列，得到无重复框的检测结果。

优选的，所述结果序列中包括序号，置信度，类别，位置，所述位置包括结果框的中心坐标、宽度、高度。

优选的，所述分别筛选不同目标对应的结果框具体包括：

预先设定交并比阈值t；

设定同一目标不同结果框中心坐标之间的距离阈值d；

将所有结果框按置信度降序排列；

从降序排列结果中取出置信度最高的结果框，分别计算置信度最高的结果框与其余所有结果框之间的坐标中心距离和交并比，筛选出与置信度最高的结果框之间类别相同且中心坐标距离小于d且交并比大于t的结果框，将置信度最高的结果框与筛选出的结果框作为同一目标的结果框；将同一目标的结果框从所述降序排列结果中剔除；重复上述过程，直到确定所有目标对应的结果框；

若降序排列结果中还有剩余结果框，保持不变。

优选的，所述对于包含重复结果框的目标进行结果框重置计算具体包括：

判断各个目标是否包含重复结果框，将容器a中所有重复结果框对应的结果序列保存在容器b中；

当容器b中同一目标的结果序列中结果框重复时，通过各个结果框的中心坐标之间的距离、交并比、置信度计算当前目标的重置结果框位置；

用所述重置结果框位置替换容器b中对应目标的结果框中与第一标签的交并比最大的结果框的位置，序号、置信度、类别均保持不变。优选的，所述通过各个结果框的中心坐标之间的距离、交并比、置信度计算当前目标的重置结果框位置具体包括：

对于第j个目标，设结果框i的中心坐标为(xi，yi)，宽为wi，高为hi，与第一标签的交并比为ρi，置信度为ci，i＝1,2,…,n，其中交并比最高的结果框对应的中心坐标为(x1，y1)，宽为w1，高为h1，当前目标的重置结果框位置计算公式为：

其中，(xj，yj)为目标j的重置结果框中心坐标，wj为重置结果框宽度，hj为重置结果框高度，cmax＝max{ci}，ω1、ω2为权重系数。

优选的，所述进行标签重新匹配和置信度重新匹配具体包括：将所述重置结果框作为对应目标的第二标签并标记为true，每个第二标签只对应一个结果序列；

将当前目标的其余结果框标记为false，对应的置信度重置为0；

统计图像中true的个数n，分别计算第二标签与第一标签的交并比，并将结果序列按照交并比大小降序排列；

提取容器b中的置信度并由高到低排列，将前n个置信度分配给n个按照第二标签与第一标签的交并比大小降序排列且标记为true的结果序列。

优选的，所述训练seq2seq模型的过程中，损失函数为交叉熵损失函数，使用梯度下降算法反向传播更新参数，最小化损失函数。

本发明第二方面，公开一种变电站头盔和工作服检测装置，所述装置包括：

数据准备模块：采集变电站工作人员巡检图像，在图像中标记头盔和工作服，作为第一标签；

初步识别模块：将标记后的图像作为yolo3模型的输入，将输出结果框编号组成结果序列并保存在容器a中；

结果匹配模块：分别筛选不同目标对应的结果框及对应的结果序列；对于包含重复结果框的目标进行结果框重置计算、标签重新匹配和置信度重新匹配，其他部分保持不变，得到新的结果序列，保存容器c中；

以容器a中的原始序列为输入序列，以容器c中的新的结果序列为目标序列，训练seq2seq模型，得到结果框转化模型；

模型训练模块：将yolo3模型与结果框转化模型进行串联整合，得到融合模型；

检测识别模块：将待识别图像输入所述融合模型，删除输出的结果序列中置信度小于预设阈值的序列，得到无重复框的检测结果。

本发明第三方面，公开一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；

其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现如本发明第一方面所述的方法。

本发明第四方面，公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现如本发明第一方面所述的方法。

本发明相对于现有技术具有以下有益效果：

1)本发明通过不同结果框的中心坐标距离及交并比筛选对应目标的结果框，有效区分不同目标的结果框，避免删除冗余结果框时误删其他目标的结果框导致漏检；对于包含重复结果框的目标进行结果框重置计算，具体通过各个结果框的中心坐标之间的距离、交并比、置信度计算当前目标的重置结果框位置，充分了利用各个结果框的信息，可提高结果框的定位准确度；

2)本发明通过对标签重新匹配和置信度重新匹配，保证iou较高的检测结果有较高的置信度，训练了结果框转化模型，同一目标iou较低重复框的置信度转换为0，从而剔除置信度较低的重复结果框，得到无重复框的检测结果，减少虚警。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的变电站头盔和工作服检测方法流程示意图。

具体实施方式

下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

请参阅图1，本发明提出一种变电站头盔和工作服检测方法，所述方法包括：

s1、采集变电站工作人员巡检图像，在图像中标记头盔和工作服，作为第一标签；比如采集5000张变电站工作人员图像并标记，作为数据集。

s2、将标记后的图像作为yolo3模型的输入，将输出结果框编号组成结果序列并保存在容器a中；

具体的，所述结果序列中包括<序号，置信度，类别，位置>，所述位置包括结果框的中心坐标、宽度、高度。

s3、分别筛选不同目标对应的结果框及对应的结果序列，具体包括：

s31、预先设定交并比阈值t；设定同一目标不同结果框中心坐标之间的距离阈值d；

s32、将所有结果框按置信度降序排列；

s33、从降序排列结果中取出置信度最高的结果框，分别计算置信度最高的结果框与其余所有结果框之间的坐标中心距离和交并比；

s34、筛选出与置信度最高的结果框之间类别相同且坐标中心距离小于d且交并比大于t的结果框，将置信度最高的结果框与筛选出的结果框作为同一目标的结果框；

s35、将同一目标的结果框从所述降序排列结果中剔除；

s36、重复上述s33～s35的过程，直到确定所有目标对应的结果框；

s37、若降序排列结果中还有剩余结果框，保持不变。

s4、对于重复结果框部分进行结果框重置计算、标签重新匹配和置信度重新匹配，其他部分保持不变，得到新的结果序列，保存容器c中；

s41、判断各个目标是否包含重复结果框，将容器a中所有重复结果框对应的结果序列保存在容器b中，其余部分保存在容器c中；

s42、当容器b中同一目标的结果序列中结果框重复时，通过各个结果框的中心坐标之间的距离、交并比、置信度计算当前目标的重置结果框位置；对于第j个目标，设结果框i的中心坐标为(xi，yi)，宽为wi，高为hi，与第一标签的交并比为ρi，置信度为ci，i＝1,2,…,n，其中与第一标签的交并比最高的结果框对应的中心坐标为(x1，y1)，宽为w1，高为h1，当前目标的重置结果框位置计算公式为：

其中，(xj，yj)为目标j的重置结果框中心坐标，wj为重置结果框宽度，hj为重置结果框高度，cmax＝max{ci}，ω1、ω2为权重系数。

s43、用所述重置结果框位置替换容器b中对应目标的结果框中与第一标签的交并比最大的结果框的位置，序号、置信度、类别均保持不变。

本发明在与第一标签的交并比最高的结果框位置的基础上对结果框位置进行微调，综合了各个结果框的中心坐标之间的距离、交并比、置信度信息，计算得到重置计算后的位置作为最优结果框位置，并替代与第一标签的交并比最大的结果框的位置，可进一步提高结果框定位精度和结果框大小的准确度。

s44、对容器b中的结果框进行标签重新匹配和置信度重新匹配：

将所述重置结果框作为对应目标的第二标签(预测结果框)并标记为true，每个第二标签只对应一个结果序列；

将当前目标的其余结果框标记为false，对应的置信度重置为0；

统计图像中true的个数n，分别计算第二标签与第一标签的交并比，并将结果序列按照交并比大小降序排列；

提取容器b中的置信度并由高到低排列，将前n个置信度分配给n个按照第二标签与第一标签的交并比大小降序排列且标记为true的结果序列，实现容器b中结果框的重新匹配。置信度重新匹配的目的是保证iou较高的检测结果有较高的置信度，根据贪心算法false的置信度则为0。

s45、将重新匹配过的容器b中的结果序列加入容器c中，组成新的结果序列，保存在容器c中。

s5、以容器a中的原始序列为输入序列，以容器c中的新的结果序列为目标序列，训练seq2seq模型，得到结果框转化模型；

经过步骤s4的处理，容器a中的原始序列转换得到新的结果序列，保存容器c中，以此训练seq2seq模型，损失函数为交叉熵损失函数，使用梯度下降算法反向传播更新参数，最小化损失函数，训练10000步停止，得到结果框转化模型，该模型作用是，将原序列中同一目标iou较低重复框的置信度转换为0(理论值)，同时对结果框的位置和大小进行微调，使其定位更准确。

s6、将yolo3模型与结果框转化模型进行串联整合，得到融合模型；

s7、将待识别图像输入所述融合模型，删除输出的结果序列中置信度小于预设阈值的序列，得到无重复框的检测结果。

s8、统计图像中头盔的个数与工作服的个数是否相等，若不相等则报警。

与所述方法实施例相对应，本发明还提出一种变电站头盔和工作服检测装置，所述装置包括：

数据准备模块：采集变电站工作人员巡检图像，在图像中标记头盔和工作服，作为第一标签；

初步识别模块：将标记后的图像作为yolo3模型的输入，将输出结果框编号组成结果序列并保存在容器a中；

结果匹配模块：分别筛选不同目标对应的结果框及对应的结果序列；对于重复结果框部分进行结果框重置计算、标签重新匹配和置信度重新匹配，其他部分保持不变，得到新的结果序列，保存容器c中；

以容器a中的原始序列为输入序列，以容器c中的新的结果序列为目标序列，训练seq2seq模型，得到结果框转化模型；

模型训练模块：将yolo3模型与结果框转化模型进行串联整合，得到融合模型；

检测识别模块：将待识别图像输入所述融合模型，删除输出的结果序列中置信度小于预设阈值的序列，得到无重复框的检测结果。

本发明还公开一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现本发明前述的变电站头盔和工作服检测方法。

本发明还公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现本发明实施例所述的变电站头盔和工作服检测方法的全部或部分步骤。所述存储介质包括：u盘、移动硬盘、只议存储器rom、随机存取存储器ram、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以分布到多个网络单元上。可以根据实际的衙要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。