危险行为检测方法、装置、电子设备和存储介质与流程

本发明涉及计算机视觉，尤其涉及一种危险行为检测方法、装置、电子设备和存储介质。

背景技术：

1、在作业场景中，通常对于作业人员的操作有着一定的规范要求。但是在实际的工作中，部分作业人员并不会严格按照规范进行操作，甚至会做出一定的危险行为。

2、通常地，采用人工巡检的方式来确定作业人员是否存在危险行为。但是这种方式过于依赖人力，无法在同一时间对所有作业人员的行为进行全面检测。因此，检测危险行为的效率较低且比较片面，进而导致危险行为检测的准确性降低。

技术实现思路

1、本发明提供一种危险行为检测方法、装置、电子设备和存储介质，用于解决现有技术中危险行为检测的准确性较低的问题。

2、本发明提供一种危险行为检测方法，包括：

3、将待检测图像输入至危险行为检测模型中的特征提取层，得到所述特征提取层输出的目标特征图，所述特征提取层包括依次连接的多个子特征提取层，任一所述子特征提取层包括依次连接的卷积层和注意力层；

4、将所述目标特征图输入至所述危险行为检测模型中的检测层，得到所述检测层输出的危险行为检测结果；

5、在所述危险行为检测结果指示所述待检测图像中存在危险行为的情况下，基于所述危险行为检测结果和所述待检测图像的人脸识别结果，生成危险行为综合检测结果。

6、根据本发明提供的一种危险行为检测方法，任一所述注意力层是基于以下方式进行特征提取：

7、将所述注意力层的输入特征图输入至所述注意力层中的全局平均池化层，得到所述全局平均池化层输出的第一特征图；

8、将所述第一特征图输入至所述注意力层中的多通道特征提取层，得到所述多通道特征提取层输出的第二特征图；所述第二特征图用于指示所述输入特征图中各个通道的通道权重，且所述第二特征图的尺度与所述第一特征图相同；

9、将所述第二特征图输入至所述注意力层中的归一化层，得到所述归一化层输出的第三特征图；

10、将所述第三特征图与所述输入特征图融合，得到第四特征图；

11、将所述第四特征图作为所述注意力层的输出特征图。

12、根据本发明提供的一种危险行为检测方法，任一所述子特征提取层包括依次连接的卷积层、注意力层、激活层和池化层。

13、根据本发明提供的一种危险行为检测方法，所述基于所述危险行为检测结果和所述待检测图像的人脸识别结果，生成危险行为综合检测结果，包括：

14、基于所述人脸识别结果，获取所述待检测图像中目标人员的身份信息；

15、基于所述身份信息和所述危险行为检测结果，生成危险行为综合检测结果；

16、其中，所述危险行为综合检测结果包括以下至少一项：所述目标人员的身份信息、所述危险行为的类型、所述危险行为的发生时间，以及所述危险行为的发生地址。

17、根据本发明提供的一种危险行为检测方法，所述人脸识别结果是基于以下方式确定：

18、对所述待检测图像进行人脸检测，得到人脸图像；

19、对所述人脸图像进行超分辨率处理，得到处理后的人脸图像；

20、对所述处理后的人脸图像进行人脸识别，得到所述人脸识别结果。

21、根据本发明提供的一种危险行为检测方法，所述危险行为综合检测结果包括所述待检测图像中目标人员的身份信息；在所述基于所述危险行为检测结果和所述待检测图像的人脸识别结果，生成危险行为综合检测结果之后，还包括：

22、在预设的人员数据库包括所述身份信息的情况下，基于所述身份信息，向所述目标人员发送危险行为告警信息；

23、在所述人员数据库不包括所述身份信息的情况下，向监管人员发送危险行为提示信息。

24、根据本发明提供的一种危险行为检测方法，在所述将所述目标特征图输入至所述危险行为检测模型中的检测层，得到所述检测层输出的危险行为检测结果之后，还包括：

25、在所述危险行为检测结果指示所述待检测图像中存在危险行为的情况下，基于所述待检测图像的采集时刻，以及所述危险行为的起始发生时刻，确定所述危险行为的持续时长；其中，所述起始发生时刻是基于起始检测图像的采集时刻确定的，所述起始检测图像为首次检测到所述危险行为所对应的图像；

26、在所述持续时长超过预设时长阈值的情况下，向监管人员发送危险行为提示信息。

27、本发明还提供一种危险行为检测装置，包括：

28、特征提取模块，用于将待检测图像输入至危险行为检测模型中的特征提取层，得到所述特征提取层输出的目标特征图，所述特征提取层包括依次连接的多个子特征提取层，任一所述子特征提取层包括依次连接的卷积层和注意力层；

29、检测模块，用于将所述目标特征图输入至所述危险行为检测模型中的检测层，得到所述检测层输出的危险行为检测结果；

30、综合检测结果生成模块，用于在所述危险行为检测结果指示所述待检测图像中存在危险行为的情况下，基于所述危险行为检测结果和所述待检测图像的人脸识别结果，生成危险行为综合检测结果；

31、其中，所述危险行为检测模型是基于样本图像和所述样本图像对应的危险行为检测结果标签训练得到的。

32、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述危险行为检测方法。

33、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述危险行为检测方法。

34、本发明提供的危险行为检测方法、装置、电子设备和存储介质，将待检测图像输入至危险行为检测模型中的特征提取层，得到特征提取层输出的目标特征图，特征提取层包括依次连接的多个子特征提取层，任一子特征提取层包括依次连接的卷积层和注意力层；这样，可以在每个子特征提取层的卷积层后加入注意力层，以便对每个卷积层输出的特征图各个通道的通道间信息进行注意力调整，提高该卷积层输出的特征图的表达力，从而使得网络能够关注更重要的通道，减少对不相关或冗余信息的依赖，提高了危险行为检测的准确性；将目标特征图输入至危险行为检测模型中的检测层，得到检测层输出的危险行为检测结果；在危险行为检测结果指示待检测图像中存在危险行为的情况下，基于危险行为检测结果和待检测图像的人脸识别结果，生成危险行为综合检测结果；这样，可以基于更具有表达力的特征图进行危险行为检测，提高了危险行为检测的准确性；此外，根据危险行为检测结果和人脸识别结果生成了信息更为全面的危险行为综合检测结果，便于用户了解更详细的情况。基于此，一方面，本发明在每个子特征提取层的卷积层后加入注意力层，以便对每个卷积层输出的特征图的各个通道的权重进行重置，使得网络能够关注更重要的通道，减少对不相关或冗余信息的依赖，提高了检测的准确性。另一方面，本发明不依赖于人力，且能够在同一时间对所有作业人员的行为进行全面检测，提高了危险行为检测的效率和全面性，进而提高了危险行为检测的准确性。