一种基于视觉检测的封闭空间内人员异常行为的智能检测方法与流程

本发明一种基于视觉检测的封闭空间内人员异常行为的智能检测方法涉及的是一种基于视觉检测对变电站内的人员的行为进行检控的方法，是图像处理与识别技术在电力系统的应用。

背景技术：

1、变电站作为输电网和配电网的枢纽，对电力系统的平稳运行发挥着重要作用。随着智能电网的不断推广，对变电站进行智能化监测已成为趋势。在变电站这样的工业环境中，工作人员需要独立地进行各种任务，包括设备检修、维护、巡检等。由于变电站内部存在复杂的电力系统、高压设备和各种设施，工作人员在操作过程中可能面临着跌倒、不带安全帽、违规操作等异常行为的风险，进而造成人员伤害或设备故障，甚至导致停电等严重后果。因此，变电站的智能监控不仅应包括设备的运行检测，工作人员的人身安全也是变电站安全运行的重要一部分。针对变电站内异常行为的智能检测不仅可以提高工作人员的安全保障，及时采取救援措施，还可以通过分析异常行为的数据来评估风险、改进工作环境和培养安全意识。这将为变电站的运营和管理提供重要的支持，减少事故风险，为快速响应潜在危险情况提供更可靠的手段。

2、目前常见的检测方法有两类：基于传感器的方法和基于计算机视觉的方法。基于传感器的方法最早应用于人员行为检测领域,其凭借成本低、扩展性强、灵活度高等优势得到广泛研究和应用。传感器具体可分为：穿戴式传感器和场景式传感器。其中，穿戴式传感器是指携带在身体上的传感器设备，可以通过监测身体运动和姿势的变化来检测异常行为，这种方式需要观测者一直佩戴设备，体验感不佳，且一套穿戴式传感器只能检测单个人员的状况，不利于变电站内多人的检测，成本较为高昂；场景式传感器是指安装在环境中的传感器设备，可以通过监测环境中的物理变化来检测异常行为，但是这种方式存在安装位置限制和数据解释复杂等缺点。所以有必要设计出一种新的方法来满足实际的监控需求。

技术实现思路

1、本发明有鉴于此，提供了一种基于视觉检测的封闭空间内人员异常行为的智能检测方法，其通过视觉检测，能够有效监测变电站内的所有人员的活动状况，从而保证变电站能够持续安全稳定地运行，保障电网的稳定性。

2、为了达到上述目的，本发明一种基于视觉检测的封闭空间内人员异常行为的智能检测方法的步骤如下：

3、(1).搭建平台并采集数据，所述的数据为工作人员的实时工作视频流；并设计特征提取模块；

4、(2).分析视频中工作人员的行为，并检测是否有异常行为；

5、(3).及时为工作人员提供相应的预警和帮助。

6、步骤(1)中，设计特征提取模块的具体方法为：

7、进一步地，为了提取更为丰富的多尺度特征，设计了一个特征提取模块；通过该特征提取模块，减少计算量且不增加参数量的同时，特征提取模块为加强颈部特征的提取，提取到足够的变电站工作人员特征的信息。

8、在变电站场景中，背景的复杂性较高，为了更好地捕捉人员异常行为的局部特征和上下文信息，设计了特征提取模块。特征提取模块的输入首先进行分流，分为上分支和下分支；每一个分支通过1×1卷积，将通道数压缩为原来的一半；接着，上分支继续进行分流，通过步长为1的3×3卷积保持特征的空间不变性，然后与下分支进行堆叠；堆叠后再通过一个3×3卷积和1×1卷积对特征进行整合后，与原分支堆叠合并，最后通过1×1卷积输出特征。此特征提取模块放置在颈部特征提取网络中，强化卷积神经网络的特征提取能力并降低模型计算量。

9、步骤(2)中分析视频中工作人员的行为的具体方法为：

10、2.1)在头部，经过卷积标准化加激活函数后，引入递归门控卷积(gnconv)，在不引入额外参数量的同时，以进一步提取特征层的关键信息，提高模型检测的精度和速度；在实际检测环境中，可能存在背景复杂、待检测人员被物品遮挡等干扰检测的情况，因此可以把递归门控卷积应用在检测算法中。门控卷积是递归门控卷积的基本组成部分，可以实现某一特征与周围信息的一阶空间交互，其公式如下所示：

11、

12、p1＝f(q0)⊙p0∈rhw×c   (2)

13、y＝φout(p1)∈rhw×c   (3)

14、其中，f表示深度卷积，⊙表示点积操作。

15、设定输入特征图为x,经过线性层卷积运算后得到特征图p0和特征图q0；特征图x、特征图p0和特征图q0的尺寸均为h×w×c，h和w代表输入图像的高度和宽度，c代表通道数；φ(·)代表卷积操作。

16、特征图q0经过深度卷积运算操作后与特征图p0进行点积运算，得到特征图p1，如式(2)所示。

17、最后，特征图p1经线性层处理输出特征图y，如式(3)所示。

18、在门控卷积的基础上加入递归结构就构成了递归门控卷积，实现特征信息与任意阶上下文信息的空间交互，具体公式如式(4)-(6)所示：

19、

20、

21、

22、公式(4)中，在使用φin得到一组投影特征p0和后,通过公式(5)递归执行门控卷积，在递归的过程中，参数α用于稳定训练，fk(·)是深度方向卷积层，gk(·)用于每次递归的过程匹配特征的通道数。将最后一个递归步骤qn的输出馈送到投影层φout以获得递归门控卷积的结果。递归门控卷积的输入是一个通道数为c的特征图，经过第一层卷积之后，特征图的通道数变为原来的两倍。第一层的卷积输出分为两部分：第一部分作为下一层卷积的输入使用，第二部分输送到深度可分离卷积中后，输出三部分作为接下来三层卷积的输入。通过这种相邻块间信息交互的方式，逐步细化局部特征，进而增加了高阶空间的语义信息，在不引入额外计算复杂性的情况下增强了图像的特征表示能力。

23、2.2)采用新的损失函数解决交并比损失函数未考虑目标框的角度信息的问题。原始交并比损失函数只考虑了模型预测的边界框与真实边界框之间的交并比(iou)，其表达式如式(8)所示。然而，对于变电站内人员异常行为检测而言，仅靠交并比作为惩罚变量来计算损失函数是远远不够的，为了使模型能够更好地适应不同角度和形状的目标，新的损失函数充分考虑方向框角度问题对模型训练的影响，为边界框提供更准确的位置信息，提高模型的回归能力。

24、新的损失函数包含两个损失组成部分，分别为交并比(iou)损失函数和平滑l1损失函数(smooth l1 loss)

25、2.2.1)交并比(iou)损失函数：这部分损失用于衡量预测框和真实框之间的重叠程度。它使用标准的iou(intersection over union)来计算预测框和真实框的交并比，并将其与目标检测任务中所需的目标分类损失结合起来。

26、2.2.2)平滑l1损失函数(smooth l1 loss)：这部分损失用于平滑化边界框回归的过程。它通过对预测框的边界框坐标与真实框之间的差异应用平滑l1损失函数，来缓解回归过程中的噪声和不稳定性。

27、给定一个预测框p和一个真实框g，新的损失函数可以定义为式(7)-式(11)：

28、

29、

30、

31、

32、

33、公式(7)中，iou(p,g)表示预测框p和真实框g的交并比，具体表达式如式(8)所示；δ为距离损失，具体表达式如式(9)所示，γ＝2-∧，cw为真实框和预测框最小外接矩形的宽,ch为真实框和预测框最小外接矩形的高，为真实框中心坐标,为预测框中心坐标；∧为角度损失，这里的ch为真实框和预测框中心点的高度差，σ为真实框和预测框中心点的距离；ω为形状损失，(w,wgt),(h,hgt)分别为预测框和真实框的宽和高。

34、步骤(3)中，基于机器人巡检的变电站内异常行为智能检测方法，通过机器人巡视异常行为，为变电站内工作人员提供及时的预警和帮助，杜绝安全隐患，为变电站人员、设备安全提供保障。

35、随着人工智能技术的迅速发展，基于深度学习的方法(如卷积神经网络)在图像和视频分析任务中取得了显著的进展，该方法实时性好，并且不影响工作人员的日常活动，为异常行为检测提供了更高的准确性和可靠性。尤其是基于机器人巡检的变电站内异常行为智能检测，可以便捷的通过机器人巡视的方式，及时发现异常行为。

36、针对变电站这种背景复杂的场景，对异常检测算法的鲁棒性要求较高，并且要求网络结构简单，具备较高的实时性，便于机器人在各种复杂环境下能够精确的实时的检测出异常。

37、本发明提供一种基于机器人巡检的变电站内异常行为智能检测方法。针对变电站复杂场景下人员跌倒、不带安全帽、违规操作等异常行为检测精度较低、实时性较差、鲁棒性不足等问题，提供实时、高精度、鲁棒的解决方案，为在工作操作过程中工作的人员的异常行为，提供及时的预警和帮助。