一种在变电站监控场景下的进场人员监测方法与流程

本发明涉及发电站设备，具体为一种在变电站监控场景下的进场人员监测方法。

背景技术：

1、变电站由于特殊的高电压环境，无法使用基于5g等无线网络的远程系统，因此依赖大量的人力进行人工检查，为保证变电站的稳定运行，对所有进场的人员进行监控抓拍，并跟踪运动轨迹，确保变电站出现问题的时候可以及时定位到专人的操作。这对保证变电站正常运作的非常重要。

2、但是，在实际的应用场景下，摄像头固定的同时，人员处于运动中，而且由于环境条件变化、遮挡等原因，可能检测不到高质量人脸，也无法进一步利用搜索结果进行目标跟踪、身份验证的应用。

3、经检索发现，专利号cn202110262883.3，名为《行人重识别的俯视图像选取方法、存储介质和电子设备》的专利，本发明提供了一种行人重识别的俯视图像选取方法、存储介质和电子设备。该算法的步骤为：

4、1)通过取像设备获取俯视视角的视频，并提取视频中行人的俯视图像母集；

5、2)对俯视图像母集进行行人检测，获取行人中目标行人p的行进轨迹，提取俯视图像子集；

6、3)得到目标行人p的头中心点得分和脚中心点得分；

7、4)根据筛除条件和选取条件，在多个俯视图像块中选取最优俯视行人抓拍图像块，作为对目标行人p进行特征提取的基础。

8、专利申请号cn202111269098.7，名为《一种视频中行人和人脸混合提取方法》的专利申请，提出了一种人脸检测模块算法。该算法步骤为：

9、1)通过rdcl利用7×7、5×5的大卷积核和crelu完成1024×1024高分辨率图像的快速下采样，在大幅度减少参数量的同时，覆盖必要的图片分布信息；

10、2)引入mscl和fpn将不同尺度卷积层的信息进行了融合；进一步扩大了模型的感受视野，提升了对不同尺度人脸的召回能力；

11、3)引入anchordensificationstrategy，通过稠密采样anchor提升小人脸匹配成功的概率。

12、现有的针对视频监控场景进行行人目标搜索的方法中，只是单一的应用了人脸检测，搜索效果并不理想。在实际的应用场景下，摄像头固定的同时，人员处于运动中，而且由于环境条件变化、遮挡等原因，可能检测不到高质量人脸，也无法进一步利用搜索结果进行目标跟踪、身份验证的应用。同时检测获取到的只是目标的外观信息，没有足够的判别能力，不足以完成进一步的应用，例如，在进行身份验证时，身份信息往往是跟人脸特征相对应的，通过视频分析得到监测结果后，也不能用于身份验证。总的来说，在视频监控场景下，现有的监测方法，其监测结果单一、鲁棒性差，不能很好地为后续应用提供可靠的支持。

13、《行人重识别的俯视图像选取方法、存储介质和电子设备》专利存在以下缺点：

14、1)使用传统图像处理算法监测变电站，和传统机器学习算法识别识别数字，而非使用目前主流的深度学习算法，因而准确性较低。

15、《一种视频中行人和人脸混合提取方法》专利存在以下缺点：

16、1)只能识别人员，不能处理变电站中人员动向复杂的情况；

17、2)直接从单独监控区域读取，不会对人员动向进行跟踪。如果

18、人员流动多就很难去判断进场人员的行为和运动轨迹，对监测变电站安全造成干扰。

19、此外，实际生产环境中，进场人员较多公众多样，从而导致训练数据量偏少以及样本分布不均衡的问题，进一步使得算法难以适应多人的跟踪监测。

技术实现思路

1、为解决上述技术问题，本发明提供了一种变电站监控场景下的进场人员监测方法，通过对进场人员身份及行为进行自动跟踪记录，为可能发生的问题提供回溯信息，确保变电站安全稳定的运行。

2、为实现上述目的，本发明采取的技术方案是：

3、一种在变电站监控场景下的进场人员监测方法，其特征在于：包括如下步骤：。

4、s1：采集人脸图像：

5、通过安装在变电站内的视频监控采集变电站内进场人员的图像；

6、s2：进行人脸目标检测：

7、视频监控将采集到的人员图像上传到控制终端，控制终端通过图像识别模块从上传的人员图像中分别提取人脸特征，并将该人脸特征和对应的人员编号进行对应后，保存到控制终端中用于保存数据的注册特征数据库中；

8、s3：构建目标检测网络模型：

9、构建目标检测网络模型并利用注册特征数据库中的数据进行训练，

10、利用特征算法进行训练，将一系列的弱分类器通过线性组合，构成一个强分类器，如下所示：

11、

12、h(x)是一个强分类器，hj(x)是一个弱分类器，其为一个简单的阈值函数：

13、

14、把若干个分类器级联起来，首先利用简单特征对非人脸区域进行剔除，然后再利用复杂特征进一步将非人脸区域剔除，

15、如果级联分类器的识别率为d，误识率为f,第i层的分类器的识别率为di,误识率为fi,则：

16、d＝∏ki＝1di

17、f＝∏ki＝1fi

18、其中：k为分类器的个数

19、假如每一级的分类器，检测率和误检率相当，则使用如下解决方法：

20、设定每一层最大的可接受误检率f,和每一层最小的检测率d；

21、设定级联分类器的总体误检率ftarget；

22、初始化总体误检率为ftarget＝1，识别率d＝1，循环计数器i＝0；

23、循环，如果当前f大于ftarget时，继续增加一层分类器；

24、在训练每一层分类器时，如果目前该层的特征没有达到该层的fi标准，继续添加新的特征，添加新特征时，持续降低该特征的阈值，直到该层分类器的检测率di>d，然后更新di＝di＊di-1，

25、即可得到训练好的目标检测网络模型；

26、s4：进行人脸图像解析：

27、变电站要求进场人员必须穿戴安全帽，通过解析算法解析现场图像，判断是否有人员未穿戴头盔，通过上述训练好的目标检测网络模型对监控实时得到的人脸图像进行解析，即可得到一个或多个人脸特征，将形状信息嵌入到统计模型中，来定位人脸特征点，

28、下面是解析算法的公式：

29、形状模型：使用主成分分析将一组训练样本的形状进行建模，形状模型可以表示为：x＝xˉ+σ_k(ak*pk),

30、其中x表示一个形状，xˉ是该形状的平均形状，ak是形状模型的主成分系数，pk表示主成分，

31、回归模型：asm通过学习一个回归模型来从图像中估计特征点的位置，回归模型可以表示为：δs＝σ_k(bk*φk),

32、其中δs表示一组偏移量，bk是回归模型的参数，φk表示特征函数，

33、特征函数是用来描述人脸形状和出现在该形状上的像素的关系，特征函数包括有：

34、灰度差特征函数：φk(x)＝i(x+δs)-i(x)

35、梯度特征函数：

36、其中i(x)表示图像在位置x处的像素值，表示图像在x处的梯度，

37、模型更新：在asm中，通过将回归的偏移量加到当前的形状上来更新形状估计：x_new＝x+δs，

38、因此，通过不断迭代形状的更新，并进行回归模型的训练，最终获得准确的人脸特征点；

39、s5：进行人脸对齐并对人脸图像过滤：

40、在通过目标检测网络模型检测人脸图像时，进行人脸对齐并过滤掉其中低质量的人脸图像；

41、s6：利用跟踪算法实时跟踪进程人员：

42、根据人脸特征的位置和数量确定进场人员的位置信息和人数信息，利用跟踪算法实时跟踪进程人员的运动轨迹；

43、s7：数据输出：

44、通过控制终端输出人员运动轨迹到文件中。

45、作为本发明的优选技术方案：在步骤s1中，所述视频监控安装在变电站大门的正上方。

46、上述结构中：视频监控安装在变电站大门的正上方，方便对进入的人员进行人脸采集和分析对比。

47、作为本发明的优选技术方案：在步骤s3中，所述简单特征包括道路、树木、草丛、车辆、墙体以及垃圾桶，所述复杂特征包括手、手臂、脚、腿部以及躯干。

48、上述结构中：通过简单特征道路、树木、草丛、车辆、墙体以及垃圾桶能够进行初步筛选将大部分的非人脸区域剔除掉，再通过复杂特征手、手臂、脚、腿部以及躯干将更复杂的非人脸区域剔除掉，最终只留下人脸特征。

49、作为本发明的优选技术方案：在步骤s5中：进行人脸对齐以及人脸图像过滤的方式为：

50、利用预先给定的一张正脸的五个关键点坐标构成点集x；

51、通过mtcnn算法检测得到五个关键点坐标，以构成点集y；

52、判断是否存在仿射变换矩阵m和偏移向量b，能够实现点集x和点集y之间的仿射变换，若存在，则判定该人脸图像不是侧脸图像，并根据仿射变换矩阵m和偏移向量b对点集y进行仿射变换，以实现人脸对齐；若不存在，则判定该人脸图像为侧脸图像并过滤掉该人脸图像。

53、上述结构中：通过使用mtcnn算法检测得到的五个关键点坐标，即可得到点集y，然后对点集y进行判断，判断是否存在仿射变换矩阵m和偏移向量b，能够实现点集x和点集y之间的仿射变换，若存在，则判定该人脸图像不是侧脸图像，并根据仿射变换矩阵m和偏移向量b对点集y进行仿射变换，以实现人脸对齐；若不存在，则判定该人脸图像为侧脸图像并过滤掉该人脸图像，通过混合使用人脸对齐以及过滤侧脸图像，有效提高了进场人员监测的识别精度。

54、作为本发明的优选技术方案：在步骤s6中：利用跟踪算法对每路视频中相邻帧的图像进行匹配跟踪，包括：

55、为当前帧中检测得到的每一人体框均设置一对应跟踪器，当读取到视频中下一帧图像时，检测得到的一个或多个新的人体框，将上述跟踪器和人体框进行匹配，从而完成多目标在相邻帧中的跟踪，并实时生成跟踪器状态列表。

56、作为本发明的优选技术方案：所述跟踪器状态列表包括跟踪器在当前帧中的位置、跟踪器存活帧数以及跟踪器在当前帧是否更新。

57、上述结构中：利用跟踪算法对每路视频中相邻帧的图像进行匹配跟踪，在跟踪过程中利用跟踪算法以及对侧脸图像的过滤，准确高效地得到了进场人员的运动轨迹。

58、与现有技术相比，本发明的有益效果为：

59、本发明通过采用图像识别模块识别视频监控图像，有效排除了环境的干扰，保证了高精度的检测效果；

60、在跟踪过程利用跟踪算法以及对侧脸图像的过滤，准确高效地得到了进场人员的运动轨迹；

61、在人脸特征提取过程，在监控视频特征库上进行迁移学习的目标检测网络模型可以满足对任意帧数任意顺序的进场人员的跟踪，保证了在实际变电站场景下的识别精度及有效性；

62、综上所述，本发明方案在实际监控场景下保证了较好的抓拍质量，具有较高的识别精度及鲁棒性。