用于水电厂视频监控系统的实时运动目标检测方法与流程

本发明属于水电站巡检，涉及一种用于水电厂视频监控系统的实时运动目标检测方法。

背景技术：

1、水电厂生产区域普遍应用到监控摄像头，运行人员通过视频巡检(在中控室中观察生产区域的视频图像)而替代繁杂劳累的现场巡检。但是，水电厂中往往存在较多的重点监控区域，人工的视频巡检由于需要频繁切换场景而容易遗漏一些关键信息，因此，如何利用计算机视觉算法实时地从视频数据中提取关键信息进而辅助运行人员对现场情况进行判断变得尤为重要。

2、视频运动目标检测是计算机视觉领域的基础研究方向之一，它的任务是从监控摄像头捕获的视频中分离出运动与静止区域。在大多数的智能视频监控系统中，运动目标检测能为跟踪、分类、识别、行为分析等高级处理任务提供关注的焦点。因此，在水电厂视频监控系统中如何实时对运动目标检测算法，并能减少运行人员的视频巡检工作量，提高电力生产的安全性是目前需要解决的关键问题。

技术实现思路

1、本发明所要解决的技术问题是提供一种用于水电厂视频监控系统的实时运动目标检测方法，用于提高水电厂运行人员视频巡检的效率，减少运行人员的视频巡检工作量，提高电力生产的安全性。

2、为解决上述技术问题，本发明所采用的技术方案是：一种用于水电厂视频监控系统的实时运动目标检测方法，它包括如下步骤：

3、步骤1，分类，对水电厂视频监控系统中的视频按照其监控场景进行分类；按照被监控生产区域的重要性依次分为核心区域监控视频、重点区域监控视频和一般区域监控视频；

4、步骤2，构建模型，对于任一被分类为重点区域的监控视频，人工采集其位于早、晚两个时段的监控视频，利用均值法构建其对应的早、晚两个时段的虚拟背景模型；

5、步骤3，构建网络，构建用于视频运动目标检测的轻量级卷积神经网络；

6、步骤4，划分，对于任一被分类为核心区域的监控视频，捕获一段视频，并利用视频数据构建该监控区域的数据集，从所述数据集中划分训练集和验证集；

7、步骤5，训练，设置一定的超参数，利用所述用于视频运动目标检测的轻量级卷积神经网络和任一被分类为核心区域的监控视频对应的训练集进行训练，并利用所述验证集验证所述全卷积网络模型的拟合效果，当达到预设效果时，训练完成，获得实时运动目标检测模型；直到训练出与核心区域数量相同个数的神经网络模型时，所有训练结束；

8、步骤6，转化视频，分别利用帧间差分法、自适应背景更新差分模型和基于轻量级卷积神经网络的运动目标检测方法对水电厂视频监控系统实时捕获的一般区域视频、重点区域视频和核心区域视频进行处理，获得运动目标检测结果图像，将其转化为视频。

9、在步骤1中，

10、对水电厂视频监控系统中的视频按照其监控场景进行分类，按照被监控生产区域的重要性依次分为核心区域监控视频、重点区域监控视频和一般区域监控视频；其中，核心区域为水电厂厂房内的核心生产区域，主要包括例如发电机室、水车室；重点区域为水电厂厂房内的非核心区域，主要包括中控室、办公室、走廊；一般区域为水电厂厂房外围监控优先级较低的区域。

11、在步骤2中，

12、步骤2-1，对于任一被分类为重点区域的监控视频，人工采集其位于早、晚两个时段的监控视频，生成两段子视频，采集的视频的时长应尽可能长一些；

13、步骤2-2、对于所述的早、晚两个时段的子视频，将其转化为两个逐帧的视频图像集，将两个视频图像集进行灰度化处理；

14、步骤2-3、对于所述的两个逐帧的视频图像集，使用均值法计算出其对应的虚拟背景模型，其中均值法的公式如下：

15、

16、式中，bg(x，y)为背景模型在坐标(x，y)处的平均灰度值，为n帧图像在坐标(x，y)处像素点的灰度值总和，n为视频图像集包含的图像个数。

17、在步骤3中，

18、步骤3-1，构建所述用于视频运动目标检测的轻量级卷积神经网络的输入层；输入任意大小的3通道rgb图像，对于长或宽不满足16倍数的图像，进行边缘自适应补0的操作；

19、步骤3-2，构建所述全卷积网络模型的编码器网络；所述编码器网络基于moblienetv3-large网络，删除其最后的四个层级结构；该编码器网络包括5个模块，即模块1～模块5；模块1包含一个卷积核大小为3×3的卷积层和一个bneck结构，模块2包含两个bneck结构，模块3和模块5包含三个bneck结构，模块4包含六个bneck结构；

20、步骤3-3，构建所述用于视频运动目标检测的轻量级卷积神经网络的解码器网络；解码器网络包括5个模块，即模块6～模块10，其中模块6、模块7、模块8、模块9均包含一个上采样层和两个卷积核大小为3×3的卷积层，先使用双线性插值法完成上采样，再进行特征的拼接，拼接好的特征进入两个卷积核大小为3×3的卷积层进行上采样特征的完善；模块10中包含cbam注意力机制模块、一个卷积核大小为1×1的卷积层和一个上采样层。

21、在步骤4中，

22、步骤4-1，对于任一被分类为核心区域的监控视频，利用其对应的监控摄像头捕获一段视频；

23、步骤4-2，从捕获的视频序列中按照均匀的时序分布选取m帧视频图像，使用任意像素级别的标注软件image labeler、labelme或cvat标注视频图像的运动目标区域，构成该场景的数据集；待标注完成后，随机选取n帧标注图像及对应的原始图像作为验证集，剩余m-n帧标注图像及对应的原始图像作为训练集；

24、步骤4-3，对m帧视频图像进行标准化处理，得到标准化后结果，其中，标准化的公式如下：

25、

26、式中，yi为标准化后结果，xi为当前帧图像，为训练集图像均值，s为训练集图像标准差。

27、在步骤5中，

28、步骤5-1，对于编码器网络，加载在imagenet数据集上预训练的moblienetv3-large网络的权重，并维持该权重不变；imagenet数据集包括1000个种类；

29、步骤5-2，选用融合交叉熵损失函数ce与dice损失函数计算损失loss，计算公式如下：

30、

31、

32、loss＝ce+dice

33、式中，pi为当前像素i的预测结果，yi为当前像素i对应的真实结果，n表示图像像素的个数，p为对于一张图像的预测像素集合，y为标注图像的像素集合；

34、步骤5-3，使用小批量随机梯度下降优化器作为训练的优化器，初始学习率设置为0.01，动量系数设置为0.9，batch-size设置为4，学习率遵循系数设置为0.9的poly策略进行衰减，训练轮数设置为200；另外，训练程序中加入了监视器用于保存在验证集上效果最好的模型的参数权重，作为该监控场景的模型权重。

35、在步骤6中，

36、对于水电厂视频监控系统中被划分为一般区域的监控视频，获取其监控视频，采用帧间差分法对其进行处理，得到标记出运动目标的视频，其包括如下步骤，

37、步骤6-1，将监控视频转化为逐帧的jpg格式的视频图像，将视频图像转换为灰度图像；

38、步骤6-2，将当前帧与前一帧的灰度图像利用帧间差分法进行差分运算，计算出标记出运动目标的灰度图像，具体地，根据像素的灰度值计算：

39、

40、式中，d(x，y)为标记出运动目标的灰度图像，x和y分别表示某一像素在二维平面上的横纵坐标，fk+1(x，y)为当前帧灰度图像，fk(x，y)为前一帧灰度图像，t表示设定的灰度差阈值，若d(x，y)＝255，则该像素点(x，y)为运动目标像素，对图像中的所有像素点进行判断，则可得到标记出运动目标的图像；

41、步骤6-3，将连续的s612中所得的逐帧的标记出运动目标的图像转化为视频。

42、在步骤6中，

43、对于水电厂视频监控系统中被划分为重点区域的监控视频，获取其监控视频，采用改进的自适应背景更新差分模型对其进行处理，得到标记出运动目标的视频，其包括如下步骤，

44、步骤6-4，将监控视频转化为逐帧的jpg格式的视频图像，将视频图像转换为灰度图像；

45、步骤6-5，检测当前时间，若处于7:00-18:00，则将步骤s23所得的对应该场景早间时段的虚拟背景用作背景差分法的初始背景模型，反之则将对应该场景晚间时段的虚拟背景用作初始背景模型；

46、步骤6-6，将当前帧灰度图像与背景模型进行差分运算，计算出标记出运动目标的灰度图像，具体地，根据像素的灰度值计算：

47、diff(x，y)＝|i(x，y)-bg(x，y)|

48、

49、式中，diff(x，y)为差分图像，d(x，y)为标记出运动目标的灰度图像，x和y分别表示某一像素在二维平面上的横纵坐标，i(x，y)为当前帧灰度灰度图像，bg(x，y)为背景模型，t表示设定的灰度差阈值，；

50、步骤6-7，设定分区系数即将视频图像平均分为个区域，利用当前帧灰度图像和前一帧灰度图像计算每个区域的帧间变化率，具体公式如下：

51、

52、式中，drk为第个区域的帧间变化率，m为该区域的长、n为该区域的宽，fk(xi，yj)为当前帧第k个区域的灰度图像，fk-1(xi，yj)为前一帧第k个区域的灰度图像，t为灰度差阈值；

53、利用每个区域的帧间变化率更新背景模型，具体公式如下：

54、

55、式中，bgn(k)(x，y)为更新后的第k个区域的背景模型，bgn-1(k)为第k个区域的未更新的背景模型，ik(x，y)为第k个区域的当前帧灰度图像；

56、步骤6-8，将连续的s623中所得的标记出运动目标的图像转化为视频。

57、在步骤6中，

58、对于水电厂视频监控系统中被划分为核心区域的监控视频，获取其监控视频，采用一种基于轻量级卷积神经网络的运动目标检测方法对其进行处理，得到标记出运动目标的视频，其包括如下步骤，

59、步骤6-9，选择s32中所述的对应该场景的最优的模型权重，加载所述的轻量级卷积神经网络；

60、步骤6-10，将监控视频转化为逐帧的jpg格式的视频图像，对其按照步骤s43相同的参数进行标准化处理，得到标准化后的视频图像；

61、步骤6-11，将所述标准化后的视频图像输入所述加载权重后的轻量级卷积神经网络，输出标记出运动目标的图像；

62、步骤6-12，将连续的所输出的标记出运动目标的图像转化为视频。

63、本发明的主要有益效果在于：

64、对水电厂视频监控系统的视频场景分级，改进自适应背景更新差分模型，基于轻量级卷积神经网络的运动目标检测。

65、对于水电厂的监控摄像头按监控区域的重要程度进行了分级，针对不同级别的监控视频使用不同的运动目标检测算法发掘其中的关键信息。

66、能实时且较为准确地分离出监控视频中的运动目标，能提高水电厂运行人员视频巡检的效率，并且对于中央处理服务器的硬件配置要求较低。

67、该方法能实时且较为准确地分离出监控视频中的运动目标，包括设备漏水、漏油等。