一种基于多维视频的变电站监控方法及系统与流程

1.本发明涉及变电站监控技术领域，具体涉及一种基于多维视频的变电站监控方法及系统。


背景技术：

2.随着电网技术的发展、智能技术的普及以及变电运维模式的改变，对变电站设备运行状态监视的重要性越来越高。目前，已有智能巡检机器人无法覆盖全站设备，主要问题有两方面：一是，受场地及机器人运动限制，目前巡检机器人只能对室外设备进行巡视，还无法对室内设备房间进行巡视，而对设备房间内保护屏上的指示灯、压板状态、设备运行状况等巡视需耗费大量时间。二是，由于变电站设计、安装过程中没有考虑到智能机器人巡视的需要，很多表计、观察窗口即使通过铺设巡检道路、安装反光镜等方式也无法观察到。
3.现有技术cn201921134858.1提供一种基于多维视频的变电站室内巡检系统，包括若干平行于变电站室内地面的导向丝杆、若干视频摄像头和电机ⅰ；所述视频摄像头底座通过轴线垂直于变电站室内地面的滑座套接在导向丝杆上，并可沿导向丝杆长度方向单自由度滑动；所述视频摄像头可绕滑座轴线转动；本现有技术能够对变电站室内进行全方位智能监控，调整监控对准的位置，节约人力成本，方便远程监控。
4.虽然上述现有技术能够一定程度上实现变电站室的全方位监控，但是却需要实时调整监控装置的空间位置以获取目标对象的实时监控视频，无法直接获取到发生故障的目标对象，仍然需要人工在各个目标对象的实时监控视频中进行故障识别，故障识别效率和精度得不到保障，调整监控装置的视野方位还会导致目标对象无法维持实时监控，会造成监控漏检。


技术实现要素：

5.本发明的目的在于提供一种基于多维视频的变电站监控方法及系统，以解决现有技术中需要实时调整监控装置的空间位置以获取目标对象的实时监控视频，无法直接获取到发生故障的目标对象，仍然需要人工在各个目标对象的实时监控视频中进行故障识别，故障识别效率和精度得不到保障，调整监控装置的视野方位还会导致目标对象无法维持实时监控，会造成监控漏检的技术问题。
6.为解决上述技术问题，本发明具体提供下述技术方案：一种基于多维视频的变电站监控方法，包括以下步骤：步骤s1、依次在多维视频流的每个维度中抽取出所有包含目标对象图像特征的视频帧，并在每个维度上对所有包含目标对象图像特征的视频帧进行图像融合得到对应维度上包含目标对象最多图像特征的融合视频帧；步骤s2、计算每个维度的融合视频帧中表征目标对象图像特征的像素量级，并基于所述像素量级为每个维度的目标对象图像特征构建特征权重，并利用特征权重对每个维度的融合视频帧进行加权求和得到表征目标对象多维图像特征的多维视频帧；
步骤s3、构建识别目标对象类别及目标对象故障的分析模型，并利用所述分析模型对所述多维视频帧进行分析得到目标对象的类别属性及故障属性，再根据目标对象的类别属性及故障属性进行监控预警，以通知维护人员进行定向修复。
7.作为本发明的一种优选方案，所述依次在多维视频流的每个维度中抽取出所有包含目标对象图像特征的视频帧，包括：依次获取每个维度中包含基础场景的空白视频帧，并依次得到所述空白视频帧的灰度直方图向量；依次得到多维视频流的每个维度中的所有视频帧的灰度直方图向量，并将每个维度中的所有视频帧的灰度直方图向量依次与对应维度中的空白视频帧的灰度直方图向量进行相似度比对，再在每个维度中保留相似度值未超相似阈值的视频帧作为包含目标对象图像特征的视频帧，其中，所述相似度比对公式为：；式中，表征为第x个维度的第i个视频帧的灰度直方图向量与第x个维度中的空白视频帧的灰度直方图向量间相似度，表征为第x个维度的第i个视频帧的灰度直方图向量，表征为第x个维度中的空白视频帧的灰度直方图向量，t为转置符号，x，i为计量常数，无实质含义；依次将每个维度中包含目标对象图像特征的所有视频帧进行去冗余视频帧的操作，以减少冗余视频帧参与图像融合来提高图像融合的效率，其中，将每个维度中包含目标对象图像特征的所有视频帧按原有帧序列进行排列得到视频帧序列，并顺次计算视频帧序列中相邻视频帧间的灰度直方图向量的相似度，所述相邻视频帧间的灰度直方图向量的相似度的计算公式为：；式中，表征为第x个维度对应的视频帧序列中的第k个视频帧与第k+1个视频帧间的灰度直方图向量的相似度，、分别表征为第x个维度中第k个视频帧与第k+1个视频帧间的灰度直方图向量，k为计量常数，无实质含义；若超相似阈值，则将第k+1个视频帧从所述视频帧序列中剔除；若未超相似阈值，则将第k+1个视频帧保留在所述视频帧序列中；将所述视频帧序列中所有保留下的视频帧作为经去冗余操作后且包含目标对象图像特征的视频帧。
8.作为本发明的一种优选方案，所述在每个维度上对所有包含目标对象图像特征的视频帧进行图像融合得到对应维度上包含目标对象最多图像特征的融合视频帧，包括：在每个维度上对经去冗余操作后且包含目标对象图像特征的视频帧依次进行sift算法的特征检测、ransac算法的特征匹配以及拉普拉斯金字塔算法的特征融合得到每
个维度上的融合视频帧。
9.作为本发明的一种优选方案，所述计算每个维度的融合视频帧中表征目标对象图像特征的像素量级，包括：计算每个维度中所述空白视频帧的像素信息量，以及每个维度中融合视频帧的像素信息量，并将所述融合视频帧的像素信息量与所述空白视频帧的像素信息量的差值作为所述表征目标对象图像特征的像素量级；其中，所述空白视频帧的像素信息量的计算公式为：；所述融合视频帧的像素信息量的计算公式为：；式中，、分别表征为第x个维度的空白视频帧的像素信息量、融合视频帧的像素信息量，、分别表征为第x个维度的空白视频帧、融合视频帧的灰度直方图的灰度像素级别，、分别表征为空白视频帧、融合视频帧的灰度直方图中的第l、r个灰度像素级别，l，r均为计量常数，无实质含义；所述表征目标对象图像特征的像素量级的计算公式为：；式中，表征为第x个维度的融合视频帧中表征目标对象图像特征的像素量级。
10.作为本发明的一种优选方案，基于所述像素量级为每个维度的目标对象图像特征构建特征权重，包括：对所有维度的融合视频帧中表征目标对象图像特征的像素量级进行归一化处理得到每个维度的目标对象图像特征的特征权重，所述特征权重的计算公式为：；式中，表征为第x个维度的目标对象图像特征的特征权重，表征为维度总数目，x为计量常数，无实质含义。
11.作为本发明的一种优选方案，所述多维视频帧的计量公式为：；式中，表征为多维视频帧，表征为第x个维度的融合视频帧。
12.作为本发明的一种优选方案，所述构建识别目标对象类别及目标对象故障的分析模型，包括：在历史故障日志中抽取出历史目标对象类别、历史目标对象类别的多维视频帧、历史目标对象类别的故障类型，并将变电站中所有设备类别均作为目标对象拓展类别，再
将所有设备的故障类型作为目标对象拓展类别的故障类型，以及将所有设备的故障类型的模拟视频帧作为目标对象拓展类别的多维视频帧，所述历史目标对象类别是历史故障日志中记载的发生故障的变电站设备类别，所述历史目标对象类别的多维视频帧由历史目标对象类别的多维视频流执行步骤s1、s2得到；将所述历史目标对象类别的多维视频帧、目标对象拓展类别的多维视频帧与历史目标对象类别、目标对象拓展类别混合构成第一样本，并利用第一样本训练cnn神经网络得到目标对象类别识别模型；将所述历史目标对象类别的多维视频帧、目标对象拓展类别的多维视频帧与历史目标对象类别的故障类型、目标对象拓展类别的故障类型混合构成第二样本，并利用第二样本训练cnn神经网络模型得到目标对象故障识别模型；将所述目标对象类别识别模型和目标对象故障识别模型组合构成所述分析模型。
13.作为本发明的一种优选方案，所述利用所述分析模型对所述多维视频帧进行分析得到目标对象的类别属性及故障属性，包括：将所述多维视频帧输入至目标对象类别识别模型，由目标对象类别识别模型输出对应发生故障的目标对象类别以作为类别属性；将所述多维视频帧输入至目标对象故障识别模型，由目标对象故障识别模型输出对应发生故障的目标对象的故障类型以作为故障属性。
14.作为本发明的一种优选方案，所述模拟视频帧的获得包括：在变电站的各个设备类别处进行故障类型模拟，并在各个设备类别处获得多维视频流；将各个设备类别处的多维视频流执行步骤s1、s2得到各个设备类别处的所述多维视频帧以作为模拟视频帧。
15.作为本发明的一种优选方案，本发明提供了一种根据所述的基于多维视频的变电站监控方法的监控系统，包括：视频帧单维融合单元，用于依次在多维视频流的每个维度中抽取出所有包含目标对象图像特征的视频帧，并在每个维度上对所有包含目标对象图像特征的视频帧进行图像融合得到对应维度上包含目标对象最多图像特征的融合视频帧；视频帧多维融合单元，用于计算每个维度的融合视频帧中表征目标对象图像特征的像素量级，并基于所述像素量级为每个维度的目标对象图像特征构建特征权重，并利用特征权重对每个维度的融合视频帧进行加权求和得到表征目标对象多维图像特征的多维视频帧；故障分析单元，用于构建识别目标对象类别及目标对象故障的分析模型，并利用所述分析模型对所述多维视频帧进行分析得到目标对象的类别属性及故障属性，再根据目标对象的类别及故障属性进行监控预警，以通知维护人员进行定向修复。
16.本发明与现有技术相比较具有如下有益效果：本发明在多维视频流的每个维度中抽取出所有包含目标对象图像特征的视频帧，并依次进行单维融合、多维加权融合得到表征目标对象多维图像特征的多维视频帧，可以在多维视频流中更全面提取出发生故障的目标对象的图像特征，无需调整监控装置的拍摄方位，再构建识别目标对象类别及目标对象故障的分析模型，并利用所述分析模型对所述
多维视频帧进行分析得到目标对象的类别属性及故障属性，保障故障识别效率和精度。
附图说明
17.为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
18.图1为本发明实施例提供的基于多维视频的变电站监控方法流程图；图2为本发明实施例提供的监控系统结构框图。
19.图中的标号分别表示如下：1-视频帧单维融合单元；2-视频帧多维融合单元；3-故障分析单元。
具体实施方式
20.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.如图1所示，现有技术在进行多维视频监控时，通常是将监控装置设置为可多维移动的结构，以便监控装置调整监控方位实现多维监控，但是当监控装置调整监控方位对准需要监控的变电站设备时，就无法对其他变电站设备进行监控，无法真正做到实时监控，会存在在变电站设备间进行监控调整时出现监控漏检，因此本发明提供了一种基于多维视频的变电站监控方法，无需调整监控方位，只对多维方向上固定的监控装置进行视频流融合，以得到目标对象的多维图像特征，并识别出故障类型。
22.一种基于多维视频的变电站监控方法，包括以下步骤：步骤s1、依次在多维视频流的每个维度中抽取出所有包含目标对象图像特征的视频帧，并在每个维度上对所有包含目标对象图像特征的视频帧进行图像融合得到对应维度上包含目标对象最多图像特征的融合视频帧；监控装置固定设置在变电站的多个方位上，会在变电站在多个方位维度上的监控视频流（多维视频流），其中，每个监控装置固定获得一个方位维度的监控视频流，在目标对象（即变电站设备）出现故障时，此时处于故障运行的目标对象的多维视频流与处于正常运行的目标对象的多维视频流存在差异，因此只需要将每个维度上与基础场景的空白视频帧（即处于正常运行的目标对象的视频帧）存在差异的视频帧提取出即可得到包含处于故障运行的目标对象图像特征的视频帧，再将每个维度上处于故障运行的目标对象图像特征的视频帧进行融合至同一视频帧中，得到该目标对象在该维度上的全部图像特征，最终在所有维度上都可提取出处于故障运行的目标对象的图像特征，无需调整监控装置的监控方位。
23.依次在多维视频流的每个维度中抽取出所有包含目标对象图像特征的视频帧，包括：依次获取每个维度中包含基础场景的空白视频帧，并依次得到空白视频帧的灰度
直方图向量；依次得到多维视频流的每个维度中的所有视频帧的灰度直方图向量，并将每个维度中的所有视频帧的灰度直方图向量依次与对应维度中的空白视频帧的灰度直方图向量进行相似度比对，再在每个维度中保留相似度值未超相似阈值的视频帧作为包含目标对象图像特征的视频帧，其中，相似度比对公式为：；式中，表征为第x个维度的第i个视频帧的灰度直方图向量与第x个维度中的空白视频帧的灰度直方图向量间相似度，表征为第x个维度的第i个视频帧的灰度直方图向量，表征为第x个维度中的空白视频帧的灰度直方图向量，t为转置符号，x，i为计量常数，无实质含义；依次将每个维度中包含目标对象图像特征的所有视频帧进行去冗余视频帧的操作，以减少冗余视频帧参与图像融合来提高图像融合的效率，其中，将每个维度中包含目标对象图像特征的所有视频帧按原有帧序列进行排列得到视频帧序列，并顺次计算视频帧序列中相邻视频帧间的灰度直方图向量的相似度，相邻视频帧间的灰度直方图向量的相似度的计算公式为：；式中，表征为第x个维度对应的视频帧序列中的第k个视频帧与第k+1个视频帧间的灰度直方图向量的相似度，、分别表征为第x个维度中第k个视频帧与第k+1个视频帧间的灰度直方图向量，k为计量常数，无实质含义；若超相似阈值，则将第k+1个视频帧从视频帧序列中剔除；若未超相似阈值，则将第k+1个视频帧保留在视频帧序列中；将视频帧序列中所有保留下的视频帧作为经去冗余操作后且包含目标对象图像特征的视频帧。
24.在每个维度上对所有包含目标对象图像特征的视频帧进行图像融合得到对应维度上包含目标对象最多图像特征的融合视频帧，包括：在每个维度上对经去冗余操作后且包含目标对象图像特征的视频帧依次进行sift算法的特征检测、ransac算法的特征匹配以及拉普拉斯金字塔算法的特征融合得到每个维度上的融合视频帧。
25.步骤s2、计算每个维度的融合视频帧中表征目标对象图像特征的像素量级，并基于像素量级为每个维度的目标对象图像特征构建特征权重，并利用特征权重对每个维度的融合视频帧进行加权求和得到表征目标对象多维图像特征的多维视频帧；各个维度上监控装置拍摄到处于故障运行的目标对象的图像特征并不完全相同，
由于监控视野的不同，有些监控装置的监控视野对于处于故障运行的目标对象的覆盖性更高，则拍摄到的目标对象的图像特征多，而有些监控装置的监控视野对于处于故障运行的目标对象的覆盖性低，则拍摄到的目标对象的图像特征少，为了在多个维度上更多地获得目标对象的图像特征以使得最终形成的多维图像特征更接近目标对象的真实多维图像特征，本实施例为各个维度设定特征权重，以保证图像特征多的维度上的特征权重高，而图像特征少的维度上的特征权重低，从而可使得在一个视频帧构建目标对象的多维度特征，更易通过多维视频帧识别出目标对象的类别和故障类型。
26.计算每个维度的融合视频帧中表征目标对象图像特征的像素量级，包括：计算每个维度中空白视频帧的像素信息量，以及每个维度中融合视频帧的像素信息量，并将融合视频帧的像素信息量与空白视频帧的像素信息量的差值作为表征目标对象图像特征的像素量级；其中，空白视频帧的像素信息量的计算公式为：；融合视频帧的像素信息量的计算公式为：；式中，、分别表征为第x个维度的空白视频帧的像素信息量、融合视频帧的像素信息量，、分别表征为第x个维度的空白视频帧、融合视频帧的灰度直方图的灰度像素级别，、分别表征为空白视频帧、融合视频帧的灰度直方图中的第l、r个灰度像素级别，l，r均为计量常数，无实质含义；表征目标对象图像特征的像素量级的计算公式为：；式中，表征为第x个维度的融合视频帧中表征目标对象图像特征的像素量级。
27.基于像素量级为每个维度的目标对象图像特征构建特征权重，包括：对所有维度的融合视频帧中表征目标对象图像特征的像素量级进行归一化处理得到每个维度的目标对象图像特征的特征权重，特征权重的计算公式为：；式中，表征为第x个维度的目标对象图像特征的特征权重，表征为维度总数目，x为计量常数，无实质含义。
28.多维视频帧的计量公式为：；
式中，表征为多维视频帧，表征为第x个维度的融合视频帧。
29.步骤s3、构建识别目标对象类别及目标对象故障的分析模型，并利用分析模型对多维视频帧进行分析得到目标对象的类别属性及故障属性，再根据目标对象的类别属性及故障属性进行监控预警，以通知维护人员进行定向修复。
30.构建识别目标对象类别及目标对象故障的分析模型，包括：在历史故障日志中抽取出历史目标对象类别、历史目标对象类别的多维视频帧、历史目标对象类别的故障类型，并将变电站中所有设备类别均作为目标对象拓展类别，再将所有设备的故障类型作为目标对象拓展类别的故障类型，以及将所有设备的故障类型的模拟视频帧作为目标对象拓展类别的多维视频帧，历史目标对象类别是历史故障日志中记载的发生故障的变电站设备类别，历史目标对象类别的多维视频帧由历史目标对象类别的多维视频流执行步骤s1、s2得到；将历史目标对象类别的多维视频帧、目标对象拓展类别的多维视频帧与历史目标对象类别、目标对象拓展类别混合构成第一样本，并利用第一样本训练cnn神经网络得到目标对象类别识别模型；将所述历史目标对象类别的多维视频帧、目标对象拓展类别的多维视频帧与历史目标对象类别的故障类型、目标对象拓展类别的故障类型混合构成第二样本，并利用第二样本训练cnn神经网络模型得到目标对象故障识别模型；将目标对象类别识别模型和目标对象故障识别模型组合构成分析模型。
31.基于历史故障日志和故障模拟进行样本构建，可以在真实故障时间的基础上进行模拟拓展，使得构建的分析模型覆盖面更广，适应性更强。
32.利用分析模型对多维视频帧进行分析得到目标对象的类别属性及故障属性，包括：将多维视频帧输入至目标对象类别识别模型，由目标对象类别识别模型输出对应发生故障的目标对象类别以作为类别属性；将多维视频帧输入至目标对象故障识别模型，由目标对象故障识别模型输出对应发生故障的目标对象的故障类型以作为故障属性。
33.模拟视频帧的获得包括：在变电站的各个设备类别处进行故障类型模拟，并在各个设备类别处获得多维视频流；将各个设备类别处的多维视频流执行步骤s1、s2得到各个设备类别处的多维视频帧以作为模拟视频帧。
34.如图2所示，基于上述变电站监控方法，本发明提供了一种监控系统，包括：视频帧单维融合单元1，用于依次在多维视频流的每个维度中抽取出所有包含目标对象图像特征的视频帧，并在每个维度上对所有包含目标对象图像特征的视频帧进行图像融合得到对应维度上包含目标对象最多图像特征的融合视频帧；视频帧多维融合单元2，用于计算每个维度的融合视频帧中表征目标对象图像特征的像素量级，并基于像素量级为每个维度的目标对象图像特征构建特征权重，并利用特征权重对每个维度的融合视频帧进行加权求和得到表征目标对象多维图像特征的多维视频帧；
故障分析单元3，用于构建识别目标对象类别及目标对象故障的分析模型，并利用分析模型对多维视频帧进行分析得到目标对象的类别属性及故障属性，再根据目标对象的类别及故障属性进行监控预警，以通知维护人员进行定向修复。
35.本发明在多维视频流的每个维度中抽取出所有包含目标对象图像特征的视频帧，并依次进行单维融合、多维加权融合得到表征目标对象多维图像特征的多维视频帧，可以在多维视频流中更全面提取出发生故障的目标对象的图像特征，无需调整监控装置的拍摄方位，再构建识别目标对象类别及目标对象故障的分析模型，并利用分析模型对多维视频帧进行分析得到目标对象的类别属性及故障属性，保障故障识别效率和精度。
36.以上实施例仅为本技术的示例性实施例，不用于限制本技术，本技术的保护范围由权利要求书限定。本领域技术人员可以在本技术的实质和保护范围内，对本技术做出各种修改或等同替换，这种修改或等同替换也应视为落在本技术的保护范围内。