阀厅的监测方法、装置及系统与流程

1.本申请涉及在线监测领域，特别涉及一种阀厅的监测方法、装置及系统。


背景技术：

2.多光谱检测技术是电网状态检修的重要组成部分，巡检人员通常采用通过各类专业仪器对阀厅中的电气设备缺陷和隐患进行定性、定量评估。
3.但是，由于各类检测设备相对独立，就图像传感器而言，各种传感器工作于不同波长范围，具有不同成像机理，数据信息量有限、关联性低，因此，难以准确的进行全面分析和诊断。


技术实现要素：

4.有鉴于此，本申请提供了一种阀厅的监测方法、装置及系统，用于精确的确定阀厅中的发生的故障的故障类型及故障所处的位置。
5.本申请第一方面提供了一种阀厅的监测方法，包括：
6.获取待分析视频流；其中，所述待分析视频流包括：可见光图像、红外图像和紫外图像；
7.将所述红外图像与所述可见光图像进行图像融合，得到第一目标图像；
8.将所述紫外图像与所述可见光图像进行图像融合，得到第二目标图像；
9.根据所述第一目标图像以及所述第二目标图像，对阀厅进行故障检测，得到故障检测结果；
10.若所述故障检测结果表明所述阀厅当前存在故障，根据所述故障检测结果生成本次的故障信息；其中，所述故障信息包括故障位置以及故障类型。
11.可选的，所述将所述红外图像与所述可见光图像进行图像融合，得到第一目标图像，包括：
12.对所述红外图像进行预处理，生成目标红外图像；
13.分别提取所述目标红外图像和所述可见光图像的特征；
14.将所述目标红外图像的特征和所述可见光图像的特征进行匹配，得到校正矩阵参数；
15.利用所述校正矩阵参数对目标红外图像和所述可见光图像进行配准，得到第一目标图像。
16.可选的，所述将所述紫外图像与所述可见光图像进行图像融合，得到第二目标图像，包括：
17.对所述紫外图像进行预处理，生成目标紫外图像；
18.确定所述目标紫外图像和所述可见光图像之间的获得平移的校正参数和缩放的校正参数；
19.利用所述平移的校正参数和所述缩放的校正参数，对所述目标紫外图像和所述可
见光图像进行调整，得到第二目标图像。
20.可选的，所述根据所述第一目标图像以及所述第二目标图像，对阀厅进行故障检测，得到故障检测结果，包括：
21.利用所述第一目标图像，对所述阀厅进行明火故障检测，得到明火故障检测结果；
22.利用所述第二目标图像，对所述阀厅进行放电故障检测，得到放电故障检测结果；
23.利用所述第一目标图像，对所述阀厅进行过热故障检测，得到过热故障检测结果；
24.利用所述第一目标图像，对所述阀厅进行渗水故障检测，得到渗水故障检测结果；
25.将所述明火故障检测结果、所述放电故障检测结果、所述过热故障检测结果和所述渗水故障检测结果，作为所述故障检测结果。
26.可选的，所述利用所述第一目标图像，对所述阀厅进行明火故障检测，得到明火故障检测结果，包括：
27.根据预设的图像处理算法确定所述第一目标图像中的至少一个明火可疑区域；
28.针对每一个所述明火可疑区域，提取所述明火可疑区域在每一个时刻时的明火特征值；其中，所述明火特征值包括：平均圆形度、面积平均变化率、周长平均变化率；
29.根据所述明火特征值，判断所述第一目标图像中是否存在明火；
30.若判断出所述第一目标图像中不存在明火，则生成第一明火故障检测结果；其中，所述第一明火故障检测结果为用于表明所述阀厅当前不存在明火的明火故障检测结果；
31.若判断出所述第一目标图像中存在明火，则确定所述明火在所述第一目标图像中所处的位置，并生成第二明火故障检测结果；其中，所述第二明火故障检测结果用于表明所述阀厅当前存在明火区域的明火故障检测结果；所述第二明火故障检测结果包括所述明火区域在所述第一目标图像中所处的位置。
32.可选的，所述利用所述第二目标图像，对所述阀厅进行放电故障检测，得到放电故障检测结果，包括：
33.根据预设的图像检测算法确定所述第二目标图像中的至少一个放电可疑区域；
34.针对每一个所述放电可疑区域，计算所述放电可疑区域的周围连续出现放电点的概率；
35.判断所述放电可疑区域的周围连续出现放电点的概率是否大于第一阈值；
36.若判断出所述放电可疑区域的周围连续出现放电点的概率不大于第一阈值，则生成第一放电故障检测结果；其中，所述第一放电故障检测结果为用于表明所述阀厅当前不存在放电的放电故障检测结果；
37.若判断出所述放电可疑区域的周围连续出现放电点的概率大于第一阈值，确定所述放电可疑区域为放电区域，并生成第二放电故障检测结果；其中，所述第二放电故障检测结果用于表明所述阀厅当前存在放电区域的放电故障检测结果；所述第二放电故障检测结果包括所述放电区域在所述第二目标图像中所处的位置。
38.可选的，所述利用所述第一目标图像，对所述阀厅进行过热故障检测，得到过热故障检测结果，包括：
39.根据预设的图像处理算法确定所述第一目标图像中的至少一个发热区域；
40.针对每一个所述发热区域，获取所述发热区域的红外原始数据流；
41.根据所述红外原始数据流，确定所述发热区域的温度；
42.判断所述发热区域的温度是否大于第二阈值；
43.若判断出所述发热区域的温度不大于第二阈值，则生成第一过热故障检测结果；其中，所述第一过热故障检测结果为用于表明所述阀厅当前不存在过热区域的过热故障检测结果；
44.若判断出所述发热区域的温度大于第二阈值，确定所述发热区域存在过热故障，并生成第二过热故障检测结果；其中，所述第二过热故障检测结果用于表明所述阀厅当前存在过热区域的过热故障检测结果；所述第二过热故障检测结果包括所述发热区域在所述第一目标图像中所处的位置。
45.可选的，所述利用所述第一目标图像，对所述阀厅进行渗水故障检测，得到渗水故障检测结果，包括：
46.根据预设的图像分割算法确定所述第一目标图像中的至少一个渗水可疑区域；
47.针对每一个所述渗水可疑区域，生成所述渗水可疑区域的队列信息；其中，所述队列信息表明所述渗水可疑区域的轮廓在时间序列上的变化；
48.计算所述队列信息中所述渗水可疑区域的轮廓的面积平均变化率以及所述周长变化率；
49.判断所述面积平均变化率是否大于第三阈值，以及所述周长变化率是否大于第四阈值；
50.若判断出所述面积平均变化率不大于第三阈值和/或所述周长变化率不大于第四阈值，则生成第一渗水故障检测结果；其中，所述第一渗水故障检测结果为用于表明所述阀厅当前不存在渗水区域的渗水故障检测结果；
51.若判断出所述面积平均变化率大于第三阈值，以及所述周长变化率大于第四阈值，则确定所述渗水可疑区域存在渗水故障，并生成第二渗水故障检测结果；其中，所述第二渗水故障检测结果用于表明所述阀厅当前存在渗水区域的渗水故障检测结果；所述第二渗水故障检测结果包括所述渗水区域在所述第一目标图像中所处的位置。
52.本申请第二方面提供了一种阀厅的监测装置，包括：
53.第一获取单元，用于获取待分析视频流；其中，所述待分析视频流包括：可见光图像、红外图像和紫外图像；
54.第一融合单元，用于将所述红外图像与所述可见光图像进行图像融合，得到第一目标图像；
55.第二融合单元，用于将所述紫外图像与所述可见光图像进行图像融合，得到第二目标图像；
56.检测单元，用于根据所述第一目标图像以及所述第二目标图像，对阀厅进行故障检测，得到故障检测结果；
57.第一生成单元，若所述故障检测结果表明所述阀厅当前存在故障，根据所述故障检测结果生成本次的故障信息；其中，所述故障信息包括故障位置以及故障类型。
58.可选的，所述第一融合单元，包括：
59.第二生成单元，用于对所述红外图像进行预处理，生成目标红外图像；
60.第一提取单元，用于分别提取所述目标红外图像和所述可见光图像的特征；
61.匹配单元，用于将所述目标红外图像的特征和所述可见光图像的特征进行匹配，
得到校正矩阵参数；
62.第一融合子单元，用于利用所述校正矩阵参数对目标红外图像和所述可见光图像进行配准，得到第一目标图像。
63.可选的，所述第二融合单元，包括：
64.第三生成单元，用于对所述紫外图像进行预处理，生成目标紫外图像；
65.第一确定单元，用于确定所述目标紫外图像和所述可见光图像之间的获得平移的校正参数和缩放的校正参数；
66.第二融合子单元，用于利用所述平移的校正参数和所述缩放的校正参数，对所述目标紫外图像和所述可见光图像进行调整，得到第二目标图像。
67.可选的，所述检测单元，包括：
68.明火检测单元，用于利用所述第一目标图像，对所述阀厅进行明火故障检测，得到明火故障检测结果；
69.放电检测单元，用于利用所述第二目标图像，对所述阀厅进行放电故障检测，得到放电故障检测结果；
70.过热检测单元，用于利用所述第一目标图像，对所述阀厅进行过热故障检测，得到过热故障检测结果；
71.渗水检测单元，用于利用所述第一目标图像，对所述阀厅进行渗水故障检测，得到渗水故障检测结果；
72.检测结果生成单元，用于将所述明火故障检测结果、所述放电故障检测结果、所述过热故障检测结果和所述渗水故障检测结果，作为所述故障检测结果。
73.可选的，所述明火检测单元，包括：
74.第二确定单元，用于根据预设的图像处理算法确定所述第一目标图像中的至少一个明火可疑区域；
75.第二提取单元，用于针对每一个所述明火可疑区域，提取所述明火可疑区域在每一个时刻时的明火特征值；其中，所述明火特征值包括：平均圆形度、面积平均变化率、周长平均变化率；
76.第一判断单元，用于根据所述明火特征值，判断所述第一目标图像中是否存在明火；
77.第四生成单元，用于若所述第一判断单元判断出，所述第一目标图像中不存在明火，则生成第一明火故障检测结果；其中，所述第一明火故障检测结果为用于表明所述阀厅当前不存在明火的明火故障检测结果；
78.所述第四生成单元，还用于若所述第一判断单元判断出，所述第一目标图像中存在明火，则确定所述明火在所述第一目标图像中所处的位置，并生成第二明火故障检测结果；其中，所述第二明火故障检测结果用于表明所述阀厅当前存在明火区域的明火故障检测结果；所述第二明火故障检测结果包括所述明火区域在所述第一目标图像中所处的位置。
79.可选的，所述放电检测单元，包括：
80.第三确定单元，用于根据预设的图像检测算法确定所述第二目标图像中的至少一个放电可疑区域；
81.第一计算单元，用于针对每一个所述放电可疑区域，计算所述放电可疑区域的周围连续出现放电点的概率；
82.第二判断单元，用于判断所述放电可疑区域的周围连续出现放电点的概率是否大于第一阈值；
83.第五生成单元，用于若所述第二判断单元判断出，所述放电可疑区域的周围连续出现放电点的概率不大于第一阈值，则生成第一放电故障检测结果；其中，所述第一放电故障检测结果为用于表明所述阀厅当前不存在放电的放电故障检测结果；
84.所述第五生成单元，还用于若所述第二判断单元判断出，所述放电可疑区域的周围连续出现放电点的概率大于第一阈值，确定所述放电可疑区域为放电区域，并生成第二放电故障检测结果；其中，所述第二放电故障检测结果用于表明所述阀厅当前存在放电区域的放电故障检测结果；所述第二放电故障检测结果包括所述放电区域在所述第二目标图像中所处的位置。
85.可选的，所述过热检测单元，包括：
86.第四确定单元，用于根据预设的图像处理算法确定所述第一目标图像中的至少一个发热区域；
87.第二获取单元，用于针对每一个所述发热区域，获取所述发热区域的红外原始数据流；
88.温度确定单元，用于根据所述红外原始数据流，确定所述发热区域的温度；
89.第三判断单元，用于判断所述发热区域的温度是否大于第二阈值；
90.第六生成单元，用于若所述第三判断单元判断出，所述发热区域的温度不大于第二阈值，则生成第一过热故障检测结果；其中，所述第一过热故障检测结果为用于表明所述阀厅当前不存在过热区域的过热故障检测结果；
91.所述第六生成单元，还用于若所述第三判断单元判断出，所述发热区域的温度大于第二阈值，确定所述发热区域存在过热故障，并生成第二过热故障检测结果；其中，所述第二过热故障检测结果用于表明所述阀厅当前存在过热区域的过热故障检测结果；所述第二过热故障检测结果包括所述发热区域在所述第一目标图像中所处的位置。
92.可选的，所述渗水检测单元，包括：
93.第五确定单元，用于根据预设的图像分割算法确定所述第一目标图像中的至少一个渗水可疑区域；
94.队列信息生成单元，用于针对每一个所述渗水可疑区域，生成所述渗水可疑区域的队列信息；其中，所述队列信息表明所述渗水可疑区域的轮廓在时间序列上的变化；
95.第二计算单元，用于计算所述队列信息中所述渗水可疑区域的轮廓的面积平均变化率以及所述周长变化率；
96.第四判断单元，用于判断所述面积平均变化率是否大于第三阈值，以及所述周长变化率是否大于第四阈值；
97.第七生成单元，用于若所述第四判断单元判断出，所述面积平均变化率不大于第三阈值和/或所述周长变化率不大于第四阈值，则生成第一渗水故障检测结果；其中，所述第一渗水故障检测结果为用于表明所述阀厅当前不存在渗水区域的渗水故障检测结果；
98.所述第七生成单元，用于若所述第四判断单元判断出，所述面积平均变化率大于
第三阈值，以及所述周长变化率大于第四阈值，则确定所述渗水可疑区域存在渗水故障，并生成第二渗水故障检测结果；其中，所述第二渗水故障检测结果用于表明所述阀厅当前存在渗水区域的渗水故障检测结果；所述第二渗水故障检测结果包括所述渗水区域在所述第一目标图像中所处的位置。
99.本申请第三方面提供了一种阀厅的监测系统，包括：
100.前端多光谱采集单元、视频存储与交换单元、阀厅的监测装置、远程监控单元；
101.其中，所述前端多光谱采集单元包括：rgb相机、紫外相机、红外相机、云台和温度传感器；
102.所述温度传感器带有rs485通信接口，一体化集成到所述云台上；
103.所述视频存储与交换单元，包括网络视频录像模块以及数据交换机；
104.所述阀厅的监测装置，用于实现如第一方面任意一项所述的阀厅的监测方法；
105.所述远程监控单元，包括各种远程监控终端。
106.由以上方案可知，本申请提供的一种阀厅的监测方法、装置及系统中，所述阀厅的监测方法包括：获取待分析视频流；其中，所述待分析视频流包括：可见光图像、红外图像和紫外图像；将所述红外图像与所述可见光图像进行图像融合，得到第一目标图像；将所述紫外图像与所述可见光图像进行图像融合，得到第二目标图像；根据所述第一目标图像以及所述第二目标图像，对阀厅进行故障检测，得到故障检测结果；若所述故障检测结果表明所述阀厅当前存在故障，根据所述故障检测结果生成本次的故障信息；其中，所述故障信息包括故障位置以及故障类型。通过将可见光图像、红外图像、紫外图像结合起来，从而可以精确的确定阀厅中的发生的故障的故障类型及故障所处的位置。
附图说明
107.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
108.图1为本申请实施例提供的一种阀厅的监测方法的具体流程图；
109.图2为本申请另一实施例提供的一种将红外图像与可见光图像进行图像融合的方法的流程图；
110.图3为本申请另一实施例提供的一种将紫外图像与可见光图像进行图像融合的方法的流程图；
111.图4为本申请另一实施例提供的一种对阀厅进行故障检测的方法的流程图；
112.图5为本申请另一实施例提供的一种对阀厅进行明火故障检测的方法的流程图；
113.图6为本申请另一实施例提供的一种对阀厅进行放电故障检测的方法的流程图；
114.图7为本申请另一实施例提供的一种对阀厅进行过热故障检测的方法的流程图；
115.图8为本申请另一实施例提供的一种对阀厅进行渗水故障检测的方法的流程图；
116.图9为本申请另一实施例提供的一种阀厅的监测装置的示意图；
117.图10为本申请另一实施例提供的一种阀厅的检测系统的示意图。
具体实施方式
118.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
119.需要注意，本申请中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系，而术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
120.本申请实施例提供了一种阀厅的监测方法，如图1所示，具体包括以下步骤：
121.s101、获取待分析视频流。
122.其中，待分析视频流包括：可见光图像、红外图像和紫外图像。
123.需要说明的是，待分析视频流可以但不限于利用rgb相机采集可见光图像、利用紫外相机采集紫外图像、利用红外相机采集红外图像。rgb相机、紫外相机、红外相机可以加载于云台，并且云台可以受远程控制进行大范围角度旋转rgb相机、紫外相机、红外相机，进行视频、图像采集。
124.rgb相机是网络摄像机，可以直接输出数字视频流接入视频存储与交换单元；红外相机输出红外图像与原始温度数据，直接输出数字视频流接入视频存储与交换单元；紫外相机输出模拟信号，可以通过海康网络硬盘录像机(nvr)转化为数字信号后，再输出数字视频流接入视频存储与交换单元，在实际的应用过程中，可以从视频存储与交换单元获取待分析视频流，亦可以直接获取采集得到的可见光图像、红外图像和紫外图像，并生成视频流，此处不做限定。
125.s102、将红外图像与可见光图像进行图像融合，得到第一目标图像。
126.可选的，在本申请的另一实施例中，步骤s102的一种实施方式，如图2所示，包括：
127.s201、对红外图像进行预处理，生成目标红外图像。
128.其中，对红外图像进行预处理的方式包括但不限于裁剪、缩放、平移、灰度化、二值化等处理。
129.s202、分别提取目标红外图像和可见光图像的特征。
130.s203、将目标红外图像的特征和可见光图像的特征进行匹配，得到校正矩阵参数。
131.s204、利用校正矩阵参数对目标红外图像和可见光图像进行配准，得到第一目标图像。
132.s103、将紫外图像与可见光图像进行图像融合，得到第二目标图像。
133.可选的，在本申请的另一实施例中，步骤s103的一种实施方式，如图3所示，包括：
134.s301、对紫外图像进行预处理，生成目标紫外图像。
135.其中，对紫外图像进行预处理的方式包括但不限于裁剪、缩放、平移、灰度化、二值化，开闭运算、找连通域等处理。
136.s302、确定目标紫外图像和可见光图像之间的获得平移的校正参数和缩放的校正参数。
137.具体的，可以采用但不限于物理标定获取校正参数的方式，采用激光信号发射器发出几路紫外光信号，在一定距离内设置挡板，并标记光斑在挡板上的位置，得到可见光图像和紫外图像的成像差异获得平移的校正参数和缩放的校正参数。
138.s303、利用平移的校正参数和缩放的校正参数，对目标紫外图像和可见光图像进行调整，得到第二目标图像。
139.根据可见光图像和目标紫外图像的成像差异获得平移的校正参数和缩放的校正参数，将目标紫外图像和可见光图像调整至同一视角后，将目标紫外图像和可见光图像进行融合，得到第二目标图像。
140.s104、根据第一目标图像以及第二目标图像，对阀厅进行故障检测，得到故障检测结果。
141.根据第一目标图像以及第二目标图像，对阀厅进行故障检测之前，还可以对第一目标图像以及第二目标图像进行预处理，如滤除部分噪声，边缘锐化，将阀厅中的设备区域进行分割等，此处不做限定。
142.可选的，在本申请的另一实施例中，步骤s104的一种实施方式，如图4所示，包括：
143.s401、利用第一目标图像，对阀厅进行明火故障检测，得到明火故障检测结果。
144.可选的，在本申请的另一实施例中，步骤s401的一种实施方式，如图5所示，包括：
145.s501、根据预设的图像处理算法确定第一目标图像中的至少一个明火可疑区域。
146.具体的，当遇到火焰(明火)燃烧时会产生大量的电磁波辐射，其中电磁波的波段主要集中在红外区域以及可见光区域，紫外波段也存在一定量辐射，由于红外图像中火焰区域的亮度要远远高于其他区域，利用预设的图像处理算法分割火焰区域，但是由于白炽灯、卤素灯类似等热源也会发出类似于火焰的电磁波辐射，所以第一目标图像初步识别的区域只能作为明火可疑区域。
147.s502、针对每一个明火可疑区域，提取明火可疑区域在每一个时刻时的明火特征值。
148.其中，明火特征值包括：平均圆形度、面积平均变化率、周长平均变化率。
149.续接上述实例，在红外图像中白炽灯等物体的轮廓类似于圆形，大多数高温移动的干扰源如人等，也通常具有比较规则的形状，变化相对平缓，而火焰的形状是不规则的，其圆形度不但平均值较低，而且会随着时间变化而明显变化，因此，选择平均圆形度、面积平均变化率、周长平均变化率作为判断是否为火焰的重要判据。
150.s503、根据明火特征值，判断第一目标图像中是否存在明火。
151.其中，圆形度的计算公式如下：
[0152][0153]
a为明火可疑区域的面积；p为明火可疑区域的周常；c为明火可疑区域的圆形度。
[0154]
圆形度的平均变化率计算公式如下：
[0155]
[0156]
其中，n为圆形度特征向量的长度。
[0157]
可以理解的是，在本申请的实际应用过程中，还可以设定一个圆形度的阈值，从而排除部分干扰项，可以更好的统计圆形度动态变化规律，同理，也可以设定一个圆形度的平均变化率的阈值，从而可以排除圆形度变化平缓的数据。
[0158]
由于，火焰的形态随时间变化明显，面积平均变化率、周长平均变化率也可以作为排除项的重要判据，面积变化率的计算公式如下：
[0159][0160]
面积平均变化率的计算公式如下：
[0161][0162]
周长变化率的计算公式如下：
[0163][0164]
周长平均变化率的计算公式如下：
[0165][0166]
可以理解的是，在本申请的实际应用过程中，还可以设定面积平均变化率的阈值，和周长平均变化率的阈值，从而排除面积与周常变换品换的干扰项。
[0167]
由于，在火焰的动态变化中，其轮廓形状会随时间不断变化，统计其轮廓形状变化率也可作为火焰的判据。首先提取明火可疑区域的轮廓v＝(x(i),y(i))，因此可以将轮廓视为一维复数序列：
[0168]
v(i)＝x(i)+jy(i)；
[0169]
对其做离散余弦变换：
[0170][0171][0172]
其中，其中低频部分主要反映区域的整体形状，取低频部分的系数，定义形状描述系数为：
[0173][0174]
并通过以下公式利用欧式距离计算任意两个轮廓s1、s2之间的形状变化：
[0175][0176]
可以理解的是，在本申请的实际应用过程中，还可以设定每一帧图像间的形状变化阈值，对含m个特征元素的特征队列统计相邻两帧间形状变化大于形状变化阈值的特征元素总数，若小于m/3认为轮廓在时间序列上变化不明显，仅以此举例，不以此为限，在实际
应用中根据实际需求选择相应的数值，则该特征队列追踪的发热目标不认为是火焰。
[0177]
需要说明的是，在本申请实施例的应用场景下可能存在多个发热源，首先，利用启发式分类算法对特征值进行分类归队。对每一个明火可疑区域利用上述算法，可求得其各个特征值，例如：对一个明火可疑区域可以计算其圆形度，面积，周长，形状描述系数，这一组特征值称为此明火可疑区域的特征元素q。
[0178]
并通过如下公式计算的到特征元素q的位置属性：
[0179][0180]
其中，(x(i),y(i))为组成明火可疑区域轮廓的点，(x
q
,y
q
)为特征元素q的位置，即为明火可疑区域的轮廓中心。
[0181]
将特征元素输入动态特征池中，多个特征元素按时间顺序排列，组成了一个特征队列q，一个特征队列对应红外图像中的一个发热源，定义当前队列跟踪的发热目标区域在图像中的中心坐标值为队列的位置属性；当t时刻，一个新的特征元素q加入队列时，通过以下公式采用“加权平均运动”更新队列的位置：
[0182][0183]
其中，λ为平滑因子，λ较大时，新加入的元素对队列的位置属性影响较大，队列可以快速的跟踪元素的位置变化，但是抖动也较大，容易受个别元素影响导致跟踪失败；λ较小时，新加入的元素对队列的位置属性影响较小，历史元素对队列的位置影响较大，队列位置抖动较小，但是当λ过小时，不能有效的跟踪元素的位置变化，因此需要技术人员经过测试后为λ选择合适的值。
[0184]
通过如下公式计算特征元素或特征队列的距离为欧式距离：
[0185][0186]
并定义特征元素和特征队列之间的三种操作：
[0187]
元素归队：特征元素加入某个特征队列的末尾，更新队列位置；
[0188]
创建队列：创建一个新的特征队列，即一个新的发热区域的特征时间序列；队列融合：
[0189]
将两个队列融合为一个队列，元素按时间顺序排列，若同一时间出现多个元素，保留面积较大者。当新元素加入动态特征池，利用距离公式计算其与所有队列的距离d
n
，取最小距离和对应的队列d
min
、q
min
。设定最大归队距离阈值d
th
，当d
min
≤d
th
时，将元素归入q
min
队列，否则创建新队列；检查新队列与其它队列的距离，当存在距离小于d
th
的情况时，将两个队列合并。
[0190]
最后利用动态特征算法对每个队列分别进行分析，实现了对多目标的跟踪与检测。
[0191]
具体的，若判断出第一目标图像中不存在明火，则执行步骤s504；若判断出第一目
标图像中存在明火，则执行步骤s505。
[0192]
s504、生成第一明火故障检测结果。
[0193]
其中，第一明火故障检测结果为用于表明阀厅当前不存在明火的明火故障检测结果。
[0194]
s505、确定明火在第一目标图像中所处的位置，生成第二明火故障检测结果。
[0195]
其中，第二明火故障检测结果用于表明阀厅当前存在明火区域的明火故障检测结果；第二明火故障检测结果包括明火区域在第一目标图像中所处的位置。
[0196]
s402、利用第二目标图像，对阀厅进行放电故障检测，得到放电故障检测结果。
[0197]
可选的，在本申请的另一实施例中，步骤s402的一种实施方式，如图6所示，包括：
[0198]
s601、根据预设的图像检测算法确定第二目标图像中的至少一个放电可疑区域。
[0199]
具体的，像素亮度信息在第二目标图像中可以很容易得到放电可疑区域。但是放电可疑区域中可能同时包含放电点与紫外噪点。
[0200]
s602、针对每一个放电可疑区域，计算放电可疑区域的周围连续出现放电点的概率。
[0201]
s603、判断放电可疑区域的周围连续出现放电点的概率是否大于第一阈值。
[0202]
由于，紫外图像下放电点具有高亮度的特点，所以可以利用简单的图像检测技术，检测出单帧图像中的可疑放电点，根据放电负样本，统计紫外噪声的分布，利用概论模型拟合，可得到噪声的概率密度函数f(t)。
[0203]
利用启发式特征分类算法构建可疑放电区域在时间上的序列，计算序列为噪声序列的概率：
[0204][0205]
其中，t为同一队列中当前光斑与上一个光斑之间的时间差，通过与对应的第一阈值比较来判断待检测设备是否存在放电故障，当p
q
＜0.01时，判断此序列为放电序列，仅以此举例，不以此为限，在实际应用中根据实际需求选择相应的第一阈值。
[0206]
具体的，若判断出放电可疑区域的周围连续出现放电点的概率不大于第一阈值，则执行步骤s604；若判断出放电可疑区域的周围连续出现放电点的概率大于第一阈值，则执行步骤s605。
[0207]
s604、生成第一放电故障检测结果。
[0208]
其中，第一放电故障检测结果为用于表明阀厅当前不存在放电的放电故障检测结果。
[0209]
s605、确定放电可疑区域为放电区域，并生成第二放电故障检测结果。
[0210]
其中，第二放电故障检测结果用于表明阀厅当前存在放电区域的放电故障检测结果；第二放电故障检测结果包括放电区域在第二目标图像中所处的位置。
[0211]
s403、利用第一目标图像，对阀厅进行过热故障检测，得到过热故障检测结果。
[0212]
可选的，在本申请的另一实施例中，步骤s403的一种实施方式，如图7所示，包括：
[0213]
s701、根据预设的图像处理算法确定第一目标图像中的至少一个发热区域。
[0214]
s702、针对每一个发热区域，获取发热区域的红外原始数据流。
[0215]
s703、根据红外原始数据流，确定发热区域的温度。
[0216]
具体的，确定发热区域中每一个发热点的温度t。
[0217]
s704、判断发热区域的温度是否大于第二阈值。
[0218]
续接上述实例，首先，根据t以及环境温度参照体表面温度t
e
计算温升θ：
[0219]
θ＝t
‑
t
e
；
[0220]
计算不同被测设备或同一被测设备不同部位之间的温差d：
[0221]
d＝t1‑
t2；
[0222]
比较当前温差d与正常工作温差阈值d
th
，当时发出警报，例如：规定金属导线温升>15k时，判定为严重缺陷，仅以此举例，不以此为限，在实际应用中根据实际需求选择相应的阈值。
[0223]
根据温升θ与温差d计算相对温差δ
t
：
[0224][0225]
比较当前相对温差δ
t
与正常工作相对温差阈值δ
th
，即第二阈值，当δ
t
＞δ
th
时发出警报。例如：规定金属导线相对温差≥95％时，判定为危急缺陷，仅以此举例，不以此为限，在实际应用中根据实际需求选择相应的阈值。
[0226]
具体的，若判断出发热区域的温度不大于第二阈值，则执行步骤s705；若判断出发热区域的温度大于第二阈值，则执行步骤s706。
[0227]
s705、生成第一过热故障检测结果。
[0228]
其中，第一过热故障检测结果为用于表明阀厅当前不存在过热区域的过热故障检测结果。
[0229]
s706、确定发热区域存在过热故障，并生成第二过热故障检测结果。
[0230]
其中，第二过热故障检测结果用于表明阀厅当前存在过热区域的过热故障检测结果；第二过热故障检测结果包括发热区域在第一目标图像中所处的位置。
[0231]
s404、利用第一目标图像，对阀厅进行渗水故障检测，得到渗水故障检测结果。
[0232]
可选的，在本申请的另一实施例中，步骤s404的一种实施方式，如图8所示，包括：
[0233]
s801、根据预设的图像分割算法确定第一目标图像中的至少一个渗水可疑区域。
[0234]
具体的，利用预设的图像分割算法求出单帧第一目标图像中的渗水可疑区域。
[0235]
s802、针对每一个渗水可疑区域，生成渗水可疑区域的队列信息。
[0236]
其中，队列信息表明渗水可疑区域的轮廓在时间序列上的变化；
[0237]
s803、计算队列信息中渗水可疑区域的轮廓的面积平均变化率以及周长变化率。
[0238]
渗水是指由于管道破损，连接处密封不严等原因，管道里的水渗透扩散至设备表面甚至出现滴水的情况；当冷却水渗出时，水温度低于运行设备的温度时，会在红外热像仪下呈现出一片连续的，孤立的低温区域。
[0239]
因此，计算队列信息中渗水可疑区域的轮廓的面积平均变化率以及周长变化率可以参见上述实施例中明火可疑区域的轮廓的面积平均变化率以及周长变化率的计算方法，此处不再赘述。
[0240]
s804、判断面积平均变化率是否大于第三阈值。
[0241]
具体的，若判断出面积平均变化率不大于第三阈值，则执行步骤s805；若判断出面积平均变化率大于第三阈值，则执行步骤s806。
[0242]
s805、生成第一渗水故障检测结果。
[0243]
其中，第一渗水故障检测结果为用于表明阀厅当前不存在渗水区域的渗水故障检测结果。
[0244]
s806、判断周长变化率是否大于第四阈值。
[0245]
具体的，若判断出周长变化率不大于第三阈值，则执行步骤s805；若判断出周长变化率大于第三阈值，则执行步骤s807。
[0246]
s807、确定渗水可疑区域存在渗水故障，并生成第二渗水故障检测结果。
[0247]
其中，第二渗水故障检测结果用于表明阀厅当前存在渗水区域的渗水故障检测结果；第二渗水故障检测结果包括渗水区域在第一目标图像中所处的位置。
[0248]
s405、将明火故障检测结果、放电故障检测结果、过热故障检测结果和渗水故障检测结果，作为故障检测结果。
[0249]
s105、若故障检测结果表明阀厅当前存在故障，根据故障检测结果生成本次的故障信息。
[0250]
其中，故障信息包括故障位置以及故障类型。
[0251]
由于，本申请对过热、明火、渗水、放电四种故障实时同步进行检测，但是除渗水故障外，其他三种故障并非相互独立，当明火故障发生时，红外图像中高温火焰区域同样会被检测为过热故障，火焰在紫外波段释放的辐射会被检测为放电故障，将这种现象称为故障之间的重叠。故障的重叠会引发错误的类型的故障警报。
[0252]
如表1所示，列出了四种故障检测的重叠情况：
[0253]
故障类型涉及通道重叠情况过热红外与明火重叠明火紫外、红外与明火、放电重叠放电紫外与明火重叠渗水红外独立无重叠
[0254]
表1
[0255]
为了消除故障重叠引起的故障类型错误检测，需要结合各类故障检测综合分析决策。当明火故障发生时，由于检测算法原因，过热和放电检测会先于明火检测立即判断故障发生，如果立即发出过热或放电警报，则出现警报类型错误。为了消除这种错误，当检测到过热或放电时需要等待一段时间，结合明火检测的结果综合分析故障类型，这段时间称为“冲突等待时间”，如果经过冲突等待后未检测到明火，则发出响应类型警报。当检测到明火故障时，需要结合过热和放电故障的检测结果，如果有过热和放电故障在等待，则发出明火警报，取消前两种警报。
[0256]
设置一个发送缓冲区，当放电或过热被检测到时，即刻生成故障报文、故障截图以及故障短视频，将故障信息加入缓冲区开始冲突等待，等待结束后，发送故障信息，当检测到明火故障时，检查发送缓冲区中的故障信息，当存在放电与过热故障信息时，生成并发送明火故障信息，且清空缓冲区。这样做的好处是可以在过热和放电发生时，及时的捕捉并保存故障信息，避免等待结束后丢失了相应的故障图像与短视频等信息，并且在等待结束后能立刻发送故障信息，降低了系统延迟，火焰检测结合了过热与放电检测的结果综合分析，可以进一步降低误检率。
[0257]
由以上方案可知，本申请提供的一种阀厅的监测方法中：获取待分析视频流；其中，待分析视频流包括：可见光图像、红外图像和紫外图像；将红外图像与可见光图像进行图像融合，得到第一目标图像；将紫外图像与可见光图像进行图像融合，得到第二目标图像；根据第一目标图像以及第二目标图像，对阀厅进行故障检测，得到故障检测结果；若故障检测结果表明阀厅当前存在故障，根据故障检测结果生成本次的故障信息；其中，故障信息包括故障位置以及故障类型。通过将可见光图像、红外图像、紫外图像结合起来，从而可以精确的确定阀厅中的发生的故障的故障类型及故障所处的位置。
[0258]
本申请另一实施例提供了一种阀厅的监测装置，如图9所示，包括：
[0259]
第一获取单元901，用于获取待分析视频流。
[0260]
其中，待分析视频流包括：可见光图像、红外图像和紫外图像。
[0261]
第一融合单元902，用于将红外图像与可见光图像进行图像融合，得到第一目标图像。
[0262]
可选的，在本申请的另一实施例中，第一融合单元902的一种实施方式，包括：
[0263]
第二生成单元，用于对红外图像进行预处理，生成目标红外图像。
[0264]
第一提取单元，用于分别提取目标红外图像和可见光图像的特征。
[0265]
匹配单元，用于将目标红外图像的特征和可见光图像的特征进行匹配，得到校正矩阵参数。
[0266]
第一融合子单元，用于利用校正矩阵参数对目标红外图像和可见光图像进行配准，得到第一目标图像。
[0267]
本申请上述实施例公开的单元的具体工作过程，可参见对应的方法实施例内容，如图2所示，此处不再赘述。
[0268]
第二融合单元903，用于将紫外图像与可见光图像进行图像融合，得到第二目标图像。
[0269]
可选的，在本申请的另一实施例中，第二融合单元903的一种实施方式，包括：
[0270]
第三生成单元，用于对紫外图像进行预处理，生成目标紫外图像。
[0271]
第一确定单元，用于确定目标紫外图像和可见光图像之间的获得平移的校正参数和缩放的校正参数。
[0272]
第二融合子单元，用于利用平移的校正参数和缩放的校正参数，对目标紫外图像和可见光图像进行调整，得到第二目标图像。
[0273]
本申请上述实施例公开的单元的具体工作过程，可参见对应的方法实施例内容，如图3所示，此处不再赘述。
[0274]
检测单元904，用于根据第一目标图像以及第二目标图像，对阀厅进行故障检测，得到故障检测结果。
[0275]
可选的，在本申请的另一实施例中，检测单元904的一种实施方式，包括：
[0276]
明火检测单元，用于利用第一目标图像，对阀厅进行明火故障检测，得到明火故障检测结果。
[0277]
放电检测单元，用于利用第二目标图像，对阀厅进行放电故障检测，得到放电故障检测结果。
[0278]
过热检测单元，用于利用第一目标图像，对阀厅进行过热故障检测，得到过热故障
检测结果。
[0279]
渗水检测单元，用于利用第一目标图像，对阀厅进行渗水故障检测，得到渗水故障检测结果。
[0280]
检测结果生成单元，用于将明火故障检测结果、放电故障检测结果、过热故障检测结果和渗水故障检测结果，作为故障检测结果。
[0281]
本申请上述实施例公开的单元的具体工作过程，可参见对应的方法实施例内容，如图4所示，此处不再赘述。
[0282]
可选的，在本申请的另一实施例中，明火检测单元的一种实施方式，包括：
[0283]
第二确定单元，用于根据预设的图像处理算法确定第一目标图像中的至少一个明火可疑区域。
[0284]
第二提取单元，用于针对每一个明火可疑区域，提取明火可疑区域在每一个时刻时的明火特征值。
[0285]
其中，明火特征值包括：平均圆形度、面积平均变化率、周长平均变化率。
[0286]
第一判断单元，用于根据明火特征值，判断第一目标图像中是否存在明火。
[0287]
第四生成单元，用于若第一判断单元判断出，第一目标图像中不存在明火，则生成第一明火故障检测结果。
[0288]
其中，第一明火故障检测结果为用于表明阀厅当前不存在明火的明火故障检测结果。
[0289]
第四生成单元，还用于若第一判断单元判断出，第一目标图像中存在明火，则确定明火在第一目标图像中所处的位置，并生成第二明火故障检测结果。
[0290]
其中，第二明火故障检测结果用于表明阀厅当前存在明火区域的明火故障检测结果；第二明火故障检测结果包括明火区域在第一目标图像中所处的位置。
[0291]
本申请上述实施例公开的单元的具体工作过程，可参见对应的方法实施例内容，如图5所示，此处不再赘述。
[0292]
可选的，在本申请的另一实施例中，放电检测单元的一种实施方式，包括：
[0293]
第三确定单元，用于根据预设的图像检测算法确定第二目标图像中的至少一个放电可疑区域。
[0294]
第一计算单元，用于针对每一个放电可疑区域，计算放电可疑区域的周围连续出现放电点的概率。
[0295]
第二判断单元，用于判断放电可疑区域的周围连续出现放电点的概率是否大于第一阈值。
[0296]
第五生成单元，用于若第二判断单元判断出，放电可疑区域的周围连续出现放电点的概率不大于第一阈值，则生成第一放电故障检测结果。
[0297]
其中，第一放电故障检测结果为用于表明阀厅当前不存在放电的放电故障检测结果。
[0298]
第五生成单元，还用于若第二判断单元判断出，放电可疑区域的周围连续出现放电点的概率大于第一阈值，确定放电可疑区域为放电区域，并生成第二放电故障检测结果。
[0299]
其中，第二放电故障检测结果用于表明阀厅当前存在放电区域的放电故障检测结果；第二放电故障检测结果包括放电区域在第二目标图像中所处的位置。
[0300]
本申请上述实施例公开的单元的具体工作过程，可参见对应的方法实施例内容，如图6所示，此处不再赘述。
[0301]
可选的，在本申请的另一实施例中，过热检测单元的一种实施方式，包括：
[0302]
第四确定单元，用于根据预设的图像处理算法确定第一目标图像中的至少一个发热区域。
[0303]
第二获取单元，用于针对每一个发热区域，获取发热区域的红外原始数据流。
[0304]
温度确定单元，用于根据红外原始数据流，确定发热区域的温度。
[0305]
第三判断单元，用于判断发热区域的温度是否大于第二阈值。
[0306]
第六生成单元，用于若第三判断单元判断出，发热区域的温度不大于第二阈值，则生成第一过热故障检测结果。
[0307]
其中，第一过热故障检测结果为用于表明阀厅当前不存在过热区域的过热故障检测结果。
[0308]
第六生成单元，还用于若第三判断单元判断出，发热区域的温度大于第二阈值，确定发热区域存在过热故障，并生成第二过热故障检测结果。
[0309]
其中，第二过热故障检测结果用于表明阀厅当前存在过热区域的过热故障检测结果；第二过热故障检测结果包括发热区域在第一目标图像中所处的位置。
[0310]
本申请上述实施例公开的单元的具体工作过程，可参见对应的方法实施例内容，如图7所示，此处不再赘述。
[0311]
可选的，在本申请的另一实施例中，渗水检测单元的一种实施方式，包括：
[0312]
第五确定单元，用于根据预设的图像分割算法确定第一目标图像中的至少一个渗水可疑区域。
[0313]
队列信息生成单元，用于针对每一个渗水可疑区域，生成渗水可疑区域的队列信息。
[0314]
其中，队列信息表明渗水可疑区域的轮廓在时间序列上的变化。
[0315]
第二计算单元，用于计算队列信息中渗水可疑区域的轮廓的面积平均变化率以及周长变化率。
[0316]
第四判断单元，用于判断面积平均变化率是否大于第三阈值，以及周长变化率是否大于第四阈值。
[0317]
第七生成单元，用于若第四判断单元判断出，面积平均变化率不大于第三阈值和/或周长变化率不大于第四阈值，则生成第一渗水故障检测结果。
[0318]
其中，第一渗水故障检测结果为用于表明阀厅当前不存在渗水区域的渗水故障检测结果。
[0319]
第七生成单元，用于若第四判断单元判断出，面积平均变化率大于第三阈值，以及周长变化率大于第四阈值，则确定渗水可疑区域存在渗水故障，并生成第二渗水故障检测结果。
[0320]
其中，第二渗水故障检测结果用于表明阀厅当前存在渗水区域的渗水故障检测结果；第二渗水故障检测结果包括渗水区域在第一目标图像中所处的位置。
[0321]
本申请上述实施例公开的单元的具体工作过程，可参见对应的方法实施例内容，如图8所示，此处不再赘述。
[0322]
第一生成单元905，若故障检测结果表明阀厅当前存在故障，根据故障检测结果生成本次的故障信息。
[0323]
其中，故障信息包括故障位置以及故障类型。
[0324]
本申请上述实施例公开的单元的具体工作过程，可参见对应的方法实施例内容，如图1所示，此处不再赘述。
[0325]
由以上方案可知，本申请提供的一种阀厅的监测装置中：第一获取单元901获取待分析视频流；其中，待分析视频流包括：可见光图像、红外图像和紫外图像；第一融合单元902将红外图像与可见光图像进行图像融合，得到第一目标图像；第二融合单元903将紫外图像与可见光图像进行图像融合，得到第二目标图像；检测单元904根据第一目标图像以及第二目标图像，对阀厅进行故障检测，得到故障检测结果；若故障检测结果表明阀厅当前存在故障，第一生成单元905根据故障检测结果生成本次的故障信息；其中，故障信息包括故障位置以及故障类型。通过将可见光图像、红外图像、紫外图像结合起来，从而可以精确的确定阀厅中的发生的故障的故障类型及故障所处的位置。
[0326]
本申请另一实施例提供了阀厅的监测系统，如图10所示，包括：
[0327]
前端多光谱采集单元、视频存储与交换单元、阀厅的监测装置、远程监控单元。
[0328]
其中，前端多光谱采集单元包括：rgb相机、紫外相机、红外相机、云台和温度传感器。
[0329]
温度传感器带有rs485通信接口，一体化集成到云台上。
[0330]
视频存储与交换单元，包括网络视频录像模块以及数据交换机。
[0331]
阀厅的监测装置，用于实现如上述实施例中任意一项的阀厅的监测方法。
[0332]
远程监控单元，包括各种远程监控终端。
[0333]
其中，前端采集模块与阀厅的监测装置相连，实现视频流的传输，智能阀厅的监测装置与远程监控终端相连，实现视频流的分析处理和远程终端的交互控制。
[0334]
远程监控终端，不仅可展现前端采集模块采集的实时视频流，进行管理和设置，而且当有接收到随视频流的报警信息时，可进行信息剥离并启动界面显示，同时向阀厅的监测装置请求报警信息视频，用于取证、存档与分析。
[0335]
本申请另一实施例提供了一种计算机存储介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现如上述实施例中任意一项所述的阀厅的监测方法。
[0336]
在本申请公开的上述实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本公开的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0337]
另外，在本公开各个实施例中的各功能模块可以集成在一起形成一个独立的部
分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，直播设备，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，randomaccess memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0338]
专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。