安全监控方法、装置、终端及计算机可读存储介质与流程

1.本技术属于计算机技术领域，具体涉及一种安全监控方法、装置、终端及计算机可读存储介质。


背景技术：

2.随着自动驾驶技术的发展，工业现场也越来越多的采用自动化机械设备来代替人工完成现场作业。
3.然而，由于工业现场的环境较复杂，由自动化机械设备驱动的工业现场目前仍需要人工监控，如此一来，在人工监控需要的人数和人工驾驶需要的人数相差不多的情况下，工业现场的低成本优势便无法实现。


技术实现要素：

4.有鉴于此，本技术提供了一种安全监控方法、装置、终端及计算机可读存储介质，可以解决工业现场人工监控成本高的问题。
5.本技术实施例的第一方面提供了一种安全监控方法，包括：
6.获取至少两个传感器在ti时刻采集的现场数据，所述至少两个传感器安装在现场设备上，i为大于或等于1的自然数；
7.根据所述至少两个传感器在ti时刻采集的现场数据和所述现场设备在历史周期的工作状态，得到现场设备在当前周期的工作状态si，所述当前周期为ti时刻至t
i+1
时刻对应的周期；
8.根据所述现场设备在当前周期的工作状态si，得到所述现场设备在当前周期的安全等级ai。
9.在第一方面的另一种实现方式中，在所述获取至少两个传感器在ti时刻采集的现场数据之后，所述方法还包括：
10.将所述至少两个传感器在ti时刻采集的现场数据融合，得到融合数据；
11.相应的，所述根据所述至少两个传感器在ti时刻采集的现场数据和所述现场设备在历史周期的工作状态，得到现场设备在当前周期的工作状态si，包括：
12.在所述融合数据服从高斯分布、所述融合数据的期望满足第一条件且所述融合数据的方差满足第二条件的情况下，根据所述至少两个传感器在ti时刻采集的现场数据和所述现场设备在历史周期的工作状态，得到现场设备在当前周期的工作状态si。
13.在第一方面的另一种实现方式中，在所述得到融合数据之后，所述方法还包括：
14.在所述融合数据服从高斯分布的情况下，若所述融合数据的期望不满足所述第一条件或所述融合数据的方差不满足所述第二条件，发出警报提示信息，所述警报提示信息用于请求人工干预；
15.在所述融合数据不服从高斯分布的情况下，发出警报提示信息，所述警报提示信息用于请求人工干预。
16.在第一方面的另一种实现方式中，在所述得到所述现场设备在当前周期的安全等级ai之后，所述方法还包括：
17.根据当前周期的安全等级ai和历史周期的安全等级得到安全预测等级ωi；
18.在所述安全预测等级ωi满足报警条件之后，发出警报提示信息，所述警报提示信息用于请求人工干预。
19.在第一方面的另一种实现方式中，所述根据当前周期的安全等级ai和历史周期的安全等级得到安全预测等级ωi，包括：
20.将当前周期的安全等级ai和历史上最后n个周期的安全等级累加，得到安全预测等级ωi；
21.将当前周期的安全等级ai和历史上最后n个周期的安全等级进行加权求和，得到安全预测等级ωi；
22.将当前周期的安全等级ai和全部历史周期的安全等级进行加权求和，得到安全预测等级ωi。
23.在第一方面的另一种实现方式中，所述历史周期中的第i个历史周期早于第j个历史周期，第i个历史周期的安全等级的权重小于第j个历史周期的安全等级的权重。
24.在第一方面的另一种实现方式中，所述传感器包括以下至少两种：视觉传感器、激光雷达传感器、定位传感器和状态观测器。
25.本技术实施例的第二方面提供了一种安全监控装置，包括：
26.第一获取模块，用于获取至少两个传感器在ti时刻采集的现场数据，所述至少两个传感器安装在现场设备上；
27.第二获取模块，用于根据所述至少两个传感器在ti时刻采集的现场数据和所述现场设备在历史周期的工作状态，得到现场设备在当前周期的工作状态si，所述当前周期为ti时刻至t
i+1
时刻对应的周期；
28.第三获取模块，用于根据所述现场设备在当前周期的工作状态si，得到所述现场设备在当前周期的安全等级ai。
29.本技术实施例的第三方面提供了一种终端，包括：处理器，所述处理器用于运行存储器中存储的计算机程序，以实现如第一方面所述的安全监控方法。
30.本技术实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储计算机程序，所述计算机程序在处理器上运行时实现本技术第一方面任一项的安全监控方法。
31.本技术实施例在获取至少两个传感器在ti时刻采集的现场数据，所述至少两个传感器安装在现场设备上；根据所述至少两个传感器在ti时刻采集的现场数据和所述现场设备在历史周期的工作状态，得到现场设备在当前周期的工作状态si，所述当前周期为ti时刻至t
i+1
时刻对应的周期；根据所述现场设备在当前周期的工作状态si，得到所述现场设备在当前周期的安全等级ai。通过上述方法，可以实现对工业现场安全等级的自动监控，从而可以有效解决工业现场人工监控成本高的问题。可以理解的是，上述第二方面至第四方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
32.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图，而并不超出本技术要求保护的范围。
33.图1示出本技术实施例提供的一种安全监控方法的流程示意图；
34.图2示出本技术另一实施例提供的一种安全监控方法的流程示意图；
35.图3示出本技术实施例提供的一种系统模型的示意图；
36.图4示出本技术另一实施例提供的一种安全监控方法的流程示意图；
37.图5示出本技术另一实施例提供的一种安全监控方法的流程示意图；
38.图6示出本技术另一实施例提供的一种安全监控方法的流程示意图；
39.图7示出本技术实施例提供的一种衰减函数的关系示意图；
40.图8示出本技术实施例提供的一种安全监控装置的组成示意框图；
41.图9示出本技术实施例提供的一种终端的组成示意框图。
具体实施方式
42.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
43.此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本技术的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本技术的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本技术的各方面。
44.本领域技术人员可以理解，附图只是示例实施例的示意图，可能不是按比例的。附图中的模块或流程并不一定是实施本技术所必须的，因此不能用于限制本技术的保护范围。
45.参见图1，是本发明实施例提供的一种安全监控方法的流程示意图，如图所示，该路面病害检测方法可以包括以下步骤：
46.s11，获取至少两个传感器在ti时刻采集的现场数据，至少两个传感器安装在现场设备上，i为大于或等于1的自然数。
47.本技术实施例中，现场数据可以是无人机械设备采集的工业现场(比如，矿场)的数据，相应的，现场设备即可是无人机械设备，该无人机械设备上安装有至少两个传感器，其中，安装于无人机械设备上的传感器可以是实际传感器(比如，视觉传感器、激光雷达传感器和定位传感器等)，也可以是虚拟传感器(比如，状态观测器)。
48.作为示例，现场数据可以是矿场的三维地图(可通过无人机搭载视觉传感器和激光雷达传感器采集的数据得到矿场的三维地图，也可通过装备视觉传感器和激光雷达传感器的轮式载具获得矿场的三维地图；还可通过装备传感器的车辆对矿场环境进行遍历采
集，得到矿场的三维地图)、机械的定位位置(可通过无人机械设备上的定位传感器采集的数据得到无人机械的定位位置)、视觉传感器或激光雷达传感器的成像数据，等等。
49.s12，根据至少两个传感器在ti时刻采集的现场数据和现场设备在历史周期的工作状态，得到现场设备在当前周期的工作状态si，当前周期为ti时刻至t
i+1
时刻对应的周期。
50.作为示例，假设矿场中的无人机械设备1(即现场设备)在ti时刻采集的现场数据为ui，无人机械设备1在历史周期(t
i-1
时刻到ti时刻)的工作状态为s
i-1
。将ui和s
i-1
输入预先训练后的工作状态预测模型后，工作状态预测模型根据si＝fs
i-1
+ui，预测得到当前周期ti(ti时刻至t
i+1
时刻)，无人机械设备1的工作状态si，作为示例，其中，p
x,m,i
,p
y,m,i
,p
z,m,i
为预测的现场设备在当前周期ti时刻至t
i+1
时刻的三轴坐标，υ
x,m.i
,υ
y,m.i
,υ
z,m.i
为预测的现场设备在当前周期ti时刻至t
i+1
时刻现场设备在三轴上的矢量速度。需要说明的是，本技术实施例中可以矿场的大门口作为原点建立坐标系，但是，也可以根据其它原因，用其它关键点作为建立矿山三坐标的原点。
51.其中，f是状态更新矩阵。该状态更新矩阵可以是人为输入的，也可以是工作状态预测模型根据训练集自己学习得到的。作为示例，f可以是如下矩阵：
[0052][0053]
其中，作为示例，d可参照如下矩阵:
[0054][0055]
当然，需要说明的是，上述工作状态预测模型是对隐马尔可夫模型(hidden markov model，hmm)或循环神经网络(recurrent neural network,rnn)进行训练后得到的。当工作状态预测模型是对隐马尔可夫模型(hidden markov model，hmm)进行训练后得到的模型时，f是人为手动输入至hmm模型的状态更新矩阵，并且该状态更新矩阵是固定的。当工作状态预测模型是对rnn模型进行训练后得到的模型时，f是rnn根据训练集自动学习得到的状态更新矩阵，可以理解，此时的f虽然也是固定的，但不再是简单的，它可以有很强的非线性，即强非线性可以使预测的现场设备的工作状态更加接近于事实。在实际应用中，可以根据需要选择合适的模型进行训练，以得到本技术中的工作状态预测模型。
[0056]
在得到工作状态预测模型后，迭代使用如下工作状态更新方程，即可预测得到n时刻后，现场设备的工作状态为：
[0057][0058]
在对选择的hmm或rnn进行训练时，首先获取第一样本训练集，其中，第一样本训练
集包括现场设备的工作状态、历史周期的工作状态及其对应的预测工作状态；使用第一样本训练集对hmm或rnn模型进行训练，即可得到训练后的工作状态预测模型。
[0059]
s13，根据现场设备在当前周期的工作状态si，得到现场设备在当前周期的安全等级ai。
[0060]
本技术实施例中，在根据s12获得当前周期(ti时刻至t
i+1
时刻对应的周期)的工作状态si后，将该工作状态si输入至安全等级预测模型，即可得到当前周期(ti时刻至t
i+1
时刻对应的周期)现场设备的安全等级ai。
[0061]
其中，安全等级预测模型是通过获取的第二样本训练集对深度神经网络(deep neural networks，dnn)进行训练后得到的模型，其中，第二样本训练集包括现场设备的工作状态及其对应的安全等级。
[0062]
参见图2，在本技术另一实施例中，在获取至少两个传感器在ti时刻采集的现场数据之后，还包括：
[0063]
s22，将至少两个传感器在ti时刻采集的现场数据融合，得到融合数据。
[0064]
作为示例，参见图3为本技术实施例提供的系统模型的示意图，如图所示，将现场设备上激光雷达传感器、视觉传感器和定位传感器等传感器采集的现场数据进行融合，得到融合数据u1、u2、u3、u4。需要说明的是，图3中的融合数据u1、u2、u3、u4和现场设备上的传感器采集的现场数据m
t1
、m
t2
、m
t3
、m
t4
本质上是一样的，都可以称之为工业现场的现场数据。
[0065]
相应的，根据至少两个传感器在ti时刻采集的现场数据和现场设备在历史周期的工作状态，得到现场设备在当前周期的工作状态，包括：
[0066]
s23，在融合数据服从高斯分布、融合数据的期望满足第一条件且融合数据的方差满足第二条件的情况下，根据至少两个传感器在ti时刻采集的现场数据和现场设备在历史周期的工作状态，得到现场设备在当前周期的工作状态si。
[0067]
本技术实施例中，在融合数据满足高斯分布n(μ,σ2)，其中，μ为期望，σ2为方差；并且期望μ满足预设的第一条件且方差σ2满足预设的第二条件时，通过s12中描述的方法，即可得到现场设备在当前周期的工作状态si。
[0068]
作为示例，第一条件可以是融合数据的期望满足第一预设阈值，第二条件可以是融合数据的方差满足第二预设阈值，当然，第一预设阈值和第二预设阈值可以相同也可以不同，本技术对此不作特别限定。
[0069]
参见图4，在本技术另一实施例中，在得到融合数据之后，还包括：
[0070]
s43，在融合数据服从高斯分布的情况下，若融合数据的期望不满足第一条件或融合数据的方差不满足第二条件，发出警报提示信息，警报提示信息用于请求人工干预。
[0071]
本技术实施例中，在融合数据服从高斯分布n(μ,σ2)的情况下，其中，μ为期望，σ2为方差；若期望μ不满足预设的第一条件(比如，期望μ不满足第一预设阈值)或方差σ2不满足预设的第二条件时(比如，方差σ2不满足第二预设阈值)，说明融合数据出现明显的的矛盾，此时则可向监控后台推送报警提示信息，该报警提示信息可以是报警提示音，也可以是预警文字信息，亦可是同时发出报警提示音和推送预警文字信息，本技术对此不作特别限定。
[0072]
作为示例，在出现如下情况时，可以判定融合数据出现了明显矛盾：
[0073]
根据激光雷达传感器采集的现场数据确定前方有障碍物(由于粉尘干扰)，而根据视觉传感器采集的现场数据确定前方安全的时候。又比如说，当gps的定位信息给出的位移
显然小于由现场设备上的速度传感器给出的距离(由于地面的滑动)时，均可确定融合数据出现了明显的矛盾，也即工业现场的当前场景比较复杂。
[0074]
参见图5，在本技术另一实施例中，在得到融合数据之后，还包括：
[0075]
s53，在融合数据不服从高斯分布的情况下，发出警报提示信息，警报提示信息用于请求人工干预。
[0076]
本技术实施例中，在融合数据不服从高斯分布的情况，可以判定当前时刻工业现场的环境复杂，此时，即可向后台监控人员推送报警提示信息，用于请求人工干预。
[0077]
作为示例，在融合数据不服从高斯分布时，尽管融合数据也有自己的期望和方差，但此时的期望无法满足第一条件，方差无法满足第二条件，如此一来，即可判定工业现场的当前环境复杂，直接发出报警提示信息以请求人工干预。
[0078]
参见图6，在本技术另一实施例中，在得到现场设备在当前周期的安全等级ai之后，还包括：
[0079]
s64，根据当前周期的安全等级ai和历史周期的安全等级得到安全预测等级ωi。
[0080]
在本技术另一实施例中，根据当前周期的安全等级ai和历史周期的安全等级得到安全预测等级ωi，包括：
[0081]
将当前周期的安全等级ai和历史上最后n个周期的安全等级累加，得到安全预测等级ωi。
[0082]
作为示例，参见图3，假设当前周期的安全等级为a4，历史上最后n个周期的安全等级为a3和a2。则将a4、a3和a2直接进行累加，即可得到当前周期的安全预测等级ωi。
[0083]
将当前周期的安全等级ai和历史上最后n个周期的安全等级进行加权求和，得到安全预测等级ωi。
[0084]
作为示例，参加图3，假设当前周期的安全等级为a4，历史上最后n个周期的安全等级为a3和a2。参见图7，假设图7的函数关系为a＝f(t)，安全等级a4的加权系数即为a1＝f(0)，安全等级a3的加权系数即为a2＝f(t
4-t3)，安全等级a3的加权系数即为a3＝f(t
4-t3)，安全等级a2的加权系数即为a2＝f(t
4-t2)。
[0085]
根据图7可以看出，该函数呈递减模式，因此，a4》a3》a2。将安全等级a4以及与之对应的加权值a4，安全等级a3以及与之对应的加权值a3，安全等级a2以及与之对应的加权值a2，进行如下累加计算，即可得到安全预测等级ω4：
[0086]
ω4＝a4*a4+a3*a3+a2*a2[0087]
将当前周期的安全等级ai和全部历史周期的安全等级进行加权求和，得到安全预测等级ωi。
[0088]
作为示例，参加图3，假设当前周期的安全等级为a4，那么全部历史周期的安全等级即为a3、a2和a1。
[0089]
同样的，参见图7，假设图7的函数关系为a＝f(t)，安全等级a4的加权系数即为a1＝f(0)，安全等级a3的加权系数即为a2＝f(t
4-t3)，安全等级a3的加权系数即为a3＝f(t
4-t3)，安全等级a2的加权系数即为a2＝f(t
4-t2)，安全等级a1的加权系数即为a1＝f(t
4-t1)。
[0090]
因为图7的函数呈递减模式，所以，a4》a3》a2》a1。将安全等级a4以及与之对应的加权值a4，安全等级a3以及与之对应的加权值a3，安全等级a2以及与之对应的加权值a2，安全等级a1以及与之对应的加权值a1进行如下累加计算，即可得到安全预测等级ω4：
[0091]
ω4＝a4*a4+a3*a3+a2*a2+a1*a1[0092]
当然，在工业现场有很多现场设备时，可以将所有现场设备当前周期的安全等级和所有历史周期的安全等级进行加权求和，得到工业现场的安全等级，具体公式见如下：
[0093][0094]
其中，l为工业现场中所有现场设备的总和，a
n＝1,j＝3
代表第1辆车在时刻3的安全等级，显然，a
n＝1,j＝3
也会随着时间衰减。
[0095]
s65，在安全预测等级ωi满足报警条件之后，发出警报提示信息，警报提示信息用于请求人工干预。
[0096]
作为示例，假设报警条件为安全预测等级大于或等于8时，则发出报警提示信息。因此，在安全预测等级ωi满足报警条件之后，就会发出警报提示信息以请求人工干预。在本技术另一实施例中，历史周期中的第i个历史周期早于第j个历史周期，第i个历史周期的安全等级的权重小于第j个历史周期的安全等级的权重。
[0097]
对本技术实施例的描述，可参照图7及其相关实施例的描述，在此不再赘述。
[0098]
请参见图8所示，图8是本技术实施例提供的一种安全监控装置的结构示意图，该安全监控装置8应用于终端，该实施例的安全监控装置8包括：
[0099]
第一获取模块810，用于获取至少两个传感器在ti时刻采集的现场数据，至少两个传感器安装在现场设备上；
[0100]
第二获取模块820，用于根据至少两个传感器在ti时刻采集的现场数据和现场设备在历史周期的工作状态，得到现场设备在当前周期的工作状态si，当前周期为ti时刻至t
i+1
时刻对应的周期；
[0101]
第三获取模块830，用于根据现场设备在当前周期的工作状态si，得到现场设备在当前周期的安全等级ai。
[0102]
在本技术另一实施例中，所述安全监控装置还包括：
[0103]
第四获取模块，用于将至少两个传感器在ti时刻采集的现场数据融合，得到融合数据。
[0104]
相应的，第二获取模块820还用于：在融合数据服从高斯分布、融合数据的期望满足第一条件且融合数据的方差满足第二条件的情况下，根据至少两个传感器在ti时刻采集的现场数据和现场设备在历史周期的工作状态，得到现场设备在当前周期的工作状态si。
[0105]
在本技术另一实施例中，所述安全监控装置还包括：
[0106]
第一报警模块，用于在融合数据服从高斯分布的情况下，若融合数据的期望不满足第一条件或融合数据的方差不满足第二条件，发出警报提示信息，警报提示信息用于请求人工干预；
[0107]
在融合数据不服从高斯分布的情况下，发出警报提示信息，警报提示信息用于请求人工干预。
[0108]
在本技术另一实施例中，所述安全监控装置还包括：
[0109]
第五获取模块，用于根据当前周期的安全等级ai和历史周期的安全等级得到安全预测等级ωi；
[0110]
第二报警模块，用于在安全预测等级ωi满足报警条件之后，发出警报提示信息，
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0126]
所述存储器920可以是所述终端9的内部存储单元，例如终端9的硬盘或内存。所述存储器920也可以是所述终端9的外部存储设备，例如所述终端9上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，所述存储器920还可以既包括所述终端9的内部存储单元也包括外部存储设备。所述存储器920用于存储所述计算机程序以及所述终端9所需的其他程序和数据。所述存储器920还可以用于暂时地存储已经输出或者将要输出的数据。
[0127]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0128]
本技术另一实施例提供了一种计算机可读存储介质。本技术实施例提供的安全监控方法如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被一个或多个处理器执行时，可实现上述各个方法实施例的步骤。
[0129]
同样，作为一种计算机程序产品，当计算机程序产品在终端上运行时，使得终端执行时实现可实现上述各个方法实施例中的步骤。
[0130]
其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
[0131]
以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。