矿井海量瓦斯监测数据异常识别与处置系统及方法与流程

1.本发明属于瓦斯监测领域，涉及一种矿井海量瓦斯监测数据异常识别与处置系统及方法。


背景技术：

2.针对成辖区内煤矿每天产生少则上万多则上百万的瓦斯、粉尘、顶板等监测数据，多以关系数据库为基础，构建中短期(一般两年以内)数据存储系统，通过预设门限值进行实时报警，手工查询3到5天分钟统计值曲线，进行趋势偏离判识分析。这种方式，从技术层面看难以满足便捷查询、多维挖掘与实时处理的需求，对数据变化特征、趋势及规律判识智能化水平极低；从管理层面看工作量巨大、时效性滞后明显、有效性差，难以将事故防范节点迁移，实现有效监管。
3.现有的瓦斯异常识别主要从成因机理出发，模型复杂，需要采集矿井瓦斯地质条件、动态测定煤岩参数，适用于单个煤矿的瓦斯识别监管，普适性较差，无法满足大规模瓦斯数据的监管。因此亟需基于可采集的监测数据，采用大数据技术与方法，构建数据特征图谱，有效揭示矿井采掘重点区域监测数据的时空演变特征及规律，实现大范围内监测值异常变化自动锁定、识别与预警。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种基于数据驱动的煤矿瓦斯监测数据数理特征图谱构建方法，动态识别大规模瓦斯监测数据异常，解决海量瓦斯监测数据异常自动锁定、风险信息自动发布、动态追踪、快捷处置问题，实现机器辅助值班监管。
5.为达到上述目的，本发明提供如下技术方案：
6.一方面，本发明提供一种矿井海量瓦斯监测数据异常识别与处置系统，包括特征图谱构建模型、异常识别与处置模型、流式关联分析处理模块；
7.所述特征图谱构建模型用于对瓦斯监测数据的数据波动特征、数据均值偏离特征、数据恒定不变特征和数据趋势变化特征进行特征图谱构建；
8.所述异常识别与处置模型用于根据特征图谱，融合长中短期不同维度特征量化值，对数据进行监测、异常判识并处置；
9.所述流式关联分析处理模块用于对数据进行采集并存储，同时加载特征图谱构建模型、异常识别与处置模型，对瓦斯监测数据进行实时分析，并制定不同层级不同等级风险协同响应处置策略，固化业务流程，构建基于电子工单的异常处置模式，对海量瓦斯监测数据进行异常识别与快速处置。
10.进一步，所述流式关联分析处理模块包括数据采集器、数据存储与分析模块、风险处置模块；
11.所述数据采集器用于采集瓦斯监测数据，包括多种数据采集方式，通过采集配置ui实现文本文件、数据库、webapi形式接口数据的采集，将采集后的数据转换为规范化的格
式提交给kafka数据总线；采集的数据包括监测设备定义数据、实时数据、历史分钟数据、矿井基础数据；所述设备定义数据包括设备地址类型、所属工作面；所述实时数据和历史分钟数据包括值状态、是否处于调校、报警原因；所述矿井基础数据包括各个工作面采煤方法、循环作业班次、瓦斯等级；
12.所述数据存储与分析模块用于将采集的原始数据通过数据解析服务存入hbase，并映射存入hive中；针对采集的历史数据，根据数据冷热特性将热数据同时存入sqlserver关系数据库中，所述数据冷热特性根据数据的使用周期及频次进行划分；所述数据存储与分析模块还用于通过加载hive中的历史数据，通过sparkstreaming流式处理框架实时从kafka中获取时间窗的数据流，一方面调用特征图谱模型，实现特征图谱的构建和更新，并将结果存入sqlserver数据库中，另一方面调用异常识别与处置模型进行数据异常识别，并将异常识别结果推送给风险处置模块；
13.所述风险处置模块包括风险处置策略库和风险推送处置模块；所述风险处置策略库根据异常识别结果，建立各种异常处置机制，包括监测失效、中长期趋势缓慢上升、数据突变异常、报警、断电；根据风险值r确定风险等级和响应机制；
14.所述风险推送处置模块根据异常识别结果和风险等级，调用风险处置策略，自动生成电子工单，将风险信息推送给监管人员，并通过短信、手机终端提醒。
15.另一方面，本发明提供一种矿井海量瓦斯监测数据异常识别与处置方法，包括以下步骤：
16.s1：采集瓦斯监测数据，并进行预处理；
17.s2：将采集的数据进行存储，并通过特征图谱模型构建和更新特征图谱；
18.s3：通过异常识别与处置模型对数据进行异常识别；
19.s4：对异常识别结果进行风险等级划分，并给出相应的异常处置机制，推送给相关人员。
20.进一步，步骤s1中，对不同形式接口的瓦斯监测数据进行采集，将采集后的数据转换为规范化的格式提交给kafka数据总线；所述接口形式包括文本文件、数据库、webapi；所述瓦斯监测数据包括监测设备定义数据、实时数据、历史分钟数据、矿井基础数据；所述设备定义数据包括设备地址类型、所属工作面；所述实时数据和历史分钟数据包括值状态、是否处于调校、报警原因；所述矿井基础数据包括各个工作面采煤方法、循环作业班次、瓦斯等级。
21.进一步，步骤s2中所述将采集的数据进行存储，具体包括：
22.采集的原始数据通过数据解析服务存入hbase，并映射存入hive中；针对采集的历史数据，根据数据冷热特性将热数据同时存入sqlserver关系数据库中，提高数据的查询效率；数据冷热特性根据数据的使用周期及频次进行划分。
23.进一步，步骤s2中，所述特征图谱模型构建的特征图谱包括数据波动特征、数据均值偏离特征、数据恒定不变特征和数据趋势变化特征；
24.所述数据波动特征的计算方法包括：
25.采用真实波动幅度均值表征瓦斯浓度波动的程度，若监测周期t内有多个监测数据，其最大值与最小值之差即为真实波动幅度tr
t
即：
26.tr
t
＝x
t,high-x
t,low
27.式中：x
t,high
为监测周期t内的最大值，x
t,low
为监测周期t内的最小值；
28.真实波动幅度均值是多个监测周期的真实波动幅度平均值，采用指数移动平均的一种变形形式计算真实波动幅度均值：
[0029][0030]
式中n为监测周期个数；
[0031]
对于第一个真实波动幅度均值，采用如下方式启动计算：
[0032][0033]
采用流式处理框架分别计算报警、放炮或打钻、正常日期的波动特征，形成数据波动特征图谱，具体包括：
[0034]
报警时的数据波动特征图谱，统计周期选取报警前30min，报警持续时间和报警后30min三个阶段的波动特征；
[0035]
放炮或打钻时的数据波动特征图谱，按30min为周期进行分析，计算监测点开始放炮或打钻后持续整个时间段的波动特征；
[0036]
正常日期的数据波动特征图谱，按30min为周期进行分析，波动幅度均值设置为一个循环作业时间；
[0037]
所述数据均值偏离特征的计算方法包括：
[0038]
某个监测点统计周期t内有n个监测数据，则该周期内的均值sma
t
为：
[0039][0040]
如已知上一时刻的均值，则当前时刻的瓦斯浓度移动平均值为：
[0041][0042]
分别计算各个监测点最近1日、3日和7日的均值，形成均值特征图谱；
[0043]
所述数据恒定不变特征的计算方法包括：
[0044]
(4)首先根据各传感器的最小检测范围设置阈值ζ；
[0045]
(5)计算最近1个月内，各监测点连续采样值最大值与最小值之差小于阈值的最大时间间隔，记为数据恒定不变持续时间。
[0046]
(6)根据矿井瓦斯等级和各个监测点的地址类型进行聚类，得到各个地址类型监测点的数据恒定不变持续时间分布概率特征。
[0047]
所述数据趋势变化特征包括长期趋势和短期趋势，长期趋势反映瓦斯涌出的整体变化情况，短期趋势用于揭示监测点是否会超限；
[0048]
所述长期趋势的计算方法包括：
[0049]
a1：针对每个监测点计算统计周期t内监测点的每日均值；
[0050]
a2：根据每日均值，得到统计周期t内瓦斯浓度时间序列；
[0051]
a3：采用最小二乘法对时间序列进行拟合，得到形如y＝ax+b的拟合曲线，a即为监测点的趋势表征；
[0052]
按照步骤a1-a3计算各个监测点的趋势表征a值，形成中长期趋势变化特征图谱；
[0053]
所述短期趋势的计算方法包括：
[0054]
b1：针对每个监测点前t时间刻的n个数据，构造秩序列：
[0055][0056]
其中k＝1,2,
…
,n，xi为最近t时间刻瓦斯浓度序列的第i个监测值；
[0057]
b2：计算s的方差：
[0058]
若t时间刻内每个监测值都是唯一的，方差为：
[0059][0060]
若t时间刻内每个监测值存在数据不唯一，方差为：
[0061][0062]
式中p为重复数数量，g为唯一数数量，t
p
为第p个重复数重复的次数；
[0063]
b3：计算趋势阈值z
mk
：
[0064][0065]
b4：趋势判断：
[0066]
设定容错率为β，其中0《β《0.5，则趋势判定结果的置信度为1-β/2；
[0067]
当时，无趋势；
[0068]
当且z
mk
＞0时，趋势上升；
[0069]
当且z
mk
＜0时，趋势下降；
[0070]
式中ppf(1-β/2)为正态分布中置信度为1-β/2时x轴的值；
[0071]
采用步骤b1-b4，计算历史报警数据前30分钟的z
mk
值，形成报警前30分钟趋势上升度量特征图谱。
[0072]
进一步，步骤s3中所述异常识别与处置模型包括：
[0073]
基于数据恒定不变特征图谱，识别监测失效异常，具体包括：
[0074]
c1：根据不同瓦斯等级矿井各监测地址类型的恒定不变特征图谱，设定恒定不变持续时长阈值γ，当监测点持续微小变动时间大于γ时，则判定为疑似监测失效；其中γ大于80％监测点最小改变时间；
[0075]
c2：如果通过了微小变动检测，则进行数据波动检测，用来识别监测失效；根据监测点的数据波动特征图谱，设定最小波动阈值λ，λ小于80％的波动幅度均值；当连续n天的
数据波动值均小于λ时，则判定为疑似监测失效异常；
[0076]
识别中长期趋势缓慢上升，具体包括：
[0077]
对单个监测点的趋势进行判别：首先设定趋势偏离阈值，如果存在历史瓦斯突出事故数据，则以发生突出事故时刻为基准，计算突出地点的长期趋势表征值，根据计算结果以及安全系数，设定阈值θ1，否则根据中长期趋势特征图谱设定阈值θ1，；当监测点当前的中长期趋势表征值γ》θ1时，则判定为异常，根据γ的值确定异常风险值r；根据风险流变突变理论，采用指数函数计算异常风险值，如下式所示：
[0078][0079]
式中ro为γ＝θ1的风险值，所述风险值对应于最低风险等级；
[0080]
同时基于采集的数据，按照监测点所处的物理位置进行分类识别，将矿井同一工作面的传感器划分为一个区域，设定θ2为阈值，当区域内各个监测点的中长期趋势表征值γ》θ2时，判定为区域异常，其中θ2《θ1，根据γ的值确定区域异常风险值r
区域
；按照风险流变突变理论，采用指数函数计算区域异常风险值：
[0081][0082]
其中r
区域
为区域异常风险值，ro为γ＝θ2的风险值，为区域内各个监测点中长期表征值的加权平均数；其中各监测点的权重根据煤矿安全规程给定的断电限进行计算，按照断电限越低，权重越高的原则进行计算，如下式所示：
[0083][0084]
上式中：wk为区域内，第k个监测点的权重，lk为第k个监测点的断电限制，n为区域内监测点的个数；
[0085]
识别数据突变异常，具体包括：
[0086]
①
计算监测点最近30分钟的数据波动特征，监测周期t选取1min，统计周期30min，得到数据波动幅度均值rt；
[0087]
②
基于监测点最近30分钟的数据，采用mk趋势识别法，识别数据是否存在上升趋势；
[0088]
③
计算监测点当前监测值与n日均值的偏离程度，其中根据报警数据前30分钟均值特征与1日均值、3日均值和7日均值的偏离显著程度，选取偏离度最大的天数作为基准；
[0089]
综合
①②③
三个指标判定是否存在数据突变异常，根据报警、放炮或打钻事件的瓦斯监测数据波动特征、趋势上升特征和均值偏离特征，设定阈值θ3、θ4、θ5；当满足任一条件时，均判定为异常；根据超过的阈值大小确定风险值r，并根据指标进行风险值累加；
[0090]
参照风险矩阵法进行风险值的累加，如下所示：
[0091]
r'＝r1*r2*r3[0092]
上式中：r'为累加后的风险值，r1为数据波动特征风险值，r2为根据趋势上升特征风险值，r3为均值偏离特征风险值，当指标未超过阈值时，风险值r设置为1。
[0093]
进一步，步骤s4中，根据风险值r确定风险等级，其中刚达到阈值的风险值对应最
低风险等级，建立异常处置机制，包括监测失效、中长期趋势缓慢上升、数据突变异常、报警、断电，建立风险处置策略库；当得到步骤s3给出的异常识别结果后，从风险处置策略库找到对应的异常处置机制，生成电子工单，将风险信息推送给相关人员。
[0094]
本发明的有益效果在于：本发明基于数据驱动方法，从中长期趋势缓慢上升、近期波动幅度均值、数据恒定不变等不同维度建立报警、放炮、超限等不同场景特征图谱，制定风险处置策略，通过流式处理框架对汇聚的海量监测数据实时分析处理，动态识别异常，有效揭示重点区域煤矿监测数据的时空演变特征及规律，实现大范围内监测值异常变化自动锁定、识别与预警，极大提高监管能效，降低人工成本。
[0095]
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
[0096]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
[0097]
图1为本发明所述的矿井海量瓦斯监测数据异常识别与处置系统结构图。
具体实施方式
[0098]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0099]
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0100]
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0101]
请参阅图1，本发明的矿井海量瓦斯监测数据异常识别与处置系统，包括特征图谱构建模型、异常识别与处置模块和流式关联分析处理模块。特征图谱构建模型从瓦斯监测数据突变、趋势偏离、多时间窗微小波动等维度构建不同场景下的数据变化数理特征库；异常识别模型根据特征图谱模型，融合长中短期不同维度特征量化值，建立监测数据异常判
识模型；流式关联分析处理模块负责数据的采集存储，并加载特征图谱构建模型与异常识别模型，对海量瓦斯监测数据进行实时分析，并制定不同层级不同等级风险协同响应处置策略，固化业务流程，构建基于电子工单的异常处置模式，对海量监测数据进行异常识别与快速处置。
[0102]
瓦斯监测数据特征图谱包括数据波动特征、数据均值偏离特征、数据恒定不变特征和数据趋势变化特征。各特征计算方法如下：
[0103]
1)数据波动特征
[0104]
采用真实波动幅度均值表征瓦斯浓度波动的程度。若监测周期t内有多个监测数据，其最大值与最小值之差即为真实波动幅度tr
t
。即：
[0105]
tr
t
＝x
t,high-x
t,low
[0106]
式中：x
t,high
为监测周期t内的最大值
[0107]
x
t,low
为监测周期t内的最小值。
[0108]
真实波动幅度均值则是多个监测周期的真实波动幅度平均值，采用指数移动平均的一种变形形式计算真实波动幅度均值
[0109][0110]
式中n为监测周期个数。
[0111]
对于第一个真实波动幅度均值，采用如下方式启动计算：
[0112][0113]
采用流式处理框架分别计算报警、放炮、正常日期的波动特征，形成数据波动特征图谱。
[0114]
a：报警时数据波动特征图谱，统计周期选取报警前30min，报警持续时间和报警后30min三个阶段的波动特征。监测周期选取1min。即n为30。
[0115]
b:放炮或打钻等容易造成瓦斯积聚的采掘活动时，计算监测点放炮后持续整个时间段的波动特征。放炮或打钻通过上传的作业班次进行识别。对于监测周期t的选取，推荐按30min为周期进行分析，统计周期选取整个作业班次持续时间。
[0116]
c:正常时期数据波动特征。对于监测周期t的选取，由于最近的波动情况非常重要，推荐按30min为周期进行分析。由于井下瓦斯浓度浓度主要受采掘活动影响，因此前后两个波动幅度均值统计时间内应包含大致相同的采掘活动。即波动幅度均值最好应设置为一个循环作业时间。为方便起见，可统一将所有监测参数的该特征指标统计周期为1d。当监测周期t取值为30min，这时n为24。
[0117]
2)数据均值偏离特征
[0118]
移动平均值可以抚平短期波动，反映出长期趋势或周期，用来表证中短期的监测数据的近期水平。如某个监测点统计周期t内有n个监测数据，则该周期内的均值sma
t
为：
[0119][0120]
如已知上一时刻的均值，则当前时刻的瓦斯浓度移动平均值可按下式计算：
[0121][0122]
按照上述公式可分别计算各个监测点最近1d、3d和7d的均值，形成均值特征图谱。
[0123]
3)数据恒定不变特征
[0124]
数据恒定不变指的是统计周期t内，连续采样值未发生改变的最大时间间隔。为减少因传感器测量误差引起的数据波动，采样微小变动代替恒定不变。即统计周期t内连续采样值最大值与最小值之差小于阈值的最大时间间隔。
[0125]
按照上述方法，分别计算各个监测点最近1个月数据恒定不变持续时间。并根据矿井瓦斯等级和各个监测点的地址类型进行聚类，得到不同瓦斯等级各个地址类型监测点的数据恒定不变持续时间分布概率。
[0126]
4)数据趋势变化特征
[0127]
数据趋势变化特征分为长期趋势和短期趋势。长期趋势反映瓦斯涌出的整体变化情况，短期趋势则是用于揭示监测点是否会超限。长期趋势采用最小二乘法拟合识别，短期趋势采用mk检验法识别。
[0128]
长期趋势计算方法如下：
[0129]
①
:针对每个监测点计算统计周期t内监测点的每日均值。这里统计周期t应适当选取较长时期，如3个月或6个月。
[0130]
②
:根据每日均值，得到统计周期t内瓦斯浓度时间序列；
[0131]
③
:采用最小二乘法对时间序列进行拟合，得到形如y＝ax+b的拟合曲线。a即为监测点的趋势表征。
[0132]
按照以上方法计算各个监测点的趋势表征a值，形成中长期趋势变化特征图谱。
[0133]
短期趋势计算方法如下：
[0134]
①
针对每个监测点前t时间刻的n(n》10)个数据，构造秩序列：
[0135][0136]
其中k＝1,2,
…
,n，xi为最近t时间刻瓦斯浓度序列的第i个监测值。
[0137]
②
计算s的方差
[0138]
如t时间刻内每个监测值都是唯一的，方差为：
[0139][0140]
如t时间刻内每个监测值存在数据不唯一，则：
[0141][0142]
式中p为重复数数量，g为唯一数数量，t
p
为第p个重复数重复的次数。
[0143]
③
计算z值
[0144][0145]
④
趋势判断
[0146]
设定容错率为α，其中0《α《0.5，则趋势判定结果的置信度为1-α/2。
[0147]
当时，无趋势。
[0148]
当且z
mk
＞0趋势上升。
[0149]
当且z
mk
＜0趋势下降。
[0150]
式中ppf(1-α/2)为正态分布中置信度为1-α/2时x轴的值。
[0151]
采用以上方法，计算历史报警数据前30分钟的z
mk
值，形成报警前30分钟趋势上升度量特征图谱。
[0152]
(2)异常识别与处置模型
[0153]
1)监测失效识别
[0154]
基于多时间窗微小变动特征图谱，识别监测失效异常。具体如下所示：
[0155]
①
根据不同瓦斯等级矿井各监测地址类型的微小变动特征图谱，设定阈值α，当监测点持续微小变动时间大于α时，则判定为疑似监测失效。其中α应大于百分之八十监测点最小改变时间。随着持续时间越长，风险越大。该方式主要识别设备故障或遮挡设备导致的监测失效。
[0156]
②
如果通过了微小变动检测，则进行数据波动检测，用来识别拖移位置导致的监测失效。根据监测点的数据波动特征图谱，设定最小波动阈值β(其中β应小于80％的波动幅度均值)。当连续n天(其中n》3)的数据波动值均小于β时，则判定为监测失效异常。随着持续时间越长，风险越大。
[0157]
2)中长期趋势缓慢上升识别
[0158]
对单个监测点的趋势进行判别：首先设定趋势偏离阈值，如果存在历史瓦斯突出事故数据，则以发生突出事故时刻为基准，计算突出地点的长期趋势表征值，根据计算结果以及安全系数，设定阈值θ1，否则根据中长期趋势特征图谱设定阈值θ1，；当监测点当前的中长期趋势表征值γ》θ1时，则判定为异常，根据γ的值确定异常风险值r；根据风险流变突变理论，采用指数函数计算异常风险值，如下式所示：
[0159][0160]
式中ro为γ＝θ1的风险值，所述风险值对应于最低风险等级；
[0161]
同时基于采集的数据，按照监测点所处的物理位置进行分类识别，将矿井同一工作面的传感器划分为一个区域，设定θ2为阈值，当区域内各个监测点的中长期趋势表征值γ》θ2时，判定为区域异常，其中θ2《θ1，根据γ的值确定区域异常风险值r
区域
；按照风险流变突变理论，采用指数函数计算区域异常风险值：
[0162]
[0163]
其中r
区域
为区域异常风险值，ro为γ＝θ2的风险值，为区域内各个监测点中长期表征值的加权平均数；其中各监测点的权重根据煤矿安全规程给定的断电限进行计算，按照断电限越低，权重越高的原则进行计算，如下式所示：
[0164][0165]
上式中：wk为区域内，第k个监测点的权重，lk为第k个监测点的断电限，n为区域内监测点的个数。
[0166]
3)数据突变异常
[0167]
数据突变异常识别具体方法如下：
[0168]
①
计算监测点最近30分钟的数据波动特征(监测周期t选取1min，统计周期30min)，得到数据波动幅度均值rt。
[0169]
②
基于监测点最近30分钟的数据，采用mk趋势识别法，识别数据是否存在上升趋势。
[0170]
③
计算监测点当前监测值与n日均值的偏离程度，其中根据报警数据前30分钟均值特征与1d均值、3d均值和7d均值的偏离显著程度，选取偏离度最大的天数作为基准。这里暂取3d均值。
[0171]
综合
①②③
三个指标判定是否存在数据突变异常，根据报警、放炮等事件的瓦斯监测数据波动特征、趋势上升特征和均值偏离特征，设定阈值θ1、θ2、θ3。当满足任一条件时，均判定为异常。满足的条件越多，则风险越大。根据超过的阈值大小确定风险值r，并根据指标采用风险矩阵法进行风险值的累加；如下所示：
[0172]
r'＝r1*r2*r3[0173]
上式中：r'为累加后的风险值，r1为数据波动特征风险值，r2为根据趋势上升特征风险值，r3为均值偏离特征风险值，当指标未超过阈值时，风险值r设置为1。
[0174]
(3)流式关联分析处理模块
[0175]
1)数据采集
[0176]
数据采集由数据采集器完成。数据采集器内置多种数据采集方式，通过采集配置ui实现文本文件、数据库、webapi等不同形式接口数据的采集，将采集后的数据转换为规范化的格式提交给kafka数据总线。
[0177]
采集的数据包括监测设备定义数据、实时数据、历史分钟数据、矿井基础数据等。其中设备定义数据包括设备地址类型、所属工作面等；实时数据和历史分钟数据包括值状态、是否处于调校、报警原因等；矿井基础数据包括各个工作面采煤方法、循环作业班次、瓦斯等级等。
[0178]
2)数据存储与分析
[0179]
采集的原始数据通过数据解析服务存入hbase，并映射存入hive中。针对采集的历史数据，根据数据冷热特性将热数据同时存入sqlserver关系数据库中，提高数据的查询效率。数据冷热特性根据数据的使用周期及频次进行划分。这里将最近1个月的历史数据分为热数据。
[0180]
特征图谱构建通过编写hivesql完成，处理框架通过加载hive中的历史数据，并调用特征图谱模型，实现特征图谱的构建和更新，并将结果存入sqlserver数据库中。
[0181]
系统通过sparkstreaming流式处理框架实时从kafka中获取时间窗的数据流，一方面调用特征图谱模型，实现特征图谱的构建和更新，存储入sqlserver数据库中，另一方面调用异常识别与处置模型进行异常识别，并将异常识别结果通过自动推送给风险处置模块。
[0182]
3)风险处置模块
[0183]
风险处置模块包括风险处置策略库和风险推送处置模块。
[0184]
风险处置策略库根据异常识别结果，即风险等级，建立监测失效、中长期趋势缓慢上升、数据突变异常、报警、断电等各种异常处置机制。根据风险值r确定风险等级和响应机制。
[0185]
风险推送处置模块根据异常识别结果和风险等级，调用风险处置策略，自动生成电子工单，将风险信息推送给监管人员，并通过短信、手机终端等提醒。
[0186]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。