基于智慧矿山的处理方法及装置与流程

1.本发明涉及智慧矿山突发信息的真伪分类判断技术领域，尤其涉及一种基于智慧矿山的处理方法及装置。


背景技术：

2.目前，智慧矿山基于地理空间、工作流、组态等构建智慧矿山智能协同管控平台，实现各类专业业务的协同设计、信息化管理与智能分析，用数字化、信息化改造提升煤炭产业，建设“监、测、管、控一体化”的矿山综合管理，其基于采掘工程系统建立矿山安全生产监测监控自动化、信息化与数字化管控中心，充分发挥地测工作作为煤矿技术基础工作的作用，推进应用采掘工程的综合管控与安全智能分析，提高矿山信息化装备与现代化管理水平。
3.智慧矿山的主要内容是把新一代信息技术充分运用在煤炭企业的管理和生产活动中，充分挖掘和利用企业信息资源，实现生产安全可控乃至个性化的实时监测、定位追溯、报警联动、调度指挥、预案管理、远程控制、安全防范、远程维保、决策支持等功能，实现对万物的高效、节能、安全、环保的“管、控、营”一体化，建立智慧矿山既可以实现安全管理的数字化，为打造本质安全型矿山提供信息保障，也可以实现生产管理的精细化。
4.然而，鉴于现有的智慧矿山技术还不成熟，许多的智慧矿山仍旧存在矿山生产信息散乱、生产安全预警迟钝、管理工作繁重低效的问题，且一旦遇到突发情况，海量数据将会涌入后台系统，一方面海量数据中包含大量无用信息，会造成系统处理效率下降，影响生产安全预警，另一方面海量数据的涌入使得系统无法准确捕捉真实有用信息，造成系统崩溃而无法提供生产安全保障。


技术实现要素：

5.本发明提供一种基于智慧矿山的处理方法及装置，能够解决智慧矿山因突发情况引起的海量数据涌入平台系统造成系统崩溃、无法准确判断出真实信息而造成大量生产安全的问题。
6.本发明实施例的第一方面，提供一种基于智慧矿山的处理方法，可选地，在第一方面的一种可能实现方式中，利用网络爬虫工具采集近十年内智慧矿山突发情况数据，结合make blobs函数对采集的所述智慧矿山突发情况数据生成二分类数据集；基于逻辑回归算法构建突发信息真伪判断模型，导入所述二分类数据集进行优化训练；设置训练阈值，若满足阈值要求，则停止优化迭代，输出优化后的所述突发信息真伪判断模型；将待判断的智慧矿山突发信息数据导入优化后的所述突发信息真伪判断模型中进行判断处理，并根据处理结果实时输出智慧矿山突发信息真伪。
7.本发明实施例的第一方面，提供一种基于智慧矿山的处理方法，可选地，在第一方面的一种可能实现方式中，所述网络爬虫工具包括，引擎、调度器、下载器、爬虫、管道、下载中间件和爬虫中间件；所述采集包括，利用所述网络爬虫工具对物联网中连接的智慧矿山
突发情况数据进行抓取，获得数据信息，并对其进行清洗，过滤噪声数据后按照标签形式进行转换。
8.本发明实施例的第一方面，提供一种基于智慧矿山的处理方法，可选地，在第一方面的一种可能实现方式中，生成所述二分类数据集包括，运行所述make blobs函数，对采集的所述智慧矿山突发情况数据进行分割；将所述智慧矿山突发情况数据划分为两个类别，所述两个类别包括真实类别和伪真类别；所述真实类别包括第一标签x，所述伪真类别包括第二标签y；所述真实类别在所述make blobs函数中的目标值为1，所述伪真类别在所述make blobs函数中的目标值为0。
9.本发明实施例的第一方面，提供一种基于智慧矿山的处理方法，可选地，在第一方面的一种可能实现方式中，构建所述突发信息真伪判断模型包括，
10.p(y＝0|w,x)＝1-g(z)
11.p(y＝1|w,x)＝g(z)
[0012][0013]
其中，p为概率，yi为所述二分类数据集中某一个样本标签的预测值,g(z)为逻辑回归的判别函数，输出预测为正的概率，1-g(z)为逻辑回归的判别函数，输出预测为负的概率，w为最大似然估计值，若w越好，则交叉熵损失函数越大，xi为线性拟合值，i为常数。
[0014]
本发明实施例的第一方面，提供一种基于智慧矿山的处理方法，可选地，在第一方面的一种可能实现方式中，所述交叉熵损失函数为所述突发信息真伪判断模型的目标损失函数，包括，
[0015][0016]
通过梯度下降策略求解所述交叉熵损失函数；代入随机一组w，让得到的点沿着负梯度的方向移动；循环迭代，直至遍历到终点时结束；其中，log()为对数函数，j
log
(w)为交叉熵损失函数，m、i均为常数。
[0017]
本发明实施例的第一方面，提供一种基于智慧矿山的处理方法，可选地，在第一方面的一种可能实现方式中，所述训练包括，数值化所述第一标签x和所述第二标签y，得到均为1和0的数值标签；初始化所述突发信息真伪判断模型；将所述数值标签代入初始化后的所述突发信息真伪判断模型中，设置学习率为0.1，所述训练阈值为0.5；循环迭代，直至遍历完所有的所述数值标签时停止；统计训练输出结果中大于训练阈值的次数a，若所述次数a的概率r大于60％，则所述突发信息真伪判断模型优化完成。
[0018]
本发明实施例的第一方面，提供一种基于智慧矿山的处理方法，可选地，在第一方面的一种可能实现方式中，还包括，若所述突发信息真伪判断模型＞所述训练阈值，则判断结果接近数值1，所述突发信息真伪判断模型处理结果越真实；若所述突发信息真伪判断模型≤所述训练阈值，则判断结果接近数值0，所述突发信息真伪判断模型处理结果越不真实。
[0019]
本发明实施例的第一方面，提供一种基于智慧矿山的处理方法，可选地，在第一方面的一种可能实现方式中，具体包括，若训练输出结果中大于训练阈值的所述次数a的概率大于60％，则训练过程中所述突发信息真伪判断模型处理结果越真实的次数越多，即所述
突发信息真伪判断模型越准确；所述概率r的计算公式如下，
[0020][0021]
其中，a为训练输出结果中大于训练阈值的次数，c为整体训练次数，r为次数a的概率。
[0022]
本发明实施例的第一方面，提供一种基于智慧矿山的处理方法，可选地，在第一方面的一种可能实现方式中，所述根据处理结果实时输出智慧矿山突发信息真伪包括，若处理结果输出值为0，则为所述伪真类别中的所述第二标签y；若处理结果输出值为1，则为所述真实类别中的所述第一标签x；后台监控系统实时跟踪所述处理结果，若监测到所述处理结果输出值为0时，则自动忽略或剔除所述第二标签y存储在云数据库中的伪真信息；若监测到所述处理结果输出值为1时，则锁定并调取所述第一标签x存储在所述云数据库中的真实信息；将调取的所述真实信息发送至预警系统进行辅助显示操作。
[0023]
本发明实施例的第二方面，提供一种基于智慧矿山的处理装置，可选地，在第二方面的一种可能实现方式中，包括，信息采集模块，其用于采集近十年内智慧矿山突发情况数据、智慧矿山正常运行参数信息以及应急措施信息；分类模块与所述信息采集模块相连接，所述分类模块接收所述信息采集模块获取的信息并对其进行清洗处理和分割处理，所述分类模块将所述获取的信息最终划分为两个类别的信息，且以数值标签形式进行存储；数据中心处理模块中载有基于逻辑回归算法构建突发信息真伪判断模型的运行程序包，所述分类模块将存储的所述数值标签传输至所述数据中心处理模块中，启动所述运行程序包进行求解运算，并将运算结果传输至判断模块中进行最终的分析判断；所述判断模块用于根据所述数据中心处理模块的运算结果进行相应的分析判断，并输出判断结果上传至预警系统；数据传输模块与所述信息采集模块、所述分类模块、所述数据中心处理模块和所述判断模块相连接，所述数据传输模块用于为各个模块提供数据传输服务。
[0024]
本发明提供的一种基于智慧矿山的处理方法及装置通过make blobs函数对采集的智慧矿山突发情况数据生成二分类数据集，以此明确并减少后期运算处理流程，结合逻辑回归算法构建判断模型，在分类标签的基础上再次进行预测分析，并通过优化训练提高分类判断的精度，本发明能够提高智慧矿山突发情况信息真伪判断的准确度和处理效率，当智慧矿山面对突发情况时，即使有海量数据涌入，系统平台也会第一时间剔除或忽略伪真(无用)信息，只存储真实信息，以保障生产安全。
附图说明
[0025]
图1为本发明第一个实施例所述的一种基于智慧矿山的处理方法的流程示意图；
[0026]
图2为本发明第一个实施例所述的一种基于智慧矿山的处理方法的二分类数据集散点示意图；
[0027]
图3为本发明第一个实施例所述的一种基于智慧矿山的处理方法的基于逻辑回归函数构建突发信息真伪判断模型的目标函数曲线示意图；
[0028]
图4为本发明第二个实施例所述的一种基于智慧矿山的处理装置的网络拓扑结构示意图。
具体实施方式
[0029]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0030]
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
[0031]
应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0032]
应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0033]
应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含a、b和c”、“包含a、b、c”是指a、b、c三者都包含，“包含a、b或c”是指包含a、b、c三者之一，“包含a、b和/或c”是指包含a、b、c三者中任1个或任2个或3个。
[0034]
应当理解，在本发明中，“与a对应的b”、“与a相对应的b”、“a与b相对应”或者“b与a相对应”，表示b与a相关联，根据a可以确定b。根据a确定b并不意味着仅仅根据a确定b，还可以根据a和/或其他信息确定b。a与b的匹配，是a与b的相似度大于或等于预设的阈值。
[0035]
取决于语境，如在此所使用的“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。
[0036]
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
[0037]
【应用场景描述】
[0038]
实施例1
[0039]
参照图1、图2和图3，为本发明的第一个实施例，提供了一种基于智慧矿山的处理方法，具体包括：
[0040]
s1：利用网络爬虫工具采集近十年内智慧矿山突发情况数据，结合make blobs函数对采集的智慧矿山突发情况数据生成二分类数据集。其中需要说明的是，网络爬虫工具包括：
[0041]
引擎、调度器、下载器、爬虫、管道、下载中间件和爬虫中间件；
[0042]
scrapy engine(引擎)：负责spider、itempipeline、downloader、scheduler中间的通讯，信号、数据传递；
[0043]
scheduler(调度器)：负责接受引擎发送过来的request请求，并按照一定的方式
进行整理排列、入队，当引擎需要时，交还给引擎；
[0044]
downloader(下载器)：负责下载scrapy engine(引擎)发送的所有requests请求，并将其获取到的responses交还给scrapy engine(引擎)，由引擎交给spider来处理；
[0045]
spider(爬虫)：它负责处理所有responses,从中分析提取数据，获取item字段需要的数据，并将需要跟进的url提交给引擎，再次进入scheduler(调度器)；
[0046]
item pipeline(管道)：它负责处理spider中获取到的item，并进行进行后期处理(详细分析、过滤、存储等)的地方；
[0047]
downloader middlewares(下载中间件)：一个可以自定义扩展下载功能的组件；
[0048]
spider middlewares(spider中间件)：一个可以自定扩展和操作引擎和spider中间通信的功能组件。
[0049]
具体的，采集包括：
[0050]
利用网络爬虫工具对物联网中连接的智慧矿山突发情况数据进行抓取，获得数据信息，并对其进行清洗，过滤噪声数据后按照标签形式进行转换。
[0051]
参照图2，生成二分类数据集包括：
[0052]
运行make blobs函数，对采集的智慧矿山突发情况数据进行分割；
[0053]
将智慧矿山突发情况数据划分为两个类别，两个类别包括真实类别和伪真类别；
[0054]
真实类别包括第一标签x，伪真类别包括第二标签y；
[0055]
真实类别在make blobs函数中的目标值为1，伪真类别在make blobs函数中的目标值为0；
[0056]
make blobs函数是为聚类产生数据集产生一个数据集和相应的标签；make blobs函数主要包括，n_samples、n_features、centers、cluster_std、center_box、shuffle和random_state运行程序；
[0057]
n_samples:表示数据样本点个数,默认值100；
[0058]
n_features:表示数据的维度，默认值是2；
[0059]
centers:产生数据的中心点，默认值3；
[0060]
cluster_std：数据集的标准差，浮点数或者浮点数序列，默认值1.0；
[0061]
center_box：中心确定之后的数据边界，默认值(-10.0,10.0)；
[0062]
shuffle：洗乱，默认值是true；
[0063]
random_state:是随机生成器的种子。
[0064]
进一步的，本实施例中提供的二分类数据集的部分运行代码如下：
[0065]
[0066][0067]
s2：基于逻辑回归算法构建突发信息真伪判断模型，导入二分类数据集进行优化训练。本步骤需要说明的是，构建突发信息真伪判断模型包括：
[0068]
p(y＝0|w,x)＝1-g(z)
[0069]
p(y＝1|w,x)＝g(z)
[0070][0071]
其中，p为概率，yi为二分类数据集中某一个样本标签的预测值,g(z)为逻辑回归的判别函数，输出预测为正的概率，1-g(z)为逻辑回归的判别函数，输出预测为负的概率，w为最大似然估计值，若w越好，则交叉熵损失函数越大，xi为线性拟合值，i为常数。
[0072]
进一步的，交叉熵损失函数为突发信息真伪判断模型的目标损失函数，包括：
[0073][0074]
通过梯度下降策略求解交叉熵损失函数；
[0075]
代入随机一组w，让得到的点沿着负梯度的方向移动；
[0076]
循环迭代，直至遍历到终点时结束；
[0077]
其中，log()为对数函数，j
log
(w)为交叉熵损失函数，m、i均为常数。
[0078]
参照图3，为本实施例提供的突发信息真伪判断模型的sigmod函数曲线图像，sigmod函数具有很强的鲁棒性，将sigmod函数的输入范围(∞，-∞)映射到了输出的(0,1)之间且具有概率意义，例如，将一个样本输入到突发信息真伪判断模型的目标函数(即sigmod函数)中，输出为0.7，则代表该样本有70％的概率是正例，剩下的30％(即1-0.7)的概率为负例。
[0079]
本实施例还需要再次说明的是，简单的设定阈值容易受到离散点群值的影响，因此通过鲁棒性较强的sigmod函数进行线性回归拟合设置阈值，因为g(z)函数的特性，其输出的结果也不再是预测结果，而是一个值预测为正例的概率，或一个值预测为负例的概率(即1-g(z))。
[0080]
再进一步的是，本实施例通过最大似然估计找到一组w，使得g(z)函数正确的概率最大，即得到p(真)公式，若想让预测出的结果全部正确的概率最大，则根据最大似然估计(即所有样本预测正确的概率相乘得到的p最大)，若w越好，则函数越大，此函数即为交叉熵损失函数。
[0081]
s3：设置训练阈值，若满足阈值要求，则停止优化迭代，输出优化后的突发信息真伪判断模型。其中还需要说明的是，训练包括：
[0082]
数值化第一标签x和第二标签y，得到均为1和0的数值标签；
[0083]
初始化突发信息真伪判断模型；
[0084]
将数值标签代入初始化后的突发信息真伪判断模型中，设置学习率为0.1，训练阈值为0.5；
[0085]
循环迭代，直至遍历完所有的数值标签时停止；
[0086]
统计训练输出结果中大于训练阈值的次数a，若次数a的概率r大于60％，则突发信息真伪判断模型优化完成；
[0087]
若突发信息真伪判断模型＞训练阈值，则判断结果接近数值1，突发信息真伪判断模型处理结果越真实；
[0088]
若突发信息真伪判断模型≤训练阈值，则判断结果接近数值0，突发信息真伪判断模型处理结果越不真实。
[0089]
具体的，若训练输出结果中大于训练阈值的次数a的概率大于60％，则训练过程中突发信息真伪判断模型处理结果越真实的次数越多，即突发信息真伪判断模型越准确；
[0090]
概率r的计算公式如下，
[0091][0092]
其中，a为训练输出结果中大于训练阈值的次数，c为整体训练次数，r为次数a的概
率。
[0093]
s4：将待判断的智慧矿山突发信息数据导入优化后的突发信息真伪判断模型中进行判断处理，并根据处理结果实时输出智慧矿山突发信息真伪。本步骤还需要说明的是，根据处理结果实时输出智慧矿山突发信息真伪包括：
[0094]
若处理结果输出值为0，则为伪真类别中的第二标签y；
[0095]
若处理结果输出值为1，则为真实类别中的第一标签x；
[0096]
后台监控系统实时跟踪处理结果，若监测到处理结果输出值为0时，则自动忽略或剔除第二标签y存储在云数据库中的伪真信息；
[0097]
若监测到处理结果输出值为1时，则锁定并调取第一标签x存储在云数据库中的真实信息；
[0098]
将调取的真实信息发送至预警系统进行辅助显示操作。
[0099]
优选的，本实施例还需要说明的是，传统的智慧矿山管控方法主要通过安保机房和智能调度中心进行互联控制，其解决的主要技术问题是如何降低经济成本和人力资源管控成本，但是传统的智慧矿山管控方法并不能很好的应用智慧矿山突发情况时造成的海量数据涌入以及真伪信息辨别，这对于推动智慧矿山的发展具有一定的局限性；而本发明方法通过make blobs函数对采集的智慧矿山突发情况数据生成二分类数据集，以此明确并减少后期运算处理流程，结合逻辑回归算法构建判断模型，在分类标签的基础上再次进行预测分析，并通过优化训练提高分类判断的精度，本发明能够提高智慧矿山突发情况信息真伪判断的准确度和处理效率，当智慧矿山面对突发情况时，即使有海量数据涌入，系统平台也会第一时间剔除或忽略伪真(无用)信息，只存储真实信息，以保障生产安全。
[0100]
优选的是，为了更好地对本发明方法中采用的技术效果加以验证说明，本实施例选择以传统的智慧矿山管控方法与本发明方法进行对比测试，以科学论证的手段对比试验结果，以验证本发明方法所具有的真实效果。
[0101]
传统的智慧矿山管控方法无法解决智慧矿山因突发情况引起的海量数据涌入平台系统造成系统崩溃、无法准确判断出真实信息而造成大量生产安全的问题；为验证本发明方法相对于传统方法具有较高的实用性、准确性、效率性和安全性，本实施例中将采用传统的智慧矿山管控方法与本发明方法分别对仿真平台的智慧矿山进行实时测试对比。
[0102]
测试环境：(1)采用onenet平台，搭载温湿度检测单元、甲烷检测单元、负压检测单元以及一氧化碳检测单元，各单元以arduino控制模块作为核心，接收并处理传感器检测参数信息，通过无线传输模块传输至onenet平台；
[0103]
(2)arduino控制模块采用arduino mega2560的微控制器，其拥有54路数字输入/输出口、16路模拟输入和4路uart接口；
[0104]
(3)通过scrapy网络爬虫框架、python、http数据包、wireshark、service程序抓取信息数据；
[0105]
(4)分别将传统的智慧矿山管控方法与本发明方法通过matlb软件编写运行程序代码导入仿真平台进行状态模拟。测试结果如下表所示：
[0106]
表1：真伪信息判断误差对比表。
[0107] 前期/％中期/％后期/％平均误差/％传统方法32.6530032.653
本发明方法21.45221.92021.62821.7
[0108]
参照表1，传统的智慧矿山管控方法在仿真模拟中期阶段时系统平台开始崩溃，因为传统方法无法筛选无用信息，随着大批量信息的涌入，系统平台无法提供有效的计算处理能力，且在运行前期输出的结果也是存在较大误差，反之，本发明方法的误差更小，即准确度更高，面对大数据涌入系统也会及时的筛选无用信息进行剔除，保障系统的高效运行。
[0109]
实施例2
[0110]
参照图4，为本发明的第二个实施例，该实施例不同于第一个实施例的是，提供了一种基于智慧矿山的处理装置，具体包括：
[0111]
信息采集模块100，其用于采集近十年内智慧矿山突发情况数据、智慧矿山正常运行参数信息以及应急措施信息。
[0112]
分类模块200与信息采集模块100相连接，分类模块200接收信息采集模块100获取的信息并对其进行清洗处理和分割处理，分类模块200将获取的信息最终划分为两个类别的信息，且以数值标签形式进行存储。
[0113]
数据中心处理模块300中载有基于逻辑回归算法构建突发信息真伪判断模型的运行程序包，分类模块200将存储的数值标签传输至数据中心处理模块300中，启动运行程序包进行求解运算，并将运算结果传输至判断模块400中进行最终的分析判断。
[0114]
判断模块400用于根据数据中心处理模块300的运算结果进行相应的分析判断，并输出判断结果上传至预警系统。
[0115]
数据传输模块500与信息采集模块100、分类模块200、数据中心处理模块300和判断模块400相连接，数据传输模块500用于为各个模块提供数据传输服务。
[0116]
本实施例还提供一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序被处理器执行时用于实现上述的各种实施方式提供的方法。
[0117]
其中，可读存储介质可以是计算机存储介质，也可以是通信介质，通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质，计算机存储介质可以是通用或专用计算机能够存取的任何可用介质；例如，可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。
[0118]
当然，可读存储介质也可以是处理器的组成部分，处理器和可读存储介质可以位于专用集成电路(application specific integrated circuits，简称：asic)中，另外，该asic可以位于用户设备中，当然，处理器和可读存储介质也可以作为分立组件存在于通信设备中，可读存储介质可以是只读存储器(rom)、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0119]
本发明还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中，设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的方法。
[0120]
在上述设备的实施例中，应理解，处理器可以是中央处理单元(英文：central processing unit，简称：cpu)，还可以是其他通用处理器、数字信号处理器(英文：digital signal processor，简称：dsp)、专用集成电路(英文：application specific integrated circuit，简称：asic)，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器，结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器
中的硬件及软件模块组合执行完成。
[0121]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。