面向采矿作业安全监测信息的大数据挖掘系统的制作方法

本发明属于大数据挖掘技术领域，涉及一种面向采矿作业安全监测信息的大数据挖掘系统。

背景技术：

随着矿山安全监测技术的发展和自动化数据采集系统的发展与应用，收集了大量的矿山安全监测信息，对了解矿山安全起到了十分重要的作用。但如何快速处理这些数据，利用这些数据及时分析提取矿山安全状态和影响因素，成为矿山安全实时监测的难点。

目前，监测信息处理分析系统大多是独立的系统，更多的侧重于数据的统计，人为判断结果的可靠性。

但由于现在矿山安全监测信息的数据量不但规模庞大，而且数据体系间的关系也更加纷繁复杂，传统的处理手段不能更好地利用现有的数据为用户提供更多有价值的信息。

技术实现要素：

本发明目的在于提供一种面向采矿作业安全监测信息的大数据挖掘系统，针对传统的处理系统不能更好地利用现有海量数据为用户提供更多有价值信息的问题，结合安全监测信息的数据挖掘、安全预警及知识库系统，综合利用监测数据与相关信息，挖掘数据背后的规律，为矿山系统安全预警、系统故障诊断以及系统安全评价等决策提供技术手段和依据，有利于进一步分析提取矿山安全信息，及时分析矿山安全状况，为相关安全决策提供了依据和支持。

为解决上述技术问题，本发明采用如下的技术方案：一种面向采矿作业安全监测信息的大数据挖掘系统，该系统包括：应用层模块、安全监测任务层模块、数据源模块以及监测子系统模块；其中，所述数据源模块主要负责对所述监测子系统模块采集的海量异构数据进行相应处理并集中式存储；所述安全监测任务层模块将要分析的监测信息从所述数据源模块中提取出来，经过数据预处理工具处理后存储到数据仓库中；所述应用层模块是用户与计算机的交互接口，负责在操作者、模型库、知识库之间传递命令及数据；所述监测子系统模块主要负责进行监测数据的采集。

进一步地，所述数据源模块中的数据来源主要有两种：一种是手工监测的数据，主要以人工录入的方式入库；另一种是基于各类传感器的自动化监测系统进行采集的数据。

进一步地，所述安全监测任务层模块主要包括两个主体：一个是数据仓库与数据挖掘，另一个是知识库子系统与模型库子系统，这两个主体的结合能为各级决策者进行科学决策提供更强的辅助手段。

进一步地，所述应用层模块提供的用户接口可实现领域专家或知识工程师对整个系统进行功能维护，包括新模型的输入、临时性的局部性的模型修改和知识库的维护等。

进一步地，所述监测子系统模块包括尾矿库监测、地压监测以及边坡监测等功能。

本发明与现有技术相比具有以下的有益效果：

本发明方案针对传统的处理系统不能更好地利用现有海量数据为用户提供更多有价值信息的问题，结合安全监测信息的数据挖掘、安全预警及知识库系统，综合利用监测数据与相关信息，挖掘数据背后的规律，为矿山系统安全预警、系统故障诊断以及系统安全评价等决策提供技术手段和依据，有利于进一步分析提取矿山安全信息，及时分析矿山安全状况，为相关安全决策提供了依据和支持。

附图说明

图1是面向采矿作业安全监测信息的大数据挖掘系统的整体架构图。

具体实施方式

下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。

参照图1，本发明的一种面向采矿作业安全监测信息的大数据挖掘系统，该系统包括：应用层模块、安全监测任务层模块、数据源模块以及监测子系统模块；其中，所述数据源模块主要负责对所述监测子系统模块采集的海量异构数据进行相应处理并集中式存储；所述安全监测任务层模块将要分析的监测信息从所述数据源模块中提取出来，经过数据预处理工具处理后存储到数据仓库中；所述应用层模块是用户与计算机的交互接口，负责在操作者、模型库、知识库之间传递命令及数据；所述监测子系统模块主要负责进行监测数据的采集。

图1中的平台构架主要是根据数据挖掘技术构建的、一个系统的、功能较全面的安全监测系统还有其它的组成部分和一些辅助功能，可在此基础上扩展，也可以将其嵌入整体的监测系统结构中。数据挖掘平台构架引入了数据仓库技术，最大限度地考虑了数据质量问题，使探索型数据集市中的数据尽量地“干净”。

数据源模块是目前大部分应用的监测数据管理型系统完成的功能。随着信息化水平的提高，推动了安全生产技术和监测监控技术的发展，促进了各类传感器、数据传输技术在矿山领域的应用，矿山安全监测系统目前主要采用自动化监测。现有的尾矿库安全监测系统(包括浸润线、水位和位移等项目)、地压监测及边坡监测等全部采用了自动化监测；自动化监测由于观测项目较多，仪器不一，仪器厂商提供的数据存储形式也大相径庭，数据库类型也不同。所以，原始的数据形式多样和分布较异构，存在大量的噪声数据、空缺数据和不一致数据。为此需对原始的监测数据进行大量的处理工作，根据各大矿山的实际情况，减少安全监测任务层模块数据处理的工作量，构架中加入了操作数据存储(operationaldatastores，ods)构件，数据在进入ods前需进行整编、规则过滤。安全监测人员对仪器整编公式和专业规则最了解，所以数据整编和规则过滤在此进行更加有利，且可以根据实际监测情况进行适时修改。数据整编和规则过滤工具集集成到ods系统中，由ods系统统一管理。此外，这样的结构也便于向网络方向扩展，安全监测任务层模块及所述数据源模块可实现分离，建立ods同数据仓库间的数据映射关系即可。总之，数据源模块的构建最大限度地考虑目前矿山监测信息管理的实际情况，尽可能地利用现场的监测信息管理系统作为数据的来源。

安全监测任务层模块主要包括两个主体：一个是数据仓库与数据挖掘，它从数据库、数据仓库中提取有用的信息和知识，这些信息和知识反映了大量数据内在的规律和知识，数据挖掘过程和结果既可以作为新的信息存放于数据仓库，又可以作为过程性知识存放于挖掘案例库，作为知识管理中的案例知识进行调用；另一个是知识库子系统与模型库子系统，它为决策问题提供定性分析(知识推理)和定量分析(模型计算)相结合的辅助决策信息，对模型库进行扩充，包括数据挖掘模型及其算法，为数据分析提供模型管理功能，把数据挖掘和分析后的信息作为过程性知识在知识库系统中加以利用，提高系统的知识推理能力。这两个主体的结合，能为各级决策者进行科学决策提供更强的辅助手段。

在安全监测任务层模块引入数据仓库(datawarehouse简称dw)技术，有效管理和利用监测信息，构建数据挖掘应用的分析型数据环境。通常，dw中的数据已经过数据清洗、数据变换、数据集成等数据预处理操作，数据的完整性和一致性较好。数据仓库中的数据相对于其它数据源中的数据，质量更高，来源广泛，矿山安全监测信息的数据挖掘应用平台构架完整性好，高质量的数据是dm成功的前提条件。所以，dw有助于dm的成功实践。此外，将dw和dm协同工作，则可以简化dm过程的某些步骤，提高dm的效率，系统整体结构性好。数据仓库中的在线分析处理(on-lineanalyticalprocessing，olap)功能可以快速、方便地实现查询等功能，也可以有效地辅助数据挖掘工作的开展。

安全监测任务层模块将要分析的矿山监测信息从数据源模块中提取，经过数据预处理工具(ectl)处理后存储到数据仓库，从数据仓库中，提取数据挖掘工具需要的数据集市，数据集市中的监测数据一部分被数据挖掘算法所用，一部分留用模式评价。针对解决的具体专业问题，合理地从数据挖掘算法库中选用一个或几个数据挖掘算法，对监测信息进行训练，测试后形成模式；模式被评价为有用后，便形成知识。如模式不合理、无效或需要更高一级的模式，可反复前面的过程。值得说明的是，由于前面的挖掘过程可很好地指导后面的数据挖掘算法的进行，进而形成了一个循环上升的知识获取过程，知识的可信性和可利用性变得更好，价值也更大。

应用层模块提供的用户接口，起着在操作者、模型库、知识库之间传递命令和数据的重要作用。首先，用户接口应能接收并理解用户用自然语言表达的用户问题，然后将用户问题转换为系统可以理解的形式。第二，用户接口应将系统求得的结果转换为自然语言或决策熟悉的形式，如图形、表格、推理结论和依据等。第三，在运算和决策过程中可提示用户并能接收补充信息，用户可随时中断决策过程。第四，用户接口应向用户提供决策过程，包括采用的模型、参数、方法、推理过程等。第五，针对开发者而言用户接口还要提供领域专家或知识工程师对整个系统进行功能维护，包括新模型的输入、临时性的局部性的模型修改和知识库的维护等。

1、矿山安全监测远程管理

矿山安全监测信息远程管理为监测信息数据挖掘系统向网络方向发展拓宽了道路。矿山安全监测信息的数据挖掘平台构架很容易采用网络方式，在异地实施，构成一个三层体系结构。多层分布式数据库模式，其基本思想是将用户界面同企业逻辑分离，把数据库应用程序合理地分块并分布在独立的计算机中，以提高系统的扩展性。

网络式的矿山安全监测信息数据挖掘应用平台，首先可实现监测数据源与挖掘应用平台的分离。数据挖掘算法处理的对象是数据预处理后的数据集市，来源于监测信息数据仓库监测信息数据仓库，不同于事务处理用的一般数据库，其中的数据通常采用不定期的方式更新，很少实时更新，这给矿山监测信息通过网络方式传输，并处理加载到监测信息数据仓库提供了充足的时间；其次，可实现监测信息挖掘应用平台与终端用户的分离，即多个客户端可同时连接到监测信息数据挖掘应用平台。数据挖掘算法对探索型数据集市进行训练和测试后，异地的专家可通过网络方式看到经过数据挖掘算法得到的模式或知识，对其进行评判，了解矿山安全性态，或进一步指导矿山监测信息的数据挖掘工作的开展。由于现实的矿山监测信息的处理工作涉及的人员较宽泛，很难同时将矿山监测人员、监测信息管理人员、dba、系统操作人员、数据挖掘专家、矿山专家和领导决策者集中在一起，矿山安全监测信息的数据挖掘应用平台构架灵活性强，容易向网络方向扩展，顺应了新时期矿山安全监测系统向网络方向发展的趋势。

2、矿山安全监测信息的数据挖掘系统的元数据管理

元数据是关于数据的数据。在监测信息的数据挖掘应用平台中，元数据为访问数据仓库提供了一个信息目录。帮助分析人员定位源数据和数据仓库中的内容，存储和更新数据仓库服务器中的数据，分析人员对数据进行汇总时也用这个目录作为指南：元数据也帮助普通用户了解和访问数据。矿山安全监测信息的数据挖掘应用平台中的元数据是整个数据仓库环境运行和维护的中心，各种软件和工具都要访问这部分数据。元数据主要包括以下内容的描述和定义：

(1)监测信息数据仓库结构，包括仓库模式、建立方法、视图、维、层次结构、数据定义，以及监测信息的数据集市的位置、内容、监测数据质量和监测数据计量单位等。

(2)操作和数据映射细节，包括监测信息源数据库和库中内容信息、网间连接程序描述、监测数据转换的历史、监测数据清洗的规则、监测数据加载的途径、统计报告和系统跟踪等。另外，还有用户访问权限、监测数据备份历史记录、监测数据导入历史记录和监测信息发布历史记录等。

(3)专业元数据，包括坝工专业术语的定义和描述，坝工专业主题定义和表述、包含的数据等。

(4)汇总元数据，包括各级汇总的监测数据的定义和描述，从矿山安全监测信息的数据挖掘应用平台中元数据包含的内容看，元数据几乎代表定义或描述了矿山安全监测信息数据仓库对象的任何东西，无论是表、列、查询、专业规则，或是具体监测数据的操作。元数据的这种广义性应用，可以完成对监测信息挖掘应用平台内部所有有意义对象的定义或描述，方便系统的整体运行和管理。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。