一种基于分布式传感器的数据监测方法和系统与流程

本发明涉及智能控制技术领域，，属于监控领域，具体地说是一种基于分布式传感器的数据监测方法和系统。

背景技术：

随着环保监控的要求越来越严格，环保监控大量涌现，环保监控的认知度和自动化体现的越来越先进。作为一个传统意义的产业，政府对环保这个行业的发展非常重视，为了促进和规范环保安全规范作业，加强对环保人员自动化管理，出台了很多规范。然而，许多环保的消防安全意识淡薄，存在很多安全隐患，一旦发生安全事故，将造成重大人员伤亡。杜绝环保的违规经营行为，有效预防安全事故。对污染排放进行监控十分必要，然而如果使用人力监控，做不到实时监控，而且人力资源的消耗大，不利于管理

由于环境监测系统具有采样数据量大，传输距离远，以及环境条件差别大的特点，长期以来数据传输部分一直是人们关注的焦点。目前市场上的环境监测系统主要采用modem和电话机实现远程通信，但由于电话线具有通信速度慢，质量差的缺点，使环境监测系统的运用受到了局限。而当前世界是一个信息世界，信息的获取传输也逐步从有线过渡到无线。随着无线通信事业的发展，无线传输这一技术越来越多的为人们所熟悉，相应的产品也渗透到社会生活的各个领域，如无线抄表、数字图像传输、小区传呼、工业数据采集、非接触rf智能卡、安全防火系统、区域报警系统的数字信号传输等，而这一技术的最大作用便是优化数据传输系统的效率；如果能将这以技术运用于环境监测系统中，这将大大提高监测系统的工作效率，以及扩大监测系统的运用范围。

zigbee无线传感器网络技术以其设备成本低、网络的自组织性、节点设置灵活、数据传输安全可靠、功耗低等独特的优势，在设施环境监测信息化中展现出广阔的应用前景。zigbee无线传感器节点可以收集土壤湿度、氮浓度、ph值、降水量、温度、环境湿度和co2浓度等信息，然后将这些信息由无线传感器网络传送到中央控制设备供用户决策和参考。gsm网络覆盖面积大、使用范围广、信号稳定、易集成，可以作为无线监控预警系统与用户交互的功能模块。

如现有技术中cn201210115647公开了一种分布式异构无线传感网络设施环境监测环境监控预警系统，cn201210429143公开了一种基于wifi的分布式环境监测系统，但这些检测系统操作繁琐、图像不清晰、音频还原度低，并且不能够进行有效的管理，因此，亟待需要一种系统能够具有独立的视频监看、探头报警功能，对前端系统采集到的视频、报警信号，通过视频服务器，编码转换成网络数字信号，然后通过已有的网络连接，将视频、语音、报警信号上传至监控管理中心，达到实时规范管理的目的。

技术实现要素：

本发明为解决当前环境数据监测过程中遇到的上述问题，提供了一种基于分布式传感器的数据监测方法和系统。

本发明首先请求保护一种基于分布式传感器的数据监测方法，其特征在于：

数据采集终端向数据监控中心提供环境感知数据并接收设备的配置及控制信息；

利用hadoop大数据分析平台环境下存储方法对环境监测系统中的原始数据记录进行存储，得到每个节点上的多种传感器的校偏参数并保存；

实时环境监测校正处理器接收传感器节点上传的环境质量监测数据并建立环境质量数据特征集合，大数据分析平台根据环境质量数据特征集合和保存的校偏参数计算得出实时的环境质量数据；

对其监测环境质量数据进行选择，然后利用的空间查询的功能，获得各个要素的属性值，利用表格和图形化展示进行展示监测区域实时监测数据。

本发明还请求保护一种基于分布式传感器的数据监测系统，其特征在于包括：

采集模块，具体由数据采集终端向数据监控中心提供环境感知数据并接收设备的配置及控制信息；

存储模块，利用hadoop大数据分析平台环境下存储方法对环境监测系统中的原始数据记录进行存储，得到每个节点上的多种传感器的校偏参数并保存；

数据监测模块，具体由实时环境监测校正处理器接收传感器节点上传的环境质量监测数据并建立环境质量数据特征集合，大数据分析平台根据环境质量数据特征集合和保存的校偏参数计算得出实时的环境质量数据；

可视化模块，对其监测环境质量数据进行选择，然后利用的空间查询的功能，获得各个要素的属性值，利用表格和图形化展示进行展示监测区域实时监测数据。

本发明所涉及的一种基于分布式传感器的数据监测方法和系统基于分布式系统，hadoop平台，对环境监测的数据进行多节点协同观测，基于多种传感器数据的数据进行整合分析，以可视化形式展示出多种传感器的整合数据，便于分散各个位置的环境管理人员的多维度环境监测。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

附图1为本发明所涉及的一种基于分布式传感器的数据监测方法的工作流程图；

附图2为本发明所涉及的一种基于分布式传感器的数据监测方法系统的结构模块图。

具体实施方式

为了使得本发明的目的、技术方案和有点更加清楚，下面将结合附图对本发明进行详细描述。

附图1为本发明所涉及的一种基于分布式传感器的数据监测方法的工作流程图；

所述一种基于分布式传感器的数据监测方法，其特征在于：

数据采集终端向数据监控中心提供环境感知数据并接收设备的配置及控制信息；

利用hadoop大数据分析平台环境下存储方法对环境监测系统中的原始数据记录进行存储，得到每个节点上的多种传感器的校偏参数并保存；

实时环境监测校正处理器接收传感器节点上传的环境质量监测数据并建立环境质量数据特征集合，大数据分析平台根据环境质量数据特征集合和保存的校偏参数计算得出实时的环境质量数据；

对其监测环境质量数据进行选择，然后利用的空间查询的功能，获得各个要素的属性值，利用表格和图形化展示进行展示监测区域实时监测数据。

进一步具体地，所述数据采集终端向数据监控中心提供环境感知数据并接收设备的配置及控制信息，还包括：

数据监测终端具有定位功能，能够通过gps、北斗等方式获取终端位置信息；

能够向数据监控中心上传位置信息；

获得分布式系统下各个节点上的多种传感器和标准高精度环境质量采集设备的环境感知数据，各个节点上的数据采集装置具有向相邻节点发起数据采集请求、接收相邻节点发送数据、传感器数据的中继与路由、通过网络远程配置中心频率、发射功率等工作参数的功能；

数据整合终端是整个环境监测系统的数据汇总和转发平台，面向各监测终端接收相关数据，同时面向服务器传输控制信息和传感器数据信息。

所述数据采集终端应具有环境数据信息的采集、接入及处理功能，主要包括：

具有接驳环境数据采集传感器，采集温度、湿度、风强、可吸入颗粒、雨水等环境数据的功能，接驳的传感器包括温度、湿度、风强、可吸入颗粒、雨水等传感器；

具有信息处理功能，根据需要对接入的物联网传感数据进行专用处理，如传感数据组包解包、对传感节点控制指令的处理等；

具有数据传送功能：能够通过3g/4g无线网络与物联网应用服务平台之间建立双向的数据通信，能够上传采集数据，能够接收下传的远程控制类信息等；

具有数据缓存功能，能够对接入的传感数据等进行缓存；

具有网络连接和传感器数据中继功能：能够接入430m无线传感器网络，能够接收相邻节点发送的数据，能够向相邻节点发送数据。

数据整合终端是整个环境监测系统的数据汇聚和转发平台，一方面面向各监测终端接收相关数据，另一方面面向服务器传输控制信息和传感器数据信息。本软件运行在汇聚终端硬件平台上，系统由linux内核支撑，具体功能需求如下:

gps模块驱动、信息采集及传输；

远程通讯设备驱动及信息采集；

各传感器数据编码及传输；

系统启动、维护及日常运行；

进一步具体地，所述利用hadoop大数据分析平台环境下存储方法对环境监测系统中的原始数据记录进行存储，得到每个节点上的多种传感器的校偏参数并保存，具体包括：

保存采用hadoop系统用master/slave架构搭建集群，根据定位日志中的时间和位置信息将日志数据进行层次划分，并分层存储，采取hbase与mysql两种数据库相结合的方式进行存储，并在上层提供统一的数据显示接口，当客户端读取mysql中的数据时，只需要调用接口提供的方法就能够达到目的，以及对内部的数据进行修改删除增加等操作，当客户端读取hbase中的数据时，同样也只需要调用接口提供的方法就能够达到目的，或者通过从mysql中获取检索条件，再根据检索条件中的主键再在hbase中获取数据。

其采用异构数据层存储hbase对象的数据结构，并建立对应的索引信息，根据时间戳范围查询原始数据记录表；首先对hbase对象的数据结构进行分解，然后基于hbase对象的结构模式将任务进行分解，并与底层存储系统进行映射，由底层存储系统分别执行map/reduce操作。

map用来对接受的原始数据并进行解析，从中提取出key和value，以映射成一组新键值对，然后框架自身把这组新键值对里同一个key对应的value以及key传送给reduce。reduce用来接收一个key，和与此key相关联的若干个value，并把这些value做进一步的处理以便得到结果。

当用户提交作业后，mapreduce最先执行的工作就是将输入的文件或者数据分为一份一份的数据块，默认值为64m。然后将用户提交的程序复制到集群的其它节点上，主节点负责作业的调度分配工作。一个map作业对应一个数据块，分配到map任务的从节点便开始读取对应的数据块，将数据映射成新的键值对并写入缓存中。当map任务进行到一定比例时，主节点会通知启动reduce任务，负责reduce任务的节点负责将map产生的键值对读取过来，并根据键值对的key值将这些数据进行归类，并产生输出。当所有map任务以及reduce任务完成时，整项作业便也完成。

数据首先根据核心数据id和时间hash后划分在zone-1区域，接着在zone-1分区中根据gps位置索引被分成多个zone-2分区，根据地理位置将数据放置在合适的zone-2分区，最后每个zone-2分区再次根据时间范围分为一系列zone-3分区。我们希望一个zone-3分区独占一个block文件块所以我们需要根据gps日志数据的产生量动态调节时间划分间隔。

map分区粗略的将巨大的数据集分割成多个相对较小的数据集我们称之为queue，每个queue可独立进行查询处理，数据加载和存储优化，所以使用这种分区方式的好处有如下两点：首先，在一个巨大的数据表中进行数据写入和存储优化可能需要很长的时间，由于我们将数据分为多组queue，我们可以逐步对queue进行数据追加或动态调整单个queue存储结构；另一方面在并行处理下，在响应多对象查询时可以保证系统扫描的queue的数量足够少并且定位精准。

map分区的策略由三个参数来创建配置：一个参数因子k（k<1024）用来离散记录id，queue第一条记录开始时间t0和时间跨度δt。给定一个记录r，其queueid等于：

使用时间属性计算queueid比使用其他属性更有优势，当新的数据产生并按时间顺序加入时，queue的大小会稳步增长并随着时间进入到下一个时间段而最终成为静态queue，当有更多数据加入进来时queue不会变得更大而是被添加到新建立的queue中，此方法可以方便地通过增加节点数量处理queue扩展并根据时间范围合理控制queue大小，而不必修改或改变全部数据存储结构。

进一步具体地，所述实时环境监测校正处理器接收传感器节点上传的环境质量监测数据并建立环境质量数据特征集合，大数据分析平台根据环境质量数据特征集合和保存的校偏参数计算得出实时的环境质量数据，具体包括：

建立高精度环境质量采集设备所述一个时间周期内环境质量监测数据的特征集合，建立各个传感器节点与所述高精度环境质量采集设备相同时间周期内环境质量监测数据的特征集合，将高精度环境质量采集设备的测量值作为真实值，将每个传感器节点的测量值与真实值进行最小二乘式拟合，得到每个传感器节点的校偏方程参数，将每个传感器节点的校偏方程参数保存到大数据分析平台。

对数据进行聚合处理，将各个传感器m次监测得到的数据分类进行聚合，聚合采取{x,y}＝{传感器某项监测指标测量值，环境标准参考值，环境认定水平};在环境质量采集数据的实时在线校准阶段，系统的实时在线校准模块会将采集到的数据根据传感器节点id分组建立特征向量集合，输入到类似spark大数据分析平台进行处理，大数据分析平台实现会根据传感器节点id得到实现保存的传感器节点校准方程参数，然后根据输入相应校准方程，快速计算出校准后的实时的环境质量数据。

进一步具体地，所述对其监测环境质量数据进行选择，然后利用的空间查询的功能，获得各个要素的属性值，利用表格和图形化展示进行展示监测区域实时监测数据，具体包括：调用hadoop存储的查询接口层，通过arcgis软件实现数据的可视化展示，在可视化展示之前还需要可视化预处理和可视化图形生成，所述可视化预处理主要是对统计数据规整以及统计数据空间化进行处理，提供与地理信息关联后的统计数据，根据监测节点的位置来收集统计型数据，所述可视化图形生成包括以定位和时间的结合作为查询要素，以图形控件的方式展示出各监测的统计。

为了更好的实时的了解某个监测区域最新的监测状况，就需要对其监测要素

进行选择，然后利用的空间查询的功能，获得各个要素的属性值，利用表格和图形化展示进行展示监测区域实时监测数据。利用空间查询功能，获得监测位置的基本信息经度、纬度、最新数据的时间，获得的具有代表性的要素值风强、温度、湿度、可吸入颗粒、负氧离子等。

可视化展示平台的需求包括以下几个方面：系统中涉及多种属性数据类型，应支持对多种数据的显示、查询、分析等；系统中涉及不同时期、多种类型的表单，需要对其进行统一管理、查询、调用及输出；环境监测数据的实时上报、查询、共享以及更新并提供属性数据空间专题展示；接收来自环境监测终端的环境环境数据、位置数据、以及报警等环境信息；能够实现环境火情的及时预测与定位，并及时将警报信息发送到监控指挥中心。

参照附图2，本发明还请求保护一种基于分布式传感器的数据监测系统，其特征在于包括：采集模块，具体由数据采集终端向数据监控中心提供环境感知数据并接收设备的配置及控制信息；

存储模块，利用hadoop大数据分析平台环境下存储方法对环境监测系统中的原始数据记录进行存储，得到每个节点上的多种传感器的校偏参数并保存；

数据监测模块，具体由实时环境监测校正处理器接收传感器节点上传的环境质量监测数据并建立环境质量数据特征集合，大数据分析平台根据环境质量数据特征集合和保存的校偏参数计算得出实时的环境质量数据；

可视化模块，对其监测环境质量数据进行选择，然后利用的空间查询的功能，获得各个要素的属性值，利用表格和图形化展示进行展示监测区域实时监测数据。

所述采集模块，进一步地，还包括：

数据监测终端具有定位功能，能够通过gps、北斗等方式获取终端位置信息；

能够向数据监控中心上传位置信息；

获得分布式系统下各个节点上的多种传感器和标准高精度环境质量采集设备的环境感知数据，各个节点上的数据采集装置具有向相邻节点发起数据采集请求、接收相邻节点发送数据、传感器数据的中继与路由、通过网络远程配置中心频率、发射功率等工作参数的功能；

数据整合终端是整个环境监测系统的数据汇总和转发平台，面向各监测终端接收相关数据，同时面向服务器传输控制信息和传感器数据信息。

所述存储模块，进一步地，还包括：

保存采用hadoop系统用master/slave架构搭建集群，根据定位日志中的时间和位置信息将日志数据进行层次划分，并分层存储，采取hbase与mysql两种数据库相结合的方式进行存储，并在上层提供统一的数据显示接口，当客户端读取mysql中的数据时，只需要调用接口提供的方法就能够达到目的，以及对内部的数据进行修改删除增加等操作，当客户端读取hbase中的数据时，同样也只需要调用接口提供的方法就能够达到目的，或者通过从mysql中获取检索条件，再根据检索条件中的主键再在hbase中获取数据。

所述数据监测模块，进一步地，还包括：

调用hadoop存储的查询接口层，通过arcgis软件实现数据的可视化展示，在可视化展示之前还需要可视化预处理和可视化图形生成，所述可视化预处理主要是对统计数据规整以及统计数据空间化进行处理，提供与地理信息关联后的统计数据，根据监测节点的位置来收集统计型数据，所述可视化图形生成包括以定位和时间的结合作为查询要素，以图形控件的方式展示出各监测的统计。

所述可视化模块，进一步地，还包括：

调用hadoop存储的查询接口层，通过arcgis软件实现数据的可视化展示，在可视化展示之前还需要可视化预处理和可视化图形生成，所述可视化预处理主要是对统计数据规整以及统计数据空间化进行处理，提供与地理信息关联后的统计数据，根据监测节点的位置来收集统计型数据，所述可视化图形生成包括以定位和时间的结合作为查询要素，以图形控件的方式展示出各监测的统计。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。