一种基于HBase的大规模无线传感网络数据存储系统的制作方法

本发明属于大数据技术领域，特别是涉及一种基于hbase的大规模无线传感网络数据存储系统。

背景技术：

随着物联网在中国的展开，信息技术界面面临海量信息存储问题，无线传感网作为物联网末端信息存储，分布区域越来越广，规模越来越大，产生信息量飞速增长；

无线传感器由一组传感器和汇聚节点组成，它们之间通过无线网络通信，一个无线传感网络有一个或多个汇聚节点专门收集所有传感器节点采集的数据，传感器的分布广、规模大、部署是有区域性的；

由于大规模传感器分布存在区域性，如果将所有区域传感器采集数据存放到一个lhbase集群数据库必然导致网络资源消耗大，费时长，因此，将各个区域采集的数据存放在区域数据库服务器有利于减少网络资源消耗，提高数据存储和访问的实时性，针对以上问题提供一种基于hbase的大规模无线传感网络数据存储系统具有重要的意义。

技术实现要素：

本发明的目的在于提供一种基于hbase的大规模无线传感网络数据存储系统，无线传感网络存在分布的跨区域性，随着无线传感网络的扩张，传感器数目增多，将产生大规模的传感数据，针对存储大规模无线传感网络数据的问题，提出了一个两层分布式存储架构，使用分布式数据库hbase存储跨区域的无线传感网络数据和全局数据储存管理目录，实现一个近实时的存储系统。

为解决上述技术问题，本发明是通过以下技术方案实现的：本发明为一种基于hbase的大规模无线传感网络数据存储系统，包括网关层、lm层、gm层；

所述网关层为传感器数据的接入层，不同传感器类型都有与之相对应的网关来接收并处理传感器数据，传感器采集的数据通过网关被应用程序获取；

所述lm层为管理传感数据的存储，从网关获取传感器采集数据，并实时存储这些数据；

所述gm层为管理并记录全局信息，分配传感器数据存放位置。

进一步地，所述网关按区域划分，每个区域都有lhbbase用来存放网关收集的实时传感器采集数据，ghbase中保存全局信息，记录所有lhbase、lm、网关及传感器信息，当新添加一个网关时，首先通过本地lm向gm申请添加新的网关，gm为网关和传感器分配一个唯一的标识符，为每个传感器指定存储表名和表结构，gm保持这些信息在ghbase，维持一个全局信息，lm从gm获取数据存放表名和表结构后，写入数据到lhbase。

进一步地，系统构架中，存在着3种通信关系：

(1)网关到lm，传感器数据传输，数据实时写入lhbase；

(2)lm到gm，新添加、更新或删除网关或传感器节点时，申请注册、更新或删除注册记录；

(3)gm到lm，响应用户查询请求，由传感器数据保持在lhbase，而ghbase记录所有lhbase中保存数据的数据信息。因此，首先gm查询ghbase获取所查数据所在lhbase地址，然后与lm通信获取数据返回给用户。

本发明具有以下有益效果：

1、将各个区域采集的数据存放在区域数据库服务器，有利于减少网络资源消耗，提高数据存储和访问的实时性。

2、一个两层分布式存储架构，使用分布式数据库hbase存储跨区域的无线传感网络数据和全局数据储存管理目录，实现一个近实时的存储系统，具有良好的扩张性、存储和查询效率。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种基于hbase的大规模无线传感网络数据存储系统架构示意图；

具体实施方式

本发明为一种基于hbase的大规模无线传感网络数据存储系统，包括网关层、lm(localmanager)层、gm(globalmanager)层；

网关层为传感器数据的接入层，不同传感器类型都有与之相对应的网关来接收并处理传感器数据，传感器采集的数据通过网关被应用程序获取；

lm层为管理传感数据的存储，从网关获取传感器采集数据，并实时存储这些数据；

gm层为管理并记录全局信息，分配传感器数据存放位置。

其中，网关按区域划分，每个区域都有lhbbase(localhbase)用来存放网关收集的实时传感器采集数据，ghbase(globalhbase)中保存全局信息，记录所有lhbase、lm、网关及传感器信息，当新添加一个网关时，首先通过本地lm向gm申请添加新的网关，gm为网关和传感器分配一个唯一的标识符，为每个传感器指定存储表名和表结构，gm保持这些信息在ghbase，维持一个全局信息，lm从gm获取数据存放表名和表结构后，写入数据到lhbase。

其中，系统构架中，存在着3种通信关系：

(1)网关到lm，传感器数据传输，数据实时写入lhbase；

(2)lm到gm，新添加、更新或删除网关或传感器节点时，申请注册、更新或删除注册记录；

(3)gm到lm，响应用户查询请求，由传感器数据保持在lhbase，而ghbase记录所有lhbase中保存数据的数据信息。因此，首先gm查询ghbase获取所查数据所在lhbase地址，然后与lm通信获取数据返回给用户。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

技术特征：

技术总结
本发明公开了一种基于HBase的大规模无线传感网络数据存储系统，涉及大数据技术领域。本发明包括网关层、LM层、GM层，网关层为传感器数据的接入层，不同传感器类型都有与之相对应的网关来接收并处理传感器数据，传感器采集的数据通过网关被应用程序获取；LM层为管理传感数据的存储，从网关获取传感器采集数据，并实时存储这些数据；GM层为管理并记录全局信息，分配传感器数据存放位置。本发明通过提出了一个两层分布式存储架构，使用分布式数据库HBase存储跨区域的无线传感网络数据和全局数据储存管理目录，实现一个近实时的存储系统。

技术研发人员：胡翔
受保护的技术使用者：安徽云融信息技术有限公司
技术研发日：2019.04.23
技术公布日：2019.08.09