一种物联网中海量异构传感数据的分布式存储系统和方法与流程

本发明属于物联网技术领域，尤其涉及一种物联网中海量异构传感数据的分布式存储系统和方法。

背景技术：

物联网技术是新一代信息技术的重要组成部分，是互联网的延伸和扩展，是指通过无线通信技术、电信通信网、以太网等将物理世界中的传感器、rfid设备、嵌入式设备等融合到互联网并为人类提供更智能服务的技术。随着物联网技术的快速发展，传感器的种类和数量都在飞速增长，随之而来的是数据量几何级规模的增长。物联网中的传感数据有海量性、异构性、实时性等特点，如何保证海量异构物联网传感数据合法、快速、大规模的存储越来越成为制约着物联网存储技术的发展的瓶颈。传统的物联网传感数据存储技术是基于关系型数据库的，在系统开发之前要先创建于物联网感知层设备实体与程序代码相对应的关系模型，传感数据上传时，数据包中的物联网网关和传感器节点的唯一标识与关系型数据库中已存在的物联网网关和传感器节点的唯一标识数据对比，以确保汇聚数据的合法性，然后将合法的物联网数据存储到关系型数据库中，如果传感器数据的属性发生变化，还需修改代码和数据库中数据表的数据结构，这些都严重影响了存储性能，增加了存储系统的维护成本。

综上所述，现有技术存在的问题是：传统的物联网传感数据存储技术存在传感器数据的属性发生变化时，需修改代码和数据库中数据表的数据结构，严重影响了存储性能，增加了存储系统的维护成本；在校验传感数据合法性时对数据库的查询操作影响了系统响应时间。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种物联网中海量异构传感数据的分布式存储系统和方法。

本发明是这样实现的，一种物联网中海量异构传感数据的分布式存储系统，所述物联网中海量异构传感数据的分布式存储系统包括：

物联网传感数据上传接口模块，定义统一物联网传感数据上传接口，并将物联网传感数据发送至所述物联网数据解析模块；规范采用http请求中的post请求方式；实现物联网数据传输层与物联网数据中心的松耦合；

物联网传感数据解析模块，用于解析上传的物联网数据，提取存储所需的数据，清洗无用数据，并将解析后的数据发送至所述物联网传感数据校验模块；

物联网传感数据校验模块，用于校验物联网传感数据解析模块解析的数据是否合法，并将合法数据存储至nosql数据库存储模块；

关系型数据库存储模块，用于存储关系型数据，为物联网传感数据校验模块提供合法数据依据；

nosql数据库模块，用于存储物联网传感器数据校验模块发送来的合法数据，具体采用分布式mongodb数据库；

分布式高速缓存模块，用于存储物联网传感器数据校验模块命中的物联网网关唯一标识数据和传感器节点唯一标识数据，为下次物联网传感数据校验模块提供高速合法数据校验支持，具体采用分布式memcache系统。

进一步，所述物联网传感数据接口模块由ip地址段、物联网网关唯一标识段、传感器节点唯一标识段、数据段组成。

进一步，所述关系型数据库存储模块由分布式关系型数据库组成，包含多个关系型节点，具体由1个关系型数据库主节点和n个关系型数据库从节点组成。

进一步，所述关系型数据库存储模块用于存储不同物联网应用场景中的关系型数据，具体为用户数据、管理数据、配置数据、物联网网关唯一标识数据和传感器节点唯一标识数据。

进一步，所述nosql数据库存储模块由分布式mongodb数据库组成，采用mongodb的replicaset集群方式，具体由1个主mongodb节点，1个仲裁节点，n个备mongodb节点。

进一步，所述分布式高速缓存模块由分布式memcache系统组成，包含多个memcache节点，具体包含n个memcache节点。

本发明的另一目的在于提供一种所述物联网中海量异构传感数据的分布式存储系统的物联网中海量异构传感数据的分布式存储方法，所述物联网中海量异构传感数据的分布式存储方法包括以下步骤：

步骤一，用户先将物联网网关唯一标识数据和传感器节点唯一标识数据存入关系型数据库模块，通过一致性哈希算法将物联网网关唯一标识数据和传感器节点唯一标识数据存入不同memcache节点，物联网传感数据接口模块将数据发送至物联网传感器数据解析模块，解析模块将请求解析并提取数据段，并将数据段发送至物联网传感数据校验模块；

步骤二，联网传感数据校验模块从传感数据段中提取物联网网关与传感器节点唯一标识数据，从分布式高速缓存模块查询物联网网关与传感器节点唯一标识数据，若命中，则代表传感数据合法，进入步骤四，若查询分布式高速缓存模块未命中，则进入步骤三；

步骤三，从关系型数据库存储模块查询网关和传感器节点唯一标识数据，若命中，则代表传感数据合法，将物联网网关与传感器节点唯一标识数据存入分布式高速缓存模块，然后进入步骤四，若未命中，则代表传感数据不合法，丢弃，进入结束；

步骤四，将传感数据存入所述nosql数据库存储模块。

本发明的另一目的在于提供一种应用所述物联网中海量异构传感数据的分布式存储系统的智能家居。

本发明的另一目的在于提供一种应用所述物联网中海量异构传感数据的分布式存储系统的环境监测系统。

本发明的另一目的在于提供一种应用所述物联网中海量异构传感数据的分布式存储系统的智慧农业控制系统。

本发明的优点及积极效果为：定义了物联网传感数据上传请求格式规范，物联网传感器数据校验模块可以校验传感数据的是否合法；保证了数据存储的合法性；分布式高速缓存模块可以帮助物联网传感数据校验模块快速校验，提高了存储系统的存储性能；nosql数据库存储模块采用分布式mongodb数据库作为存储节点，保证了传感数据存储的纵向扩展性，而且采用分布式架构，保证了传感数据存储的横向扩展性。本发明可应用于不同物联网应用场景中，如智能家居、环境监测、智慧农业、智能医疗等；以满足物联网传感设备指数级增长所带来的更高的存储需求，具有较高可靠性、实时性和可扩展性。所述缓存机制对传感数据校验时可达90％的缓存命中率；存储系统从收到传感数据到完成存储总时间为毫秒级。

附图说明

图1是本发明实施例提供的物联网中海量异构传感数据的分布式存储系统结构示意图；

图中：1、物联网传感数据上传接口模块；2、物联网传感数据解析模块；3、物联网传感数据校验模块；4、关系型数据库存储模块；5、nosql数据库存储模块；6、分布式高速缓存模块。

图2是本发明实施例提供的物联网中海量异构传感数据的分布式存储方法流程图。

图3是本发明实施例提供的物联网中海量异构传感数据的分布式存储方法具体实现流程图。

图4是本发明实施例提供的物联网传感数据上传接口格式规范示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例提供的物联网中海量异构传感数据的分布式存储系统包括：

物联网传感数据上传接口模块1：定义统一物联网传感数据上传接口，并将物联网传感数据发送至所述物联网数据解析模块2；规范采用http请求中的post请求方式，由ip地址段、物联网网关唯一标识段、传感器节点唯一标识段、数据段组成；实现物联网数据传输层与物联网数据中心的松耦合。

物联网传感数据解析模块2，用于负责解析上传的物联网数据，提取存储所需的数据，清洗无用数据，并将解析后的数据发送至所述物联网传感数据校验模块3。

物联网传感数据校验模块3，用于负责校验所述物联网传感数据解析模块2解析的数据是否合法，并将合法数据存储至所述nosql数据库存储模块5。

关系型数据库存储模块4，用于负责存储关系型数据，尤其是物联网网关唯一标识和传感器节点唯一标识，为所述物联网传感数据校验模块3提供合法数据依据。

nosql数据库模块5，用于负责存储所述物联网传感器数据校验模块3发送来的合法数据，具体采用分布式mongodb数据库。

分布式高速缓存模块6，用于负责存储所述物联网传感器数据校验模块3命中的物联网网关唯一标识数据和传感器节点唯一标识数据，为下次物联网传感数据校验模块3提供高速合法数据校验支持，具体采用分布式memcache系统。

如图2所示，本发明实施例提供的物联网中海量异构传感数据的分布式存储方法包括以下步骤：

s101：用户先将物联网网关唯一标识数据和传感器节点唯一标识数据存入关系型数据库模块，通过一致性哈希算法将物联网网关唯一标识数据和传感器节点唯一标识数据存入不同memcache节点，物联网传感数据接口模块将数据发送至物联网传感器数据解析模块，解析模块将请求解析并提取数据段，并将数据段发送至物联网传感数据校验模块；

s102：物联网传感数据校验模块从传感数据段中提取物联网网关与传感器节点唯一标识数据，从分布式高速缓存模块查询物联网网关与传感器节点唯一标识数据，若命中，则代表传感数据合法，进入步骤s104，若查询分布式高速缓存模块未命中，则进入步骤s103；

s103：从关系型数据库存储模块查询网关和传感器节点唯一标识数据，若命中，则代表传感数据合法，将物联网网关与传感器节点唯一标识数据存入分布式高速缓存模块，然后进入步骤s104，若未命中，则代表传感数据不合法，丢弃，进入结束；

s104：将传感数据存入所述nosql数据库存储模块。

下面结合附图对本发明的应用原理作进一步的描述。

本发明实施例提供的物联网中海量异构传感数据的分布式存储系统包括：物联网传感数据上传接口模块1、物联网传感数据解析模块2、物联网传感数据校验模块3、关系型数据库存储模块4、nosql数据库存储模块5、分布式高速缓存模块6共六个模块。

物联网传感数据接口模块1，定义物联网传感数据上传格式规范，具体定义如图4所示，由ip地址段、物联网网关唯一标识段、传感器节点唯一标识段、数据段组成；实现物联网数据传输层与物联网数据中心的松耦合。

关系型数据库存储模块4，由分布式关系型数据库组成，包含多个关系型节点，具体由1个关系型数据库主节点和n个关系型数据库从节点组成，主节点与从节点之间通过主从复制实现数据的一致性，所有的存储操作都在主节点进行，所有的查询操作通过负载均衡在从节点进行，从而实现读写分离，所述关系型数据库存储模块4用于存储不同物联网应用场景中的关系型数据，具体为用户数据、管理数据、配置数据、物联网网关唯一标识数据和传感器节点唯一标识数据等。

nosql数据库存储模块5，由分布式mongodb数据库组成，采用mongodb的replicaset集群方式，具体由1个主mongodb节点，1个仲裁节点，n个备mongodb节点，具体几个备mongodb节点由数据存储需求再进行配置，主mongodb节点负责存储传感数据，主mongodb节点与备mongodb节点之间保持数据一致性；通过负载均衡，备mongodb节点负责查询传感数据，仲裁节点不存储数据，用于当主mongodb节点宕机时，通过选举算法，从n个备mongodb节点中选举一个重新作为主mongodb节点工作。

分布式高速缓存模块6，由分布式memcache系统组成，包含多个memcache节点，具体包含n个memcache节点，每次启动需通过一致性哈希算法，将物联网网关唯一标识数据和传感器节点唯一标识数据平均散列到n个memcache节点，用于所述物联网传感数据校验模块3工作时快速匹配数据。

如图3所示，本发明实施例提供的物联网中海量异构传感数据的分布式存储方法包括以下步骤：

步骤s201，物联网传感数据接口模块收到数据存储请求，代表存储系统输入传感数据请求，物联网传感数据接口模块将传感数据请求发送至物联网传感数据解析模块；

步骤s202，物联网传感数据解析模块解析步骤s201传感数据请求，提取传感数据段，并将传感数据段发送至物联网传感数据校验模块；

步骤s203，物联网传感数据校验模块校验步骤s202发送的传感数据段；

步骤s204，校验时，先从分布式高速缓存模块查询物联网网关唯一标识数据和传感器节点唯一标识数据，若步骤s203中传感数据段中的物联网网关唯一标识数据和传感器节点唯一标识数据在分布式高速缓存模块中查询到，则代表传感数据合法；

步骤s205，将合法的物联网传感数据存入nosql数据库存储模块，即将合法的传感数据存入分布式mongodb节点中的主mongodb节点；

步骤s206，若步骤s204中传感数据段中的物联网网关唯一标识数据和传感器节点唯一标识数据在分布式高速缓存模块中未查询到，则在关系型数据库存储模块进行查询，及在关系型数据库存储模块的关系型数据库从节点进行查询，若查询到，则代表传感数据合法；

步骤s207，将上述步骤s206中从关系型数据库存储模块查询到的物联网网关唯一标识数据和传感器节点唯一标识数据通过一致性哈希算法存储到分布式高速缓存模块，及memcache节点；

步骤s208，经步骤s204和步骤206都未查询到，则代表传感数据不合法，丢弃；

步骤s209，结束。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。