物联网接入平台数据管理方法
【专利摘要】本发明公开了物联网接入平台数据管理方法，包括如下步骤：提供分布式消息中间件，接入平台门户注册物联网接入设备协议，所述接入平台门户根据物联网接入设备协议情况设置分布式消息中间件对应主题，形成物联网接入设备协议与所述主题的映射关系；终端数据负载均衡：物联网接入设备的各终端通过负载均衡器将所述各终端的原始数据转发至网关服务器集群；所述网关服务器集群将原始数据进行初始数据解析并传输至协议解析服务器；所述协议解析服务器进行协议体解析。本发明解决了传统物联网接入平台单点故障、性能低下、存储容量无法扩展，程序间强藕合以及接入设备类型受限等缺陷。
【专利说明】物联网接入平台数据管理方法
【技术领域】
[0001]本发明属于物联网【技术领域】，具体是物联网接入平台(简称“接入平台”)数据管理方法，能对海量数据进行处理，普遍适用于物联网领域相关信息系统。
【背景技术】
[0002]随着物联网时代的到来，物联网的应用范围正在变得越来越大，各种物联网设备都需要接入到物联网相关系统，例如办公室会在需要的时候自动定购办公物品；衣服和身体上的传感器会实时将我们的健康数据传输医生；冰箱内的牛奶没有了，会自动从食品店那里定购牛奶。这类M2M(机器对机器)通信是物联网的关键之处。
[0003]物联网接入设备都会在一定的间隔时间内上传数据至后台数据中心进行处理，因此，数据中心处理的数据量也呈指数级上升，物联网必须要考虑到如何存储和分析这些生成的数据。这不仅仅是一个数据量的问题，其中还涉及到这些数据的生成速度问题。接入设备正在生成越来越多的数据，而且这些数据的生成速度已经超过了大多数商业应用的处理速度。如此巨大的数据量使物联网的接入平台面临着巨大的挑战，也提出了稳定性、高性能和高可扩展的需求，而传统的物联网接入平台大多存在以下缺点:
[0004]1.单点故障(Single Point of Failure, SPOF),系统中任一服务器程序岩机,贝丨J会造成整个接入平台服务的中断。
[0005]2.性能低下:系统每秒钟能处理的数据量一般只在几百至几千条之间，无法应对大并发量的接入终端上传数据。
[0006]3.系统存储容量无法扩展:接入平台一般采用本机文件系统或数据库的形式存储数据，都会有一定的存储上限，当应对数十TB，数百TB甚至上PB的数据时，均显无能为力。
[0007]4.各系统之间强藕合:接入平台各系统之间均属强藕合关系，当某一系统出现故障，会引起其它系统之间的故障连锁反应。
[0008]5.接入平台处理的接入设备类型受限:物联网接入设备和平台之间都会约定相互进行通信的协议，某种终端设备接入，接入平台都需做相应改造，这种频繁的变更造成了接入平台所能处理的终端类型有限。
【发明内容】
[0009]发明目的:针对上述现有技术存在的问题和不足，本发明的目的是提供一种物联网接入平台数据管理方法，成功解决了传统物联网接入平台单点故障、性能低下、存储容量无法扩展，程序间强藕合以及接入设备类型受限等缺陷。
[0010]技术方案:为实现上述发明目的，本发明采用的技术方案为一种物联网接入平台数据管理方法，包括如下步骤:
[0011](I)提供分布式消息中间件，接入平台门户注册物联网接入设备协议，所述接入平台门户根据物联网接入设备协议情况设置分布式消息中间件对应主题，形成物联网接入设备协议与所述主题的映射关系；
[0012](2)终端数据负载均衡:物联网接入设备的各终端通过负载均衡器将所述各终端的原始数据转发至网关服务器集群；
[0013](3)所述网关服务器集群将原始数据进行初始数据解析并传输至协议解析服务器；
[0014](4)所述协议解析服务器进行协议体解析。
[0015]优选的，所述初始数据解析为协议头解析。
[0016]优选的，所述步骤(I)中，还包括:将所述映射关系写入基础数据库，并将所述映射关系同步至分布式缓存。
[0017]优选的，所述负载均衡器为软件级负载均衡器，所述负载均衡器按照均衡算法将所述各终端的原始数据转发至网关服务器集群。
[0018]更优选的，所述负载均衡器采用主备切换方式。
[0019]优选的，所述步骤(3)中，还包括:网关服务器集群将终端在线列表存储至分布式缓存，各网关服务器共享所述终端在线列表。
[0020]优选的，所述步骤(3)中，还包括:所述网关服务器集群将原始数据存储至分布式数据库。
[0021]优选的，所述步骤(3)中，网关服务器集群根据所述终端的协议类型，将所述终端的原始数据进行初始解析，生成初始解析数据，并将所述初始解析数据传输至分布式消息中间件对应主题；所述步骤(4)中，相应的协议解析服务器从分布式消息中间件对应主题中读取所述初始解析数据，根据终端的协议类型进行协议体解析。
[0022]优选的，所述步骤(4)中，还包括:协议解析服务器将解析后的全部数据存储至分布式数据库。
[0023]优选的，所述步骤(4)中，还包括:协议解析服务器将解析后的常用数据(如终端经纬度、海拔和电量等数据)存储到分布式缓存中。
[0024]优选的，协议解析服务器将解析后的数据传输至分布式消息中间件对应主题中。这里的数据是根据业务平台的需要传输的。
[0025]有益效果:本发明与现有物联网接入平台数据管理方法相比，具有以下优点:
[0026]1.采用软件级负载均衡器，将物联网接入设备的数据接收分流至网关服务器集群进行处理，提供高可用的系统方案，极大提高接入平台能处理的终端数据并发量。
[0027]2.采用分布式消息中间件，改变接入平台内部，以及接入平台与业务平台之间的强藉合关系，避免各程序之间的故障连锁反应。
[0028]3.接入平台各组件均采用主备、分布式以及集群化的方式对外提供服务，解决了以往系统内部各处单点故障的缺陷。
[0029]4.采用分布式数据库、分布式消息中间件和分布式缓存进行数据在内部的传输和存储，有效解决以往接入平台存储容量上限的问题，存储集群可以支持上万台的规模，支撑数十PB数据的存储。
[0030]5.采用接入平台门户注册接入设备协议与消息中间件对应主题的映射关系，分布式消息中间件被用于网关服务器和协议解析服务器之间的消息通讯，从而解决以往接入平台所能处理设置类型受限的问题。【专利附图】
【附图说明】
[0031]图1为本发明的物联网接入平台架构示意图。
【具体实施方式】
[0032]下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
[0033]本发明采取如下步骤实现:
[0034]1、接入平台门户注册物联网接入设备(简称“接入设备”)协议
[0035]为解决接入设备类型受限的问题，本发明采用接入平台门户来注册接入设备协议，包括如下步聚:
[0036]1-1:根据物联网接入设备协议情况，设置分布式消息中间件对应主题，形成物联网接入设备协议与该主题的映射关系。
[0037]1-2:将这种映射关系写入基础数据库。
[0038]1-3:将这种 映射关系同步至分布式缓存。
[0039]2、终端数据负载均衡
[0040]物联网接入设备的各终端将原始数据上传至数据中心(包括软件级负载均衡器和网关服务器集群)，首先经过软件级负载均衡器，无论接入设备和数据中心之间是采用UDP或TCP链接方式，负载均衡器均可按照均衡算法将原始数据转发至后端的网关服务器集群，由其进行数据处理，解决以往整个接入平台只能由单台网关处理终端上传数据的现状，因此解决了网关服务器单点故障的问题。同时，软件级负载均衡器采用主备方式提供高可用服务。目前提供的均衡算法有以下几种:
[0041]?轮叫调度(Round-Robin Scheduling)
[0042]?加权轮叫调度(Weighted Round-Robin Scheduling)
[0043]?最小连接调度(Least-Connection Scheduling)
[0044]?加权最小连接调度(Weighted Least-Connection Scheduling)
[0045]?基于局部性的最少链接(Locality-Based Least Connections Scheduling)
[0046].带复制的基于局部性最少链接(Locality-Based Least Connections withReplication Scheduling)
[0047].目标地址散列调度(Destination Hashing Scheduling)
[0048]?源地址散列调度(Source Hashing Scheduling)
[0049]?最短预期延时调度(Shortest Expected Delay Scheduling)
[0050]?不排队调度(Never Queue Scheduling)
[0051]3、终端原始数据处理
[0052]原始数据:物联网接入设备上传的二进制或其他类型数据。网关:接入平台最先接收终端数据并对其进行处理的服务器程序。初始解析数据:经过协议头解析后的数据。
[0053]传统的接入平台网关需要做终端数据协议解析，因此往往只能处理某类协议的终端数据，而在本发明中，负载均衡器的输出端为网关服务器集群的输入端，负载均衡器将数据转发至网关服务器集群，网关服务器集群只进行简单的数据处理，其可支撑大并发量的数据上传，其接收原始数据后进行以下几个步聚:
[0054]3-1:将原始数据存储至分布式数据库，解决终端数据存储无法扩展的问题。
[0055]3-2:将终端在线列表存储至分布式缓存，各网关服务器共享在线列表，这样网关服务器集群可以统一对在线终端进行相应处理。
[0056]3-3:根据终端协议类型，将终端的原始数据进行协议头解析，生成初始解析数据，并将所述初始解析数据传输至分布式消息中间件对应主题，由相应的协议解析服务器从分布式消息中间件中读取初始解析(协议头解析)数据，做相应的协议体解析，其解决了接入平台各服务器程序之间强藕合的关系。
[0057]4、终端数据协议解析
[0058]传统的物联网接入平台将终端数据接收与解析放于一处，严重影响接入平台的数据处理性能，而本发明将终端数据接收与解析进行分离，协议解析服务器专门进行终端协议解析，有效解决了各类终端多协议数据解析，同时由于采用了分布式消息中间件，可以集群化进行协议解析工作，故可进行高性能的数据协议解析处理，其工作主要进行以下几个步聚:
[0059]4-1:从分布式消息中间件对应主题获取终端初始解析数据，根据终端协议类型进行协议体解析工作。
[0060]4-2:将解析后的全部数据存储至分布式数据库。
[0061]4-3:将解析后的常用数据存储到分布式缓存，业务平台可以直接读取分布式缓存中的数据，加速数据展示性能；
[0062]4-4:将解析后的数据传输至分布式消息中间件对应主题中，由业务平台做相应的业务处理。
[0063]如图1所示，本发明的物联网接入平台主要由基础组件和系统程序组成，基础组件包括软件级负载均衡器，分布式消息中间件，分布式缓存和分布式存储(对应前述的“分布式数据库”)，系统程序由接入网关，协议解析服务器和接入平台门户组成。基础组件和系统程序的服务器都需要安装Linux操作系统。图中:LVS:软件级负载均衡器；GW:接入网关；MQ:消息中间件；AD:各种物联网接入设备；APS:协议解析服务器；AD-Topic:接入设备与消息中间件主题的映射关系；BD-Topic:接入设备与业务平台主题的映射关系。
[0064]软件描述:
[0065]1、软件级负载均衡器:软件级的负载均衡器，使用集群技术和Linux操作系统实现一个高性能、高可用的负载均衡器。
[0066]2、分布式消息中间件:面向消息的分布式中间件，用于服务器之间消息通讯。
[0067]3、分布式缓存:高性能的，分布式的内存对象缓存系统。
[0068]4、分布式存储:分布式存储系统，就是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。
[0069]5、接入平台门户:用于接入平台内部消息主题(即前述“分布式消息中间件对应主题”)及其它应用管理的WEB系统。
[0070]6、接入网关:用于接收物联网接入设备原始数据的服务器程序。
[0071]7、协议解析服务器:用于进行物联网接入设备数据解析的服务器程序。
[0072]其整体流程包括:接入平台门户同步消息主题数据，软件级负载均衡器转发数据，接入网关接收原始数据，协议解析服务器集群处理数据。
[0073]具体工作包括如下步骤:
[0074]I)接入平台门户同步消息主题数据
[0075]接入平台首先根据物联网接入设备协议情况，设置其对应的消息中间件主题(简称“消息主题”)，形成物联网接入设备协议与消息中间件主题的映射关系，并将这种映射关系同步至分布式缓存。
[0076]2)软件级负载均衡器转发原始数据
[0077]物联网接入设备的各终端将原始数据上传至数据中心，首先经过软件级负载均衡器，无论是接入设备和数据中心之间是采用UDP或TCP链接方式，软件级负载均衡器均可按照均衡算法将原始数据转发至后端的网关服务器集群，由其进行原始数据的接收处理。
[0078]3)接入网关接收原始数据
[0079]软件级负载均衡器将终端原始数据转发给网关服务器集群，网关做简单的数据处理，其接收数据后进行以下几个步聚:
[0080]3-1:将原始数据存储至分布式数据库。
[0081]3-2:将终端在线列表存储至分布式缓存，各网关服务器共享在线列表。
[0082]3-3:从分布式缓存中读取终端协议与消息主题的映射关系，根据终端协议类型，将原始数据进行协议头解析，生成初始解析数据，并将所述初始解析数据传输至分布式消息中间件对应主题。
[0083]4 )协议解析服务器处理数据
[0084]本发明将终端数据的接收与解析进行分离，协议解析服务器专门进行终端协议解析，其工作主要进行以下几个步聚:
[0085]4-1:从分布式消息中间件对应主题获取所述初始解析数据，根据终端协议类型进行协议体解析工作。
[0086]4-2:将解析后的全部数据存储至分布式数据库。
[0087]4-3:将解析后的常用数据存储到分布式缓存，业务平台可以直接读取分布式缓存中的数据，大大加速数据展示性能。
[0088]4-4:将解析后的数据传输至分布式消息中间件对应主题中，再由业务平台做相应的业务。
【权利要求】
1.一种物联网接入平台数据管理方法，包括如下步骤: (1)提供分布式消息中间件，接入平台门户注册物联网接入设备协议，所述接入平台门户根据物联网接入设备协议情况设置分布式消息中间件对应主题，形成物联网接入设备协议与所述主题的映射关系； (2)终端数据负载均衡:物联网接入设备的各终端通过负载均衡器将所述各终端的原始数据转发至网关服务器集群； (3)所述网关服务器集群将原始数据进行初始数据解析并传输至协议解析服务器； (4)所述协议解析服务器进行协议体解析。
2.根据权利要求1所述物联网接入平台数据管理方法，其特征在于:所述步骤(I)中，还包括:将所述映射关系写入基础数据库，并将所述映射关系同步至分布式缓存。
3.根据权利要求1所述物联网接入平台数据管理方法，其特征在于:所述负载均衡器为软件级负载均衡器，所述负载均衡器按照均衡算法将所述各终端的原始数据转发至网关服务器集群。
4.根据权利要求3所述物联网接入平台数据管理方法，其特征在于:所述负载均衡器采用主备切换方式。
5.根据权利要求1所述物联网接入平台数据管理方法，其特征在于:所述步骤(3)中，还包括:网关服务器集群将终端在线列表存储至分布式缓存，各网关服务器共享所述终端在线列表。
6.根据权利要求1所述物联网接入平台数据管理方法，其特征在于:所述步骤(3)中，还包括:所述网关服务器集群将原始数据存储至分布式数据库。
7.根据权利要求1所述物联网接入平台数据管理方法，其特征在于:所述步骤(3)中，网关服务器集群根据所述终端的协议类型，将所述终端的原始数据进行初始数据解析，生成初始解析数据，并将所述初始解析数据传输至分布式消息中间件对应主题；所述步骤(4)中，相应的协议解析服务器从分布式消息中间件对应主题中读取所述初始解析数据，根据终端的协议类型进行协议体解析。
8.根据权利要求7所述物联网接入平台数据管理方法，其特征在于:所述步骤(4)中，还包括:协议解析服务器将解析后的全部数据存储至分布式数据库。
9.根据权利要求7所述物联网接入平台数据管理方法，其特征在于:所述步骤(4)中，还包括:协议解析服务器将解析后的常用数据存储到分布式缓存中。
10.根据权利要求7所述物联网接入平台数据管理方法，其特征在于:所述步骤(4)中，还包括:协议解析服务器将解析后的数据传输至分布式消息中间件对应主题中。
【文档编号】G06F17/30GK103699692SQ201410013237
【公开日】2014年4月2日 申请日期:2014年1月11日 优先权日:2014年1月11日
【发明者】樊建, 魏大利, 杨飞, 丁文, 李娜 申请人:樊建, 南京载玄信息科技有限公司