一种物联网数据汇聚系统及方法与流程

1.本发明涉及物联网数据汇聚技术领域，尤其涉及一种物联网数据汇聚系统及方法。


背景技术：

2.数据汇聚是感知层设备数据采集和汇总中一个很重要的环节，主要负责对采集到的数据进行及时高效的处理和汇聚，将汇聚后的数据传输到云端数据中心。
3.在传统的数据汇聚系统中，功能实现比较集中，模块内部存在强耦合，限制了汇聚系统的扩充和处理能力，进而导致很难处理大数据量的接入。传统的数据汇聚系统虽然可以通过双活的机制来解决系统运行的可靠性，但是系统实质还是在一台机器上运行，随着现场层设备点数的增加，势必会增加机器的负载，进而影响运行的性能，导致系统运行不稳定频繁发生。


技术实现要素：

4.为解决背景技术中存在的技术问题，本发明提出一种物联网数据汇聚系统及方法。
5.本发明提出的一种物联网数据汇聚系统，包括：数据汇聚网关主集群、负载均衡器和多个数据采集网关；多个数据采集网关分别与负载均衡器通讯连接，负载均衡器与数据汇聚网关主集群通讯连接；其中，数据采集网关用于获取感知层设备的设备数据并将设备数据发送至负载均衡器；负载均衡器用于接收数据采集网关发送的设备数据并将设备数据转发至业务集群；数据汇聚网关主集群用于作为业务集群接收负载均衡器转发的设备数据，并将设备数据进行汇聚、解析、处理和上传到云端大数据平台。
6.进一步地，还包括数据汇聚网关备用集群，数据汇聚网关备用集群分别与负载均衡器和数据汇聚网关主集群通讯连接；数据汇聚网关备用集群用于与数据汇聚网关主集群实时数据交互，并在数据汇聚网关主集群发生接入故障时，接管数据汇聚网关主集群成为新的业务集群继续接收设备数据并将设备数据进行汇聚、解析、处理和上传到云端大数据平台。
7.进一步地，数据汇聚网关主集群和数据汇聚网关备用集群均包括多个数据汇聚网关、管理监控中心和数据库；多个数据汇聚网关分别与负载均衡器通讯连接，用于数据采集网关上传的设备数据进行汇聚、解析、处理和上传到云端大数据平台；管理监控中心分别与多个数据汇聚网关通讯连接，管理监控中心用于管理和监控
集群内的数据汇聚网关；数据库分别与多个数据汇聚网关通讯连接，用于存储异常数据。
8.进一步地，数据采集网关与负载均衡器之间通过基于zeromq的请求应答消息模式进行通讯连接。
9.进一步地，负载均衡器为ha proxy负载均衡器。
10.本发明还提出了一种物联网数据汇聚方法，应用于上述任意一项所述的物联网数据汇聚系统，包括以下步骤：将多个数据采集网关通过负载均衡器接入作为业务集群的数据汇聚网关主集群；利用数据采集网关获取感知层设备的设备数据并将设备数据发送至负载均衡器；利用负载均衡器接收数据采集网关发送的设备数据并将设备数据转发至业务集群；利用业务集群接收负载均衡器转发的设备数据并将设备数据进行汇聚、解析、处理和上传到云端大数据平台。
11.进一步地，将多个数据采集网关通过负载均衡器接入作为业务集群的数据汇聚网关主集群之后还包括：当负载均衡器检测到作为业务集群的数据汇聚网关主集群发生接入故障时，负载均衡器将业务集群从数据汇聚网关主集群切换到数据汇聚网关备用集群。
12.进一步地，负载均衡器将业务集群从数据汇聚网关主集群切换到数据汇聚网关备用集群之后还包括：当负载均衡器检测到数据汇聚网关主集群恢复正常时，负载均衡器将业务集群从数据汇聚网关备用集群切换到主集群。
13.进一步地，利用负载均衡器接收数据采集网关发送的设备数据并将设备数据转发至业务集群，具体包括：负载均衡器通过向数据采集网关提供一个固定的虚拟ip访问地址来接收数据采集网关的设备数据。
14.进一步地，利用负载均衡器接收数据采集网关发送的设备数据并将设备数据转发至业务集群之后，还包括：当负载均衡器检测到业务集群中有汇聚网关发生故障时，负载均衡器选择至少一个未发生故障的汇聚网关，并将所选择的汇聚网关对原连接至发生故障的汇聚网关的数据采集网关进行通讯连接。
15.进一步地，负载均衡器选择至少一个未发生故障的汇聚网关，并将所选择的汇聚网关对原连接至发生故障的汇聚网关的数据采集网关进行通讯连接之后，还包括：当负载均衡器检测到发生故障的汇聚网关恢复正常时，将原连接至发生故障的汇聚网关的数据采集网关重新连接至恢复正常的汇聚网关。
16.进一步地，负载均衡器选择至少一个未发生故障的汇聚网关，具体包括：负载均衡器根据业务集群中未发生故障的汇聚网关的负载状态，选择至少一个未发生故障的汇聚网关。
17.进一步地，当所述选择的汇聚网关为多个时，将所述选择的汇聚网关对原连接至发生故障的汇聚网关的数据采集网关进行通讯连接，具体包括：
根据所述选择的汇聚网关中各汇聚网关的负载状态，将原连接至发生故障的汇聚网关的数据采集网关分别切换至所述选择的汇聚网关中各汇聚网关进行通讯连接。
18.本发明中，所提出的物联网数据汇聚系统及方法，通过使用负载均衡器将多个数据采集网关接入业务集群，并根据多个数据采集网关与数据汇聚网关主集群中的多个数据汇聚网关将两者之间的连接进行负载均衡，将数据采集网关与相应的数据汇聚网关之间建立数据传输通道，能够快速并且可靠地处理大量数据，有效提高系统运行的稳定性。
附图说明
19.图1为本发明提出的一实施例中的物联网数据汇聚系统的框图。
20.图2为本发明提出的一实施例中的物联网数据汇聚方法的流程示意图。
具体实施方式
21.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
22.参照图1，本发明提出的一种物联网数据汇聚系统，包括：数据汇聚网关主集群、负载均衡器和多个数据采集网关；多个数据采集网关分别与负载均衡器通讯连接，负载均衡器与数据汇聚网关主集群通讯连接；其中，数据采集网关用于获取感知层设备的设备数据并将设备数据发送至负载均衡器；负载均衡器用于接收数据采集网关发送的设备数据并将设备数据转发至业务集群；数据汇聚网关主集群用于作为业务集群接收负载均衡器转发的设备数据，并将设备数据进行汇聚、解析、处理和上传到云端大数据平台。
23.本发明通过使用负载均衡器将多个数据采集网关接入业务集群，并根据多个数据采集网关与数据汇聚网关主集群中的多个数据汇聚网关将两者之间的连接进行负载均衡，将数据采集网关与相应的数据汇聚网关之间建立数据传输通道，能够快速并且可靠地处理大量数据，有效提高了系统运行的稳定性。
24.在本实施方式中，还包括数据汇聚网关备用集群，数据汇聚网关备用集群分别与负载均衡器和数据汇聚网关主集群通讯连接；数据汇聚网关备用集群用于与数据汇聚网关主集群实时数据交互，并在数据汇聚网关主集群发生接入故障时，接管数据汇聚网关主集群成为新的业务集群继续接收设备数据并将设备数据进行汇聚、解析、处理和上传到云端大数据平台。
25.本实施例中，由于数据汇聚网关备用集群与数据汇聚网关主集群实时数据交互，可使系统运行的稳定性得到极大地提高，避免在突发情况下数据汇聚网关主集群恢复需要耗时、数据无法实时备份等问题的发生，有效提高了系统的可靠性；此外，数据汇聚网关备用集群能够在数据汇聚网关主集群发生接入故障时，接管数据汇聚网关主集群成为新的业务集群，对数据采集网关来说ip地址并未改变，进而避免了主备切换时对数据采集网关的影响，进一步提高了系统运行的稳定性。
26.在本实施方式中，数据汇聚网关主集群和数据汇聚网关备用集群均包括多个数据汇聚网关、管理监控中心和数据库；多个数据汇聚网关分别与负载均衡器通讯连接，用于数据采集网关上传的设备数据进行汇聚、解析、处理和上传到云端大数据平台；管理监控中心分别与多个数据汇聚网关通讯连接，管理监控中心用于管理和监控集群内的数据汇聚网关；数据库分别与多个数据汇聚网关通讯连接，用于存储异常数据。
27.为了进一步提高系统的可靠性，在本实施方式中，数据采集网关与负载均衡器之间通过基于zeromq的请求应答消息模式进行通讯连接。
28.在本实施方式中，负载均衡器为ha proxy负载均衡器。
29.参照图2，本发明还提出了一种物联网数据汇聚方法，应用于上述任意一项所述的物联网数据汇聚系统，包括以下步骤：将多个数据采集网关通过负载均衡器接入作为业务集群的数据汇聚网关主集群；利用数据采集网关获取感知层设备的设备数据并将设备数据发送至负载均衡器；利用负载均衡器接收数据采集网关发送的设备数据并将设备数据转发至业务集群；利用业务集群接收负载均衡器转发的设备数据并将设备数据进行汇聚、解析、处理和上传到云端大数据平台。
30.本发明通过使用负载均衡器将多个数据采集网关接入业务集群，并将多个数据采集网关与数据汇聚网关主集群中的多个数据汇聚网关进行负载均衡，将数据采集网关与相应的数据汇聚网关之间建立数据传输通道，可快速并且可靠地处理大量数据，有效提高系统运行的稳定性。
31.为了避免数据汇聚网关主集群发生接入故障时恢复需要耗时、数据无法实时备份等问题的发生，在本实施方式中，将多个数据采集网关通过负载均衡器接入作为业务集群的数据汇聚网关主集群之后还包括：当负载均衡器检测到作为业务集群的数据汇聚网关主集群发生接入故障时，负载均衡器将业务集群从数据汇聚网关主集群切换到数据汇聚网关备用集群。
32.在进一步地实施方式中，负载均衡器将业务集群从数据汇聚网关主集群切换到数据汇聚网关备用集群之后还包括：当负载均衡器检测到数据汇聚网关主集群恢复正常时，负载均衡器将业务集群从数据汇聚网关备用集群切换到主集群。
33.为了避免主备切换时对数据采集网关的影响，进一步提高了系统运行的稳定性，在本实施方式中，利用负载均衡器接收数据采集网关发送的设备数据并将设备数据转发至业务集群，具体包括：负载均衡器通过向数据采集网关提供一个固定的虚拟ip（vip）访问地址来接收数据采集网关的设备数据。
34.为了进一步提高系统运行的稳定性，在本实施方式中，利用负载均衡器接收数据采集网关发送的设备数据并将设备数据转发至业务集群之后，还包括：当负载均衡器检测到业务集群中有汇聚网关发生故障时，负载均衡器选择至少一
个未发生故障的汇聚网关，并将所选择的汇聚网关对原连接至发生故障的汇聚网关的数据采集网关进行通讯连接。
35.在进一步地实施方式中，负载均衡器选择至少一个未发生故障的汇聚网关，具体包括：负载均衡器根据业务集群中未发生故障的汇聚网关的负载状态，选择至少一个未发生故障的汇聚网关。
36.在进一步地实施方式中，当所述选择的汇聚网关为多个时，将所述选择的汇聚网关对原连接至发生故障的汇聚网关的数据采集网关进行通讯连接，具体包括：根据所述选择的汇聚网关中各汇聚网关的负载状态，将原连接至发生故障的汇聚网关的数据采集网关分别切换至所述选择的汇聚网关中各汇聚网关进行通讯连接。
37.在进一步地实施方式中，负载均衡器选择至少一个未发生故障的汇聚网关，并将所选择的汇聚网关对原连接至发生故障的汇聚网关的数据采集网关进行通讯连接之后，还包括：当负载均衡器检测到发生故障的汇聚网关恢复正常时，将原连接至发生故障的汇聚网关的数据采集网关重新连接至恢复正常的汇聚网关。
38.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。