基于大数据技术的城市物联网设备运营控制系统及方法与流程

本发明涉及数据处理领域，尤其涉及一种基于大数据技术的城市物联网设备运营控制系统及方法。

背景技术：

物联网(Internet of things，IoT)是物物相连的互联网，是新一代信息技术的重要组成部分，也是“信息化”时代的重要发展阶段。

智慧城市就是运用信息和通信技术手段感测、分析、整合城市运行核心系统的各项关键信息，从而对包括民生、环保、公共安全、城市服务、工商业活动在内的各种需求做出智能响应。其实质是利用先进的信息技术，实现城市智慧式管理和运行，进而为城市中的人创造更美好的生活，促进城市的和谐、可持续成长。

物联网应用于智慧城市，由于有大量的设备，会产生多种运营控制的问题，包括：如何设备快速查询，设备如何巡检，大量设备调整和升级，设备数据如何收集，如何利用海量的设备数据并产生价值等，然而现今并未有完善的运营控制方案以解决上述问题之一。

技术实现要素：

本发明旨在至少克服上述缺陷之一提供一种基于大数据技术的城市物联网设备运营控制系统及方法，从而有效的对城市物联网设备运营进行控制。

为达到上述目的，本发明的技术方案具体是这样实现的：

本发明的一个方面提供了一种基于大数据技术的城市物联网设备运营控制系统，包括：至少一个采集器，每个采集器用于采集至少一个物联网设备的设备数据，并将采集到的设备数据发送至集中器，其中，设备数据包括设备信息以及环境信息；至少一个集中器，每个集中器用于接收采集器发送的设备数据，并将设备数据发送至云网关；至少一个云网关，每个云网关用于接收集中器发送的设备数据，并向消息系统发送设备数据，接收运营管理平台发送的控制信息；消息系统，用于对设备数据进行分离处理，根据预设规则将设备数据发送至数据流模块或者大数据分析模块；数据流模块，用于接收消息系统发送的设备数据，并根据预设的不同规则，提取设备数据中的设备特征数据，并将设备特征数据保存到数据库；大数据分析模块，用于接收消息系统发送的设备数据，进行统计及查询，并进行能源分析制作节能策略模型；运营管理平台，用于采用Web用户界面，根据数据流模块和大数据分析模块产生的数据执行管理操作，并向云网关发送控制信息。

另外，云网关采用Haproxy+Keepalived作为负载均衡。

另外，消息系统采用Kafka实现。

另外，数据流模块，还用于根据触发器设置的条件，当设备特征数据达到阈值范围时，触发提示事件至运营管理平台。

另外，大数据分析模块通过如下方式接收消息系统发送的设备数据，进行统计及查询，并进行能源分析制作节能策略模型：消息系统，还用于将设备数据发送至Hadoop进行存储；大数据分析模块，具体用于获取消息系统发送至Hadoop进行存储的设备数据，基于Hadoop进行统计及查询，并进行能源分析制作节能策略模型。

另外，大数据分析模块，具体用于使用Spark SQL查询HDFS，使用MLib分析能源，制作节能策略模型。

另外，管理操作包括：设备查询、设备报警处理、区域设备批量更新、统计数据查询和/或报表展现。

本发明的另一个方面提供了一种基于大数据技术的城市物联网设备运营控制方法，包括：采集器采集至少一个物联网设备的设备数据，并将采集到的设备数据发送至集中器，其中，设备数据包括设备信息以及环境信息；集中器接收采集器发送的设备数据，并将设备数据发送至云网关；云网关接收集中器发送的设备数据，并向消息系统发送设备数据；消息系统对设备数据进行分离处理，根据预设规则将设备数据发送至数据流模块或者大数据分析模块；数据流模块接收消息系统发送的设备数据，并根据预设的不同规则，提取设备数据中的设备特征数据，并将设备特征数据保存到数据库；大数据分析模块接收消息系统发送的设备数据，进行统计及查询，并进行能源分析制作节能策略模型；运营管理平台采用Web用户界面，根据数据流模块和大数据分析模块产生的数据执行管理操作，并向云网关发送控制信息；云网关接收运营管理平台发送的控制信息。

另外，云网关采用Haproxy+Keepalived作为负载均衡。

另外，消息系统采用Kafka实现。

另外，方法还包括：数据流模块根据触发器设置的条件，当设备特征数据达到阈值范围时，触发提示事件至运营管理平台。

另外，大数据分析模块接收消息系统发送的设备数据，进行统计及查询，并进行能源分析制作节能策略模型包括：大数据分析模块获取消息系统发送至Hadoop进行存储的设备数据；大数据分析模块基于Hadoop进行统计及查询，并进行能源分析制作节能策略模型。

另外，大数据分析模块接收消息系统发送的设备数据，进行统计及查询，并进行能源分析制作节能策略模型包括：大数据分析模块接收消息系统发送的设备数据，使用Spark SQL查询HDFS，使用MLib分析能源，制作节能策略模型。

另外，管理操作包括：设备查询、设备报警处理、区域设备批量更新、统计数据查询和/或报表展现。

由上述本发明提供的技术方案可以看出，本发明提供的基于大数据技术的城市物联网设备运营控制系统及方法，运营管理平台可以得到数据流模块和大数据分析模块的相关数据，从而根据监测的结果有效的对城市物联网设备运营进行控制。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的基于大数据技术的城市物联网设备运营控制系统的结构示意图；

图2示出了本发明实施例提供的数据流模块触发提示事件的一个具体示例；

图3示出了本发明实施例提供的大数据分析模块进行数据分析的具体示例；

图4为本发明实施例提供的基于大数据技术的城市物联网设备运营控制方法的流程图。

具体实施方式

下面结合附图对本发明的实施方式进行详细说明。

图1为本发明实施例提供的基于大数据技术的城市物联网设备运营控制系统的结构示意图，参见图1，本发明实施例提供的基于大数据技术的城市物联网设备运营控制系统，包括：

至少一个采集器101，每个采集器101用于采集至少一个物联网设备的设备数据，并将采集到的设备数据发送至集中器102，其中，设备数据包括设备信息以及环境信息；

至少一个集中器102，每个集中器102用于接收采集器101发送的设备数据，并将设备数据发送至云网关103；

至少一个云网关103，每个云网关103用于接收集中器102发送的设备数据，并向消息系统104发送设备数据，接收运营管理平台107发送的控制信息；

消息系统104，用于对设备数据进行分离处理，根据预设规则将设备数据发送至数据流模块105或者大数据分析模块106；

数据流模块105，用于接收消息系统104发送的设备数据，并根据预设的不同规则，提取设备数据中的设备特征数据，并将设备特征数据保存到数据库；

大数据分析模块106，用于接收消息系统104发送的设备数据，进行统计及查询，并进行能源分析制作节能策略模型；

运营管理平台107，用于采用Web用户界面，根据数据流模块105和大数据分析模块106产生的数据执行管理操作，并向云网关103发送控制信息。

由此可见，通过本发明实施例提供的基于大数据技术的城市物联网设备运营控制系统，运营管理平台可以得到数据流模块和大数据分析模块的相关数据，从而根据监测的结果有效的对城市物联网设备运营进行控制。

具体地，物联网设备是指接入物联网的设备，例如路灯、门禁、车库抬杆等，本发明并不局限于设备的具体内容，只要可以接入物联网的设备均应属于本发明的保护范围。

采集器101，具体可以收集物联网设备信息以及环境信息等，具体可以包括但不限于设备的开启状态、电压、温度等，并定时上传到集中器102。

集中器102是IoT设备物(联网设备)的传输中介，其可以根据采集器101类型以及部署环境不同，支持有线、Wifi、LoRa等传输方式。集中器102可以接受采集器101传输的数据，并上传到云网关103。

云网关103是云平台的网络接入点，具体用于接收流入的设备数据，以及向设备发送指令。作为本发明实施例的一个可选实施方式，云网关103采用Haproxy+Keepalived作为负载均衡，由此可以保证系统的扩展，提高系统容纳量。

由于云网关103的流入数据有多个系统都需要使用和分析，因此，作为本发明实施例的一个可选实施方式，消息系统104可以使用开源的消息分发系统Kafka进行消息的分离处理，即消息系统104采用Kafka实现。由此可以保证系统的扩展，提高系统容纳量。

作为本发明实施例的一个可选实施方式，消息系统104可以按照预设规则将一份数据通过Kafka的消费接口以流的形式供数据流模块105进行处理；另一份数据存储到Hadoop，用于大数据分析模块106进行大数据分析。

作为本发明实施例的一个可选实施方式，数据流模块105可以监听消息系统104流入的设备数据，根据设置的不同规则，提取出设备特征数据，并保存到Mysql数据库。该数据库保存了设备的在线状态，心跳时间，电压、温度等参数。以便后续使用。

作为本发明实施例的一个可选实施方式，数据流模块105还用于根据触发器设置的条件，当设备特征数据达到阈值范围时，触发提示事件至运营管理平台107。具体地，数据流模块105根据触发器设置的条件，当状态或指标值到达阈值范围时，触发通知或报警事件。图2示出了数据流模块105触发提示事件的一个具体示例，但本发明并不局限于此。由此提示监管人员，方便人员管理。

作为本发明实施例的一个可选实施方式，大数据分析模块106通过如下方式接收消息系统104发送的设备数据，进行统计及查询，并进行能源分析制作节能策略模型：消息系统104，还用于将设备数据发送至Hadoop进行存储；大数据分析模块106，具体用于获取消息系统104发送至Hadoop进行存储的设备数据，基于Hadoop进行统计及查询，并进行能源分析制作节能策略模型。由此可以在业务增长以及历史日志持续增长的情况下，通过增加服务器节点，确保系统的健康运行

大数据分析模块106具体地，可以基于开源的Spark系统，使用Spark SQL查询HDFS，用于海量数据的统计类数据查询；使用MLib分析能源，制作节能策略模型。图3示出了大数据分析模块106进行数据分析的具体示例，但本发明并不局限于此。由此可以使得大数据分析简单快捷。

运营管理平台107是管理人员使用的Web用户界面，根据数据流模块和大数据分析模块产生的数据流模块和执行管理操作，发送控制信息至云网关103。其中，管理操作主要包括以下内容：设备查询、设备报警处理、区域设备批量更新、统计数据查询和/或报表展现。由此保证运营管理的多元化和便捷性。

在本发明中，鉴于城市级物联网的数据量，要求系统在设备大量增加时，系统是可扩展的。因此，本发明提供的系统从以下几点确保了水平扩展性：

1、云网关可以使用Haproxy+Keepalived作负载均衡，网关服务器节点可任意增加；

2、消息系统使用Kafka，通过增加服务器节点，具有任意水平扩展能力；

3、Hadoop作为分布式文件数据库，在业务增长以及历史日志持续增长的情况下，通过增加服务器节点，也可确保系统的健康运行。

图4示出了本发明实施例提供的基于大数据技术的城市物联网设备运营控制方法的流程图，而本发明实施例提供的基于大数据技术的城市物联网设备运营控制方法应用于上述系统，以下仅对基于大数据技术的城市物联网设备运营控制方法进行简单说明，其他未尽事宜，具体参见上述系统的相关说明。参见图4，本发明实施例提供的基于大数据技术的城市物联网设备运营控制方法，包括：

S401，采集器采集至少一个物联网设备的设备数据，并将采集到的设备数据发送至集中器，其中，设备数据包括设备信息以及环境信息；

S402，集中器接收采集器发送的设备数据，并将设备数据发送至云网关；

S403，云网关接收集中器发送的设备数据，并向消息系统发送设备数据；

S404，消息系统对设备数据进行分离处理，根据预设规则将设备数据发送至数据流模块或者大数据分析模块；

S405，数据流模块接收消息系统发送的设备数据，并根据预设的不同规则，提取设备数据中的设备特征数据，并将设备特征数据保存到数据库；

S406，大数据分析模块接收消息系统发送的设备数据，进行统计及查询，并进行能源分析制作节能策略模型；

S407，运营管理平台采用Web用户界面，根据数据流模块和大数据分析模块产生的数据执行管理操作，并向云网关发送控制信息；

S408，云网关接收运营管理平台发送的控制信息。

由此可见，通过本发明实施例提供的基于大数据技术的城市物联网设备运营控制方法，运营管理平台可以得到数据流模块和大数据分析模块的相关数据，从而根据监测的结果有效的对城市物联网设备运营进行控制。

作为本发明实施例的一个可选实施方式，云网关采用Haproxy+Keepalived作为负载均衡。由此可以保证系统的扩展，提高系统容纳量。

作为本发明实施例的一个可选实施方式，消息系统采用Kafka实现，同样地，由此可以保证系统的扩展，提高系统容纳量。

作为本发明实施例的一个可选实施方式，方法还包括：数据流模块根据触发器设置的条件，当设备特征数据达到阈值范围时，触发提示事件至运营管理平台。由此提示监管人员，方便人员管理。

作为本发明实施例的一个可选实施方式，大数据分析模块接收消息系统发送的设备数据，进行统计及查询，并进行能源分析制作节能策略模型包括：大数据分析模块获取消息系统发送至Hadoop进行存储的设备数据；大数据分析模块基于Hadoop进行统计及查询，并进行能源分析制作节能策略模型。由此可以在业务增长以及历史日志持续增长的情况下，通过增加服务器节点，确保系统的健康运行。

作为本发明实施例的一个可选实施方式，大数据分析模块接收消息系统发送的设备数据，进行统计及查询，并进行能源分析制作节能策略模型包括：大数据分析模块接收消息系统发送的设备数据，使用Spark SQL查询HDFS，使用MLib分析能源，制作节能策略模型。由此可以使得大数据分析简单快捷。

作为本发明实施例的一个可选实施方式，管理操作包括：设备查询、设备报警处理、区域设备批量更新、统计数据查询和/或报表展现。由此保证运营管理的多元化和便捷性。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上的实施例仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通工程技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。