本发明属于物联网数据处理,尤其涉及一种物联网异构设备数据接入方法及方法及系统。
背景技术:
1、随着物联网技术的发展,接入物联网的设备规模成几何倍数的增长,意味着大量的数据源需要彼此互相连接。由于物联网海量设备差异化、通信协议多样化、数据格式私有化、服务提供组合化的特点导致物联网数据接入复杂度高、服务组合提供难度困难大的问题。目前物联网设备数据格式缺乏统一标准,物联网数据采用一对一适配或者物联网厂商提供的sdk对设备进行集成改造,造成了物联网应用实际开发过程中数据接入难度大、成本高、难以维护。
2、如今公开的物联网通信协议有http、mqtt、dds、amqp、xmpp、jms、rest、coap等在内的数十种,在上述物联网接入平台中,各平台定义了制定了各自的通信协议,目前各个公司自己制定的私有的通信协议已达到数百种之多,这意味着用户要接入上述平台时要对用户自身的物联网系统进行改造实现上述平台的通信协议并使用上述平台指定的物联网wi-fi模组,种类繁多的物联网通信协议以及接入协议私有的物联网平台极大的限制了物联网的发展。
技术实现思路
1、为了解决现有技术存在的问题,本发明提供一种物联网异构设备数据接入方法及方法,能够接入异构设备数据。
2、本发明所要解决的技术问题是通过以下技术方案实现的:
3、第一方面,提供了一种物联网异构设备数据接入方法,包括:
4、实时检测连接到物联网的异构设备并获取异构设备的数据流;
5、对接收到的数据流进行解析;
6、对解析后得到的数据进行标准化;
7、对标准化后的数据进行分片存储;
8、对存储的数据进行处理应用。
9、结合第一方面,进一步的,所述对接收到的数据流进行解析包括:
10、对来自异构设备的数进行设备标识并对数据流协议进行判断,若数据流协议为公有协议,则调用公有协议解析模块对该数据流进行解析,若数据流为私有协议,则对该数据流协议类型进行标识,然后根据协议类型标识调用对应的预构建的私有协议解析模块进行解析。
11、结合第一方面,进一步的,所述对解析后得到的数据进行标准化包括:
12、对解析后的数据中数据记录的命名以及字段进行统一,确保每条数据记录都包含设备标识符、时间戳、数据类型、数据单位以及参数字段。
13、结合第一方面,进一步的,所述对标准化后的数据进行分片存储包括:
14、将设备标识设为分片键,通过分片键使得数据在各分片上均匀分布。
15、结合第一方面,进一步的,所述对数据流协议进行判断包括:
16、通过netty框架构建一个用于协议识别的handler类,通过该handler类基于数据的接入端口以及数据头对协议类型进行识别。
17、结合第一方面,进一步的,所述私有协议解析模块为通过netty框架构建构建的用于私有协议数据解析的handler类,每种私有协议对应一个handler类。
18、第二方面,提供了一种物联网异构设备数据接入方法,包括:
19、数据获取模块,用于实时检测连接到物联网的异构设备并获取异构设备的数据流;
20、数据解析模块,用于对接收到的数据流进行解析;
21、数据标准化模块,用于对解析后得到的数据进行标准化;
22、数据存储模块,用于对标准化后的数据进行分片存储;
23、数据应用模块,用于对存储的数据进行处理应用。
24、本发明有益效果:本发明提供了一种物联网异构设备数据接入方,与现有技术相比,无需开发者改造硬件设备,屏蔽了底层设备的异构性,对数据进行统一化处理,提供了物联网通信协议接入的可扩展性。
25、数据一体化:通过该方法,不同类型的异构设备可以连接到同一个平台,无论其通信协议或数据格式如何。这使得设备数据可以集成到一个统一的数据源中,提高了数据的一体性,便于管理和分析。
26、实时监控与反应:该方法允许实时接收和处理设备数据。这意味着物联网应用可以立即对设备状态或事件做出反应,在出现故障或异常情况时发送警报或采取自动化措施。
27、可扩展性:该方法支持新设备的快速接入。随着系统的扩展,不需要大规模改变基础架构,因为方法已经为异构设备设计,具有良好的可扩展性。
1.一种物联网异构设备数据接入方法,其特征在于,包括:
2.根据权利要求1所述的一种物联网异构设备数据接入方法,其特征在于,所述对接收到的数据流进行解析包括:
3.根据权利要求1所述的一种物联网异构设备数据接入方法,其特征在于,所述对解析后得到的数据进行标准化包括:
4.根据权利要求2所述的一种物联网异构设备数据接入方法,其特征在于,所述对标准化后的数据进行分片存储包括:
5.根据权利要求1所述的一种物联网异构设备数据接入方法,其特征在于,所述对数据流协议进行判断包括:
6.根据权利要求2所述的一种物联网异构设备数据接入方法,其特征在于,所述私有协议解析模块为通过netty框架构建构建的用于私有协议数据解析的handler类,每种私有协议对应一个handler类。
7.一种物联网异构设备数据接入方法,其特征在于,包括: