物联网数据管理方法及装置与流程

1.本发明涉及信息处理技术领域，具体涉及一种物联网数据管理方法及装置。


背景技术：

2.目前，政府或企业在利用物联网数据产生价值的过程中，通常面临着物联网数据管理难的问题，即物联网数据具有海量、多源异构、时序性高等特点。
3.常见的数据管理方法包括数据接入、数据质量、数据治理、数据服务等功能，通常是对结构化数据进行管理。而物联网数据具有海量、多源异构、时序性高等特点，普通的数据管理方法已无法完全满足物联网数据的管理需求。
4.因此，如何对物联网数据进行统一、高效管理，使物联网数据更好地服务于政府或企业，是目前亟需解决的一个重要问题。


技术实现要素：

5.本发明提供一种物联网数据管理方法及装置，以实现对各类物联网数据的统一、高效管理。
6.为此，本发明提供如下技术方案：
7.本发明提供一种物联网数据管理方法，所述方法包括：
8.将来自数据源的数据汇入数据资源池中；
9.对汇入所述数据资源池中的数据进行处理，并根据预设的指标需求对所述数据进行统计，对所述数据处理包括离线数据处理和实时数据处理；
10.向用户提供所述数据资源池中的数据。
11.可选地，所述数据资源池中设有热数据仓库和冷数据仓库，所述热数据仓库和冷数据仓库采用不同的数据库存储数据；
12.所述将来自数据源的数据汇入数据资源池中包括以下任意一种或多种：
13.通过订阅方式获取协议适配系统的数据，并将获取的数据作为热数据存入所述热数据仓库中；
14.获取设备管理系统中的感知数据和设备数据，并将获取的数据存入所述数据资源池中；
15.通过以下任意一种或多种方式将外部数据源的数据存入所述数据资源池中：数据同步、文件导入、api采集。
16.可选地，所述方法还包括：将在所述热数据仓库中达到设定时间的热数据转移至所述冷数据仓库。
17.可选地，所述向用户提供所述数据资源池中的数据包括以下任意一种或多种：
18.提供api接口，使用户通过所述api接口获取所述数据资源池中的数据；
19.提供数据加载服务，使用户能够加载所述数据资源池中的数据；
20.提供数据查询服务，使用户能够查询所述数据资源池中的数据。
21.可选地，所述方法还包括：
22.对所述数据资源池中的数据进行深度处理，所述深度处理包括以下做任意一种或多种处理：加工处理、数据融合分析、分类管理；和/或
23.对所述数据资源池中的数据进行质量巡检。
24.本发明还提供一种物联网数据管理装置，所述装置包括：数据源管理模块、数据处理模块、数据服务模块、以及数据资源池；
25.所述数据源管理模块，用于接入数据源，将来自所述数据源的数据汇入所述数据资源池中；
26.所述数据处理模块，用于对汇入所述数据资源池中的数据进行处理，并根据预设的指标需求，对所述数据进行统计，对所述数据处理包括离线数据处理和实时数据处理；
27.所述数据服务模块，用于向用户提供所述数据资源池中的数据。
28.可选地，所述数据资源池中设有热数据仓库和冷数据仓库，所述热数据仓库和冷数据仓库采用不同的数据库存储数据；
29.所述数据源管理模块通过订阅方式获取协议适配系统的数据，并将获取的数据作为热数据存入所述热数据仓库中；
30.所述数据源管理模块获取设备管理系统中的感知数据和设备数据，并将获取的数据存入所述数据资源池中；
31.所述数据源管理模块通过以下任意一种或多种方式将外部数据源的数据存入所述数据资源池中：数据同步、文件导入、api采集。
32.可选地，所述数据源管理模块，还用于将在所述热数据仓库中达到设定时间的热数据转移至所述冷数据仓库。
33.可选地，所述数据服务模块包括以下任意一个或多个单元：
34.推送单元，用于向用户推送所述数据资源池中的数据；
35.api接口单元，用于提供api接口，使用户通过所述api接口获取所述数据资源池中的数据；
36.数据加载单元，用于提供数据加载服务，使用户能够加载所述数据资源池中的数据；
37.数据查询单元，用于提供数据查询服务，使用户能够查询所述数据资源池中的数据。
38.可选地，所述数据处理模块，还用于对所述数据资源池中的数据进行深度处理，所述深度处理包括以下做任意一种或多种处理：加工处理、数据融合分析、分类管理；和/或
39.所述装置还包括：
40.数据治理模块，用于对所述数据资源池中的数据进行质量巡检。
41.本发明提供的物联网数据管理方法及系统，将来自多种数据源的数据汇入数据资源池中，并对数据资源池中的数据根据其类型进行离线数据处理和实时数据处理，而且，还可根据预设的指标要求对数据进行统计，向用户提供数据资源池中的数据。利用本发明方案，可以实现对各类物联网数据的统一、高效管理，向用户提供满足唯一性、完整性、实时性的数据服务，实现数据“聚、通、用”，从而有效支撑上层应用。
附图说明
42.图1是本发明实施例提供的物联网数据管理方法的一种流程图；
43.图2是本发明实施例提供的物联网数据管理方法的另一种流程图；
44.图3是本发明实施例提供的物联网数据管理装置的一种结构示意图；
45.图4是本发明实施例提供的物联网数据管理装置的另一种结构示意图；
46.图5是本发明实施例提供的物联网数据管理装置的一种具体应用架构。
具体实施方式
47.为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。
48.针对现有的对结构化数据进行管理的方式无法适应具有海量、多源异构、时序性高等特点的物联网数据的问题，本发明实施例提供一种物联网数据管理方法及装置，以“整合资源，共享数据，提供服务”为指导思想，构建满足于数据资源信息化建设需要的多功能数据资源池，将来自多种数据源的数据汇入数据资源池中，并对数据资源池中的数据根据其类型进行离线数据处理和实时数据处理，而且，还可根据预设的指标要求对数据进行统计，向用户提供数据资源池中的数据，实现对各类物联网数据的统一、高效管理。
49.如图1所示，是本发明实施例提供的物联网数据管理方法的一种流程图，包括以下步骤：
50.步骤101，将来自数据源的数据汇入数据资源池中。
51.所述数据资源池中预先建有热数据仓库和冷数据仓库，热数据仓库和冷数据仓库中的数据可以采用不同的方式存储。
52.在实际应用中，所述数据源可以有一种或多种，比如，可以包括但不限于以下任意一种或多种：协议适配系统、设备管理系统、外部数据源等。
53.其中，所述协议适配系统是指提供各种协议、规范、标准的系统，比如支持modbusrtu/ascii、dlt645 376.1、粉尘、赛默飞、dm101、hjt212等；所述设备管理系统用于提供各种感知数据和设备数据，所述感知数据是指由传感设备感受、测量及传输的数据，如称重传感器数据、温度传感器数据等；所述设备数据如服务器数据、网络交换机数据等；所述外部数据源是指可以提供已经经过收集、处理、汇总后的各种数据，比如mysql、postgresql、mongodb等类型的数据源。
54.针对不同的数据源，可以采用不同的方法获取该数据源的数据，比如：
55.1)对于协议适配系统，可以通过订阅方式获取协议适配系统的数据，并将获取的数据作为热数据存入所述热数据仓库中。比如，可以利用kafka组件实时接收来自协议适配系统的物联网数据，kafka是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者在网站中的所有动作流数据。
56.由于各种协议、标准、规范等这类数据通常具有时效性，为此，在本发明实施例中，可以将实时获取的来自协议适配系统的数据存入所述热数据仓库中。
57.进一步地，对于热数据仓库中的数据还可以根据其停留时间，即存入热数据仓库的时间来确定其热度，将在所述热数据仓库中达到设定时间的热数据转移至所述冷数据仓库。热数据仓库采用influxdb数据库，冷数据仓库采用mongdb数据库，热数据仓库的查询实
时性更高但是无法支持大批量数据的查询，冷数据仓库可支持大批量数据的查询但是查询的实时性低，根据数据的热度合理的将数据存储到热区和冷区，从而可以优化存储空间和存储模式。
58.2)对于设备管理系统，该系统中的设备数据如服务器数据、网络交换机数据等属于非感知数据，无需采用冷热区存储方式，可直接同步存入数据资源池中进行存储。
59.3)对于外部数据源，可以依据数据源的类型，通过以下任意一种或多种方式将外部数据源的数据存入所述数据资源池中：数据同步、文件导入、api(application programming interface，应用程序编程接口)采集等方式。当然，还可以有其它获取方式，对此本发明实施例不做限定。
60.步骤102，对汇入所述数据资源池中的数据进行处理，并根据预设的指标需求对所述数据进行统计，对所述数据处理包括离线数据处理和实时数据处理，离线数据处理例如对冷数据仓库中的表进行关联分析等处理，实时数据处理例如对热数据仓库中的数据进行格式转换等处理。
61.具体地，可以根据实际应用需求，对数据资源池中的一些数据进行统计，得到相应的统计结果，保存在数据资源池中，例如数据源个数、数据资源个数、元数据个数等信息的统计、信息展示等。
62.步骤103，向用户提供所述数据资源池中的数据。
63.需要说明的是，数据资源池中的主题应用数据、感知数据、非感知数据皆可通过数据服务以不同形式对外提供，以满足不同用户对不同数据的使用需求。
64.实际应用中，对外提供数据服务的方式可以有多种，比如：
65.提供api接口，使用户通过所述api接口获取所述数据资源池中的数据；
66.提供数据加载服务，使用户能够加载所述数据资源池中的数据；
67.提供数据查询服务，使用户能够查询所述数据资源池中的数据。
68.当然，本发明实施例并不仅限于上述介绍的具体数据服务方式，还可以有其它方式，对此本发明实施例不做限定。
69.本发明提供的物联网数据管理方法，将来自多种数据源的数据汇入数据资源池中，并对数据资源池中的数据根据其类型进行离线数据处理和实时数据处理，而且，还可根据预设的指标要求对数据进行统计，向用户提供数据资源池中的数据。利用本发明方案，可以实现对各类物联网数据的统一、高效管理，向用户提供满足唯一性、完整性、实时性的数据服务。
70.如图2所示，是本发明实施例提供的物联网数据管理方法的一种流程图，包括以下步骤：
71.步骤201，将来自数据源的数据汇入数据资源池中。
72.步骤202，对汇入所述数据资源池中的数据进行处理，并根据预设的指标需求对所述数据进行统计，对所述数据处理包括离线数据处理和实时数据处理。
73.步骤203，根据所述数据资源池中的数据构建数据资源目录。
74.步骤204，向用户提供所述数据资源池中的数据。
75.与图1所示实施例不同的是，在该实施例中，不仅可以对数据资源池中的数据做简单的统计等处理，还可对这些数据做一些深度处理，比如，所述深度处理可以包括但不限于
以下任意一种或多种处理：
76.加工处理，如对数据的清洗、格式转化；
77.数据融合分析，如多表的关联分析；
78.需要说明的是，对数据的融合分析可以是感知数据和/或非感知数据的融合分析，例如设备的名称、型号等信息关联设备采集的温度、重量等信息；
79.分类管理，比如构建数据资源目录；
80.通过对数据的深度处理，可以为用户提供更多的数据服务。
81.进一步地，为了保证数据资源池中的数据的准确性和可靠性，在本发明方法另一非限制性实施例中，还可对所述数据资源池中的数据进行质量巡检，比如，针对数据无法匹配、数据不可识别、数据不一致、数据沉余重复、实效性不强、精度不够等问题，从完整性、规范性、一致性、准确性、唯一性、关联性等方面对数据质量展开评估。
82.利用本发明实施例提供的物联网数据管理方法，不仅可以实现对各类物联网数据的统一、高效管理，向用户提供满足唯一性、完整性、实时性的数据服务，而且可以有效保证数据的质量。
83.相应地，本发明实施例还提供一种物联网数据管理装置，如图3所示，是该装置的一种结构示意图。
84.该实施例的物联网数据管理装置300包括：数据源管理模块301、数据处理模块302、数据服务模块303、以及数据资源池304。其中：
85.所述数据源管理模块301用于接入数据源，将来自所述数据源的数据汇入所述数据资源池304中；
86.所述数据处理模块302用于对汇入所述数据资源池304中的数据进行处理，并根据预设的指标需求，对所述数据进行统计，对所述数据处理包括离线数据处理和实时数据处理；
87.数据服务模块303用于向用户提供所述数据资源池304中的数据。
88.在实际应用中，所述数据源可以有一种或多种，比如，可以包括但不限于以下任意一种或多种：协议适配系统、设备管理系统、外部数据源等。针对不同的数据源，所述数据源管理模块301可采用不同的方式获取相应数据源的数据，而且，针对不同类型的数据可以做不同的处理。不同数据源的数据获取方式及对这些数据的处理可参照前面本发明方法实施例中的描述，在此不再赘述。
89.进一步地，考虑到来自协议适配系统的数据通常会有一定的时效性，为此，在本发明实施例中，所述数据源管理模块301可以将实时获取的来自所述协议适配系统的数据先存入所述热数据仓库中，并将在所述热数据仓库中达到设定时间的热数据转移至所述冷数据仓库。对所述热数据仓库中数据的检查及转移可以是定期执行，或者由各热数据的时间戳触发执行，对此本发明实施例不做限定。
90.在实际应用中，所述数据服务模块303可以采用多种方式提供数据服务。相应地，所述数据服务模块303可以包括但不限于以下任意一个或多个单元：
91.推送单元，用于向用户推送所述数据资源池中的数据；
92.api接口单元，用于提供api接口，使用户通过所述api接口获取所述数据资源池中的数据；
93.数据加载单元，用于提供数据加载服务，使用户能够加载所述数据资源池中的数据；
94.数据查询单元，用于提供数据查询服务，使用户能够查询所述数据资源池中的数据。
95.本发明提供的物联网数据管理装置，将来自多种数据源的数据汇入数据资源池中，并对数据资源池中的数据根据其类型进行离线数据处理和实时数据处理，而且，还可根据预设的指标要求对数据进行统计，向用户提供数据资源池中的数据。利用本发明方案，可以实现对各类物联网数据的统一、高效管理，向用户提供满足唯一性、完整性、实时性的数据服务。
96.进一步地，在本发明物联网数据管理装置另一种非限制性实施例中，所述数据处理模块302还用于对所述数据资源池304中的数据进行深度处理，所述深度处理可以包括不限于以下任意一种或多种：加工处理、数据融合分析、分类管理，具体处理方式可参见前面本发明方法实施例中的描述，在此不再赘述。这样，可以为用户提供更多的数据服务。
97.进一步地，如图4所示，在本发明物联网数据管理装置另一种非限制性实施例中，所述装置还可包括：数据治理模块305，用于对所述数据资源池304中的数据进行质量巡检，从而可以保证对外提供的数据的质量。
98.如图5所示，是本发明实施例提供的物联网数据管理装置的一种具体应用架构。
99.其中，数据源管理模块接入多种不同数据源，如图中的协议适配装置、设备管理装置、外部数据源装置，对这些数据源的数据进行采集，针对不同的数据源及数据类型，可以采用不同的采集方式，将采集的数据存入数据资源池中。对于感知数据需要实时采集处理，为此数据源管理模块可以将采集的感知数据先存入感知数据消息队列，然后再由数据处理模块从感知数据消息队列中逐一提取，对其处理并放入相应的数据仓库。
100.在数据资源池中，可以建立不同的数据仓库，比如，感知数据库、时序数据库等。
101.数据处理模块可以对所述感知数据消息队列中的数据进行任务监控和调度，对其进行实时数据处理。另外，数据处理模块可以对数据资源池中的非感知数据进行离线数据处理。具体处理可以根据数据类型及实际应用需要进行，对此本发明实施例不做限定。
102.数据治理模块可对数据资源池中的数据进行数据质量巡检，比如可以周期性地、或者由事件触发、或者随机进行数据质量巡检，对此本发明实施例不做限定。
103.数据服务模块可以通过多种方式向用户提供数据资源池中的数据，比如，数据推送、数据加载、数据api、数据查询等方式，以使用户方便地获取所需数据。
104.利用本发明提供的物联网数据管理架构，层次清晰、结构简单、可以实现对各类物联网数据的统一、高效管理，从而向用户提供满足唯一性、完整性、实时性的数据服务，能够方便地为上层应用提供各种数据服务。
105.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
106.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。而且，以上所描述
的系统实施例仅仅是示意性的，其中作为分离部件说明的模块和单元可以是或者也可以不是物理上分开的，即可以位于一个网络单元上，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
107.以上对本发明实施例进行了详细介绍，本文中应用了具体实施方式对本发明进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及系统，其仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围，本说明书内容不应理解为对本发明的限制。因此，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。