一种数据治理方法、装置、节点及存储介质与流程

本发明涉及计算机，尤其涉及一种数据治理方法、装置、节点及存储介质。

背景技术：

1、目前，在工业场景的数据治理方案中，通常是将所有物联网(iot，internetofthings)设备产生的数据全部传到云端，在云端建立一个大数据平台，在大数据平台对iot数据进行数据治理。由于需要将所有iot数据发送到云端之后才进行数据治理，数据治理结果的实时性差。

技术实现思路

1、为了解决上述问题，本发明实施例提供了一种数据治理方法、装置、节点及存储介质，以至少解决相关技术中云端的数据治理结果的实时性差的问题。

2、本发明的技术方案是这样实现的：

3、一方面，本发明实施例提供了一种数据治理方法，应用于边缘计算网络中的边缘节点，该方法包括：

4、从所述边缘计算网络的中心节点获取所述边缘节点对应的数据治理任务；所述数据治理任务基于用户的配置指令生成；所述边缘计算网络包括多个边缘节点；

5、基于所述数据治理任务对所述边缘节点获取到的物联网数据进行数据治理，得到数据治理结果；

6、将所述数据治理结果发送给所述中心节点。

7、上述方案中，所述基于所述数据治理任务对所述边缘节点获取到的设备数据进行数据治理，得到数据治理结果，包括：

8、将获取到的物联网数据存储在所述边缘节点对应的时序数据库中；所述物联网数据包括时间戳；

9、基于所述数据治理任务，对所述边缘节点对应的时序数据库中的物联网数据进行数据治理，得到所述数据治理结果。

10、上述方案中，所述对所述边缘节点对应的时序数据库中的物联网数据进行数据治理，包括以下任意一项：

11、确定所述时序数据库中的物联网数据的均值；

12、确定所述时序数据库中的物联网数据的最大值；

13、确定所述时序数据库中的物联网数据的最小值。

14、上述方案中，所述将所述数据治理结果发送给所述中心节点，包括：

15、将所述数据治理结果转换为结构化数据格式；

16、将所述结构化数据格式的数据治理结果发送给所述中心节点。

17、上述方案中，所述将所述数据治理结果发送给所述中心节点，包括：

18、获取所述中心节点的业务系统订阅的主题信息；

19、将符合所述主题信息的数据治理结果发送给对应的业务系统。

20、上述方案中，所述从所述边缘计算网络的中心节点获取所述边缘节点对应的数据治理任务，包括：

21、监听所述中心节点发布的集群资源配置文件；所述集群资源配置文件包括各个边缘节点的数据治理任务；

22、若监听到所述集群资源配置文件发生变化，从所述中心节点获取所述集群资源配置文件；

23、根据所述集群资源配置文件，获取所述边缘节点对应的数据治理任务。

24、上述方案中，所述基于所述数据治理任务对所述边缘节点获取到的物联网数据进行数据治理，包括：

25、基于所述数据治理任务更新所述边缘节点的配置文件；

26、基于更新后的所述配置文件，对所述边缘节点获取到的物联网数据进行数据治理。

27、另一方面，本发明实施例提供了一种数据治理方法，应用于边缘计算网络中的中心节点，该方法包括：

28、基于用户的配置指令，生成各个边缘节点对应的数据治理任务；所述边缘计算网络包括多个边缘节点；

29、将所述数据治理任务发送给对应的边缘节点，以使所述边缘节点基于所述数据治理任务对获取到的物联网数据进行数据治理，得到数据治理结果。

30、另一方面，本发明实施例提供了一种数据治理装置，该装置包括：

31、获取模块，用于从所述边缘计算网络的中心节点获取所述边缘节点对应的数据治理任务；所述数据治理任务基于用户的配置指令生成；所述边缘计算网络包括多个边缘节点；

32、治理模块，用于基于所述数据治理任务对所述边缘节点获取到的物联网数据进行数据治理，得到数据治理结果；

33、第一发送模块，用于将所述数据治理结果发送给所述中心节点。

34、另一方面，本发明实施例提供了一种数据治理装置，该装置包括：

35、生成模块，用于基于用户的配置指令，生成各个边缘节点对应的数据治理任务；所述边缘计算网络包括多个边缘节点；

36、第二发送模块，用于将所述数据治理任务发送给对应的边缘节点，以使所述边缘节点基于所述数据治理任务对获取到的物联网数据进行数据治理，得到数据治理结果。

37、另一方面，本发明实施例提供了一种节点，包括处理器和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行本发明实施例提供的数据治理方法的步骤。

38、另一方面，本发明实施例提供了一种计算机可读存储介质，包括：所述计算机可读存储介质存储有计算机程序。所述计算机程序被处理器执行时实现如本发明实施例提供的数据治理方法的步骤。

39、本发明实施例的边缘节点通过从边缘计算网络的中心节点获取对应的数据治理任务，基于数据治理任务对边缘节点获取到的物联网数据进行数据治理，得到数据治理结果，将数据治理结果发送给中心节点。其中，边缘计算网络包括多个边缘节点，数据治理任务基于用户的配置指令生成。本实施例将数据治理任务下放给边缘节点进行处理，可以大幅度降低从边缘节点向中心节点的传输数据量，降低了中心节点的带宽和性能压力。用户可以根据自身需求配置数据治理任务，数据治理的灵活性强。而且中心节点可以直接获取到数据治理结果，提高了数据治理结果的实时性。

技术特征：

1.一种数据治理方法，应用于边缘计算网络中的边缘节点，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，所述基于所述数据治理任务对所述边缘节点获取到的设备数据进行数据治理，得到数据治理结果，包括：

3.如权利要求2所述的方法，其特征在于，所述对所述边缘节点对应的时序数据库中的物联网数据进行数据治理，包括以下任意一项：

4.如权利要求1所述的方法，其特征在于，所述将所述数据治理结果发送给所述中心节点，包括：

5.如权利要求1所述的方法，其特征在于，所述将所述数据治理结果发送给所述中心节点，包括：

6.如权利要求1所述的方法，其特征在于，所述从所述边缘计算网络的中心节点获取所述边缘节点对应的数据治理任务，包括：

7.如权利要求1所述的方法，其特征在于，所述基于所述数据治理任务对所述边缘节点获取到的物联网数据进行数据治理，包括：

8.一种数据治理方法，应用于边缘计算网络中的中心节点，其特征在于，所述方法包括：

9.一种数据治理装置，其特征在于，包括：

10.一种数据治理装置，其特征在于，包括：

11.一种节点，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的数据治理方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1至8任一项所述数据治理方法。

技术总结
本发明实施例适用于计算机技术领域，提供了一种数据治理方法、装置、节点及存储介质，其中，数据治理方法应用于边缘计算网络中的边缘节点，数据治理方法包括：从边缘计算网络的中心节点获取边缘节点对应的数据治理任务；数据治理任务基于用户的配置指令生成；边缘计算网络包括多个边缘节点；基于数据治理任务对边缘节点获取到的物联网数据进行数据治理，得到数据治理结果；将数据治理结果发送给中心节点。

技术研发人员：谷智勇,李静,熊涛,赵振阳
受保护的技术使用者：深信服科技股份有限公司
技术研发日：
技术公布日：2024/1/12