一种面向大数据平台的分布式管理方法及系统

本发明涉及数据处理领域，尤其涉及一种面向大数据平台的分布式管理方法及系统。

背景技术：

1、大数据平台是一种内容共享、资源共用、数据共通的网络平台，在大数据平台中需要存储大量的数据。然而，在现有技术中大数据平台的数据存储结构混乱，在对大数据平台进行数据检索时需要遍历大量的无用信息，从而导致用户数据查询效率低，查询时间长的问题。

2、因此，在现有技术中存在用户在大数据平台进行数据查询的效率较低，查询时间长的技术问题。

技术实现思路

1、本申请通过提供一种面向大数据平台的分布式管理方法及系统，解决了在现有技术中存在用户在大数据平台进行数据查询的效率较低，查询时间长的技术问题。

2、本申请提供一种面向大数据平台的分布式管理方法，应用于平台端，所述分布式管理方法应用于分布式管理系统，所述分布式管理系统包括分布式存储模块、数字中台模块，所述分布式管理方法包括：获取分布式存储模块中的存储数据信息，并提取所述存储数据信息中的共享数据信息；获取预设数据搜索类型中的第一搜索类型，并将所述第一搜索类型在所述共享数据信息中进行遍历，得到第一搜索目标；基于所述第一搜索目标对所述共享数据信息进行组合封装，得到共享封装数据组，并将所述共享封装数据组存储至数字中台模块；以及接收用户端发来的目标搜索数据类型；将所述目标搜索数据类型在所述数字中台模块中的所述共享封装数据组中进行遍历，得到目标遍历结果；将所述目标遍历结果发送至所述用户端。

3、本申请还提供了一种面向大数据平台的分布式管理系统，所述系统包括：共享数据信息获取模块，用于获取分布式存储模块中的存储数据信息，并提取所述存储数据信息中的共享数据信息；第一搜索目标获取模块，用于获取预设数据搜索类型中的第一搜索类型，并将所述第一搜索类型在所述共享数据信息中进行遍历，得到第一搜索目标；共享封装模块，用于基于所述第一搜索目标对所述共享数据信息进行组合封装，得到共享封装数据组，并将所述共享封装数据组存储至数字中台模块；以及搜索数据类型获取模块，用于接收用户端发来的目标搜索数据类型；数据遍历模块，用于将所述目标搜索数据类型在所述数字中台模块中的所述共享封装数据组中进行遍历，得到目标遍历结果；数据发送模块，用于将所述目标遍历结果发送至所述用户端。

4、本申请还提供了一种电子设备，包括：

5、存储器，用于存储可执行指令；

6、处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的一种面向大数据平台的分布式管理方法。

7、本申请实施例提供一种计算机可读存储介质，存储有计算机程序，该程序被处理器执行时,实现本申请实施例提供的一种面向大数据平台的分布式管理方法。

8、拟通过本申请提出的一种面向大数据平台的分布式管理方法及系统，通过获取分布式存储模块中的存储数据信息，并提取存储数据信息中的共享数据信息.获取预设数据搜索类型中的第一搜索类型，并将第一搜索类型在共享数据信息中进行遍历，得到第一搜索目标。基于第一搜索目标对共享数据信息进行组合封装，得到共享封装数据组，并将共享封装数据组存储至数字中台模块。接收用户端发来的目标搜索数据类型，将目标搜索数据类型在数字中台模块中的共享封装数据组中进行遍历，得到目标遍历结果。将目标遍历结果发送至用户端。通过对数据进行组合封装，并构建数字中台模块，从而实现根据用户的实际查询类别快速获取对应的数据组。实现了对数据的快速准确查询，提高了用户在大数据平台查询的效率，减少了用户的数据查询时间。解决了现有技术中存在用户在大数据平台进行数据查询的效率较低，查询时间长的技术问题。

9、上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

技术特征：

1.一种面向大数据平台的分布式管理方法，应用于平台端，其特征在于，所述分布式管理方法应用于分布式管理系统，所述分布式管理系统包括分布式存储模块、数字中台模块，所述分布式管理方法包括：

2.根据权利要求1所述分布式管理方法，其特征在于，所述提取所述存储数据信息中的共享数据信息，包括：

3.根据权利要求2所述分布式管理方法，其特征在于，在所述得到所述共享数据信息之后，还包括：

4.根据权利要求1所述分布式管理方法，其特征在于，在将所述共享封装数据组存储至数字中台模块之后，还包括：

5.根据权利要求3所述分布式管理方法，应用于用户端，其特征在于，包括：

6.根据权利要求5所述分布式管理方法，其特征在于，在所述判断所述目标搜索数据类型是否属于所述预设数据搜索类型之后，还包括：

7.根据权利要求6所述分布式管理方法，其特征在于，还包括：

8.一种面向大数据平台的分布式管理系统，其特征在于，所述系统包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的一种面向大数据平台的分布式管理方法。

技术总结
本发明公开了一种面向大数据平台的分布式管理方法及系统，应用于数据处理技术领域，该方法包括：通过获取分布式存储模块中的存储数据信息，并提取存储数据信息中的共享数据信息.获取预设数据搜索类型中的第一搜索类型，并将第一搜索类型在共享数据信息中进行遍历，得到第一搜索目标。基于第一搜索目标对共享数据信息进行组合封装，得到共享封装数据组，并将共享封装数据组存储至数字中台模块。接收用户端发来的目标搜索数据类型，将目标搜索数据类型在数字中台模块中的共享封装数据组中进行遍历，得到目标遍历结果。将目标遍历结果发送至用户端。解决了现有技术中存在用户在大数据平台进行数据查询的效率较低，查询时间长的技术问题。

技术研发人员：范红铭,聂东亮,陈方平,熊杰,曾杰,张运荣
受保护的技术使用者：江西软件职业技术大学
技术研发日：
技术公布日：2024/1/14