数据处理方法、装置、计算机设备及存储介质与流程

本技术属于大数据，尤其涉及一种数据处理方法、装置、计算机设备及存储介质。

背景技术：

1、随着工业智能化程度越来越高，工业制造过程中产生了海量的制造数据。通过挖掘这些制造数据中的有效信息，能够更好的指导后续生产。

2、相关技术中，可以采用分布式数据库来对海量的制造数据进行结构化存储。在这种情况下，每当企业需要进行数据分析时，该企业中部署的数据中台可以基于用户输入的目标维度的检索条件，在数据库中进行全量检索，以获取该检索条件对应的数据并导出至本地。之后，基于用户的分析需求，对获取到的数据进行相应的处理，将处理结果输出给用户后删除。

3、由此可见，数据中台每次在进行数据分析时，均需要在数据库中全量检索以获取所需分析的数据，然而，由于数据库中的数据量巨大，所以数据中台在数据库中进行全量检索较为耗时，并且，在所需分析的数据较多时，计算时间长且需要占用大量的计算资源。

技术实现思路

1、本技术提供了一种数据处理方法、装置、计算机设备及存储介质，旨在占用更少的计算资源的基础上提高数据分析效率。

2、本技术的第一方面提供了一种数据处理方法，所述方法包括：获取多个数据集，所述多个数据集为按照数据库中的制造数据对应的多个维度的取值对所述制造数据进行划分得到；对所述多个数据集中的每个数据集进行多维处理，并存储每个数据集的多维处理结果；响应于用户终端发送的第一数据请求，对所述多个数据集中的多个目标数据集的多维处理结果进行聚合运算，得到组合数据集的处理结果，所述组合数据集包括所述多个目标数据集；发送所述组合数据集的处理结果，以使所述用户终端接收。

3、在本技术中，数据库中的制造数据按照对应的多个维度的取值划分为多个数据集。在此基础上，以数据集为最小处理单位进行多维度的数据处理，从而得到每个数据集的多维处理结果，将每个数据集的多维处理结果进行存储。这样，后续若用户终端请求包括多个目标数据集在内的组合数据集的处理结果，则可以直接调用存储的多个目标数据集的多维处理结果，通过对多个目标数据集的多维处理结果进行聚合运算来得到组合数据集的处理结果，如此，无需再在数据库中进行全量检索以获取该组合数据集，并且，聚合运算的计算量较小，所需的计算时间更短，占用的计算资源也更少，实现了处理结果的快速输出，提高了数据分析效率。

4、可选地，所述多个维度包括空间维度、时间维度和项目维度。

5、在本技术中，数据库中的制造数据可以按照对应的空间维度、时间维度和项目维度的取值来进行划分，这样，数据集的划分更为精细，有利于更准确的检索数据集。

6、可选地，所述多个维度中的每个维度包括多个层级，所述多个数据集为按照所述数据库中的制造数据对应的所述多个维度的最低层级的层级取值对所述制造数据进行划分得到。

7、在本技术中，所述多个层级中相邻的两个层级中的上一个层级包含下一个层级，按照制造数据对应的各个维度的最低层级的层级取值对制造数据进行划分得到数据集，后续，可以通过聚合这些数据集的多维处理结果来得到各个维度上高于最低层级的各个层级对应的父集的处理结果，从而实现数据的快速输出。

8、可选地，所述对所述多个数据集中的每个数据集进行多维处理，得到每个数据集的多维处理结果，包括：基于预设的多个统计量，对第一数据集中的数据进行统计，得到第一数据集的统计结果，所述第一数据集为所述多个数据集中的任一个，所述统计结果包括每个统计量的统计值，所述多维处理结果包括所述统计结果。

9、在本技术中，可以对数据集中的制造数据进行多维统计，以得到多种统计量的统计值，在此基础上，用户可以根据自身需求来进行多维度的查询和分析。

10、可选地，所述对所述多个数据集中的多个目标数据集的多维处理结果进行聚合运算，包括：对所述多个目标数据集的统计结果进行聚合运算，得到所述组合数据集的统计结果；基于所述多个目标数据集的统计结果，确定所述多个目标数据集的一致性检测结果，所述组合数据集的处理结果包括所述组合数据集的统计结果和所述多个目标数据集的一致性检测结果。

11、在本技术中，通过对多个目标数据集的统计结果进行聚合运算，可以得到该多个目标数据集组成的组合数据集的统计结果，相较于从数据库中检索并获取组合数据集中的制造数据后再进行统计，所占用的计算资源更少，速度更快，实现了组合数据集的统计结果的快速输出。并且，通过对目标数据集的多维处理结果的聚合运算，可以实现对各个维度的各个层级取值范围内的数据的分析评价。

12、可选地，所述对所述多个数据集中的每个数据集进行多维处理，得到每个数据集的多维处理结果还包括：获取连续的多个子区间；统计所述第一数据集中处于所述多个子区间中的每个子区间内的数据的个数，得到所述第一数据集的数据分布结果，所述多维处理结果还包括所述数据分布结果。

13、在本技术中，还可以确定数据集中处于各个子区间内的制造数据的个数，以供用户可以快速了解数据集中的数据分布状态。

14、可选地，所述对所述多个数据集中的每个数据集进行多维处理，得到每个数据集的多维处理结果还包括：检测所述第一数据集中的异常值，得到异常值检测结果，所述多维处理结果还包括所述异常值检测结果。

15、在本技术中，在对数据集进行处理时，还可以检测每个数据集中的异常值，为后续的异常预警等操作提供数据支持。

16、可选地，所述多个子区间中的每个子区间的区间长度为第一区间长度，所述对所述多个数据集中的多个目标数据集的多维处理结果进行聚合运算，包括：根据第一数据请求，获取第二区间长度，所述第二区间长度为所述第一区间长度的整数倍；基于所述第二区间长度和所述多个目标数据集的数据分布结果，对所述多个目标数据集的数据分布结果进行聚合，得到所述组合数据集的数据分布结果；基于所述组合数据集的数据分布结果，生成所述组合数据集的直方图，所述组合数据集的处理结果包括所述组合数据集的直方图。

17、在本技术中，通过将多个目标数据集的数据分布结果进行聚合，可以得到组合数据集的数据分布结果，也即，在无需获取组合数据集中的制造数据的情况下，即可以确定出组合数据集的数据分布状态，在此基础上，以该组合数据集的数据分布结果来绘制并输出直方图，可以使得用户更为直观清晰的了解该组合数据集的数据分布状态。

18、可选地，所述多维处理结果还包括异常值检测结果，所述异常值检测结果包括异常值；所述对所述多个目标数据集的多维处理结果进行聚合运算，包括：基于所述组合数据集的数据分布结果，确定所述组合数据集的分位数；基于所述组合数据集的分位数和所述多个目标数据集的异常值检测结果中的异常值生成所述组合数据集的箱线图，所述组合数据集的处理结果还包括所述组合数据集的箱线图。

19、在本技术中，根据组合数据集的数据分布结果来估计组合数据集的分位数，在此基础上，根据组合数据集的分位数以及各个目标数据集的异常检测结果来生成箱线图，这样，通过该箱线图可以展示出各个目标数据集的异常检测结果中哪些异常值才是该组合数据集中真正的异常值，从而实现了组合数据集的异常值的快速判定。

20、本技术的第二方面提供了一种数据处理装置，所述数据处理装置包括：获取模块，用于获取多个数据集，所述多个数据集为按照数据库中的制造数据对应的多个维度的取值对所述制造数据进行划分得到；处理模块，用于对所述多个数据集中的每个数据集进行多维处理，并存储每个数据集的多维处理结果；所述处理模块，还用于响应于用户终端发送的第一数据请求，对所述多个数据集中的多个目标数据集的多维处理结果进行聚合运算，得到组合数据集的处理结果，所述组合数据集包括所述多个目标数据集；发送模块，用于发送所述组合数据集的处理结果，以使所述用户终端接收。

21、可选地，所述多个维度包括空间维度、时间维度和项目维度。

22、可选地，所述多个维度中的每个维度包括多个层级，所述多个数据集为按照所述数据库中的制造数据对应的所述多个维度的最低层级的层级取值对所述制造数据进行划分得到。

23、可选地，所述处理模块具体用于：基于预设的多个统计量，对第一数据集中的数据进行统计，得到第一数据集的统计结果，所述第一数据集为所述多个数据集中的任一个，所述统计结果包括每个统计量的统计值，所述多维处理结果包括所述统计结果。

24、可选地，所述处理模块具体用于：对所述多个目标数据集的统计结果进行聚合运算，得到所述组合数据集的统计结果；基于所述多个目标数据集的统计结果，确定所述多个目标数据集的一致性检测结果，所述组合数据集的处理结果包括所述组合数据集的统计结果和所述多个目标数据集的一致性检测结果。

25、可选地，所述处理模块具体用于：获取连续的多个子区间，统计所述第一数据集中处于所述多个子区间中的每个子区间内的数据的个数，得到所述第一数据集的数据分布结果，所述多维处理结果还包括所述数据分布结果。

26、可选地，所述处理模块具体用于：检测所述第一数据集中的异常值，得到异常值检测结果，所述多维处理结果还包括所述异常值检测结果。

27、可选地，所述多个子区间中的每个子区间的区间长度为第一区间长度，所述处理模块具体用于：根据所述第一数据请求，获取第二区间长度，所述第二区间长度为所述第一区间长度的整数倍；基于所述第二区间长度和所述多个目标数据集的数据分布结果，对所述多个目标数据集的数据分布结果进行聚合，得到所述组合数据集的数据分布结果；基于所述组合数据集的数据分布结果，生成所述组合数据集的直方图，所述组合数据集的处理结果包括所述组合数据集的直方图。

28、可选地，所述多维处理结果还包括异常值检测结果，所述异常值检测结果包括异常值；所述处理模块具体用于：基于所述组合数据集的数据分布结果，确定所述组合数据集的分位数；基于所述组合数据集的分位数和所述多个目标数据集的异常值检测结果中的异常值生成所述组合数据集的箱线图，所述组合数据集的处理结果还包括所述组合数据集的箱线图。

29、本技术的第三方面还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被计算机设备执行时实现上述第一方面的数据处理方法。

30、本技术的第四方面还提供了一种计算机设备，所述计算机设备包括处理器，所述处理器用于执行存储器中的计算机程序，以实现上述第一方面的数据处理方法。

31、本技术的第五方面提供了一种计算机程序产品，所述计算机程序产品包括指令，所述指令被处理器执行时实现如上述第一方面的数据处理方法。

32、本技术实施例与现有技术相比至少存在的有益效果是：

33、在本技术实施例中，数据库中的制造数据按照对应的多个维度的取值划分为多个数据集。在此基础上，以数据集为最小处理单位进行多维度的数据处理，从而得到每个数据集的多维处理结果，将每个数据集的多维处理结果进行存储。这样，后续若用户终端请求包括多个目标数据集在内的组合数据集的处理结果，则可以直接调用存储的多个目标数据集的多维处理结果，通过对多个目标数据集的多维处理结果进行聚合运算来得到组合数据集的处理结果，如此，无需再在数据库中进行全量检索以获取该组合数据集，并且，聚合运算的计算量较小，所需的计算时间更短，占用的计算资源也更少，实现了处理结果的快速输出。