数据分析任务的生成方法、装置、电子设备及介质与流程

本发明涉及信息，尤其是涉及一种数据分析任务的生成方法、装置、电子设备及介质。

背景技术：

1、随着大数据时代的到来，数据分析已成为各行各业的重要需求。然而，现有的数据分析方法往往存在以下问题：一是数据分析任务的生成过程不够灵活，无法根据用户需求和数据特征进行动态生成；二是数据分析任务的开发需要开发人员进行开发工作，效率低下，且无法满足快速进行大规模数据处理的需求。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种数据分析任务的生成方法、装置、电子设备及介质，以提高了数据分析任务的开发效率和灵活性。

2、为了实现上述目的，本发明实施例采用的技术方案如下：

3、第一方面，本发明实施例提供了一种数据分析任务的生成方法，包括：基于数据分析需求配置分析步骤组件；其中，分析步骤组件包括输入组件、输出组件和至少一个处理组件，输入组件用于配置数据分析需求的数据源，输出组件用于配置数据分析结果的存储组件，处理组件用于配置数据分析需求的处理步骤；对分析步骤组件进行解析生成处理指令文件；基于处理指令文件生成数据分析任务，并执行数据分析任务得到数据分析结果。

4、在一种实施方式中，对分析步骤组件进行解析生成处理指令文件，包括：对分析步骤组件进行解析，获取分析步骤组件的配置信息以及各分析步骤组件之间的执行顺序；基于分析步骤组件的配置信息和执行顺序生成处理指令文件。

5、在一种实施方式中，基于处理指令文件生成数据分析任务，包括：将处理指令文件发送至数据分析系统，并对处理指令文件进行解析得到执行指令；基于执行指令生成数据分析任务。

6、在一种实施方式中，执行数据分析任务得到数据分析结果，包括：基于输入组件配置的数据源读取待分析数据；基于处理组件配置的处理步骤和执行顺序依次对待分析数据进行处理，得到数据分析结果；基于输出组件配置的存储组件，将数据分析结果保存至存储组件中。

7、在一种实施方式中，执行数据分析任务得到数据分析结果之后，上述方法还包括：将数据分析结果返回至用户界面进行展示。

8、在一种实施方式中，基于数据分析需求配置分析步骤组件之前，上述方法还包括：基于历史数据分析需求对数据分析步骤进行拆分，得到多个分析步骤组件；将分析步骤组件对应的图形化页面在用户界面进行展示，以供用户进行分析步骤组件的配置和组合。

9、第二方面，本发明实施例提供了一种数据分析任务的生成装置，包括：组件配置模块，用于基于数据分析需求配置分析步骤组件；其中，分析步骤组件包括输入组件、输出组件和至少一个处理组件，输入组件用于配置数据分析需求的数据源，输出组件用于配置数据分析结果的存储组件，处理组件用于配置数据分析需求的处理步骤；指令生成模块，用于对分析步骤组件进行解析生成处理指令文件；任务执行模块，用于基于处理指令文件生成数据分析任务，并执行数据分析任务得到数据分析结果。

10、在一种实施方式中，指令生成模块还用于：对分析步骤组件进行解析，获取分析步骤组件的配置信息以及各分析步骤组件之间的执行顺序；基于分析步骤组件的配置信息和执行顺序生成处理指令文件。

11、第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述第一方面提供的任一项的方法的步骤。

12、第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述第一方面提供的任一项的方法的步骤。

13、本发明实施例带来了以下有益效果：

14、本发明实施例提供的上述数据分析任务的生成方法、装置、电子设备及介质，首先，基于数据分析需求配置分析步骤组件；其中，分析步骤组件包括输入组件、输出组件和至少一个处理组件，输入组件用于配置数据分析需求的数据源，输出组件用于配置数据分析结果的存储组件，处理组件用于配置数据分析需求的处理步骤；然后，对分析步骤组件进行解析生成处理指令文件；最后，基于处理指令文件生成数据分析任务，并执行数据分析任务得到数据分析结果。上述方法能够根据用户的数据分析需求，通过配置分析步骤组件动态地生成数据分析任务，提高了数据分析任务的开发效率和灵活性；同时，上述方法能够根据分析步骤组件中配置的信息生成和优化执行指令，从而提高数据分析任务的执行效率。

15、本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

16、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

技术特征：

1.一种数据分析任务的生成方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，对所述分析步骤组件进行解析生成处理指令文件，包括：

3.根据权利要求1所述的方法，其特征在于，基于所述处理指令文件生成数据分析任务，包括：

4.根据权利要求2所述的方法，其特征在于，执行所述数据分析任务得到数据分析结果，包括：

5.根据权利要求1所述的方法，其特征在于，执行所述数据分析任务得到数据分析结果之后，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，基于数据分析需求配置分析步骤组件之前，所述方法还包括：

7.一种数据分析任务的生成装置，其特征在于，包括：

8.根据权利要求7所述的装置，其特征在于，所述指令生成模块还用于：对所述分析步骤组件进行解析，获取所述分析步骤组件的配置信息以及各所述分析步骤组件之间的执行顺序；

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至6任一项所述的方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至6任一项所述的方法的步骤。

技术总结
本发明提供了一种数据分析任务的生成方法、装置、电子设备及介质，涉及信息技术领域，包括：基于数据分析需求配置分析步骤组件；其中，分析步骤组件包括输入组件、输出组件和至少一个处理组件，输入组件用于配置数据分析需求的数据源，输出组件用于配置数据分析结果的存储组件，处理组件用于配置数据分析需求的处理步骤；对分析步骤组件进行解析生成处理指令文件；基于处理指令文件生成数据分析任务，并执行数据分析任务得到数据分析结果。本发明提高了数据分析任务的开发效率和灵活性。

技术研发人员：张超,曹文洁,万月亮
受保护的技术使用者：北京锐安科技有限公司
技术研发日：
技术公布日：2024/1/15