一种数据抽取方法、装置、设备及存储介质与流程

本技术涉及软件开发，特别涉及一种数据抽取方法、装置、设备及存储介质。

背景技术：

1、kettle是一款开源工具，通过拖拽的方式，对不同步骤进行组装和拼接，完成特定的数据抽取任务。

2、在相关技术中，数据抽取任务的创建需要由仅支持windows系统版本的电脑安装kettle的图形化子模块spoon完成，kettle自带有定时任务管理逻辑。

3、但是，在使用数据库类型的资源库时，如若所需数据库被安装于服务器，或容器内，整个编辑画布的拖拽过程会十分卡顿，极大地增加了数据抽取任务的创建时间。此外，kettle自带的定时任务管理逻辑，当数据抽取任务执行完成后才会开始计时，两次数据抽取任务的间隔为执行时间与定时时间加和，会导致时间的偏差，无法满足对时间间隔苛刻的场景需求。

技术实现思路

1、本技术实施例提供了一种数据抽取方法、装置、设备及存储介质。该技术方案如下：

2、根据本技术实施例一方面，提供了一种数据抽取方法，该方法包括：

3、在应用工具的数据抽取页面，显示由多个功能控件组成的数据抽取任务，该多个功能控件用于表示数据抽取流程中的多个处理方式，该多个功能控件之间的连接线用于表示该数据抽取流程中的数据流的流向，其中该应用工具包括kettle工具；

4、基于对该数据抽取页面的操作，确定该数据抽取任务的执行模式；其中，该执行模式指示执行该数据抽取任务所采用的服务器；

5、响应于数据抽取指令，基于该执行模式指示的服务器执行该数据抽取任务，进行数据抽取。

6、在一种可能的实现方式中，该在应用工具的数据抽取页面，显示由该多个功能控件组成的数据抽取任务，包括：

7、当检测到对功能控件进行拖拽操作，在该数据抽取页面的工作子页面，显示该功能控件；其中，该功能控件包括输入子功能控件、输出子功能控件以及转换子功能控件中的任意一项；

8、在该工作子页面，基于对至少两个该功能控件进行操作，连接至少两个该功能控件，显示该数据抽取任务。

9、在一种可能的实现方式中，在该基于对该数据抽取页面的操作，确定该数据抽取任务的执行模式之后，还包括：

10、当检测到对日志参数进行操作，确定与该数据抽取任务匹配的日志类别；其中，该日志类别包括详细日志以及行级日志。

11、在一种可能的实现方式中，该执行模式包括本地模式、服务器模式以及集群模式；

12、其中，该本地模式指示采用本地服务器执行该数据抽取任务；该服务器模式指示采用目标服务器执行该数据抽取任务；该集群模式指示采用集群中的多个服务器执行该数据抽取任务。

13、在一种可能的实现方式中，该响应于数据抽取指令，基于该执行模式指示的服务器执行该数据抽取任务，进行数据抽取，包括：

14、当检测到任意一个正在执行的数据抽取任务，在该数据抽取页面的状态显示子页面，显示与该正在执行的数据抽取任务匹配的步骤度量数据；其中，该步骤度量数据包括正在执行的步骤以及该正在执行的步骤的进程。

15、在一种可能的实现方式中，该响应于数据抽取指令，基于该执行模式指示的服务器执行该数据抽取任务，进行数据抽取，还包括：

16、当检测到任意一个执行结束的该数据抽取任务，在该数据抽取页面的状态显示子页面，显示与该执行结束的数据抽取任务匹配的日志数据。

17、在一种可能的实现方式中，在该基于对该数据抽取页面的操作，确定该数据抽取任务的执行模式之前，还包括：

18、在该数据抽取页面的资源库子页面，当检测到对至少一个历史数据抽取任务进行操作，在该工作子页面显示每个该历史数据抽取任务的组成信息；其中，该组成信息包括每个该历史数据抽取任务的每个该功能控件以及每两个该功能控件之间的该连接线。

19、在一种可能的实现方式中，该方法还包括：

20、在该应用工具的定时页面，当检测到对定时参数进行操作，显示至少一个该历史数据抽取任务，其中该应用工具包括xxl-job工具；

21、当检测到对任意一个该历史数据抽取任务进行操作，对匹配的该历史数据抽取任务以及该定时参数进行组合，显示定时数据抽取任务；其中，该定时参数用于确定匹配的该定时数据抽取任务的执行起始时间。

22、在一种可能的实现方式中，该方法还包括：

23、在数据管理页面，当检测到增加数据源连接信息或服务器连接信息的操作，显示增加的该数据源连接信息或该服务器连接信息；和/或

24、在该数据管理页面，当检测到删除该数据源连接信息或该服务器连接信息的操作，对该数据源连接信息或该服务器连接信息进行删除。

25、根据本技术实施例的第二方面，提供了一种数据抽取装置，该装置包括：

26、第一显示模块，用于在应用工具的数据抽取页面，显示由多个功能控件组成的数据抽取任务，该多个功能控件用于表示数据抽取流程中的多个处理方式，该多个功能控件之间的连接线用于表示该数据抽取流程中的数据流的流向，其中该应用工具包括kettle工具；

27、确定模块，用于基于对该数据抽取页面的操作，确定该数据抽取任务的执行模式；其中，该执行模式指示执行该数据抽取任务所采用的服务器；

28、数据抽取模块，用于响应于数据抽取指令，基于该执行模式指示的服务器执行该数据抽取任务，进行数据抽取。

29、在一种可能的实现方式中，该第一显示模块，包括：

30、第一显示子模块，用于当检测到对功能控件进行拖拽操作，在该数据抽取页面的工作子页面，显示该功能控件；其中，该功能控件包括输入子功能控件、输出子功能控件以及转换子功能控件中的任意一项；

31、连接子模块，用于在该工作子页面，基于对至少两个该功能控件进行操作，连接至少两个该功能控件，显示该数据抽取任务。

32、在一种可能的实现方式中，该装置，还包括：

33、日志模块，用于当检测到对日志参数进行操作，确定与该数据抽取任务匹配的日志类别；其中，该日志类别包括详细日志以及行级日志。

34、在一种可能的实现方式中，该执行模式包括本地模式、服务器模式以及集群模式；

35、其中，该本地模式指示采用本地服务器执行该数据抽取任务；该服务器模式指示采用目标服务器执行该数据抽取任务；该集群模式指示采用集群中的多个服务器执行该数据抽取任务。

36、在一种可能的实现方式中，该数据抽取模块，还包括：

37、第一匹配子模块，用于当检测到任意一个正在执行的数据抽取任务，在该数据抽取页面的状态显示子页面，显示与该正在执行的数据抽取任务匹配的步骤度量数据；其中，该步骤度量数据包括正在执行的步骤以及该正在执行的步骤的进程。

38、在一种可能的实现方式中，该数据抽取模块，还包括：

39、第二匹配子模块，用于当检测到任意一个执行结束的该数据抽取任务，在该数据抽取页面的状态显示子页面，显示与该执行结束的数据抽取任务匹配的日志数据。

40、在一种可能的实现方式中，该装置，还包括：

41、组成模块，用于在该数据抽取页面的资源库子页面，当检测到对至少一个历史数据抽取任务进行操作，在该工作子页面显示每个该历史数据抽取任务的组成信息；其中，该组成信息包括每个该历史数据抽取任务的每个该功能控件以及每两个该功能控件之间的该连接线。

42、在一种可能的实现方式中，该装置还包括：

43、定时模块，用于在该应用工具的定时页面，当检测到对定时参数进行操作，显示至少一个该历史数据抽取任务，其中该应用工具包括xxl-job工具；

44、组合模块，用于当检测到对任意一个该历史数据抽取任务进行操作，对匹配的该历史数据抽取任务以及该定时参数进行组合，显示定时数据抽取任务；其中，该定时参数用于确定匹配的该定时数据抽取任务的执行起始时间。

45、在一种可能的实现方式中，该装置还包括：

46、添加模块，用于在数据管理页面，当检测到增加数据源连接信息或服务器连接信息的操作，显示增加的该数据源连接信息或该服务器连接信息；和/或

47、删除模块，用于在该数据管理页面，当检测到删除该数据源连接信息或该服务器连接信息的操作，对该数据源连接信息或该服务器连接信息进行删除。

48、根据本技术实施例的第三方面，提供了一种电子设备，包括处理器、存储器以及存储在该存储器中且被配置为由该处理器执行的计算机程序，该处理器执行该计算机程序时实现如上该的数据抽取的方法。

49、根据本技术实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质包括存储的计算机程序，其中，在该计算机程序运行时控制该计算机可读存储介质所在设备执行如上该的数据抽取的方法。

50、根据本技术实施例的第五方面，提供了一种计算机程序产品，该计算机程序产品被处理器执行时实现如上该的数据抽取的方法。

51、本技术实施例提供的技术方案带来的有益效果是：

52、在本技术实施例中，本技术实施例提供了一种数据抽取方法，用户基于web浏览器访问厂务运营平台的网页，在网页中，基于对kettle工具进行触发操作，从网页跳转到的kettle工具的数据抽取页面，数据抽取页面创建数据抽取任务，可以实现基于web浏览器随时随地创建数据抽取任务，基于对数据抽取页面的触发操作，创建数据抽取任务以及确定用于执行数据抽取任务的执行模式，可以实现随时随地创建数据抽取任务，将执行服务部署于后台，不需要终端的支持，减少了终端的卡顿，稳定性良好；在网页中，基于对xxl-job工具进行触发操作，从网页跳转到的xxl-job工具的定时页面，基于对数据抽取任务进行定时操作，实现了对数据抽取任务的执行起始时间以及执行时长进行预设或调整，实现了更加精准地统计数据抽取任务的执行时间，提高了数据抽取任务的执行效率；从定时页面或数据抽取页面跳转到数据管理页面，基于对数据管理页面的触发操作，实现了多个数据抽取任务共享一个数据源，随时随地对数据源连接信息和/或服务器连接信息进行及时更新以及维护。