数据采集方法、装置及电子设备与流程

本发明涉及数据处理，尤其是涉及一种数据采集方法、装置及电子设备。

背景技术：

1、随着互联网信息技术飞速发展，数字经济与实体经济不断融合，企业信息化与政务信息化建设深入推进，各行各业已逐渐步入大数据时代。数据资源是起点，数据资产是终点，让大量的数据变得可控制、可变现、可度量，从而形成数据资产，就涉及到大数据的采、存、管、用整个链路。其中，数据采集的目的是为了数据应用。数据采集，是数据分析和应用的首要环节。相关技术中的数据采集方法，往往是以固定采集策略为主，采集策略欠缺灵活性，降低了数据采集的效率。

技术实现思路

1、本发明的目的在于提供一种数据采集方法、装置及电子设备，以提高数据采集的灵活性和采集效率。

2、本发明提供的一种数据采集方法，方法包括：获取预先创建的针对待采集数据的至少一个变量映射表；其中，每个变量映射表包括第一变量名和与第一变量名绑定的变量表；变量表中包括至少一个与待采集数据相关联的变量值；基于每个变量映射表创建待采集数据对应的采集任务；其中，采集任务中携带有与每个第一变量名相关联的变量名信息；运行采集任务，以根据每个变量名信息，以及与每个第一变量名绑定的变量表中的变量值，从预设数据源中采集待采集数据。

3、进一步的，每个变量映射表通过以下方式创建：接收变量表创建请求；根据变量表创建请求，按预设第一创建方式创建变量表；接收变量值导入请求；其中，变量值导入请求中携带有至少一个与待采集数据相关联的变量值；根据变量值导入请求，按预设导入方式将每个变量值导入至变量表；接收变量名创建请求；其中，变量名创建请求中携带有第一变量名；根据变量名创建请求，按预设第二创建方式创建第一变量名对应的变量，将第一变量名对应的变量与变量表进行绑定，得到针对待采集数据的变量映射表。

4、进一步的，基于每个变量映射表创建待采集数据对应的采集任务的步骤包括：接收采集任务创建请求；其中，采集任务创建请求中携带有第一变量名和初始执行语句；初始执行语句中包括与第一变量名相关联的变量名信息；基于采集任务创建请求，创建待采集数据对应的采集任务。

5、进一步的，运行采集任务，以根据每个变量名信息，以及与每个第一变量名绑定的变量表中的变量值，从预设数据源中采集待采集数据的步骤包括：运行采集任务，遍历检测采集任务中的初始执行语句中，每个变量名信息；针对每个变量名信息，检测该变量名信息对应的第一变量名所属的变量类型；根据变量类型，对变量名信息与第一变量名对应的变量值的之间的映射关系进行校验，得到校验结果；如果校验结果指示变量名信息与第一变量名对应的变量值的之间的映射关系正确，将初始执行语句中的变量名信息替换为具有映射关系的变量值，得到初始执行语句对应的可执行语句；运行可执行语句，以从预设数据源中采集待采集数据。

6、进一步的，方法还包括：将采集到的待采集数据保存至预设的目标数据表中。

7、进一步的，将采集到的待采集数据保存至预设的目标数据表中的步骤包括：按预设处理方式，处理采集到的待采集数据，得到处理后的数据；将处理后的数据保存至预设的目标数据表中。

8、进一步的，方法还包括：获取采集任务的运行状态；将运行状态保存至预设日志文件中。

9、本发明提供的一种数据采集装置，装置包括：获取模块，用于获取预先创建的针对待采集数据的至少一个变量映射表；其中，每个变量映射表包括第一变量名和与第一变量名绑定的变量表；变量表中包括至少一个与待采集数据相关联的变量值；创建模块，用于基于每个变量映射表创建待采集数据对应的采集任务；其中，采集任务中携带有与每个第一变量名相关联的变量名信息；采集模块，用于运行采集任务，以根据每个变量名信息，以及与每个第一变量名绑定的变量表中的变量值，从预设数据源中采集待采集数据。

10、本发明提供的一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现上述任一项的数据采集方法。

11、本发明提供的一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述任一项的数据采集方法。

12、本发明提供的数据采集方法、装置及电子设备，获取预先创建的针对待采集数据的至少一个变量映射表；其中，每个变量映射表包括第一变量名和与第一变量名绑定的变量表；变量表中包括至少一个与待采集数据相关联的变量值；基于每个变量映射表创建待采集数据对应的采集任务；其中，采集任务中携带有与每个第一变量名相关联的变量名信息；运行采集任务，以根据每个变量名信息，以及与每个第一变量名绑定的变量表中的变量值，从预设数据源中采集待采集数据。该方式可以根据待采集数据灵活设置变量表中的变量值，进而创建采集任务，在执行采集任务时，即可根据第一变量名相关联的变量名信息及变量表中的变量值实现对待采集数据的采集，提高了数据采集的效率。

技术特征：

1.一种数据采集方法，其特征在于，所述方法包括：

2.根据权利要求1所述的数据采集方法，其特征在于，每个所述变量映射表通过以下方式创建：

3.根据权利要求1所述的数据采集方法，其特征在于，基于每个所述变量映射表创建所述待采集数据对应的采集任务的步骤包括：

4.根据权利要求3所述的数据采集方法，其特征在于，运行所述采集任务，以根据每个所述变量名信息，以及与每个所述第一变量名绑定的变量表中的所述变量值，从预设数据源中采集所述待采集数据的步骤包括：

5.根据权利要求1所述的数据采集方法，其特征在于，所述方法还包括：

6.根据权利要求5所述的数据采集方法，其特征在于，将采集到的所述待采集数据保存至预设的目标数据表中的步骤包括：

7.根据权利要求1所述的数据采集方法，其特征在于，所述方法还包括：

8.一种数据采集装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1-7任一项所述的数据采集方法。

10.一种机器可读存储介质，其特征在于，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现权利要求1-7任一项所述的数据采集方法。

技术总结
本发明提供了一种数据采集方法、装置及电子设备，获取针对待采集数据的至少一个变量映射表；其中，每个变量映射表包括第一变量名和与第一变量名绑定的变量表；变量表中包括至少一个与待采集数据相关联的变量值；基于每个变量映射表创建待采集数据对应的采集任务；其中，采集任务中携带有与每个第一变量名相关联的变量名信息；运行采集任务，以根据每个变量名信息，以及与每个第一变量名绑定的变量表中的变量值，从预设数据源中采集待采集数据。该方式可以根据待采集数据灵活设置变量表中的变量值，进而创建采集任务，在执行采集任务时，即可根据第一变量名相关联的变量名信息及变量表中的变量值实现对待采集数据的采集，提高了数据采集的效率。

技术研发人员：万聪,马超,宋昆,罗钰,李洁薇,李真珍,张晓庆,周春雨,张学文,刘丽娟,苗迪
受保护的技术使用者：首都信息发展股份有限公司
技术研发日：
技术公布日：2024/1/15