数据采集方法、装置、电子设备及存储介质与流程

本申请属于数据采集，特别是涉及一种数据中台的数据采集方法、装置、电子设备及存储介质。

背景技术：

1、数字化时代，越来越多的企业为挖掘数据价值，选择搭建可整合分散数据、并进行统一治理的数据中台。其中，数据采集是数据中台实现数据治理的第一个环节。

2、现有数据中台一般使用开源的数据同步工具采集数据，此方法多适用于无定制需求的数据采集。若要采集特定数据，则需要改动代码、设计对应的数据同步工具，不仅步骤繁琐导致效率低下，而且随着定制需求的增多，开发成本和维护难度也会显著增加，并不适用于存在多种定制数据的采集场景。

3、因此，如何设计出一种满足多样化定制数据采集需求的数据采集方法成为目前亟待解决的问题。

技术实现思路

1、本申请的目的在于提供一种数据采集的方法、装置、电子设备及存储介质，能够满足多样化定制采集数据的需要。

2、第一方面，本申请实施例提供了一种数据采集方法，该方法包括：根据采集任务的采集需求确定采集任务的驱动参数和排程参数；驱动参数包括至少一个可调用采集驱动的参数，排程参数包括至少一个可调用采集排程的参数；启动采集任务后，根据驱动参数和排程参数采集目标数据。

3、在第一方面的一种可能的实现方式中，上述根据驱动参数和排程参数采集目标数据可以包括：根据驱动参数对应的配置参数，从至少一个可调用采集驱动中调用目标采集驱动；根据排程参数对应的配置参数，从至少一个可调用采集排程中调用目标采集排程；根据目标采集排程的采集时间和/或采集频率，利用目标采集驱动采集目标数据。

4、在第一方面的一种可能的实现方式中，在利用目标采集驱动采集目标数据时，该方法还包括：按照采集任务的采集路径参数所指示的数据采集路径，进行采集。

5、在第一方面的一种可能的实现方式中，按照采集任务的采集路径参数所指示的数据采集路径，进行采集，方法包括：按照采集任务的采集路径参数所指示的数据采集路径，利用目标采集驱动获取第一数据；当第一数据与目标数据格式一致时，将第一数据确定为目标数据；或者，当第一数据与目标数据格式不一致时，在目标采集驱动中对第一数据进行解析，得到目标数据。

6、在第一方面的一种可能的实现方式中，上述方法还包括：按照采集任务的存储路径参数所指示的存储位置和/或存储路径，对目标数据进行存储。

7、在第一方面的一种可能的实现方式中，上述方法还包括：当第一可调用采集驱动升级为第二可调用采集驱动时，将驱动参数中与第一可调用采集驱动对应的参数，修改为与第二可调用采集驱动对应的参数。

8、在第一方面的一种可能的实现方式中，上述方法还包括：当第一可调用采集排程更换为第二可调用采集排程时，将排程参数中与第一可调用采集排程对应的参数，修改为与第二可调用采集排程对应的参数。

9、第二方面，本申请实施例提供了一种数据采集装置，该装置包括：配置模块，用于根据采集任务的采集需求确定采集任务的驱动参数和排程参数；驱动参数包括至少一个可调用采集驱动的参数，排程参数包括至少一个可调用采集排程的参数；采集模块，用于启动采集任务后，根据驱动参数和排程参数采集目标数据。

10、第三方面，本申请实施例提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，处理器执行计算机程序时实现如上述第一方面或第二方面任意一种实现方式的方法。

11、第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面或第二方面任意一种实现方式的方法。

12、本申请实施例与现有技术相比存在的有益效果是：

13、本申请提出的一种数据采集方法，通过预先设置采集任务的驱动参数和排程参数，并根据设置好的驱动参数和排程参数执行采集任务，实现采集任务、采集驱动和采集排程这三个独立资源的解耦，并利用参数设置的方式将它们关联起来。此方法，使得采集程序的框架代码具备可重用性，当新增定制采集需求时，不需改动框架代码，根据需求设置对应的采集任务的参数后即可根据参数采集相应数据，这使得本方案具有很高的灵活性和适应性，可以用于满足多样化的定制需求，降低了开发和维护成本，提高了数据采集效率。

技术特征：

1.一种数据采集方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述驱动参数和所述排程参数采集目标数据，包括：

3.根据权利要求2所述的方法，其特征在于，在利用所述目标采集驱动采集所述目标数据时，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，所述按照所述采集任务的采集路径参数所指示的数据采集路径，进行采集，包括：

5.根据权利要求1所述的方法，其特征在于，所述方法还包括；

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：

8.一种数据采集装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。

技术总结
本申请适用于数据采集技术领域，提供了一种数据采集方法、装置、电子设备及存储介质。该方法包括：根据采集任务的采集需求确定采集任务的驱动参数和排程参数，其中，驱动参数包括至少一个可调用采集驱动的参数，排程参数包括至少一个可调用采集排程的参数；启动采集任务后，根据驱动参数和排程参数采集目标数据。本申请方法，通过预先设置采集任务的驱动参数和排程参数，并根据设置好的驱动参数和排程参数执行采集任务，当新增定制采集需求时，不需改动框架代码，根据需求设置对应采集任务的参数后即可根据参数采集相应数据，灵活性和适应性高，可以用于满足多样化的定制需求，降低了开发和维护成本，提高了数据采集效率。

技术研发人员：陈波,洪英杰
受保护的技术使用者：广东畅视科技有限公司
技术研发日：
技术公布日：2024/1/14