一种数据收集方法、装置、计算机设备及存储介质与流程

本申请涉及数据采集，尤其涉及一种数据收集方法、装置、计算机设备及存储介质。

背景技术：

1、数据备份对于系统的正常运行起到至关重要的作用，目前并没有一套非常成熟的商业级数据采集组件,大多数数据采集组件针对单一数据源进行数据采集且不具有安全保障措施，同时数据采集往往在黑盒状态进行，导致现有的数据采集方式不能适配不同数据源的数据采集要求。

技术实现思路

1、本申请实施例的目的在于提出一种数据收集方法、装置及相关设备，以解决现有技术数据采集不能适配不同数据源的数据采集要求的问题。

2、为了解决上述技术问题，本申请实施例提供一种数据收集方法，包括下述步骤：

3、执行数据收集任务，进行数据收集初始化，基于初始化结果生成数据收集时间组，同时针对待收集数据构建数据指纹；

4、根据所述数据收集时间组进行数据收集，将收集的数据按照预设规则进行组装，并对组装数据中的数据标记所述数据指纹；

5、向云端上传标记后的所述组装数据，并获取本地端文件句柄，基于所述文件句柄将标记后的所述组装数据并行写入本地端的持久化文件；

6、记录云端上传信息和本地端存储反馈信息，并判断所述数据收集时间组是否执行完毕，若是则记录执行结果，否则继续执行数据收集直到所述数据收集时间组执行完毕。

7、进一步的，所述根据数据收集指令进行收集初始化，基于初始化结果生成对应的数据收集时间组的步骤包括：

8、判断当前是否存在未执行完成的上下文，若是则生成上下文时间组，并基于所述上下文时间组生成至少一个回溯时间组作为所述数据收集时间组；

9、否则判断当前用于数据收集的组件是否存在版本更新，当存在版本更新且版本更新等级满足预设值时，进行历史数据归档，并基于归档的历史数据构造回溯时间组作为所述数据收集时间组；

10、当所述版本更新等级不满足预设值或不存在版本更新时生成当天时间组作为所述数据收集时间组。

11、进一步的，所述执行数据收集任务进行数据收集初始化的步骤之前，所述方法包括：

12、获取当前的时间配置文件，对所述时间配置文件进行解析以获取允许执行数据收集任务的时间片，判断当前时间节点是否处于所述时间片内，若是则继续执行所述数据收集任务，否则暂停执行所述数据收集任务。

13、进一步的，所述暂停执行所述数据收集任务的步骤之后，所述方法包括：

14、基于时间轮算法获取预设间隔时间，经过所述预设间隔时间后重新判断新的当前时间节点是否处于所述时间片内，根据判断结果确定是否继续暂停或重启所述数据收集任务。

15、进一步的，当所述数据收集时间组未执行完毕时，所述方法还包括：

16、确定当前时间节点所述数据收集时间组对应的上下文的执行进度，并实时记录至本地端的目标文件中。

17、进一步的，在执行根据所述数据收集时间组进行数据收集的步骤的过程中，所述方法还包括：

18、获取数据采集配置文件，判断当前的数据采集配置文件是否发生变更，若是则基于变更前后的数据采集配置文件调整数据收集项，基于新的数据收集项更新所述数据收集时间组，并根据更新的数据收集时间组进行数据收集。

19、进一步的，所述向云端上传标记后的所述组装数据的步骤包括：

20、判断所述组装数据上传是否成功，若上传失败则重新上传，并在重新上传的次数达到预设次数时将上传失败的组装数据存储于本地端的指定文件中，当有新的组装数据上传成功时，读取所述指定文件中的组装数据重新上传。

21、为了解决上述技术问题，本申请实施例还提供一种数据收集装置，包括：

22、初始化模块，用于执行数据收集任务，进行数据收集初始化，基于初始化结果生成数据收集时间组，同时针对待收集数据构建数据指纹；

23、数据采集模块，用于根据所述数据收集时间组进行数据收集，将收集的数据按照预设规则进行组装，并对组装数据中的数据标记所述数据指纹；

24、数据上报存储模块，用于向云端上传标记后的所述组装数据，并获取本地端文件句柄，基于所述文件句柄将标记后的所述组装数据并行写入本地端的持久化文件；

25、调度模块，用于记录云端上传信息和本地端存储反馈信息，并判断所述数据收集时间组是否执行完毕，若是则记录执行结果，否则继续执行数据收集直到所述数据收集时间组执行完毕。

26、为了解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述的数据收集方法的步骤。

27、为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的数据收集方法的步骤。

28、与现有技术相比，本申请实施例主要有以下有益效果：

29、本申请通过数据收集时间组可以在未知的环境下进行数据的有序收集,基于数据收集时间组可以根据不同时期的需求自定义规则配置,并且快速灵活的修改数据统计口径，可以适配不同数据源的数据采集要求，同时可对数据来源通过指纹标记，并对收集的数据同时进行本地和云端存储，保证数据存储安全。

技术特征：

1.一种数据收集方法，用于黑盒状态下的数据采集，其特征在于，包括下述步骤：

2.根据权利要求1所述的数据收集方法，其特征在于，所述根据数据收集指令进行收集初始化，基于初始化结果生成对应的数据收集时间组的步骤包括：

3.根据权利要求2所述的数据收集方法，其特征在于，所述执行数据收集任务进行数据收集初始化的步骤之前，所述方法包括：

4.根据权利要求3所述的数据收集方法，其特征在于，所述暂停执行所述数据收集任务的步骤之后，所述方法包括：

5.根据权利要求1至4任一项所述的数据收集方法，其特征在于，当所述数据收集时间组未执行完毕时，所述方法还包括：

6.根据权利要求5所述的数据收集方法，其特征在于，在执行根据所述数据收集时间组进行数据收集的步骤的过程中，所述方法还包括：

7.根据权利要求6所述的数据收集方法，其特征在于，所述向云端上传标记后的所述组装数据的步骤包括：

8.一种数据收集装置，其特征在于，包括：

9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的数据收集方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的数据收集方法的步骤。

技术总结
本申请实施例属于数据采集技术领域，涉及一种数据收集方法、装置、计算机设备及存储介质，所述方法包括：进行数据收集初始化，基于初始化结果生成数据收集时间组，并针对待收集数据构建数据指纹；根据数据收集时间组进行数据收集，将收集的数据按照预设规则进行组装，并对组装数据中的数据标记数据指纹；向云端上传标记后的组装数据，并获取本地端文件句柄，基于文件句柄将标记后的组装数据并行写入本地端的持久化文件；记录云端上传信息和本地端存储反馈信息，判断数据收集时间组是否执行完毕，若是则记录执行结果，否则继续执行数据收集直到数据收集时间组执行完毕。本申请可以在未知的环境下进行数据的有序收集,并保证数据存储安全。

技术研发人员：王颖奇,冯斌,邱龙根,朱家祺
受保护的技术使用者：深圳复临科技有限公司
技术研发日：
技术公布日：2024/1/12