数据采集入库方法及装置与流程

本发明涉及数据采集，具体而言，涉及一种数据采集入库方法及装置。

背景技术：

1、随着信息技术的不断发展，金融行业已经逐渐转向数字化和智能化，金融产品创新业务不断推出，交易方式层出不穷，因此需要实时掌握业务交易状态，数据采集也成为了一个非常重要的环节。但现有的数据采集方法存在入库冲突风险，若同时启动两个或多个采集任务，当两个或多个采集任务同时执行数据入库时，由于大量的数据同时重复写入，会导致入库主键冲突，带来数据库安全隐患。

技术实现思路

1、本发明为了解决上述背景技术中的至少一个技术问题，提出了一种数据采集入库方法及装置。

2、为了实现上述目的，根据本发明的一个方面，提供了一种数据采集入库方法，该方法包括：

3、设置n个采集任务对目标数据指标进行数据采集，其中，n为大于1的整数；

4、根据所述n个采集任务中的每个采集任务采集的最新数据的数据时间，从所述n个采集任务中确定出目标采集任务，进而由所述目标采集任务根据自身采集的数据执行数据入库操作。

5、可选的，所述数据采集入库方法，还包括：

6、从任务状态表中读取所述目标数据指标对应的强制入库任务字段的字段值；

7、若所述字段值中记载有第一采集任务标识信息，则确定所述第一采集任务标识信息在所述n个采集任务中对应的采集任务，然后由该对应的采集任务根据自身采集的数据执行数据入库操作；

8、根据所述n个采集任务中的每个采集任务采集的最新数据的数据时间，从所述n个采集任务中确定出目标采集任务，进而由所述目标采集任务根据自身采集的数据执行数据入库操作，具体包括：

9、若所述字段值中未记载有所述第一采集任务标识信息，则根据所述n个采集任务中的每个采集任务采集的最新数据的数据时间，从所述n个采集任务中确定出目标采集任务，进而由所述目标采集任务根据自身采集的数据执行数据入库操作。

10、可选的，根据所述n个采集任务中的每个采集任务采集的最新数据的数据时间，从所述n个采集任务中确定出目标采集任务，进而由所述目标采集任务根据自身采集的数据执行数据入库操作，具体包括：

11、计算每个采集任务采集的最新数据的数据时间与当前时间的时间差，得到每个采集任务各自对应的时间延迟；

12、根据所述时间延迟以及所述目标数据指标对应的可接受数据延迟时间，从所述n个采集任务中确定出目标采集任务。

13、可选的，根据所述时间延迟以及所述目标数据指标对应的可接受数据延迟时间，从所述n个采集任务中确定出目标采集任务，具体包括：

14、从任务状态表中读取所述目标数据指标对应的默认入库任务字段中记载的第二采集任务标识信息；

15、若所述第二采集任务标识信息在所述n个采集任务中对应的采集任务的时间延迟小于所述可接受数据延迟时间，则将所述第二采集任务标识信息在所述n个采集任务中对应的采集任务确定为所述目标采集任务；

16、若所述第二采集任务标识信息在所述n个采集任务中对应的采集任务的时间延迟大于或等于所述可接受数据延迟时间，则将所述n个采集任务中的任意一个时间延迟小于所述可接受数据延迟时间的采集任务确定为所述目标采集任务；

17、若所述n个采集任务中的每个采集任务的时间延迟均大于或等于所述可接受数据延迟时间，则将所述第二采集任务标识信息在所述n个采集任务中对应的采集任务确定为所述目标采集任务。

18、可选的，根据所述时间延迟以及所述目标数据指标对应的可接受数据延迟时间，从所述n个采集任务中确定出目标采集任务，具体包括：

19、从任务状态表中读取所述目标数据指标对应的可接受数据延迟时间字段的字段值，得到所述可接受数据延迟时间。

20、可选的，所述数据采集入库方法，还包括：

21、将所述n个采集任务中的每个采集任务采集的数据存储到各自对应的消息队列中；

22、所述根据所述n个采集任务中的每个采集任务采集的最新数据的数据时间，从所述n个采集任务中确定出目标采集任务，具体包括：

23、从每个采集任务各自对应的消息队列中获取每个采集任务采集的最新数据的数据时间。

24、可选的，所述数据采集入库方法，还包括：

25、将所述消息队列存储到缓存中

26、为了实现上述目的，根据本发明的另一方面，提供了一种数据采集入库装置，该装置包括：

27、数据采集单元，用于设置n个采集任务对目标数据指标进行数据采集，其中，n为大于1的整数；

28、数据入库单元，用于根据所述n个采集任务中的每个采集任务采集的最新数据的数据时间，从所述n个采集任务中确定出目标采集任务，进而由所述目标采集任务根据自身采集的数据执行数据入库操作。

29、为了实现上述目的，根据本发明的另一方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据采集入库方法的步骤。

30、为了实现上述目的，根据本发明的另一方面，还提供了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述数据采集入库方法的步骤。

31、为了实现上述目的，根据本发明的另一方面，还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述数据采集入库方法的步骤。

32、本发明的有益效果为：

33、本发明实施例通过设置n个采集任务对目标数据指标进行数据采集，然后根据所述n个采集任务中的每个采集任务采集的最新数据的数据时间，从所述n个采集任务中确定出目标采集任务，进而由所述目标采集任务根据自身采集的数据执行数据入库操作，本发明同时启动多个采集任务，并在执行入库时从多个采集任务中选择出一个目标采集任务来执行入库操作，避免了现有的当两个或多个采集任务同时执行数据入库时，由于大量的数据同时重复写入，导致入库主键冲突，带来数据库安全隐患的问题，提高了数据采集入库的效果。

技术特征：

1.一种数据采集入库方法，其特征在于，包括：

2.根据权利要求1所述的数据采集入库方法，其特征在于，还包括：

3.根据权利要求1或2所述的数据采集入库方法，其特征在于，根据所述n个采集任务中的每个采集任务采集的最新数据的数据时间，从所述n个采集任务中确定出目标采集任务，进而由所述目标采集任务根据自身采集的数据执行数据入库操作，具体包括：

4.根据权利要求3所述的数据采集入库方法，其特征在于，根据所述时间延迟以及所述目标数据指标对应的可接受数据延迟时间，从所述n个采集任务中确定出目标采集任务，具体包括：

5.根据权利要求3所述的数据采集入库方法，其特征在于，根据所述时间延迟以及所述目标数据指标对应的可接受数据延迟时间，从所述n个采集任务中确定出目标采集任务，具体包括：

6.根据权利要求1所述的数据采集入库方法，其特征在于，还包括：

7.根据权利要求6所述的数据采集入库方法，其特征在于，还包括：

8.一种数据采集入库装置，其特征在于，包括：

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任意一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至7任意一项所述方法的步骤。

11.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至7任意一项所述方法的步骤。

技术总结
本发明实施例公开了一种数据采集入库方法及装置，可用于金融领域或其他技术领域，该方法包括：设置N个采集任务对目标数据指标进行数据采集，其中，N为大于1的整数；根据所述N个采集任务中的每个采集任务采集的最新数据的数据时间，从所述N个采集任务中确定出目标采集任务，进而由所述目标采集任务根据自身采集的数据执行数据入库操作。本发明有助于提高数据采集入库的效果。

技术研发人员：苑宝鑫
受保护的技术使用者：中国工商银行股份有限公司
技术研发日：
技术公布日：2024/1/16