海量标签数据下发方法、设备及存储介质与流程

本申请涉及数据处理，尤其涉及一种海量标签数据下发方法、设备及存储介质。

背景技术：

1、随着网络信息技术的迅速发展，产生的数据量逐渐增加。为了对数据进行有效管理，可以采用数据标签化的方式，然后将标签数据下发至对应的业务系统。

2、为保证标签数据的精准度，需要在一定时间内对标签数据进行更新。现有的下发标签数据的方法是采用单机拷贝的方式，在每个月月中下发一次上个月的全量标签对应的数据。

3、采用单机拷贝的方式对标签数据进行下发，导致标签数据下发的效率较低。

技术实现思路

1、本申请提供一种海量标签数据下发方法、设备及存储介质，用以解决标签数据下发效率较低的问题。

2、第一方面，本申请提供一种海量标签数据下发方法，包括：

3、获取数据源中当前下发周期下发的标签数据；

4、将标签数据分布式存储至分布式数据库；

5、对标签数据与历史下发周期内的历史标签数据进行关联生成基础数据表；

6、相较于历史标签数据，检测当前下发周期下发的标签数据中的更新数据；

7、若存在更新数据，则将更新数据与基础数据表关联生成全量标签数据，并将全量标签数据下发至当前下发周期下发的标签数据对应的业务系统。

8、在一种可能的实现方式中，将标签数据分布式存储至分布式数据库，包括：

9、将数据源中javascript对象简谱格式的数据存储至分布式数据库中的中间表。

10、在一种可能的实现方式中，将数据源中javascript对象简谱格式的数据存储至分布式数据库中的中间表之后，还包括：

11、对当前下发周期下发的标签数据进行解析生成结构化数据格式的标签数据。

12、在一种可能的实现方式中，若存在更新数据，则将更新数据与基础数据表关联生成全量标签数据，并将全量标签数据下发至当前下发周期下发的标签数据对应的业务系统，包括：

13、若当前下发周期下发的标签数据中存在更新数据，则获取更新数据，并将更新数据存储至分布式数据库中的临时表；

14、将更新数据与基础数据表关联生成全量标签数据；

15、将全量标签数据存储至用于数据下发的分布式数据库中的目标表，并将全量标签数据下发至当前下发周期下发的标签数据对应的业务系统。

16、在一种可能的实现方式中，若当前下发周期下发的标签数据中存在更新数据，则获取更新数据，包括：

17、若当前下发周期下发的标签数据中存在更新数据，则调用接口异步获取更新数据。

18、在一种可能的实现方式中，海量标签数据下发方法还包括：

19、将下发的全量标签数据备份至基础数据表，作为下一下发周期的历史标签数据。

20、在一种可能的实现方式中，相较于历史标签数据，检测当前下发周期下发的标签数据中的更新数据，还包括：

21、若当前下发周期下发的标签数据中不存在更新数据，则不下发标签数据。

22、第二方面，本申请提供一种海量标签数据下发设备，包括：

23、获取模块，用于获取数据源中当前下发周期下发的标签数据；

24、存储模块，用于将标签数据分布式存储至分布式数据库；

25、关联模块，用于对标签数据与历史下发周期内的历史标签数据进行关联生成基础数据表；

26、检测模块，用于相较于历史标签数据，检测当前下发周期下发的标签数据中的更新数据；

27、关联模块，还用于若存在更新数据，则将更新数据与基础数据表关联生成全量标签数据；

28、下发模块，用于将全量标签数据下发至当前下发周期下发的标签数据对应的业务系统。

29、第三方面，本申请提供一种海量标签数据下发设备，包括：处理器、存储器，存储器中存储代码，处理器运行存储器中存储的代码，以执行如第一方面中任一项的海量标签数据下发方法。

30、第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如第一方面任一项的海量标签数据下发方法。

31、本申请提供一种海量标签数据下发方法、设备及存储介质。该方法包括：获取数据源中当前下发周期下发的标签数据，将标签数据分布式存储至分布式数据库。对标签数据与历史下发周期内的历史标签数据进行关联生成基础数据表。相较于历史标签数据，检测当前下发周期下发的标签数据中的更新数据。若存在更新数据，则将更新数据与基础数据表关联生成全量标签数据，并将全量标签数据下发至当前下发周期下发的标签数据对应的业务系统。本申请提供的方法通过将海量的标签数据分布式存储至分布式数据库中，提高了标签数据下发的效率。同时本方法将当前下发周期下发标签数据中的更新数据与基础数据表关联生成全量标签数据，对全量标签数据进行下发，无需当前下发周期下发的标签数据全部更新，进一步提高了标签数据下发的效率。

技术特征：

1.一种海量标签数据下发方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述将所述标签数据分布式存储至分布式数据库，包括：

3.根据权利要求2所述的方法，其特征在于，所述将所述数据源中javascript对象简谱格式的数据存储至所述分布式数据库中的中间表之后，还包括：

4.根据权利要求1所述的方法，其特征在于，所述若存在所述更新数据，则将所述更新数据与所述基础数据表关联生成全量标签数据，并将所述全量标签数据下发至当前下发周期下发的标签数据对应的业务系统，包括：

5.根据权利要求4所述的方法，其特征在于，所述若当前下发周期下发的标签数据中存在所述更新数据，则获取所述更新数据，包括：

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1所述的方法，其特征在于，所述相较于所述历史标签数据，检测所述当前下发周期下发的标签数据中的更新数据，还包括：

8.一种海量标签数据下发设备，其特征在于，包括：

9.一种海量标签数据下发设备，包括：处理器、存储器，所述存储器中存储代码，所述处理器运行所述存储器中存储的代码，以执行如权利要求1-7中任一项所述的海量标签数据下发方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-7任一项所述的海量标签数据下发方法。

技术总结
本申请提供一种海量标签数据下发方法、设备及存储介质。该方法包括：获取数据源中当前下发周期下发的标签数据；将标签数据分布式存储至分布式数据库；对标签数据与历史下发周期内的历史标签数据进行关联生成基础数据表；相较于历史标签数据，检测当前下发周期下发的标签数据中的更新数据；若存在更新数据，将更新数据与基础数据表关联生成全量标签数据，并将全量标签数据下发至当前下发周期下发的标签数据对应的业务系统。本方法将标签数据分布式存储至分布式数据库，提高了标签数据下发的效率。同时将标签数据中的更新数据与基础数据表关联生成下发的全量标签数据，无需当前下发周期下发的标签数据全部更新，进一步提高了标签数据下发的效率。

技术研发人员：吕威,王凌青,李春宝,刘鑫,李季
受保护的技术使用者：中国联合网络通信集团有限公司
技术研发日：
技术公布日：2024/1/15