数据拆分方法、装置、设备及存储介质与流程

本申请涉及数据处理，尤其涉及一种数据拆分方法、装置、设备及存储介质。

背景技术：

1、在公司内部使用业务数据或准实时数据时，公司有时候会需要将准实时数据下发至各个部门，由于各个部门所负责的工作不同，所以需要将下发的准实时数据进行拆分后，才可以用于实际的业务处理工作中。

2、现有的准实时数据拆分方式中，主要还是依靠开发单独的拆分程序完成数据拆分，对于每个准实时数据拆分都要进行一次编码开发与部署上线，导致整个项目的开发周期长，数据的拆分效率低下。

技术实现思路

1、本申请的主要目的在于提供一种数据拆分方法、装置、设备及存储介质，旨在解决相关技术中，依靠开发单独的拆分程序完成数据拆分，导致数据拆分效率低下的技术问题。

2、为实现上述目的，本申请实施例提供了一种数据拆分方法，所述方法包括：

3、获取待拆分的目标数据，并确定所述目标数据对应的多个应用场景；

4、根据每一所述应用场景，为所述目标数据配置多个拆分参数，其中，所述拆分参数与各所述应用场景具有一一对应关系；

5、基于所述拆分参数，对所述目标数据进行拆分，得到多个拆分数据。

6、在本申请的一种可能的实施方式中，所述根据每一所述应用场景，为所述目标数据配置多个拆分参数的步骤，包括：

7、确定每一所述应用场景所对应的拆分参数；

8、将所述拆分参数对应的参数配置文件配置于所述目标数据。

9、在本申请的一种可能的实施方式中，所述基于所述拆分参数，对所述目标数据进行拆分，得到多个拆分数据的步骤，包括：

10、基于所述拆分参数，生成镜像应用；

11、对预设通用代码进行编译处理，得到可执行程序包，其中，所述预设通用代码适用于各种应用场景；

12、基于所述镜像应用和所述可执行程序包，对所述目标数据进行拆分，得到多个拆分数据。

13、在本申请的一种可能的实施方式中，所述基于所述镜像应用和所述可执行程序包，对所述目标数据进行拆分，得到多个拆分数据的步骤，包括：

14、基于所述拆分参数所对应参数配置文件，确定数据拆分规则；

15、基于所述镜像应用和所述数据拆分规则，调用所述可执行程序包，并对所述目标数据进行拆分，得到多个拆分数据。

16、在本申请的一种可能的实施方式中，所述基于所述拆分参数，生成镜像应用的步骤，包括：

17、基于配置于所述目标数据的拆分参数，调用所述镜像应用的应用上线接口；

18、通过所述应用上线接口将所述拆分参数对应的拆分规则部署于生产环境，生成镜像应用，其中，所述拆分规则以参数配置文件的形式被部署于生产环境。

19、在本申请的一种可能的实施方式中，所述基于所述拆分参数，对所述目标数据进行拆分，得到多个拆分数据的步骤之后，还包括：

20、检测所述拆分数据与当前应用场景是否对应；

21、若否，则再次执行所述基于所述拆分参数，对所述目标数据进行拆分，得到多个拆分数据的步骤。

22、在本申请的一种可能的实施方式中，所述基于所述拆分参数，对所述目标数据进行拆分，得到多个拆分数据的步骤之后，还包括：

23、设置当前应用场景所对应数据的数据上限；

24、若拆分得到的所述拆分数据的数据量超过所述数据上限，则将所述拆分数据中超出所述数据上限的冗余数据存储至预设数据库，以供下一时间段对所述冗余数据进行调用。

25、本申请还提供一种数据拆分装置，所述数据拆分装置包括：

26、获取模块，用于获取待拆分的目标数据，并确定所述目标数据对应的多个应用场景；

27、配置模块，用于根据每一所述应用场景，为所述目标数据配置多个拆分参数，其中，所述拆分参数与各所述应用场景具有一一对应关系；

28、拆分模块，用于基于所述拆分参数，对所述目标数据进行拆分，得到多个拆分数据。

29、本申请还提供一种数据拆分设备，所述数据拆分设备为实体节点设备，所述数据拆分设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述数据拆分方法的程序，所述数据拆分方法的程序被处理器执行时可实现如上述所述数据拆分方法的步骤。

30、为实现上述目的，还提供一种存储介质，所述存储介质上存储有数据拆分程序，所述数据拆分程序被处理器执行时实现上述任一所述的数据拆分方法的步骤。

31、本申请提供了一种数据拆分方法、装置、设备及存储介质，与相关技术中，依靠开发单独的拆分程序完成数据拆分，导致数据拆分效率低下相比，在本申请中，通过确定待拆分目标数据的各个应用场景，并为每个应用场景配置拆分参数，从而，根据拆分参数将目标数据拆分为适用于各个应用场景的拆分数据，从而，不需要开发单独的拆分程序，拆分过程简单易完成，进而，提高了数据拆分效率。

技术特征：

1.一种数据拆分方法，其特征在于，所述方法包括以下步骤：

2.如权利要求1所述的数据拆分方法，其特征在于，所述根据每一所述应用场景，为所述目标数据配置多个拆分参数的步骤，包括：

3.如权利要求2所述的数据拆分方法，其特征在于，所述基于所述拆分参数，对所述目标数据进行拆分，得到多个拆分数据的步骤，包括：

4.如权利要求3所述的数据拆分方法，其特征在于，所述基于所述镜像应用和所述可执行程序包，对所述目标数据进行拆分，得到多个拆分数据的步骤，包括：

5.如权利要求3所述的数据拆分方法，其特征在于，所述基于所述拆分参数，生成镜像应用的步骤，包括：

6.如权利要求1所述的数据拆分方法，其特征在于，所述基于所述拆分参数，对所述目标数据进行拆分，得到多个拆分数据的步骤之后，还包括：

7.如权利要求1所述的数据拆分方法，其特征在于，所述基于所述拆分参数，对所述目标数据进行拆分，得到多个拆分数据的步骤之后，还包括：

8.一种数据拆分装置，其特征在于，所述数据拆分装置包括：

9.一种数据拆分设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据拆分程序，所述数据拆分程序配置为实现如权利要求1至7中任一项所述的数据拆分方法的步骤。

10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有数据拆分程序，所述数据拆分程序被处理器执行时实现如权利要求1至7中任一项所述的数据拆分方法的步骤。

技术总结
本申请公开了一种数据拆分方法、装置、设备及存储介质，该方法包括步骤：获取待拆分的目标数据，并确定所述目标数据对应的多个应用场景；根据每一所述应用场景，为所述目标数据配置多个拆分参数，其中，所述拆分参数与各所述应用场景具有一一对应关系；基于所述拆分参数，对所述目标数据进行拆分，得到多个拆分数据。本申请提高了数据拆分效率。

技术研发人员：张强
受保护的技术使用者：招商银行股份有限公司
技术研发日：
技术公布日：2024/3/4