数据处理方法及装置、存储介质及电子设备与流程

本公开涉及数据处理，具体而言，涉及一种数据处理方法、数据处理装置、电子设备以及计算机可读存储介质。

背景技术：

1、现有技术中，当进行一项新需求开发时，需要上游系统先进行开发，开发完成后按照交换接口定义提供测试数据，数据仓库和下游系统拿到测试数据后，才能进行开发、测试。上游系统和数据仓库的开发、测试串行进行，导致整体开发效率不高。

2、故而，为了解决上述问题，本公开实施例提供了一种数据处理方法、数据处理装置、电子设备以及计算机可读存储介质。

技术实现思路

1、本公开实施例的目的在于提供一种数据处理方法、数据处理装置、电子设备以及计算机可读存储介质，从而在一定程度上解决了相关技术存在的上游系统和数据仓库的开发、测试串行进行，导致整体开发效率不高等问题。

2、根据本公开的第一方面，提供一种数据处理方法，包括：获取业务数据，并从所述业务数据抽取种子数据，所述种子数据用于生成测试数据；依据目标数据仓库的交换接口定义配置数据规则，并依据所述数据规则基于所述种子数据生成测试数据，将所述测试数据发送至所述目标数据仓库，以通过所述目标数据仓库向下游系统的数据应用方提供所述测试数据，实现所述数据应用方的系统开发及测试需求。

3、在本公开的一种示例性实施例中，所述依据所述数据规则基于所述种子数据生成测试数据，包括：依据所述数据规则对所述种子数据进行核查，若核查不通过，则生成符合所述数据规则的所述测试数据，其中，所述数据规则包括接口规则及字段生成规则。

4、在本公开的一种示例性实施例中，所述若核查不通过，则生成符合所述数据规则的所述测试数据，包括：若所述种子数据中存在不通过字段，则依据所述数据规则中的对应要求为所述不通过字段生成所述测试数据，并替换至所述种子数据的对应位置。

5、在本公开的一种示例性实施例中，所述若核查不通过，则生成符合所述数据规则的所述测试数据，包括：若所述种子数据存在缺失字段，则依据所述数据规则中的对应要求补充所述缺失字段，并生成所述缺失字段的所述测试数据，补充至所述种子数据。

6、在本公开的一种示例性实施例中，在替换所述种子数据中的所述不通过字段或将所述缺失字段补充至所述种子数据后，所述方法还包括：将所述种子数据存入种子数据库。

7、在本公开的一种示例性实施例中，所述将所述测试数据发送至所述目标数据仓库，包括：根据所述交换接口定义，将所述测试数据导出成数据交换接口文件，并发送至所述目标数据仓库。

8、根据本公开的第二方面，提供一种数据处理装置，包括：数据抽取模块，用于获取业务数据，并将所述业务数据抽取种子数据，所述种子数据用于生成测试数据；数据处理模块，用于依据目标数据仓库的交换接口定义配置数据规则，并依据所述数据规则基于所述种子数据生成测试数据，将所述测试数据发送至所述目标数据仓库，以通过所述目标数据仓库向下游系统的数据应用方提供所述测试数据，实现所述数据应用方的系统开发及测试需求。

9、在本公开的一种示例性实施例中，所述数据处理模块具体用于：若所述种子数据中存在不通过字段，则依据所述数据规则中的对应要求为所述不通过字段生成所述测试数据，并替换至所述种子数据的对应位置。

10、在本公开的一种示例性实施例中，所述数据处理模块还用于：若所述种子数据存在缺失字段，则依据所述数据规则中的对应要求补充所述缺失字段，并生成所述缺失字段的所述测试数据，补充至所述种子数据。

11、根据本公开的第三方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的方法。

12、根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的方法。

13、本公开示例性实施例可以具有以下部分或全部有益效果：

14、在本公开示例实施方式所提供的数据处理方法中，获取业务数据，并从所述业务数据抽取种子数据，种子数据用于生成测试数据；依据目标数据仓库的交换接口定义配置数据规则，并依据所述数据规则基于所述种子数据生成测试数据，将所述测试数据发送至所述目标数据仓库，以通过目标数据仓库向下游系统的数据应用方提供测试数据，实现数据应用方的系统开发及测试需求。本公开实施例基于种子数据，通过交换接口定义及数据规则生成测试数据，一方面，可以提升测试数据与实际业务数据的还原度，更好满足测试需求。另一方面，可以批量、自动化生成大量测试数据，提高测试数据生成效率，降低实施成本。

15、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

技术特征：

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的数据处理方法，其特征在于，所述依据所述数据规则基于所述种子数据生成测试数据，包括：

3.根据权利要求2所述的数据处理方法，其特征在于，所述若核查不通过，则生成符合所述数据规则的所述测试数据，包括：

4.根据权利要求2所述的数据处理方法，其特征在于，所述若核查不通过，则生成符合所述数据规则的所述测试数据，包括：

5.根据权利要求3或4所述的数据处理方法，其特征在于，在替换所述种子数据中的所述不通过字段或将所述缺失字段补充至所述种子数据后，所述方法还包括：

6.根据权利要求1所述的数据处理方法，其特征在于，所述将所述测试数据发送至所述目标数据仓库，包括：

7.一种数据处理装置，其特征在于，包括：

8.根据权利要求7所述的数据处理装置，其特征在于，所述数据处理模块具体用于：

9.根据权利要求7所述的数据处理装置，其特征在于，所述数据处理模块还用于：

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6任一项所述的方法。

11.一种电子设备，其特征在于，包括：

技术总结
本公开提供一种数据处理方法及装置、电子设备、计算机可读存储介质，涉及数据处理技术领域。所述方法包括：获取业务数据，并从所述业务数据抽取种子数据，所述种子数据用于生成测试数据；依据目标数据仓库的交换接口定义配置数据规则，并依据所述数据规则基于所述种子数据生成测试数据，将所述测试数据发送至所述目标数据仓库，以通过所述目标数据仓库向下游系统的数据应用方提供所述测试数据，实现所述数据应用方的系统开发及测试需求。本公开基于种子数据，通过交换接口定义及数据规则，可以按数据需求批量、自动化生成大量测试数据，更好地满足了测试需求，同时还可以提高测试数据的生成效率，降低成本。

技术研发人员：陈文极,张东凯,黄斌
受保护的技术使用者：建信金融科技有限责任公司
技术研发日：
技术公布日：2024/4/17