一种基于pandas的数据验证方法、装置、设备及介质与流程

本申请涉及大数据领域或金融领域，特别涉及一种基于pandas的数据验证方法、装置、设备及介质。

背景技术：

1、随着金融系统中业务的增多，金融系统内的数据类型也越来越复杂。相关技术中，为保证金融系统更加符合生产环境的真实情况，相关技术人员会基于金融系统中excel表格文件中的原始数据，对金融系统进行数据铺底。

2、然而，当对数据铺底的正确性进行验证时，相关技术人员只能对上述原始数据进行抽查，而无法对所有原始数据进行充分、全面的检查，从而可能导致后续的业务流程无法顺利进行。

技术实现思路

1、有鉴于此，本申请实施例提供了一种基于pandas的数据验证方法、装置、设备及介质，能够对所有原始文件中的原始数据进行充分、全面的检查，使得后续的业务流程顺利进行。

2、本申请实施例公开了如下技术方案：

3、第一方面，本申请提供了一种基于pandas的数据验证方法，所述方法包括：

4、将读取到的原始文件基于pandas转换为修正文件，所述原始文件中的数据为非浮点格式数据，所述修正文件中的数据为浮点格式数据；

5、接收数据库发送的查询文件，所述查询文件中的数据为浮点格式数据；

6、将所述修正文件中的数据和所述查询文件中的数据进行对比，以执行数据验证。

7、可选的，所述接收数据库发送的查询文件，包括：

8、接收数据库文件；

9、若所述数据库文件中的数据为非浮点格式数据，则将所述数据库文件基于pandas转换为查询文件。

10、可选的，所述将所述修正文件中的数据和所述查询文件中的数据进行对比，包括：

11、基于所述查询文件，创建保留文件；

12、将所述修正文件的第n行设置为修正文件的第n目标字段，n为正整数；

13、将所述保留文件的第n行设置为保留文件的第n目标字段；

14、将所述修正文件的第n目标字段和所述保留文件的第n目标字段进行对比。

15、可选的，在所述将所述修正文件的第n目标字段和所述保留文件的第n目标字段进行对比之后，所述方法还包括：

16、若对比结果表征所述保留文件中包含所述修正文件的第n目标字段，则向所述数据库发送所述修正文件的第n目标字段；

17、若所述对比结果表征保留文件中不包含所述修正文件的第n目标字段，则向所述数据库发送提醒消息，所述提醒消息为表征所述修正文件的第n目标字段不存在的消息。

18、第二方面，本申请提供了一种基于pandas的数据验证装置，所述装置包括：转换模块、接收模块和对比模块；

19、所述转换模块，用于将读取到的原始文件基于pandas转换为修正文件，所述原始文件中的数据为非浮点格式数据，所述修正文件中的数据为浮点格式数据；

20、所述接收模块，用于接收数据库发送的查询文件，所述查询文件中的数据为浮点格式数据；

21、所述对比模块，用于将所述修正文件中的数据和所述查询文件中的数据进行对比，以执行数据验证。

22、可选的，所述接收模块具体包括：第一接收子模块和第二接受子模块；

23、所述第一接收子模块，用于接收数据库文件；

24、所述第二接收子模块，用于若所述数据库文件中的数据为非浮点格式数据，则将所述数据库文件基于pandas转换为查询文件。

25、可选的，所述对比模块具体包括：第一对比子模块、第二对比子模块、第三对比子模块和第四对比子模块；

26、所述第一对比子模块，用于基于所述查询文件，创建保留文件；

27、所述第二对比子模块，将所述修正文件的第n行设置为修正文件的第n目标字段，n为正整数；

28、所述第三对比子模块，将所述保留文件的第n行设置为保留文件的第n目标字段；

29、所述第四对比子模块，将所述修正文件的第n目标字段和所述保留文件的第n目标字段进行对比。

30、可选的，所述装置还包括：第一发送模块和第二发送模块；

31、所述第一发送模块，用于若对比结果表征所述保留文件中包含所述修正文件的第n目标字段，则向所述数据库发送所述修正文件的第n目标字段；

32、所述第二发送模块，用于若所述对比结果表征保留文件中不包含所述修正文件的第n目标字段，则向所述数据库发送提醒消息，所述提醒消息为表征所述修正文件的第n目标字段不存在的消息。

33、第三方面，本申请提供了一种基于pandas的数据验证设备，包括：存储器和处理器；

34、所述存储器，用于存储程序；

35、所述处理器，用于执行所述计算机程序时实现上述基于pandas的数据验证方法的步骤。

36、第四方面，本申请提供了一种计算机可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现上述基于pandas的数据验证方法的步骤。

37、相较于现有技术，本申请具有以下有益效果：

38、本申请公开了一种基于pandas的数据验证方法、装置、设备及介质，该方法包括：将读取到的原始文件基于pandas转换为修正文件，该原始文件中的数据为非浮点格式数据，该修正文件中的数据为浮点格式数据；接收数据库发送的查询文件，该查询文件中的数据为浮点格式数据；将修正文件中的数据和查询文件中的数据进行对比，以执行数据验证。由此，通过将原始文件中的非浮点格式数据通过pandas转化为与查询文件中的数据格式相同的浮点格式数据，能够直接将数据格式相同的修正文件和查询文件直接进行充分、全面的对比检查，进而提高了相关技术人员的检查效率，并使得后续的业务流程能够顺利进行。

技术特征：

1.一种基于pandas的数据验证方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述接收数据库发送的查询文件，包括：

3.根据权利要求1或2所述的方法，其特征在于，所述将所述修正文件中的数据和所述查询文件中的数据进行对比，包括：

4.根据权利要求3所述的方法，其特征在于，在所述将所述修正文件的第n目标字段和所述保留文件的第n目标字段进行对比之后，所述方法还包括：

5.一种基于pandas的数据验证装置，其特征在于，所述装置包括：转换模块、接收模块和对比模块；

6.根据权利要求5所述的装置，其特征在于，所述接收模块具体包括：第一接收子模块和第二接受子模块；

7.根据权利要求5或6所述的装置，其特征在于，所述对比模块具体包括：第一对比子模块、第二对比子模块、第三对比子模块和第四对比子模块；

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：第一发送模块和第二发送模块；

9.一种基于pandas的数据验证设备，其特征在于，包括：存储器和处理器；

10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至4中任一项所述的方法的各个步骤。

技术总结
本申请公开了一种基于pandas的数据验证方法、装置、设备及介质，涉及大数据领域或金融领域。该方法包括：将读取到的原始文件基于pandas转换为修正文件，该原始文件中的数据为非浮点格式数据，该修正文件中的数据为浮点格式数据；接收数据库发送的查询文件，该查询文件中的数据为浮点格式数据；将修正文件中的数据和查询文件中的数据进行对比，以执行数据验证。由此，通过将原始文件中的非浮点格式数据通过pandas转化为与查询文件中的数据格式相同的浮点格式数据，能够直接将数据格式相同的修正文件和查询文件直接进行充分、全面的对比检查，进而提高了相关技术人员的检查效率，并使得后续的业务流程能够顺利进行。

技术研发人员：詹栩丹,杜超凡,姜玉婷,林津如,林丽云,纪锴,吴奕霖,彭上尉,邱德宗,石明睿,陶曾明
受保护的技术使用者：中国银行股份有限公司
技术研发日：
技术公布日：2024/1/16