数据正确性验证方法、装置、设备、系统及存储介质与流程

文档序号:23419244发布日期:2020-12-25 11:41阅读:来源:国知局

技术特征:

1.一种数据正确性验证方法,其特征在于,包括:

通过主题库提取待测数据的目标对象;

通过资源库提取待测数据中目标对象的关联数据和目标对象的关系数据;

通过图库确定所述目标对象与所述关联数据的第一对应关系,以及所述目标对象与所述关系数据的第二对应关系;并在所述第一对应关系与参考第一对应关系一致,以及所述第二对应关系与参考第二对应关系一致时,判定所述关联数据和所述关系数据符合所述待测数据对应的场景预期。

2.根据权利要求1所述的一种数据正确性验证方法,其特征在于,在所述通过主题库提取待测数据的目标对象之前,还包括:

对接收的原始数据进行格式验证,并将通过格式验证的原始数据作为待测数据。

3.根据权利要求2所述的一种数据正确性验证方法,其特征在于,在所述对接收的原始数据进行格式验证,并将通过格式验证的原始数据作为待测数据的同时,还包括:

在所述原始数据通过格式验证时,向kafka服务器发送验证结果。

4.根据权利要求1所述的一种数据正确性验证方法,其特征在于,还包括:

在通过主题库提取待测数据的目标对象时,向hadoop服务器发送所述目标对象数据;

在通过资源库提取待测数据中目标对象的关联数据和目标对象的关系数据时,向hadoop服务器发送所述关联数据和所述关系数据。

5.根据权利要求2所述的一种数据正确性验证方法,其特征在于,在所述对接收的原始数据进行格式验证,并将通过格式验证的原始数据作为待测数据之前,还包括:

获取待测场景的测试数据,并对所述测试数据进行标准化,所述标准化包括必填项和关键字段的填充;

将所述测试数据和所述测试数据对应的索引文件进行打包,以得到原始数据。

6.一种数据正确性验证装置,其特征在于,包括:

主题库提取模块,用于通过主题库提取待测数据的目标对象

资源库提取模块,用于通过资源库提取待测数据中目标对象的关联数据和目标对象的关系数据;

图库确定模块,用于通过图库确定所述目标对象与所述关联数据的第一对应关系,以及所述目标对象与所述关系数据的第二对应关系;并在所述第一对应关系与参考第一关系一致,以及所述第二对应关系与参考第二对应关系一致时,判定所述关联数据和所述关系数据符合所述待测数据对应的场景预期。

7.一种服务器设备,其特征在于,所述服务器设备包括:

一个或多个处理器;

存储装置,用于存储一个或多个程序;

当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5任一所述的数据正确性验证方法。

8.一种数据正确性验证系统,其特征在于,包括:

hadoop服务器,用于向用户展示待测数据验证过程中的中间数据;

主服务器,用于通过主题库提取待测数据的目标对象,并在通过主题库提取待测数据的目标对象时,向hadoop服务器发送所述目标对象数据;通过资源库提取待测数据中目标对象的关联数据和目标对象的关系数据,并在通过资源库提取待测数据中目标对象的关联数据和目标对象的关系数据时,向hadoop服务器发送所述关联数据和所述关系数据;通过图库确定所述目标对象与所述关联数据的第一对应关系,以及所述目标对象与所述关系数据的第二对应关系;并在所述第一对应关系与参考第一关系一致,以及所述第二对应关系与参考第二对应关系一致时,判定所述关联数据和所述关系数据符合所述待测数据对应的场景预期。

9.根据权利要求8所述的一种数据正确性验证系统,其特征在于,该系统还包括:

kafka服务器,用于向用户展示格式验证结果;

所述主服务器还用于对接收的原始数据进行格式验证,并将通过格式验证的原始数据作为待测数据,以及向所述kafka服务器发送验证结果。

10.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-5中任一所述的数据正确性验证方法。


技术总结
本发明公开了一种数据正确性验证方法、装置、设备、系统及存储介质。包括:通过主题库提取待测数据的目标对象;通过资源库提取待测数据中目标对象的关联数据和目标对象的关系数据;通过图库确定所述目标对象与所述关联数据的第一对应关系,以及所述目标对象与所述关系数据的第二对应关系;并在所述第一对应关系与参考第一对应关系一致,以及所述第二对应关系与参考第二对应关系一致时,判定所述关联数据和所述关系数据符合所述测试数据对应的场景预期。解决了大数据正确性验证缺失的问题,达到了提高大数据准确性的技术效果。

技术研发人员:杨洋;谢永恒;万月亮
受保护的技术使用者:北京锐安科技有限公司
技术研发日:2020.09.14
技术公布日:2020.12.25
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1