数据重复性校验方法及装置与流程

文档序号:11155108阅读:来源:国知局

技术特征:

1.一种数据重复性校验方法,其特征在于,包括:

从待插入数据中,获取与预置字段标识信息对应的多个字段信息;

根据预置编码规则将所述多个字段信息进行编码,得到所述多个字段信息对应的组合字段信息;

当预置数据库中不存在所述组合字段信息时,保存所述待插入数据;其中,所述预置数据库中保存有不同组合字段信息,所述不同组合字段信息分别由多个不同字段信息组成。

2.根据权利要求1所述的数据重复性校验方法,其特征在于,所述从待插入数据中获取与预置字段标识信息对应的多个字段信息之前,所述方法还包括:

根据不同预置字段标识信息分别对应的多个字段信息,生成多个组合字段信息;

将所述多个组合字段信息保存在所述预置数据库中。

3.根据权利要求2所述的数据重复性校验方法,其特征在于,所述预置数据库中还保存有多个组合字段信息分别对应的哈希值,所述方法还包括:

获取所述组合字段信息对应的哈希值;

当预置数据库中不存在所述组合字段信息时,保存所述待插入数据包括:

当预置数据库中不存在与所述组合字段信息对应的哈希值相同的组合字段信息时,保存所述待插入数据。

4.根据权利要求3所述的数据重复性校验方法,其特征在于,所述当预置数据库中不存在与所述组合字段信息对应的哈希值相同的组合字段信息时,则保存所述待插入数据之后,还包括:

将所述组合字段信息和与所述组合字段信息对应的哈希值保存在所述预置 数据库中。

5.根据权利要求1-4任一项所述的数据重复性校验方法,其特征在于,所述预置数据库为商业数据库。

6.一种数据重复性校验装置,其特征在于,包括:

获取单元,用于从待插入数据中获取与预置字段标识信息对应的多个字段信息;

编码单元,用于根据预置编码规则将所述获取单元获取的多个字段信息进行编码,得到所述多个字段信息对应的组合字段信息;

保存单元,用于当预置数据库中不存在所述组合字段信息时,保存所述待插入数据,所述预置数据库中保存有不同组合字段信息,所述不同组合字段信息分别由多个不同字段信息组成。

7.根据权利要求6所述的数据重复性校验装置,其特征在于,所述装置还包括:生成单元;

所述生成单元,用于根据不同预置字段标识信息分别对应的多个字段信息,生成多个组合字段信息;

所述保存单元,还用于将所述生成单元生成的多个组合字段信息保存在所述预置数据库中。

8.根据权利要求7所述的数据重复性校验装置,其特征在于,所述预置数据库中还保存有多个组合字段信息分别对应的哈希值,

所述获取单元,还用于获取所述组合字段信息对应的哈希值;

所述保存单元,具体用于当预置数据库中不存在与所述组合字段信息对应的哈希值相同的组合字段信息时,保存所述待插入数据。

9.根据权利要求8所述的数据重复性校验装置,其特征在于,

所述保存单元,还用于当预置数据库中不存在与所述组合字段信息对应的哈希值相同的组合字段信息时,将所述组合字段信息和与所述组合字段信息对应的哈希值保存在所述预置数据库中。

10.根据权利要求6-9任一项所述的数据重复性校验装置,其特征在于,所述预置数据库为商业数据库。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1