一种重复数据删除方法和装置与流程

文档序号:16246092发布日期:2018-12-11 23:35阅读:来源:国知局

技术特征:

技术总结
本申请实施例公开了一种重复数据删除方法和装置,在确定是否需要对待处理数据进行重复数据删除时,高速缓冲存储器中存储数据指纹与存储数据的缓存块的对应关系,若获取到待处理数据,计算待处理数据的第一数据指纹;若已存储的数据指纹中存在与第一数据指纹匹配的第二数据指纹,优先判断高速缓冲存储器中第二数据指纹对应的缓存块中是否存在目标数据;若存在,从第二数据指纹对应的缓存块中读取目标数据,无需从磁盘中读取目标数据,并将待处理数据与目标数据逐字节比较,以便在确定待处理数据与目标数据字节完全相同时删除待处理数据。该方法优先从高速缓冲存储器中读取目标数据,减少了读盘次数,提高数据读取速度,提升重复数据删除的效率。

技术研发人员:何孝金
受保护的技术使用者:郑州云海信息技术有限公司
技术研发日:2018.07.12
技术公布日:2018.12.11
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1