块，则将检索的相同数据块的索引插入其类型对应的子数据库中，并丢弃待备份数据。
[0077]3、如果在所述主数据库中没有检索到相同的数据块，则在所述子数据库和所述主数据库分别存储所述待备份数据的指纹信息。
[0078]在本发明实施例中，如果在主数据库中也没有检索到与待备份数据相同的数据块，则表示待备份数据是新的数据，将待备份数据的指纹信息分别存储到主数据库和对应的子数据库。
[0079]云备份客户端将待备份数据的指纹信息发送到云备份服务器端，云备份服务器端对指纹信息进行全局检索，根据检索结果进行后续处理，包括:
[0080]如果检索到相同的指纹信息，表示云备份服务器端存储有相同的数据块，云，则通知云备份客户端终止上传待备份数据；或者，
[0081]如果没有检索到相同的指纹信息，表示云备份服务器端没有存储相同的数据块，将所述指纹信息写入云备份服务器端的数据库，并通知所述云备份客户端上传所述待备份数据。
[0082]本发明实施例，云备份客户端对待备份数据进行分类处理，对经过分类的待备份数据使用预设的切块算法进行切块，使用子数据库和主数据库存储经过切块的待备份数据的指纹信息，并将指纹信息发送到云备份服务器端，云备份服务器端根据指纹信息对云备份服务器端本地的数据库进行全局检索，根据检索结果进行后续处理，使得云备份过程中去重效率得到提升。
[0083]作为本发明的一个可选实施例，所述云备份客户端还用于:根据预设的大小阈值对所述经过分类处理的待备份数据进行过滤，并将小于所述大小阈值的待备份数据合并为大于所述大小阈值的待备份数据。
[0084]在本发明实施例中，在数据中存在一种大小不超过10kb的微小数据，这种微小数据会增加备份过程中系统的I/O操作次数，因此需要根据预设的文件大小阈值对待备份数据进行过滤，小于大小阈值的数据可以确定为微小数据，并将微小数据合并为大于大小阈值的非微小数据。
[0085]需要指出的是，为了保证微小数据可以恢复，在将微小数据合并为非微小数据的过程中，需要建立一个key-value表来记录微小数据合并的相关信息，其中，key表示微小数据的指纹，value表示合并后的非微小数据的指纹。
[0086]本领域普通技术人员还可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以在存储于一计算机可读取存储介质中，所述的存储介质，包括R0M/RAM、磁盘、光盘等。
[0087]以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
【主权项】
1.一种云备份过程中数据去重的方法，其特征在于，所述方法包括: 云备份客户端对待备份数据进行分类处理； 云备份客户端对所述经过分类的待备份数据使用预设的切块算法进行切块； 云备份客户端使用子数据库和主数据库存储所述经过切块的待备份数据的指纹信息，并将所述指纹信息发送到云备份服务器端，所述子数据库根据所述待备份数据的类型建立； 云备份服务器端根据所述指纹信息对云备份服务器端本地的数据库进行全局检索，如果所述数据库中有相同的数据块，则通知所述云备份客户端终止上传所述待备份数据，如果所述数据库中没有相同的数据块，将所述指纹信息写入云备份服务器端的数据库，并通知所述云备份客户端上传所述待备份数据。2.如权利要求1所述的方法，其特征在于，所述待备份数据块的类型包括以下类型中的一种或多种: 定长块文件FSCF ;和/或， 动长块文件DSCF ;和/或， 无需切分文件NNCF ;和/或， 结构快文件SCF。3.如权利要求2所述的方法，其特征在于，所述云备份客户端对所述经过分类的待备份数据使用预设的切块算法进行切块的步骤，包括: 使用定长切分算法FSP对FSCF进行切块；和/或， 使用基于内容的切块算法⑶C对DSCF和SCF进行切块；和/或， 使用基于文件的切块算法WFD对NNCF进行切块。4.如权利要求1所述的方法，其特征在于，所述云备份客户端使用子数据库和主数据库存储所述经过切块的待备份数据的指纹信息，包括: 根据数据块的类型进行所述子数据库检索； 如果在所述子数据库中没有检索到相同的数据块，则对所述主数据库进行检索；如果在所述主数据库中没有检索到相同的数据块，则在所述子数据库和所述主数据库分别存储所述待备份数据的指纹信息。5.如权利要求1?4任一项所述的方法，其特征在于，在所述云备份客户端对待备份数据进行分类处理的步骤之后，所述方法还包括以下步骤: 云备份客户端根据预设的大小阈值对所述经过分类处理的待备份数据进行过滤，并将小于所述大小阈值的待备份数据合并为大于所述大小阈值的待备份数据。6.一种云备份过程中数据去重的系统，其特征在于，所述系统包括: 云备份客户端，用于对待备份数据进行分类处理，对所述经过分类的待备份数据使用预设的切块算法进行切块，使用子数据库和主数据库存储所述经过切块的待备份数据的指纹信息，并将所述指纹信息发送到云备份服务器端，所述子数据库根据所述待备份数据的类型建立。 云备份服务器端，用于接收所述云备份客户端发送的指纹信息，根据所述指纹信息对云备份服务器端本地的数据库进行全局检索，如果所述数据库中有相同的数据块，则通知所述云备份客户端终止上传所述待备份数据，如果所述数据库中没有相同的数据块，将所述指纹信息写入云备份服务器端的数据库，并通知所述云备份客户端上传所述待备份数据。7.如权利要求6所述的系统，其特征在于，所述待备份数据块的类型包括以下类型中的一种或多种: 定长块文件FSCF ;和/或， 动长块文件DSCF ;和/或， 无需切分文件NNCF ;和/或， 结构快文件SCF。8.如权利要求7所述的系统，其特征在于，所述云备份客户端对所述经过分类的待备份数据使用预设的切块算法进行切块的步骤，包括: 使用定长切分算法FSP对FSCF进行切块；和/或， 使用基于内容的切块算法⑶C对DSCF和SCF进行切块；和/或， 使用基于文件的切块算法WFD对NNCF进行切块。9.如权利要求6所述的系统，其特征在于，所述云备份客户端使用子数据库和主数据库存储所述经过切块的待备份数据的指纹信息，包括: 根据数据块的类型进行所述子数据库检索； 如果在所述子数据库中没有检索到相同的数据块，则对所述主数据库进行检索； 如果在所述主数据库中没有检索到相同的数据块，则在所述子数据库和所述主数据库分别存储所述待备份数据的指纹信息。10.如权利要求6?9任一项所述的系统，其特征在于，所述云备份客户端还用于: 根据预设的大小阈值对所述经过分类处理的待备份数据进行过滤，并将小于所述大小阈值的待备份数据合并为大于所述大小阈值的待备份数据。
【专利摘要】本发明适用于数据处理领域，提供了一种云备份过程中数据去重的方法，所述方法包括：云备份客户端对待备份数据进行分类处理；云备份客户端对所述经过分类的待备份数据使用预设的切块算法进行切块；云备份客户端使用子数据库和主数据库存储所述经过切块的待备份数据的指纹信息，并将所述指纹信息发送到云备份服务器端；云备份服务器端根据所述指纹信息对云备份服务器端本地的数据库进行全局检索，并根据检索结果进行后续处理。实施本发明实施例可以提高数据去重的效率。
【IPC分类】G06F17/30, G06F11/14
【公开号】CN105302669
【申请号】CN201510697536
【发明人】蒋晓宁, 赵文文, 甘志刚
【申请人】浙江工商大学
【公开日】2016年2月3日
【申请日】2015年10月23日