一种云存储系统文件去重方法及系统与流程

本发明涉及云存储技术领域，特别是涉及一种云存储系统文件去重方法及系统。

背景技术：

随着互联网技术的不断发展以及云计算的崛起，网络数据越来越丰富，云服务越来越得到普及。在云服务应用中，普通用户可以通过申请网盘账户将自己的文件上传到云端服务器，而企业更是可以借助云服务提供商搭建自己的私有云服务平台。云服务的一项重要功能便是提供云存储，可将文件存放云端，云存储可以实现数据自动同步，进行历史版本管理，文件永不丢失等。

然而，随着使用用户的不断增加，上传的文件也不断增多，但实际上这些上传文件中存在大量的冗余文件，也就是不同用户可能会上传相同的文件，这会给云服务器存储带来很大压力。

技术实现要素：

本发明的目的是提供一种云存储系统文件去重方法及系统，可避免云存储系统中存在重复文件，实现了对云存储系统文件的去重。

为实现上述目的，本发明提供如下技术方案：

一种云存储系统文件去重方法，包括：

读取所要上传的文件，计算所述文件的信息摘要值；

将所述文件的信息摘要值与云存储系统中已存在文件的信息摘要值比较，若云存储系统中存在信息摘要值与所述文件的信息摘要值相同的文件，则停止对所述文件的上传。

可选地，若所要上传的所述文件在上传中，当云存储系统中存在信息摘要值与所述文件的信息摘要值相同的文件时，停止对所述文件的上传，并在云存储系统中删除已上传的文件部分。

可选地，还包括：记录云存储系统中信息摘要值与所述文件的信息摘要值相同的文件的信息和存储位置。

可选地，若云存储系统中不存在信息摘要值与所述文件的信息摘要值相同的文件，则完成对所述文件的上传，并在完成后将所述文件的信息、信息摘要值和存储位置记录到文件信息表中。

可选地，还包括：在云存储系统中删除文件时，在文件信息表中查询与待删除文件的信息摘要值相同的文件记录，若查询到的记录条数大于等于2，则不删除所述待删除文件对应的物理文件；若查询到的记录条数为1，则删除所述待删除文件对应的物理文件。

一种云存储系统文件去重系统，包括：

计算模块，用于读取所要上传的文件，计算所述文件的信息摘要值；

上传控制模块，用于将所述文件的信息摘要值与云存储系统中已存在文件的信息摘要值比较，若云存储系统中存在信息摘要值与所述文件的信息摘要值相同的文件，则停止对所述文件的上传。

可选地，所述上传控制模块具体用于若所要上传的所述文件在上传中，当云存储系统中存在信息摘要值与所述文件的信息摘要值相同的文件时，停止对所述文件的上传，并在云存储系统中删除已上传的文件部分。

可选地，还包括信息记录模块，用于记录云存储系统中信息摘要值与所述文件的信息摘要值相同的文件的信息和存储位置。

可选地，所述上传控制模块还用于若云存储系统中不存在信息摘要值与所述文件的信息摘要值相同的文件，则完成对所述文件的上传，并在完成后将所述文件的信息、信息摘要值和存储位置记录到文件信息表中。

可选地，还包括文件删除模块，用于在云存储系统中删除文件时，在文件信息表中查询与待删除文件的信息摘要值相同的文件记录，若查询到的记录条数大于等于2，则不删除所述待删除文件对应的物理文件；若查询到的记录条数为1，则删除所述待删除文件对应的物理文件。

由上述技术方案可知，本发明所提供的云存储系统文件去重方法及系统，在文件上传云存储系统的过程中，对所要上传的文件，计算文件的信息摘要值，将所述文件的信息摘要值与云存储系统中已存在文件的信息摘要值比较，若云存储系统中存在信息摘要值与该文件的信息摘要值相同的文件，则停止对该文件的上传。

本发明云存储系统文件去重方法及系统，利用文件的信息摘要值，文件的信息摘要值具有唯一性，若云存储系统中存在与所要上传文件的信息摘要值相同的文件，表明云存储系统中已存在该文件数据，则不再上传该文件，从而避免云存储系统中存在重复文件，实现了对云存储系统文件的去重。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种云存储系统文件去重方法的流程图；

图2为本发明实施例提供的一种云存储系统文件去重系统的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

请参考图1，本发明实施例提供的一种云存储系统文件去重方法，包括步骤：

S10：读取所要上传的文件，计算所述文件的信息摘要值。

在客户端向云存储系统上传文件时，对所要上传的文件计算文件的信息摘要值。

文件的信息摘要值是通过特定算法对文件数据运算得到的值，用于提供数据的完整性保护，具有唯一性。算法具体可为消息摘要算法，又称为摘要算法或哈希算法，是计算机安全领域广泛使用的一种散列函数，将数据运算为另一固定长度值，即得到信息摘要值。信息摘要值具有唯一性，对原数据进行任何改动，得到的信息摘要值都有很大区别。

S11：将所述文件的信息摘要值与云存储系统中已存在文件的信息摘要值比较，若云存储系统中存在信息摘要值与所述文件的信息摘要值相同的文件，则停止对所述文件的上传。

将所述文件的信息摘要值与云存储系统中已存在文件的信息摘要值比较，若云存储系统中存在信息摘要值与该文件的信息摘要值相同的文件，表明云存储系统中已存在该文件数据，则停止上传该文件。

可以看出，本实施例云存储系统文件去重方法，在文件上传云存储系统的过程中，对所要上传的文件，计算文件的信息摘要值，将所述文件的信息摘要值与云存储系统中已存在文件的信息摘要值比较，若云存储系统中存在信息摘要值与该文件的信息摘要值相同的文件，则停止对该文件的上传。

本实施例云存储系统文件去重方法，利用文件的信息摘要值，文件的信息摘要值具有唯一性，若云存储系统中存在与所要上传文件的信息摘要值相同的文件，表明云存储系统中已存在该文件数据，则不再上传该文件，从而避免云存储系统中存在重复文件，实现了对云存储系统文件的去重。

下面对本实施例云存储系统文件去重方法作进一步说明。本实施例云存储系统文件去重方法包括步骤：

S10：读取所要上传的文件，计算所述文件的信息摘要值。

在客户端向云存储系统上传文件时，对所要上传的文件计算文件的信息摘要值。

文件的信息摘要值是通过特定算法对文件数据运算得到的值，用于提供数据的完整性保护，具有唯一性。

S11：将所述文件的信息摘要值与云存储系统中已存在文件的信息摘要值比较，若云存储系统中存在信息摘要值与所述文件的信息摘要值相同的文件，则停止对所述文件的上传。

在此过程中，存在两种情况：

第一种情况：若在云存储系统中存在信息摘要值与所述文件的信息摘要值相同的文件，所述所要上传的文件还未上传，则停止对所述文件的上传，该文件不再向云存储系统上传，可以使用云存储系统中已存在的相同文件。

第二种情况：若在云存储系统中存在信息摘要值与所述文件的信息摘要值相同的文件，而所述所要上传的文件在上传中，则停止对所述文件的上传，并在云存储系统中删除已上传的文件部分，这样避免云存储系统产生大量的垃圾文件。在停止对文件的上传后，可直接显示上传完成。

在第二种情况下，还包括：将云存储系统中信息摘要值与所述文件的信息摘要值相同的文件的信息和存储位置记录到文件信息表中，以便用户查看。

因此本实施例方法利用文件的信息摘要值，若云存储系统中存在与所要上传文件的信息摘要值相同的文件，表明云存储系统中已存在该文件数据，则不再上传所述文件，可直接使用现有文件，从而避免云存储系统中存在重复文件，实现了对云存储系统文件的去重，达到了节省存储空间的目的。

本实施例方法中，若云存储系统中不存在信息摘要值与所述文件的信息摘要值相同的文件，则完成对所述文件的上传，并在完成后将所述文件的信息、信息摘要值和存储位置记录到文件信息表中。

若云存储系统中不存在信息摘要值与所述文件的信息摘要值相同的文件，表明云存储系统中不存在该文件数据，则完成对所述文件的上传，并将所述文件的信息、信息摘要值以及存储位置记录到文件信息表中，进行记录。

进一步的，本实施例云存储系统文件去重方法还包括：在云存储系统中删除文件时，在文件信息表中查询与待删除文件的信息摘要值相同的文件记录，若查询到的记录条数大于等于2，则不删除所述待删除文件对应的物理文件；若查询到的记录条数为1，则删除所述待删除文件对应的物理文件。

在云存储系统中，存在多个用户文件对应一个物理文件，因此用户在云存储系统中删除文件时，在系统的文件信息表中查询与待删除文件的信息摘要值相同的文件记录，若查询到的记录条数大于等于2，表明除所述待删除文件对应这一物理文件外，还有其它用户文件对应这一物理文件，则不删除这一物理文件；若查询到的记录条数为1，表明只有所述待删除文件对应这一物理文件，则在文件信息表中删除该文件记录，同时删除其对应的物理文件。

通过这种文件删除方式，对于多个用户文件共享的文件数据，可以避免在删除文件时将物理文件删除而影响其它用户的共享使用，这样可以保证云存储系统中文件数据的可用性。

相应的，请参考图2，本发明实施例还提供一种云存储系统文件去重系统，包括：

计算模块20，用于读取所要上传的文件，计算所述文件的信息摘要值；

上传控制模块21，用于将所述文件的信息摘要值与云存储系统中已存在文件的信息摘要值比较，若云存储系统中存在信息摘要值与所述文件的信息摘要值相同的文件，则停止对所述文件的上传。

可以看出，本实施例云存储系统文件去重系统包括计算模块和上传控制模块，在文件上传云存储系统的过程中，对所要上传的文件，计算文件的信息摘要值，将所述文件的信息摘要值与云存储系统中已存在文件的信息摘要值比较，若云存储系统中存在信息摘要值与该文件的信息摘要值相同的文件，则停止对该文件的上传。

本实施例云存储系统文件去重系统，利用文件的信息摘要值，文件的信息摘要值具有唯一性，若云存储系统中存在与所要上传文件的信息摘要值相同的文件，表明云存储系统中已存在该文件数据，则不再上传该文件，从而避免云存储系统中存在重复文件，实现了对云存储系统文件的去重。

在客户端向云存储系统上传文件过程中对所要上传的文件进行去重判断后，存在两种情况：第一种情况，所述所要上传的文件还未上传；第二种情况：所述所要上传的文件在上传中。

针对这两种情况，所述上传控制模块21具体用于若在云存储系统中存在信息摘要值与所述文件的信息摘要值相同的文件，所述所要上传的文件还未上传，则停止对所述文件的上传，该文件不再向云存储系统上传，

所述上传控制模块21还具体用于若所要上传的所述文件在上传中，当云存储系统中存在信息摘要值与所述文件的信息摘要值相同的文件时，停止对所述文件的上传，并在云存储系统中删除已上传的文件部分。这样避免云存储系统产生大量的垃圾文件。在停止对文件的上传后，可直接显示上传完成。

所述系统还包括信息记录模块，用于记录云存储系统中信息摘要值与所述文件的信息摘要值相同的文件的信息和存储位置。

本实施例系统中，所述上传控制模块21还用于：若云存储系统中不存在信息摘要值与所述文件的信息摘要值相同的文件，则完成对所述文件的上传，并在完成后将所述文件的信息、信息摘要值和存储位置记录到文件信息表中。

若云存储系统中不存在信息摘要值与所述文件的信息摘要值相同的文件，表明云存储系统中不存在该文件数据，则完成对所述文件的上传，并将所述文件的信息、信息摘要值以及存储位置记录到文件信息表中，进行记录。

进一步的，本实施例云存储系统文件去重系统还包括：文件删除模块，用于在云存储系统中删除文件时，在文件信息表中查询与待删除文件的信息摘要值相同的文件记录，若查询到的记录条数大于等于2，则不删除所述待删除文件对应的物理文件；若查询到的记录条数为1，则删除所述待删除文件对应的物理文件。

在云存储系统中，存在多个用户文件对应一个物理文件，因此用户在云存储系统中删除文件时，文件删除模块在系统的文件信息表中查询与待删除文件的信息摘要值相同的文件记录，若查询到的记录条数大于等于2，表明除所述待删除文件对应这一物理文件外，还有其它用户文件对应这一物理文件，则不删除这一物理文件；若查询到的记录条数为1，表明只有所述待删除文件对应这一物理文件，则在文件信息表中删除该文件记录，同时删除其对应的物理文件。

以上对本发明所提供的一种云存储系统文件去重方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。