防止重复加密数据的方法和系统与流程

本发明大体上涉及数据保护和重复数据删除领域；更具体地，涉及使用分布式账本来防止重复加密数据的方法和系统。

背景技术：

1、数据备份用于在主存储系统中发生数据丢失时保护和恢复数据。数据丢失事件的示例可以包括但不限于数据损坏、主存储系统中的硬件或软件故障、数据的意外删除、黑客攻击或恶意攻击。因此，出于安全考虑，一种独立备份系统或一种存储系统用于存储存在于主存储系统中的数据的备份。目前，传统的备份系统通常不是读取数据变更，就是直接从存储数据的存储系统中获取数据。一些传统的备份系统存储全部变更数据。于是，随着时间的推移，由于变更数据在传统的备份系统中占用很大的存储空间，备份系统的存储空间被占用。这会降低备份系统的性能，因此是不可取的。此外，数据存储成本以及包括存储硬件成本在内的所有相关成本仍然是一个难题。

2、目前存在许多技术可以用于数据缩减，例如，重复数据删除。但是，这种传统技术效率低下，通常包括通过消除重复数据来减少要存储的数据量。例如，重复数据删除技术以分块的形式存储数据，当接收到新数据时，新数据也被分成可变大小或固定大小的分块。然后，检查与新数据分块相关联的新数据(也就是检查相同数据是否已经写入存储系统中)。如果新数据已经写入，则只使用对数据的引用。以这种方式，重复数据删除技术解决了在存储系统中重复相同数据的问题。但是，如果新数据是使用加密存储的，则只有主存储系统和备份系统相互信任，才能进行重复数据删除。在与密码数据存储系统或网络相关联的系统(计算设备)互不信任的情况下，由于加密数据被看作新数据(或变更数据)，重复数据删除技术可能无法实现数据缩减，导致数据存储效率低下。

3、因此，根据上述论述，需要克服上述与传统密码数据存储系统相关的缺点。

技术实现思路

1、本发明旨在提供用于防止在存储(设置在网络中)中重复加密数据的多种方法、一种系统和多种设备(例如，所述系统中的第一主机和第二主机)。本发明旨在提供一种解决现有数据存储效率低下问题的技术方案，也就是，如何比传统方法和系统进一步减少备份系统中的数据。本发明的目标是提供一种解决现有技术中遇到的至少部分问题的技术方案，并且提供高效数据存储(即高效数据备份和恢复)的改进型方法和系统。

2、本发明的目的是通过所附独立权利要求中提供的技术方案实现的。本发明的有利实现方式在从属权利要求中进一步界定。

3、一方面，本发明提供了一种防止在存储中重复加密数据的方法。所述存储设置在网络中，所述网络中的两个或两个以上主机可以将数据存储在所述网络中，所述存储包括一个或多个加密数据块，所述网络还包括分布式账本，所述分布式账本可由所述两个或两个以上主机中的每个主机访问，并且为所述一个或多个加密数据块中的每个数据块保存标识所述数据块的第一哈希值和所述数据块的一个或多个所有权指示。所述方法将由所述两个或两个以上主机中的第一主机在所述第一主机将多个新数据块存储在所述存储中时执行。所述方法包括：获取所述多个新数据块中的每个块的第一哈希值；获取所述多个新数据块中的每个块的所有权证明；获取所述多个新数据块中的每个块的随机密钥；生成包括所述多个新数据块中的每个块的列表的备份集描述记录，并且为每个块指示所述块的所述第一哈希、所述所有权证明和所述随机密钥；将所述备份集描述记录存储在所述存储中；将所述备份集描述记录的指示存储在所述分布式账本中；确定所述多个新数据块中存在于所述存储中的零个或零个以上块，并且更新这些块的所有权指示；根据所述随机密钥生成每个剩余块的加密副本；将所述加密副本存储在所述存储中。

4、本发明提供了一种用于重复删除存储在两个或两个以上可能互不信任的主机(例如，在密码数据存储系统中)共用的存储中的数据的改进型方法。在本发明中，数据块以加密的形式存储在存储中，备份集描述记录用于标识每个数据块。因此，当第一主机要存储新数据块时，将新数据块的备份集描述记录与已经存储在存储中的数据块的备份集描述记录进行比较。对于具有相同或相似备份集描述记录的新数据块，不存储新数据块，并且将已经存储的数据块(与新数据块相似)的所有权更新给第一主机。对其它新数据块进行加密和存储。因此，如果新数据块已经存在于存储中，则在存储到两个或两个以上可能互不信任的主机共用的存储中之前，识别出新数据块。因此，本发明提供的方法执行高效重复数据删除。

5、在一种实现方式中，所述方法还包括：获取所述多个新数据块中的每个块的第二哈希值作为所述所有权证明。

6、第二哈希值以加密的形式存储，并且在确认新数据块和先前存储的数据块的第一哈希值相同时使用。因此，防止重复数据存储在互不信任的主机之间。

7、在另一种实现方式中，所述方法还包括：对所述多个新数据块中的每个块的所述所有权证明和所述随机密钥进行加密，并且在所述备份集描述记录中指示所述所有权证明和所述随机密钥的加密。

8、所有权证明和随机密钥的加密使分布式账本能够安全地维护主机的块所有权的记录。

9、在又一种实现方式中，所述方法还包括：通过以下方式确定所述多个新数据块中存在于所述存储中的零个或零个以上块，并且更新这些块的所有权指示：在所述存储中查询一个或多个第二备份集描述记录；检索所述一个或多个第二备份集描述记录；确定所述一个或多个第二备份集描述记录中的任一第二备份集描述记录中是否存在第一哈希与所述备份集描述记录中的第一哈希匹配；更新具有匹配哈希的每个块的所有权指示，以指示所述第一主机为所有者。

10、识别出零个或零个以上块，以防止在存储中存储重复块，因此，本发明提供的方法实现了高效存储。

11、在又一种实现方式中，所述在所述存储中查询一个或多个第二备份集描述记录还包括：所述存储执行相似性查找搜索。

12、搜索以找到相似备份集描述记录，能够防止在存储中存储重复块。

13、在又一种实现方式中，所述方法还包括：通过以下方式更新具有匹配哈希的每个块的所有权指示：从所述所有权指示中检索当前主机所有者的公钥；根据所述当前主机所有者的所述公钥生成所述所有权证明；将所有权请求存储在所述分布式账本中，其中，与所述所有权请求相关联的数据存储在所述存储中，所述所有权请求包括具有匹配哈希的所有块、所述第一哈希和具有匹配哈希的每个块的所述所有权证明。

14、通过更新每个块的所有权指示，将具有匹配哈希的每个块的所有权(即，数据本身的一组块或分块(chunk)写入存储(例如，云存储)中，并且在分布式账本中只放置所有权请求的指示符)从当前主机提供给第一主机。因此，重复数据删除是通过防止存储多个新数据块中存在于存储中的零个或零个以上块来实现的。

15、在又一种实现方式中，所述方法还包括：将所述备份集描述记录的所述指示和所述备份集描述记录的哈希一起存储在所述分布式账本中。

16、通过将备份集描述记录的指示存储在分布式账本中，上述方法高效识别出重复数据块。

17、另一方面，本发明提供了一种防止在存储中重复数据的方法。所述存储设置在网络中，所述网络中的两个或两个以上主机可以将数据存储在所述网络中，所述存储包括一个或多个加密数据块，所述网络还包括分布式账本，所述分布式账本可由所述两个或两个以上主机中的每个主机访问，并且为所述一个或多个加密数据块中的每个数据块保存标识所述数据块的哈希。所述方法将由所述两个或两个以上主机中的第二主机在第一主机开始将多个新数据块存储在所述存储中时执行。所述新块与所述第二主机存储在所述存储中的先前数据块相同。所述方法包括：从所述分布式账本接收所述第一主机存储在所述分布式账本中的所有权请求，其中，与所述所有权请求相关联的数据存储在所述存储中，并且包括所述新数据块与所述先前数据块相同的证明数据；评估所述证明数据；如果发现所述新块与所述先前块相同，将密钥传输记录从所述存储提供给所述第一主机，其中，所述密钥传输记录包括使用所述第一主机的公钥进行加密的数据块的密钥。

18、本发明提供了一种用于重复删除存储在两个或两个以上可能互不信任的主机共用的存储中的数据的改进型方法。在本发明中，当第一主机要存储新数据块时，将新数据块的备份集描述记录与已经存储在存储中的数据块的备份集描述记录进行比较。上述方法评估新数据块与先前存储的数据块相同或相似。如果备份集描述记录相同或至少相似，则不存储新数据块，并且将已经存储的数据块(与新数据块相似)的所有权提供给第一主机。因此，如果新数据块已经存在于存储中，则在存储到两个或两个以上可能互不信任的主机共用的存储中之前，识别出新数据块。此外，需要说明的是，任何证明请求和密钥传输通知都在分布式账本中指示，而实际数据，例如，证明数据和密钥传输数据(即密钥传输记录)存储在存储中。

19、在一种实现方式中，所述所有权请求包括第一哈希值和所述第一主机根据所述新块计算出的所有权证明值，所述第一哈希值未进行加密，所述所有权证明值使用所述第二主机的公钥进行加密。

20、根据所有权请求中的第一哈希值和所有权证明值，第二主机评估所有权请求并将所有权提供给第一主机。因此，重复数据删除是通过防止存储多个新数据块中存在于存储中的零个或零个以上块来实现的。

21、在另一种实现方式中，所述评估所述证明的步骤包括：将所述所有权证明值与所述第二主机计算出的所有权证明值进行比较，并且如果所述所有权证明值相同，确定所述新块与所述先前块相同。

22、通过将所有权证明值与第二主机计算出的所有权证明值进行比较，第二主机将块的所有权提供给第一主机。

23、在又一种实现方式中，所述分布式账本是区块链。

24、区块链能够保留存储在存储中的数据块的不可变记录。因此，防止重复数据块存储在互不信任的主机共用的存储中，从而改进了重复数据删除。

25、在又一种实现方式中，所述区块链是超级账本。

26、超级账本保留存储在存储中的数据块的不可变记录。因此，防止将重复数据块存储在存储中，从而减少了存储中的数据。

27、另一方面，本发明提供了一种包括计算机可读代码装置的计算机程序产品。所述计算机可读代码装置在计算机网络中的主机的处理器中运行时，使得所述主机执行上述方面提供的方法，其中，所述计算机网络包括保存加密数据的存储，所述存储可由所述主机和一个或多个其它主机访问。

28、本发明提供了一种在第一主机中执行的用于重复删除存储在两个或两个以上可能互不信任的主机共用的存储中的数据的改进型计算机程序产品。有利的是，如果新数据块已经存储在存储中，则在存储到两个或两个以上可能互不信任的主机共用的存储中之前，识别出新数据块。

29、另一方面，本发明提供了一种包括计算机可读代码装置的计算机程序产品。所述计算机可读代码装置在计算机网络中的主机的处理器中运行时，使得所述主机执行上述方面提供的方法，其中，所述计算机网络包括保存加密数据的存储，所述存储可由所述主机和一个或多个其它主机访问。

30、本发明提供了一种在第二主机中执行的用于重复删除存储在两个或两个以上可能互不信任的主机共用的存储中的数据的改进型计算机程序产品。有利的是，如果新数据块已经存储在存储中，则在存储到两个或两个以上可能互不信任的主机共用的存储中之前，识别出新数据块。

31、在一种实现方式中，一种非瞬时性存储装置中包括所述计算机可读代码装置。

32、通过包括计算机可读代码装置的非瞬时性存储装置，提供了一种改进型计算机程序产品。所述计算机程序产品能够重复删除存储在两个或两个以上可能互不信任的主机共用的存储中的数据。

33、另一方面，本发明提供了一种用于数据网络的第一主机。所述数据网络包括保存加密数据的存储，所述存储可由所述主机和一个或多个其它主机访问，所述第一主机包括程序存储器和用于执行在所述程序存储器中找到的程序的处理器，其中，所述程序存储器包括一种计算机程序产品。

34、本发明使第一主机能够通过识别出第一主机可以存储在存储中的重复删除数据，将数据存储在存储中，即使是两个或两个以上可能互不信任的主机(例如，第一主机、第二主机、第三主机等)访问同一存储。

35、另一方面，本发明提供了一种用于数据网络的第二主机。所述数据网络包括保存加密数据的存储，所述存储可由所述主机和一个或多个其它主机访问，所述主机包括程序存储器和用于执行在所述程序存储器中找到的程序的处理器，其中，所述程序存储器包括上述方面提供的计算机程序产品。

36、本发明使第二主机能够重复删除第一主机可以存储在存储中的数据，即使是两个或两个以上主机(例如，第一主机、第二主机、第三主机等)互不信任。

37、在一种实现方式中，一种计算机系统包括保存加密数据的存储和至少第一主机和第二主机。所述存储可由所述第一主机和所述第二主机访问，所述第一主机是上述方面提供的第一主机，所述第二主机是上述方面提供的第二主机。

38、本发明提供了一种用于重复删除存储在两个或两个以上可能互不信任的主机(例如，第一主机和第二主机)共用的存储中的数据的改进型计算机系统。

39、应当理解，可以组合所有上述实现方式。

40、需要说明的是，本技术中描述的所有设备、元件、电路、单元和装置可以在软件或硬件元件或其任何类型的组合中实现。本技术中描述的各种实体所执行的所有步骤以及所描述的各种实体要执行的功能均意在指相应实体用于执行相应步骤和功能。虽然在以下具体实施例的描述中，外部实体执行的具体功能或步骤没有在执行具体步骤或功能的实体的具体详述元件的描述中反映，但是技术人员应清楚，这些方法和功能可以通过相应的硬件或软件元件或其任何组合实现。可以理解的是，本发明的特征易于以各种组合进行组合，而不脱离由所附权利要求书所界定的本发明的范围。

41、本发明的其它方面、优点、特征和目的从附图和结合以下所附权利要求书解释的说明性实现方式的详细描述中变得显而易见。