使用基于块的收敛加密的高效去重的制作方法

背景技术：

1、计算装置可利用通信网络来交换数据。公司和组织运营将许多计算装置互连的计算机网络以支持操作或向第三方提供服务。计算系统可位于单个地理位置或位于多个不同的地理位置(例如，经由专用通信网络或公共通信网络进行互连)。具体地，数据中心或数据处理中心(本文通常称为“数据中心”)可包括许多互连的计算系统以向数据中心的用户提供计算资源。数据中心可以是代表组织运营的私有数据中心，或者可以是代表公众或为公众利益运营的公共数据中心。

2、为了促进提高对数据中心资源的利用率，虚拟化技术允许单个物理计算装置对对于数据中心的用户来说就像独立计算装置一样出现和操作的一个或多个虚拟机实例进行托管。利用虚拟化，单个物理计算装置可以动态方式创建、维护、删除或以其他方式管理虚拟机。继而，用户可从包括单个计算装置或联网计算装置的配置且配备有不同数目的虚拟机资源的数据中心请求计算机资源。

3、虚拟机典型地至少部分地基于用于运行虚拟机的数据来定义，这些数据通常被打包到磁盘映像中。一般而言，磁盘映像是包含磁盘卷或数据存储装置的内容和结构的数据集，诸如文件。例如，磁盘映像可包含操作系统、库、实用程序、应用程序、配置等。通过生成虚拟机并为其提供与磁盘映像内容匹配的磁盘，用户可配置虚拟机以实现所需的功能。磁盘映像还用于其他虚拟化技术，诸如操作系统级虚拟化，这是其中操作系统的内核启用多个隔离用户空间实例(通常称为“容器”)而不需要内核的虚拟化的技术。

技术实现思路

技术特征：

1.一种方法，所述方法包括：

2.如权利要求1所述的方法，所述方法还包括使用附加密钥对所述清单的含有所述块级密文对象集中的每个块级密文对象的所述加密密钥的一部分进行加密。

3.如权利要求1所述的方法，所述方法还包括生成所述块级密文对象集中的每个块级密文对象的标识符，其中每个块级密文对象的所述标识符是所述块级密文对象的消息认证码(mac)或所述块级密文对象的散列值中的至少一者。

4.如权利要求3所述的方法，其中基于所述块级密文对象和用于对所述块级密文对象进行加密的所述加密密钥来生成所述块级密文对象的所述mac。

5.如权利要求3所述的方法，其中所述mac是基于散列的mac(hmac)、伽罗瓦/计数器模式mac(gmac)或poly1305 mac。

6.如权利要求3所述的方法，所述方法还包括通过将所述块级密文对象集中的每个块级密文对象的所述mac与已经存储在所述存储系统内的块级密文对象的mac进行比较来确定所述块级密文对象集中不重复的那些块级密文对象。

7.如权利要求1所述的方法，其中对所述固定长度明文对象进行收敛加密包括使用高级加密标准(aes)加密或chacha加密中的至少一者对所述固定长度明文对象进行加密。

8.如权利要求1所述的方法，其中对所述固定长度明文对象进行收敛加密包括使用加密算法的计数器模式或伽罗瓦/计数器模式(gmc)中的至少一者对所述固定长度明文对象进行加密。

9.如权利要求1所述的方法，其中对所述固定长度明文对象进行收敛加密包括：

10.如权利要求9所述的方法，其中根据以下至少一者来选择所述盐值：请求存储所述数据集的用户、存储所述数据集的所述请求的时间、所述存储系统上的请求在其上存储所述数据集的位置或所述存储系统上的所述数据集的当前存储状态。

11.一种系统，所述系统包括：

12.如权利要求11所述的系统，其中所述存储系统不允许在单个操作内查询所述存储系统是否已经存储多个块级密文对象，并且其中所述计算机可执行指令还致使所述计算系统通过针对所述块级密文对象集中的每个块级密文对象提交查询所述块级密文对象是否存储在所述存储系统上的操作来识别所述组中不重复的那些块级密文对象。

13.如权利要求11所述的系统，其中查询所述块级密文对象是否存储在所述存储系统上的所述操作通过所述块级密文对象的mac或所述块级密文对象的散列值中的至少一者来识别所述块级密文对象。

14.如权利要求11所述的系统，其中为了对所述固定长度明文对象进行收敛加密，所述计算机可执行指令的执行致使所述系统：

15.如权利要求16所述的一种或多种非暂时性计算机可读介质，其中所述计算机可执行指令的执行还致使所述系统：

技术总结
描述了用于提供数据集的安全存储而同时实现数据的高效去重的系统和方法。每个数据集可划分为固定长度块。可对每个块的明文进行收敛加密，诸如通过使用所述明文的散列作为加密密钥，以产生可被存储的块级密文。如果两个数据集共享块，则可预期所得的块级密文重叠，并且因此不需要存储重复的块级密文。可创建清单以促进所述数据集的重新创建，所述清单标识所述数据集的所述块级密文和用于对每个块级密文进行加密的密钥。通过使用块级加密，几乎相同的数据集可在很大程度上去重，即使它们并不完全相同。

技术研发人员：马克·布鲁克,德里克·史蒂文·曼纳林,奥斯曼·瑟卡蒂,米哈伊尔·丹尼洛夫,彼得·马丁·麦克唐奈,斯特凡·施奈德
受保护的技术使用者：亚马逊技术有限公司
技术研发日：
技术公布日：2024/1/14