在分布式对象存储生态系统中的去耦合的内容以及元数据的制作方法
【专利说明】
【背景技术】
[0001]本发明总体上涉及存储系统，并且尤其涉及在分布式对象存储生态系统中用于存储的内容以及元数据的去耦合。
[0002]随着无结构的非易变的数字内容的增长，越来越难以管理以及定位有关的数字内容。为了寻找有关的内容，关于数字内容的数据(即元数据)正变得比数字内容本身更加重要。对于传统的分布式环境中的对象存储系统(分布式对象存储生态系统)，数字内容以及元数据被一起存储在多个位置，以实现灾难恢复以及本地的引用(locality ofreference) ο这是通过利用复制技术(replicat1n technology)来实现的，以确保复制件(拷贝)被分布至远程站点(remote sites)。传统系统的另一个缺点是它们对数据以及元数据应用相同的存储规则。例如，如果对象被存储于低延迟存储系统上的N个复制件中，则所有的N个复制件均包含数据以及元数据，即使在某些位置/应用中可能根本不需要数据部分。
[0003]因为企业正变得越来越地理性地分散有许多单独的办公室甚至数据中心，为所有的数字内容提供本地的引用所需的复制技术变得更加复杂，并且数字内容的存储需要被增加了所需的本地引用的次数倍。当主要目标是仅仅为元数据具有本地的引用时，这意味着对于元数据的数字内容被不必要地存储在多个位置。数据复制也是非常消耗时间的过程，并且数据以及元数据的复制造成了大量的时间延迟、复制积压(backlog)以及不必要的带宽消耗。
【发明内容】
[0004]本发明的示例性实施例提供了一种智能对象，其利用用户可定义的规则及其智能来识别在分布式对象存储系统中的哪个对象应当维持非易变的数字内容以及元数据的复制件，以及哪个对象应当仅仅包含元数据，同时仍然维持在整个环境的对数字内容的可访问性、数据保护以及灾难恢复能力。在数字内容被仅仅托管元数据的任意对象存储系统所需的情况下，它可以从其他的对象存储系统取回，就好像本地复制件总是可用一样。通过该方案，远程位置可以托管较小的容量对象存储系统，该对象存储系统将仅仅存储元数据，但提供对在托管在中央数据中心的较大对象存储系统中存储的数字内容以及元数据的集合的完整的访问。该方案用相同的数据访问提供更好的容量利用。内容获取(ingest)可以经由远程位置或者中央数据中心来完成，但当中央数据中心已经存储数字内容时，远程位置将仍然仅仅维持内容的仅元数据视图(view)。值得注意的是，本发明并不限制仅元数据的配置在哪里是被允许的。它可以在为之获取内容的系统或者在可能具有向其复制的内容的一些其它系统。本发明确保了在生态系统中的某处有至少一个复制件。
[0005]用于从对象存储系统中的元数据分离数字内容的管理生命周期的方法也可以被用在非复制环境中。元数据将保持在由对象存储系统管理的存储中的活性地驻留，但是基于存储分层策略，数字内容或者内容的额外的复制件也可能被存储在另一个联网的存储设备上。存储在对象存储系统中的或者是在不同的联网的存储系统上的数字内容将仍然由包含对象的元数据的任意对象存储系统通过将对象从其自身(如果驻留的话)或者从其它联网的存储设备取回来进行管理以及可访问。
[0006]该机制创建智能内容分层，其有助于对象存储系统的数据保护层级、高效更新以及对象的定制元数据和系统的索引，同时还提供压缩和加密移动至网络存储设备的数据的选项。
[0007]根据本发明的一个方面，一种存储系统包括:控制器；存储器；一个或者多个对象，每个对象具有内容数据以及包括系统元数据的元数据；以及策略，其管控一个或者多个对象的内容数据以及元数据从存储系统到外部存储的写入。所述策略包括可配置的准则和规则，所述可配置的准则用于去耦合给定对象的内容数据以及元数据，并且所述规则用于如果对象的内容数据和元数据是去耦合的，则以去耦合的方式在存储系统以及外部存储之间为内容数据和元数据确定存储位置。所述可配置的准则基于对象的元数据的属性。控制器能够操作为对存储系统的一个或者多个对象执行策略，包括基于所述可配置的准则将每个对象的元数据评估为将以去耦合的方式写入的候选对象；并且当对于去耦合对象，内容数据和元数据为去耦合时，应用所述规则以便为去耦合对象的内容数据和元数据确定存储位置。
[0008]在有些实施例中，所述可配置的准则是基于对象的系统元数据的属性。执行策略包括基于所述可配置的准则将每个对象的系统元数据评估为将以去耦合的方式写入的候选对象。所述控制器能够操作为周期性地运行可调度的服务，以将来自存储系统的对象识别为将以去耦合的方式写入的候选对象，并且对识别的对象执行策略。
[0009]在具体实施例中，所述控制器能够操作为:当策略的规则确定用于内容数据的存储位置是外部存储时，验证对象被写入外部存储，验证内容数据被存储于外部存储，并且当验证了二者时，从存储系统中移除所述内容数据并且在存储系统中记录所述外部存储是被写入的对象的内容数据的位置；并且当策略的规则确定用于内容数据的存储位置是存储系统时，验证对象将作为仅元数据被写入外部存储，验证对象的内容数据被存储于存储系统，并且当验证了二者时，将对象的元数据写入外部存储，并且将指针发送至外部存储，所述指针指向对象的内容数据在存储系统中的位置。
[0010]在一些实施例中，当策略的规则确定用于内容数据的存储位置是外部存储时，所述控制器能够操作为:在由策略的规则所指定的第一预设量的时间之后，从存储系统移除所述内容数据，所述第一预设量的时间等于或大于零；并且在从外部存储取回所述内容数据之后，在存储系统中将取回的内容数据保留长达由策略的规则所指定的第二预设量的时间，所述第二预设量的时间等于或者大于零。
[0011]在具体实施例中，所述外部存储位于另一个存储系统，并且所述存储系统和所述另一个存储系统是联网在一起的多个存储系统的一部分，以便在复制的环境中在存储系统之间复制对象。
[0012]本发明的另一个方面提供了一种用于在存储系统之间管理对象的写入的装置，其中每个对象具有内容数据以及包括系统元数据的元数据。所述装置包括控制器和存储器。所述控制器能够操作为:对源存储系统的一个或多个对象执行策略，所述策略管控一个或者多个对象的内容数据以及元数据从源存储系统至目标存储系统的写入，所述策略包括可配置的准则和规则，所述可配置的准则用于去耦合给定对象的内容数据以及元数据，并且所述规则用于如果对象的内容数据和元数据是去耦合的，则以去耦合的方式在源存储系统和目标存储系统之间为内容数据和元数据确定存储位置，其中所述可配置的准则基于对象的元数据的属性；其中，对一个或多个对象执行策略包括基于所述可配置的准则将每个对象的元数据评估为将以去耦合的方式写入的候选对象；并且当对于去耦合对象，内容数据和元数据为去耦合的时，应用所述规则以为去耦合对象的内容数据和元数据确定存储位置。
[0013]本发明的另一个方面提供了一种管理对象的写入的方法，其中每个对象具有内容数据以及包括系统元数据的元数据。所述方法包括:对存储系统的一个或多个对象执行策略，所述策略管控一个或者多个对象的内容数据以及元数据从存储系统到外部存储的写入，所述策略包括可配置的准则和规则，所述可配置的准则用于去耦合给定对象的内容数据以及元数据，并且所述规则用于如果对象的内容数据和元数据是去耦合的，则以去耦合的方式在存储系统以及外部存储之间为内容数据和元数据确定存储位置，其中所述可配置的准则基于对象的元数据的属性；其中，对一个或者多个对象执行策略包括基于所述可配置的准则将每个对象的元数据评估为将以去耦合的方式写入的候选对象；并且当对于去耦合对象，内容数据和元数据为去耦合的时，应用所述规则以为去耦合对象的内容数据和元数据确定存储位置。
[0014]考虑到下面的具体实施例的【具体实施方式】，本发明的这些以及其他特征和优点对本领域技术人员将变得明显。
【附图说明】
[0015]图1是在其中可以应用本发明的方法以及装置的固定内容存储归档的简化的框图。
[0016]图2是独立节点的冗余阵列的简化表示，其中每个独立节点都是对称的并且支持归档集群应用。
[0017]图3是在给定的节点上执行的归档集群应用的各种组件的高层级表示。
[0018]图4说明了在集群的给定的节点上的元数据管理系统的组件的示例。
[0019]图5示出了说明用于使用情况(Use Case) I的分层服务处理的流程图的示例，其中，使用情况I具有为复制拓扑中的源系统上的对象定义的仅元数据特征(metadata onlyfeature)。
[0020]图6示出了说明用于外部分层以仅本地的存储元数据以及在外部卷上存储固定的数字内容的分层服务处理的流程图的示例。
[0021]图7示出了用于实施分层服务的装置的示例。
【具体实施方式】
[0022]在本发明接下来的详细的说明中，请参照附图，其中，附图形成本公开文本的一部分，并且在附图中所示的是说明性的而非限制性的，示例性实施例通过附图可以实施本发明。在附图中，在若干视图中，相似的附图标记描绘基本相似的组件。此外，值得注意的是，尽管【具体实施方式】部分提供了各种示例性实施例，正如下面所述的以及在图中所说明的，本发明并不限于本文所述以及所说明的实施例，而是可以扩展至本领域技术人员应当知道的或者将会知道的其它实施例。在说明书中引用的“一个实施例”、“该实施例”或者“这些实施例”意味着与实施例连接的所描述的具体的特征、结构或者特性包括在至少一个本发明的实施例中，并且这些术语在说明书中各种地方的出现并不必然都指相同的实施例。此外，在接下来的【具体实施方式】中，阐述了许多具体细节以提供本发明的透彻的了解。然而，对于本领域技术人员而言很明显地，这些具体的细节可能并不全都是实践本发明所必须的。在其它的情况下，已知的结构、材料、电路、处理以及接口没有进行详细地描述，和/或可能以框图形式进行了说明，从而并非不必要地使得本发明不清楚。
[0023]此外，接下来的一部分【具体实施方式】被呈现为在计算机内运行的符号表示和算法的形式。这些算法的描述以及符号表示是数据处理领域技术人员用于向本领域其他技术人员最有效地传达他们的创新的本质的手段。