一种用于包括第一集群和第二集群的系统的方法以及系统的制作方法
【专利说明】一种用于包括第一集群和第二集群的系统的方法以及系统
[0001]本申请是2012年5月2日提出的、申请号为201080049474.5、名称为“使用复制在具有名称空间的分区的内容平台上的固定内容存储”的发明申请的分案申请。
技术领域
[0002]本发明总地涉及用于在分布式计算网络中的高可用性、高可靠性以及高持久性的数据存储技术。
【背景技术】
[0003]已经有了以高可用性、高可靠性和高持久性对于“固定内容”进行归档(archival)存储从而代替或补充传统磁带和光存储解决方案的需求。术语“固定内容”典型地指期望用于不被改变地保存以用于参考或其它目的的任何类型的数字信息。这样的固定内容的例子包括电子邮件、文档、诊断图像、检查图像、语音记录、电影和视频等。传统的独立节点冗余阵列(RAIN)存储方法已经突显作为选择架构以用于创建用于这样的固定内容信息资产的存储的大型在线归档。通过允许节点按照需要加入或退出集群，RAIN架构将存储集群与一个或多个节点的故障隔离。通过在多个节点上复制数据，RAIN类型的归档能够自动地补偿节点故障或移除。典型地，RAIN系统通常用于作为封闭系统中的相同部件设计的硬件设备。
【发明内容】
[0004]一种内容平台(或“集群”)，包括被逻辑分区的独立节点冗余阵列。使用基于网络的接口，管理员定义集群中的一个或多个“占有者(tenant) ”，其中占有者具有一组属性:名称空间、管理帐户、数据访问帐户以及准许掩盖。名称空间是集群的逻辑分区，用作与至少一个定义的应用典型地关联的对象集合。每个名称空间具有相对于其它名称空间的私有文件系统。该方法使得用户能够将集群数据分离至逻辑分区。根据该揭示，包括所有相关联的名称空间的集群(“源集群”)中的占有者信息被通过复制链接复制到至少一个目标集群。优选地，对于源集群中的多个占有者，可以使用复制，并且复制算法使得特定占有者能够被加入到复制链接而不延迟对于其它占有者的复制数据的进展。
[0005]上述简要概述了本发明的多个内在特征中的一些特征。这些特征应当被理解为仅是示意性的。下面将描述通过以不同的方式应用揭示的发明或通过修改本发明而达到的许多其它有益结果。
【附图说明】
[0006]图1是可以实施本发明的固定内容存储归档的简化框图；
[0007]图2是根据本发明的独立节点冗余阵列的简化示意图，其中每个独立节点是对称的并且支持归档集群应用；
[0008]图3是指给定节点上执行的归档集群应用的各种组件的高层示意图；
[0009]图4说明了根据这里描述的技术如何对集群进行分区；
[0010]图5说明了占有者管理员操作台的概览页面；
[0011]图6说明了占有者管理员操作台的名称空间页面；
[0012]图7说明了占有者管理员操作台的创建名称空间容器页面；
[0013]图8说明了对于给定名称空间的名称空间概览容器页面；
[0014]图9说明了管理员能够配置给定策略的对于给定名称空间的策略容器页面；
[0015]图10说明了管理员如何使能对于名称空间的版本化；
[0016]图11说明了管理员如何使能对于名称空间的部署服务；
[0017]图12说明了管理员如何使能对于名称空间的特权删除选项；
[0018]图13说明了管理员如何使能对于名称空间的保留类；
[0019]图14说明了对于占有者的复制标签；
[0020]图15说明了复制标签中的一个名称空间，示出了用于这个名称空间的复制的图形和统计；
[0021]图16说明了内容如何被复制到一个或多个远程归档站点以进行基于归档的商业连续性和/或灾难恢复；
[0022]图17示出了管理员如何能够创建集群之间的链接以方便对象级别复制；以及
[0023]图18说明了根据本揭示的主题如何复制占有者数据。
【具体实施方式】
[0024]已知提供了一种可扩展的基于磁盘的归档存储管理系统，优选地为基于独立节点的冗余阵列的系统架构。节点可以包括不同的硬件并且因而可以被认为是“异构的”。节点典型地可以访问一个或多个存储磁盘，这些存储磁盘可以是如存储区域网络(SAN)中的实际物理存储磁盘或虚拟存储磁盘。在每个节点上支持的归档集群应用(并且可选地应用在其上执行的下层操作系统)可以相同或基本相同。在一个说明性实施例中，在每个节点上的软件栈(可以包括操作系统)是对称的，而硬件可以是异构的。使用该系统，如图1所示，企业能够对于许多不同类型的固定内容信息(例如文档、电子邮件、卫星图像、诊断图像、检查图像、语音记录、视频等)创建永久存储。当然，这些类型仅是示例。通过将数据复制到独立的服务器(或所谓的存储节点)上而实现高等级的可靠性。优选地，每个节点与其对端节点(peer)是对称的。因而，由于优选地任何给定节点能够执行所有功能，任何一个节点的故障对于归档的可用性几乎没有影响。
[0025]如美国专利7，155，466中所述，在每个节点上执行的分布式软件应用捕获、持有、管理并且检索数字资产。在图2示出的实施例中，各个归档的物理界限被参考作为集群。典型地，集群不是单个设备，而是设备的集合。设备可以是同构的或异构的。典型的设备是运行例如Linux的操作系统的计算机或机器。位于商品硬件上的基于Linux的系统的集群提供能够从几个存储节点服务器扩展到存储几千T字节数据的许多节点的归档。该架构确保存储容量总是能够跟上公司的增加的归档需求。优选地，在集群中复制数据，从而归档总是远离设备故障。如果磁盘或节点发生故障，则集群自动地切换到集群中保存有相同数据的副本的其它节点。
[0026]示意性集群优选地包括下述通常类别的组件:节点202，一对网络开关204，电源分配单元(PDU) 206和不间断电源(UPS) 208。节点202典型地包括一个或多个商品服务器并包含CPU (例如Intel x86，适当的随机访问存储器(RAM)，一个或多个硬驱(例如标准IDE/SATA，SCSI等)，以及两个或更多个网络接口(NIC)卡。典型的节点是2U机架安装单元，具有2.4GHz芯片、512MB RAM以及6个200GB硬驱。然而，这并不是限制。网络开关204典型地包括使得能够进行节点之间端到端通信的内部开关205，以及允许至每个节点的超大集群访问的外部开关207。每个开关要求足够的端口来处理集群中所有潜在的节点。以太网或GigE开关可以用于此目的。PDU 206用于对所有节点和开关供电，并且UPS 208用于保护所有节点和开关。尽管不是用于限制，集群典型地可以连接至网络，例如公共互联网、企业内联网或其他广域或局域网。在示意性实施例中，在企业环境中实施集群。例如，可以通过在站点公司的域名系统(DNS)名称服务器进行导航而实现。因而，例如，集群的域可以是现有域的新的子域。在代表性实施中，在公司DNS服务器中，子域被指派到集群本身中的名称服务器。终端用户使用任何传统接口或访问工具访问集群。因而，例如，可以在任何协议(REST，HTTP，FTP，NFS，AFS，SMB,网络服务等)经由API或通过任何其它已知的或后开发的访问方法、服务、程序或工具执行对内容平台的访问。
[0027]客户端应用通过一个或多个类型的外部网关(例如标准UNIX文件协议或HTTPAPI)访问集群。归档优选地通过虚拟文件系统外露，该虚拟文件系统能够可选地位于任何面向标准UNIX文件协议的设施之下。这些包括:NFS，FTP，SMB/CIFS等。
[0028]在一个实施例中，归档集群应用在联网在一起(例如经由以太网)作为集群的独立节点冗余阵列(H-RAIN)上运行。给定节点的硬件可以是异构的。然而，为了可靠性，优选地每个节点运行分布式应用的实例300(可以是相同实例或基本相同实例)，该实例300由如图3所示的几个运行时组件组成。因而，尽管硬件可以是异构的，节点上的软件栈(至少由于与本发明相关)是相同的。这些软件组件包括网关协议层302、访问层304、文件事务和管理层306和核心组件层308。“层”的指派是用于说明的目的，本领域普通技术人员应当理解功能的特征可以是其它有意义的方式。一个或多个层(或其中的组件)可以是集成的或其它方式的。一些组件可以被跨层共享。
[0029]网关协议层302中的网关协议对现有应用提供透明性。特别地，网关提供本机文件服务，例如NFS 310和SMB/CIFS 312，以及网络服务API来建立顾客应用。也提供HTTP支持314。访问层304提供对归档的访问。特别地，根据本发明，固定内容文件系统(FCFS)316模仿本机文件系统来提供对归档对象的完全访问。FCFS对应用给出对归档内容的直接访问，就像这些内容是普通文件一样。优选地，被归档的内容以其原始格式提供，而元数据被作为文件。FCFS 316提供目录和许可以及惯常文件级别调用的传统视图，从而管理员能够以熟悉的方式提供固定内容数据。文件访问调用优选地由用户空间精灵虚拟光驱(daemon)拦截并且路由到适当的核心组件(在层308)，其动态地为所调用的应用创建适当的视图。FCFS调用优选地由归档策略限制以加强自动归档管理。因而，在一个例子中，管理员或应用不能删除其保留周期(给定策略)仍然有效的归档对象。
[0030]访问层304优选地也包括网络用户接口(UI) 318以及SNMP网关320。网络用户接口 318优选地实施作为管理员控制台，该管理员控制台提供与文件事务和管理层306中的管理引擎322的交互式访问。管理员控制台318优选地是提供密码保护的并且基于网络的⑶I，该⑶I提供对于归档的动态视图，包括归档对象和各个节点。SNMP网关320向存储管理应用提供至管理引擎322的便利访问，使得存储管理应用能够安全地监控并且控制集群活动性。管理引擎监控集群活动性，包括系统和策略事件。文件事务和管理层306还包括请求