部署数据-路径相关插件的制作方法
【技术领域】
[0001]本发明涉及存储系统数据-路径相关插件并且尤其涉及用于部署这种数据-路径相关插件的系统和方法。
【背景技术】
[0002]随着网络的容量和速度的增长，分布式存储系统在过去的十年里快速发展。随着网络从局域网(LAN)扩展至全球广域网(WAN)，业务正在变得更全球化分布，从而导致对分布式存储系统的需求，以提供再在远程地理位置上的数据存储和访问。在一些情况下，各种实体寻求开发各种分布式存储系统数据-路径相关插件并且把这种数据-路径相关插件结合到分布式存储系统中的能力。但是，在分布式存储系统中结合这种数据-路径相关插件会造成非预期或不想要的行为，例如，数据破坏、降级的性能，等等。因此，在本领域存在对于在分布式数据存储系统实现数据-路径相关插件的新方法和系统的需求。
[0003]作为背景被认为与目前公开的主题相关的现有技术参考文献在以下列出。本文对这些参考文献的承认不应当被认为意味着这些以任何方式与目前公开的主题的专利性相关。
[0004]标题为“Apparatusand Method for a Distributed Storage Global Database”的美国专利公开N0.2009/0070337涉及“一种用于管理数据元素分布的地理上分布的存储系统，其中对给定数据元素的请求招致地理惯性。地理上分布的存储系统包括地理上分布的站点，每个站点包括用于本地存储包括数据元素的全局一致的分布式数据库的一部分的站点存储单元以及用于接收与其中一些数据元素相关的请求的本地访问点。地理上分布的存储系统包括数据管理模块，用于把至少一个所请求的数据元素转发到位于从其接收到请求的第一地理分布站点处的本地访问点并且在这第一站点处存储该至少一个所请求的数据元素，由此为将来来自该第一站点的请求提供对数据元素的本地访问能力，同时维持分布式数据库的全局一致性。”
[0005]标题为“Remote Access and Geographically Distributed Computers in aGlobally Addressable Storage Environment”的美国专利 N0.5987505 涉及“一种计算机系统采用全球可寻址的存储环境，即使数据被存储在诸如计算机硬盘的持久性存储设备和其它传统不可寻址的数据存储设备上时，该环境也允许多个联网的计算机通过寻址来访问数据。计算机可以位于单个计算机网络上或者多个互连的计算机网络上，诸如通过广域网(WAN)耦合的两个局域网(LAN)。全球可寻址的存储环境允许由多个网络上的各个计算机访问数据并在这些计算机之间共享数据。”
[0006]Ms.S.V.Patil 等人于 Internat1nal Journal of ComputerApplicat1ns 2010 (0975 - 8887), Volume 1- N0.22 上发表的“Unified VirtualStorage: Virtualizat1n of Distributed Storage in a Network” 描述了“一种高效利用经网络连接的台式机器上的空闲盘空间的途径。在如今许多网络中，客户端节点的本地盘仅仅被零星地使用。这是在网络中高效地管理数据存储并且为在LAN中共享台式机器上的盘空间提供软件支持的尝试。在目前的情况下，常规服务器上的存储扩展具有约束，像最大扩展限制，昂贵的事情，并且在硬件更换的情况下，数据的升级、手动重定位变得混乱。UVS(统一虚拟存储)是高效地利用经网络连接的台式机器上的空闲可用盘空间的尝试。其目的是减小网络服务器上的数据流量负荷、高效地利用客户端节点上的空间，由此避免空间的浪费。它还消除了对存储扩展的硬件限制并且提供数据存储的位置透明性。UVS的主要优点在于它可以被无缝地集成到现有的基础设施(局域网系统)中。虚拟存储几乎无限地支持可伸缩的体系架构。客户端节点可以使用统一虚拟驱动器作为跨不同服务器对分布式储存器的单点访问，由此消除服务器的单独寻址。在由网络连接的UVS服务器上实现的原型的性能比集中式系统好，并且甚至在高负荷期间，框架的开销也适中。”
[0007]标题为“Dynamic Structural Management of a Distributed CachingInfrastructure”的美国专利公开N0.2011/0153770涉及“用于n层分布式高速缓存基础设施的动态结构化管理的方法、系统和计算机程序产品。在本发明的实施例中，η层分布式高速缓存体系架构的动态结构化管理的方法包括建立到布置在η层高速缓存中的各个层节点中的多个高速缓存服务器的通信连接、为η层高速缓存的各个层节点中的每个高速缓存服务器收集性能度量、识别η层的对应一个层节点中的特定高速缓存资源跨过阈值的特性，并且动态地结构化一组高速缓存资源，包括解释所识别出的特性的特定高速缓存资源。”
【发明内容】
[0008]根据目前公开的主题的第一方面，提供了用于为存储系统的逻辑存储实体部署数据-路径相关插件的方法，该方法包括:为所述逻辑存储实体部署所述数据-路径相关插件，其中所述部署包括创建包含插件的数据-路径规范，并且其中所述包含插件的数据-路径规范包括数据-路径相关插件的操作；及创建验证数据路径规范，其中所述验证数据-路径规范不包括数据-路径相关插件的操作，并且其中在具有所述验证数据-路径规范的验证数据-路径中执行的任务生成使得能够对由所述任务在具有所述包含插件的数据-路径规范的包含插件的数据-路径中执行而生成的给定数据进行确认的验证数据。
[0009]在一些情况下，数据-路径相关插件选自存储在与存储系统相关联的插件池中的数据-路径相关插件的列表。
[0010]在一些情况下，该方法还包括检查所述部署是否将不导致与逻辑存储实体相关联的服务等级规范(SLS)的违背，并且其中如果所述检查指示所述部署将不导致所述SLS的违背，则所述部署和所述创建被执行。
[0011]在一些情况下，该方法还包括在所述包含插件的数据-路径上和在所述验证数据-路径上执行给定的任务；利用所述验证数据验证所述给定数据；及如果第一执行结果与第二执行结果之间存在任何不相符，则执行一个或多个失败动作。
[0012]在一些情况下，如果所述验证数据包含与所述给定数据中所包含的信息完全相同的信息，则所述验证是成功的。
[0013]在一些情况下，如果所述验证数据与所述给定数据完全相同，则所述验证是成功的。
[0014]在一些情况下，所述一个或多个失败动作包括以下动作当中的一个或多个:
[0015](a)从逻辑存储实体去除所述未经过确认的数据-路径相关插件；
[0016](b)对于逻辑存储实体禁用未经过确认的数据-路径相关插件；
[0017](c)利用验证数据校正给定数据；
[0018](d)向逻辑存储实体的用户发布指示失败的通知；
[0019](e)如果存在未经过确认的数据-路径相关插件的任何之前的版本，则恢复到之前的版本；
[0020](f)降低与未经过确认的数据-路径相关插件相关联的等级。
[0021]在一些情况下，该方法还包括，如果未经过确认的数据-路径相关插件的确认完成，则去除验证数据-路径并且执行一个或多个确认动作。
[0022]在一些情况下，所述确认动作包括以下动作当中的一个或多个:
[0023](a)增加与未经过确认的数据-路径相关插件相关联的等级；
[0024](b)向逻辑存储实体的用户发布指示确认完成的通知。
[0025]在一些情况下，所述存储系统是分布式存储系统，并且如果所述检查指示所述部署将导致所述SLS的违背，则该方法还包括:接收与分布式存储系统的动态行为相关的动态行为参数数据；至少基于所述至少一个SLS、与连接到所述分布式存储系统的基础设施层的存储相关资源相关的存储相关资源参数数据、以及动态行为参数数据，为分布式存储系统计算重新配置；及根据计算出的重新配置自动分配所述存储相关资源之一的至少一部分。
[0026]根据所公开主题的第二方面，提供了包括被配置为执行统一分布式存储平台(UDSP)代理的至少一个处理资源的计算机节点，其中所述UDSP代理被配置为:为所述逻辑存储实体部署所述数据-路径相关插件，其中所述部署包括创建包含插件的数据-路径规范，并且其中所述包含插件的数据-路径规范包括数据-路径相关插件的操作；及创建验证数据路径规范，其中所述验证数据-路径规范不包括数据-路径相关插件的操作，并且其中在具有所述验证数据-路径规范的验证数据-路径中执行的任务生成使得能够对由所述任务在具有所述包含插件的数据-路径规范的包含插件的数据-路径中执行而生成的给定数据进行确认的验证数据。
[0027]在一些情况下，数据-路径相关插件选自存储在与存储系统相关联的插件池中的数据-路径相关插件的列表。
[0028]在一些情况下，所述UDSP代理还被配置为检查所述部署是否将不导致与逻辑存储实体相关联的服务等级规范(SLS)的违背，并且其中如果所述检查指示所述部署将不导致所述SLS的违背，则所述部署和所述创建被执行。
[0029]在一些情况下，所述UDSP代理还被配置为:在所述包含插件的数据-路径上和在所述验证数据-路径上执行给定的任务；利用所述验证数据验证所述给定数据；及如果第一执行结果与第二执行结果之间存在任何不相符，则执行一个或多个失败动作。
[0030]在一些情况下，如果所述验证数据包含与所述给定数据中所包含的信息完全相同的信息，则所述验证是成功的。
[0031]在一些情况下，如果所述验证数据与所述给定数据完全相同，则所述验证是成功的。
[0032]在一些情况下，所述一个或多个失败动作包括以下动作当中的一个或多个:
[0033](a)从逻辑存储实体去除所述未经过确认的数据-路径相关插件；
[0034](b)对于逻辑存储实体禁用未经过确认的数据-路径相关插件；
[0035](C)利用验证数据校正给定数据；
[0036](d)向逻辑存储实体的用户发布指示失败的通知；
[0037](e)如果存在未经过确认的数据-路径相关插件的任何之前的版本，则恢复到之前的版本；
[0038](f)降低与未经过确认的数据-路径相关插件相关联的等级。
[0039]在一些情况下，如果未经过确认的数据-路径相关插件的确认完成，则所述UDSP代理还被配置为去除验证数据-路径并且执行一个或多个确认动作。
[0040]在一些情况下，所述确认动作包括以下动作当中的一个或多个:
[0041](a)增加与未经过确认的数据-路径相关插件相关联的等级；
[0042](b)向逻辑存储实体的用户发布指示确认完成的通知。
[0043]在一些情况下，所述存储系统是分布式存储系统，并且如果所述检查指示所述部署将导致所述SLS的违背，则所述UDSP代理还被配置为:接收与分布式存储系统的动态行为相关的动态行为参数数据；至少基于所述至少一个SLS、与连接到所述分布式存储系统的基础设施层的存储相关资源相关的存储相关资源参数数据、以及动态行为参数数据，为分布式存储系统计算重新配置；及根据计算出的重新配置自动分配所述存储相关资源之一的至少一部分。
[0044]根据第三方面，提供了可由机器读取的程序存储设备，具体体现可由机器执行以执行为存储系统的逻辑存储实体部署数据-路径相关插件的方法的指令程序，该方法包括步骤:为所述逻辑存储实体部署所述数据-路径相关插件，其中所述部署包括创建包含插件的数据-路径规范，并且其中所述包含插件的数据-路径规范包括数据-路径相关插件的操作；及创建验证数据路径规范，其中所述验证数据-路径规范不包括数据-路径相关插件的操作，并且其中在具有所述验证数据-路径规范的验证数据-路径中执行的任务生成使得能够对由所述任务在具有所述包含插件的数据-路径规范的包含插件的数据-路径中执行而生成的给定数据进行确认的验证数据。
【附图说明】
[0045]为了理解本公开主题并且看到它在实践当中可以如何被执行，现在将参考附图仅仅作为非限制性示例来描述主题，其中:
[0046]图1示意性地示出了根据本发明的示例性实施例的包括基础设施层的分布式存储系统的顶层体系架构；
[0047]图2示意性地示出了根据目前公开的主题的用于配置分布式存储系统的简化的示例性系统；
[0048]图3示意性地示出了根据目前公开的主题的由基于目标的管理系统执行的优化过程的简化和示例性流程图；
[0049]图4示意性地示出了根据目前公开的主题的由基于目标的管理系统执行的配置过程的示例性操作算法的简化流程图；
[0050]图5是示意性地示出根据目前公开的主题的某些例子的连接到分布式存储系统的示例性计算机节点的框图；
[0051]图6是示出根据目前公开的主题的为了把新的数据-路径相关插件引入分布式存储系统的插件层而执行的操作序列的一个例子的流程图；
[0052]图7是示出根据目前公开的主题的为了在分布式存储系统上部署未经过确认的数据-路径相关插件而执行的操作序列的一个例子的流程图；
[0053]图8是示出根据目前公开的主题