专利名称：嵌入式专用向外扩展网络的制作方法
嵌入式专用向外扩展网络
背景技术：
大容量存储系统持续提供不断增加的存储能力以满足用户需求。照片和电影存储 以及照片和电影共享是拉动对越来越大的存储系统的需求增长的应用的示例。对于这些不断增长的需求的一种解决方案是使用多廉价盘阵列。可以按照提供冗 余和错误恢复而不丢失任何数据的方式配置这些阵列。这些阵列还可以被配置成通过允许 对多个盘驱动器的数据的同时读取或者写入来提高读取和写入性能。这些阵列还可以被 配置成允许“热插拔”，其允许故障盘被替换而不中断阵列的存储服务。无论是否提供任何 冗余，这些阵列通常被称为独立冗余盘阵列(或者更常用地通过首字母RAID来指代)。来 自加利福尼亚大学伯克利分校的David A. Patterson等人于1987年在名为“A Case for RedundantArrays of Inexpensive Disks (RAID) ”(廉价冗余盘阵列方案)的公开物中讨 论了 RAID技术的基本概念和层级。RAID存储系统通常使用对用户或者主系统屏蔽管理存储阵列的细节的控制器。控 制器使得存储阵列看起来像一个或多个盘驱动器(或者卷)。尽管事实是特定卷的数据(或 者冗余数据)可能散布在多个盘驱动器中，但这仍然能够实现。
发明内容
因此，本发明的实施例可以包含存储阵列系统，包含N个配置有至少两个互连结 构端口(interconnect fabric port)的阵列控制器，其中N是大于2的整数；集成在环境 服务模块(ESM)中的第一和第二互连结构交换机(switch)，所述第一和第二互连结构交换 机中的每一个具有至少N个互连结构端口，所述N个互连结构端口中的每一个连接至位于 所述N个阵列控制器中的一个上的互连结构端口，从而建立所述N个阵列控制器中的每一 个之间的冗余连接。因此，本发明的实施例可以进一步包含存储阵列的存储阵列架构，包含至少两个 阵列控制器，每一个具有至少两个集成的互连结构交换机；具有至少两个集成的互连结构 交换机的JB0D单元，所述至少两个集成的互连结构交换机中的每一个与所述至少两个阵 列控制器中的每一个至少直接连接两次，从而在所述集成的互连结构交换机中的每一个与 所述至少两个阵列控制器中的每一个之间建立至少两个直接连接。
图1是存储阵列系统的框图。图2是存储阵列系统的框图。图3是计算机系统的框图。
具体实施例方式图1是存储阵列系统的框图。在图1中，存储系统100包含阵列控制器110、 阵列控制器111、阵列控制器112以及简单盘捆绑(Justa Bunch of Disks enclosure,JB0D)130。阵列控制器110包括多个互连结构端口 115。阵列控制器111包括多个互连结 构端口 116。阵列控制器112包括多个互连结构端口 117。在图1中，仅仅显示了三个阵列 控制器110-112。这是出于简明的目的。应当理解，存储系统100可以包括附加的阵列控制 器 110-112。JB0D 130包括环境服务模块(ESM)140和ESM 141。ESM 140包括互连交换机120。 ESM 141包括互连交换机121。在实施例中，ESM 140和ESM 141被集成在与JB0D 130的其 它部分相同的系统级封装中。因而，由于被包含在ESM 140和ESM 141中，互连交换机120 和互连交换机121也被集成在与JB0D 130的其它部分相同的系统级封装中。JB0D 130还 可以包括盘驱动器131。互连交换机120包括多个互连结构端口 125。互连交换机121包 括多个互连结构端口 126。多个互连结构端口 125中的一个直接连接至互连结构端口 115中的一个。多个互 连结构端口 125中的一个直接连接至互连结构端口 116中的一个。多个互连结构端口 125 中的一个直接连接至互连结构端口 117中的一个。多个互连结构端口 126中的一个直接连 接至互连结构端口 115中的一个。多个互连结构端口 126中的一个直接连接至互连结构端 口 116中的一个。多个互连结构端口 126中的一个直接连接至互连结构端口 117中的一个。 因而，互连交换机120和互连交换机121提供每个阵列控制器110-112和每个其它阵列控 制器110-112之间经由互连交换机120和互连交换机121的冗余互连路径。在图1中，仅仅显示了一个JB0D 130。这是出于简明的目的。应当理解，存储阵列 100可以包括附加的JB0D。还应当理解，这些附加的JB0D可以具有替代的结构。例如，这 些附加的JB0D可以具有不同数目的ESM、互连结构端口和/或互连交换机。同样，图1所示 的JB0D 130具有ESM 140和141，每一个ESM分别具有单个互连交换机120和121。这也 是出于简明的目的。应当理解，JB0D 130可以包括附加的ESM 140-141。同样，在一个或多 个ESM 140-141中可以包括附加的互连交换机120-121。连接互连端口 115-117和125-126以形成专用于阵列控制器110-112之间的通信 的互连结构。该互连结构还可以被称为专用向外扩展网络(PS0N)。该互连结构还可以用 于互连JB0D。还可以使用多种存储互连结构中的一种来实现通过互连阵列控制器110-112 的互连端口 115-117和互连交换机120-121的互连端口 125-126所形成的PS0N互连结构。 例如，可以使用串行连接SCSI (SAS)、InfiniBand、以太网或者高速PCI (PCI Express)所规 定的连接、端口和协议来实现PS0N互连结构。还可以使用其它互连结构技术。阵列控制器110-112可以是(或者包含)由例如InfiniBand、冗余廉价盘阵列 (RAID)、网络附加存储(NAS)、存储区域网络(SAN)、iSCSI SAN或者虚拟磁带库(VTL)所描 述的控制器或者与它们兼容的控制器。JB0D 130可以是(或者包含)与其它硬件一同位于 机壳(enclosure)中的一个或多个简单盘捆绑或者简单盘驱动盒(Just aBox OfDrives)。 ESM 140-141可以提供监控和管理与JBOD 130相关联的功能的扩展器和环境服务。在实施例中，存储系统100具有N个数目的阵列控制器110-112。JB0D 130具有 M个数目的含有互连交换机120-121的ESM 140-141，每个互连交换机具有至少N个互连端 口。M可以是大于或等于1的整数。如能够从图1中所看见的一样，每个阵列控制器110-112 与每个互连交换机120-121至少连接一次。因而，在图1中，M等于2。每个阵列控制器110-112和每个JB0D 130之间的两个连接(一个到互连交换机120，一个到互连交换机121)在阵列控制器110-112中的每一个和每个其它阵列控制器 110-112之间建立直接的冗余连接。例如，这在图1中例示为阵列控制器110和互连交换机 120之间的第一连接以及阵列控制器110和互连交换机121之间的第二连接。这还例示为 阵列控制器111和互连交换机120之间的第一连接以及阵列控制器111和互连交换机121 之间的第二连接。最后，在阵列控制器112和互连交换机120之间显示第一连接并且在阵 列控制器112和互连交换机121之间显示第二连接。应当理解，这些连接是直接连接并且 不通过JBOD 130的外部的附加交换结构或者其它中间设备来传递。在实施例中，通过将额外的ESM 140-141增加至JBOD 130或者将额外的互连交换 机120-121增加至ESM 140-141，每个阵列控制器110-112可以与JBOD 130连接两次以上。 在另一个实施例中，通过使用具有一个或多个ESM 140-141的多个JBOD 130，每个ESM具有 一个或多个互连交换机120-121，每个阵列控制器110-112可以连接至每个其它阵列控制 器 110-112。因为每个阵列控制器110-112通过互连交换机120-121与每个其它阵列控制器 110-112互连，所以从阵列控制器110-112到阵列控制器110-112的专用数据传输是可能 的。此外，因为互连交换机120-121由于它们被包含在ESM 140-141中而被集成至 JBOD 130，所以它们不占用存储系统100中额外的机柜空间(rack space) 0作为JBOD 130 的ESM功能的一部分，互连交换机120-121的集成特性还允许对互连交换机120-121状态 进行监控。JBOD 130的封装、冷却、电源、风扇、环境功能和其它基础设施功能可以用来将这 些基础设施功能中的一个或多个提供给互连交换机120-121以及ESM 140-141。图2是存储阵列系统的图示。图2例示了一个阵列控制器210和一组互连交换机 230-231之间的连接。应当理解，其它阵列控制器、JBOD单元(未示出)或者PSON JBOD单 元(未示出)可以连接至阵列控制器210。出于简明的目的而省略它们。阵列控制器210 和JBOD单元220-221之间的连接可以与图1中所示的那些连接类似或相同。在图2中，阵列控制器210至少包括PSON端口 240和PSON端口 241。阵列控制器 210还可以包括盘驱动器。PSON端口 240和PSON端口 241的每一个包括至少一个互连端 口。在图2中，PSON端口 240和PSON端口 241的每一个显示为4-宽端口(4_wide ports)。 应当理解，这仅仅出于示例的目的并且可以预期其它宽度的端口。还应当理解，PSON端口 240和PSON端口 241通常可以具有2M个端口，其中M是存储系统200中PSON JBOD单元 220的数目。PSON JBOD 单元 220 包括 ESM 250 和 ESM 251。ESM 250 包括互连交换机 230。ESM 251包括互连交换机231。因而，PSON JBOD单元220包括互连交换机230和互连交换机 231。PSON JBOD单元220和JBOD单元221还可以包括盘驱动器。互连交换机230和互连 交换机231的每一个包括互连端口。在图2中，互连交换机230和互连交换机231的每一个 具有6个4-宽互连端口。应当理解，这仅仅出于示例的目的，并且互连交换机230和互连 交换机231通常可以具有至少N个端口，其中N是存储系统200中阵列控制器210的数目。 PSON JBOD单元220还可以包括额外的互连端口。这些互连端口连接至JBOD单元221。这 些互连端口可以由互连交换机230和/或互连交换机231提供。JBOD单元221还可以连接 至额外的JBOD单元(未示出)。
在实施例中，互连交换机230的互连端口直接连接至PSON端口 240的互连端口。 互连交换机231的互连端口直接连接至PSON端口 241的互连端口。因而，PSON JBOD单元 220直接并且冗余地连接至阵列控制器210。同样，PSON JBOD单元220还可以通过至少两 个直接连接而直接地连接至存储系统200中的每个其它阵列控制器210 (未示出)。因而， 存储系统200的每个阵列控制器210冗余地连接至存储系统200中的每个其它阵列控制器 210。PSON JBOD单元220、JBOD单元221以及诸如端口扩展器和盘驱动器的其它设备可以 位于单个或多个机壳或机柜中以形成存储系统200。如能够从图1和图2中所看到的一样，多个阵列控制器110-112和210可以相互 直接并且冗余地连接而无需使用外部交换，同时仍然向任一控制器设备连接提供任一冗余 的控制器。为存储系统100和200增加了作为阵列控制器来扩展的性能。同样，当存储系 统100和200的一个或多个部件出现故障或者不能提供服务时，性能仅仅以线性的方式来 降低。例如，如果N = 6 ( S卩，系统中存在6个阵列控制器110-112)，并且一个阵列控制器出 现故障，则存储系统100或200的性能将仅仅降低至其此前水平的大约5/6。将其与仅仅具 有两个阵列控制器110-112的系统相比，该系统的性能在一个阵列控制器出现故障时将降 低至其此前水平的大约1/2。此外，因为在每个阵列控制器110-112或210之间存在直接连 接，免除了控制器之间的单独的互连结构交换机。这些单独的互连结构交换机增加了成本 并且占用封装空间。上述的系统、单元、驱动器、设备、装置和功能可以由一个或多个计算机系统来实 现或者执行。上述的方法还可以存储在计算机可读介质上。存储系统100和存储系统200 的许多部件可以是、可以包含或者可以包括计算机系统。这包括但不限于阵列控制器110、 阵列控制器111、阵列控制器112、JB0D 130、互连交换机120、互连交换机121、ESM 140,ESM 141、阵列控制器210、PSON JBOD单元220、JBOD单元221、ESM 250、ESM 251、互连交换机 230、互连交换机231、PS0N端口 240、PS0N端口 241以及存储系统100或存储系统200中包 含的任何盘驱动器。图3例示了计算机系统的框图。计算机系统300包括通信接口 320、处理系统330、 存储系统340以及用户接口 360。处理系统330可操作地(operatively)耦接至存储系统 340。存储系统340存储软件350和数据370。处理系统330可操作地耦接至通信接口 320 和用户接口 360。计算机系统300可以包含已编程的通用计算机。计算机系统300可以包 括微处理器。计算机系统300可以包含可编程或者专用电路。计算机系统300可以分布在 合起来包含部件320-370的多个设备、处理器、存储装置和/或接口中。通信接口 320可以包含网络接口、调制解调器、端口、总线、链路、收发器或其它通 信设备。通信接口 320可以分布在多个通信设备中。处理系统330可以包含微处理器、微 控制器、逻辑电路或者其它处理设备。处理系统330可以分布在多个处理设备中。用户接 口 360可以包含键盘、鼠标、语音识别接口、传声器和扬声器、图形显示器、触摸屏或者其它 类型的用户接口设备。用户接口 360可以分布在多个接口设备中。存储系统340可以包含 盘、磁带、集成电路、RAM、R0M、网络存储、服务器或者其它存储功能模块。存储系统340可以 是计算机可读介质。存储系统340可以分布在多个存储设备中。处理系统330从存储系统340获取(retrieve)并执行软件350。处理系统可以 获取并且存储数据370。处理系统还可以通过通信接口 320获取并且存储数据。处理系统330可以创建或者修改软件350或数据370以取得实效。处理系统可以控制通信接口 320 或者用户接口 360以取得实效。处理系统可以通过通信接口 320获取并且执行远程存储的 软件。软件350和远程存储的软件可以包含操作系统、应用程序、驱动、网络软件以及通 常由计算机系统执行的其它软件。软件350可以包含应用程序、小应用程序、固件或者通常 由计算机系统执行的机器可读处理指令的其它形式。当由处理系统330执行时，软件350 或者远程存储的软件可以指导计算机系统300如本申请所述的一样来操作。本发明此前的描述出于示例和描述的目的而出现。其不意在穷举或者限制本发明 为所公开的精确形式，在上述内容的教导下，其它修改和变化是可能的。为了最佳地解释本 发明的原理及其实际应用而选择和描述了实施例，从而使得本领域其他技术人员以适于预 期的特定使用目的的各种实施例和各种修改来最佳地使用本发明。所附的权利要求意在被 解释成包括本发明的其它替代实施例，只要其不被现有技术限定即可。
权利要求
一种存储阵列系统，包含N个配置有至少两个互连结构端口的阵列控制器，其中N是大于2的整数；分别集成在第一和第二环境服务模块(ESM)中的第一互连结构交换机和第二互连结构交换机，所述第一和第二互连结构交换机中的每一个具有至少N个互连结构端口，所述N个互连结构端口中的每一个连接至所述N个阵列控制器中的一个上的互连结构端口，从而建立所述N个阵列控制器中的每一个之间的冗余连接。
2.如权利要求1所述的存储系统，其中所述N个阵列控制器中的每一个能够通过所述 第一互连结构交换机和所述第二互连结构交换机与所述N个阵列控制器中的其它每一个 进行专用数据传输通信。
3.如权利要求1所述的存储系统，其中所述第一互连结构交换机和所述第二互连结构 交换机分别从所述第一和第二 ESM接收电力。
4.如权利要求3所述的存储系统，其中所述第一互连结构交换机和所述第二互连结构 交换机从JB0D接收冷却。
5.如权利要求1所述的存储系统，其中所述N个阵列控制器中的至少一个进一步包括 至少一个盘驱动器。
6.如权利要求1所述的存储系统，其中所述互连结构端口被构造成串行连接SCSI端□。
7.如权利要求1所述的存储系统，其中所述互连结构端口被构造成InfiniBand端口。
8.如权利要求1所述的存储系统，其中所述互连结构端口被构造成以太网端口。
9.如权利要求1所述的存储系统，其中所述互连结构端口被构造成高速PCI端口。
10.一种存储阵列的存储阵列架构，包含至少两个阵列控制器，每一个阵列控制器具有至少两个集成的互连结构交换机；具有至少两个集成的互连结构交换机的JB0D单元，所述至少两个集成的互连结构交 换机中的每一个与所述至少两个阵列控制器中的每一个至少直接连接两次，从而在所述集 成的互连结构交换机中的每一个与所述至少两个阵列控制器中的每一个之间建立至少两 个直接连接。
11.如权利要求10所述的存储系统，其中所述JB0D单元进一步包括盘驱动器。
12.如权利要求10所述的存储系统，其中所述JB0D单元包括环境服务模块。
13.如权利要求10所述的存储系统，其中所述阵列控制器中的至少一个进一步包括至 少一个盘驱动器。
14.如权利要求10所述的存储系统，其中所述互连结构端口被构造成串行连接SCSI端
15.如权利要求10所述的存储系统，其中所述互连结构端口被构造成InfiniBand端
16.如权利要求10所述的存储系统，其中所述互连结构端口被构造成以太网端口。
17.如权利要求10所述的存储系统，其中所述互连结构端口被构造成高速PCI端口。
全文摘要
公开了一种嵌入式专用向外扩展网络和存储阵列系统。N个阵列控制器配置有至少两个互连结构端口，其中N是大于2的整数。JBOD单元配置有至少两个互连结构交换机。两个互连结构交换机中的每一个具有至少N个互连结构端口。至少N个互连结构端口中的每一个直接连接至N个阵列控制器中的相应一个，从而在N个阵列控制器中的每一个和N个阵列控制器中的其它每一个之间建立直接冗余连接。
文档编号H04L29/08GK101923445SQ20091017066
公开日2010年12月22日 申请日期2009年9月1日 优先权日2009年6月9日
发明者C·E·尼科尔斯, K·霍尔特, M·埃尔-巴塔尔, R·A·德科宁, W·P·德拉尼 申请人:Lsi公司