专利名称：一种多控存储系统设计方法
技术领域：
本发明涉及计算机系统及存储领域，是一种多控存储系统及系统控制方法的传输通信技术，通常基于磁盘存储系统，旨在可以为关键应用场景提供高可用的数据存储服务。
背景技术：
过去的存储系统中，每个控制器都是通过自身的后端卡直接与各自的磁盘柜进行连接，通常是每两个控制器连接一组磁盘柜，这样的系统结构在控制器故障时，它的存储资源只可以被连接同一组磁盘柜的控制器接管，所以造成的结果是:如果同一组磁盘柜上的控制器不能同时故障。而随着SAS交换机的出现，多个控制器可以连接到一个或多个独立的外部存储系统，从而显著扩展SAS在直连存储(DAS)环境中的功能，实现多个服务器的资源共享，减少存储孤岛的现象。这样，任一磁盘柜的存储资源都可以被接管，从而大大提闻服务的可罪性。
传统的集群系统以计算节点为核心，性能差，结构复杂，扩展能力差，所以需要一种开放、高带宽、低延迟、高可靠以及满足集群无限扩展能力的以交换为核心的体系结构，这样后来的Infiniband就应运而生。发明内容
本发明的目的是提供一种多控存储系统设计方法。
本发明的目的是按以下方式实现的，在多控存储系统中，控制器的故障判断依靠基于以太网的heartbeat心跳检测和基于Infiniband连接的消息传递检测,在N个控制器的多控存储系统中，每个控制器要和其他N-1个控制器建立heartbeat和Infiniband连接，其中，Infiniband连接还用于镜像数据的传输和MPIO多路径数据的传输，在多控存储系统中设置多协议支持模块，利用统一的管理配置接口对Lun及主机组进行管理，用户可通过以太网交换机连入任何一个控制器对系统进行管理，控制器软件负责向用户提供一个统一的管理视图，应用客户端通过以太网络、FC网络及IB网络连接到高端磁盘阵列，对导出的LUN进行数据读写访问，实现多控存储系统的设计，包括以下设计: (1)系统硬件设计 多协议存储系统设计由多个控制器组成，控制器间通过IB网络相互连接，作为数据镜像与MPIO连接通路，每个控制器分别包括一个前端卡与一个后端卡，前端卡是万兆以太网卡、FC卡或者IB卡，用于连接前端主机，后端卡为SAS卡连接SAS交换机，SAS交换机连接后端的JB0D，同时为了提高JBOD的可靠性，每个JBOD有两个端口连接到SAS交换机，支持SSD、SAS和SATA类型的磁盘； (2)系统软件设计 多协议存储系统的软件设计分为:控制器OS、多协议支持模块、缓存管理模块、卷管理模块、控制器管理模块几个部分； 数据流主要流经多协议支持模块、缓存管理模块和卷管理模块，用户的数据请求将依次由各模块进行处理:多协议支持模块用来对iSCSI协议、FCP协议、SRP协议及iSer协议进行解析，分离出具体的数据请求，并提交给缓存管理模块，它还负责对底层LUN及主机组进行管理，向用户提供统一的存储资源视图；缓存管理模块用来加速顺序读访问以及随机写访问，在控制器间进行数据镜像，并向控制器管理模块提供数据刷新接口，保证在控制器失效的情况下数据不会丢失，同时在控制器间进行数据的MPIO ;卷管理模块负责识别底层磁盘，在之上建立RAID组，进一步组织成逻辑卷，并提供逻辑卷的快照功能； (3)系统控制流程 该系统是为了提供高可靠的数据存储服务，在硬件设计中采用SAS交换机后，实现了多个服务器的资源共享，这样，数据的访问路径就有多条，在设计中，为了保持数据的一致性，同一个磁盘阵列RAID只允许一个控制器访问，当这个控制器出现故障时，必须有另外一个控制器接管它的存储资源并持续对外提供服务，所以接管的控制器必须有被接管的控制器的缓存备份，其中: (a)服务启动流程 1)系统启动，加载各个模块； 2)每个控制器同其他的控制器建立heartbeat心跳检测连接，用于对故障控制器的检测； 3)每个控制器同其他的控制器建立ib连接，用于备份缓存的传输和MPIO访问数据时的传输； 4)选定缓存的备份端:第O号控制器选择第I号控制器作为缓存的备份端，第I号控制器选择第2号控制器作为缓存的备份端，以此第η-1号控制器选择第η号控制器作为缓存的备份端，第η号控制器选择第O号控制器作为缓存备份端，这样就形成了一个环形链的备份结构；5)建立RAID，VG, Lv ； 6)将建立好的Lv添加到多协议模块的主机组中； 7)将客户端添加到多协议模块的主机组中； 8)启动服务； (b)服务接管流程1)heartbeat心跳检测到故障； 2)阻塞出现故障控制器的资源的所有MPIO访问； 3)如果本控制器备份了故障控制器的缓存，则进行第4)步，否则进行第6)步； 4)在本控制器上建立故障控制器所属的存储资源，并刷写缓存； 5)如果本控制器的缓存没有了备份端，则往后遍历寻找与本控制器号最相近的在线控制器作为其缓存的备份端； 6)更新配置文件； 7)解开2)中阻塞的资源； (c)服务回切流程 1)收到上层的回切命令； 2)阻塞要回切的资源的所有访问； 3)如果本控制器接管了要回切的控制器所属的存储资源，刷写缓存，然后释放这些存储资源； 4)在要回切的控制器上建立所属的存储资源； 5)新回切的控制器η像插入链表一样，插入到控制器η-1和控制器η+1之间，重新建立缓存备份关系； 6)更新配置文件； 7)解开2)中阻塞的资源。
系统允许一个或多个控制器同时出现故障。
允许一个或多个控制器同时故障，是指N个多控存储系统中，最多容忍N-1个控制器同时故障。
存储系统支持万兆网卡、光线卡和Infiniband的前端卡,可提供Iscs1、FC、SRP和Iser的多种协议的服务。
存储系统中控制器的个数允许以单个的增加，而不必像传统的多控需要成对增力口，具有数据缓存备份的功能。
存储系统统一管理本地的存储，支持磁盘、固态硬盘的存储介质，并且很方便的扩展存储的容量。
本发明的有益效果是:该方法将iSCSI协议、FCP协议、SRP协议及iSer协议统一管理起来，向用户提供统一的块级存储资源视图，从而使SAN存储设备完整地兼容以太网络、infiniband网络和光纤网络，无缝接入用户现有环境，同时可以为用户提供高带宽的IB及万兆网络连接，满足客户对高带宽及高性能的差异化需求。
图1是系统应用拓扑结构示意图； 图2是系统硬件结构示意图；； 图3是系统软件结构示意图；； 图4是缓存备份结构示意图；； 图5是控制器接管流程图； 图6是控制器回切流程图。
具体实施方式
参照说明书附图对本发明的方法作以下详细地说明。
本发明实施例的多控存储系统中，控制器的故障判断依靠基于以太网的heartbeat心跳检测和基于Infiniband连接的消息传递检测，在N个控制器的多控存储系统中，每个控制器要和其他N-1个控制器建立heartbeat和Infiniband连接。其中，Infiniband连接还用于镜像数据的传输和MPIO多路径数据的传输。
多协议支持模块利用统一的管理配置接口对Lun及主机组进行管理。典型的应用拓扑图如图1所示，用户可通过以太网交换机连入任何一个控制器对系统进行管理，控制器软件负责向用户提供一个统一的管理视图。应用客户端通过以太网络、FC网络及IB网络连接到高端磁盘阵列，对导出的LUN进行数据读写访问。
(I)系统硬件设计多协议存储系统设计由多个控制器组成，控制器间通过IB网络相互连接，作为数据镜像与MPIO连接通路。每个控制器分别包括一个前端卡与一个后端卡，前端卡可以是万兆以太网卡、FC卡或者IB卡，用于连接前端主机，后端卡为SAS卡连接SAS交换机，SAS交换机连接后端的JB0D，同时为了提高JBOD的可靠性，每个JBOD有两个端口连接到SAS交换机，可以支持SSD、SAS和SATA类型的磁盘，系统硬件架构设计如图2所示； (2)系统软件设计 多协议存储系统的软件设计分为:控制器OS、多协议支持模块、缓存管理模块、卷管理模块、控制器管理模块几个部分； 数据流主要流经多协议支持模块、缓存管理模块和卷管理模块，用户的数据请求将依次由各模块进行处理:多协议支持模块用来对iSCSI协议、FCP协议、SRP协议及iSer协议进行解析，分离出具体的数据请求，并提交给缓存管理模块，它还负责对底层LUN及主机组进行管理，向用户提供统一的存储资源视图；缓存管理模块用来加速顺序读访问以及随机写访问，在控制器间进行数据镜像，并向控制器管理模块提供数据刷新接口，保证在控制器失效的情况下数据不会丢失，同时在控制器间进行数据的MPIO ;卷管理模块负责识别底层磁盘，在之上建立RAID组，进一步组织成逻辑卷，并提供逻辑卷的快照功能。整个系统的软件架构如图3所示； (3)系统控制流程 该系统是为了提供高可靠的数据存储服务，在硬件设计中采用SAS交换机后，实现了多个服务器的资源共享，这样，数据的访问路径就可以有多条，数据的流向如图4所示。在设计中，为了保持数据的一致性，同一个磁盘阵列(RAID)只允许一个控制器访问，当这个控制器出现故障时，必须有另外一个控制器可以接管它的存储资源并持续对外提供服务，所以接管的控制器必须有被接管的控制器的缓存备份； (a)服务启动流程 1)系统启动，加载各个模块； 2)每个控制器同其他的控制器建立heartbeat心跳检测连接，用于对故障控制器的检测； 3)每个控制器同其他的控制器建立ib连接，用于备份缓存的传输和MPIO访问数据时的传输； 4)选定缓存的备份端:第O号控制器选择第I号控制器作为缓存的备份端，第I号控制器选择第2号控制器作为缓存的备份端。。。以此第η-1号控制器选择第η号控制器作为缓存的备份端，第η号控制器选择第O号控制器作为缓存备份端，这样就形成了一个环形链的备份结构，缓存备份结构如图(4)所示；5)建立RAID, VG, Lv ； 6)将建立好的Lv添加到多协议模块的主机组中； 7)将客户端添加到多协议模块的主机组中； 8)启动服务； (b)服务接管流程 1)heartbeat心跳检测到故障； 2)阻塞出现故障控制器的资源的所有MPIO访问； 3)如果本控制器备份了故障控制器的缓存，则进行第(4)步，否则进行第(6)步； 4)在本控制器上建立故障控制器所属的存储资源，并刷写缓存； 5)如果本控制器的缓存没有了备份端，则往后遍历寻找与本控制器号最相近的在线控制器作为其缓存的备份端； 6)更新配置文件； 7)解开2)中阻塞的资源； (c)服务回切流程 1)收到上层的回切命令； 2)阻塞要回切的资源的所有访问； 3)如果本控制器接管了要回切的控制器所属的存储资源，刷写缓存，然后释放这些存储资源； 4)在要回切的控制器上建立所属的存储资源； 5)新回切的控制器η像插入链表一样，插入到控制器η-1和控制器η+1之间，重新建立缓存备份关系； 6)更新配置文件； 7)解开2)中阻塞的资源。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。
权利要求
1.一种多控存储系统设计方法，其特征在于在多控存储系统中，控制器的故障判断依靠基于以太网的heartbeat心跳检测和基于Infiniband连接的消息传递检测,在N个控制器的多控存储系统中，每个控制器要和其他N-1个控制器建立heartbeat和Infiniband连接，其中，Infiniband连接还用于镜像数据的传输和MPIO多路径数据的传输，在多控存储系统中设置多协议支持模块，利用统一的管理配置接口对Lun及主机组进行管理，用户可通过以太网交换机连入任何一个控制器对系统进行管理，控制器软件负责向用户提供一个统一的管理视图，应用客户端通过以太网络、FC网络及IB网络连接到高端磁盘阵列，对导出的LUN进行数据读写访问，实现多控存储系统的设计，设计步骤如下: (1)系统硬件设计 多协议存储系统设计由多个控制器组成，控制器间通过IB网络相互连接，作为数据镜像与MPIO连接通路，每个控制器分别包括一个前端卡与一个后端卡，前端卡是万兆以太网卡、FC卡或者IB卡，用于连接前端主机，后端卡为SAS卡连接SAS交换机，SAS交换机连接后端的JB0D，同时为了提高JBOD的可靠性，每个JBOD有两个端口连接到SAS交换机，支持SSD、SAS和SATA类型的磁盘； (2)系统软件设计 多协议存储系统的软件设计分为:控制器OS、多协议支持模块、缓存管理模块、卷管理模块、控制器管理模块几个部分； 数据流主要流经多协议支持模块、缓存管理模块和卷管理模块，用户的数据请求将依次由各模块进行处理:多协议支持模块用来对iSCSI协议、FCP协议、SRP协议及iSer协议进行解析，分离出具体的数据请求，并提交给缓存管理模块，它还负责对底层LUN及主机组进行管理，向用户提供统一的存储资源视图；缓存管理模块用来加速顺序读访问以及随机写访问，在控制器间进行数据镜像，并向控制器管理模块提供数据刷新接口，保证在控制器失效的情况下数据不会丢失，同时在控制器间进行数据的MPIO ;卷管理模块负责识别底层磁盘，在之上建立RAID组，进一步组织成逻辑卷，并提供逻辑卷的快照功能； (3)系统控制流程 该系统是为了提供高可靠的数据存储服务，在硬件设计中采用SAS交换机后，实现了多个服务器的资源共享，这样 ，数据的访问路径就有多条，在设计中，为了保持数据的一致性，同一个磁盘阵列RAID只允许一个控制器访问，当这个控制器出现故障时，必须有另外一个控制器接管它的存储资源并持续对外提供服务，所以接管的控制器必须有被接管的控制器的缓存备份，其中: (a)服务启动流程 1)系统启动，加载各个模块； 2)每个控制器同其他的控制器建立heartbeat心跳检测连接，用于对故障控制器的检测； 3)每个控制器同其他的控制器建立ib连接，用于备份缓存的传输和MPIO访问数据时的传输； 4)选定缓存的备份端:第O号控制器选择第I号控制器作为缓存的备份端，第I号控制器选择第2号控制器作为缓存的备份端，以此第η-1号控制器选择第η号控制器作为缓存的备份端，第η号控制器选择第O号控制器作为缓存备份端，这样就形成了一个环形链的备份结构；5)建立RAID，VG, Lv ； 6)将建立好的Lv添加到多协议模块的主机组中； 7)将客户端添加到多协议模块的主机组中； 8)启动服务； (b)服务接管流程 1)heartbeat心跳检测到故障； 2)阻塞出现故障控制器的资源的所有MPIO访问； 3)如果本控制器备份了故障控制器的缓存，则进行第4)步，否则进行第6)步； 4)在本控制器上建立故障控制器所属的存储资源，并刷写缓存； 5)如果本控制器的缓存没有了备份端，则往后遍历寻找与本控制器号最相近的在线控制器作为其缓存的备份端； 6)更新配置文件； 7)解开2)中阻塞的资源； (c)服务回切流程 1)收到上层的回切命令； 2)阻塞要回切的资源的所有访问； 3)如果本控制器接管了要回切的控制器所属的存储资源，刷写缓存，然后释放这些存储资源； 4)在要回切的控制器上建立所属的存储资源； 5)新回切的控制器η像插入链表一样，插入到控制器η-1和控制器η+1之间，重新建立缓存备份关系； 6)更新配置文件； 7)解开2)中阻塞的资源。
2.根据权利要求1所述的方法，其特征在于系统允许一个或多个控制器同时出现故障。
3.根据权利要求2所述的方法，其特征在于允许一个或多个控制器同时故障，是指N个多控存储系统中，最多容忍N-1个控制器同时故障。
4.根据权利要求1所述的方法，其特征在于存储系统支持万兆网卡、光线卡和Infiniband的前端卡,可提供Iscs1、FC、SRP和Iser的多种协议的服务。
5.根据权利要求1所述的方法，其特征在于存储系统中控制器的个数允许以单个的增力口，而不必像传统的多控需要成对增加，具有数据缓存备份的功能。
6.根据权利要求1所述的方法，其特征在于存储系统统一管理本地的存储，支持磁盘、固态硬盘的存储介质，并且很方便的扩展存储的容量。
全文摘要
本发明提供一种多控存储系统设计方法，在多控存储系统中，控制器的故障判断依靠基于以太网的heartbeat心跳检测和基于Infiniband连接的消息传递检测，在N个控制器的多控存储系统中，每个控制器要和其他N-1个控制器建立heartbeat和Infiniband连接,其中，Infiniband连接还用于镜像数据的传输和MPIO多路径数据的传输,在多控存储系统中设置多协议支持模块，利用统一的管理配置接口对Lun及主机组进行管理,用户可通过以太网交换机连入任何一个控制器对系统进行管理，控制器软件负责向用户提供一个统一的管理视图，应用客户端通过以太网络、FC网络及IB网络连接到高端磁盘阵列，对导出的LUN进行数据读写访问，实现多控存储系统的设计。
文档编号H04L29/08GK103152397SQ201310047388
公开日2013年6月12日 申请日期2013年2月6日 优先权日2013年2月6日
发明者蔺永杰 申请人:浪潮电子信息产业股份有限公司