存储系统和存储系统的控制方法与流程

1.本发明涉及使用闪存或磁盘作为存储(存储介质)装置的存储系 统的存储控制器替换和升级。


背景技术：

2.近年来，因为nand型闪存的大容量化而在存储系统中保存大量 的数据。另外，对于存储系统，要求能够不发生对上级应用的业务影 响地、将硬件和软件更换为最新的。通常，存储系统的更换中，新存 储系统一方的设定和数据迁移过程需要时间。
3.专利文献1中，示出了用于不间断地更新存储系统的软件的发明。 在软件更新后，新数据格式和旧数据格式双方存在，新数据中包括对 旧数据格式的数据的参照。在更新数据时，通过按新数据格式写入， 能够不停止数据的读写地、更新至新数据格式。
4.专利文献2中，示出了用于进行多个存储系统之间的不间断数据 迁移的发明。为了使得从主机识别出单一的存储系统，而构成跨多个 存储的虚拟存储系统、虚拟端口和虚拟逻辑单元(lun)。通过使迁移 源的物理端口的端口名和端口地址关联至迁移目标系统的虚拟端口名 和端口地址，能够不间断地完成对新存储系统的迁移。
5.在双控制器的存储系统中，存在用于不间断地更新存储系统的硬 件的方式。根据该方式，无需移动连接的驱动器的数据就能够更新至 新控制器。另外，存储系统的结构信息等得以维持。通过每次单方地 顺次更换存储控制器，而实现对新硬件的更换。这是作为存储系统中 的控制器的更换流程的一般的方法。
6.现有技术文献
7.专利文献
8.专利文献1：美国专利第9959043号说明书
9.专利文献2：美国专利第9098211号说明书


技术实现要素：

10.发明要解决的课题
11.专利文献1中，对于逻辑卷内的各数据，在更新了数据格式的情 况下，通过保存从新数据格式对旧数据格式的参照，而在维持旧数据 格式的状态下，支持新软件中的新数据格式。但是，存储系统的存储 控制器的升级中，取决于硬件存储控制器的硬件组件的不同和作为存 储系统的规格，在存储控制器的升级完成后，存在必须开始应用的控 制逻辑。例如，存在新存储控制器中搭载了强力的cpu和硬件分流引 擎、能够采用耗费更多运算成本的数据加密和数据压缩算法等情况。 专利文献1中，关于决定这些控制逻辑的应用开始的方式并没有公开。
12.本发明解决不间断地更新存储系统的硬件和软件时的以下课题。
13.第一课题是需要在存储系统内不存在旧存储控制器的状态下，使 仅能够在新存储控制器中运行的控制逻辑运行。具体而言，即使存储 系统内存在几个存储控制器，在全
部存储控制器对新存储控制器的升 级完成之后，也需要切换控制逻辑。
14.第二课题是抑制为了更新而减少存储控制器数和物理端口数，使 得存储系统的性能和冗余性降低。但是，取决于硬件或软件的制约， 存储系统中能够连接的存储控制器数存在上限，在升级存储控制器时， 需要考虑能够连接的最大存储控制器数。
15.用于解决课题的技术方案
16.为了解决上述课题中的至少一项，示出本技术中公开的发明的代 表性的一例，如下所述。即，一种包括存储驱动器和多个存储控制部 的存储系统，其中所述存储驱动器具有用于保存数据的存储介质，所 述存储控制部具有处理器、存储器和端口，能够处理对所述存储驱动 器输入输出的数据，所述存储系统的特征在于：保存关于所述存储系 统中已安装的所述存储控制部的列表和所述存储系统中能够安装的所 述存储控制部的最大数的信息，在要更换所述存储控制部的情况下， 基于所述已安装的存储控制部的数量和所述能够安装的所述存储控制 部的最大数，来决定从要减设的存储控制部移动至增设的存储控制部 的结构是经由其他存储控制部移动还是直接移动。
17.发明效果
18.根据本发明的一个方式，在多控制器存储系统中，能够与所连接 的存储控制器数相应地，不间断且抑制冗余性和性能降低的影响地更 新至新硬件和新软件。
19.另外，在共用驱动器盒的情况下，能够将与旧存储控制器连接的 驱动器直接继承至新存储控制器。
20.上述以外的课题、结构和效果将通过以下实施例的说明而说明。
附图说明
21.图1是表示本发明的实施例1中的存储系统的结构的框图。
22.图2a是表示本发明的实施例1中的存储控制器数小于存储系统的 最大数时的、存储控制器的升级的流程的概要的说明图。
23.图2b是表示本发明的实施例1中的存储控制器数小于存储系统的 最大数时的、存储控制器的升级的流程的概要的说明图。
24.图2c是表示本发明的实施例1中的存储控制器数小于存储系统的 最大数时的、存储控制器的升级的流程的概要的说明图。
25.图2d是表示本发明的实施例1中的存储控制器数小于存储系统的 最大数时的、存储控制器的升级的流程的概要的说明图。
26.图2e是表示本发明的实施例1中的存储控制器数小于存储系统的 最大数时的、存储控制器的升级的流程的概要的说明图。
27.图3a是表示本发明的实施例1中的存储控制器数等于存储系统的 最大数时的、存储控制器的升级的流程的概要的说明图。
28.图3b是表示本发明的实施例1中的存储控制器数等于存储系统的 最大数时的、存储控制器的升级的流程的概要的说明图。
29.图3c是表示本发明的实施例1中的存储控制器数等于存储系统的 最大数时的、存储控制器的升级的流程的概要的说明图。
30.图3d是表示本发明的实施例1中的存储控制器数等于存储系统的 最大数时的、存
储控制器的升级的流程的概要的说明图。
31.图3e是表示本发明的实施例1中的存储控制器数等于存储系统的 最大数时的、存储控制器的升级的流程的概要的说明图。
32.图3f是表示本发明的实施例1中的存储控制器数等于存储系统的 最大数时的、存储控制器的升级的流程的概要的说明图。
33.图3g是表示本发明的实施例1中的存储控制器数等于存储系统的 最大数时的、存储控制器的升级的流程的概要的说明图。
34.图4是表示本发明的实施例1中的存储控制器具有的存储器的结 构的说明图。
35.图5是表示本发明的实施例1中的存储控制器的存储器内的程序 区域的结构的说明图。
36.图6是表示本发明的实施例1中的存储控制器的存储器内的共用 存储器的结构的说明图。
37.图7是表示本发明的实施例1中的存储控制器的存储器中保存的 硬件结构信息的结构的说明图。
38.图8是表示本发明的实施例1中的存储控制器的存储器中保存的 安装控制器管理信息的结构的说明图。
39.图9是表示本发明的实施例1中的存储控制器的存储器中保存的 lun结构信息的结构的说明图。
40.图10是表示本发明的实施例1中的存储控制器的存储器中保存的 fe端口结构信息的结构的说明图。
41.图11是表示本发明的实施例1中的存储控制器的存储器中保存的 继承管理信息的结构的说明图。
42.图12是表示本发明的实施例1中的存储控制器的存储器中保存的 控制逻辑版本管理信息的结构的说明图。
43.图13是表示本发明的实施例1中的存储控制器执行的控制器更新 处理的整体的流程图。
44.图14是表示本发明的实施例1中的、最大结构时的旧存储控制器 减设时的存储控制器执行的继承处理的流程图。
45.图15是表示本发明的实施例1中的、最大结构时的新存储控制器 增设后的存储控制器执行的继承处理的流程图。
46.图16是表示本发明的实施例1中的、小于最大结构时的新存储控 制器112增设后的存储控制器执行的继承处理的流程图。
47.图17是表示本发明的实施例1中的存储控制器执行的新控制器增 设处理的流程图。
48.图18是表示本发明的实施例1中的存储控制器执行的旧控制器减 设处理的流程图。
49.图19是表示本发明的实施例1中的存储控制器执行的cpu处理 控制权切换处理的流程图。
50.图20是表示本发明的实施例1中的存储控制器执行的fe端口切 换处理的流程图。
51.图21是表示本发明的实施例1中的存储控制器升级实施作业员执 行的新控制器增设作业流程的流程图。
52.图22是表示本发明的实施例1中的存储控制器升级实施作业员执 行的旧控制器减设作业处理流程的流程图。
53.图23是表示本发明的实施例1中的存储控制器执行的包括控制逻 辑切换判断处理的控制逻辑的流程图。
54.图24a是表示本发明的实施例1中的管理装置上显示的存储控制 器升级作业指示画面的说明图。
55.图24b是表示本发明的实施例1中的管理装置上显示的存储控制 器升级作业指示画面的说明图。
56.图24c是表示本发明的实施例1中的管理装置上显示的存储控制 器升级作业指示画面的说明图。
57.图25a是表示本发明的实施例2中的、升级前的存储系统中没有 安装互联端口和互联交换机的情况下的、存储控制器升级处理的流程 的概要的说明图。
58.图25b是表示本发明的实施例2中的、升级前的存储系统中没有 安装互联端口和互联交换机的情况下的、存储控制器升级处理的流程 的概要的说明图。
59.图25c是表示本发明的实施例2中的、升级前的存储系统中没有 安装互联端口和互联交换机的情况下的、存储控制器升级处理的流程 的概要的说明图。
60.图25d是表示本发明的实施例2中的、升级前的存储系统中没有 安装互联端口和互联交换机的情况下的、存储控制器升级处理的流程 的概要的说明图。
61.图26是表示本发明的实施例2中的存储控制器的存储器内的共用 存储器的结构的说明图。
62.图27是表示本发明的实施例2中的存储控制器的存储器中保存的 互联交换机安装管理信息的结构的说明图。
63.图28是表示本发明的实施例2中的存储控制器的存储器中保存的 连接目标主机信息的结构的说明图。
64.图29是表示本发明的实施例2中的存储控制器的存储器中保存的 驱动器盒结构信息的结构的说明图。
65.图30是表示本发明的实施例2中的存储控制器执行的控制器更新 处理的整体的流程图。
66.图31是表示本发明的实施例3中的存储控制器升级实施中的系统 结构的说明图。
67.图32a是表示本发明的实施例4中的、按存储控制器单位升级的 流程的概要的说明图。
68.图32b是表示本发明的实施例4中的、按存储控制器单位升级的 流程的概要的说明图。
69.图32c是表示本发明的实施例4中的、按存储控制器单位升级的 流程的概要的说明图。
具体实施方式
70.以下，基于附图说明本发明的实施例。在附图中，存在用相同的 编号表示功能上相同的要素的情况。附图示出了符合本发明的原理的 具体的实施方式和实施例。这些实施方式和实施例是用于理解本发明 的，并不用于限定性地解释本发明。
71.进而，本发明的实施方式如后所述，可以用在通用计算机上运行 的软件实现，也可以用专用硬件实现，或者也可以用软件与硬件的组 合实现。
72.以下存在以“程序”为主语(动作主体)对于本发明的实施方式 中的各处理进行说明的情况。程序通过由处理器执行而使用存储器和 通信端口(通信控制装置)进行规定的处理，所以也可以改为以处理 器为主语的说明。程序的一部分或全部可以用专用硬件实现，并且也 可以模块化。各种程序可以用程序发布服务器和存储介质安装至各计 算机。
73.以下说明中，“接口部”可以包括用户接口部和通信接口部中的至 少一者。用户接口部可以包括1个以上i/o设备(例如输入设备(例如 键盘和指点设备)和输出设备(例如显示设备))和显示用计算机中的 至少1个i/o设备。通信接口部可以包括1个以上通信接口设备。1个 以上通信接口设备可以是1个以上相同种类的通信接口设备(例如1 个以上nic(network interface card))，也可以是2个以上不同种类的 通信接口设备(例如nic和hba(host bus adapter))。
74.另外，以下说明中，“存储器部”包括1个以上的存储器。至少1 个存储器可以是易失性存储器，也可以是非易失性存储器。存储器部 主要在处理器部进行处理时使用。
75.另外，以下说明中，“处理器部”包括1个以上的处理器。至少1 个处理器典型而言是cpu(central processing unit)。
76.另外，以下说明中，“硬件加速器部”包括1个以上硬件集成电路。 至少1个硬件集成电路典型而言是fpga(field programmable gatearray)。
77.另外，以下说明中，有时用“xxx表”这样的表达说明信息，但信 息可以用任意数据结构表达。即，为了表示信息不依赖于数据结构， 能够将“xxx表”称为“xxx信息”。另外，以下说明中，各表的结构 是一例，1个表可以分割为2个以上表，2个以上表的全部或一部分也 可以是1个表。
78.另外，以下说明中，在不区分相同种类的要素进行说明的情况下， 使用参考符号中的共通符号，在区分相同种类的要素的情况下，有时 使用参考符号(或者要素的id(例如识别编号))。例如，在不区分多 个存储控制器的情况下，记载为“存储控制器102”，在区分各存储控 制器的情况下，像“存储控制器102a”、“存储控制器102b”这样记 载。其他要素(例如后述的存储节点101、前端网络端口103、cpu104、 存储器105、后端网络端口106、互联网络端口107、驱动器盒109、 主机计算机110等)也是同样的。
79.另外，以下说明中，“存储系统”包括1个以上的存储装置。至少 1个存储装置可以是通用的物理计算机。另外，至少1个存储装置可以 是虚拟的存储装置，可以执行sdx(software-defined anything)。作为 sdx，例如能够采用sds(software defined storage)(虚拟的存储装置 的一例)或sddc(software-defined datacenter)。
80.此处，说明用于解决上述2个课题的本发明的实施例的概要。
81.作为本发明的对象的存储系统，是为了冗余性而具有多个存储控 制器，相互用pcie或infiniband等宽带宽、低延迟的网络连接，相互 共享控制信息的紧密结合多控制器
系统。控制信息为了冗余化而保存 在2个以上控制器中。
82.说明解决第一课题的方法。为了不间断地实施存储控制器的升级， 不是全部存储控制器一齐置换为新存储控制器，而是暂时地存在旧存 储控制器和新存储控制器共存的状态。在此期间中，各存储控制器中 的软件以无论哪个存储控制器都能够运行的控制逻辑运行。之后，存 储控制器的升级逐次完成，全部存储控制器置换为新的之后，开始仅 能够在新存储控制器中运行的控制逻辑的运行。
83.说明解决第二课题的方法。旧存储系统具有将存储控制器之间连 接的互联连接，具有与旧存储控制器和新存储控制器中的任一者都能 够连接的互联网络端口。在更新时，如果当前的结构小于能够连接的 最大控制器数，则反复“增设新存储控制器之后、减设旧存储控制器
”ꢀ
这样的操作。另一方面，如果当前的结构是能够连接的最大控制器数， 则反复“减设旧存储控制器之后、增设新存储控制器”这样的操作。
84.旧存储控制器和新存储控制器使用网络端口连接。此时，网络端 口可以与存储控制器直接连接，也可以存在于fabric网络交换机中。 另外，保存存储装置的存储驱动器盒也同样地，具有能够与新存储控 制器连接的后端网络端口。与存储控制器连接时，也将驱动器盒与新 存储控制器之间连接，由此对于与旧存储控制器连接的存储装置，能 够不经由旧存储控制器地从新存储控制器访问。
85.在增设新存储控制器之后减设旧存储控制器的情况下，例如对于 旧存储控制器增设新存储控制器，形成1个多控制器存储系统。之后， 在处理和控制信息的迁移完成之后，停止旧存储控制器，减设旧存储 控制器。只要旧存储控制器存在就反复该过程。
86.另一方面，在减设旧存储控制器之后增设新存储控制器的情况下， 在存储系统内的旧存储控制器中，首先选择作为升级对象的，使处理 和与其他控制器共享的控制信息临时转移至剩余的其他存储控制器。 之后，停止、减设该旧存储控制器。通过这样，存储系统中成为能够 增设其他存储控制器的状态。之后，增设新存储控制器，将临时转移 至其他存储控制器的处理和控制信息迁移至增设的存储控制器。只要 有旧存储控制器残留就反复该过程。
87.由此，在存储系统的结构没有达到能够连接的存储控制器数的上 限的情况下，不减少存储控制器数和物理端口数地，完成存储的硬件 和软件的更新。另外，在存储系统的结构达到了连接控制器数的上限 的情况下，也抑制存储控制器数和物理端口数的减少地，完成存储的 硬件和软件的升级。
88.在新存储系统增设后的、多控制器存储系统结构中，在新存储控 制器内运行的新存储软件和在旧存储控制器内运行的旧软件经由存储 控制器间网络透明地访问共通的控制信息。另外，在控制器之间通信 地进行的处理中，新存储控制器中的软件以满足与旧存储控制器中的 软件的兼容性的方式运行。通过这样，对于存储系统中实施的各处理， 用旧控制器和新控制器中的任一者都能够实施，能够不停止i/o地逐渐 切换为用新存储控制器实施各处理。另外，对于进行升级中的维护的 用例和中断并恢复原本的状态的用例等，也能够灵活且迅速的应对。 同时，能够将更新前设定的lun等的结构信息、复制等状态和存储介 质的分层等中使用的访问频度信息等直接继承至用新控制器实施的处 理。
89.以下，基于附图说明用于解决上述课题的本发明的实施例。
90.【实施例1】
91.图1是表示本发明的实施例1中的存储系统的结构的框图。
92.本实施例的存储系统100具有多个存储控制器102和112、1个以 上的互联交换机108和1个以上的驱动器盒109。图1中，作为多个存 储控制器102和112的例子，示出存储控制器102a～102d和112a、 112b。其中，存储控制器102a～102d是之后要减设的旧存储控制器， 存储控制器102a和102b构成一个存储节点101a，存储控制器102c 和102d构成一个存储节点101b。另一方面，存储控制器112a和112b 是增设的新存储控制器，构成一个存储节点111a。
93.要减设的旧存储控制器102分别具有cpu104、存储器105、前端 网络端口(以下也记作fe端口)103、后端网络端口(以下也记作be 端口)106和互联网络端口(以下也记作ic端口)107。同样地，增设 的新存储控制器112分别具有cpu104、存储器105、fe端口103、be 端口106和ic端口107。
94.图1的例子中，一个存储控制器102具有一个cpu104、一个存储 器105、两个fe端口103、一个be端口106和一个ic端口107，但 这些数量只是一例，实际的数量是任意的。关于增设对象的存储控制 器，同样地各组件的实际的数量是任意的。另外，在这些组件之外， 也可以搭载fpga等硬件分流引擎。
95.fe端口103连接至网络交换机121。网络交换机121与1个以上 的主机计算机120(图1的例子中是主机计算机120a和120b)连接。 存储控制器102经由fe端口103和网络交换机121从主机计算机120 接收用户数据的写入和读取等命令，返回与其对应的回应。存储控制 器112也是同样的。
96.be端口106连接至驱动器盒109。存储控制器102经由be端口 106进行对驱动器盒109的用户数据的写入和读取等。存储控制器112 也是同样的。
97.驱动器盒109包括保存由主机计算机120写入的数据的存储介质。 该存储介质例如可以是磁盘或闪存等大容量的非易失性存储介质。
98.ic端口107连接至互联交换机108。互联交换机108与各存储控 制器102和112的ic端口107连接。存储控制器102经由ic端口107 和互联交换机108，与存储系统100内的其他存储控制器102通信，例 如能够发送接收控制信息等。存储控制器102与存储控制器112的通 信和存储控制器112之间的通信也是同样的。
99.cpu104通过执行存储器105中保存的程序，来实现存储控制器 102和112的各种功能。由cpu104实现的功能的详情在后文中叙述。
100.存储器105包括存储由cpu104执行的程序的区域、存储存储控 制器102和112的控制信息的区域、以及存储主机计算机120进行写 入或读取的对象的数据的区域等。这些区域的详情在后文中叙述。
101.进而，各存储控制器102和112经由管理网络123与管理装置122 连接。
102.接着，参考图2a至图2e和图3a至图3g，说明存储控制器102 的升级的流程。
103.图2a至图2e是表示本发明的实施例1中的存储控制器数小于存 储系统的最大数时的、存储控制器的升级的流程的概要的说明图。
104.图2a表示存储控制器102的升级开始前的存储系统100。此时， 存储系统100具有旧存储控制器102a～102d，不具有新存储控制器 112a和112b。此时，用四个存储控制器102a～102d确保了冗余性。
105.图2b表示存储节点101b的升级正在执行时、增设了新存储节点 111a之后的存储系统100。此时，存储系统100在旧存储控制器102a～ 102d之外，也具有增设的新存储控制器112a和112b。此时，用六个 存储控制器102a～102d和112a～112b确保了冗余性。
106.图2c表示存储节点101b的升级结束之后的存储系统100。此时， 旧存储控制器102c和102d已被减设，存储系统100具有旧存储控制 器102a、102b和新存储控制器112a、112b。此时，用四个存储控制 器102a、102b、112a和112b确保了冗余性。
107.图2d表示存储节点101a的升级正在执行时、增设了新存储节点 111b之后的存储系统100。此时，存储系统100在旧存储控制器102a～ 102b之外，也具有增设的新存储控制器112a～112d。此时，用六个 存储控制器102a～102b和112a～112d确保了冗余性。
108.图2e表示存储节点101a的升级结束之后的存储系统100。此时， 旧存储控制器102a和102b已被减设，存储系统100具有新存储控制 器112a～112d。此时，用四个存储控制器112a～112d确保了冗余性。
109.通过上述流程，即使在升级正在执行时，也确保与升级开始前和 结束后至少同等的冗余性。
110.图3a至图3g是表示本发明的实施例中的存储控制器数等于存储 系统的最大数时的、存储控制器的升级的流程的概要的说明图。
111.图3a表示存储控制器102的升级开始前的存储系统100。此时， 存储系统100具有旧存储控制器102a～102f，不具有新存储控制器 112。此时，用六个存储控制器102a～102f确保了冗余性。该图的例 子中，将存储系统内的存储控制器数的上限设为6，但实际的上限的数 量因存储系统而不同。
112.图3b表示存储节点101c的升级正在执行时、减设了旧存储节点 101c之后的存储系统100。此时，存储系统100具有旧存储控制器 102a～102d。此时，用四个存储控制器102a～102d确保了冗余性。
113.图3c表示存储节点101c的升级结束之后、即增设了新存储节点 111a之后的存储系统100。此时，存储系统100在旧存储控制器102a～ 102d之外，也具有增设的新存储控制器112a和112b。此时，用六个 存储控制器102a～102d和112a～112b确保了冗余性。
114.图3d表示存储节点101b的升级正在执行时、减设了旧存储节点 101b之后的存储系统100。此时，存储系统100具有旧存储控制器 102a、102b和新存储控制器112a、112b。此时，用四个存储控制器 102a、102b、112a和112b确保了冗余性。
115.图3e表示存储节点101b的升级结束之后、即增设了新存储节点 111b之后的存储系统100。此时，存储系统100在旧存储控制器102a、 102b之外，也具有增设的新存储控制器112a～112d。此时，用六个 存储控制器102a、102b和112a～112d确保了冗余性。
116.图3f表示存储节点101a的升级正在执行时、减设了旧存储节点 101c之后的存储系统100。此时，存储系统100具有新存储控制器 112a～112d。此时，用四个存储控制器112a～112d确保了冗余性。
117.图3g表示存储节点101a的升级结束之后、即增设了新存储节点 111c之后的存储系统100。此时，存储系统100在旧存储控制器102a、 102b之外，也具有增设的新存储控制器112a～112f。此时，用六个存 储控制器112a～112f确保了冗余性。
118.通过上述流程，在存储控制器数达到上限时执行升级的情况下， 在升级实施中，
与升级开始前相比抑制在相当于1个节点的冗余性降 低，在升级结束之后，确保与开始前同等的冗余性。
119.本实施流程中，将增设和减设的最小单位设为1个存储节点进行 了说明，但也可以实施存储节点内的、按1个控制器逐次的增设和减 设。
120.另外，本发明也能够应用于新存储控制器112与旧存储控制器102 是相同型号的情况等、为了升级以外的目的而替换存储控制器的情况。 但是，本实施例中，对于将旧存储控制器102升级为例如对其追加了 新功能的后续型号等不同品种的新存储控制器112用的替换进行说明。
121.接着，参考图4至图12，对于存储控制器102和112具有的存储 器105保存的信息进行说明。此处，例如说明存储控制器102的存储 器105保存的信息，但存储控制器112的存储器105也保存同样的信 息。
122.图4是表示本发明的实施例1中的存储控制器102所具有的存储 器105的结构的说明图。
123.存储器105包括程序区域401、本地存储器区域402、缓存存储器 区域403和共用存储器区域404作为存储区域。在程序区域401中， 保存由存储控制器102内的cpu104执行的控制程序。本地存储器区 域402包括实施控制程序时暂时使用的存储器区域和保存共用存储器 区域404中包括的控制信息的复制的区域。缓存存储器区域403是暂 时保存从主机计算机120写入的数据和被主机计算机120读取的数据 的区域。共用存储器区域404包括关于控制程序使用的存储系统100 的信息。共用存储器区域404是由全部存储控制器102和112共享的 唯一的信息，可以跨多个存储控制器102和112保存。另外，共用存 储器区域404为了对于存储控制器102、112和存储器105的耐故障性， 也可以在多个存储控制器之间冗余化。
124.图5是表示本发明的实施例1中的存储控制器102的存储器105 内的程序区域401的结构的说明图。
125.在程序区域401中，保存不间断控制器更新过程控制部501、处理 继承控制部502、控制器增设部503、控制器减设部504和i/o处理部 607。它们都是保存在存储器105中、由cpu104执行的程序。以下说 明中，上述各部执行的处理实际上由cpu104按照程序执行。
126.不间断控制器更新过程控制部501控制本实施例的存储控制器 102的替换的过程。处理继承控制部502进行从替换对象的存储控制器 102、将lun单位的处理控制权、fe端口的lun登记和共用存储器 中保存的数据继承至替换目标的存储控制器112的处理。控制器增设 部503进行新存储控制器112增设时的处理。控制器减设部504进行 旧存储控制器102减设时的处理。
127.控制逻辑切换部505在旧存储控制器102的升级完成、存储系统 内的全部存储控制器成为新存储控制器112之后，进行使控制逻辑切 换为新存储控制器112专用逻辑的处理。
128.图6是表示本发明的实施例1中的存储控制器102的存储器105 内的共用存储器区域404的结构的说明图。
129.在共用存储器区域404中保存硬件结构信息601、安装控制器管理 信息602、lun结构信息603、fe端口结构信息604、继承管理信息 605和控制逻辑版本管理信息606。它们的
详情在后文中叙述(参考图 7～图12)。
130.图7是表示本发明的实施例1中的存储控制器102的存储器105 中保存的硬件结构信息601的结构的说明图。
131.硬件结构信息601包括控制器id701、控制器版本信息702、安装 fe端口id703、安装be端口id704、安装cpuid705、安装互联端口 id706和安装存储器id707。
132.控制器id701是各存储控制器102的识别信息。控制器版本信息 702是与控制器id701对应的硬件的版本信息。由此，能够判别各存储 控制器是旧存储控制器还是新存储控制器。安装fe端口id703、安装 be端口id704、安装cpuid705、安装互联端口id706和安装存储器 id707分别是各存储控制器102中安装的fe端口103、be端口106、 cpu104、ic端口107和存储器105的识别信息。
133.图8是表示本发明的实施例1中的存储控制器102的存储器105 中保存的安装控制器管理信息602的结构的说明图。
134.安装控制器管理信息602包括安装控制器id列表801和可安装最 大控制器数802。安装控制器id列表801是存储系统100中安装的、 处于能够执行数据的输入输出(i/o)等处理的状态的存储控制器102 的识别信息的列表。可安装最大控制器数是存储系统100能够安装的 存储控制器数的上限值。图2a至图3g的例子中，可安装最大控制器 数802的值是“6”。
135.例如，如图2a所示在增设新存储控制器112a和112b之前的状 态下在安装控制器id列表801中保存旧存储控制器102a～102d的识 别信息。如图2b所示安装新存储控制器112a和112b而执行升级的 处理时在安装控制器id列表801中保存存储控制器102a～102d、112a 和112b的识别信息。如图2c所示在减设旧存储控制器102c和102d 之后的状态下在安装控制器id列表801中保存旧存储控制器102a、 102b、新存储控制器112a和112b的识别信息。
136.图9是表示本发明的实施例1中的存储控制器102的存储器105 中保存的lun结构信息603的结构的说明图。
137.lun结构信息603是表示各逻辑单元的结构的信息，对于一个逻 辑单元保存一个lun结构信息603。lun结构信息603包括 lunid901、已登记fe端口id列表902和控制权cpuid903。
138.lunid901是各逻辑单元的识别信息。fe端口id列表902是设定 了通向各逻辑单元的路径的fe端口的识别信息的列表。控制权 cpuid903是独占地访问关于对各逻辑单元的i/o处理的控制信息的 cpu104的识别信息。
139.各逻辑单元为了负荷分散和故障时的故障转移的目的，而与多个 不同的存储控制器下属的fe端口关联。
140.图10是表示本发明的实施例1中的存储控制器102的存储器105 中保存的fe端口结构信息604的结构的说明图。
141.fe端口结构信息604是表示各fe端口103的结构的信息。各存 储控制器102保存关于该存储控制器102所具有的全部fe端口的fe 端口结构信息604。fe端口结构信息604包括fe端口id1001、fe端 口地址1002和lunid列表1003。
142.fe端口id1001是各fe端口103的识别信息。fe端口地址1002 是对主机计算机120
提供的各fe端口103的识别信息。lunid列表
143.1004是识别设定了经由各fe端口通向主机计算机120的路径的逻辑
144.单元的信息的列表。对于一个fe端口103可以设定通向多个逻辑单元 的路径，该情况下，lunid列表1004保存多个值。
145.图11是表示本发明的实施例1中的存储控制器102的存储器105 中保存的继承管理信息605的结构的说明图。
146.继承管理信息605是表示从替换对象的旧存储控制器102继承至 替换目标的新存储控制器的对象的信息。该信息是在存储控制器的升 级处理中暂时生成的。继承管理信息605包括减设对象控制器id1101、 lun控制权信息1102、fe端口lun登记信息1103、共用存储器保存 信息1104、lun控制权移动目标信息1105、各fe端口移动目标lun 登记信息1106和共用存储器移动目标信息1107。
147.减设对象控制器id1101是表示替换实施中的旧存储控制器102的 识别信息。lun控制权信息1102是替换实施对象的旧存储控制器102 在替换开始前保存控制权的lun的列表。fe端口lun登记信息1103 是对于替换实施对象的旧存储控制器102的各fe端口103、在替换开 始前登记的lun的列表。共用存储器保存信息1104是表示替换实施 对象的旧存储控制器102的存储器105内保存的共用存储器的区域的 信息。
148.lun控制权移动目标信息1105表示在新存储控制器112增设前减 设旧存储控制器102时、暂时使lun控制权移动至的存储控制器。具 体而言，在lun控制权移动目标信息1105中，对于每个lun保存移 动目标的存储控制器信息。各fe端口移动目标lun登记信息1106表 示在新存储控制器112增设前减设旧存储控制器102时、暂时使lun 登记目标fe端口移动至的各fe端口的lun登记信息。登记目标的 fe端口可以按每个lun不同。共用存储器移动目标信息1107表示在 新存储控制器112增设前减设旧存储控制器102时、暂时使其移动的 共用存储器的移动目标存储控制器102(或112)。
149.图12是表示本发明的实施例1中的存储控制器102的存储器105 中保存的控制逻辑版本管理信息606的结构的说明图。
150.控制逻辑版本管理信息606是管理本发明的实施例1中的存储控 制器升级引起的控制逻辑切换的控制信息。控制逻辑版本管理信息606 包括逻辑种类id1201和控制逻辑版本信息1202。逻辑种类id1201是 表示作为切换对象的控制逻辑的识别信息。控制逻辑版本信息1202是 在控制逻辑切换的判断中使用的信息。
151.接着，对于存储控制器102和112执行的处理参考流程图进行说 明。以下处理是通过存储控制器102和112的cpu104执行存储器105 内的程序区域401中保存的程序而实现的。
152.另外，以下图13至图16的说明中，示出了旧存储控制器102中 的任一者执行的处理的例子，但已经增设了1个以上新存储控制器112 的情况下也可以由该新存储控制器112执行以下处理。特别是，存储 系统100中最后残留的旧存储控制器102是减设对象的处理，由新存 储控制器112执行。
153.图13是表示本发明的实施例1中的存储控制器执行的控制器更新 处理的整体的流程图。本实施例中，示出按存储节点单位进行更新的 处理流程。在按存储控制器单位进行更新的情况下也能够按同样的流 程实施。
154.首先，存储控制器102确定升级对象的节点(步骤1301)。接着， 存储控制器102参照安装控制器管理信息602，判断当前的结构是否是 最大结构(步骤1302)。如果已经是最大结构，则判断为按减设后增设 的流程升级存储控制器，前进至步骤1303。另外，如果存储控制器数 小于最大，则判断为按增设后减设的流程升级存储控制器，前进至步 骤1311。
155.在步骤1303中，从减设对象的存储控制器将lun的控制权、lun 的fe端口分配和保存的共用存储器信息临时转移至并非减设对象的 其他存储控制器102、112或跨其双方地临时转移。临时转移的信息保 存在继承管理信息405中。
156.接着，存储控制器102将减设对象的旧存储节点101减设(步骤 1304)。
157.接着，存储控制器102为了提示作业员进行设备的设置和线缆等 的配线，而在管理画面上显示旧存储节点101的减设作业和新存储节 点111的增设作业指示(步骤1305)，等待作业员的操作(步骤1306)。 管理画面例如是用管理装置122的显示装置(省略图示)显示的画面。 关于步骤1305中显示的画面的例子，参考图24a在后文中叙述。另外 关于步骤1306中执行的作业员的操作的详情，参考图21和图22在后 文中叙述。
158.接收作业员的操作后，存储控制器102开始新存储节点111的增 设处理(步骤1307)。
159.接着，存储控制器102使用继承管理信息405中保存的信息，使 lun控制权、各fe端口的lun分配、临时转移前存储控制器中配置 的共用存储器信息移动至增设的新存储控制器112(步骤1308)。接着 前进至步骤1309。
160.在步骤1309中，存储控制器102参照控制器版本信息702，判断 存储系统内是否残留有旧存储控制器102。残留有旧存储控制器102 的情况下，返回步骤1301。对新存储控制器112的置换全部完成之后， 前进至步骤1310。
161.在步骤1310中，存储控制器112更新控制逻辑版本管理信息406， 切换为仅能够在新存储控制器112中运行的控制逻辑。
162.从步骤1311到步骤1316是按增设存储控制器节点之后减设的流 程实施升级的处理流程。
163.在步骤1311中，存储控制器102为了提示作业员进行设备的设置 和线缆等的配线，而在管理画面上显示新存储节点111的增设作业指 示，接着，等待作业员的操作(步骤1312)。关于步骤1311中显示的 画面的例子，参考图24b在后文中叙述。另外，关于步骤1312中执行 的作业员的操作的详情，参考图21在后文中叙述。
164.接收作业员的操作后，存储控制器102开始新存储节点111增设 的增设处理(步骤1313)。
165.接着，存储控制器102使减设对象的存储控制器102中登记的lun 控制权、各fe端口的lun分配和减设对象的存储控制器102中配置 的共用存储器信息移动至增设的新存储控制器112(步骤1314)。
166.移动完成后，存储控制器102将减设对象的存储节点减设(步骤 1315)。接着，存储控制器102为了提示作业员进行设备和线缆的拆除， 而在管理画面上显示减设的旧存储节点101的减设作业指示(步骤 1316)。之后，前进至步骤1309。另外，接收步骤1316的指示，作业 员执行减设作业。关于步骤1316中显示的画面的例子，参考图24c在 后文中叙述。另外，关于步骤1316之后执行的减设作业的详情，参考 图22在后文中叙述。
167.图14是表示本发明的实施例1中的、最大结构时的旧存储控制器 102减设时的存储控制器102执行的继承处理(步骤1302)的流程图。
168.首先，存储控制器102选择减设对象的存储控制器102保存的各 fe端口103的lun登记信息的移动目标，登记在继承管理信息605 中(步骤1401)。此时，存储控制器102参照lun结构信息603，选 择包括已登记该lun的fe端口103的存储控制器102以外的存储控 制器102的fe端口，作为对于减设对象的存储控制器102保存的fe 端口103登记的lun的移动目标(即新的登记目标)。由此，避免在 存储控制器升级中失去冗余性。
169.但是，不存在包括已登记该lun的fe端口103的存储控制器102 以外的存储控制器102的情况下，在包括已登记该lun的fe端口103 的存储控制器102中，选择尚未登记该lun的fe端口103。这样的 fe端口103也不存在的情况下，也可以选择已登记该lun的fe端口 103。
170.接着，存储控制器102选择lun控制权的切换目标控制器，登记 在继承管理信息605中(步骤1402)。此时，存储控制器102可以参照 lun结构信息603，选择具有控制权的lun较少的存储控制器102作 为lun控制权的切换目标。由此，实现负荷分散。或者，存储控制器 102也可以选择包括登记了lun的fe端口103的存储控制器102作 为lun控制权的切换目标。由此，防止每当从主机计算机120访问时 发生存储控制器间通信、i/o性能降低。
171.接着，存储控制器102参照设定的继承管理信息605，实施lun 控制权的切换(步骤1403)。
172.接着，存储控制器102参照设定的继承管理信息605，对于对象的 fe端口103进行lun登记(步骤1404)。
173.lun控制权切换(步骤1403)和lun登记(步骤1404)可以对 各lun逐次地进行。
174.接着，存储控制器102判断减设对象存储控制器102内是否保存 了共用存储器区域404内的信息(步骤1405)。如果保存了共用存储器 区域404内的信息，则前进至步骤1406，如果不包括，则在继承管理 信息605的共用存储器保存信息1104中不登记任何信息并结束处理。
175.在步骤1406中，将减设对象存储控制器102内的共用存储器区域 404内的信息移动至并非减设对象的存储控制器102(或112)，将移动 目标存储控制器102(或112)和移动目标共用存储器区域404内的信 息登记在继承管理信息605的共用存储器移动目标信息1107和共用存 储器保存信息1104中。此时，为了不失去移动的共用存储器的冗余度， 存储控制器102选择不包括移动对象的共用存储器内信息的存储控制 器102(或112)作为移动目标。
176.最大结构时的旧存储控制器102减设时的存储控制器102执行的 继承处理完成。
177.图15是表示本发明的实施例1中的、最大结构时的新存储控制器 112增设后的存储控制器102执行的继承处理(步骤1308)的流程图。
178.首先，存储控制器102参照继承管理信息605，参照移动至增设的 存储控制器112的各fe端口103的lun登记信息(步骤1501)。接 着，参照继承管理信息605，选择将控制权移动至增设的存储控制器 112的lun(步骤1502)。
179.接着，存储控制器102将lun控制权切换至增设的存储控制器112 (步骤1503)。接着，存储控制器102对于增设的存储控制器112的 fe端口103进行lun登记(步骤1504)。接
着，存储控制器102参照 继承管理信息605，判断是否存在从减设对象存储控制器102内移动至 其他存储控制器102的共用存储器区域404内的信息(步骤1505)。如 果存在共用存储器区域404内的信息，则前进至步骤1506，如果不存 在则结束。
180.在步骤1506中，将从减设的存储控制器102临时转移的共用存储 器区域404内的信息移动至增设的存储控制器112。
181.以上，最大结构时的新存储控制器112增设后的存储控制器102 执行的继承处理完成。
182.图16是表示本发明的实施例1中的、小于最大结构时的新存储控 制器112增设后的存储控制器102执行的继承处理(步骤1314)的流 程图。
183.首先，存储控制器102参照减设对象的存储控制器的fe端口103 的lun登记信息，选择每个lun的登记继承目标fe端口103(步骤 1601)。接着，存储控制器102对于减设对象存储控制器102保存控制 权的lun，选择将控制权移动至的增设对象的存储控制器112。同时 存在多个增设和减设的存储控制器的情况下，以与登记了lun控制权 的存储控制器102对应的方式，选择移动目标的存储控制器112(步骤 1602)。
184.接着，存储控制器102将lun控制权切换至增设的存储控制器112 (步骤1603)。接着，存储控制器102对于增设的存储控制器112的 fe端口103进行lun登记(步骤1604)。步骤1603和步骤1604可以 按每个lun逐次地实施。
185.接着，存储控制器102判断减设对象存储控制器102内是否包括 共用存储器区域404内的信息(步骤1605)。如果存在共用存储器区域 404内的信息，则前进至步骤1606，如果不存在则结束。
186.在步骤1606中，存储控制器102从减设对象的存储控制器102将 共用存储器区域404内的信息移动至增设的存储控制器112。
187.以上，小于最大结构时的新存储控制器112增设后的存储控制器 102执行的继承处理完成。
188.图17是表示本发明的实施例1中的存储控制器102和112执行的 新控制器增设处理的流程图。
189.首先，增设对象的新存储控制器112取得本存储控制器112的硬 件结构信息(步骤1701)。具体而言，新存储控制器112从本存储控制 器112内的fe端口103、cpu104、存储器105、be端口106和ic端 口107等硬件构成要素取得相当于硬件结构信息601的各项目的信息。
190.接着，新存储控制器112设定硬件结构信息(步骤1702)。具体而 言，存储控制器112将步骤1701中取得的信息作为硬件结构信息601 保存在存储器105中。
191.接着，执行本处理时存储系统100中运转的各存储控制器102和 112，登记为增设方cpu能够进行处理(步骤1703)。由此，在存储系 统100内的各存储控制器102和112保存的安装控制器管理信息602 的安装控制器id列表801中追加该增设对象的新存储控制器112的识 别信息。
192.以上，新控制器增设处理结束。
193.图18是表示本发明的实施例1中的存储控制器102执行的旧控制 器减设处理的流程图。
194.首先，旧存储控制器102进行缓存存储器区域403中的数据的丢 弃或离台(步骤1801)。具体而言，旧存储控制器102中，如果缓存存 储器区域403中的数据已保存在驱动器盒109内的存储区域中，则从 缓存存储器区域403中删除该数据，如果尚未保存在驱动器盒109内 的存储区域中，则将该数据保存在驱动器109内的存储区域中之后从 缓存存储器区域403中删除该数据。
195.接着，旧存储控制器102停止接收新处理(步骤1802)。
196.接着，旧存储控制器102等待已接收的起动中的处理停止(步骤 1803)。
197.接着，执行本处理时存储系统100中运转的各存储控制器102和 112为了反映旧存储控制器102的减设，而更新硬件结构信息601(步 骤1804)。另外，此处，从各存储控制器102和112保存的安装控制器 管理信息602的安装控制器id列表801中删除该减设的旧存储控制器 102的识别信息。
198.以上，旧控制器减设处理结束。
199.图19是表示本发明的实施例1中的存储控制器102和112执行的 cpu处理控制权切换处理的流程图。
200.首先，减设对象的旧存储控制器102停止从主机计算机120接收 新i/o处理(步骤1901)。
201.接着，旧存储控制器102等待已接收并持续中的i/o处理完成(步 骤1902)。
202.持续中的i/o处理完成时，各存储控制器102和112设定控制权 cpu的移动(步骤1903)。具体而言，将与控制权移动对象的逻辑单 元对应的lun结构信息603的控制权cpuid903的值更改为控制权移 动目标的存储控制器102的cpu104的识别信息。例如如果移动源是 存储控制器102a、移动目标是存储控制器102c，则将控制权cpuid903 的值从存储控制器102a的cpu104的识别信息更改为存储控制器 102c的cpu104的识别信息。
203.以上，cpu处理控制权切换处理结束。
204.图20是表示本发明的实施例1中的存储控制器102和112执行的 fe端口切换处理的流程图。
205.首先，各存储控制器102和112对于fe端口103设定lun登记 信息(步骤2001)。具体而言，各存储控制器102和112更新lun结 构信息603的已登记feportid列表902和feport结构信息604的 lunid列表1003。
206.接着，从变更了lun登记信息的fe端口103对主机计算机120 发送结构变更通知(步骤2002)，判断是否从主机计算机120接收了查 询(inquiry)(步骤2003)。
207.在没有从主机计算机120接收查询的情况下，因为不能确认通向 主机计算机120的连接，所以该存储控制器102(或112)使fe端口 切换处理中断，经由管理网络123对管理装置122发送处理失败和失 败的fe端口103的端口id(步骤2004)。
208.在从主机计算机120接收了查询的情况下，fe端口切换处理结束。
209.图21是表示本发明的实施例1中的存储控制器升级实施作业员执 行的新控制器增设作业流程的流程图。
210.首先，作业员将新存储节点111设置在机架上(步骤2101)。
211.接着，作业员将各种线缆配线至新存储控制器112的fe端口103、 be端口106和ic端口107(步骤2102)。此时，连接至与该新存储控 制器112的替换对象的旧存储控制器的各
线缆连接至的网络相同的网 络。因相同网络中没有空闲端口等理由而不能连接至相同网络的情况 下，事先将该新存储控制器112的替换对象的旧存储控制器102的fe 端口103、be端口106和ic端口107上连接的各种线缆从连接目标端 口上拔出，使其能够从增设的存储控制器连接。
212.接着，作业员使新存储控制器112的电源on(步骤2103)。电源 操作可以用存储控制器主体上附带的按钮操作，也可以从管理装置122 操作。
213.最后，作业员从管理装置122进行增设新存储节点的操作(步骤 2104)。
214.以上，进行新控制器增设的作业员的实施流程结束。
215.图22是表示本发明的实施例1中的存储控制器升级实施作业员执 行的旧控制器减设作业处理流程的流程图。
216.作业员用管理装置122确认存储节点减设指示的画面之后，首先 使旧控制器的电源off(步骤2201)。具体而言，作业员可以用存储控 制器102附带的电源按钮操作，也可以操作管理装置122。接着，作业 员拆除连接至旧存储控制器102的线缆(步骤2202)。
217.最后，作业员从机架上拆除旧存储节点101(步骤2203)。
218.以上，进行旧控制器减设的作业员的实施流程结束。
219.图23是表示本发明的实施例1中的存储控制器执行的包括控制逻 辑切换判断处理的控制逻辑的流程图。
220.图23所示的处理，由构成存储系统100的旧存储控制器102和新 存储控制器112分别执行。例如，在存储控制器的升级开始时，存储 系统100内的全部存储控制器都是旧存储控制器102的情况下，各个 旧存储控制器102分别执行图23所示的处理。在升级中旧存储控制器 102和新存储控制器112同时存在的情况下，各个旧存储控制器102和 新存储控制器112分别执行图23所示的处理。存储控制器的升级结束， 存储系统100内的全部存储控制器都是新存储控制器112的情况下， 各个新存储控制器112分别执行图23所示的处理。此处，例如设为新 存储控制器112执行的处理进行说明。
221.首先，在存储控制器112中，执行某一新/旧硬件版本共通逻辑a (步骤2301)。接着，存储控制器112在根据硬件版本实施变更行为的 处理之前，从控制逻辑版本管理信息406参照对应的逻辑种类的控制 逻辑版本信息1202，判断控制逻辑版本是否已成为支持新存储控制器 的(步骤2302)。支持的情况下前进至步骤2303，不支持的情况下前 进至步骤2305。
222.在步骤2303中，存储控制器112按新存储控制器专用逻辑实施处 理。之后，前进至步骤2304的新/旧共通控制逻辑b。
223.在步骤2305中，存储控制器112按与旧存储控制器的兼容逻辑实 施处理。之后，前进至步骤2304的新/旧共通控制逻辑b。
224.在步骤2304中，存储控制器112执行新/旧共通控制逻辑b。
225.旧存储控制器102执行的处理也与上述相同。但是，存储系统100 内至少残留有一个旧存储控制器102的情况下，控制逻辑版本不会支 持新存储控制器。因此，旧存储控制器102不会执行步骤2303。
226.这样，避免在存储系统100内的全部存储控制器的升级完成之前， 一部分新存储控制器112实施与旧存储控制器102没有兼容性的处理。
227.作为根据硬件的版本变更行为的处理，例如存在压缩或加密算法 等、cpu处理负荷高、不是最新硬件的高性能的cpu的情况下为了防 止性能降低而不希望其工作的处理等。另外，认为也存在即使硬件的 性能和软件兼容性没有问题、也想要明确地定义作为产品型号能够实 现的功能和性能的情况。即，新存储控制器专用逻辑可以是仅能够用 新存储控制器112执行的控制逻辑，但不限定于此，也可以是用新存 储控制器112和旧存储控制器102都能够执行但不用旧存储控制器102 执行的控制逻辑。
228.图24a至图24c是表示本发明的实施例1中的管理装置上显示的 存储控制器升级作业指示画面的说明图。
229.图24a是升级前存储控制器数为存储系统最大数、增设新节点之 前显示的画面的一例。
230.图24a所示的画面2401例如在图13的步骤1305中由管理装置 122的显示装置(省略图示)显示。画面2401包括表示减设旧存储节 点之后增设新存储节点的流程的信息、指定减设对象的存储节点的信 息、指示减设所指定的存储节点和增设新存储节点的信息、和执行按 钮2402。作业员按此将减设对象的旧存储节点减设(参考图23)、增 设新存储节点(参考图22)并操作执行按钮2402时，步骤1307以后 的处理执行。
231.图24b是升级前存储控制器数小于存储系统最大数时、增设新节 点之前显示的画面的一例。
232.图24b所示的画面2403例如在图13的步骤1311中由管理装置 122的显示装置(省略图示)显示。画面2403包括表示增设新存储节 点之后减设旧存储节点的流程的信息、指示增设新存储节点的信息和 执行按钮2404等。作业员按此增设新存储节点(参考图22)并操作执 行按钮2404时，步骤1313以后的处理执行。
233.图24c是升级前存储控制器数小于存储系统最大数时、减设旧存 储节点之前显示的画面的一例。
234.图24c所示的画面2405例如在图13的步骤1316中由管理装置 122的显示装置(省略图示)显示。画面2405包括表示增设新存储节 点之后减设旧存储节点的流程的信息、指定减设对象的存储节点的信 息、指示减设指定的存储节点的信息和确认按钮2406等。作业员按此 减设旧存储节点(参考图23)并操作确认按钮2406时，管理装置122 和存储系统100识别出减设对象的旧存储节点已被拆除。
235.【实施例2】
236.接着，示出本发明的实施例2。除以下说明的不同点之外，实施例 2的系统的各部具有与图1～图24c所示的实施例1的附加了相同附图 标记的各部相同的功能，所以省略其说明。
237.图25a至图25d是本发明的实施例2中的、升级前的存储系统中 没有安装互联端口107和互联交换机108的情况下的、存储控制器升 级处理的流程的概要的说明图。
238.图25a表示存储控制器102的升级开始前的存储系统100。此时， 存储系统100具有旧存储控制器102a和102b，不具有新存储控制器 112a和112b。此时，用两个存储控制器102a和102b确保了冗余性。 另外，此时，旧存储控制器102a和102b不具有互联端口107，存储 系统100不具有互联交换机108。
239.图25b表示存储节点101a的升级正在执行时、增设了互联端口 107和互联交换机
108之后的存储系统100。
240.图25c表示存储节点101a的升级正在执行时、增设了新存储节 点111a之后的存储系统100。此时，存储系统100在旧存储控制器102a 和102b之外，也具有增设的新存储控制器112a和112b。此时，用四 个存储控制器102a～102b和112a～112b确保了冗余性。
241.图25d表示存储节点101a的升级结束之后的存储系统100。此时， 旧存储控制器102a～102b、互联端口107和互联交换机108已被减设， 存储系统100具有新存储控制器112a和112b。此时，用两个存储控 制器112a和112b确保了冗余性。
242.图26是表示本发明的实施例2中的存储控制器102的存储器105 内的共用存储器区域404的结构的说明图。
243.在共用存储器404中，保存硬件结构信息601、安装控制器管理信 息602、lun结构信息603、fe端口结构信息604、继承管理信息605、 控制逻辑版本管理信息606、互联交换机安装管理信息607、连接目标 主机信息608和驱动器盒结构信息609。
244.图27是表示本发明的实施例2中的存储控制器102的存储器105 中保存的互联交换机安装管理信息607的结构的说明图。
245.互联交换机安装管理信息607包括互联交换机是否安装信息 2701。用互联交换机是否安装信息2701管理存储系统中是否安装了互 联交换机108。
246.图28是表示本发明的实施例2中的存储控制器102的存储器105 中保存的连接目标主机信息608的结构的说明图。
247.连接目标主机信息608包括feportid2801和连接目标主机端口识 别信息列表2801。feportid2801是feport的识别信息。连接目标主机 端口识别信息列表2802是对于该feportid定义了lun的主机端口识 别信息的列表。
248.图29是表示本发明的实施例2中的存储控制器102的存储器105 中保存的驱动器盒结构信息609的结构的说明图。
249.驱动器盒结构信息609包括驱动器盒位置2901、驱动器盒种类 2902和驱动器盒端口数2903。驱动器盒位置2901表示存储系统100 中的驱动器盒的搭载位置。用该信息管理各驱动器盒与存储控制器是 经由be端口直接连接、还是经由其他驱动器盒连接。驱动器盒种类 2902表示驱动器盒的种类。用驱动器盒的种类识别通信协议、可搭载 驱动器数、可搭载驱动器种类等。驱动器盒端口数2903表示驱动器盒 中搭载的驱动器盒端口数。
250.另外，关于驱动器盒的端口数和搭载位置的例子，在后述的实施 例3中进行说明。
251.图30是表示本发明的实施例2中的存储控制器102执行的控制器 更新处理的整体的流程图。
252.首先，存储控制器102确定升级对象的节点(步骤3001)。接着， 存储控制器102参照硬件结构信息601和互联交换机安装管理信息 607，判断是否安装了互联端口107和互联交换机108(步骤3002)。 如果互联端口107和互联交换机108都已安装，则前进至步骤3006。 如果互联端口107和互联交换机108中的至少一者未安装，则前进至 步骤3003。
253.在步骤3003中，为了提示作业员进行互联端口107和互联交换机 108的增设，而在管理画面上显示互联端口107和互联交换机108的增 设作业指示，在步骤3004中等待作业员的操作指示。
254.接收作业员的操作后，存储控制器102实施互联端口107和互联 交换机108的增设
处理(步骤3005)。
255.在步骤3006中，存储控制器102为了提示作业员进行设备的设置 和线缆等的配线，而在管理画面上显示旧存储节点101的减设作业和 新存储节点111的增设作业指示，等待作业员的操作(步骤3007)。
256.接收作业员的操作后，存储控制器102开始新存储节点111的增 设处理(步骤3008)。
257.接着，存储控制器102将各fe端口的lun分配追加至增设的新 存储控制器112(步骤3009)。
258.接着，存储控制器102为了提示作业员和用户进行主机路径设定 变更，而在管理画面上显示主机多路径追加指示(步骤3010)，等待作 业员的操作。主机多路径追加完成时，各lun成为能够通过旧存储控 制器102和新存储控制器112两者的fe端口进行访问的状态。
259.接着，存储控制器102使lun的控制权和共用存储器信息移动至 新存储控制器112(步骤3011)。
260.接着，存储控制器102为了对作业员提示确认与连接至旧存储控 制器102的fe端口103的主机路径对应的多路径已连接至新存储控制 器112的fe端口113，而在管理画面上显示连接目标主机端口列表(步 骤3012)，等待作业员的操作(步骤3013)。
261.接收作业员的操作后，存储控制器102开始旧存储控制器102的 减设作业(步骤3014)。接着，存储控制器102为了提示作业员进行机 器和线缆的拆除，而在管理画面上显示减设的旧存储节点101的减设 作业指示(步骤3015)。之后，前进至步骤3016。另外，接收步骤3015 的指示，作业员执行减设作业。
262.在步骤3016中，存储控制器102参照控制器版本信息702，判断 存储系统内是否残留有旧存储控制器102。残留有旧存储控制器102 的情况下，返回步骤3001。对新存储控制器112的置换全部完成之后， 前进至步骤3017。
263.在步骤3017中，存储控制器112更新控制逻辑版本管理信息406， 切换为仅能够在新存储控制器112中运行的控制逻辑。
264.【实施例3】
265.接着，示出本发明的实施例3。除以下说明的不同点之外，实施例 3的系统的各部具有与图1～图30所示的实施例1～实施例2的附加了 相同附图标记的各部相同的功能，所以省略其说明。
266.图31是表示本发明的实施例3中的存储控制器升级实施中的系统 结构的说明图。
267.图31中，与图25c同样地，示出了增设新存储节点111a之后的 状态。但是，与图25c所示的结构相比，本实施例的存储系统100中， 追加了少端口驱动器盒130。另外，为了说明，将用线缆连接驱动器盒 109、少端口驱动器盒130、存储控制器102和112用的、驱动器盒和 少端口驱动器盒一方的端口称为驱动器盒端口131。
268.以上实施例中，前提都是驱动器盒109能够从两个以上存储节点 111的各存储控制器112等连接。即，需要接收来自存储控制器112的 用户数据的写入请求和读取请求的四个以上驱动器盒端口131。另外， 驱动器盒109需要与其他驱动器盒连结，逐渐扩展存储系统100的搭 载驱动器数，所以进一步需要驱动器端口131。
269.此处，为了说明，在驱动器盒(例如驱动器盒109和少端口驱动 器盒130)具有的多个驱动器盒端口131中，将接收来自存储控制器 112等的用户数据的写入请求和读取请求的记作输入用驱动器盒端口 131，将为了扩展搭载驱动器盒数而与其他驱动器盒连接的记作输出用 驱动器盒端口131。各驱动器盒的输入用驱动器盒端口131与存储控制 器112等的be端口106连接，或者与在该驱动器盒与存储控制器112 等之间设置的其他驱动器盒的输出用驱动器盒端口131连接。
270.但是，驱动器盒中，存在仅安装了相当于一个存储节点的输入用 驱动器盒端口的驱动器盒。另外，驱动器盒端口数少的驱动器盒一般 而言更廉价。本实施例中将这样仅安装了相当于一个存储节点的输入 用驱动器盒端口(例如两个驱动器盒端口)的驱动器盒称为少端口驱 动器盒。另一方面，少端口驱动器盒以外的驱动器盒中，安装了比一 个存储节点更多数量的输入用驱动器盒端口(例如四个以上输入用驱 动器盒端口)。
271.为了使用少端口驱动器盒130应用本发明，如图31所示，采用对 于存储控制器102和112连接具有能够与四个控制器以上连接的驱动 器盒端口数的驱动器盒109、使该驱动器盒109与少端口驱动器盒130 连结的结构。
272.即，驱动器盒109的存储控制器方的驱动器盒端口接收来自存储 控制器102和112的用户数据的写入请求和读取请求，少端口驱动器 盒130的存储控制器方的驱动器盒端口(即输入用驱动器盒端口131) 经由驱动器盒109接收来自存储控制器102和112的用户数据的写入 请求和读取请求。
273.控制器升级的处理方式是与其他实施例共通的，所以省略说明。
274.【实施例4】
275.接着，示出本发明的实施例4。除以下说明的不同点之外，实施例 4的系统的各部具有与图1～图31所示的实施例1～实施例3的附加了 相同附图标记的各部相同的功能，所以省略其说明。
276.图32a～图32c是表示本发明的实施例4中的、按存储控制器单 位升级的流程的概要的说明图。
277.图32a表示存储控制器102的升级开始前的存储系统100。此时， 存储系统100具有旧存储控制器102a～102d，不具有新存储控制器 112a和112b。此时，用四个存储控制器102a～102d确保了冗余性。
278.图32b表示存储节点101b的升级正在执行时、减设了存储节点 101b内的存储控制器102d之后的存储系统100。此时，存储系统100 具有旧存储控制器102a～102c，不具有新存储控制器112a和112b。 此时，用三个存储控制器102a～102c确保了冗余性。
279.图32c表示存储节点101b的升级正在执行时、在新存储节点11a 内增设了新存储控制器112b之后的存储系统100。这是旧存储控制器 112d被更新为新存储控制器112b后的状态。曾连接至旧存储控制器 112d的fe端口103、be端口106和ic端口107的线缆，分别连接 至新存储控制器112b的各端口。此时，存储系统100具有旧存储控制 器102a～102c和新存储控制器112b，不具有新存储控制器112a。此 时，用四个存储控制器102a～102c和112b确保了冗余性。
280.此后，反复进行减设一个旧存储控制器、增设一个对应的新存储 控制器的流程，存储系统内不再存在旧存储控制器之后存储控制器升 级处理完成。
281.例如，在图32c所示的状态的存储系统100中，减设旧存储控制 器102c，增设对应的新存储控制器112a。进而，对于旧存储控制器 102b和102a也反复与上述相同的流程，由此将全部旧存储控制器102 升级为新存储控制器112。
282.另外，本发明的实施方式的系统也可以构成为如下所述。
283.(1)一种包括存储驱动器(例如驱动器盒109)和多个存储控制 器(例如存储控制器102和112中的至少一者)的存储系统(例如存 储系统100)，其中所述存储驱动器具有保存数据的存储介质，所述存 储控制器具有处理器(例如cpu104)、存储器(例如存储器105)和 端口(例如fe端口103、be端口106和ic端口107)，能够处理对存 储驱动器输入输出的数据，所述存储系统保存关于存储系统中已安装 的存储控制部的列表(例如安装控制器id列表801)和存储系统中能 够安装的存储控制部的最大数(例如可安装最大控制器数802)的信息， 在要更换存储控制部的情况下，基于已安装的存储控制部的数量和能 够安装的存储控制部的最大数，来决定从要减设的存储控制部移动至 增设的存储控制部的结构是经由其他存储控制部移动还是直接移动 (例如步骤1302～1308、1311～1316)。
284.由此，能够与连接的存储控制部的数量相应地，不间断且抑制冗 余性和性能降低的影响地更换硬件。
285.(2)在上述(1)中，在已安装的存储控制部的数量是能够安装 的最大数的情况下，使存储控制部的结构经由其他存储控制部移动(例 如步骤1303～1308)，在已安装的存储控制部的数量小于能够安装的最 大数的情况下，使存储控制部的结构从要减设的存储控制部直接移动 至增设的存储控制部(例如步骤1311～1316)。
286.由此，能够与连接的存储控制部的数量相应地，不间断且抑制冗 余性和性能降低的影响地更换硬件。
287.(3)在上述(2)中，对存储驱动器的记录区域进行数据输入输 出的控制权被设定于存储控制部，具有控制权的存储控制部具有用于 访问控制权所涉及的存储区域的控制信息和端口设定信息，移动的结 构是控制权、控制信息和端口设定信息(例如lun结构信息603和fe 端口结构信息604等)。
288.由此，能够与连接的存储控制部的数量相应地，不间断且抑制冗 余性和性能降低的影响地更换硬件。
289.(4)在上述(3)中，在存储控制部的存储器中保存有与控制权 相关联的数据，移动的结构中包括与控制权相关联的存储器内的数据。
290.由此，能够与连接的存储控制部的数量相应地，不间断且抑制冗 余性和性能降低的影响地更换硬件。
291.(5)在上述(4)中，更换后的存储控制部能够执行第一控制程 序和第二控制程序，更换前的存储控制部至少能够执行所述第二控制 程序，在存储系统内的全部存储控制部都是更换后的存储控制部的情 况下，使用第一控制程序来处理对存储驱动器输入输出的数据(例如 步骤2303)，在存储系统内的至少一个存储控制部是更换前的存储控制 部的情况下，使用第二控制程序来处理对存储驱动器输入输出的数据 (例如步骤2305)。
292.由此，能够不间断且抑制冗余性和性能降低的影响地，更新为与 更换后的硬件对应的软件。另外，对于存储系统中实施的各处理，能 够用更换前后的存储控制部的任意一方实施，能够不停止i/o地切换为 用更换后的存储控制部实施各处理。
293.(6)在上述(5)中，减设更换前的存储控制部的处理包括将减 设对象的存储控制部的存储器的缓存区域的数据保存在存储驱动器中 的处理、变更端口以使减设对象的存储控制部停止接收访问请求的处 理、以及更新存储器内的硬件结构信息以反映减设对象的存储控制部 的减设而的处理(例如步骤1304、1315、1808～1804)，增设存储控制 部的处理包括更新存储器内的硬件结构信息以反映存储控制部的增设 的处理(例如步骤1307、1313、1701～1703)。
294.由此，能够将存储控制部更新为新硬件。
295.(7)在上述(6)中，各存储控制部提供主机计算机用于进行数 据输入输出的端口和逻辑单元，逻辑单元与端口相关联，在存储系统 中安装的存储控制部的数量是最大数的情况下，在减设减设对象的存 储控制部的处理中，执行选择减设对象的旧存储控制部以外的任意个 存储控制部的端口、并将与减设对象的存储控制部的端口相关联的逻 辑单元关联于所述选择的端口的处理(例如步骤1303、1401～1406)， 在增设存储控制部的处理中，执行将与选择的端口相关联的逻辑单元 关联于增设的存储控制部的端口的处理(例如步骤1308、1501～1506)， 在存储系统中安装的存储控制部的数量小于最大数的情况下，在增设 存储控制部并减设减设对象的旧存储控制部的处理中，执行将与减设 对象的存储控制部的端口相关联的逻辑单元关联于增设的存储控制部 的端口的处理(例如步骤1314、1601～1606)。
296.由此，更换前设定的逻辑单元等的结构信息被继承至更换后的存 储控制部，能够将与更换前的存储控制部连接的驱动器直接继承至更 换后的存储控制部。
297.(8)在上述(7)中，选择的端口是不同于第一存储控制部的存 储控制部所具有的端口，该第一存储控制部具有减设对象的存储控制 部的端口所关联的逻辑单元已关联的端口。
298.由此，防止在存储控制部的更新执行中冗余性降低。
299.(9)在上述(2)中，在已安装的存储控制部的数量小于能够安 装的最大数的情况下，多次反复下述操作来更换多个存储控制部：将 存储控制部增设至最大数以下，使存储控制部的结构从要减设的存储 控制部移动至增设的存储控制部，并且减设存储控制部。
300.由此，能够与连接的存储控制部的数量相应地，不间断且抑制冗 余性和性能降低的影响地更换硬件。
301.(10)在上述(1)中，在执行存储控制部的增设和减设之前，判 断要减设的存储控制部中是否安装了用于与其他存储控制部之间的通 信的互联端口(例如互联端口107)，在没有安装互联端口的情况下， 输出指示互联端口的安装作业的信息(例如步骤3003)，在安装了互联 端口的情况下，经由所安装的互联端口从要减设的存储控制部移动至 增设的存储控制部，来更换存储控制部。
302.由此，在不具有多个存储节点(从而在通常应用时不需要互联端 口)的存储系统中，也能够实现不间断且抑制冗余性和性能降低的影 响的硬件更换。
303.(11)在上述(1)中，在执行存储控制部的增设和减设之前，判 断是否安装了用于与存储控制部之间的通信的互联交换机(例如互联 交换机108)，在没有安装互联交换机的情况下，输出指示互联交换机 的安装作业的信息(例如步骤3003)，在安装了互联交换机的情况下， 经由所安装的互联交换机从要减设的存储控制部移动至增设的存储控 制部，来
更换存储控制部。
304.由此，在不具有多个存储节点(从而在通常应用时不需要互联交 换机)的存储系统中，也能够实现不间断且抑制冗余性和性能降低的 影响的硬件更换。
305.(12)在上述(1)中，存储控制部提供主机计算机进行数据输入 输出的端口和逻辑单元，逻辑单元与端口关联，在执行从要减设的存 储控制部向增设的存储控制部的移动之后，在将要减设的存储控制部 减设之前，输出对于增设的存储控制部的端口定义了逻辑单元的主机 计算机的端口的列表(例如步骤3012)。
306.由此，能够确认多路径已追加，可靠地实现不间断且抑制冗余性 和性能降低的影响的硬件更换。
307.(13)在上述(1)中，安装了各自包括1个以上的存储驱动器的 多个驱动器盒，多个驱动器盒中分别安装了能够接收来自存储控制部 的用户数据的写入请求和读取请求的驱动器盒端口(例如驱动器盒端 口131)，多个驱动器盒包括第一驱动器盒(例如少端口驱动器盒130) 和安装了比第一驱动器盒多的驱动器盒端口的第二驱动器盒(例如驱 动器盒109)，多个驱动器盒以第二驱动器盒的驱动器盒端口接收来自 存储控制部的用户数据的写入请求和读取请求、第一驱动器盒的驱动 器盒端口经由第二驱动器盒接收来自存储控制器的用户数据的写入请 求和读取请求的方式安装。
308.由此，在使用廉价的驱动器盒的系统中，也能够实现不间断且抑 制冗余性和性能降低的影响的硬件更换。
309.另外，本发明不限定于上述实施例，包括各种变形例。例如，上 述实施例是为了更好地理解本发明而详细说明的，并不限定于必须具 备说明的全部结构。另外，能够将某个实施例的结构的一部分置换为 其他实施例的结构，也能够在某个实施例的结构上添加其他实施例的 结构。另外，对于各实施例的结构的一部分，能够追加、删除、置换 其他结构。
310.另外，对于上述各结构、功能、处理部、处理单元等，例如可以 通过在集成电路中设计等而用硬件实现其一部分或全部。另外，上述 各结构、功能等，也可以通过处理器解释、执行实现各功能的程序而 用软件实现。实现各功能的程序、表、文件等信息，能够保存在非易 失性半导体存储器、硬盘驱动器、ssd(solid state drive)等存储设备、 或者ic卡、sd卡、dvd等计算机可读取的非暂时性的数据存储介质 中。
311.另外，控制线和信息线示出了认为说明上必要的，并不一定示出 了产品上全部的控制线和信息线。实际上也可以认为几乎全部结构都 相互连接。
312.附图标记说明
313.100 存储系统
314.101a～101c、111a～111c 存储节点
315.102a～102f、112a～112f 存储控制器
316.103 前端网络端口(fe端口)
317.104 cpu
318.105 存储器
319.106 后端网络端口(be端口)
320.107 互联网络端口(ic端口)
321.108 互联交换机
322.109 驱动器盒
323.120a、120b 主机计算机
324.121 网络交换机
325.122 管理装置
326.123 管理网络。