异步远程复制系统及其控制方法

专利名称：异步远程复制系统及其控制方法
技术领域：
本发明总的涉及使用存储系统的远程复制系统，特别涉及异步远程复制系 统，其具有在包括在远程复制系统中的第 一存储系统和第二存储系统之间交换 主站点和远程站点的作用的功能。在下面的描述中，该功能有时称为交换功能 (swap function )。
技术背景在处理大量数据的数据库系统中，例如在数据中心使用的数据库系统，通 常使用和主机系统分开提供的存储系统来管理数据。磁盘阵列系统是这样的存 储系统的熟知的例子。磁盘阵列系统通过RAID (廉价的冗余磁盘阵列)管理来管理在阵列中排 列的许多磁盘驱动器。许多,兹盘驱动器提供物理存储区域，并且在物理存储区 域中形成至少一个逻辑单元。这个逻辑单元提供至主机系统。主机系统将该逻 辑单元识别为 一个物理设备并且数据存取该逻辑单元。在这样的存储系统中，采取了措施在灾难等情况下安全地保护数据。例如， JP2005-293469A披露了能够增强容错性的系统，通过将写入到位于主站点的 主要存储控制设备中的复制源巻(copy - source volume)的数据远程复制到位 于远程站点的辅助存储控制设备中的复制目的巻(copy - destination volume ), 以便实现数据复制。这样的远程复制包括两种类型同步远程复制，同步地处理从主站点的主 机到主要存储控制设备的主机IO及从主要存储控制设备到辅助存储控制设备 的远程复制IO;和异步远程复制，异步地处理主机IO和远程复制IO。在异步远程复制中，主要存储控制设备将区别数据以预定周期(例如，每5分钟)固定到复制源巻，并且每周期一次地传送区别数据至辅助存储控制设 备中的复制目的巻。在下面的描述中，在一些情况下，复制源巻将被称为主要 巻，并且复制目的巻将被称为辅助巻。执行同步远程复制的系统同步地从主机到主要巻和到辅助巻两次写入(double write)写数据。因此，当用户请求交换功能时，可以通过将在主站点 主要巻改变成为辅助巻的时候将在远程站点的辅助巻升级为主要巻来交换远 程站点和主站点的作用来实现交换功能。另 一方面，在相关技术中的不具有这样的交换功能的异步远程复制系统巻中。由于这种安排，在执行异步远程复制时，辅助巻处于不固定的状态，所 以当执行交换功能的命令发布给远程复制系统时，辅助巻不能照原样地升级为 主要巻。为了在异步远程复制系统中实现交换功能，辅助巻的数据图像在当前的异 步远程复制周期之前必须恢复至它的状态，并且在主站点的主要巻必须匹配在 远程站点的辅助巻；简而言之，两个巻必须暂时同步来实现交换功能。这里，当将辅助巻中的所有数据复制到主要巻时，需要很长时间来完成复 制，此外，将大的通信负载施加到将主站点和远程站点连接到一起的通信线。 发明内容为了解决上述问题，本发明的目的是提供异步远程复制系统和控制方法， 即使在主要巻和辅助巻之间执行异步远程复制也能够在短的时间周期内实现 交换功能。为了实现这个目的，根据本发明的一方面，通过在异步远程复制的周期期间固定(fix)在辅助巻中的数据，以及确定辅助包含需要从辅助巻复制到主要巻的数据的辅助巻中的区域，可以在异步远程复制系统中实现交换功能，而不必复制主要巻中的所有的数据到辅助巻中。根据本发明，提供一种在多个存储控制设备中的异步远程复制系统的控制方法，其中设置主要巻和辅助巻，并且从主要巻向辅助巻异步地传送数据，该方法包括在第一存储控制设备中设置主要巻；在第二存储控制设备中设置辅助巻；中断从主要巻向辅助巻的异步远程复制进行中的当前周期；在辅助巻中固定数据；确定在辅助巻中的特定区域，该特定区域包括要求从已固定数据的 辅助巻向主要巻复制的数据；转变第一存储控制设备中的主要巻用作辅助巻； 转变第二存储控制设备中的辅助巻用作主要巻；将特定区域中的数据复制到主 要巻；以及从新开始从第二存储控制设备中的主要巻向第一存储控制设备中的 辅助巻的异步远程复制。根据本发明，还提供一种远程复制系统，它是异步远程复制系统，在第一 存储系统和第二存储系统之间异步地远程复制数据，其中第一存储系统包括 连接至第一计算机的第一存储控制设备，第一存储控制设备包括具有第一逻辑 存储区域、第一存储器以及第一控制器的第一存储装置；第二存储系统包括连 接至第二计算机的第二存储控制设备，第二存储控制设备包括具有第二逻辑存 储区域、第二存储器以及第二控制器的第二存储装置；第一控制器将第一逻辑 存储区域识别为主要巻，以及将第二逻辑存储区域识别为辅助巻，第一控制器异步远程复制区别数据至第二逻辑存储区域，该区别数据是由第一计算机写存 取至第一逻辑存储区域产生的；第二控制器在异步远程复制执行期间，基于来 自已经接管第一计算机的操作的第二计算机的命令，在第二存储器中存储控制 信息，该控制信息用于匹配第一逻辑存储区域的数据图像和第二逻辑存储区域 的数据图像，第二逻辑存储区域是主要巻，以及第一逻辑存储区域是辅助巻；基于该控制信息，第二控制器将来自上次异步远程复制周期完成时在第二 逻辑存储区域中的数据复制到第一逻辑存储区域；第二存储器存储用于管理第 二逻辑存储区域中特定块的管理信息，该特定块包含要复制到第 一逻辑存储区 域的数据；以及第二控制器基于该管理信息将在第二逻辑存储区域中的该特定 块中的数据复制到第 一 逻辑存储区域。利用本发明的这个方面，可以提供能够在短的时间周期内实现交换功能的 异步远程复制系统和控制方法。


图1是表示根据本发明的异步远程复制的实施例的存储系统的硬件方框图。图2是表示不同微程序和巻管理表的图表。 图3是表示巻管理表的图表。图4是表示在异步远程复制中实现交换功能的硬件结构的方框图。 图5是表示在异步远程复制中实现交换功能的第一步骤的方框图。 图6是表示在异步远程复制中实现交换功能的后续步骤的方框图。 图7是表示在异步远程复制中实现交换功能的再后续步骤的方框图。 图8是表示在异步远程复制中实现交换功能的再后续步骤的方框图。 图9是表示在异步远程复制中实现交换功能的再后续步骤的方框图。 图10是表示在异步远程复制中实现交换功能的再后续步骤的方框图。 图11是表示在异步远程复制中实现交换功能的再后续步骤的方框图。 图12是表示在异步远程复制中实现交换功能的再后续步骤的方框图。 图13是表示在异步远程复制中实现交换功能的再下面的后续步骤的方框图。图14是表示在异步远程复制中实现交换功能的再后续步骤的方框图。 图15是表示在异步远程复制中实现交换功能的再后续步骤的方框图。 图16A和16B每个表示在主站点的存储控制设备中CPU如何控制内部瞬态位图(snapshot bitmap )和区别传送区别(transfer - difference )位图的例子的方框图。辅助巻的时候，当辅助主机系统写存取辅助巻时的处理操作的方框图。 图18A至18C表示在图17A至17E的上述处理操作的第一改进。 图19A至19C表示在图17A至17E的上述处理操作的第二改进。
具体实施方式
以下参照附图描述本发明的实施例。图1表示实现本发明的异步远程复制 系统的存储系统10的系统结构。存储系统10包括设置在主站点的主要存储控 制设备20以及设置在远程站点的辅助存储控制设备50。主要存储控制设备20、 辅助控制设备50、主要主机系统100以及辅助主机系统IIO通过SAN (存储 区域网)120互相连接。此外，上述存储系统还具有第一存储系统和第二存储系统，第一存储系统 具有上述主要存储控制设备20和主要主机系统100，第二存储系统具有上述 辅助存储控制设备50和辅助主机系统UO。主要主机系统100是正规操作的主机系统，主要在主要主机系统在正常情 况时请求主要存储控制设备20进行I/O处理。另一方面，辅助主机系统110 是备用主机系统，主要在正规操作的主要主机系统100中发生故障时请求辅助 存储设备50 I/O处理以及接替由主要主机系统100执行的处理辅助。每个主要 主机系统100和辅助主机系统110可以是个人计算机、工作站或者大型计算机 等。称为RAID管理器的程序驻留在主要主机系统100中，用于控制主要存储 控制设备20。相似地，RAID管理器驻留在辅助主机系统110中，用于控制辅 助存储控制设备50。排列存储系统10使得写入主要存储控制设备20的数据被远程复制到辅助 存储控制设备50。辅助存储控制设备50存储与主要存储控制设备20以前已 存储的数据图像相同的数据图像。利用这种安排，即使在主要存储控制设备 20中发生故障时，主要存储控制设备20的处理可以由辅助存储控制设备50 接替。这里使用的远程复制方法是异步远程复制，其中当在主要存储控制设备 20中写入数据时，主要存储控制设备20向主要主机系统IOO报告写入的完成， 以及每个预定的时间周期一次地从主要存储控制设备20传送数据给辅助存储 控制设备50。主要存储控制设备20包括控制器30和存储器设备作为主要部件。控制器 30包括LAN (局域网)接口 31、前端接口 32、 CPU33、数据传送控制器34、 高速緩冲存储器35、本地存储器36以及后端接口 37。控制器30可以使用在所谓的RAID系统中指定的RAID电平(level)(例 如0、 1、 5)来控制多个磁盘驱动器41。在RAID系统中，多个磁盘驱动器 41作为一个RAID组来管理。多个逻辑巻42在RAID组中定义，每个逻辑巻 是由主要主机系统IOO存取的存取单元。每个逻辑巻42指定一个LUN(逻辑 单元号)。CPU 33是响应于来自主要主机系统100的数据输入/输出请求用于控制涉 及多个磁盘驱动器41的I/O处理(即，写存取和读存取)的处理器。本地处理器36存储不同类型的微程序、巻管理表等。不同类型的微程序 和巻管理表将在稍后详细描述。高速緩冲存储器35是用于暂时存储写入磁盘驱动器41的写入数据或从磁 盘驱动器41读出的读数据的緩冲存储器。高速緩冲存储器35装备在电源故障 情况时的备份电源，并且配置为可以防止高速緩存数据丢失的非易失存储器， 即使在主要存储控制设备20中发生电源故障时。数据传送控制器34将高速緩冲存储器35、后端接口 37和CPU 33相互连 接，并且控制主要主机系统100和磁盘驱动器41之间的数据传送。当由主要 主机系统100请求写存取时，数据传送控制器34通过前端接口 32将从主要主 机系统100接收的数据写入高速緩沖存储器35。然后数据传送控制器34将该 写数据传送到后端接口 37，以便异步地将该写数据写入石兹盘驱动器41中。当 由主要主机系统100请求读存取时，数据传送控制器34通过后端接口 37将从 磁盘驱动器41读取的读取数据写入高速緩冲存储器35，以及将该读取数据传 送至前端接口 32。前端接口 32是用于控制主要主机系统100和主要存储控制设备20之间的 接口的控制器。例如，前端接口 32具有基于光纤信道协议从主要主机系统100 接收块存取请求的功能。后端接口 37是用于控制磁盘驱动器41和主要存储控制设备20之间的接 口的控制器。例如，后端接口 37具有基于控制磁盘驱动器41的协议控制向磁 盘驱动器41的数据输入/输出请求的功能。LAN接口 31是连接到LAN90的接口。LAN接口 31基于TCP/IP控制数 据的传送/接收，以及控制管理终端80和主要存储控制设备20之间的信号。存储器设备40包括多个磁盘驱动器41 。磁盘驱动器41例如是FC (光纤 信道)磁盘驱动器、SATA (串行先进技术附件)磁盘驱动器、PATA (并行先 进技术附件)磁盘驱动器、FATA (光纤连接适应性)磁盘驱动器、SAS (串 行连接SCSI )磁盘驱动器以及SCSI (小型计算机系统接口 )磁盘驱动器的存主要存储控制设备20通过LAN 90连接至管理终端80。管理终端80是具 有例如CPU、存储器以及显示器的硬件资源的计算机系统。通过在管理终端 80上的输入操作，系统管理员发送管理主要存储控制设备20的命令至主要存 储控制设备20。管理主要存储控制设备20的命令的例子包括增加或减少磁盘驱动器41的命令、改变RAID结构的命令、设置主机系统100和主要存储控 制设备20之间的通信路径的命令、CPU在本地存储器36中安装微程序的命 令、检查主要存储控制设备20的操作状态的命令以及在主要存储控制设备20 中识别故障位置的命令。辅助存储控制设备50和主要存储控制设备20 —样，包括控制器60和存 储设备70。控制器60可以使用在所谓的RAID系统中指定的RAID电平(例 如0、 1、 5)控制多个石兹盘驱动器71。在RAID系统中，多个,兹盘驱动器71 作为一个RAID组来管理。多个逻辑巻72在一个RAID组中定义，每个逻辑巻是由辅助主机系统110 存取的存取单元。每个逻辑巻72指定一个LUN (逻辑单元号)。该逻辑巻是20中的硬件结构是相同的。图2表示存储在主要存储控制设备20和辅助存储控制设备50的本地存储 器36中的不同的微程序和巻管理表。每个本地存储器36存储位图控制程序 200、远程复制执行程序210、控制程序220和巻管理表230。位图控制程序200执行后面描述的位图的控制处理。远程复制执行程序 210执行远程复制。控制程序220控制位图控制程序220和远程复制执行程序 210。巻管理表230存储关于多个逻辑巻42 (72)的信息。图3表示巻管理表230的表格结构。巻管理表230为多个逻辑巻的每一个 逻辑巻存储识别逻辑巻的VOL-ID (下文中在某些情况下缩写为"VOL")、 表示该逻辑巻的存取路径的路径信息、逻辑巻的类型、表示逻辑巻是否是共用文中称为"对信息")，所有这些相互关联。对于每个主要存储控制设备20和辅助存储控制设备50,通过管理终端80 或者每个主机系统输入存储在巻管理表230中的信息。这里，这一安排可以是 提供专用于辅助存储控制设备50的另一个管理终端8,或者是主要存储控制 设备20的管理终端80控制辅助存储控制设备50的安排。巻类型的例子包括"主要"、"辅助"和"共用"。"主要"巻提供在主要存 储控制设备20中，并且在远程复制处理中用作复制源。"辅助"巻提供在辅助存储控制设备50中，并且在远程复制处理中用作 复制目的地。当交换主要和辅助存储控制设备的角色时，也交换主要和辅助巻 的角色。"共用"巻是没有定义其路径信息的巻。共用巻标记指示是否相关的逻辑 巻是共用巻。具体地讲，共用巻标记"1"指示相关的逻辑巻是共用巻，而共用巻标记"0"指示相关的逻辑巻不是共用巻。对信息例如包4舌对^f火伴信息(pair partner information)和对状态。例如，关 于称为对伙伴的逻辑巻的信息(下文中称为对伙伴VOL),对伙伴信息包括存 储控制设备的ID，包括对伙伴VOL、对伙伴VOL的VOL-ID以及路径信息等 等。对状态包括"SMPL"、 "COPY"、 "PAIR"、 "PSUE"、 "SPLIT"、 "SSWS" 等。"SMPL"指示形成对之前的状态，其中没有主要-辅助关系。"COPY" 指示在信息复制期间的状态，其中主要巻中的数据复制到辅助巻中。当状态是 "COPY"时，不允许对辅助巻的写处理。"PAIR"指示从主要巻到辅助巻执 行异步复制的状态。在"PAIR"状态期间，不允许对辅助巻的写处理。"PSUE"指示停止从主要巻到辅助巻执行异步复制的状态。在"PSUE" 状态期间，不允许对辅助巻的写和读处理。虽然可以进行对主要巻的写处理， 在"PSUE"状态期间不允许向辅助巻传送数据。"SPLIT"是逻辑地分开主要巻和辅助巻，并且仅仅主要巻更新前后的区 别数据被复制到辅助巻的状态。"SSWS"指示对辅助巻的读和写处理是允许 的状态。当状态是"SSWS"时，辅助巻中的数据被恢复到最近固定的状态， 以及主要巻转换成"PSUE"状态。CPU 33参照巻管理表230可以识别存取目标的逻辑巻42的类型以及对信 息。此外，如果共用巻被分配给后面描述的虛拟巻，CPU33可以定义信息表 示至这个共用巻的路径，以及在巻管理表230中数据定义的路径信息。为了设 定该共用巻是未使用的，CPU33也可以删除关于未分配的共用巻的路径信息。 CPU 33可以通过检查是否输入了每个共用巻的路径信息来判断每个共用巻的' 状态是使用了还是未使用。图4表示由主要存储控制设备20执行的异步远程复制处理的略图。主要存储控制设备20包括CPU33、高速緩冲存储器35、主要巻(P-VOL) 600、 虛拟巻(P—VVOL) 610、多个共用巻620、内部瞬态位图310以及区别传送区 别位图510。内部瞬态位图310以及区别传送区别位图510是主要巻600和共 用巻620的控制信息，并且存储在本地存储器36中。在异步远程复制期间当主要主机系统100发出写1O至主要巻600时，共 用巻620是保存预更新数据的逻辑巻。虛拟巻610是虚拟逻辑巻，由主要存储控制设备20中的CPU 33用来异 步地远程复制主要巻600中的区别数据到辅助巻(S-VOL)区别。在异步远程复制系统中，从主站点向远程站点的数据复制的周期是由数据 复制的开始和结束定义，并且该周期通过从主要主机系统到主要巻的写IO异 步地重复。在执行异步远程复制的当前周期期间，固定在上个周期结束的主要 巻中的区别数据被传送至辅助巻。这样安排这个远程复制系统，使得提供多个主要巻600和辅助巻700、形 成多个对，每个对包括一个主要巻和一个辅助巻，以及远程复制可以在多个对 的每一个对之间进行。多个对定义公共一致性组(common consistency group )。 一致性组意味着数据更新的时序是在多个对之间确定的。虽然图4表示在高速緩冲存储器35的存储区域中形成的虛拟巻610的例 子，虛拟巻610可以形成在磁盘驱动器41的存储区域中。如果由多个对，每个对包括一个主要巻600和一个辅助巻700，则共用巻 620分配给每个对。此外，如果有多个这样的异步远程复制对，也有多个虚拟 巻610，以及虚拟巻610分配给每个对。而且， 一个主要巻600和一个共用巻 620分配给该虛拟巻，并且通过虛拟巻610从主要巻600或共用巻620传送数 据至辅助巻700。顺便提及，在提供多个共用巻620以及多个对，每个对包括 主要巻600和辅助巻700的安排中，共用巻620可以分配给每个对。位图310在主要存储控制设备20的高速緩冲存储器35中设置，位图310 管理主要巻600的存储区域，其中基于来自主要主机系统100的写10更新数的设置适用于后面描述的区别传送区别位图510。块是由逻辑地址定义的区 域。因此，通过参照位图310， CPU 33可以基于来自主要主机系统100的10 判断在主要巻块中的数据已经更新了 ，该主要巻块对应于已设定标记的比特。 为了将这个位图与后面描述的区别传送区别位图510区别，这个位图称为内部 瞬态位图。区别传送区别位图510是用于管理从主要巻600向辅助巻700传送的区别 数据的位置的控制信息。CPU33参照该区别传送区别位图510,从主要巻600 或共用巻620读取区别数据，并将读取的区别数据传送至辅助巻700。辅助存储控制设备50和辅助主机系统110 —起用作备用系统，因此具备 相似于主要存储控制设备20的安排。标号63表示对应于在主要存储控制设备 20中的CPU33的CPU; 700表示已经描述的辅助巻；720表示对应于共用巻 620的共用巻，65表示对应于高速緩沖存储器35的高速緩沖存储器；320表 示对应于内部瞬态位图310的内部瞬态位图；710表示对应于虚拟巻610的虚 拟巻；以及520表示对应于区别传送区别位图510的区别传送区别位图。下面将描述实现图4的异步远程复制系统中的交换功能的操作。存储系统 为了在异步远程复制期间实现交换功能，主要巻600和辅助巻700必须同步，为了这个目的，首先固定在辅助巻700中的数据，然后从辅助巻700向主 要巻600仅复制需要的部分，可以在短的时间周期内实现交换功能的处理。为了在辅助巻中固定数据，当上一个异步远程复制周期结束时，将辅助巻 700置于辅助巻700从该状态保持数据的状态，除了该数据外，在主要主机系 统100的操作之后由辅助系统110写入辅助巻700的数据由辅助主机系统110 接管。然后，为了仅将辅助巻700中的需要的部分复制到主要巻600,确定在辅 助巻700中需要被复制的区域。在辅助巻中的这些区域包括在异步远程复制 当前周期期间已经写入主要巻600中的区别数据的区域；主要巻600区别数据 应该被写入的区域；在主要主机系统100的操作由辅助主机系统IIO接管之后 由辅助主机系统IIO写入数据的区域；以及对应于主要巻600中的区域的一个 区域，在当前异步处理周期开始之后直到主要主机系统100的操作由辅助主机 系统IIO接管为止，由主要主机系统IOO写入数据到该区域。下面将更详细地描述异步远程复制。图5至图16是表示异步远程复制处 理顺序的方框图。在这些图中，在图4中的硬件结构以简单的形式示出。应该 注意的是，在下面的描述中，主要存储控制设备20中的CPU 33称为主要CPU 33，在辅助存储控制设备50中的CPU 63称为辅助CPU 63。主要CPU 33在每个异步远程复制周期在主要巻600中固定由来自主机系 统100的写命令产生的区别数据，并且在下一个异步远程复制周期内将固定的 区别数据传送至辅助存储控制设备50。如图16A所示，主要CPU33在异步远程复制终止的时间点时，将内部瞬 态位图310的整个图像复制到区别传送区别位图510。同时，如图16B所示， 主要CPU33清除内部瞬态位图310中的所有比特。在这个时间点上，固定主 要巻600区别数据，该区别数据是从主要巻600传送至辅助巻700。图5示出当前异步远程复制周期开始时，在主要存储控制设备20和辅助 存储控制设备50中的巻和位图的状态。当在异步远程复制的中间由主要主机 系统100发出写命令至主要巻600时(S100),主要CPU 33在内部瞬态位图 310中设置已写入写数据的块的标记，如图6所示。具有5比特x5比特的内 部瞬态位图被示作例子，其中每个比特对应于巻中的每个块。黑色的比特表示 在这些比特中已经设置的标记。这适用于其他位图中。主要巻600和辅助巻700被设置为前面描述的"PAIR"状态，并且区别 数据顺序地传送至辅助巻700 ( S110 )。当主机系统100写存取主要巻600时，新的数据(S120 )。因为这个预更新的数据可能是要传送至辅助巻700的区别 数据，该预更新数据被保存在共用巻620中。参照图6进行进一步的描述。主要CPU33参阅区别传送区别位图510并 确定固定的区别数据分配给对应于设置了标记的比特的虛拟巻610中的块。主 要CPU33检查是否为内部瞬态位图310比特设置了标记，该比特对应于设置 标记的区别传送区别位图510比特。如果没有设置标记，主要CPU33从主要 巻600中的对应区域读出区别数据并且指定该区别数据给虛拟巻610中的对应 区域。另一方面，如果在内部瞬态位图310中设置了标记，在主要巻600中的对应块由写命令S100更新，并且预更新数据(区别数据)保存在共用巻620中， 从共用巻620中的对应区域读出该区别数据并且分配给虛拟巻610中的对应区 域。如果基于区别传送区别位图510将该区别数据传送至辅助巻700，主要CPU 33 顺序地清除在对应于传送的区别数据的块中设置的标记。当将传送的区别数据写入辅助巻700时，已接收传送的区别数据的辅助 CPU 63为内部瞬态位图320比特设置标记，该比特对应于在辅助巻700中写 入区别数据的区域，以及在共用巻720的辅助巻700中保存预更新的数据 (S130)。当在异步远程复制中间由于主要主机系统100发生故障，辅助主机系统 110和辅助存储控制设备50的备用系统转变为用作操作系统时，辅助主机系 统110的用户或管理员IIOA发出"Horctakeover，，命令至辅助主机系统110 的RAID管理器(S140 )。在主机系统中的RAID管理器112是控制存储控制 设备的代理软件。这个命令转变辅助主机系统no和辅助存储控制设备50为将它们用作操 作系统，也就是，主要侧。接收这个命令的辅助主机系统110发出"S-VOL Takeover"命令至辅助CPU 63，使得它开始辅助巻700的恢复(稍后描述) (S150)。当辅助巻700的对状态变成"SSWS",辅助CPU63禁止由数据传送引起 的基于数据传送的写入辅助巻700。当由于在数据传送期间的错误不能进行向 辅助巻700传送数据时，主要CPU 33改变主要巻600的对状态至"PSUE"， 并且中断给辅助巻700的数据传送。换句话说，远程复制中断或停止了。如图7所示，接收"S-VOLTakeover"命令的辅助CPU 63对于这个"S-VOL Takeover"命令》会出响应(S160)至RAID管理器110，并且改变辅助巻700 的对状态为"SSWS"。辅助主机系统110接管主要主机系统100的操作，并且开始发出写命令至 辅助巻700 ( S170 )。接收该写命令的辅助CPU 63写对应于这个写命令的数据 到辅助巻700。为了复制在上一个异步远程复制周期中在辅助巻700中固定的数据，辅助 CPU 63将在共用巻720中保存的数据写入辅助巻700 ( S180 )。这个处理顺序特定区域来恢复辅助巻700的状态到它更新前的状态。通过执行恢复，辅助巻 700被恢复到在上个异步远程复制周期中固定的状态，换句话说，辅助巻700 被恢复到当前异步远程复制周期开始前的它的状态，并且可固定辅助巻700 中的数据。通过参照在内部瞬态位图320中的标记，辅助CPU 63可以获知在共用巻 720中保存的数据应该写入辅助巻720中的哪个区域。图7中的标号520指示在辅助存储控制设备50中的区别传送区别位图。 类似在主要存储控制设备20中的区别传送区别位图510，区别在交换主要存 储控制设备20和辅助存储控制设备50以及重新开始异步远程复制之后，这个 传送区别位图510由CPU使用来识别在当前用作主要巻的巻700中的区域， 该区域包含要被传送至当前用作辅助巻的巻600的区别数据。在这个处理期 间，其中交换主要存储控制设备和辅助存储控制设备，区别传送区别位图520 用作S-VOL (辅助巻)改变位图，用于管理在包含应该从辅助巻传送至主要 巻的数据的辅助巻中的位置。在图7中，当辅助主机系统110发出写命令至辅助巻700时(S170)，写 数据被写入辅助巻700。然后辅助CPU 630设置在对应于已写入写数据的块的 S-VOL改变位图520比特中的标记。用户110A可以获知，上面描述的恢复从辅助CPU 63给予RAID管理器 113的响应作为对从RAID管理器112发出的"S-VOL Takeover"命令的响应 在辅助存储控制设备50中已经开始了 。在恢复期间，每次恢复目标保存的数据的恢复完成了，辅助CPU63将内 部瞬态位图320中的相关标记复制到S-VOL改变位图520中，并且从内部瞬 态位图320清除这个标记。当清除了在内部瞬态位图320中的所有标记时，辅 助CPU 63终止该恢复。在图8中示出的标号520A指示在S-VOL改变位图 520中设置的标记，并且对应于完成了恢复的块，以及标号5MB指示对应于 在恢复期间由辅助主机系统110在辅助巻700中写入数据的块的标记。这些将在稍'后详细i也4苗述。辅助CPU 63通过参照S-VOL改变位图520可以识别在辅助巻700中已 更新的块。当正在执行恢复时，辅助CPU63不接收取消主要巻600和辅助巻 700的对的命令。虽然以辅助巻的对状态是"ssws"给出了描述，在恢复期间对状态作为 "SSWS(R)"存储在表中。(R)表示恢复正在进行中。当完成恢复时，"SSWS (R)"变成了 "SSWS"。通过监视在客户计算机或者管理设备上的管理屏幕， 当辅助巻700的对状态从"SSWS (R)"变成"SSWS"时用户可以获知恢复 的完成。如图8所示，接收对"S-VOL命令，，的响应的RAID管理器发出"Swap Takeover"(交互接管)命令至辅助CPU 63,该命令用于交换主要存储控制设 备20和辅助存储控制设备50的角色(S190 )。当接收这个命令的辅助CPU63参照内部瞬态位图320并且检测剩余一个 标记,辅助CPU 63确定恢复没有完成以及不能执行主要和辅助的角色的交换， 并且给出错误响应至RAID管理器112 (S200,图9)。如图9所示，用户IIOA可以从来自RAID管理器112的通知获知已开始 "S-VOLTakeover"命令，也就是，已开始上面描述的恢复。如图10所示，CPU 63重复地参照内部瞬态位图320直到内部瞬态位图 320中的所有标记都清除了，并且当所有标记清除时确定恢复完成了。当恢复 完成时，辅助CPU63将辅助巻700的状态从"SSWS(R)"改变为"SSWS"。 从管理屏幕的显示中，用户可以获知辅助巻700的状态已从"SSWS (R)"改 变为"SSWS"。如图11所示，当恢复完成时，用户110A向RAID管理器112发出 "pairresync-swap，，(对再同步交换)命令S"0。这个命令是用于将主要巻600 和辅助巻700同步的命令，也就是，用于匹配辅助巻700中的数据图像和主要 巻600中的数据图像。如图12所示，接收这个命令的RAID管理器112重新发出"Swap Takeover" 命令至辅助CPU63 (S220)。接收这个"Swap Takeover"命令的辅助CPU63 从主要CPU33获得内部瞬态位图310的比特组合模式(bitpattern)和区别传送区别位图510,并且将这些组合模式并入S-VOL改变位图520。由于在内部瞬态位图310中设置标记的区域是这样的区域，其中当由主要CPU 33将区别数据传送至辅助巻700的时候，由主要主才几系统100更新在主要巻600中的数据，当系统交换时，在辅助巻700中的相应的区域必须复制到在主要巻600中的相应的区域。而且，在区别传送区别位图510中设置标记的区域指示该区別数据还没有传送到辅助巻700，所以凝:据必须从辅助巻700中的相应的区域传送至主要巻600中相应的区域。如上所述，内部瞬态位图310比特组合才莫式和区别传送区别位图510比特组合模式并入S-VOL改变位图520。通过参照S-VOL改变位图520比特组合模式，辅助CPU63可以识别在辅助巻700中的区域，数据应该从该区域传送至主要巻600。这个并入可以通过对内部瞬态位图310、区别传送区别位图510和S-VOL 改变位图520中所有相应比特的标记数据执行逻辑或运算来实现。在图13中，辅助CPU 63给出对"Swap Takeover"命令的响应给RAID 管理器112 (S230)。然后RAID管理器112通知用户110A交换接管的开始 (S240 )。辅助CPU 63交换主要巻600和辅助巻700,并且将这些巻的对信息设置 为"COPY"(复制)。根据S-VOL改变位图520,辅助CPU 63从对应于设 置标记的比特的主要巻700中的区域读出数据，并且将数据传送至辅助巻600 (S241 )。这个数据对应于来自辅助巻600在主要巻700中的区别。因此，辅助CPU 63可以通过从主要巻700向辅助巻600仅传送对应于这个区别的数据来将备 用系统转换成工作系统。如图14所示，当由辅助主机系统110发出写命令至辅助存储控制设备50 时，同时从主要巻700向辅助巻600传送该数据，该数据被写入主要巻700， 此外，更新了数据的区域被输入作为辅助内部瞬态位图320的标记。辅助CPU 63读出S - VOL改变位图520中的每个比特，并且将对应于在 主要巻700中设置标记的块的数据复制到辅助巻600。当数据传送完成时，辅助CPU 63清除该相关块的标记。辅助CPU 63继续在S - VOL改变位图520 中设置标记的所有比特的数据传送。当检查S-VOL改变位图520并且确认 没有设置标记时，辅助CPU 63终止从主要巻700到辅助巻600的数据传送。下面，如图15所示，当辅助CPU 63终止从主要巻700到辅助巻600的 数据传送时，辅助CPU 63将主要巻700和辅助巻600的对信息改变为执行异 步远程复制的"PAIR"。然后，辅助CPU 63将在内部瞬态位图320中设置标 记的有关区别比特的信息复制到区别传送区别位图520 (S240)。然后，辅助CPU 63清除在内部瞬态位图320中的所有区别比特的标记， 并且辅助主机系统IIO转换为用作主要主机系统，同时主要主机系统100转换 为用作辅助主机系统。依据这些转换，标号20表示辅助存储控制设备，而标 号50表示主要存储控制设备。区别传送区别位图520是和S-VOL改变位图相同的控制信息。因此，在 主要巻700中的数据复制到辅助巻600以及复制了在内部瞬态位图320中有关 该数据的信息之后，在辅助巻700变成主要巻之前，区别传送区别位图520 不用作表示辅助巻700中的更新位置的位图，而用作管理区别数据的位置的控 制信息，该区别数据是从主要巻700传送至辅助巻600。在传送区别位图520中的信息表示在主要巻700中块的逻辑地址，主要巻 700与辅助巻600相差的区别数据位于该块中。通过上面的处理顺序，交换操 作系统和备用系统，并且存储控制设备50用作主站点，同时存储控制设备20 用作远程站点。下面将补充描述在参照图5至16描述的异步远程复制系统中实现交换功 能的处理期间，当由辅助主机系统向辅助巻发出写命令时，同时从共用巻向辅 助巻恢复数据时所执行的处理。图17A至17E表示当辅助CPU63接收辅助巻 块的写命令时的操作，该辅助巻块要求保存的数据的复制。当辅助CPU63从辅助主机系统IIO接收写命令时，CPU63参照内部瞬态 位图320来^f企查是否为对应于辅助巻700块的比特设置了标记，该辅助巻块是 写命令的目标(图17A和17B )。如果设置了标记，在来自辅助主机系统110的写数据被写入辅助巻700之 前，在共用巻720中保存的数据必须被复制到辅助巻700。因此，辅助CPU63将对应于带有该标记的比特(图17C)的保存的数据复制到辅助巻700,从共 用巻720删除这个保存的数据，在S-VOL改变位图520中的对应的比特设置 标记，以及清除在内部瞬态位图320中的该对应比特的标记(图17D)。下面，辅助CPU 63将对应于写命令的数据写入辅助巻700,并且在S-VOL 改变位图520中设置该对应比特的标记。由于已经设置了这个对应比特的标 记，S-VOL改变位图520的状态不变(图17E)。另 一方面，图18A至18C表示当辅助CPU 63接收辅助巻700块的写命令 时的操作，该辅助巻700块不要求保存的数据的复制。当辅助CPU63从辅助 主机系统110接收辅助巻700的写命令时，CPU 63参照内部瞬态位图320来 检查是否在这个写命令的目标的块中设置了标记(图18A和18B )。辅助CPU 63确定没有设置标记，并且将该写数据写入辅助巻700中的特 定块中。然后辅助CPU 63在S-VOL改变位图520中设置该对应比特的标记 (图18C)。图19A至19C表示当CPU63接收辅助巻700块的写命令时的操作，该辅 助巻700块已完成保存的数据的复制。当辅助CPU63从辅助主机系统IIO接 收辅助巻700的写命令时，辅助CPU 63参照内部瞬态位图320来检查是否在 这个写命令的目标的块中设置了标记(图19A和19B)。辅助CPU 63确定没有设置标记并且将该写数据写入辅助巻700中的特定 块中。辅助CPU 63在S-VOL改变位图520中设置该对应比特的标记(图19C )。 然而，当保存的数据被复制到辅助巻700时，由于在S-VOL改变位图520中 设置该对应比特的标记，S-VOL改变位图520的状态不变。在前面描述的图9中，辅助CPU63给出对应于来自RAID管理器112的"Swap Takeover"命令的错误响应(S20 )，并且当完成了步骤S180的恢复时， 基于这个错误响应用户IIOA获知定时并且发出"pairresync-swap"命令(S210)(图11)至辅助CPU63，由此实现主要和辅助存储控制设备之间的交换功能。 可选的，CPU63可以保持"Swap Takeover"命令而不对这个命令给出错误响 应直到完成了恢复，并且可以实现交换功能而不用等待"pairresync-swap"命 令的发出。在保持"Swap Takeover"命令而不对这个命令给出错误响应直到完成了恢复的安排中，即使在恢复完成之前接收"Swap Takeover"命令，对"Swap Takeover"命令给出正常的响应；该对状态从"SSWS"(实际上"SSWS (R)") 改变到"COPY"(复制)(实际上是"COPY(R)");并且辅助巻转变为用作 主要巻，同时主要巻转变为用作辅助巻。虽然本发明相对于有限数目的实施例进行了描述，但是获得本说明的益处 的本领域的技术人员应该清楚，可以设计出其他实施例而不偏离本文披露的本 发明的范围。因此，本发明的范围应该仅由所附的权利要求书限定。
权利要求
1.一种在多个存储控制设备中的异步远程复制系统的控制方法，其中设置主要卷和辅助卷，并且从主要卷向辅助卷异步地传送数据，该方法包括第一步，在第一存储控制设备中设置主要卷；第二步，在第二存储控制设备中设置辅助卷；第三步，中断从主要卷向辅助卷的异步远程复制进行中的当前周期；第四步，在辅助卷中固定数据；第五步，确定在辅助卷中的特定区域，该特定区域包括要求从已固定数据的辅助卷向主要卷复制的数据；第六步，转变第一存储控制设备中的主要卷用作辅助卷；第七步，转变第二存储控制设备中的辅助卷用作主要卷；第八步，将特定区域中的数据复制到主要卷；以及第九步，从新开始从第二存储控制设备中的主要卷向第一存储控制设备中的辅助卷的异步远程复制。
2. 根据权利要求1所述的异步远程复制系统的控制方法，其中第三步是 在连接至第 一存储控制设备的第 一 主机系统的操作由连接至第二存储控制设 备的第二主机系统接管时执行的。
3. 根据权利要求1所述的异步远程复制系统的控制方法，其中第四步包 括将辅助巻置于如下状态，其中辅助巻包含上个异步远程复制周期完成时的 数据；除此之外，在第一主机系统的操作由第二主机系统接管之后由第二主机 系统写入辅助巻中的数据。
4. 根据权利要求1所述的异步远程复制系统的控制方法，其中第四步包 括在主要巻中保存辅助巻数据的步骤，该辅助巻数据是在当前异步远程复制 周期期间在主要巻区别数据存储在辅助巻区域之前存储在辅助巻区域中的数 据；以及将保存的辅助巻数据恢复到辅助巻的步骤。
5. 根据权利要求1所述的异步远程复制系统的控制方法，其中，在第五 步中，该辅助巻中的特定区域包括在当前异步远程复制周期期间主要巻区别 数据写入的区域；在第一主机系统的操作由第二主机系统接管之后由第二主机系统写入数据的区域；以及对应于主要巻中的区域的区域，其中该主要巻中的 区域为在当前异步远程复制周期开始之后并且直到第 一主机系统的操作由第 二主机系统接管为止由第 一主机系统写入数据的区域。
6. —种远程复制系统，它是异步远程复制系统，在第一存储系统和第二 存储系统之间异步地远程复制数据，其中第一存储系统包括连接至第一计算机的第一存储控制设备，第一存储控制 设备包括具有第 一逻辑存储区域、第 一存储器以及第 一控制器的第 一存储装 置；第二存储系统包括连接至第二计算机的第二存储控制设备，第二存储控制 设备包括具有第二逻辑存储区域、第二存储器以及第二控制器的第二存储装置；第 一控制器将第 一逻辑存储区域识别为主要巻，以及将第二逻辑存储区域 识别为辅助巻，第一控制器异步远程复制区别数据至第二逻辑存储区域，该区别数据是由第 一计算机写存取至第 一逻辑存储区域产生的；第二控制器在异步远程复制执行期间，基于来自已经接管第一计算机的操作的第二计算机的命令，在第二存储器中存储控制信息，该控制信息用于匹配第 一逻辑存储区域的数据图像和第二逻辑存储区域的数据图像，第二逻辑存储区域是主要巻，以及第一逻辑存储区域是辅助巻；基于该控制信息，第二控制器将来自上次异步远程复制周期完成时在第二逻辑存储区域中的数据复制到第 一逻辑存储区域；第二存储器存储用于管理第二逻辑存储区域中特定块的管理信息，该特定块包含要复制到第一逻辑存储区域的数据；以及第二控制器基于该管理信息将在第二逻辑存储区域中的该特定块中的数据复制到第 一逻辑存储区域。
7. 根据权利要求6所述的远程复制系统，其中存储在第二存储器中的该 管理信息的第二逻辑存储区域的该特定块包括在当前异步远程复制周期期间第 一逻辑存储区域中的区别数据要写入的块；在第 一计算机的操作由第二计算机接管之后由第二计算机写入数据的块；以及对应于在第一逻辑存储区域中的块的块，在当前异步远程复制周期开始之 后直到第 一计算机的操作由第二计算机接管为止由第 一计算机写入数据到第 一逻辑存储区域中的该块。
8. 根据权利要求7所述的远程复制系统，其中第一控制器包括第一管 理单元，管理通过存储由第一计算机写入的数据来更新的第一逻辑存储区域中 的块；第一保存巻，其中保存在由第一计算机写入该数据之前的数据；以及第 二管理单元，管理在第一逻辑存储区域中的块，该块存储在异步远程复制中要 传送到第二逻辑存储区域的区别数据。
9. 根据权利要求8所述的远程复制系统，其中第二控制器包括第三管理 单元，管理在第二逻辑存储区域中的块，该块通过存储由第二计算机写入的数 据来更新；第四管理单元，管理在第二逻辑存储区域中的块，区别数据写入该 块中；以及第二保存巻，在其中保存在区别数据写入之前的数据。
10. 根据权利要求9所述的远程复制系统，其中第二控制器在第三管理单 元中输入第四管理单元的管理信息。
11. 根据权利要求10所述的远程复制系统，其中第二控制器将在第二保 存巻中保存的数据恢复到第二逻辑存储区域。
12. 根据权利要求IO的远程复制系统，其中第二控制器在第三管理单元 中输入第一管理单元的管理信息和第二管理单元的管理信息。
全文摘要
本发明涉及一种异步远程复制系统及其控制方法，该方法包括在辅助卷中固定数据；确定在辅助卷中的特定区域，该特定区域包含要求从已固定数据的辅助卷复制到主要卷的数据；将在特定区域中的数据复制到主要卷；并且交换辅助主要卷和辅助卷来从新开始异步远程复制。
文档编号G06F11/14GK101334748SQ200810080929
公开日2008年12月31日 申请日期2008年2月29日 优先权日2007年6月27日
发明者小林正明, 水田力弥, 永田幸司 申请人:株式会社日立制作所