专利名称：远程拷贝系统的制作方法
技术领域：
本发明涉及一种存储计算机使用的数据、并从计算机接受数据更新的存储系统，尤其涉及在多个存储系统之间保持数据复制的处理。
背景技术：
专利文献1中公开了如下技术，即存储系统存储计算机使用的数据，并在反映数据的写入顺序的同时，将该数据的拷贝存储在远处设置的其它存储系统中。在专利文献1所示的处理中，从正侧的主计算机收领写入数据的正侧的存储系统在收领写入数据之后，向正侧的主计算机报告写入数据的收领完成。之后，正侧的主计算机从正侧的存储系统读出写入数据的拷贝。向该写入数据赋予作为发行对写入数据的写入请求的时刻的写入时刻，当在正侧的主计算机读出写入数据时，还将写入时刻传递给正侧的主计算机。并且，正侧的主计算机将写入数据与写入时刻传输给副侧的主计算机。收领写入数据与写入时刻的副侧主计算机将写入时刻等信息写入位于副侧存储系统中的控制用卷中，并且，参照赋予各写入数据的写入时刻，按写入时刻顺序，将写入数据写入副侧的存储系统中。通过按写入时刻顺序将写入数据写入副侧的存储系统中，可在副侧的存储系统中保持具有整合性的数据。
这里，若忽视写入顺序、将写入数据反映到副侧的存储系统(下面，也将在副侧的存储系统中存储写入数据表现为反映数据。)，则例如就银行帐户的数据库而言，在将存款从帐户A转移到帐户B的处理中，不能将帐户A的减额与帐户B的增额再现为一个交易，例如，就副侧的存储系统而言，在减额帐户A的存款额之前，产生增额帐户B的存款额的期间。此时，在副侧的存储系统减额帐户A的存款额之前，若正侧的存储系统中产生故障不能使用，则副侧的存储系统残留没有整合性的数据，此后，即便副侧的主计算机继承业务，也是执行不正确的处理。因此，通过遵守写入顺序、将写入数据存储在副侧的存储系统中，可保持具有整合性的数据，保证有关联的操作与有关联的数据之间的顺序的正确。
在专利文献2中，公开了如下技术，即存储系统存储计算机使用的数据，该存储系统还将存储的数据拷贝到远处设置的其它存储系统，从而，即便一个存储系统因天灾或火灾等不能使用，也可由其它存储系统来保持数据。
在专利文献3中，公开了如下技术，即存储系统存储计算机使用的数据，该存储系统还将存储的数据拷贝到远处设置的其它存储系统，并且，还将该其它存储系统接收到的数据拷贝到第三存储系统，从而，得到相对数据的更高水平的冗余性。
专利文献1欧洲专利申请公开第0672985号说明书专利文献2美国专利第6092066号公报专利文献3美国专利第6209002号公报在专利文献1公开的技术中，当将来自主计算机的写入数据反映到副侧的存储系统时，由于使用主计算机提供给写入数据的写入时刻来遵守写入顺序，所以在主计算机未向写入数据提供写入时刻的情况下，不能保持存储在副侧的存储系统中的数据复制的整合性。虽然可由所谓的主体(main frame)的主计算机向写入请求提供写入时刻，但所谓的开放系统的主计算机不向写入请求提供写入时刻。因此，在专利文献1公开的技术中，不能对来自开放系统的主计算机的I/O保持存储在副侧的存储系统中的数据复制的整合性。
另外，在专利文献2和专利文献3中，也未公开在主计算机中包含开放系统的主计算机的情况下、存储在副侧存储系统中的数据复制的整合性保持。
发明内容
因此，就存储系统存储计算机使用的数据、且将该存储系统存储的数据传输到其它存储系统、其它存储系统也保持数据复制的计算机系统而言，公开了如下技术，即便对于如开放系统的主计算机等未向写入数据提供写入时刻的主计算机写入存储系统中的数据，也保持存储在其它存储系统(即副侧存储系统)中的数据复制的整合性。
系统具有第一存储装置系统，其连接于计算机上，并具有存储从计算机接收的数据的第一逻辑卷(logical volume)；和第二存储装置系统，其连接于第一存储装置系统上，并具有存储第一逻辑卷中存储的数据的复制数据的第二逻辑卷。
第一存储装置系统向从计算机接收的写入数据提供时刻信息，将写入数据与时刻信息发送给第二存储装置系统，第二存储装置系统根据提供给该写入数据的时刻信息，将从第一存储装置系统接收到的写入数据存储在第二逻辑卷中。
就存储系统存储计算机使用的数据、且该存储系统将数据传输到其它存储系统、其它存储系统也保持数据复制的计算机系统而言，即便对于如开放系统的主计算机等未向写入数据提供写入时刻的主计算机存储在存储系统中的数据，也保持存储在其它存储系统(副侧存储系统)中的数据复制的整合性。
图1是表示实施例1的计算机系统构成例的图。
图2是表示逻辑卷组一例的原理图。
图3是表示存储装置A收领写入请求时的处理一例的流程图。
图4是表示组管理信息的一例的图。
图5是表示用于管理写入数据的写入数据管理信息的一例的图。
图6是表示从存储装置A向存储装置B传输写入数据的处理一例的流程图。
图7是表示逻辑卷的对方逻辑卷信息一例的图。
图8是表示已到达写入时刻信息一例的图。
图9是表示存储装置B中的写入数据反映处理一例的流程图。
图10是表示存储装置A收领写入请求时的处理另一例的流程图。
图11是表示存储装置A收领写入请求时的处理另一例的流程图。
图12是表示实施例2中的计算机系统的构成例的图。
图13是表示实施例3中的计算机系统的构成例的图。
图14是表示实施例3中的存储装置A收领写入请求时的处理一例的流程图。
图15是表示管理软件A对存储装置A指示写入请求的处理保留与标记制作时的处理一例的流程图。
图16是表示标记序号信息一例的图。
图17是表示写入数据管理信息另一例的图。
图18是表示实施例3中从存储装置A向存储装置B传输写入数据的处理一例的流程图。
图19是表示实施例3中的存储装置B中的写入数据反映处理一例的流程图。
图20是表示实施例3中的存储装置B中的写入数据反映处理另一例的流程图。
图21是表示实施例4中的计算机系统的构成例的图。
图22是表示实施例5中的计算机系统的构成图例的图。
图23是表示实施例5中的管理软件A对存储装置A指示写入请求的处理保留与标记制作时的处理一例的流程图。
图24是表示实施例5中从存储装置A向存储装置B传输写入数据的处理一例的流程图。
图25是表示已到达标记序号信息一例的图。
图26是表示实施例5中对存储装置B中的复制的写入数据反映处理一例的流程图。
图27是表示实施例6中的计算机系统的构成例的图。
图28是表示写入数据传输部A和写入数据收领部B的处理一例的图。
图29是表示写入数据New与写入数据Old的合并处理一例的图。
图30是表示写入请求的保留与差分集合的切换处理一例的图。
图31是表示写入请求的保留与差分集合的要素变换处理一例的图。
图32是表示实施例6中的写入请求接收时的处理一例的图。
图33是表示差分集合的切换处理、与存储装置B190中的数据反映处理一例的图。
图34是表示在写入数据的反映指示发行中、在存储装置中产生障碍时的一例的图。
符号说明100...存储装置A180...存储装置C
190...存储装置B200...控制部210...写入数据收领部A211...写入数据收领部B212...写入数据收领部C220...写入数据传输部A222...写入数据传输部C230...写入数据反映指示部B240...写入数据反映部B250...标记制作部A260...瞬象(snapshot)取得部C300...控制用存储器310...组管理信息320...对方逻辑卷管理信息330...写入数据管理信息340...写入时刻信息350...已到达写入时刻信息360...标记序号信息400...高速缓冲存储器500...逻辑卷600...主体主计算机A(MFA)610...OS620...应用程序软件(APP)630...写入请求640...写入数据650...写入时刻690...主体主计算机B(MFB)700...开放系统主计算机A710...OS
720...应用程序软件(APP)730...写入请求740...写入数据790...开放系统主计算机B800...管理软件A890...管理软件B900...I/O总线910...传输总线920...网络具体实施方式
下面，说明本发明的实施方式。另外，本发明不被以下说明的实施方式限定。
图1是表示第一实施方式的计算机系统构成例的图。
该系统由存储装置(也称为存储系统。)A100、主体主计算机A(也称为MFA。)600、开放系统主计算机A700、存储装置B190、主体主计算机B(也称为MFB。)690、开放系统主计算机B790构成。存储装置A100与MFA600、开放系统主计算机A700分别由I/O总线900连接。存储装置B190与MFB690、开放系统主计算机B790也分别由I/O总线900连接。MFB690与开放系统主计算机B790通常是备用系统。MFA600、MFB690、开放系统主计算机A700与开放系统主计算机B790由网络920连接。
在MFA600与MFB690中，存在OS610和应用程序软件(APP)620。另外，在开放系统主计算机A700与开放系统主计算机B790中也存在OS710与APP720。从MFA600、MF690、开放系统主计算机A700、或开放系统主计算机B790的APP经OS发行的I/O请求，经I/O总线900发行到存储装置A100或存储装置B190。这里，DBMS等软件也包含于APP620或APP720中。
存储装置A100具有控制部200、控制用存储器300、高速缓冲存储器400。控制部200具备写入数据收领部A210与写入数据传输部A220。控制部200访问控制用存储器300，利用存储在控制用存储器中的信息，进行后述的处理。高速缓冲存储器400是主要存储读数据或写入数据的高速存储器，存储装置A可通过使用该高速缓冲存储器400来实现高的I/O处理性能。另外，为了耐故障性、可用性，期望这些部位被二重化，准备备用电源。
存储装置B190也具有控制部200、控制用存储器300、高速缓冲存储器400。控制部200具备写入数据收领部B211、写入数据反映指示部230与写入数据反映部240。控制存储器300与高速缓冲存储器400的作用与上述存储装置A100的说明一样。
存储装置A100与存储装置B190向MFA600、开放系统主计算机A700、MFB690、开放系统主计算机B790提供逻辑卷500，作为数据的存储区域。一个逻辑卷500在物理上不必是一个装置，例如也可以是分散到多个磁盘装置中的存储区域的集合。另外，逻辑卷例如也可以是镜像(mirror)结构、或附加了奇偶校验数据(parity data)的RAID结构等具有冗余性的结构。
存储装置A100虽如上所述提供逻辑卷500，但在MFA600与开放系统主计算机A700中，存储装置A100提供的逻辑卷500的类型不同，另外，I/O总线900的逻辑和/或物理接口不同。存储装置B190、MFB690、开放系统主计算机B790也一样。在来自MFA600的写入请求630中，包含写入请求630的时刻，作为写入时刻650，但不包含于来自开放系统主计算机A700的写入请求730中。
存储装置A100与存储装置B190由传输总线910连接。存储装置A100与存储装置B190如后所述，还可在另一方的逻辑卷中保持一方的逻辑卷的内容复制。在本实施例的实例中，将存储装置A100的逻辑卷500的内容复制保持在存储装置B190的逻辑卷500中，将对存储装置A100的逻辑卷500进行的更新内容经传输总线910发送给存储装置B190，并存储在存储装置B190的逻辑卷500中。存储装置A100与存储装置B200就复制而言，如后所述，具有表示逻辑卷之间关系的管理信息，使用该管理信息来进行上述复制的保持。根据用户的需要，由用户设定逻辑卷之间的关系和后述的逻辑卷组的关系。
在本实施例中，将逻辑卷之间的关系分组。图2中示出表示逻辑卷组一例的原理图。虚线表示逻辑卷500之间或逻辑卷组之间的复制关系、即正侧(也称为源头(source)。)与副侧(也称为目标。)的对应关系。在本实施例中，利用这种具有多个逻辑卷的逻辑卷组单位来管理存储装置A100中的写入数据的顺序、或存储装置之间的写入数据的传输、或存储装置B190中的反映，另外，上述处理所需的资源分配也由逻辑卷组单位来执行。
若对各个逻辑卷的每个执行这些处理，则管理对象多，管理变复杂，另外，处理所需的资源也可能由于处理对象多而增大。另一方面，若将存储装置A100整体作为一个单位，则不执行详细的管理。尤其是主体主计算机与开放系统主计算机中对逻辑卷500的性能等请求大不相同，所以，最好将它们分成不同的组来分别进行处理，另外，分别受理用户对处理的操作或调谐条件的设定等。通过设定这种逻辑卷组，可提供用户或业务所需的弹性的复制处理和管理。
之后，说明在使MFA600与开放系统主计算机A700使用的逻辑卷500属于不同的逻辑卷组的情况下，对向各逻辑卷500进行的数据写入的处理、和向存储装置B190的数据传输和存储装置B190中的数据反映处理。通过这些处理，按照存储装置A100的各逻辑卷间的写入顺序，执行向复制的反映，就各复制间的整合性而言，即便是主体主计算机的数据与开放系统主计算机的数据，也可始终维持共同的整合性。
图3是表示存储装置A100对于制作复制的逻辑卷500(成为源头的逻辑卷500)、从MFA600或开放系统主计算机A700收领写入请求时的处理图。写入数据收领部A210从MFA600或开放系统主计算机A700收领写入请求(步骤1000)。若写入数据收领部A210接收到的写入请求中包含写入时刻650(步骤1001)，则将写入数据存储在高速缓冲存储器400中(步骤1002)，将序列序号提供给写入数据，制作写入数据管理信息330(步骤1003)。此时，写入数据收领部A210将写入时刻650记录在写入数据管理信息330中。另外，当提供序列序号时，写入数据收领部A210从写入对象的逻辑卷所属的逻辑卷组的组管理信息310中，参照序列序号，将向该序号加1后的值作为写入数据的序列序号，记录在写入数据管理信息330中，并将该新的序列序号记录在组管理信息310中。
图4是表示各逻辑卷组的组管理信息310的一例的图。组ID是就存储装置A100而言确定逻辑卷组用的ID。序列序号是连续提供给对属于该逻辑卷组的逻辑卷的写入数据的序号，将初始值例如为0、依次每次增加1的序号提供给写入数据。逻辑卷数是属于该逻辑卷组的逻辑卷的数。逻辑卷序号是就存储装置A100而言属于该逻辑卷组的逻辑卷ID。对方存储装置ID是确定具有与该逻辑卷组成对的逻辑卷组、且存储属于该逻辑卷组的逻辑卷内容复制的存储装置(在本实施例中为存储装置B190)的ID(序列序号等)。对方组ID是就对方存储装置(存储装置B190)而言、确定存储构成该逻辑卷组的对的逻辑卷组、即属于该逻辑卷组的逻辑卷内容复制的逻辑卷500(也称为对方逻辑卷。)所属的逻辑卷组的ID。
图5是表示用于管理各写入数据的写入数据管理信息330的一例的图。逻辑卷ID是存储写入数据的逻辑卷的ID。写入地址是所述逻辑卷中的该写入数据的写入开始地址。写入数据长度是该写入数据的长度。写入数据指针是高速缓冲存储器400中的该写入数据的存储开始地址。序列序号是就写入写入数据的逻辑卷所属的逻辑卷组而言、连续提供给写入数据的序号。写入时刻如后所述。必需传输比特是表示是否必需将该写入数据传输给存储装置B的比特，在写入数据收领部A210收领写入数据并制作写入数据管理信息330时为ON。例如对每个逻辑卷组列表管理写入数据管理信息330。另外，逻辑卷ID、写入地址、写入数据长度可根据存储装置A从MFA600或开放系统主计算机A700接收的写入指令来求出。因此，写入数据收领部A210也可使用写入指令内的信息来制作写入数据管理信息330。
回到图3，在步骤1004，写入数据收领部A210将写入时刻650作为写入时刻信息340记录在控制用存储器300中。
在步骤1001中，当写入请求中不包含写入时刻时，写入数据收领部A210将写入数据存储在高速缓冲存储器400中(步骤1005)，参照写入时刻信息340，向写入数据提供写入时刻，另外，参照组管理信息310，提供序列序号，制作写入数据管理信息330(步骤1006)。此时，写入数据收领部A210在写入数据管理信息300的写入时刻，记录于该时刻记录在写入时刻信息340中的时刻，序列序号按与上述步骤1003一样的步骤求出，记录在写入数据管理信息300中。
最后，在步骤1007中，对MFA600或开放系统主计算机A700执行写入完成报告。在上述处理中，不包含边将存储在高速缓冲存储器400中的写入数据写入逻辑卷500的物理记录媒体中、边向存储装置B190传输写入数据等费时的处理，这些处理在后面适当的定时非同步进行。由此，从写入数据收领部A210收领写入请求起至报告写入完成为止的时间缩短，可实现对MFA600或开放系统主计算机A700的高速响应。
图6是表示从存储装置A100向存储装置B190传输写入数据的处理一例的图。写入数据传输部A220参照写入数据管理信息330的列表，求出必需传输的写入数据，再参照写入数据管理信息330与组管理信息310和对方逻辑卷信息320，求出关于传输给存储装置B190的写入数据的信息(步骤1100)。在该信息中，包含根据写入数据管理信息330取得的写入地址、写入数据长度、序列序号、写入时刻、根据对方逻辑卷信息320取得的对方存储装置ID、对方逻辑卷序号、和使用逻辑卷ID并从组管理信息310参照的对方组序号。
图7是表示各逻辑卷的对方逻辑卷信息320一例的图。逻辑卷ID是源头侧的逻辑卷(在实施例1中，为存储装置A具有的逻辑卷)的ID。对方存储装置ID是确定具有与该逻辑卷成对、存储该逻辑卷中存储的数据复制的逻辑卷(也称为对方逻辑卷。)的存储装置(在实施例1中为存储装置B190)的ID(序列序号等)。对方逻辑卷ID是就对方存储装置(在实施例1中，为存储装置B190)而言、确定对方逻辑卷(即存储逻辑卷中存储的数据复制的目标侧的逻辑卷500)的ID。
下面，回到图6，写入数据传输部A220将写入数据与步骤1100中求出的信息传输给存储装置B190(步骤1101)。存储装置B的写入数据收领部B211将接收到的写入数据与信息存储在高速缓冲存储器400中(步骤1002)，根据接收到的信息，制作写入数据管理信息330(步骤1103)。存储装置B190的写入数据管理信息330的项目与存储装置A100的写入数据管理信息330的相同。就存储装置B190的写入数据管理信息330的内容而言，逻辑卷ID是存储复制的目标侧的逻辑卷500的ID，写入数据指针是存储装置B190的高速缓冲存储器400中的写入数据的存储开始地址，必需传输比特通常为OFF，这与存储装置A100的写入数据管理信息330不同，但其它相同。
存储装置B190也具有组管理信息310，但该项目也与存储装置A100的相同。就组管理信息310的内容而言，组ID是确定存储复制的目标侧逻辑卷500所属的逻辑卷组的ID，对方存储装置ID是成为源头的存储装置(在实施例1中为存储装置A100)的ID，对方组ID是就对方存储装置(在实施例1中为存储装置A100)而言、确定对方逻辑卷(即成为源头的逻辑卷500)所属的逻辑卷组的ID。另外，存储装置B190也具有对方逻辑卷信息320，但该项目也与存储装置A100的相同，就内容而言，逻辑卷ID是确定存储复制的逻辑卷500的ID，对方存储装置ID是确定成为源头的存储装置(存储装置A100)的ID的ID，对方逻辑卷ID是就对方存储装置(存储装置A100)而言确定对方逻辑卷(成为源头的逻辑卷500)的ID。
回到图6，接着，写入数据收领部B211更新已到达写入时刻信息350(步骤1104)。
图8是表示各组的已到达写入时刻信息350一例的图。组ID是就存储装置B190而言确定逻辑卷组的ID。已到达写入数据的最新写入时刻是就存储装置B190的逻辑卷组而言、提供给写入数据收领部B211收领的写入数据的写入时刻中、距当前时刻最近的最新时刻。但是，在按序列序号顺序看，有部分未到达的写入数据的情况下(有中途掉队的写入数据的情况下)，将按序列序号顺序连续的最后写入数据(掉队之前的写入数据)之前作为时刻比较的范围，将提供给这些写入数据的写入时刻中最新的时刻作为已到达时刻信息来记录。
就写入数据传输部A220与写入数据收领部B211之间的写入数据传输而言，也可并行同时传输多个写入数据。因此，不限于写入数据收领部B211按序列序号顺序来收领写入数据，但如后所述，由于对各逻辑卷组的每个、按序列序号顺序反映写入数据(即存储在存储装置B的逻辑卷中)，所以根据更新顺序(即根据存储装置A中的写入数据的写入顺序)来反映到复制中。
再回到图6，最后，写入数据收领部B211向写入数据传输部A220执行写入数据收领完成(步骤1105)。接收到该信息的存储装置A的写入数据传输部A对与写入数据收领完成报告对应的写入数据，将写入数据管理信息330的必需传输比特设为OFF。此时，存储装置A100可从高速缓冲存储器中废弃用于向存储装置B传输中保持的传输完的写入数据。
图9是表示存储装置B190中的写入数据反映处理(即向逻辑卷中存储写入数据的处理)一例的图。
写入数据反映指示部B230调查存储装置B190的全部逻辑卷组的已到达写入时刻信息350，求出其中最早的时刻(步骤1200)。写入数据反映指示部B230指示(或允许)写入数据反映部B240写入时刻在求出的时刻之前的写入数据向逻辑卷的反映(步骤1201)。接受该指示(或允许)的写入数据反映部B240参照写入数据管理信息330与组管理信息310，按写入时刻顺序，或若为相同写入时刻，则按各逻辑卷组中的序列序号顺序，对存储复制的逻辑卷500反映指示的时刻范围的数据(即写入时刻在步骤1200求出的时刻之前的写入数据)(即将写入数据存储在目标侧的逻辑卷中。)(步骤1202)。一旦步骤1202反映完全部指示范围的写入数据，则写入数据反映部B240向写入数据反映指示部230报告指示的处理完成(步骤1203)。存储装置B可从高速缓冲存储器400中废弃反映的写入数据。
通过上述步骤1200至步骤1203的处理，1循环的反映处理结束。为了继续反映从存储装置A传输来的写入数据，写入数据反映指示部B230与写入数据反映部B240重复上述循环。
通过上述处理，遵守由主体主计算机执行的数据更新与由开放系统主计算机执行的数据更新间的顺序，存储存储装置B190的更新后的数据复制，对各复制间的数据整合性而言，即便是主体主计算机的数据与开放系统主计算机的数据，也可维持共同的整合性。
即，存储装置A利用包含于从主体主计算机接收的写入请求630中的写入时刻650，向从开放系统主计算机接收的写入数据提供写入时刻，再将接收到的写入数据与写入时刻一起，使用序列序号进行管理。副侧的存储装置B使用序列序号与写入时刻来指定可反映的(即可存储在目标侧的逻辑卷中的)写入数据，将指定的写入数据存储在目标侧的逻辑卷中。结果，即便中途的缓冲或传输并行，也可通过遵守从主体主计算机写入的数据与从开放系统主计算机写入的数据间的写入顺序，在副侧的存储装置B190的逻辑卷中存储拷贝数据。
另外，即便例如存储装置A100中产生故障，先更新的写入数据未到达存储装置B190，就未到达的写入数据的写入时刻之后的写入时刻的写入数据而言，由于序列序号不连续，所以不允许反映。因此，副侧的存储装置B不产生数据更新的掉队，确保正侧的存储装置A与副侧的存储装置B之间的整合性。结果，即便在正侧的存储装置A产生故障的情况下，MFB690或开放系统主计算机B790也可使用取得整合性后的存储装置B190的逻辑卷500的内容，继承业务。
另外，上述处理中，由于向存储装置A接收的全部写入数据提供写入时刻，所以无论使用数据的主计算机是主体主计算机还是开放系统主计算机，均可知道任意逻辑卷500中哪个写入时刻之前的写入数据已从存储装置A传输到存储装置B、达到存储装置B、或已在存储装置B中反映(即已存储在逻辑卷中)等信息。
另外，上述步骤1202中为了减轻处理负荷，也可忽视写入时刻顺序，而按各逻辑卷组中的序列序号顺序，将指示的时刻范围的写入数据存储在存储复制的逻辑卷500中。此时，由步骤1203的处理完成报告的定时来保持复制间(即副侧的存储装置B的逻辑卷间)的整合性。在想在处理完成报告与下一处理完成报告之间的期间也保持具有整合性的数据的情况下，只要在处理完成报告的定时取得存储复制的逻辑卷500的瞬象即可。作为取得这种瞬象的方法，例如美国专利6658434号公开的技术。在该方法中，将存储应取得瞬象的数据的逻辑卷500(正卷)的存储内容拷贝到存储装置B190的其它逻辑卷500(副卷)中，若更新正卷，则将更新内容反映到副卷，但在本实施方式中，在一旦将正卷的瞬象存储在副卷中的时刻，停止反映，使副卷的内容静止、确定。
另外，在上述写入数据的传输处理中，最初写入数据传输部A220向写入数据收领部B211传输写入数据，但也可最初写入数据收领部B211向写入数据传输部220发行写入数据的传输请求，收领该请求的写入数据传输部A220向写入数据收领部B211传输写入数据。通过使用写入数据的传输请求，可对应于存储装置B190的处理状况或负荷、写入数据的存储量等来调整写入数据的传输进度。
另外，在上述处理中，将存储写入数据的场所设为高速缓冲存储器400，但也可另外准备写入数据存储用的逻辑卷500，在该逻辑卷500中存储写入数据。一般由于逻辑卷500对高速缓冲存储器400准备大容量，所以可存储较多的写入数据。
另外，在上述处理中，设利用从主体主计算机接收的写入时刻650来更新写入时刻信息340，但也可是存储装置A100在内部具有时钟，参照该时钟来不断更新写入时刻信息340。此时，存储装置A100从MFA600或开放系统主计算机A700收领对制作复制的逻辑卷500(成为源头的逻辑卷500)的写入请求时所执行处理的一例如图10所示。该处理是对应于图3所示的处理的处理。
写入数据收领部A210从MFA600或开放系统主计算机A700收领写入请求(步骤1300)。写入数据收领部A210将写入数据存储在高速缓冲存储器400中(步骤1301)，参照与存储装置A具有的时钟一致来不断更新的写入时刻信息340，向写入数据提供写入时刻，另外，参照组管理信息310，向写入数据提供序列序号，制作写入数据管理信息330(步骤1302)。最后，向MFA600或开放系统主计算机A700执行写入完成报告(步骤1303)。
另外，在上述处理中，将时刻用于写入时刻信息340或写入数据管理信息300的写入时刻或已到达写入时刻信息350中，但此时使用的时刻未必是年、月、日、时、分、秒、毫秒、微秒、纳秒或通算时间等形式，也可以是序列的序号。尤其是如图11所示，表示从MFA600或开放系统主计算机A700收领存储装置A100自己更新写入时刻信息340的情况下的、对存储装置A100制作复制的逻辑卷500(成为源头的逻辑卷500)的写入请求时的处理一例。该处理是对应于图3或图10的处理。另外，图11中，将写入时刻信息340的初始值例如为0、后面依次每次增加1的序号作为写入时刻提供给写入数据。
写入数据接收部A210从MFA600或开放系统主计算机A700收领写入请求(步骤1400)。写入数据收领部A210将写入数据存储在高速缓冲存储器400中(步骤1401)，从写入时刻信息340中读出序号，将向该序号加1后的值作为写入时刻，提供给写入数据(步骤1402)，将在步骤1402加1后的值作为写入时刻信息340来记录，更新写入时刻信息340(步骤1403)。另外，参照组管理信息310，将序列序号提供给写入数据(步骤1404)，制作写入数据管理信息330(步骤1405)。写入数据收领部A210最后向MFA600或开放系统主计算机A700执行写入完成报告(步骤1406)。
在如此将序列的序号用作写入时刻的情况下，代替在存储装置B190中的处理中，使用提供给写入数据收领部B211接收到的写入数据的写入时刻，更新已到达写入时刻信息350，写入数据反映指示部B230检查各逻辑卷组的已到达写入时刻信息350，指定可存储在存储装置B的逻辑卷中的写入数据的范围，而是写入数据反映部240参照在写入数据管理信息330的写入时刻记录的序列序号，按序号顺序不越过序号地将到达存储装置B的写入数据反映(即存储)在逻辑卷500中。
图12是表示第二实施方式中的计算机系统的构成例的图。
与实施例1的不同之处在于，MFA600与开放系统主计算机A700经I/O总线900连接于存储装置C180上，存储装置C180经传输总线910连接于存储装置A100上。在本实施例中，将存储在存储装置C180的逻辑卷500中的数据复制存储在存储装置A100的逻辑卷500中。并且，利用与实施例1中说明的处理一样的处理，将存储在存储装置A的逻辑卷500中的数据复制存储在存储装置B190的逻辑卷500中。即，在本实施例中，将存储在存储装置C180的逻辑卷500中的数据复制存储在存储装置A100与存储装置B180中。
为了实现这种处理，存储装置C180具备与实施例1中说明的存储装置A100一样的构成或各种信息等。但是，写入数据收领部C212发送对写入数据的写入完成通知的定时与实施例1不同。写入数据收领部如下所示，在从存储装置A的写入数据收领部A接收收领完成通知之后，向MFA600或开放系统主计算机A发送写入完成通知。其它的存储装置C的构成与实施例1中说明的存储装置A一样。
从MFA600或开放系统主计算机A700收领对逻辑卷500的写入请求630或写入请求730的存储装置C180在将收领到的写入数据640或写入数据740存储在存储装置C内的逻辑卷中的同时，将上述数据传输给存储装置A的写入数据收领部A210。此时，与实施例1中说明的处理不同，存储装置C180在等待来自写入数据收领部A210的收领完成通知之后，通过向MFA600或开放系统主计算机A700发送写入完成通知，保证存储装置C180写入的写入数据640或写入数据740的复制存在于存储装置A100中。由此，例如即便在存储装置C180或传输总线910中产生故障、且不能向存储装置A100传输数据，未传输到存储装置A100的写入数据也不能被MFA600或开放系统主计算机A700写入，并将收领到的写入数据确实写入存储装置A100中，所以MFA600上的APP620或开放系统主计算机A700上的APP720的期待复制存在于存储装置A100中。
并且，在存储装置A100将收领到的写入数据全部发送给存储装置B190之后，由于存储装置B190中也存在期待的复制，所以MFB690或开放系统主计算机B790可使用与在MFA600或开放系统主计算机A700执行的处理中断的时刻、识别为MFA600或开放系统主计算机A700写入完的数据相同的期待数据，继承业务。
如实施例1中最初所示，在利用提供给写入数据的写入时刻650来更新写入时刻信息340的情况下，若存储装置C100的写入数据收领部C212收领的写入请求630中包含写入时刻650，则将写入时刻也记录在写入数据管理信息330中，写入数据传输部C222在写入数据传输时，还将写入时刻传输给存储装置A100的写入数据收领部A210。
与写入数据一起收领写入时刻的写入数据收领部A210利用与实施例1中、处理从主体主计算机接收的写入请求630一样的方法，处理从存储装置C接收的写入数据与写入时刻，从而维持存储在存储装置A内的逻辑卷中的各复制间的整合性，即便是从主体主计算机发行的写入数据与从开放系统主计算机发行的写入数据之间也可维持整合性。
由此，即便因大规模灾害等而在存储装置C180与存储装置A100双方中产生故障，MFB690或开放系统主计算机B790也可使用取得整合性的存储装置B190的逻辑卷500的内容来继承业务。
如实施例1最后所示，在存储装置A100自己更新写入时刻信息340的情况下，不必从存储装置C180传输写入时刻，从存储装置C收领写入数据的写入数据收领部A210只要与实施例1最后所示的图11的处理一样处理写入数据即可。
另外，也可存在多台存储装置C180，该存储装置C180连接于存储装置A100上，向存储装置A100发送写入数据的复制，并使写入数据的复制存储在存储装置A中。
另外，在未图示的主体主计算机和开放系统主计算机经I/O总线连接于存储装置A100上时，连接于存储装置A上的主体主计算机或开放系统主计算机在MFA600或开放系统主计算机A700或存储装置C180中产生故障的情况等下，使用取得整合性的存储装置A100的逻辑卷500的内容，继承MFA600或开放系统主计算机A700执行的业务。
图13是表示实施例3中的计算机系统的构成例的图。
与实施例1的主要不同之处在于，分别有多台存储装置A100和存储装置B190，MFA600与开放系统主计算机A700经I/O总线900连接于多台存储装置A100的每个上，MFB690与开放系统主计算机B790经I/O总线900连接于多台存储装置B190的每个上，在MFA600中存在管理软件A800，在MFB690中存在管理软件B890。下面说明其它差异。
下面，说明就MFA600与开放系统主计算机A700使用的逻辑卷500而言、对向各逻辑卷500执行的写入的处理、和向存储装置B190传输写入数据与存储装置B190中的写入数据的反映(即写入数据向逻辑卷的存储)处理。通过这些处理，就多个存储装置B具有的多个逻辑卷各自中存储的复制间的整合性而言，即便主体主计算机的数据与开放系统主计算机的数据之间也能维持共同的整合性。
图14是表示存储装置A100从MFA600或开放系统主计算机A700收领对制作复制的逻辑卷500(成为源头的逻辑卷500)的写入请求时的处理一例的图。
写入数据收领部A210从MFA600或开放系统主计算机A700收领写入请求(步骤1500)。写入数据收领部A210将写入数据存储在高速缓冲存储器400中(步骤1501)，另外，与实施例1一样，参照组管理信息310，取得序列序号，制作写入数据管理信息330(步骤1502)。最后，向MFA600或开放系统主计算机A700执行写入完成报告(步骤1503)。组管理信息310与实施例1的一样。下面说明本实施例的写入数据管理信息330。
图15是表示管理软件A800对存储装置A100指示写入请求的处理保留与标记制作时的处理一例的图。如后所述，在对存储装置A100的逻辑卷500的更新期间进行该处理的定时，之后搬运地各复制的反映的同步，确立存储在多个存储装置B190的复制间的整合性。
首先，管理软件A800指示全部存储装置A100写入请求的处理保留(步骤1600)。接受该指示后，写入数据收领部A210保留写入请求的处理(步骤1601)，向管理软件A800报告开始保留(步骤1602)。管理软件A800在从指示的全部存储装置A100确认有保留开始的报告之后，进入下一处理(步骤1603、步骤1604)。
之后，管理软件A800指示全部存储装置A100制作标记(步骤1605)。在该指示中包含标记序号，作为参数。标记序号如后所述。接受该指示后，标记制作部A250将收领的标记序号记录在控制存储器300中存储的图16所示的标记序号信息360中(步骤1606)，对全部逻辑卷组制作信息传递用的特殊写入数据(后面称为标记)(步骤1607)。另外，所谓标记是对写入数据管理信息300设定标记属性的写入数据。
图17是表示本实施例中的写入数据的写入数据管理信息330一例的图，对实施例1的写入数据管理信息330附加标记属性比特与标记序号。
标记属性比特是表示该写入数据是标记的比特，在通常的写入数据中为OFF，但对标记设定成ON。对标记序号设定上述的标记序号。与通常的写入数据一样，对标记也取得提供组中的序列序号。即，在制作标记时，标记制作部A250与写入数据收领部A的处理一样，根据组的组管理信息310，参照序列序号，将对其加1的值作为所述标记的序列序号，记录在写入数据管理信息330中，将新的序列序号记录在组管理信息310中。这样，向标记提供序列序号后，与通常的写入数据一样传输给存储装置B190，但不将标记反映到逻辑卷500。
标记序号是用于确定根据哪个指示来制作标记的序号，例如初始值为0，在管理软件A800发行标记制作指示时，将标记序号每次增加1之后发行。管理软件A800读出记录在标记序号信息360中的标记序号，识别当前的标记序号。
加到图15，对全部逻辑卷组制作标记的标记制作部A250向管理软件A800报告标记制作完成(步骤1608)。管理软件A800从指示的存储装置A100全部中确认有标记制作完成报告的存储装置，进入下一处理(步骤1609、步骤1610)。
管理软件A800向全部存储装置A100指示写入请求的处理保留的解除(步骤1611)。接受该指示后，写入数据收领部A210解除写入请求的处理保留(步骤1612)，将保留解除报告给管理软件A800(步骤1613)。
图18是表示从存储装置A100向存储装置B190传输写入数据的处理一例的图。该处理与实施例1的图6中说明的传输处理大致一样，但不同之处在于不执行写入数据收领部B211对已到达写入时刻信息350的更新。另外，存储装置B190的写入数据管理信息330与上述图17所示的写入数据管理信息相同，在步骤1703中，将写入数据的标记属性的有无或标记序号也记录在写入数据管理信息330中。
图19是表示存储装置B190中的写入数据向逻辑卷的反映(存储)处理一例的图。首先，管理软件B890向全部存储装置B190指示对存储复制的逻辑卷500的标记之前的写入数据的反映(步骤1800)。接受该指示的写入数据反映部B240参照写入数据信息330与组管理信息310，按各组中的序列序号顺序，对存储复制的逻辑卷500反映标记之前的写入数据(步骤1801)。即，写入数据反映部B240按序列序号顺序将写入数据存储在逻辑卷中，一旦看见标记属性的写入数据(即标记)，则停止数据的存储处理，并将反映完成报告给管理软件B890(步骤1802)。在上述处理中，写入数据反映部B调查记录在标记的写入数据管理信息330中的标记序号，判定标记序号是否正确(根据与所述标记序号确定规则相同的规则，或例如是初始值为0的序号，对上次的标记序号加1的序号)，在不正确的情况下，向管理软件B890报告异常，在正确的情况下，将标记序号记录在标记序号信息360中，报告正常。管理软件B890读出记录在标记序号信息360中的标记序号，确认当前的标记序号。
管理软件B890在从指示的存储装置B190全部确认有正常的反映完成报告之后，前进到下一处理(步骤1803、步骤1804)。
接着，管理软件B890向全部存储装置B190指示存储复制的逻辑卷500的瞬象的更新(步骤1805)。接受该指示的瞬象取得部B260更新逻辑卷500的内容的瞬象(步骤1806)。作为取得这种瞬象的方法，例如美国专利6658434号公开的技术。另外，在本实施方式中，与实施例1中说明的方法一样，在瞬象取得的时刻，停止向存储瞬象数据的卷反映写入数据，使存储瞬象数据的卷内容静止。更新瞬象的瞬象取得部B260向管理软件B890报告瞬象更新完成(步骤1807)。管理软件B890从指示的存储装置B190全部确认有瞬象更新完成的报告后，前进到下一处理(步骤1808、步骤1809)。
管理软件A800与管理软件B890分别重复上述步骤1600-步骤1613、和步骤1800-步骤1809的处理。由此，将对存储装置A100的逻辑卷500的更新稳定地反映到存储装置B190的逻辑卷500。
通过上述处理，停止MFA600与开放系统主计算机A700执行的数据更新，制作标记，作为在多个存储装置之间统一更新状况的定时(校验点)，并在写入标记之前的时刻，使更新数据对多个副侧存储装置B具有的多个副侧逻辑卷中存储的复制数据的反映(即存储)同步，所以就各复制之间的整合性而言，可在该标记的时刻，在主体主计算机的数据与开放系统主计算机的数据得到共同的整合性。并且，更新数据对复制数据的反映在多个复制数据之间同步的时刻，取得瞬象，将具有共同整合性的复制保持在瞬象卷中，所以MFB690或开放系统主计算机B790可使用瞬象卷中存储的取得整合性的数据来继承业务。
在上述处理中，根据管理软件B890的指示，存储装置B190更新瞬象，但也可是存储装置B在多个复制数据之间使更新数据的反映同步的定时，更新瞬象。此时存储装置B190中的写入数据向复制的反映处理一例如图20所示。
管理软件B890向全部存储装置B190指示对存储复制的逻辑卷500的标记之前的写入数据的反映(步骤1900)。接受该指示的写入数据反映部B240与图19中说明的处理一样，反映写入数据，并一旦看见标记，则停止反映，通知给瞬象取得部B260(步骤1901)。接受通知的瞬象取得部B260更新逻辑卷500的内容的瞬象，并通知给写入数据反映部B240(步骤1902)。被通知的写入数据反映部B240将反映完成报告给管理软件B890(步骤1903)。管理软件B890一旦从指示的存储装置190全部确认有瞬象更新完成的报告，则前进到下一处理(步骤1904、步骤1905)。
另外，在上述处理中，存储装置A100或存储装置B190对来自管理软件A800或管理软件B890的各种指示报告处理完成，但也可以是管理软件A800或管理软件B890对所述指示，定期询问存储装置A100或存储装置B190处理状态，从而管理软件A800或管理软件B890检测存储装置A100或存储装置B190的各种处理完成。
另外，在上述处理中，继续进行从存储装置A100至存储装置B190的写入数据的传输处理，但也可以是存储装置A100制作标记并传输写入数据之后，停止写入数据的传输，并且，存储装置B190在反映处理中检测收领的标记之后(标记之前的写入数据反映之后)，停止写入数据的反映，即将存储装置A100与存储装置B190的复制处理变为停止状态(称为悬挂(suspend)状态)。其中，存储装置B190与来自管理软件B890的指示无关，执行写入数据的反映，直到标记检测。此时，标记制作指示与悬挂状态移动指示等效，在全部存储装置B190移动到悬挂状态的时刻，对存储装置B190的逻辑卷500制作具有共同整合性的复制。当重新开始复制处理时，在取得逻辑卷500的瞬象之后，从管理软件A800或管理软件B890指示复制处理重新开始，使存储装置A100与存储装置B190的复制处理重新开始。结果，可将共同整合性的复制保持在存储瞬象的数据中，MFB690或开放系统主计算机B790可使用取得整合性的数据来继承业务。
另外，在上述处理中，管理软件A800或管理软件B890与存储装置A100或存储装置B190之间的各种指示、报告和信息的发送接收既可经由I/O总线900执行，也可经由网络920来执行。在以对存储装置A100的写入请求的形式来进行标记制作指示的情况下，在存储装置A100中设置构成写入请求处理保留对象之外的逻辑卷500，对该逻辑卷500执行标记制作指示。
另外，上述处理中，存储装置A100与存储装置B190不必一对一连接，只要各个逻辑卷500和逻辑卷组作为源头和复制对应，则数量不必相同。
另外，在上述构成中，管理软件A800存在于MFA600中，管理软件B890存在于MFB690中，但管理软件A800和管理软件B890也可存在于MFA600、MFB690、开放系统主计算机A700、开放系统主计算机B790、存储装置A100、存储装置B190任意一个中。另外，也可存在于与存储装置A100或存储装置B190连接的未图示的其它计算机中。
在上述处理中，写入数据反映部B240确定正确的标记序号，但也可以是管理软件B将正确的标记序号作为反映指示的参数，指定给存储装置B190。另外，也可当管理软件A800对存储装置A100指示写入请求的处理保留与标记制作时，确定唯一的标记序号，并在指定给存储装置A100的同时，通知管理软件B890，管理软件B890将该标记序号指定给存储装置B190。
在上述处理中，也可与APP620或APP720的处理联动，确定管理软件A800对存储装置A100指示写入请求的处理保留与标记制作的契机。例如，通过在DBMS的校验点制作的契机指示写入请求处理的保留与标记制作，在校验点执行反映向复制的同步。因此，在将校验点下的正侧逻辑卷500的存储内容反映到副侧的逻辑卷中的复制的状态下，取得瞬象，MFB690或开放系统主计算机B790使用该状态的数据来继承业务。
另外，也可代替管理软件A800对存储装置A100指示写入请求的处理保留和保留解除，而是OS610或OS710与管理软件A800协同，从而MFA600或开放系统主计算机A700保留或重新开始对存储装置A100的写入请求的发行。
另外，也可如实施例1中说明的那样，在高速缓冲存储器400之外，准备写入数据存储用的逻辑卷500，在该写入数据存储用逻辑卷500中存储写入数据。就写入数据的传输处理而言，也可以是写入数据收领部B211最初对写入数据传输部220发行写入数据的传输请求，收领该请求的写入数据传输部A220对写入数据收领部B211传输写入数据。
本实施例中说明的处理即便在写入请求中不包含写入时刻也可实施。
图21是表示实施例4中的计算机系统的构成例的图。
与实施例3的不同之处在于，MFA600与开放系统主计算机A700经I/O总线900连接于多个存储装置C180的每个上，多个存储装置C180经传输总线910连接于多个存储装置A100上。并且，多个存储装置C180由网络920连接于其它计算机或装置上。另外，实施例4的存储装置A和存储装置B具有与实施例3中的存储装置A和存储装置B一样的构成、功能。
在本实施例中，与实施例2一样，将存储装置C180的逻辑卷500中存储的数据的复制存储在存储装置A100的逻辑卷500中。即，存储装置C180具备与实施例2一样的构成或各种信息等，收领从MFA600或开放系统主计算机A700至逻辑卷500的写入请求的存储装置C180在存储收领的写入数据的同时，向存储装置A的写入数据收领部A210传输，但此时与实施例2一样，在等待来自写入数据收领部A210的收领完成通知之后，向MFA600或开放系统主计算机A700发送写入完成通知，保证存储装置C180写入的写入数据640或写入数据740的复制存在于存储装置A100中。
并且，存储装置A利用与实施例3中说明的处理一样的处理，将存储装置C的逻辑卷500中存储的数据的复制存储在存储装置B190的逻辑卷500中。通过上述处理，如实施例2所述，即便例如在存储装置C180或传输总线910中产生故障且不能向存储装置A100传输数据，MFB690或开放系统主计算机或B790也可从存储装置B得到MFA600或开放系统主计算机A700中断处理时识别为存储在存储装置C中的期待内容，所以可使用该数据来继承业务。
在上述处理中，管理软件A800与实施例3中对存储装置A100执行的处理一样，对存储装置C180执行写入请求的处理保留、或标记制作、或写入请求的处理保留解除的指示。与实施例3的步骤1600一样，首先，管理软件A800对全部存储装置C180指示写入请求的处理保留。接受该指示的存储装置C180的写入数据收领部C212与实施例3的步骤1601与步骤1602中存储装置A100进行的处理一样，保留写入请求的处理，并向管理软件A800报告保留开始。如上所述，在该时刻，已向存储装置A100传输完对MFA600或开放系统主计算机A700的写入完成通知的写入数据，存储装置A100制作写入数据的写入数据管理信息300。管理软件A800与实施例3的步骤1603和步骤1604一样，从指示的存储装置C180全部中确认有保留开始的报告，前进到下一处理。
之后，管理软件800与实施例3的步骤1605一样，向全部存储装置C180指示标记制作。收领该指示的存储装置C180经传输总线910或网络920来向存储复制的存储装置A100传递标记制作指示。接受标记制作指示的存储装置A100与实施例3的步骤1606、步骤1607和步骤1608一样，制作标记，并经传输总线910或网络920将标记制作完成报告给所述存储装置C180。收领报告后的存储装置C180向管理软件800报告标记制作完成。管理软件A800与实施例3的步骤1609和步骤1610一样，在从指示的存储装置C180全部中确认有标记制作完成的报告之后，前进到下一处理。
之后，管理软件A800与实施例3的步骤1611一样，指示全部的存储装置C180写入请求的处理保留解除。接受该指示的存储装置C180的写入数据收领部C212与实施例3的步骤1612与步骤1613中存储装置A100进行的处理一样，解除写入请求的处理保留，并将保留解除报告给管理软件A800。
即，存储装置C180执行写入请求的处理保留与保留解除，此间的标记制作在存储装置C180向存储装置A100传递指示后、由存储装置A100来进行。如上所述，向存储装置A100传输完对MFA600或开放系统主计算机A700的写入完成通知的写入数据，存储装置A100制作相关写入数据的写入数据管理信息300，所以实施例3中存储装置A100进行写入请求的处理保留、和本实施例中存储装置C180进行写入请求的处理保留相等。由此，通过进行上述处理，另外，如实施例3中说明的那样进行其它处理，本实施例的构成也与实施例3一样，停止MFA600与开放系统主计算机A700执行的数据更新，将更新状况作为在多个存储装置之间统一的定时(校验点)，制作标记，使更新向复制的反映在标记的时刻同步，就各复制之间的整合性而言，可在该时刻就主体主计算机的数据与开放系统主计算机的数据得到共同的整合性。并且，在反映的同步时刻，取得瞬象，将具有共同整合性的复制保持在瞬象卷中，MFB690或开放系统主计算机或B790使用取得整合性的数据来继承业务。
在上述处理中，管理软件A800指示存储装置C180制作标记，存储装置C180将该指示传递给存储装置A100，但也可以是管理软件A800向全部存储装置A100直接指示标记制作，存储装置A100向管理软件800报告标记制作完成。即，管理软件A800首先向全部存储装置C180指示写入请求的处理保留，从指示的存储装置C180全部中确认有保留开始的报告，与实施例3的步骤1605一样，向全部的存储装置A180指示标记制作。接受该指示的所述存储装置A100与实施例3的步骤1606、步骤1607和步骤1608一样，制作标记，并将标记制作完成报告给管理软件800。管理软件A800与实施例3的步骤1609与步骤1610一样，从指示的存储装置A100全部确认有标记制作完成的报告，向全部存储装置C180指示写入请求的处理保留的解除。
另外，也可以是存储装置C180具有标记制作部与标记序号信息330，接受来自管理软件A800的标记制作指示，制作标记，并将制作为写入数据的标记传输给存储装置A100，接受来自存储装置A100的写入数据收领部210的收领报告，向管理软件A800报告标记制作完成。此时，存储装置A100将收领到的标记处理为特殊的写入数据，与通常的数据一样处理后传输给存储装置B190，但不进行向复制的反映。
上述任一处理均可与连接于存储装置A100上、在存储装置A100中设置复制的存储装置C180的数量无关地实现。
另外，在未图示的主体主计算机和开放系统主计算机经I/O总线连接于存储装置A100上的情况下，所述主体主计算机和所述开放系统主计算机在MFA600或开放系统主计算机A700或存储装置C180中产生故障的情况等下，可使用取得整合性的存储装置A100的逻辑卷500的内容来继承业务。
图22是表示适用本发明的计算机系统在实施例5中的构成例的图。
与实施例3的不同之处在于，管理软件A800存在于一个存储装置A100中，管理软件B890存在于一个存储装置B190中，各存储装置A100由传输总线910连接，各存储装置B190也由传输总线910连接。另外，各存储装置B190在控制存储器300中具有后述的已到达标记序号信息370。已到达标记序号信息370存在于每组中。其它差异如下所述。
下面，说明就MFA600与开放系统主计算机A700使用的逻辑卷500而言、对向各逻辑卷500执行的写入的处理、和向存储装置B190的传输和存储装置B190中的反映处理。通过这些处理，就各复制间的整合性而言，即便是主体主计算机的数据与开放系统主计算机的数据，也可始终维持共同的整合性。在本实施例中，存储装置A100和存储装置B190经所述传输总线910控制确保各复制间的整合性用的处理，从而可仅由存储装置A100和存储装置B190的处理来实现。
在本实施例中，在存储装置A100对制作复制的逻辑卷500(成为源头的逻辑卷500)从MFA600或开放系统主计算机A700收领写入请求时的处理与实施例3中说明的处理一样，存储装置A100执行实施例3中图14中说明的处理。本实施例中的各种管理信息除已到达标记序号信息370外，与实施例3中说明的一样。
图23是表示存在于存储装置A100中的管理软件A800对各存储装置A100指示写入请求的处理保留与标记制作时的处理的图。与实施例3中图15说明的处理基本一样。但是，在本实施例中与实施例3不同，如上所述，由于管理软件A存在于多个存储装置A中的某个存储装置A中，所以管理软件A与存储装置A间的交换在管理软件、管理软件存在的存储装置A内的写入数据收领部或标记制作部之间、或管理软件A、与管理软件A存在的存储装置A之外的存储装置A内的写入数据收领部或标记制作部之间执行。另外，在本实施例中，就标记序号而言，作为采用标记序号的规则，步骤3005指定的标记序号为对上次标记序号加1的序号(每次增加1的序号)。
图24是表示从存储装置A100向存储装置B190传输写入数据的处理的图。虽然与实施例3中图18中说明的处理基本一样，但不同之处在于，在步骤3106中写入数据收领部B211向写入数据传输部A220报告写入数据收领完成之前，在步骤3104中，判定写入数据收领部B211收领的写入数据是否是标记，在是标记的情况下，在步骤3105中，写入数据收领部B211将所述标记的标记序号记录在图25所示的已到达标记序号信息370中。已到达标记序号信息370存在于每个组中，管理软件B890读出记录在各组的已到达标记序号信息370中的标记序号，取得各组的已到达标记序号。
图26是表示对存储装置B190中的复制的写入数据反映处理的图。存在于存储装置B190中的管理软件B890从全部存储装置B190的全部组中取得记录在已到达标记序号信息370中的标记序号，并求出取得的标记序号中最小的标记序号(步骤3200)。之后，管理软件B890就各组向全部存储装置B190指示具有求出的标记序号的标记之前的写入数据向逻辑卷500的反映(步骤3201)。接受该指示的写入数据反映部B240参照写入数据信息330与组管理信息310，按各组中的序列序号顺序，向存储复制的逻辑卷500反映写入数据，直到指示的标记(步骤3202)。写入数据反映部B240在对各组按序列序号顺序处理写入数据中，一旦看见对每个组指示的标记，则停止反映，并向管理软件B890报告反映完成(步骤3203)。由于在步骤3200中求出最小的标记序号，所以该标记序号的标记必然到达各存储装置B190的各组，由此，必然能反映指示标记之前的写入数据。写入数据反映部B240将反映的标记的标记序号记录在标记序号信息360中，管理软件B890读出记录在标记序号信息360中的标记序号，并进行确认。管理软件B890在从对各组指示的存储装置B190全部确认有正常的反映完成报告之后，前进到下一处理(步骤3204、步骤3205)。
管理软件A800与管理软件B890分别重复上述处理。由此，向存储装置A100的逻辑卷500的更新被稳定地反映到存储装置B190的逻辑卷500。
因为上述反映处理中不使用瞬象来确保、维持各复制间的整合性，所以不必瞬象用的逻辑卷500(副卷)等瞬象用的存储区域。另一方面，即便是上述管理软件A800和管理软件B890存在于存储装置A100和存储装置B190中的构成，也可如实施例3中说明的反映处理那样，进行执行使用瞬象的整合性确保的处理。
通过上述处理，就多个存储装置A100和多个存储装置B190制作的各复制间的整合性而言，即便是主体主计算机的数据与开放系统主计算机的数据也可始终维持共同的整合性。并且，通过存储装置A100和存储装置B190控制确保各复制间的整合性用的处理，可仅由存储装置A100和存储装置B190的处理来实现各复制间的整合性确保，不使用调速机上的资源。
在上述处理中，管理软件A800或管理软件B890与存储装置A100或存储装置B190之间的各种指示或报告或信息取得经由传输总线910，但也可经由网络920。在标记制作指示按对存储装置A100的写入请求的形式来进行的情况下，在存储装置A100中设置构成写入请求处理保留对象以外的逻辑卷500，对所述逻辑卷500进行所述标记制作指示。
另外，在上述处理中，存储装置A100与存储装置B190不必一对一连接，只要各个逻辑卷500和组作为源头和复制对应，则数量不必相同。
另外，如实施例1中所述，在高速缓冲存储器400之外，准备写入数据存储用的逻辑卷500，在所述逻辑卷500中存储写入数据，另外，就写入数据的传输处理而言，也可以是写入数据收领部B211最初对写入数据传输部220发行写入数据的传输请求，收领所述请求的写入数据传输部A220对写入数据收领部B211传输写入数据。
另外，也可如实施例4所示，经传输总线910将相当于存储装置C180的未图示的其它存储装置D连接于存储装置A100上，经I/O总线900将MFA600与开放系统主计算机A70连接于该其它存储装置D上。此时，与实施例2或实施例4中说明的处理一样，将存储装置D的逻辑卷500的复制存储在存储装置A100的逻辑卷500中，并如本实施例中已说明的那样，将存储装置A100的所述逻辑卷500的复制存储在存储装置B190的逻辑卷500中，从而如实施例4或实施例2中说明的那样，即便例如在存储装置D或传输总线910中产生故障，不能向存储装置A100传输数据，MFB690或开放系统主计算机或B790也可使用MFA600或开放系统主计算机A700的处理中断之后的期待内容来继承业务。
就上述处理而言，存储装置A100提供如下接口(CLI或GUI或API)。
(1)开始或停止管理软件A800进行的上述处理的接口。
(2)取得或显示管理软件A800的处理状态的接口。
(3)确定或指定管理软件A800动作的存储装置A100的接口。所述存储装置A100可被指定给用户或管理者，也可考虑处理负荷平衡，自动选择处理负载小的存储装置A100。也可提供表示管理软件A800可操作的存储装置A100的接口，用户或管理者使用所述接口来把握管理软件A800可操作的存储装置A100，并从中选择指定使管理软件A800操作的所述存储装置A100。
(4)指定构成管理软件A800进行的上述处理的对象的存储装置A100和组的接口。指定存储装置A100的序列序号或识别符、组序号或识别符等，作为参数。另外，提供可构成管理软件A800进行的上述处理对象的存储装置A100和组的接口，用户或管理者使用所述接口，把握可构成上述处理的对象的存储装置A100和组，并从中选择指定构成上述处理的对象的存储装置A100和组。
(5)从管理软件A800进行的上述处理对象中删除存储装置A100或组的接口。指定存储装置A100的序列序号或识别符、组序号或识别符等，作为参数。另外，提供表示构成当前管理软件A800进行上述处理的对象的存储装置A100和组的接口，用户或管理者使用所述接口，把握可从上述处理对象中删除的存储装置A100和组，并从中选择指定从上述处理对象中删除的存储装置A100和组。
(6)确定或指定管理软件A800重复上述处理的间隔(时间间隔)的接口。上述间隔可指定给用户或管理者，也可考虑处理负载后自动确定，或根据写入数据量来自动确定。
(7)在管理软件A800进行的上述处理中、确定或指定等待来自存储装置A100的报告的上限时间的接口。
(8)在管理软件A800进行的上述处理中确定或显示故障因素的接口。
(9)选择将在管理软件A800进行的上述处理中产生故障时的影响范围设为管理软件A800进行的上述处理的对象整体、或关联于所述故障的部分存储装置A100、或部分组、或部分逻辑卷500的接口。
(10)取得或显示已制作标记序号的接口。
另外，就上述处理而言，存储装置B190提供以下用户接口。
(11)开始或停止管理软件B890进行的的上述处理的接口。
(12)取得或显示管理软件B890的处理状态的接口。
(13)确定或指定管理软件B890动作的存储装置B190的接口。所述存储装置B190可被指定给用户或管理者，也可考虑处理负荷平衡，自动选择处理负载小的存储装置B190。也可提供表示管理软件B890可操作的存储装置B190的接口，用户或管理者使用所述接口来把握管理软件B890可操作的存储装置B190，并从中选择指定使管理软件B890操作的所述存储装置B190。
(14)指定构成管理软件B890进行的上述处理的对象的存储装置B190和组的接口。指定存储装置B190的序列序号或识别符、组序号或识别符等，作为参数。另外，提供可构成管理软件B890进行的上述处理对象的存储装置B190和组的接口，用户或管理者使用所述接口，把握可构成上述处理的对象的存储装置B190和组，并从中选择指定构成上述处理的对象的存储装置B190和组。
(15)从管理软件B890进行的上述处理对象中删除存储装置B190或组的接口。指定存储装置B190的序列序号或识别符、组序号或识别符等，作为参数。另外，提供表示构成当前管理软件B890进行上述处理的对象的存储装置B190和组的接口，用户或管理者使用所述接口，把握可从上述处理对象中删除的存储装置B190和组，并从中选择指定从上述处理对象中删除的存储装置B190和组。
(16)确定或指定管理软件B890重复上述处理的间隔(时间间隔)的接口。上述间隔可指定给用户或管理者，也可考虑处理负载后自动确定，或根据到达存储装置B190后未被反映的写入数据量或已反映标记序号与已到达标记序号的差来自动确定。
(17)在管理软件B890进行的上述处理中、确定或指定等待来自存储装置B190的报告的上限时间的接口。
(18)在管理软件B890进行的上述处理中确定故障因素的接口。
(19)选择将在管理软件B890进行的上述处理中产生故障时的影响范围设为管理软件B890进行的上述处理的对象整体、或关联于所述故障的部分存储装置B190、或部分组、或部分逻辑卷500的接口。
(20)取得或显示已到达标记序号和已反映标记序号的接口。指定存储装置B190的序列序号或识别符、组序号或识别符等作为参数。
(21)取得或显示到达但未反映的写入数据量的接口。指定存储装置B190的序列序号或识别符、组序号或识别符等作为参数。
(22)取得存储到达但未反映的写入数据的存储区域大小的接口。指定存储装置B190的序列序号或识别符、组序号或识别符等作为参数。
作为上述接口的形式，有CLI或GUI或API。另外，作为上述接口的使用方法，也可以直接使用存储装置A100或存储装置B190的终端，或经网络920或I/O总线910或传输总线920，从MFA600、或MFB690、或开放系统主计算机A700、或开放系统主计算机B790、或未图示的其它计算机来远程使用。
在上述说明中，管理软件A800存在于存储装置A100中，管理软件B890存在于存储装置B190中，但也可通过经传输总线910或网络920，进行各种指示或报告或信息取得，在存储装置B190操作管理软件A800，或在存储装置A100操作管理软件B890。此时，通过存储装置A100和存储装置B190控制用于确保各复制间的整合性的处理，可仅由存储装置A100和存储装置B190的处理来实现各复制间的整合性确保，不使用主计算机上的资源。
图27是表示适用本发明的计算机系统在实施例6中的构成例的图。实施例6的系统构成与实施例5的共同点多，所以下面说明与实施例5的差异点。实施例6与实施例5的主要差异如下所示。
(1)管理软件A800与管理软件B890存在于一个存储装置A100中。
(2)由存储装置A分组从标记制作时(T1)至下一标记制作时(T2)到达存储装置A100的写入数据，作为差分集合，按该差分集合单位来实施从存储装置A100至存储装置B190的数据传输或存储装置B190中的数据反映。另外，标记序号在本实施方式中用作用于识别差分集合的识别信息。
(3)为了上述差分集合的管理、和差分集合的状态操作，各存储装置A100在控制部200中具有差分集合切换部A270，各存储装置B190在控制部200中具有差分集合切换部B271。另外，各存储装置A在控制用存储器300中具有已送出标记序号信息380。
下面，按顺序追述其它差异。
首先，示出使用差分集合的处理概要。
(A)存储装置A100管理在某个时刻T1之后接收的、对存储装置A100具有的逻辑卷的写入请求的写入数据，作为发生差分集合410。
(B)在变为时刻T2时，存储装置A100将发生差分集合410变更为送出差分集合420。另外，存储装置A100管理对时刻T2之后接收到的逻辑卷的写入请求的写入数据，作为新的发生差分集合410。另外，存储装置A100将作为送出差分集合420管理的写入数据发送给存储装置B190，接收到该写入数据的存储装置B190管理接收到的写入数据，作为收领差分集合430。
存储装置B190一旦接收全部送出差分集合420的数据，则将收领差分集合230变更为反映差分集合440。另外，存储装置B190通过将反映差分集合440中的写入数据写入存储装置B190具有的逻辑卷中，实现非同步远程拷贝。
另外，如后所述，根据来自管理软件A800或管理软件B890的指示，进行上述差分集合的状态变更或写入数据的发送等。另外，从(A)至(C)的处理也可如流水线处理那样并行处理。
下面，说明对MFA600或开放系统主计算机A700使用的存储装置A100的逻辑卷500发行的写入请求的处理、和从存储装置A100至存储装置B190的写入数据传输处理、和存储装置B190中的写入数据反映处理。
图32是表示写入数据收领部A210从MFA600或开放系统主计算机A700接受写入请求时的处理一例的流程图。下面，说明每个步骤。
在存储装置A100的写入数据收领部A210接收写入请求的情况下(步骤4201)，写入数据收领部A210将写入数据(在以后的说明中，将该写入数据称为写入数据New)存储在高速缓冲存储器400中(步骤4202)。
之后，写入数据收领部A210判定由根据写入指令得到的写入数据New的写入目的地的开始地址和结束地址(可根据开始地址与写入长度来算出)所示的存储区域内，是否存在步骤4201之前接收的写入数据(后面称为写入数据Old)。该判断例如可通过检索写入数据管理信息330来进行(步骤4203)。另外，下面描述本实施方式中的写入数据管理信息330。
判断的结果，在不存在写入数据Old的情况下，前进到步骤4206，在存在的情况下，前进到步骤4208。
在步骤4206中，写入数据收领部A210参照标记序号信息360，将作为标记序号信息360记录的标记序号作为写入时刻，制作写入数据管理信息330。这里，在本实施方式中，标记序号与实施例5一样，根据管理软件A800的指示，一次增加1，作为标记序号信息360，记录在各存储装置A100的控制用存储器300中。另外，在本实施方式中，使用与图17所示的写入数据管理信息一样的信息，作为写入数据管理信息330。但是，在本实施方式中，序列序号、标记属性比特、标记序号、必需传输比特也可不包含于写入数据管理信息330中。另外，在本实施方式中，如上所述，使用记录在标记序号信息360中的标记序号，作为写入数据管理信息330的写入时刻。
返回图32，在步骤4207，写入数据收领部A210向发行写入请求的MFA600或开放系统主计算机A700报告写入完成，结束处理。
另一方面，在步骤4208中，写入数据收领部A210参照步骤4203中确认存在的写入数据Old的写入数据管理信息330，比较作为写入时刻记录在写入数据Old的写入管理信息330中的标记序号、与记录为当前标记序号信息360的标记序号。比较的结果，若为相同值，则前进到步骤4204，若为不同值(即写入数据Old是比写入数据New老1代的数据)，则前进到步骤4206。
在步骤4204中，写入数据收领部A210合并写入数据New与写入数据Old。所谓合并是指将地址重合的多个写入数据和写入数据管理信息330汇总成一个。另外，在步骤4205中，写入数据收领部A210将写入完成报告给作为写入请求发行源的MFA600或开放系统主计算机A700。
下面，用图29来表示图32的步骤4202中说明的写入数据New与写入数据Old的合并操作一例。
在图29的情况1时，写入数据收领部A210在高速缓冲存储器400上，用写入数据New改写写入数据Old中相当于写入数据New的部分。另外，写入数据收领部A210原样使用写入数据Old的写入数据管理信息330，作为写入数据New的写入数据管理信息330。
图29的情况2时，写入数据收领部A210废弃写入数据Old。另外，写入数据收领部A210将写入数据Old的写入数据管理信息330中的写入数据指针更新为对写入数据New的指针，并将写入地址与写入数据长度分别更新为写入数据New的写入地址与写入数据长度，将更新后的写入数据管理信息330设为写入数据New的写入数据管理信息330。
图29的情况3或4时，写入数据收领部A210在高速缓冲存储器400上，将写入数据New重新写于写入数据Old之上。另外，写入数据收领部A210使用写入数据Old与写入数据New的写入地址中小的值，作为写入数据New的写入数据管理信息330的写入地址。另外，写入数据收领部A210求出写入数据Old与写入数据New的结束地址中最大的结束地址，将从该结束地址中减去在先求出的写入地址的值用于写入数据New的写入数据管理信息330的写入数据长度中。
通过如此在图32的步骤4204中写入数据收领部A210进行写入数据和写入数据管理信息330的合并，相同差分集合内仅残留最新的写入数据。即，在从所述时刻T1至时刻T2之间重复的地址中有多次写入请求的情况下，在地址重复的范围中，在高速缓冲存储器400上仅残留基于最新写入请求的写入数据，作为发生差分集合，在存储装置A100的控制部200中管理。因此，可削减从存储装置A100传输到存储装置B190的数据量。
图28是表示从存储装置A100向存储装置B190发送写入数据时的、写入数据传输部A与写入数据收领部B的处理一例的流程图。下面，根据流程来说明。
写入数据传输部A220向存储装置B190发送作为送出差分集合420管理的写入数据(步骤4001)。此时，写入数据传输部A220将该写入数据的写入数据管理信息330与作为送出差分集合420管理的写入数据一起发送给存储装置B190。
写入数据传输部A220开始该步骤4001的发送处理的契机如图31的步骤4116的说明所述，为有来自管理软件A的指示的情况。写入数据传输部A220一旦送完作为送出差分集合420管理的写入数据，则向存储装置B190发送表示该情况的完成通知，并等待来自写入数据收领部B211的接收完成报告。
另外，在本实施例中，通过参照标记序号信息360和写入数据管理信息330，可判断高速缓冲存储器400内的写入数据是否是包含于送出差分集合420中的写入数据。即，若检索具有比标记序号信息360所示的标记序号早1代的值(在本实施例中为仅小1的值)作为写入时刻的写入数据管理信息330，则对应于该写入数据管理信息330的写入数据是包含于送出差分集合420中的写入数据。
写入数据收领部B211若接收送出差分集合420的数据，则将接收到的写入数据作为收领差分集合430，保存在高速缓冲存储器400中(步骤4003)。另外，接收到的写入数据管理信息330保存在控制用存储器300中。
若写入数据收领部B211从写入数据传输部A220接收完成通知，则写入数据收领部B211识别送出差分集合420的数据接收全部完成的情况，向写入数据传输部A220发送接收完成报告(步骤4004)。
之后，写入数据收领部B211更新控制用存储器300内的已到达标记序号信息370(步骤4005)。即，写入数据收领部B211将作为写入时刻记录在管理为收领差分集合430的写入数据的写入数据管理信息330中的标记序号记录在控制用存储器300中，作为已到达标记序号信息370。另外，在本实施方式或，该更新处理是将已到达标记序号信息370的值增加1的处理。
另一方面，从写入数据收领部B211接收接收完成报告的写入数据传输部A220更新已发送标记序号信息380(步骤4006)。即，写入数据传输部A220将作为写入时刻记录在步骤4001中发送到写入数据收领部B211的写入数据的写入数据管理信息330中的标记序号记录在控制用存储器300中，作为已发送标记序号信息380。另外，在本实施例中，该更新处理是将已发送标记序号信息380的值增加1的处理。
图30和图31是表示写入请求的暂时保留处理与差分集合的切换处理一例的流程图。首先从图30开始说明。另外，设在图30的步骤4100的时刻，全部存储装置A100中送出差分集合420的数据传输完成，全部存储装置A100的已送出标记序号信息380的值相等。同样，设在图30的步骤4100的时刻，全部存储装置B190中对作为反映差分集合440管理的写入数据的逻辑卷500的反映完成，全部存储装置B190的已到达标记序号信息370的值相等。
管理软件A800指示全部存储装置A100保留写入请求(步骤4100)。接收该指示的各存储装置A100的写入数据收领部A210在接受指示后，保留从MFA600或开放系统主计算机A700接收的写入请求(步骤4101)，将保留写入请求的情况报告给管理软件A800(步骤4102)。
管理软件A800待机，直到从全部存储装置A100报告写入请求的保留开始完成(步骤4103和步骤4104)。若从全部存储装置A100报告，则管理软件A800指定值比上次指定的标记序号大1的标记序号，将标记序号信息360的更新指示给全部存储装置A100(步骤4105)。
接收该指示的各存储装置A100的标记制作部A250将指定的标记序号记录在标记序号信息360中(步骤4106)。另外，各存储装置A100的差分集合切换部A270将发生差分集合410变更为送出差分集合420，制作新的发生差分集合(步骤4108)。另外，差分集合切换部A270也可伴随新的发生差分集合的制作，废弃此前作为送出差分集合的写入数据或写入数据管理信息。另外，各存储装置A100的标记制作部A250向管理软件A800报告标记序号信息360的更新完成(步骤4109)。
管理软件A800待机，直到从全部存储装置A100报告标记序号信息360的更新完成(步骤4110、步骤4111)。
移动到图31，一旦从全部存储装置A100报告标记序号信息360的更新完成，则管理软件A800向全部存储装置A100指示写入请求的保留解除(步骤4112)。接收到该指示的各存储装置A100的写入数据收领部A210解除写入请求的保留(步骤4113)，并将该情况报告给管理软件A800(步骤4114)。
之后，管理软件A800指示管理软件B890收领差分集合430与反映差分集合440的切换、和对作为反映差分集合440管理的写入数据的逻辑卷500的反映。另外，用图33来描述接收该指示的管理软件B890和存储装置B190执行的处理。
管理软件A800向全部存储装置A100的写入数据传输部A220指示向存储装置B190传输作为送出差分集合管理的数据(步骤4116)。接收该指示的写入数据传输部A220执行图28中说明的处理。
管理软件A等待步骤4116中指示的数据的传输处理、和步骤4115中指示的数据的反映处理的完成报告(步骤4117和步骤4118)。在全部存储装置A100中数据传输处理完成、或全部存储装置B190中数据的反映数据完成的情况下，再次返回图30的步骤4100，重复执行图30和图31说明的处理。
图33是表示管理软件B890从管理软件A800接收收领差分集合430与反映差分集合440的切换、和对逻辑卷500的写入数据的反映指示时的处理一例的流程图。
管理软件B对全部存储装置B190收集已到达标记序号信息370的值，待机，直到该值对全部存储装置B190变为相同值(步骤4119)。即，管理软件B等待全部存储装置B190完成送出差分集合420的数据接收。另外，在步骤4119中，管理软件B也可对全部存储装置A100收集已送出标记序号信息380的值，并待机，直到该值对全部存储装置A100变为相同值。
之后，管理软件B对各存储装置B 190的差分集合切换部B271与写入数据反映部B240，指示差分集合的切换与对逻辑卷500的写入数据的反映(步骤4120)。
接收该指示的存储装置B190的差分集合切换部B271将收领差分集合430变更为反映差分集合440，并设置新的收领差分集合430(步骤4121)。另外，差分集合切换部B271也可伴随新的收领差分集合的制作，废弃此前作为反映差分集合的写入数据或写入数据管理信息。
另外，写入数据反映部B240将新构成反映差分集合440的集合中写入数据写入逻辑卷500中(步骤4122)。另外，写入数据反映部B240更新存储装置B190的标记序号信息360的值。即，作为写入时刻记录在反映到逻辑卷500中的写入数据的写入数据管理信息330中的标记序号变为存储装置B190的标记序号信息360的值。另外，在本实施例中，该处理通过将标记序号信息360的值增加1来执行。
一旦将反映差分集合440的写入数据全部反映到逻辑卷500，则写入数据反映部B240在将存储装置B190的标记序号信息增加1之后，向管理软件B890报告处理完成(步骤4123)。报告也可通过存储装置A100来进行。
管理软件B890对全部存储装置B190，等待差分集合的切换与对逻辑卷500的反映的完成报告，若有来自全部存储装置B190的完成报告，则将该情况报告给管理软件A800(步骤4124)。
另外，管理软件B890与差分集合切换部B271或写入数据反映部B240间的交换例如经由连接于存储装置A100与存储装置B190之间的网络来进行。
这里，向每个存储装置B190发出从管理软件B890发送到各存储装置B190的差分集合的切换与对逻辑卷500的反映指示。因此，若在管理软件B890指示的中途、存储装置A100中产生故障，则有时故障恢复不能正常进行。图34中示出一例。
图34表示在图33的步骤4120中、管理软件B890指示各个存储装置B190差分集合切换与反映时，存储装置A100L故障停止时的动作。具体表示在以下的时间系列引起反映指示与存储装置A100L的故障停止的情况。
(1)存储装置A100R中的管理软件B890向存储装置B190R指示标记序号为A的差分集合的反映。
(2)存储装置A100L因故障停止。
(3)存储装置A100R中的管理软件B890经由存储装置A100L，对存储装置B190L指示标记序号为A的差分集合的反映。但是，因为存储装置A100L故障停止，所以反映指示未到达存储装置B190L。结果，仅存储装置B190R的逻辑卷500的数据于在先时刻前进，不保持写入顺序关系。
因此，为了避免该状态，也可在存储装置B190L或存储装置B190R中任意一个使用存储装置B190的逻辑卷500之前，执行具有以下步骤的程序。另外，这里以在图34的状况下反映停止的状态为例。
(初始状态)存储装置B190L与存储装置B190R内部待机，直到差分集合的数据传输与反映停止。此时，存储装置B190L的已到达标记序号信息为A，在对逻辑卷反映标记序号为A-1的差分集合的状态下停止(即标记序号信息为A-1)。另外，存储装置B190R的已到达标记序号信息的值为A或A+1，在对逻辑卷500反映标记序号为A的差分集合的状态下停止(标记序号信息为A)。另外，由于管理软件B890只要全部的已到达标记序号不同相同值就不指示反映，所以存储装置B190L的已到达标记序号信息不是比A小的值。
(步骤A)从存储装置B190L与存储装置B190R收集已到达标记序号信息与标记序号信息。
(步骤B)从收集到的已到达标记序号信息中选择最小的值(后面称为最小已到达标记序号)。在本例中，A为最小已到达标记序号。
(步骤C)在存储装置B190L的标记序号信息为最少比已到达标记序号小的值的情况下，对存储装置B190L进行反映指示。在本例中，由于存储装置B190L的标记序号信息为A-1，所以对存储装置B190L指示反映，故存储装置B190L的逻辑卷500反映标记序号为A的差分集合。
(步骤D)在存储装置B190R的标记序号信息为最少比已到达标记序号小的值的情况下，对存储装置B190R进行反映指示。在本例中，由于存储装置B190R的标记序号信息为A，所以不指示反映，存储装置B190L的逻辑卷500仍为反映标记序号为A的差分集合的状态不变。
另外，也可作为图33的步骤1119与步骤4120的代替，通过执行上述步骤A、步骤B、步骤C来与管理软件B890进行处理的共同化。
另外，管理软件A800与管理软件B890也可不存在于存储装置A100，而是存在于MFA600、开放系统主计算机A700、MFB690、开放系统主计算机B790、存储装置B190。此时，认为对管理软件A800与管理软件B890的设定接口存在于管理软件A800与管理软件B890所在的计算机中，但也可从此外的场所来设定。另外，从管理软件A800或管理软件B890发行指示用的接口、管理软件A800或管理软件B890接收信息用的接口也可从存储装置A100或存储装置B190提供。
在以上的实施例中，使用写入数据管理信息来管理包含于差分集合中的写入数据。但是，也可用其它方法来管理。例如，也可对每个差分集合准备作为表示每个地址块的数据差分有无的信息的差分位图，使用差分位图来管理包含于差分集合中的写入数据。
另外，以上的实施例中，虽然各存储装置将其它指示作为契机来执行送出差分集合的数据传输或收领差分集合430与反映差分集合440的切换和反映差分集合440的数据反映处理，但也可根据一个指示来按以下顺序一起进行处理。
(1)伴随收领差分集合430与反映差分集合440的切换的反映处理(2)送出差分集合的数据传输(3)等待(1)与(2)的完成后报告在以上实施例1-实施例6中，举例说明将主体主计算机与开放系统主计算机双方连接于存储装置A100或存储装置B190上的情况，但即便是仅连接主体主计算机的情况下，这些实施例也可实施。另外，就实施例3-实施例6而言，即便在仅连接开放系统主计算机的情况下，也可实施。
权利要求
1.一种系统，其特征在于，具有分别与主计算机连接的多个第一存储装置；和分别与任意一个第一存储装置连接的多个第二存储装置，所述多个第一存储装置分别根据来自管理部的指示，保留从主计算机接收的写入请求的处理，之后，根据来自所述管理部的指示，重新开始从主计算机接收的写入请求的处理，所述多个第一存储装置分别管理写入请求的写入数据，作为写入数据集合，该写入请求的写入数据是在按照所述管理部的指示重新开始写入请求的处理开始、直至之后按照所述管理部的指示保留写入请求的处理为止之间处理的写入请求的写入数据，对每个写入数据集合，将写入数据发送给任一第二存储装置，所述管理部在从所述多个第一存储装置接收写入请求处理的保留完成报告之后，向所述多个第一存储装置指示新的写入数据集合的生成，向该多个第一存储装置生成的写入数据集合赋予共同的识别信息，之后，向所述多个第一存储装置指示写入请求处理的重新开始，所述多个第二存储装置分别对每个写入数据集合，将从第一存储装置接收到的写入数据存储在该第二存储装置具有的逻辑卷中，所述多个第二存储装置根据来自所述管理部的指示，将具有相同识别信息的写入数据集合的写入数据存储在第二存储装置具有的逻辑卷中。
2.根据权利要求1所述的系统，其特征在于，所述管理部在从所述多个第一存储装置接收写入请求处理的保留完成报告之后，指示所述多个第一存储装置，以便对于在执行该写入请求的处理保留之前、包含所述多个第一存储装置分别处理的写入请求写入数据的写入数据集合，向所述多个第二存储装置中任意一个发送写入数据。
3.根据权利要求2所述的系统，其特征在于，所述多个第二存储装置分别具有高速缓冲存储器，将从任意一个第一存储装置接收的写入数据存储在所述高速缓冲存储器中，所述管理部在所述多个第一存储装置结束对所述写入数据集合的写入数据发送之后，对所述多个第二存储装置进行指示，以将存储在所述高速缓冲存储器中的所述写入数据集合的写入数据存储在第二存储装置具有的逻辑卷中。
4.根据权利要求3所述的系统，其特征在于，所述多个第二存储装置分别在写入数据集合的写入数据接收完成时，将赋予该写入数据集合的识别信息记录在该第二存储装置具有的存储器中，所述管理部从所述多个第二存储装置收集记录在所述存储器中的识别信息，在收集到的识别信息的值一致的情况下，将存储在所述高速缓冲存储器中的所述写入数据集合的写入数据存储在第二存储装置具有的逻辑卷中。
5.根据权利要求4所述的系统，其特征在于，所述多个第一存储装置分别在向任意一个第二存储装置发送写入数据集合的写入数据时，将赋予该写入数据集合的识别信息通知给该第二存储装置。
6.根据权利要求5所述的系统，其特征在于，所述多个第一存储装置分别根据来自主计算机的写入请求，对接收的写入数据，生成包含该写入数据所属的写入数据集合的识别信息的写入数据管理信息，当向任意一个第二存储装置发送写入数据集合的写入数据时，还向该第二存储装置发送该写入数据的写入数据管理信息。
7.根据权利要求3所述的系统，其特征在于，所述多个第一存储装置分别在写入数据集合的写入数据发送完成时，将赋予该写入数据集合的识别信息记录在该第一存储装置具有的存储器中，所述管理部从所述多个第一存储装置收集记录在所述存储器中的识别信息，在收集到的识别信息的值一致的情况下，指示将存储在所述多个第二存储装置分别具有的高速缓冲存储器中的所述写入数据集合的写入数据存储在第二存储装置具有的逻辑卷中。
8.根据权利要求1所述的系统，其特征在于，所述多个第一存储装置分别在按照所述管理部的指示重新开始写入请求的处理开始、直至按照所述管理部的指示保留写入请求的处理为止之间，在处理针对重复的地址的多个写入请求的情况下，管理最新的写入数据，作为属于写入数据集合的写入数据。
9.根据权利要求8所述的系统，其特征在于，所述多个第一存储装置分别将属于写入数据集合的写入数据存储在高速缓冲存储器中，在按照所述管理部的指示重新开始写入请求的处理开始、直至之后按照所述管理部的指示保留写入请求的处理为止之间，在接收到针对重复的地址的多个写入请求的情况下，对地址重复的部分，在高速缓冲存储器上更新写入数据。
10.根据权利要求3所述的系统，其特征在于，所述多个第一存储装置中任意一个具有所述管理部。
11.根据权利要求3所述的系统，其特征在于，与所述多个第一存储装置连接的计算机具有所述管理部。
12.一种远程拷贝方法，是在分别与主计算机连接的多个第一存储装置和分别与任意一个第一存储装置连接的多个第二存储装置之间执行的远程拷贝方法，其特征在于，具有如下步骤所述多个第一存储装置分别管理从主计算机接收的写入数据，作为第一写入数据集合；所述多个第一存储装置分别根据来自管理部的指示，保留从主计算机接收的写入请求的处理，将该情况报告给该管理部；所述管理部在从所述多个第一存储装置接收写入请求处理的保留完成报告之后，指示在所述多个第一存储装置将所述第一写入数据集合变更为第二写入数据集合，生成新的第一写入数据集合；所述多个第一存储装置分别根据来自所述管理部的指示，将所述第一写入数据集合变更为所述第二写入数据集合，并进行管理新的第一写入数据集合的准备，将该情况报告给所述管理部；所述管理部在从所述多个第一存储装置接收报告之后，指示该多个第一存储装置解除写入请求处理的保留；所述多个第一存储装置分别根据来自所述管理部的指示，解除写入请求处理的保留，并管理以后处理的写入请求的写入数据，作为新的第一写入数据集合；所述多个第一存储装置分别根据来自所述管理部的指示，向任意一个第二存储装置发送所述第二写入数据集合的写入数据；所述多个第二存储装置分别管理从任意一个第一存储装置接收的写入数据，作为属于第三写入数据集合的写入数据；和所述多个第二存储装置分别根据来自所述管理部的指示，将所述第三写入数据集合变更为第四写入数据集合，并将属于该第四写入数据集合的写入数据存储在第二存储装置具有的逻辑卷中。
13.根据权利要求12所述的远程拷贝方法，其特征在于，向根据来自所述管理部的指示生成的第一写入数据集合，赋予在从所述管理部指定的所述多个第一存储装置之间共同的识别信息，赋予该第一写入数据集合的识别信息在第二写入数据集合、第三写入数据集合以及第四写入数据集合中被继承。
14.根据权利要求12所述的远程拷贝方法，其特征在于，在所述多个第二存储装置从第一存储装置接收完属于所述第二写入数据集合的写入数据之后，所述管理部指示该多个第二存储装置，以将第三写入数据集合变更为第四写入数据集合。
15.根据权利要求14所述的远程拷贝方法，其特征在于，具有如下步骤所述多个第一存储装置分别在向第二存储装置发送完属于所述第二写入数据集合的写入数据的情况下，将该情况报告给该第二存储装置；所述多个第二存储装置分别在从第一存储装置接收到所述报告的情况下，将赋予接收到的写入数据所属的第三写入数据集合的识别信息记录在该第二存储装置具有的存储器中；和所述管理部从所述多个第二存储装置收集记录在存储器中的识别信息，所述管理部在从所述多个第二存储装置收集到的识别信息的值一致的情况下，指示所述多个第二存储装置，以将第三写入数据集合变更为第四写入数据集合。
16.根据权利要求14所述的远程拷贝方法，其特征在于，具有如下步骤所述多个第一存储装置分别在向第二存储装置发送完属于所述第二写入数据集合的写入数据的情况下，将赋予该第二写入数据集合的识别信息记录在该第一存储装置具有的存储器中；和所述管理部从所述多个第一存储装置收集记录在存储器中的识别信息，所述管理部在从所述多个第一存储装置收集到的识别信息的值一致的情况下，指示所述多个第二存储装置，以将第三写入数据集合变更为第四写入数据集合。
17.根据权利要求12所述的远程拷贝方法，其特征在于，所述多个第一存储装置分别在对地址范围重复的区域接收多个写入请求的情况下，管理最新的写入请求的写入数据，作为属于第一写入数据集合的写入数据。
18.根据权利要求12所述的远程拷贝方法，其特征在于，所述多个第一存储装置中任意一个具有所述管理部。
19.根据权利要求12所述的远程拷贝方法，其特征在于，与所述多个第一存储装置连接的计算机具有所述管理部。
全文摘要
一种系统，该系统是存储系统存储计算机使用的数据、存储系统将该数据传输给其它存储系统并在其它存储系统中保持数据的复制的系统，其中，不向写入数据提供写入时刻的计算机对写入存储系统的数据也保持复制的整合性。正存储系统在向写入请求提供写入时刻的情况下，在记录写入时刻的同时，向收领的写入数据提供该写入时刻，在未提供写入时刻的情况下，向收领的写入数据提供记录的写入时刻，将带写入时刻的写入数据传输给其它存储系统。副存储系统根据写入时刻，存储对副存储系统内的逻辑卷的写入数据。
文档编号G06F11/14GK1821974SQ20051013223
公开日2006年8月23日 申请日期2005年12月22日 优先权日2005年2月14日
发明者岩村卓成, 荒川敬史, 二濑健太, 安积义弘, 平川裕介 申请人:株式会社日立制作所