数据协作系统和数据存储系统的制作方法

本发明涉及收集并存储多个信息系统所保持的数据的数据协作系统和数据存储系统。

背景技术：

以往，已知一种收集并存储多个信息系统所保持的数据的数据协作系统。

但是，在以往的数据协作系统中，存在难以使大量的数据高速协作的问题

技术实现要素：

本发明的目的在于提供一种即使在协作的中途处理失败也能够使数据协作的数据协作系统和数据存储系统。

本发明的数据协作系统包括：数据收集系统，收集信息系统所保持的数据；以及数据存储系统，存储由所述数据收集系统收集的多个所述信息系统所保持的数据，所述数据协作系统的特征在于，所述数据存储系统包括：转换由所述数据收集系统收集的数据的数据转换系统；以及存储由所述数据转换系统转换前的数据的存储区域，所述数据存储系统在所述数据转换系统对数据的转换失败的情况下，使用存储于所述存储区域的数据，使所述数据转换系统再次执行数据的转换。

本发明的数据存储系统是数据协作系统的所述数据存储系统，所述数据协作系统包括：数据收集系统，收集信息系统所保持的数据；以及数据存储系统，存储由所述数据收集系统收集的多个所述信息系统所保持的数据，所述数据存储系统的特征在于，包括：转换由所述数据收集系统收集的数据的数据转换系统；以及存储由所述数据转换系统转换前的数据的存储区域，在所述数据转换系统对数据的转换失败的情况下，使用存储于所述存储区域的数据，使所述数据转换系统再次执行数据的转换。

在本发明的数据协作系统和数据存储系统中，即使在协作的中途处理失败也能够使数据协作。

附图说明

图1是本发明的一个实施方式所涉及的系统的框图。

图2是图1所示的数据存储系统所具备的管线的框图。

图3是图1所示的管线协调器的框图。

图4是表示通过post接口收集信息系统所保持的数据并发送至管线的情况下的图1所示的系统的动作的流程的一例的图。

图5是向管线发送文件的情况下的图4所示的post接口的动作的流程图。

图6是表示通过get接口收集信息系统所保持的数据并交给管线的情况下的图1所示的系统的动作的流程的一例的图。

图7是表示由post代理收集信息系统所保持的数据并发送至管线的情况下的图1所示的系统的动作的流程的一例的图。

图8是向管线发送文件的情况下的图7所示的post代理的动作的流程图。

图9是表示由get代理收集信息系统所保持的数据并交给管线的情况下的图1所示的系统的动作的流程的一例的图。

图10是数据存储系统存储数据的情况下的图1所示的数据协作系统的动作的一部分的时序图。

图11是图10所示的动作的后续动作的时序图。

图12是图10所示的遮蔽处理中的遮蔽处理部的动作的流程图。

图13是表示在图12所示的动作中使用的数据管理表的一例的图。

图14是遮蔽处理部对数据的处理失败的情况下的图1所示的数据协作系统的动作的时序图。

图15是应用程序部要求存储于数据存储系统的特定的信息系统的数据的更新的情况下的图1所示的数据协作系统的动作的时序图。

图16是根据特定的信息系统的结构的变更来变更自身的结构的情况下的图1所示的数据协作系统的动作的流程图。

具体实施方式

以下，使用附图对本发明的实施方式进行说明。

首先，对本发明的一个实施方式的系统的结构进行说明。

图1是本实施方式所涉及的系统10的框图。

如图1所示，系统10具备产生数据的数据源部20以及使由数据源部20产生的数据协作的数据协作系统30。

数据源部20具备产生数据的信息系统21。信息系统21具备保存信息系统21的结构和设定的结构管理服务器21a。数据源部20除了信息系统21以外，还可以具备至少一个信息系统。作为信息系统的例子，存在对mfp(multifunctionperipheral，多功能外围设备)、打印专用机等图像形成装置进行远程管理的远程管理系统等的iot(internetofthings，物联网)系统、以及erp(enterpriseresourceplanning，企业资源规划)、生产管理系统等的公司内系统。信息系统分别可以由1台计算机构成，也可以由多台计算机构成。信息系统可以保持结构化数据的文件。信息系统也可以保存非结构化数据的文件。信息系统可以保持结构化数据的数据库。

数据源部20具备作为数据收集系统的post接口22，所述post接口22取得信息系统所保持的结构化数据或非结构化数据的文件，并将所取得的文件发送至数据协作系统30的后述的管线。数据源部20除了post接口22以外，还可以具备至少1个与post接口22相同结构的post接口。post接口也可以由计算机构成，该计算机构成post接口自身取得文件的信息系统。另外，post接口也是数据协作系统30的结构。

数据源部20具备作为数据收集系统的post代理23，所述post代理23从信息系统所保持的结构化数据的数据库取得结构化数据，并将所取得的结构化数据发送至数据协作系统30的后述的管线。数据源部20除了post代理23以外，还可以具备至少1个与post代理23相同结构的post代理。post代理可以由计算机构成，该计算机构成post代理自身取得结构化数据的信息系统。另外，post代理也是数据协作系统30的结构。

数据源部20具备作为数据收集系统的get目标代理24，所述get目标代理24基于信息系统所保持的数据，生成协作用的结构化数据。数据源部20除了get目标代理24以外，还可以具备至少1个与get目标代理24相同结构的get目标代理。get目标代理可以由计算机构成，该计算机构成保持成为协作用的结构化数据的生成源的数据的信息系统。另外，get目标代理也是数据协作系统30的结构。

数据协作系统30具备：存储由数据源部20产生的数据的数据存储系统40；利用存储于数据存储系统40的数据的应用程序部50；以及执行针对数据存储系统40和应用程序部50的各种控制的控制服务部60。

数据存储系统40具备存储由数据源部20产生的数据的管线41。数据存储系统40除了管线41以外，还可以具备至少一个管线。信息系统中的数据的结构存在针对每个信息系统而不同的可能性，因此，数据存储系统40基本上针对每个信息系统具备管线。管线分别可以由1台计算机构成，也可以由多台计算机构成。

图2是数据存储系统40所具备的管线70的框图。

如图2所示，管线70包括：一级存储器71，具备存储从post接口、post代理、后述的get接口或后述的get代理接收到的数据的存储区域；作为数据转换系统的遮蔽处理部72，对存储于一级存储器71的数据中的与信息系统的用户的个人信息等隐私相关的数据执行作为数据转换处理的遮蔽处理；数据转送处理部73，执行将由遮蔽处理部72执行了遮蔽处理的数据向后述的大数据分析部44(参照图1。)转送的数据转送处理；以及二级存储器74，具备存储向大数据分析部44转送用的数据的存储区域。另外，设置一级存储器71的理由是因为在数据的处理中，例如在遮蔽处理的工序和数据转送处理的工序等比向一级存储器71的数据存储的工序靠后的工序中处理失败的情况下，无需进行网络通信成本高的从数据源部20向数据协作系统30的数据的再次发送，能够使用存储于一级存储器71的数据再次执行失败的处理。一级存储器71和二级存储器74各自不是单纯的存储装置，而是能够执行后述的各种处理的系统。

如图1所示，数据存储系统40具备作为数据收集系统的get接口42，所述get接口42取得信息系统所保持的结构化数据或非结构化数据的文件，并使所取得的文件与管线进行协作。数据存储系统40除了get接口42以外，还可以具备至少1个与get接口42相同结构的get接口。get接口可以由计算机构成，该计算机构成get接口自身进行文件协作的管线。

另外，系统10针对不与从数据存储系统40侧取得结构化数据或非结构化数据的文件对应的信息系统，在数据源部20中具备post接口。另一方面，系统10针对与从数据存储系统40侧取得结构化数据或非结构化数据的文件对应的信息系统，在数据存储系统40中具备get接口。

数据存储系统40具备作为数据收集系统的get代理43，所述get代理43取得由get目标代理生成的结构化数据，并使所取得的结构化数据与管线协作。数据存储系统40除了get代理43以外，还可以具备至少1个与get代理43相同结构的get代理。get代理可以由计算机构成，该计算机构成get代理自身进行结构化数据的协作的管线。

另外，系统10针对不与从数据存储系统40侧取得结构化数据对应的信息系统，在数据源部20中具备post代理。另一方面，系统10针对与从数据存储系统40侧取得结构化数据对应的信息系统，在数据源部20中具备get目标代理，并且在数据存储系统40中具备get代理。

数据存储系统40具备作为数据转换系统的大数据分析部44，所述大数据分析部44执行作为数据转换处理的最终转换处理，该数据转换处理将由多个管线存储的数据转换为例如能够用sql等数据库语言等的查询语言进行检索和合计的形态。大数据分析部44也可以根据来自应用程序部50侧的检索要求和合计要求，对执行最终转换处理之后的数据执行检索和合计。大数据分析部44可以由1台计算机构成，也可以由多台计算机构成。

最终转换处理可以包括将多个信息系统的数据综合的数据综合处理，作为数据转换处理。在系统10具备配置在亚洲以便远程管理配置在亚洲的多个图像形成装置的远程管理系统、配置在欧洲以便远程管理配置在欧洲的多个图像形成装置的远程管理系统、配置在美国以便远程管理配置在美国的多个图像形成装置的远程管理系统作为信息系统的情况下，这3个远程管理系统分别具备对远程管理系统自身所管理的图像形成装置进行管理的设备管理表。设备管理表是与针对每个图像形成装置赋予的id建立关联地表示图像形成装置的各种信息的信息。此处，由于3个远程管理系统分别独自地具备设备管理表，所以在3个远程管理系统的设备管理表之间，有可能对各个图像形成装置赋予相同的id。因此，大数据分析部44在将3个远程管理系统的设备管理表综合而生成一个设备管理表的情况下，重新赋予图像形成装置的id以免产生重复。

应用程序部50具备应用程序服务51，所述应用程序服务51利用由大数据分析部44管理的数据，执行例如数据的显示和数据的分析等的由用户指示的特定的动作。应用程序部50除了应用程序服务51以外，还可以具备至少一个应用程序服务。应用程序服务分别可以由1台计算机构成，也可以由多台计算机构成。

应用程序部50具备api平台52，所述api平台52提供利用由大数据分析部44管理的数据执行特定的动作的api(applicationprograminterface，应用程序接口)。api平台52可以由1台计算机构成，也可以由多台计算机构成。例如，作为由api平台52提供的api，存在向在图像形成装置的调色剂等消耗品的剩余量为特定的量以下的情况下订购消耗品的系统10的外部的消耗品订购系统发送由远程管理系统从图像形成装置收集的消耗品的剩余量的数据的api；以及向预测图像形成装置的故障的系统10的外部的故障预测系统发送由远程管理系统从图像形成装置收集的各种数据的api。

控制服务部60具备作为处理监视系统的管线协调器61，所述管线协调器61监视数据源部20、数据存储系统40和应用程序部50中的针对数据的各阶段的处理。管线协调器61可以由1台计算机构成，也可以由多台计算机构成。

图3是管线协调器61的框图。

如图3所示，管线协调器61具备：对管线协调器61的动作的触发进行处理的触发处理部81；存储多个管线协调器61的动作的场景的动作记述部82；以及执行管线协调器61的动作的动作处理部83。

如图1所示，控制服务部60具备结构管理服务器62，该结构管理服务器62保存数据存储系统40的结构和设定，并根据需要自动地执行部署(deploy)。结构管理服务器62可以由1台计算机构成，也可以由多台计算机构成。结构管理服务器62构成变更数据协作系统30的结构的结构变更系统。

控制服务部60具备结构管理网关63，所述结构管理网关63与信息系统的结构管理服务器连接，收集用于检测与信息系统中的数据库和非结构化数据相关的结构的变更、即信息系统中的数据的结构的变更的信息。结构管理网关63可以由1台计算机构成，也可以由多台计算机构成。

控制服务部60具备密钥管理服务64，该密钥管理服务64对为了使信息系统等的各系统间协作而需要的密钥信息和连接字符串等安全信息进行加密并保管。密钥管理服务64可以由1台计算机构成，也可以由多台计算机构成。

控制服务部60具备接受来自数据存储系统40和应用程序部50的要求的管理api65。管理api65可以由1台计算机构成，也可以由多台计算机构成。

控制服务部60具备执行应用程序部50的应用程序服务的认证许可的认证许可服务66。认证许可服务66可以由1台计算机构成，也可以由多台计算机构成。认证许可服务66例如能够确认应用程序服务是否被许可要求存储于数据存储系统40的信息系统的数据的更新。

接下来，对系统10的动作进行说明。

首先，对由post接口22收集信息系统21所保持的数据并发送至管线41的情况下的系统10的动作进行说明。

图4是表示由post接口22收集信息系统21所保持的数据并发送至管线41的情况下的系统10的动作的流程的一例的图。

在图4所示的例子中，信息系统21是生产管理系统100。

如图4所示，生产管理系统100具备执行生产管理的生产管理服务器101、以及用于存储结构化数据或非结构化数据的文件的存储器102。

生产管理服务器101执行通过分批处理将结构化数据或非结构化数据的文件存储于存储器102的备份(s201)。

生产管理服务器101在s201的处理之后，指示post接口22将在s201中存储于存储器102的文件转送给管线(s202)。此处，生产管理服务器101将在s201中存储于存储器102的文件的识别信息包含在s202的指示中。

post接口22当接收到s202中的指示时，从存储器102取得由s202中的指示中包含的识别信息确定的文件(s203)。

post接口22在s203的处理之后，将在s203中取得的文件发送至与post接口22自身建立关联的管线41(s204)。

图5是向管线41发送文件的情况下的post接口22的动作的流程图。

如图5所示，post接口22对向管线41发送文件的本次业务(transaction)赋予作为识别信息的业务id(s221)。此处，业务id例如是数值，每当在post接口22中产生新的业务时递增。

post接口22判断本次业务的对象的数据是否大于特定的处理单位(s222)。此处，特定的处理单位例如是特定的数量的文件。

post接口22当在s222中判定为本次业务的对象的数据大于特定的处理单位时，按照特定的处理单位划分本次业务的对象的数据(s223)。

post接口22当在s222中判断为本次业务的对象的数据为特定的处理单位以下或者s223的处理结束时，对每个处理单位的数据赋予作为识别信息的处理id(s224)。此处，处理id例如是数值，在相同的业务中，每当在post接口22中新产生特定的处理单位的数据时递增。

post接口22在s224的处理之后，开始将本次业务的对象的数据按每个处理单位发送至管线41(s225)。

接着，post接口22判断每特定的单位时间发送至管线41的文件的数量是否超过了特定的数量(s226)。

当在s226中判断为每特定的单位时间发送至管线41的文件的数量未超过特定的数量时，post接口22判断将本次业务的对象的数据发送至管线41是否已结束(s227)。

当在s227中判断为将本次业务的对象的数据发送至管线41尚未结束时，post接口22执行s226的处理。

当在s227中判断为将本次业务的对象的数据发送至管线41已结束时，post接口22结束图5所示的动作。

当在s226中判断为每特定的单位时间发送至管线41的文件的数量超过了特定的数量时，post接口22指示管线协调器61开始管线41的向外扩展(scaleout)和管线41的并行处理(s228)。因此，管线协调器61按照s228中的指示将管线41向外扩展至特定的状态，并且指示管线41开始并行处理。

接着，post接口22判断本次业务的对象的数据发送至管线41是否已结束，直到判断为将本次业务的对象的数据发送至管线41已结束为止(s229)。

当在s229中判断为将本次业务的对象的数据发送至管线41已结束时，post接口22指示管线协调器61结束管线41的向内扩展(scalein)和管线41的并行处理(s230)。因此，管线协调器61按照s230中的指示将管线41向内扩展至原状态，并且指示管线41结束并行处理。

post接口22在s230的处理之后，结束图5所示的动作。

接下来，对通过get接口42收集信息系统所保持的数据并交给管线的情况下的系统10的动作进行说明。

图6是表示通过get接口42收集信息系统所保持的数据并交给管线的情况下的系统10的动作的流程的一例的图。

在图6所示的例子中，信息系统是图像形成装置的远程管理系统120。图6所示的例子是用户指示远程管理系统120取得包含传感器信息的维护报告的情况下的动作的例子，该传感器信息包含图像形成装置的各种传感器的输出值。

如图6所示，远程管理系统120具备：用于接受来自用户的指示的用户通信服务器121；执行与来自用户的指示对应的处理的后端处理服务器122；向图像形成装置发送各种指令的指令服务器123；用于从图像形成装置接收数据的设备通信服务器124；存储远程管理系统120的管理对象的图像形成装置的各种数据的数据库125；以及用于存储结构化数据或非结构化数据的文件的存储器126。远程管理系统120管理包括图像形成装置130的多个图像形成装置。数据库125针对远程管理系统120的管理对象的图像形成装置，存储作为图像形成装置的识别信息的设备id。

远程管理系统120的用户能够向远程管理系统120发送取得图像形成装置130的维护报告的指示。在该指示中包含维护报告的取得对象的图像形成装置130的设备id。远程管理系统120的用户通信服务器121当接收到取得维护报告的指示时，将接收到的指示发送至后端处理服务器122(s251)。

后端处理服务器122当接收到在s251中由用户通信服务器121发送的取得维护报告的指示时，将用于取得维护报告的维护报告取得指令的发送要求发送至指令服务器123(s252)。在该要求中包含维护报告的取得指示中包含的设备id。

指令服务器123当接收到在s252中由后端处理服务器122发送的维护报告取得指令的发送要求时，向由该要求中包含的设备id确定的图像形成装置130发送维护报告取得指令(s253)。

图像形成装置130当接收到在s253中由指令服务器123发送的维护报告取得指令时，将图像形成装置130自身的维护报告发送至远程管理系统120(s254)。此处，图像形成装置130将图像形成装置130自身的设备id包含在维护报告中。

远程管理系统120的设备通信服务器124当接收到在s254中由图像形成装置130发送的维护报告时，判断接收到的维护报告中包含的设备id是否包含在数据库125中(s255)。

当在s255中判断为接收到的维护报告中包含的设备id包含在数据库125中时，设备通信服务器124将接收到的维护报告存储于存储器126(s256)。

数据协作系统30的get接口42关于特定的图像形成装置的维护报告的文件，定期地检索与get接口42自身建立关联的信息系统即远程管理系统120的存储器126(s257)。

当确认在存储器126中存在特定的图像形成装置130的维护报告的文件时，get接口42从存储器126取得该文件(s258)。

get接口42在s258的处理之后，将在s258中取得的文件交给与get接口42自身建立关联的管线(s259)。

另外，get接口42在将文件交给管线的情况下，执行与图5所示的动作相同的动作。即，get接口42对本次业务赋予业务id。此外，get接口42在本次业务的对象的数据大于特定的处理单位的情况下，按照特定的处理单位划分本次业务的对象的数据。此外，get接口42针对每个处理单位的数据赋予处理id。此外，get接口42在每特定的单位时间交给管线的文件的数量超过了特定的数量的情况下，指示管线协调器61开始管线的向外扩展和管线的并行处理，之后，当本次业务的对象的数据交给管线已结束时，指示管线协调器61结束管线的向内扩展和管线的并行处理。

接下来，对由post代理23收集信息系统所保持的数据并发送至管线的情况下的系统10的动作进行说明。

图7是表示由post代理23收集信息系统所保持的数据并发送至管线的情况下的系统10的动作的流程的一例的图。

在图7所示的例子中，信息系统与图6所示的例子相同，是图像形成装置的远程管理系统120。数据库125存储事件信息，该事件信息表示在远程管理系统120的管理对象的图像形成装置发生的事件。图7所示的例子表示远程管理系统120的管理对象的图像形成装置130将表示在图像形成装置130自身发生的事件的事件信息发送至远程管理系统120的情况下的系统10的动作的例子。

图像形成装置130在图像形成装置130自身发生错误等事件的情况下，将表示在图像形成装置130自身发生的事件的事件信息发送至远程管理系统120的设备通信服务器124(s271)。例如，作为在图像形成装置130发生的错误，存在表示纸张卡在图像形成装置130的内部的卡纸以及表示图像形成装置130的盖处于打开状态的盖打开。

远程管理系统120的设备通信服务器124在接收到在s271中由图像形成装置130发送的事件信息时，用接收到的事件信息更新数据库125(s272)。

post代理23在特定的时刻确认存储于数据库125的事件信息是否已变更(s273)。s273中的确认例如可以在数据库125的定期备份时执行，可以在数据库125自身检测到数据库125的变更时执行，还可以在远程管理系统120中调用了用于变更数据库125的api时执行。

在作为s273中的确认结果，检测到数据库125中的事件信息的变更时，post代理23从数据库125中取得表示该事件信息的变更内容的数据(s274)。

post代理23在s274的处理之后，将在s274中取得的数据发送至与post代理23自身建立关联的数据协作系统30的管线(s275)。

图8是向管线发送文件的情况下的post代理23的动作的流程图。

如图8所示，post代理23对向管线发送文件的本次业务赋予业务id(s291)。此处，业务id例如是数值，每当在post代理23中产生新的业务时递增。

post代理23判断本次业务的对象的数据是否大于特定的处理单位(s292)。此处，特定的处理单位例如是特定的数量的表。

当在s292中判断为本次业务的对象的数据大于特定的处理单位时，post代理23按照特定的处理单位划分本次业务的对象的数据(s293)。

当在s292中判断为本次业务的对象的数据为特定的处理单位以下或者s293的处理结束时，post代理23对每个处理单位的数据赋予作为识别信息的处理id(s294)。此处，处理id例如是数值，在相同的业务中，每当在post代理23中新产生特定的处理单位的数据时递增。

post代理23在s294的处理之后，开始将本次业务的对象的数据按照每个处理单位发送至管线(s295)。

接着，post代理23判断每特定的单位时间发送至管线的数据量是否超过特定的量(s296)。

当在s296中判断为每特定的单位时间发送至管线的数据量未超过特定的量时，post代理23判断本次业务的对象的数据发送至管线是否已结束(s297)。

当在s297中判断为本次业务的对象的数据发送至管线尚未结束时，post代理23执行s296的处理。

当在s297中判断为将本次业务的对象的数据发送至管线已结束时，post代理23结束图8所示的动作。

当在s296中判断为每特定的单位时间发送至管线的数据量超过了特定的量时，post代理23指示管线协调器61开始管线的向外扩展和管线的并行处理(s298)。因此，管线协调器61按照s298中的指示将管线向外扩展至特定的状态，并且指示管线开始并行处理。

接着，post代理23判断本次业务的对象的数据发送至管线是否已结束，直到判断为将本次业务的对象的数据发送至管线已结束为止(s299)。

当在s299中判断为将本次业务的对象的数据发送至管线已结束时，post代理23指示管线协调器61结束管线的向内扩展和管线的并行处理(s300)。因此，管线协调器61按照s300中的指示将管线向内扩展至原状态，并且指示管线结束并行处理。

post代理23在s300的处理之后，结束图8所示的动作。

接下来，对由get代理43收集信息系统所保持的数据并交给管线的情况下的系统10的动作进行说明。

图9是由get代理43收集信息系统所保持的数据并交给管线的情况下的系统10的动作的流程的一例的图。

在图9所示的例子中，信息系统与图4所示的例子相同，是生产管理系统100。

如图9所示，生产管理系统100的get目标代理24基于存储于存储器102的数据在特定的时刻生成协作用的结构化数据(s321)。

数据协作系统30的get代理43定期地向与get代理43自身建立关联的信息系统即生产管理系统100的get目标代理24询问协作用的结构化数据的有无(s322)。

get代理43当确认在get目标代理24存在协作用的结构化数据时，从get目标代理24取得该结构化数据(s323)。

get代理43在s323的处理之后，将在s323中取得的结构化数据交给与get代理43自身建立关联的管线(s324)。

另外，get代理43在将文件交给管线的情况下，执行与图8所示的动作相同的动作。即，get代理43对本次业务赋予业务id。此外，get代理43在本次业务的对象的数据大于特定的处理单位的情况下，按照特定的处理单位划分本次业务的对象的数据。此外，get代理43对每个处理单位的数据赋予处理id。此外，get代理43在每特定的单位时间交给管线的数据量超过了特定的量的情况下，指示管线协调器61开始管线的向外扩展和管线的并行处理，之后，在本次业务的对象的数据交给管线已结束时，指示管线协调器61结束管线的向内扩展和管线的并行处理。

接下来，对数据存储系统40存储数据的情况下的数据协作系统30的动作进行说明。

图10是数据存储系统40存储数据的情况下的数据协作系统30的动作的一部分的时序图。

如图10所示，管线70的一级存储器71当从数据收集系统、即post接口、post代理、get接口或get代理接收到特定的处理单位的数据时，存储接收到的数据(s341)。接着，一级存储器71将表示数据的存储结束的事件通知给管线协调器61(s342)。

管线协调器61的触发处理部81当接收到在s342中由一级存储器71通知的事件时，对该事件的内容进行分析，从动作记述部82调用与该事件对应的场景(scenario)、即遮蔽处理的场景(s343)，将在s343中调用的场景通知给动作处理部83(s344)。因此，动作处理部83指示管线70的遮蔽处理部72执行基于在s344中通知的场景的处理、即执行针对在s341中存储于一级存储器71的数据的遮蔽处理(s345)。

遮蔽处理部72在接收到s345中的指示时，针对在s341中存储于一级存储器71的数据执行遮蔽处理。即，遮蔽处理部72首先从一级存储器71取得在s341中存储于一级存储器71的数据(s346)。接着，遮蔽处理部72针对在s346中取得的数据执行遮蔽处理(s347)。接着，遮蔽处理部72将在s347中执行了遮蔽处理的数据交给数据转送处理部73(s348)。然后，遮蔽处理部72将表示遮蔽处理结束的事件通知给管线协调器61(s349)。

管线协调器61的触发处理部81在接收到在s349中由遮蔽处理部72通知的事件时，对该事件的内容进行分析，从动作记述部82调用与该事件对应的场景、即数据转送处理的场景(s350)，并将在s350中调用的场景通知给动作处理部83(s351)。因此，动作处理部83指示管线70的数据转送处理部73执行基于在s351中通知的场景的处理、即执行针对在s347中执行了遮蔽处理的数据的数据转送处理(s352)。

图11是图10所示的动作的后续动作的时序图。

如图11所示，数据转送处理部73当接收到s352中的指示时，针对由遮蔽处理部72执行了遮蔽处理的数据执行数据转送处理。即，数据转送处理部73首先将在s348中从遮蔽处理部72交接的数据作为向大数据分析部44转送用的数据存储于二级存储器74(s353)。接着，数据转送处理部73将在s353中存储于二级存储器74的数据经由二级存储器74转送给大数据分析部44(s354)。然后，数据转送处理部73将表示数据转送处理结束的事件通知给管线协调器61(s355)。

管线协调器61的触发处理部81当接收到在s355中由数据转送处理部73通知的事件时，对该事件的内容进行分析，从动作记述部82调用与该事件对应的场景、即最终转换处理的场景(s356)，并将在s356中调用的场景通知给动作处理部83(s357)。因此，动作处理部83指示大数据分析部44执行基于在s357中通知的场景的处理、即执行针对在s354中存储于二级存储器74的数据的最终转换处理(s358)。

大数据分析部44当接收到s358中的指示时，针对由数据转送处理部73转送来的数据执行最终转换处理。即，大数据分析部44首先将在s354中从数据转送处理部73转送来的数据转换为能够以特定的查询语言进行检索和合计的形态(s359)。然后，大数据分析部44将表示最终转换处理结束的事件通知给管线协调器61(s360)。

接下来，对s347的遮蔽处理中的遮蔽处理部72的动作进行说明。

图12是遮蔽处理中的遮蔽处理部72的动作的流程图。

遮蔽处理部72对每个处理单位的数据执行图12所示的动作。

如图12所示，遮蔽处理部72将表示关于本次遮蔽处理的对象的数据处于遮蔽处理执行中的信息写入作为管理协作对象的数据的处理的履历的数据管理信息的数据管理表90(参照图13)(s381)。

图13是表示图12所示的动作中使用的数据管理表90的一例的图。

图13所示的数据管理表90包括：业务id；处理id；表示存储由业务id和处理id的组合识别的数据的存储器的存储器类别；表示由业务id和处理id的组合识别的数据存储于存储器的情况下的文件的名称的存储名；表示在数据管理表90存储信息的日期和时间的最终更新日期和时间；表示针对由业务id和处理id的组合识别的数据的处理的名称的处理名；以及表示由处理名表示的处理的状态的处理状态。

在存储器类别中存在一级存储器和二级存储器。

在处理名中存在表示遮蔽处理的“masking”和表示数据转送处理的“transfer”。在s381中被写入“masking”。

在处理状态中存在：表示由处理名所示的处理处于执行中的“processing”；表示由处理名所示的处理已正常结束的“completed”；以及表示由处理名所示的处理失败的“error”。在s381中被写入“processing”。

如图12所示，遮蔽处理部72在s381的处理之后，针对对象的数据开始遮蔽处理(s382)。

接着，遮蔽处理部72判断是否检测到在s382中开始的遮蔽处理的失败、即数据的转换的失败(s383)。

遮蔽处理部72在s383中判断为未检测到遮蔽处理的失败时，判断在s382中开始的遮蔽处理是否已结束(s384)。

遮蔽处理部72在s384中判断遮蔽处理未结束时，执行s383的处理。

遮蔽处理部72在s383中判断为检测到遮蔽处理的失败时，将表示遮蔽处理的失败的事件通知给管线协调器61(s385)。在该事件中包含对象的数据的业务id和处理id。

接着，遮蔽处理部72将表示关于本次遮蔽处理的对象的数据的遮蔽处理已失败的信息写入数据管理表90(s386)，结束图12所示的动作。在s386中写入的信息中的“处理名”、“处理状态”分别为“masking”、“error”。

遮蔽处理部72在s384中判断为遮蔽处理已结束时，将表示关于本次遮蔽处理的对象的数据的遮蔽处理已正常结束的信息写入数据管理表90(s387)，结束图12所示的动作。在s387中写入的信息中的“处理名”、“处理状态”分别为“masking”、“completed”。

以上，对s347的遮蔽处理中的遮蔽处理部72的动作进行了说明，但是s354的数据转送处理中的数据转送处理部73的动作以及s359的最终转换处理中的大数据分析部44的动作也相同。

接下来，对遮蔽处理部72对数据的处理失败的情况下的数据协作系统30的动作进行说明。

图14是遮蔽处理部72对数据的处理失败的情况下的数据协作系统30的动作的时序图。

遮蔽处理部72当在图10所示的动作的执行中遮蔽处理失败时，如图14所示，将表示遮蔽处理的失败的事件通知给管线协调器61(s401)。s401的通知与s385(参照图12。)的通知对应。

管线协调器61的触发处理部81当接收到在s401中由遮蔽处理部72通知的事件时，对该事件的内容进行分析，从动作记述部82调用与该事件对应的场景、即遮蔽处理的再次执行的场景(s402)，并将在s402中调用的场景通知给动作处理部83(s403)。因此，动作处理部83指示管线70的遮蔽处理部72执行基于在s403中通知的场景的处理、即执行针对在s341中存储于一级存储器71的数据的遮蔽处理(s404)。此处，动作处理部83针对通过在s401中由遮蔽处理部72通知的事件中包含的业务id和处理id的组合确定的数据，确定数据管理表90中包含的信息中最终更新日期和时间为最新的信息，在所确定的信息中的处理状态不是“completed”、即是“processing”或“error”的情况下，指示管线70的遮蔽处理部72执行针对该数据的遮蔽处理。

在s404的处理之后，执行图10所示的s346的处理以后的处理。

以上，对遮蔽处理部72对数据的处理失败的情况下的数据协作系统30的动作进行了说明，但在数据转送处理部73和大数据分析部44等的数据存储系统40中的遮蔽处理部72以外的结构对数据的处理失败的情况、数据收集系统等的数据协作系统30中的数据存储系统40以外的结构对数据的处理失败的情况下，数据协作系统30也能够通过相同的结构再次执行处理。

另外，存储于一级存储器71的数据并不被频繁地使用。因此，一级存储器71也可以将从存储于一级存储器71起经过了特定的期间的数据移动到管线外的特定的存储区域。一级存储器71在将数据向管线外的特定的存储区域移动的情况下，也可以在将数据压缩后使其移动。一级存储器71在将数据移动到管线外的特定的存储区域之后，将移动到管线外的特定的存储区域的数据的业务id和处理id的组合通知给管线协调器61。管线协调器61在指示管线70的遮蔽处理部72针对移动到管线外的特定的存储区域的数据执行遮蔽处理的情况下，指示一级存储器71将该数据恢复到一级存储器71。因此，一级存储器71从管线外的特定的存储区域取得由管线协调器61指定的数据，并存储于一级存储器71自身。此处，一级存储器71在从管线协调器61指定的数据被压缩的情况下，将该数据解压缩后存储于一级存储器71自身。

以上，对存储于一级存储器71的数据进行了说明，但对于存储于二级存储器74的数据也相同。即，二级存储器74也可以将从存储于二级存储器74自身起经过了特定的期间的数据移动到管线外的特定的存储区域，并将移动到管线外的特定的存储区域的数据根据管线协调器61的指示恢复到二级存储器74自身。此外，二级存储器74在将数据移动到管线外的特定的存储区域的情况下，也可以将数据压缩后使其移动。

接下来，对应用程序部50要求存储于数据存储系统40的特定的信息系统的数据的更新的情况下的数据协作系统30的动作进行说明。

图15是应用程序部50要求存储于数据存储系统40的特定的信息系统(以下，在图15所示的动作说的明中称作“对象信息系统”)的数据的更新的情况下的数据协作系统30的动作的时序图。

另外，作为应用程序部50要求存储于数据存储系统40的对象信息系统的数据的更新的情况，例如，存在该应用程序服务根据应用程序部50的应用程序服务的用户的指示，要求存储于数据存储系统40的对象信息系统的数据的更新的情况等。

如图15所示，应用程序部50要求管理api65更新存储于数据存储系统40的对象信息系统的数据(s421)。

管理api65当接收到s421中的要求后，将表示接收到的要求的事件通知给管线协调器61(s422)。

管线协调器61的触发处理部81当接收到在s422中由管理api65通知的事件时，对该事件的内容进行分析，从动作记述部82调用与该事件对应的场景、即存储于数据存储系统40的对象信息系统的数据的更新的场景(s423)，并将在s423中调用的场景通知给动作处理部83(s424)。因此，动作处理部83执行基于在s424中通知的场景的处理。即，动作处理部83首先确认存储于数据存储系统40的对象信息系统的数据是否为最新(s425)。作为s425中确认的结果，在存储于数据存储系统40的对象信息系统的数据不是最新的情况下，动作处理部83指示对象信息系统用的数据收集系统执行对象信息系统的数据的发送(s426)。

因此，数据收集系统从对象信息系统取得数据(s427)，并将在s427中取得的数据交给与数据收集系统自身建立关联的管线(s428)。

在s428的处理之后，执行图10和图11所示的处理。

另外，在通过应用程序部50要求更新存储于数据存储系统40的对象信息系统的数据，管线70和大数据分析部44对数据进行处理的情况下，优选由大数据分析部44进行的最终转换处理尽早结束。因此，关于s354的处理，数据转送处理部73也可以不将在s353中存储于二级存储器74的数据经由二级存储器74转送到大数据分析部44，而将在s348中从遮蔽处理部72交接的数据直接转送到大数据分析部44。

以上，对存储于数据存储系统40的对象信息系统的数据的更新进行了说明。此处，数据协作系统30也能够仅更新存储于数据存储系统40的对象信息系统的数据中的特定的数据。例如，数据协作系统30也能够仅更新存储于数据存储系统40的对象信息系统的数据中的设备管理表等特定的表的数据。

接下来，对根据特定的信息系统的结构的变更而变更自身的结构的情况下的数据协作系统30的动作进行说明。

图16是根据特定的信息系统(以下，在图16所示的动作说明中称作“对象信息系统”)的结构的变更而变更自身的结构的情况下的数据协作系统30的动作的流程图。

结构管理网关63在特定的时刻执行图16所示的动作。

如图16所示，结构管理网关63与对象信息系统的结构管理服务器连接(s441)，基于来自对象信息系统的结构管理服务器的信息判断在协作对象的数据的结构是否存在变更(s442)。

结构管理网关63当在s442中判断为在协作对象的数据的结构不存在变更时，结束图16所示的动作。

结构管理服务器62当在s442中判断为在协作对象的数据的结构存在变更时，判断在数据收集系统和数据存储系统40的结构中应当与协作对象的数据的结构的变更内容对应地变更的结构的变更内容是否已经确定(s443)。此处，在结构管理服务器62中存储有变更内容对应关系信息，该变更内容对应关系信息表示协作对象的数据的结构的变更内容与数据收集系统和数据存储系统40的结构中应当与协作对象的数据的结构的变更内容对应地变更的结构的变更内容之间的对应关系。结构管理服务器62在变更内容对应关系信息中存储有与协作对象的数据的结构的变更内容相关的对应关系的情况下，判断为数据收集系统和数据存储系统40的结构中应当与协作对象的数据的结构的变更内容对应地变更的结构的变更内容已经确定。另一方面，结构管理服务器62在变更内容对应关系信息中未存储与协作对象的数据的结构的变更内容相关的对应关系的情况下，判断为数据收集系统和数据存储系统40的结构中应当与协作对象的数据的结构的变更内容对应地变更的结构的变更内容尚未确定。

结构管理服务器62当在s443中判断为数据收集系统和数据存储系统40的结构中应当与协作对象的数据的结构的变更内容对应地变更的结构的变更内容尚未确定时，停止与协作对象的数据相关的数据收集系统和数据存储系统40的处理(s444)。接着，结构管理服务器62将无法根据对象信息系统的结构的变更而变更数据协作系统30的结构的意旨通知给例如对象信息系统的相关人员的收信地址等预先确定的收信地址(s445)，并结束图16所示的动作。

结构管理服务器62当在s443中判断为数据收集系统和数据存储系统40的结构中应当与协作对象的数据的结构的变更内容对应地变更的结构的变更内容已确定时，以变更内容对应关系信息中确定的变更内容变更数据收集系统和数据存储系统40的结构中应当与协作对象的数据的结构的变更内容对应地变更的结构(s446)。此处，作为数据收集系统的结构的变更内容，例如可以考虑协作对象的数据范围的变更和协作的频率的变更等。另外，结构管理服务器62也可以在变更数据收集系统的结构的情况下，部署变更了结构的新的数据收集系统。作为数据存储系统40的结构的变更内容，例如可以考虑由遮蔽处理部进行的遮蔽处理的处理内容的变更和大数据分析部44中的最终转换处理的处理内容的变更等。

结构管理服务器62在s446的处理之后，结束图16所示的动作。

如以上说明的那样，数据协作系统30在遮蔽处理部72对数据的转换失败的情况下(s401)，使用存储于一次存储器71的数据，再次执行遮蔽处理部72对数据的转换(s404)，因此，即使在协作的中途处理失败也能够使数据协作。

数据协作系统30在检测到遮蔽处理部72对数据的转换失败的处理的情况下，基于数据管理表90确定在该处理中转换失败的数据，对于确定的数据，使遮蔽处理部72再次执行转换，因此，对于已转换完毕的数据，无需再次执行转换，能够降低在协作的中途处理失败的情况下的数据协作的结束时间的延迟。

例如，数据协作系统30在发生了与数据源部20之间的通信错误等故障的情况下，自动且在最小限度的范围内进行针对该故障的恢复、即数据的收集处理的再次执行，因此，即使在使大量的数据协作时，也能够降低数据协作系统30整体的运转成本。

数据协作系统30在再次执行数据的转换的情况下执行并行处理，因此，能够降低在协作的中途处理失败的情况下的数据协作的结束时间的延迟。

数据协作系统30使从存储于一次存储器71起经过了特定的期间的数据移动到与一次存储器71不同的区域，因此，能够降低一次存储器71的运转成本。

在本实施方式中，管线具备作为数据转换系统的遮蔽处理部。但是，管线也可以代替遮蔽处理部或者在遮蔽处理部的基础上，具备遮蔽处理部以外的至少一个数据转换系统。