专利名称：基于私有云存储的海洋实时数据同步系统的制作方法
技术领域：
本发明涉及一种数据存储系统，特别是一种基于私有云存储的计算机文件利用网络存储技术实现的数据同步方法。
背景技术：
随着数据流模型的实例化研究平台“数字海洋”辅助决策系统的建设和完善，当前科研人员和业务化使用人员对辅助决策系统的需求不仅仅是将海洋数据“数字化”存储， 这在“数字海洋”建设第一阶段已经完成，在“数字海洋”辅助决策系统的研发和业务化使用过程中，科研人员和业务使用者提出了一些新的问题，比如如何对海量数据动态分配存储空间以保证其存储系统的负载均衡性和可靠性，并可以更加节约人力和财力资源，因为在实际工作中，服务器集群和冷却所消耗的电量极大，而且海洋实时监测数据源源不断的从采集观测站发送到各自所属的海洋站中做存储，海洋站将实时数据存储并传输到所属海洋中心站，各海洋中心站最终将实时数据存储后发送至海区中心站做存储和数据挖掘。实际工作中，海区中心站服务器将每一条数据的不同属性提取出来，将具体的属性值存储到有着不同业务需求的专题数据库中，而不是整条存储数据。由于海洋数据具有海量、多源、 异构的特点，当实时数据不间断的传输至海区中心站时，接收数据的服务器将会出现计算入库延迟甚至由于不停计算存储空间产生了操作系统死锁最终导致死机，严重影响了海洋中心站的业务进度。比如在实际工作中，海洋台站以频率为每10分钟发送一条大小为1MB 的监测数据到海洋中心站，假设国家海洋局某海区中心站同时接收15个海洋中心站(每个海洋中心站由15个台站组成)发送的实时监测数据，而且当服务器集群在分配存储空间的同时，一些服务器仍需面对负载比较重的请求比如进行计算密集的查询、数据库访问等； 而大部分服务器仅仅负载比较轻的请求比如只需要读一个HTML页面或者进行很简单的计算，该服务器集群的负载不均衡性将会导致个别服务器死机甚至造成整个数字海洋系统的工作效率降低。然而以上假设也仅仅考虑了每个台站仅发送的一条数据所耗费的资源量， 事实上海洋台站采集各种海洋数据并将这些数据分成若干条发送至海洋中心站进行存储， 海区服务器集群的负载压力可想而知。所以符合实际需求的海洋数据的存储动态负载均衡存储问题急需解决。私有存储云只对受限的用户提供相应的存储服务，使用存储服务的用户不需要了解“云”组成的具体细节，只要知道相应的接口，并提供相应的策略，剩下的工作交由“云” 来完成，这朵“云”就提供存储空间，并且其中的数据可以做到随时访问，就像访问本地的存储一样。作为云端则在不影响用户的情况下，提供了很多的附加功能，使得云成为高效、可靠、安全的存储池。就较低的整体存储成本而言，使用云存储技术的好处对非结构化数据来说是显而易见的。云存储技术是以服务为基础，无需购买、管理和维护存储硬件设备，私有云存储具有的特点是1.统一管理；2.易于实现集中备份及容灾；3.易于扩展、升级方便； 4.节约成本，绿色节能。随着海洋数据传输专线的不断升级和网络电脑性能的不断提高，海洋数据传输网络已经具备了构建私有云存储海洋数据的条件，构建基于数字海洋数据传输专线的私有云存储的优势包括1.提高灵活性，包括显著缩短内部传输响应时间；2.通过提高资源利用率来实现更高的效率，包括大幅节约能源；3.充分利用网络内部空闲的硬件和软件，在提升可用性的同时，最大程度地控制成本增加；4.利用全新的数据同步入库系统来优化改进数据管理机制，私有云存储技术通过消除传统数据存储预期的增长容量和负载而配置的大量存储空间，以达到数据空间接近100%的利用率。除了以上提到的四个优势外，私有云存储还具有可扩展性、透明的支持基础能力和解决高峰负荷能力强等特点。
发明内容
本发明是利用海洋数据传输专线网络，构建一个海洋传输的私有云存储系统，私有云存储不仅是在通过统一数据接口进行传输和存储实时数据功能中发挥了作用，更重要的是该存储系统将会优化现有的实时数据多数据库存储机制，可以实现当实时数据传输到海区中心站时，利用私有云存储系统对每条新数据的属性进行存储并分析，根据目标专题数据库不同的业务需求，自动智能的提取相关属性值分别入库存储。
图1为本发明所揭示的私有云存储的多数据库同步系统的框架图。图2为本发明所揭示的私有云存储系统工作流程图。
具体实施例方式如图1，基于私有云存储的多数据库同步更新系统的工作原理是利用数据传输专线网络构建私有云存储系统，当海洋台站采集到新的实时海洋监测数据时，数据通过统一的数据流接收端口存储到私有云端，数据流接口的设计思想是利用编程技术设计一套软件接口，目的是规避不同海洋数据采集硬件之间无法传输到私有云端并且经过私有云存储优化后无法将各属性值同步到各个数据库中的缺陷。当实时数据存储到私有云端后，实时数据将会被存储在私有云存储装置，元数据分析模块将会对实时数据按照属性进行分析，并与Agent对目标专题数据库的属性需求的返回值进行匹配，提取属性值后通过数据流发送接口同步至各个目标专题数据库。之后过期实时数据将会被系统定期的转存至永久性存储装置，用以释放私有云的弹性存储空间，优化其工作效率。如图2，该私有云模块由四部分组成1.数据映射接口、2.存储设备、3.元数据分析模块4.代理层(Agent)，而弹性私有云存储中的实现是依托一些真正在运行中的虚拟机服务器分配给用户的虚拟机，该用户具有全部的访问权限，包括对此虚拟机的管理员权限。由于用户在部署网络程序的时候，大多数情况会通过多个实例的协同工作来实现一个运行效果。弹性私有云存储系统通过内部的IP地址实现了内部结构中实例间的传输与交互网络，使用户的运行的应用程序在不同的实例之间可以相互调用和处理通信资源， 大大的提高了工作效率。为了将海洋实时监测数据利用云存储实现负载均衡分配存储空间，以及实时解析数据流中个属性值存储至各个海洋专题数据库中的目的，本发明设计了一个完善的私有云存储系统的工作流程。各个部分的工作机制以及通信机制如下阐述(1)数据映射接口
该接口是围绕如何解决海洋实时监测数据流进行数据映射，并在映射存储到对应的专题数据库。该接口的设计思想是利用编程技术设计一套软件接口，目的是规避不同海洋数据采集硬件之间无法传输到私有云端并且经过私有云存储优化后无法将各属性值同步到专题数据库中的缺陷。(2)存储设备存储设备层是云存储最基础的部分，存储设备是在组成私有云的所有工作的计算机。其中私有云存储内部的存储设备通过海洋数据传输专线网络连接在一起。当台站采集新的实时数据后，台站的浮标、传感器等硬件设备将利用数据映射接口将数据通过数据传输专线传送至私有云端，私有云端首先接收实时数据存储在缓存中，然后根据当前各个私有云存储系统内的虚拟服务器的实时存储状态和当前的计算负载状态等评定指标综合计算并分配存储空间，以实现弹性存储的目的，并在存储层中对实时数据进行存储。该存储设备层的另一个设计目的是实现存储设备的逻辑虚拟化管理、硬件设备的状态监控等功能。这与现有的私有云管理层相比，增加了更多的监控内容以保证私有云内工作计算机的负荷稳定性，实现了动态负载均衡分配存储机制。管理层通过集群、分布式文件系统等技术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。(3)数据分析模块在利用私有云端对实时数据进行存储后，系统将使用元数据分析技术对实时数据的属性进行分析归类，系统将自顶向下的将实时数据顶层属性开始进行分析，最终通过统一的XML格式传递给代理层(Agent)。(4)代理层(Agent)在代理层，系统智能的对各数据库的业务需求进行分析并获取目标专题数据库的需求业务属性，并反馈给存储设备，存储设备将会根据具体各个数据库的业务需求来提取每一条实时数据的不同属性值，如果没有找到对应属性值，系统则默认回溯到原数据分析模块继续查找。最终通过数据映射接口同步至各个数据库，真正实现了实时数据的同步。综上所述，本发明是基于私有云存储技术解决实时数据的同步存储问题，由于海洋监测数据特殊的实时性、海量性和异构性，使用传统方法对实时数据的各条属性分别提取后存储到分布式数据库中时，往往会造成实时数据属性值的缺损，用户使用这些缺失数据将会对工作造成极大的困难，传统的海洋监测数据同步方法无法的解决这个难题。针对这个缺陷，本发明提出了一种全新的基于私有云存储的多数据库同步更新方法，利用数据传输专线网络和网络内的计算机构建私有云存储，利用私有云存储和管理技术对海洋实时数据库进行存储，并根据目标专题数据库不同的业务需求，设计Agent与元数据分析模块进行智能匹配提取属性值，最终通过数据映射接口将每一条实时数据的属性值同步到目标专题数据库中。以上所述仅为举例性，而非为限制性。本说明书内容不应理解为对本发明的限制， 任何未脱离本发明的精神与范畴，均应包含于申请范围之内
权利要求
1.基于私有云存储的多数据库同步系统的设计，其特征在于，应该包括有一套完整闭合的数据传输网络，用来进行高速、保密的传输实时数据；一套数据流接收、发送接口，用来统一接收台站传输的实时数据存储到私有云存储装置中，并且将最终结果同步到目标专题数据库中；一套私有云存储装置，该装置通过数据流接收接口与分布式的台站相连，负责存储由台站传输的实时数据，并对数据进行分析，根据各个目标专题数据库的需求提取其对应属性进行分发同步存储；一套永久性存储装置，其目的是存储过期的海洋监测数据，以释放私有云的弹性存储空间。
2.根据权利要求1所述的数据传输网络，其特征在于该网络拥有高带宽，网络内部拥有至少三台以上的M小时不停止工作的计算机。
3.根据权利要求1所述的数据流接收、发送接口，其特征在于负责将各个台站的实时数据传输至私有云存储装置中，并将提取的属性值同步至目标专题数据库中存储。
4.根据权利要求1所述的私有云存储装置，其特征在于构建了私有云进行存储实时数据，同时根据目标专题数据库的不同需求，分析并提取相应的数据属性值同步至目标专题数据库进行存储。
5.根据权利要求1所述的永久性存储装置，其特征在于使用相对廉价的大容量磁盘阵列存储过期的海洋监测数据。
全文摘要
本发明提供一套基于私有云存储的海洋实时数据同步存储系统，以弥补目前实时数据同步存储系统由于各个专题数据库的库表结构以及对属性的提取方式不同等原因造成实时数据接收后的处理延迟甚至内存溢出等缺陷。本发明尤其是在提出了利用私有云存储对海洋数据进行分析后提取属性信息并同步保存于多数据库的方面做出了贡献。它至少包括以下部分一套完整闭合的数据传输网络，一套数据流接收、发送接口，一套私有云存储装置，一套永久性存储装置以及一套正常工作的分布式数据库系统。本发明适合针对海量的实时数据提取其中的各个属性值并同步存储至多个目标专题数据库的应用。
文档编号H04L29/08GK102404406SQ20111039424
公开日2012年4月4日 申请日期2011年12月2日 优先权日2011年12月2日
发明者张弛, 张明华, 黄冬梅 申请人:上海海洋大学