一种基于空间知识云环境的云存储模型与管理方法
【技术领域】
[0001]针对全球海量空间数据数据量大、存储成本高、存储效率低等特点，传统存储模式已难以满足大数据时代对数据存储高性能、高容量、易扩展的需求，构建全球海量空间信息云环境下的存储模型，通过集群应用、网络技术或分布式系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来，协同工作，实现共同对外提供数据存储和业务访问等功能，在大数据时代，为大数据存储领域开拓一种易扩容、易管理、更高效、更廉价、更安全的数据存储方法。
【背景技术】
[0002]IDC(Internet Data Center，互联网数据中心)研宄表明，从2006年到2010年，全球信息总量增长了 6倍以上，随着技术的发展，现有传统磁盘阵列中已经普遍采用了 750GB或ITB的SATA硬盘。但在面对PB级的海量存储需求时，传统的SAN或NAS在海量和性能的扩展上存在瓶颈，已经不能满足新形势下对数据保存高性能、高容量、易扩展的需求。于是众多厂商均对云存储投入极大的支持与关注，Amazon公司推出弹性块存储(EBS)技术支持数据持久性存储；G00gle推出在线存储服务⑶rive ;内容分发网络服务提供商⑶Networks和云存储平台服务商Nirvanix结成战略伙伴关系，提供云存储和内容传送服务集成平台；EMC公司收购Berkeley DataSystems，取得该公司的Mozy在线服务软件，并开展SaaS业务；Microsoft公司推出Windows Azure，并在美国各地建立庞大的数据中心；IBM也将云计算标准作为全球备份中心扩展方案的一部分。可以说，云存储一经问世就受到高度关注。
[0003]云存储与传统的存储设备相比，其不仅仅是一个硬件，更是一个由网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心，通过应用软件来对外提供数据存储和业务访问服务。如附图1所示，其系统结构模型共分为四层。第一层为数据存储层，是云存储最基础的部分。存储设备可以是FC(Fibre Channel，网状通道)光纤通道存储设备，可以是NAS (Network AttachedStorage，网络附属存储)和 ISCSI (Internet Small Computer System Interface)等 IP存储设备，也可以是SCSI (Small Computer System Interface，小型计算机系统接口)或SAS(Serial Attached SCSI，串行连接小型计算机系统接口)等 DAS(Direct-AttachedStorage，开放系统的直联式存储)存储设备。第二层数据管理层是云存储最核心的部分，也是云存储中最难以实现的部分，需要通过集群、分布式文件系统和网络计算等技术，实现云存储中多个存储设备之间的协同工作，使多个存储设备可以对外提供同一种服务，并提供更大、更强、更好的数据访问性能。该层需要完成访问调度，内容分发，存储管理和数据加密、备份、容灾四大功能。第三层应用接口层是云存储最灵活多变的部分，不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。第四层是用户访问层，任何一个授权用户都可以通过标准的公用应用接口来登陆云存储系统，享受云存储服务。
[0004]云存储运营单位不同，云存储提供的访问类型和访问手段也不同。另外，云存储不仅是一个由多部分组成的复杂系统，而且其涉及了较多的技术内容，根据云存储的特点及其应用领域，主要的云存储技术包含了 Q)N(Content Delivery Network，内容分发网络)内容分发、P2P技术、重复数据删除技术、数据加密技术、存储虚拟化技术等。
【发明内容】
[0005]针对全球海量空间数据数据量大、存储成本高、存储效率低等特点，传统存储模式已难以满足大数据时代对数据存储高性能、高容量、易扩展等需求，本发明提出了一种基于空间知识云环境的云存储模型与管理方法。构建全球海量空间信息云环境下的存储模型，实现应用软件与存储设备相结合，通过应用软件来完成存储设备向存储服务的转变；建立云环境下全球空间知识数据库，研宄多源异构空间数据半自动生成技术，构建“知识与规贝1J”空间数据关系的框架，实现数据的自动更新；利用空间信息共享技术，突破海量空间知识云环境下的管理技术，实现多尺度空间数据集成管理、共享与服务。具体如附图2所示。
[0006]空间知识云环境下的存储模型与管理技术研宄，首先需要考虑包括全球海量信息云环境下的存储模型构建、空间知识数据库建设问题，然后针对空间数据库中多源异构空间数据关系的半自动生成技术进行研宄，其次需要设计协同标绘数据引擎和空间知识服务引擎，实现数据的存储接入和服务导出。
[0007]本发明采用的技术路线共分为六个部分:云环境选择、云计算工具选择、数据库选择、全球海量空间信息云环境下的存储模型构建、空间知识数据库建设、关键技术。具体情况如下
[0008]一、云环境选择
[0009]?系统云环境:IAAS (基础设施即服务)、PAAS (平台即服务)、SAAS (软件即服务)
[0010]二、云计算工具选择
[0011]?云计算工具:Hadoop、Hbase
[0012]三、数据库选择
[0013]?数据库:Hbase、Mongodb
[0014]四、全球海量空间信息云环境下的存储模型构建
[0015]五、空间知识数据库建设
[0016]?标绘信息库
[0017]籲规则库
[0018]?标绘知识库
[0019]?运行管理库
[0020]六、关键技术
[0021]?多源异构空间数据关系的半自动生成技术
[0022]I)知识获取与处理
[0023]2)规则建立
[0024]3)基于“知识与规则”的GIS数据结构表达
[0025]4)规则定义
[0026]5)可视化表达
[0027]?协同标绘数据引擎
[0028]?空间知识服务引擎
[0029].THDFS文件系统关键技术
[0030]I)采用元数据服务器集群机制
[0031]2)采用客户端的核心数据服务器定位解析机制
[0032]3)数据混合存储机制
[0033]4)数据节点块内索引机制
[0034].HCloudDB云数据库系统建设关键技术
[0035]技术路线方案示意图如附图2所示。
[0036]通过对基于空间知识云环境的云存储模型与管理方法的构建，从云环境、云计算工具、数据库的选择，全球海量空间信息云环境下的存储模型构建，空间知识数据库建设，以及云存储过程涉及到的关键技术，进行云存储模型与管理方法的建设。实现存储设备向存储服务的转变，实现数据的自动更新，实现多尺度空间数据集成管理、共享与服务，突破海量空间知识云环境存储与管理技术，打破传统数据存储模式，高效、低成本、安全地存储与管理大数据时代海量数据信息，推进新一代云存储及管理模式的发展步伐。
[0037]云存储模型与管理方法构建的挑战体现在:1)性能和数据传输速率的限制。有限的网络带宽加上云计算协议带来的延迟极大地降低了用户体验水平，使得很多数据访问模式下目前的云存储并不是最佳选择，比如当数据传输距离很远且数据流动范围很大的场合，或者数据访问频率与事物速率要求很高的场合。云存储服务的应用更多的局限在那些不需要频繁存取数据的场合，比如归档、备份、离线数据保护等；2)可管理性的缺乏。由于缺少独立于提供商的、可用于评估云存储可用性的工业标准或工具，用户担心一旦采用某个提供商云服务模式后就被“锁定”在这个提供商，使得将来在提供商之间的自由迀移变得困难；3)互操作性与协议转换的困境。当前企业的大部分应用程序都是采用基于文件块的协议，比如PC、iSCSI等，但是云存储架构中盛行的是基于文件的协议，比如CIFS和NFS，同时无论对公共云还是私有云的访问均采用REST和SOAT协议。因此，如何在云存储协议与既有应用协议之间进行翻译或转换是云存储的推广必须考虑的问题。
[0038]可以说，随着信息技术的不断发展，日益丰富的信息采集途径，多样化的业务需求以及各种行业各种外围业务系统，都要求对大数据量信息的存储具有多业务支撑能力，云