专利名称：一种基于云计算的空间信息服务系统的制作方法
技术领域：
本发明涉及云计算技术领域，尤其涉及一种基于云计算的空间信息服务系统。
背景技术：
云计算是一种将应用程序运行于大量并行计算机系统之上的新兴共享基础架构， 具备处理规模化、管理集中化、功能开放化、存储海量化和客户端轻量化等特点。云计算系统以其良好的可扩展性、高可靠性和高可用性，为提升空间信息服务系统的服务能力提供了强大的技术支撑。在云计算中软件和硬件都被抽象化为资源形态，并且封装成服务形式对夕卜提供月艮务(infrastructure as a service、platform as a service、software as a service)，不论终端是哪一种设备，都可以透过网络以即需即取的方式获取服务，而无须关注其内部结构及运行模式。云计算技术的出现无疑为空间信息服务的实现提供了一种新的技术架构，Google Earth和Google Map的出现就是很好的例证。传统的地理信息系统是按照系统中的数据分布特征和针对其中数据处理的计算特征而分类的。随着数字地球从理论走向产业，3S(remote sensing, geographic information system, global positioning system)技术的快速发展，空间信息应用范围越来越广，人们开始思索如何将分布异构的地理空间数据有机地集合在一起，使用户能够透明地获取任何空间数据以及处理数据的功能，通过数据服务和功能服务两种形式实现将最有用的信息用最快捷的方法和最低的成本送给最需要的用户。传统的地理信息系统已经不能满足要求， 这就要求传统的地理信息系统向空间信息服务转变，实现在hternet环境下为多用户提供数据和处理功能的一体化服务，使用户能直接通过网络对地理空间数据进行访问，分析处理并输出专题显示结果。因此，有必要提供一种基于云计算的空间信息服务系统来解决上述需求。
发明内容
本发明的目的是提出一种能够支持海量数据存储、资源目录和交换体系以及并行程序处理，可提供从数据到处理功能的一体化服务，可以满足空间信息服务的多种需求。为了实现上述目的，本发明提出了一种基于云计算的空间信息服务系统，包括数据层、服务层及应用层，所述数据层用于存储和管理数据资源；所述服务层用于将空间信息服务组件进行封装并能通过工作流引擎进行业务流程建模；所述应用层用于对外提供服务，所述数据层由分布式文件系统、分布式空间数据库和资源适配器构成，所述服务层由空间信息服务组件库和工作流引擎构成，所述应用层由云服务平台门户及资源目录和交换体系构成。具体地，所述分布式文件系统采用HDFS来存储数据，所述分布式文件系统建立有数据文件和索引文件，所述数据文件用于保存文件数据，所述索引文件用于保存文件的索
弓I fe息O具体地，所述分布式空间数据库通过建立全局视图、元数据和访问控制机制，实现用户透明地访问全局数据。具体地，所述资源适配器将来自服务层的访问请求转换成文件或数据库相应的调用方式。具体地，所述服务层将各类功能组件按照标准形式进行封装，在空间信息服务组件库中进行注册、部署和发布，使其成为被空间信息服务组件库管理的服务组件；所述工作流引擎支持基于工作流的业务建模，用户可以根据自己的业务需求，从空间信息服务组件库中查找相应的服务系统提供在线的图形化编辑界面，用拖拽的方式编辑业务流程，系统自动将用户的业务流程映射为遵循BPEL4WS规范的脚本，由工作流引擎负责服务调度和执行。具体地，所述应用层直接面向用户，提供一站式服务，所有的资源和功能都以服务的形式提供给用户，所述资源目录和交换体系可以与其他系统进行数据交换和服务互操作，所述云服务平台门户中的服务主要包括数据即服务及模型即服务，所述云服务平台门户中提供了数据注册发布和交换组件，用户可以将自己的数据在平台上进行注册、发布，资源目录和交换体系提供了数据存储、访问、管理和交换服务，其他系统中的数据可导入云平台；所述模型即服务包括提供一系列面向应用领域的空间分析模型，所述模型被封装成服务组件通过业务流程建模将模型服务聚合起来，形成处理流程，模型间通过参数传递和文件形式进行数据交换。与现有技术相比，本发明的基于云计算的空间信息服务系统，采用分布式文件系统、分布式数据库、并行编程模型和工作流等技术，支持海量数据存储、资源目录和交换体系以及并行程序处理，可提供从数据到处理功能的一体化服务，可行性高，能满足空间信息服务的多种需求。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1是本发明基于进程调度的嵌入式系统的结构框图。
具体实施例方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。随着云计算技术的出现，使人们有更多的时间关注专业领域内的问题，使空间信息服务模式发生了革命性的改变。应用云计算的思想，建立使用地理空间数据为基础的应用服务，实现云计算环境下的AaaS理念，将会极大地提高空间信息的应用范围和应用水准。本发明的目的正是为了提出一种能够支持海量数据存储、资源目录和交换体系以及并行程序处理，可提供从数据到处理功能的一体化服务，可以满足空间信息服务的多种需求。
参考图1，本发明的基于云计算的空间信息服务系统框架可以分为三个层次，即数据层、服务层和应用层。数据层主要负责在云计算基础设施上存储和管理数据资源；服务层主要负责将空间信息服务组件按照Web service标准进行封装，并能通过工作流引擎进行业务流程建模；应用层负责对外提供服务，用户可以登录一站式的云服务平台门户，直接使用系统提供的服务，也可以通过资源目录和交换体系进行数据注册、发布、交换和服务调用。具体地，所述数据层主要由分布式文件系统、分布式空间数据库和资源适配器构成。基于云计算平台的基础设施主要由廉价PC集群构成，需要存储大量的数据和文件，因此分布式存储是一种必然选择。为了在分布式环境中为用户提供透明的文件和数据访问方式，基于云计算的空间信息服务系统采用分布式文件系统和分布式空间数据库作为数据存储和管理的基础平台。在文件存储方面，分布式文件系统可以通过冗余存储有效应对单点故障，并可以通过多个副本提高响应速度，有效地实现海量数据的高可靠性和高可用性存储。在数据库方面，分布式数据库通过建立全局视图、元数据和访问控制机制，可以实现用户透明地访问全局数据。资源适配器主要负责将来自服务层的访问请求转换成文件或数据库相应的调用方式。本发明采用HDFS作为分布式文件系统，HDFS是专门针对大文件存储所设计的，文件按照块进行存储，每个块默认是64MB所有的文件元数据都会常驻系统内存，以提高文件请求的查询速度。在实际操作中，需要存储大量的小文件，因此需要针对小文件作相应的优化。本发明的技术方案将小文件合并为大的文件。建立两个文件一个是数据文件，保存文件数据；一个是索引文件，保存文件的索引信息。当存储一个小文件时，步骤如下Stepl 向数据文件末尾追加写入小文件的数据；在索引文件中记录小文件的版本号、长度和在数据文件中的偏移量。在读取一个小文件时，步骤如下Stepl 在索引文件中找到文件名相同的版本号最新的记录；Step2 根据偏移量和长度从数据文件中读取文件内容。所述分布式文件系统主要用于存储相对稳定、不常发生改变的文件。一旦文件内容发生改变，则原来的文件内容作为旧的版本进行存档。对于那些内容经常发生变化的文件，一般采用分布式数据库进行存储。所述服务层是基于云计算的空间信息服务系统的核心，由空间信息服务组件库和工作流引擎构成。系统对外的所有功能都是以服务的形式提供的。首先将各类功能组件按照标准形式进行封装，如国际开放地理信息系统联盟(the Open Geospatial Consortium) 提出的Web服务封装规范，然后在空间信息服务组件库中进行注册、部署和发布，成为被空间信息服务组件库管理的服务组件。系统同时提供了工作流引擎，支持基于工作流的业务建模。用户可以根据自己的业务需求，从空间信息服务组件库中查找相应的服务系统提供在线的图形化编辑界面，用户可以用拖拽的方式编辑业务流程，系统自动将用户的业务流程映射为遵循BPEL4WS规范的脚本，由工作流引擎负责服务调度和执行。在空间分析服务实现中使用并行算法，以充分利用云平台的计算能力，提高处理效率。Map/Reduce是一种并行编程范式，在程序中主要有两个阶段Map阶段和Reduce阶段。每个阶段都以某种键值对作为输入、输出新的键值对。Map阶段处理输入的每一条数据记录，同时根据指定的算法生成新的键值对；Reduce阶段将Map阶段生成的键值对进行合并，具有相同键的值会根据制定的算法进行合并。本发明中并行空间分析算法的设计如下。1)栅格叠加分析这个算法所使用的数据文件的记录格式为F<MBR，value〉，其中，MBR是这条记录的外包矩形，value是这个矩形空间范围内的每个栅格点的属性值的数组。栅格叠加分析可以使用两阶段的Map/Reduce算法来完成。Stepl 在第一个Map阶段，按照一个统一的空间划分方法，按照每条记录的外包矩形，将这条记录划分成若干长和宽相同的新记录。每个新记录的键是它的外包矩形与属性类别的组合，值数组中与原来记录中坐标重叠的地方使用原来的值，其他新增的地方没有值，用一个特殊值进行标记。St印2 在第一个Reduce阶段，根据新记录的键进行合并，具有相同的外包矩形的记录在合并时，取有值的部分。在第一个Map/Reduce阶段结束后，将中间结果保存起来。经过这个阶段后，原来每一个的数据文件被划分成了规则的格网。St印3 在第二个Map阶段，选择每一个记录的外包矩形作为键，类别和属性值数组作为值。St印4 在第二个Reduce阶段，将具有相同键的记录按照预定的叠加算法进行处理，得到的结果保存为文件。Mep5:将结果文件按照输出要求进行整理，就完成了栅格叠加分析操作。2) R树空间索引生成这个算法中所使用的数据文件的记录格式为F<id，location，properties〉。其中， id为对象的唯一标志符，location为对象的空间位置，properties为对象的属性值组。R 树的构建可以分为三个阶段，其中包含两阶段的Map/Reduce。Stepl 第一阶段的任务是生成将空间对象划分成组的函数，划分函数对于后面两阶段的映射和归并至关重要。划分函数应该尽可能将数据集划分成若干大小一致的子集， 同时划分函数应该尽可能将在空间上邻近的对象划分到同一个子集中。在选择划分函数时，本发明利用了空间填充曲线，将多维空间向一维有序空间进行映射。在程序实现中，选择了 Z序填充曲线给定一个空间位置，划分函数给出一个值，标志它在Z序中的序号。划分函数的生成也利用了 Map/Reduce算法。由于实际问题中需要处理的数据可能非常大，为了减少计算量，采用抽样的思想。在Map阶段，运行M个mapper 程序，选取L个抽样对象，根据选定的空间填充曲线算出这L个对象的序号。在Reduce阶段，使用一个reduce程序对这L个序号进行排序，按照事先设定的子集数R，将它们分成大小近似一致的子集。根据划分的情况，确定临界点序列S = (S1, S2,..., SE.J最终的空间划分函数如下
‘1U(o) < S权利要求
1.一种基于云计算的空间信息服务系统，其特征在于，包括数据层、服务层及应用层， 所述数据层用于存储和管理数据资源；所述服务层用于将空间信息服务组件进行封装并能通过工作流引擎进行业务流程建模；所述应用层用于对外提供服务，所述数据层由分布式文件系统、分布式空间数据库和资源适配器构成，所述服务层由空间信息服务组件库和工作流引擎构成，所述应用层由云服务平台门户及资源目录和交换体系构成。
2.如权利要求1所述的基于云计算的空间信息服务系统，其特征在于，所述分布式文件系统采用HDFS来存储数据，所述分布式文件系统建立有数据文件和索引文件，所述数据文件用于保存文件数据，所述索弓I文件用于保存文件的索引信息。
3.如权利要求1所述的基于云计算的空间信息服务系统，其特征在于，所述分布式空间数据库通过建立全局视图、元数据和访问控制机制，实现用户透明地访问全局数据。
4.如权利要求1所述的基于云计算的空间信息服务系统，其特征在于，所述资源适配器将来自服务层的访问请求转换成文件或数据库相应的调用方式。
5.如权利要求1所述的基于云计算的空间信息服务系统，其特征在于，所述服务层将各类功能组件按照标准形式进行封装，在空间信息服务组件库中进行注册、部署和发布，使其成为被空间信息服务组件库管理的服务组件；所述工作流引擎支持基于工作流的业务建模，用户可以根据自己的业务需求，从空间信息服务组件库中查找相应的服务系统提供在线的图形化编辑界面，用拖拽的方式编辑业务流程，系统自动将用户的业务流程映射为遵循BPEL4WS规范的脚本，由工作流引擎负责服务调度和执行。
6.如权利要求1所述的基于云计算的空间信息服务系统，其特征在于，所述应用层直接面向用户，提供一站式服务，所有的资源和功能都以服务的形式提供给用户，所述资源目录和交换体系可以与其他系统进行数据交换和服务互操作，所述云服务平台门户中的服务主要包括数据即服务及模型即服务，所述云服务平台门户中提供了数据注册发布和交换组件，用户可以将自己的数据在平台上进行注册、发布，资源目录和交换体系提供了数据存储、访问、管理和交换服务，其他系统中的数据可导入云平台；所述模型即服务包括提供一系列面向应用领域的空间分析模型，所述模型被封装成服务组件通过业务流程建模将模型服务聚合起来，形成处理流程，模型间通过参数传递和文件形式进行数据交换。
全文摘要
本发明实施例公开了一种基于云计算的空间信息服务系统，包括数据层、服务层及应用层，数据层用于存储和管理数据资源；服务层用于将空间信息服务组件进行封装并能通过工作流引擎进行业务流程建模；应用层用于对外提供服务，数据层由分布式文件系统、分布式空间数据库和资源适配器构成，服务层由空间信息服务组件库和工作流引擎构成，应用层由云服务平台门户及资源目录和交换体系构成。本发明的基于云计算的空间信息服务系统，采用分布式文件系统、分布式数据库、并行编程模型和工作流等技术，支持海量数据存储、资源目录和交换体系以及并行程序处理，可提供从数据到处理功能的一体化服务，可行性高，能满足空间信息服务的多种需求。
文档编号H04L29/08GK102377824SQ201110317549
公开日2012年3月14日 申请日期2011年10月19日 优先权日2011年10月19日
发明者罗春耕, 罗晴明 申请人:江西省南城县网信电子有限公司