专利名称：森林资源异构数据分布式管理系统的制作方法
技术领域：
本发明涉及一种数据管理系统，尤其涉及一种森林资源异构数据分布式管理系 统。
背景技术：
随着计算机、数据库、网络等技术迅猛发展以及在林业中的广泛应用，林业行业从 国家到地方，从生产管理部门到研究机构构建了很多应用系统。森林资源数据管理系统是 “数字林业平台技术研究与应用”中数字林业公共技术平台的一部分，下级部门向上级数字 林业平台提交标准化的数据，为国家重大林业决策分析提供依据。这些系统大多是地方自 行开发的，采用的数据库管理系统不相同，数据库的结构也不一致，造成各应用系统之间不 能互通互联，无法实现共享，形成了一个个信息孤岛，导致信息共享和集成困难，信息传递 不及时、不一致、信息利用率低下。因此，如何消除分布于不同部门不同地点的数据的异构 性，并对其进行有效的管理和整合已成为森林资源管理数据系统的必然选择。
发明内容
本发明的主要目的在于提供一种能够消解分布于不同部门不同地点的森林资源 数据的异构性，提供多种基于统一标准的数据服务，实现林场级的森林资源异构数据的分 布式管理系统。为了达到上述目的，本发明提供了一种森林资源异构数据分布式管理系统，包括 数据服务管理单元和元数据管理单元；所述数据服务管理单元包括数据管理模块、服务管理模块、数据服务发布模块和 元数据服务模块；所述元数据管理单元包括元数据注册模块和目录与索引模块；所述数据管理模块，与所述数据服务发布模块连接，用于维护数据提供者本地存 储与网络收集的分布式数据；所述服务管理模块，与所述数据服务发布模块连接，用于多种服务器与服务模块 集中管理，提供符合OGC规范定义标准的数据服务；所述数据服务发布模块，与所述元数据服务模块连接，用于获取并配对所述分布 式数据和所述数据服务，以生成私有数据服务发布信息，并将该数据服务发布信息动态部 署发布至服务器；所述元数据服务模块，与所述元数据注册模块连接，根据该数据服务发布信息生 成数据服务元数据；所述元数据注册模块，与所述目录与索引模块连接，通过对私有格式进行转换处 理并生成系统标准元数据，以消除该数据服务元数据的异构性；所述目录与索引模块，用于为该系统标准元数据提供目录与索引。实施时，该分布式数据根据数据类型和数据源分别定义，并且每种数据类型包含多项数据源定义；所述数据类型包括数据格式与存储格式。实施时，该数据服务包括地图服务、要素服务和基于网络文件传输协议的文件服务。实施时，所述数据服务元数据通过分类构建策略与所述数据服务发布信息一一对应。实施时，所述数据服务元数据包括等级由高至低排列的服务节点、数据服务与实 体数据；所述实体数据包括描述信息，该描述信息指明可以使用的数据服务以及数据服务 对应运行的服务节点。与现有技术相比，本发明可以实现林场级的森林资源异构数据的分布式管理。
图1是本发明所述的系统的功能模块图；图2是在本发明中，为保证实体数据按照统一的方式管理而采用的数据处理方式 的流程图；图3是本发明的数据服务管理单元的功能框图；图4是本发明的元数据管理单元功能框图；图5是在本发明所述的系统中进行数据源维护的示意图；图6是在本发明所述的系统中进行数据服务发布活动的示意图；图7是在本发明所述的系统中进行元数据注册活动的示意图；图8是本发明所述的系统中的分布式数据节点通过统一访问接口构建资源数据 管理平台的功能框图；图9是元数据注册过程中通过分布式数据管理定义不同等级元数据信息(节点、 服务、数据)，根据私有格式元数据的资源映射文件确定转换规则提取私有格式元数据信息 至分布式系统统一建立的元数据体系结构的示意图；图10是本发明所述的森林资源异构数据分布式管理系统利用Web服务的跨域兼 容性与数据传递的标准格式特性解决格式差异与存储异构问题的示意图。
具体实施例方式首先对本发明涉及到的定义介绍如下Web服务是基于XML和HTTP/HTTPS的一种服务，其通信协议主要基于S0AP，服务 的描述通过WSDL，通过UDDI来发现和获得服务的元数据。OGC (Open GIS Consortium,开放地理信息系统协会)，Open GIS规范致力于为地 理信息系统间的数据和服务互操作提供统一标准。开放地理信息联盟，是一个非盈利的志 愿的国际标准化组织，引领着空间地理信息标准及定位基本服务的发展。目前在空间数据 互操作领域，基于公共接口访问模式的互操作方法是一种基本的操作方法。通过国际标准 化组织(IS0/TC211)或技术联盟(如0GC)制定空间数据互操作的接口规范，GIS软件商 开发遵循这一接口规范的空间数据的读写函数，可以实现异构空间数据库的互操作。基于 http (Web)XML的空间数据互操作是一个很热门的研究方向，主要涉及Web Service的相关技术。OGC和IS0/TC211共同推出了基于Web服务(XML)的空间数据互操作实现规范Web Map Service, Web Feature Service, Web Coverage Service 以及用于空间数据传输与转 换的地理信息标记语言GML。分布式，指数据和程序可以不位于一个服务器上，而是分散到多个服务器，以网络 上分散分布的地理信息数据及受其影响的数据库操作为研究对象的一种理论计算模型。分 布式有利于任务在整个计算机系统上进行分配与优化，克服了传统集中式系统会导致中心 主机资源紧张与响应瓶颈的缺陷，解决了网络GIS中存在的数据异构、数据共享、运算复杂 等问题。林场，一般分为国有林场和私营林场。国有林场指国家培育和保护森林资源的林 业生产性的事业单位，国有林场的林地、林木等全部生产资料和产品都是国家财产。我国的 国有林场是新中国成立初期国家为加快森林资源培育，保护和改善生态，在重点生态脆弱 地区和大面积集中连片的国有荒山荒地上，采取国家投资的方式建立起来的专门从事营造 林和森林管护的林业事业单位。私营林场是私人所有的一种林场，是非公有制形式存在的 企业，是以盈利为目的从事生产经营活动，完成自我经济效益最大化的同时，接受林业部门 领导肩负一定生态任务。本发明所述的森林资源异构数据分布式管理系统，是基于开放地理信息联盟的 OGC技术标准构建的数据共享平台，利用Web服务的跨域兼容性与数据传递的标准格式特 性解决格式差异与存储异构问题如图10所示，也是数据遵守OGC规范提供的丽S地图服 务、WFS要素服务与原始文件下载服务，构建的统一管理、分布式共享数据的平台，更是实现 统一编程接口 API开发与运行应用系统之间统一格式的数据交换系统。如图1所示，本发明所述的森林资源异构数据分布式管理系统包括数据服务管理 单元、元数据管理单元和系统存储单元，其中，所述数据服务管理单元包括数据管理模块、服务管理模块、数据服务发布模块和 元数据服务模块；所述数据管理模块和所述服务管理模块分别与所述数据服务发布模块连接；所述数据服务发布模块与所述元数据服务模块连接；所述元数据管理单元包括元数据注册模块和目录与索引模块。所述元数据服务模块与所述元数据注册模块连接；所述元数据注册模块分别与所述目录与索引模块和所述系统存储单元连接。数据管理模块维护数据提供者本地存储与网络收集的分布式数据，涵盖多种数据 格式和存储格式的森林资源数据的定义信息与数据获取途径的描述信息，集中组织与检索。提供者的森林资源数据按照数据类型与数据源分别定义的方式，同时建立二者间 一对多关系描述，即每种数据类型包含多项数据源定义，而数据类型支持多种定义(包含 数据格式与存储格式的多种组合)。这样的组织方式能够处理任何数据格式与存储格式 的数据源定义，并且检索数据源信息过程中支持依照数据类型分组查询使管理组件具有更 快、更准确的发现能力。服务管理模块面向多种服务器与服务模块(由Web服务或者引用第三方开发功能 类库等等)集中管理，遵循森林资源数据服务规范的相关内容对访问者提供OGC规范定义标准的地图服务(WMS)、要素服务(WFS)和基于网络文件传输协议的文件服务(FTP)，提供 自定义服务空间数据格式转换。所述服务管理模块支持具有二次开发接口的服务器，基于 网络提供的Web服务或功能类库的集成。服务管理模块采用插件开发模式设计保持功能的独立性、扩展性，能够很好的利 用各种商业软件或社区维护的开源软件等众多产品保持组件的灵活性。对访问者提供各种 行业标准与各种技术标准实现的功能服务，这些标准与规范可以保证访问者的开发接口与 数据访问接口的一致性。服务管理模块与插件之间按照统一接口设计、开发与使用，实现松 耦合的系统架构能够有效的避免组件对某一种产品的依赖性使用，保持底层服务器技术更 新对组件的最小影响，并且增加新的插件相当于对组件进行功能升级，对外可以提供更多 服务体现组件的扩展性。数据服务发布模块负责服务管理模块与数据管理模块的组合操作，分别获取两模 块提供的服务能力与资源数据，遵循森林资源数据服务封装规范相关内容定义规则由组件 自动配对服务与数据的合法组合生成数据服务发布信息，利用动态部署功能发布至服务器 上提供数据服务。数据服务发布模块提供实时监控数据获取服务，包含数据服务当前状态、服务节 点环境与负载信息。提供控制各项服务的启动和停止操作实现远程服务管理功能。元数据服务模块按照森林资源数据提供者完成的数据服务发布和部署处理结果， 遵循森林资源数据服务封装规范相关内容自动生成数据服务元数据，依据数据服务类型分 别提供元数据信息，对外提供数据服务的元数据类型查询和获取的访问接口。元数据的分类构建策略能够保证数据服务与元数据的一一对应关系，服务节点针 对数据服务的增加、减少变化仅仅体现所属的元数据更新、删除操作，相对于完整的单独元 数据提供方式有效减少数据更新频率与数量更好的提高组件响应速度。元数据注册模块接受依据多种规范生成数据服务私有的元数据，通过私有格式转 换处理消除异构性，私有格式元数据针对于不同数据节点、不同服务器提供相同服务类型 的数据服务的元数据存在不同的格式。元数据注册过程中通过分布式数据管理定义不同等 级元数据信息(节点、服务、数据)，根据私有格式元数据的资源映射文件确定转换规则提 取私有格式元数据信息至分布式系统统一建立的元数据体系结构。资源映射文件主要解决 数据节点生成的私有元数据信息与分布式数据管理定义的元数据之间如何建立一一对应 关系、如何转换数据类型、如何计算数据数值的规则，如图9所示。遵循森林资源分布式数据管理体系结构规范相关内容形成系统标准元数据信息， 并将该系统标准元数据信息持久化到所述系统存储单元。所述元数据注册模块解决私有格式的元数据转换至系统标准元数据操作问题，采 取资源数据映射策略遵循规范定义标准元数据开发接口利用软件工厂类设计模式开发组 件，为每种资源映射文件创建出私有格式转换处理对象交给标准元数据接口调用完成数据 转换任务。元数据注册过程中没有元数据格式的限制，保证了组件的开放性更加有利于数据 节点的注册与数据服务的管理，获得更多数据资源提供系统用户使用。所述目录与索引模块用于为所述元数据注册模块的系统标准元数据提供目录与 索引。
数据提供者已经发布数量巨大的数据服务，并且系统收集整理完成数据服务的元 数据，并将该元数据按照标准格式持久化至所述系统存储单元。数据内容涉及服务节点、数 据服务与实体数据三大类型，按照等级由高至低排列服务节点>数据服务>实体数据；最 小单位为实体数据，该实体数据拥有系统全局唯一标识(英文缩写GID)，每份实体数据存 储不同数量的、不同详细程度的描述信息，这些信息指明哪些数据服务可以使用、数据服务 运行在哪些服务节点；最小单位实体数据指数据共享者管理的一个数据集，运行环境中数据集可以是文 件系统的文件或文件组，也可以是数据库存储的若干张表，根据数据类型不同表现为不同 的存储形式。另外空间数据的属性信息同样存在字段数量、名称和类型的不同，表现在实体 元数据信息中属性数量、描述信息等不相同。这样一种结构化的形式采用上下级关系的目 录体系展现。对于数量级的元数据查阅提供索引检索方式，使用者可以针对顶层任意设置属性 类型，获得一份支持排序的全部数值检索表，并且支持多层次不同级别数值的检索表，最后 通过路径分析指向实体数据获得全局唯一标识符。元数据检索通过使用者提交查询关键字与查询范围，由组件按照输入参数的相关 程度返回查询结果列表，直接指向全局唯一标识符。元数据的更新采用森林资源数据提供者完成数据发布与服务部署任务再主动通 知数据共享管理系统的机制，组件对外提供数据更新通知服务接口。在本发明中，保证林场生产与业务中涉及的森林资源实体数据按照统一的方式管 理，数据的处理过程保持循环流动再开发的方式，如图2所示，流程关键点为数据发现_计 算分析_创建新数据_发布服务_数据再发现的工作序列。本发明的系统整体架构分为两个部分数据提供服务端拥有森林资源实体数据的 所有权，基于互联网架设服务器具有对外提供数据服务能力的软、硬件设备；本发明的系统 内部将角色定义为提供空间数据服务与地图服务的提供者，最后是数据共享系统维护分布 式数据建立的全局管理模块，它的功能可以被所有的提供者内部访问与使用，还对外提供 数据浏览检索的功能系统将这部分定义为数据共享管理与查询的管理者。如图3所示，本发明的数据服务管理单元的功能框图；如图4所示，本发明的元数据管理单元功能框图。本发明提供空间实体服务、服务元数据、数据元数据及全部的方法与属性描述信 息的获取和查询功能，能够做到分布式异构数据源统一接口访问，利用中间格式XML编写 标准实现数据传输的自描述与跨平台的使用。服务管理的设计模仿运行环境构建插件实现功能的松耦合方式提供通用标准的 要素服务、地图服务、文件服务与转换格式的功能，功能服务器采用自主研发与开源社区软 件或者商业软件相结合完成，定义统一服务接口保证服务提供者是动态链接至系统使用户 获得访问过程简单、稳定的能力，同时解决系统功能扩展的快速、简便的问题。数据管理涉及数据类型与存储格式的两部分内容，管理策略是结构简单、容易扩 展、方便使用，为达到此目标所有的数据采用键值对方式按照属性与属性值分类组织。多种 数据格式对应多个数据存储的多对多关系，提取某一种数据格式与数据存储的属性集合完 成数据源的定义。如此键值对的存储策略保证了结构简单，动态的组合存储方式体现容易扩展，用户使用中仅关注在数据源的增加与减少操作部分做到方便使用的目的。数据共享管理与查找的管理者数据服务节点管理包括数据节点的网络注册信息 与提供者描述信息。通过节点元数据提供者获取数据，数据节点编码成XML格式推送最新 或更新后数据至管理者按照注册信息解析并持久化数据。服务访问管理的内容由数据提供者决定，提供者的服务元数据需要定义服务类型 的相关描述信息与服务访问的方法描述、参数描述、参数值界定、返回格式描述与错误信息 描述，管理者按照服务类型分组存储。实体数据管理是最小单位的描述数据集，拥有完整的空间信息和属性信息。数据 提供者需要实现要素服务并提取服务元数据描述空间实体信息，作为特殊的服务元数据提 交管理者解析处理。元数据管理重点解决数据提供者的数据节点与数据服务和实体数据对象间一对 多关系的维护。使用者能够查询数据节点包含那些服务，获得服务访问方法详细描述。根 据检索条件搜索到数据实体及相关信息，报告服务是否发布状态。如图5所示，在本发明所述的系统中进行数据源维护的示意图，在进行数据维护 时，首先采用了权限集中管理，进行身份验证，如果验证通过，则创建数据类型或修改服务 类型并获得指定的数据类型信息，从而增加新的数据源，操作成功后推出登录。如图6所示，在本发明所述的系统中进行数据服务发布活动的示意图，首先采用 了权限集中管理，进行身份验证，如果验证通过，则创建数据源，当数据源存在时，进行数据 服务发布，发布成功后生成元数据，退出登录或通知数据服务门户更新元数据。如图7所示，在本发明所述的系统中进行元数据注册活动的示意图，首先采用了 权限集中管理，进行身份验证，验证通过后，如果已经完成服务部署，则数据服务提供者通 知更新元数据，数据管理者收到数据节点通知后，请求元数据，则所述数据服务提供者生成 元数据，所述数据共享管理者下载元数据文件并检查元数据能否被识别，否则创建资源映 射文件配置元数据提取规则，然后按照数据管理者分类提取转换元数据并持久化。如图8所示分布式数据节点通过统一访问接口构建资源数据管理平台，对外提供 资源数据共享服务接口。基于管理平台与服务访问接口支持桌面应用、网络应用、软件开发 及系统集成等多种应用模式。以上说明对发明而言只是说明性的，而非限制性的，本领域普通技术人员理解，在 不脱离所附权利要求所限定的精神和范围的情况下，可做出许多修改、变化或等效，但都将 落入本发明的保护范围内。
权利要求
一种森林资源异构数据分布式管理系统，其特征在于，包括数据服务管理单元和元数据管理单元，其中，所述数据服务管理单元包括数据管理模块、服务管理模块、数据服务发布模块和元数据服务模块；所述元数据管理单元包括元数据注册模块和目录与索引模块；所述数据管理模块，与所述数据服务发布模块连接，用于维护数据提供者本地存储与网络收集的分布式数据；所述服务管理模块，与所述数据服务发布模块连接，用于集中管理多种服务器与服务模块，提供符合OGC规范定义标准的数据服务；所述数据服务发布模块，与所述元数据服务模块连接，用于获取并配对所述分布式数据和所述数据服务，以生成数据服务发布信息，并将该数据服务发布信息动态部署发布至服务器；所述元数据服务模块，与所述元数据注册模块连接，根据该数据服务发布信息生成数据服务元数据；所述元数据注册模块，与所述目录与索引模块连接，通过私有格式转换处理消除该数据服务元数据的异构性，并生成系统标准元数据；所述目录与索引模块，用于为该系统标准元数据提供目录与索引。
2.根据权利要求1所述的森林资源异构数据分布式管理系统，其特征在于，该分布式数据根据数据类型和数据源分别定义，并且每种数据类型包含多项数据源定义；所述数据类型包括数据格式与存储格式。
3.根据权利要求1或2所述的森林资源异构数据分布式管理系统，其特征在于，该系统 所提供的数据服务包括地图服务、要素服务和基于网络文件传输协议的文件服务。
4.根据权利要求3所述的森林资源异构数据分布式管理系统，其特征在于， 所述数据服务元数据通过分类构建策略与所述数据服务发布信息一一对应。
5.根据权利要求4所述的森林资源异构数据分布式管理系统，其特征在于，所述数据服务元数据包括等级由高至低排列的服务节点、数据服务与实体数据；所述 实体数据包括描述信息，该描述信息指明可以使用的数据服务以及数据服务对应运行于的 服务节点。
全文摘要
本发明提供了一种森林资源异构数据分布式管理系统，包括数据管理模块、服务管理模块、数据服务发布模块、元数据服务模块、元数据注册模块和目录与索引模块；数据管理模块维护数据提供者本地存储与网络收集的分布式数据；服务管理模块提供服务数据；数据服务发布模块获取并配对分布式数据和服务数据，以生成数据服务发布信息，并将该数据服务发布信息动态部署发布至服务器；元数据服务模块根据该数据服务发布信息生成数据服务元数据；元数据注册模块通过私有格式转换处理消除该数据服务元数据的异构性，并生成系统标准元数据；目录与索引模块为该系统标准元数据提供目录与索引。本发明实现林场级的森林资源异构数据的分布式管理。
文档编号G06F17/30GK101945126SQ20101027597
公开日2011年1月12日 申请日期2010年9月9日 优先权日2010年9月9日
发明者于新文, 张旭, 李轩, 杨彦臣 申请人:中国林业科学研究院资源信息研究所