基于OpenSearch轻量级卫星数据分布式协同服务系统的制作方法_4

文档序号:9288442阅读:来源:国知局
penSearch协议的数据源,不仅数据交换参数不同,其数据互操作协议也不同,需要建立两种协议的转换才能调用该数据源服务。其运作原理如图8所示。
[0063]4)基于属性的数据访问控制(ABAC)
在数据网格系统中,并不是所有的用户都有相同的权限,如果需要对某些用户进行访问权限的控制,则需要建立一种访问控制机制,本发明提出了基于属性的控制模式(ABAC,attribute-based access control)。
[0064]实现过程如下:
访问安全控制框架共包括四个模块:策略执行模块(PEM,policy execute module),策略决定模块(PDM,policy decis1n module),属性管理模块(AMM,attribute managementmodule),策略支持模块(PSM, policy support module),结合相应的属性描述模型和策略决策机制。
[0065]访问控制流程如图9所示,控制流程如下:
用户注册网格系统,根据用户初始信息和相应数据访问权限设置其属性;用户成为网格系统用户后,登录网格系统,发出查询或获取请求,生成相应订单标识号;
PEM首先拦截用户请求并将用户查询获取条件传递给PDM,向PDM发出访问控制决策请求;
PDM接收到决策请求后,向AMM发出调用相应属性信息的请求,AMM将需要的信息,包括用户属性、元数据、环境信息等封装为属性实体返回给PDM ;
PDM调用PSM的策略仓库,根据AMM返回的属性信息和访问条件对用访问条件进行重构,生成已包含权限控制的访问条件;PDM将该条件作为决策结果返回给PEM ;
PEM将带有权限控制的决策结果传递给网格服务系统,发出查询或获取等请求。
[0066]整个流程由权限控制中心统一调度,实现自动化访问安全控制。最后直接生成带访问权限控制的查询请求条件,转入网格服务系统。如果不能生成正常生成符合要求的查询请求,则直接提示访问安全异常。
[0067]本发明采用XACML定义策略规则。XACML将安全规则表示为用户、数据资源、环境三个主要属性的属性值集合,使用标签来标志属性的各个元素。XACML能适应多种应用环境,支持广泛的数据类型和规则联合算法,策略表达能力很强,可用来描述各种复杂的和细粒度的访问控制安全需求,有较强的通用性和实用性。
[0068]在空间数据网格的访问控制中,有两个重要的XML:用户查询请求Request、属性描述和策略Policy。根据用户提交的查询请求,生成Request实体,它主要包含〈Subject〉、〈Resource〉两部分。〈Subject〉元素包含了本次查询的信息,包括作为主体的用户ID和查询订单标识。〈Resource〉元素是对用户要查询的空间数据资源的描述,其中〈Filter〉元素是它的核心部分。〈Filter〉规定了用户对要查询的空间数据资源的限制条件。本发明中针对空间数据特有的时空复杂性,对传统的ABAC策略的简单操作符进行了扩充,加入了范式、范围的判断符等,便于适用于空间数据关键字等的查询,空间区域的判断等,能最终重构出符合要求的查询条件。
[0069]本发明的上述技术方案,在具体操作时,具体实施方案如下:
1、技术框架:
用户对网格系统的访问需要由访问控制模块来控制,中心节点接收到用户的访问请求(OpenSearch)时,会将请求分发到各个数据节点,并整合返回结果以用户请求的方式返回给用户。各个数据网格节点的构建情况各异,有直接从存档数据源建立节点服务;有从国外数据源的镜像数据库建立节点服务;有兼容已有服务系统构建的网格节点。具体如图10所不O
[0070]而从逻辑层次上分析,基于OpenSearch的轻量级网格系统的层次结构则可如图11所示。最下层为分布式数据源层,包含多源异构且在物理位置上或者存储方式上各异的空间数据源,在对数据源存档编目入库的基础上,构建空间数据网格节点服务层,实现节点的数据查询、数据获取和数据编目三类服务,其次通过Adaptor中间件层将服务转化为OpenSearch 一致化服务接口,最后在网格层面上实现分布式查询,为用户提供统一的数据服务平台。
[0071]2、基于OpenSearch的卫星数据分布式协同服务技术的实现步骤:
I)差异化指导的数据源构建:
空间数据源的一项基本特点就是异构性。空间数据网格系统要解决的首要问题就是屏蔽分布式数据资源的异构性,实现其虚拟化的整合,为用户提供统一的服务平台。因此,对空间数据源异构性特点的研究和了解及其重要。而空间数据资源由于其本身的多源、时空复杂性和在存储、管理、分发等方面的多样性,它的异构性表现较为复杂并呈现多层次性。根据已有的研究成果,本发明建立了如图12所示的分类模型。
[0072]如图12所示,对于本地存档数据源:这一类数据源是指在各个数据单位集中存储并能够获取的数据文件,能够在其之上构建数据节点服务。通过分析此类数据源的数据格式、存储结构、数据特征,建立相应的元数据描述模型,开发元数据自动化提取工具。基于元数据库,可以构建OpenSearch的一致化服务。
[0073]对于未公开服务接口的一般网络数据源:由于该部分数据源一般比较零散并且数据信息并不全面,数据有效性也没有较好的验证。要对该部分数据源建立有效可用OpenSearch网格数据服务,需要先保证以下两点:能够通过镜像文件等建立该部分网络散数据的元数据库和建立一套可行的数据完整有效性的验证机制。
[0074]对于公开服务接口的数据源:该部分数据源已经有相应的web服务,不需要再做建立元数据库、镜像数据文件等工作。对于此部分的数据源,需要分析其数据分发机制和web服务模式。从服务模式上分析,该部分数据源可以分为两类:
支持OpenSearch接口的服务:对于已经支持OpenSearch服务的数据源,要将其纳入高层的网格系统,只需通过相应的数据交换适配即可提供一致化的数据服务,成为OpenSearch网格节点。当用户发出数据访问请求,高层中心网格节点会将访问请求参数通过数据交换适配器解析为该OpenSearch节点可读的请求条件,并接受返回的结果,再次通过数据交换适配器将访问结果进行整合,最终返回给用户。
[0075]不支持OpenSearch接口的服务:对于该类型的数据源,其数据分发的协议可能是其它的服务协议,如:0GC的数据分发协议,Web Service服务发布方式等。对于此类情况,通过构建其服务接口与OpenSearch接口服务之间的适配器(Adaptor),快速形成一致化的数据服务,即可将该数据源纳入网格系统,成为网格数据节点。当用户发出数据访问请求,高层中心网格节点会将访问请求条件分发给适配器,适配器按照相应的业务系统交互机制访问该数据网格节点,并接受返回的结果,再次通过适配器将返回结果进行转换,最终整合访问结果返回。
[0076]2)开发和搭建低親合高聚合的服务开发和搭建服务分为两个步骤:确立元数据模型和查询参数模型,其中,如图13所示,元数据模型包括元数据描述模型主要包含五大部分:标志信息、时间信息、空间信息、平台信息、产品信息。如图9所示,查询参数模型根据OpenSearch服务规范构建,如图14所示。
[0077]空间数据查询服务:
空间数据查询服务是在元数据模型和查询参数模型的基础上构建的。在空间数据查询中,基于OpenSearch的数据网格系统查询服务主要提供以下三个重要的接口:
searchDatasets:该接口可以查询网络系统中有哪些用户关心的数据集或者数据节点,并获得该部分数据集或数据节点的基本信息。
[0078]getOSDD:通过该接口可以获得对特定数据细致化查询接口的描述文档,即(OpenSearch Descript1n Document, 0SDD),通过文档中的接口调用模板和参数介绍,能够细致化的查询用户所需要的数据。
[0079]getOpenSearch:该接口是网格系统的核心接口,通过调用该接口,用户可以直接查询到所需要的数据,系统会根据查询请求条件返回给用户准确的查询结果集。该接口实现了对分布式异构数据源的分布式查询。查询流程如图15所示。
[0080]数据获取服务:
数据获取服务采用订单方式进行,在用户查询到数据后,可对感兴趣的数据进行数据订购,生成统一订单。订单以邮件方式返回给用户,包含用户所订购数据的基本信息、时间、有效期、用于下载的统一资源定位链接(URL)。获取请求会返回用户含有数据相关信息的URL。流程如图16所示。
[0081]空间数据编目服务:
如图17所示,空间数据编目服务是对分布式空间数据网格系统中各数据节点的元数据信息进行信息统计的服务。最典型的就是对空间数据的种类、条目、数据量大小等进行统计。用户可以获取特定传感器、时间区间等条件下的数据条目、数据量大小、数据覆盖范围?目息O
[0082]3)网格节点自动化构建
在以上步骤的基础上,对于步骤I)中的数据源,分别基于OpenSearch快速构建网格节点,方法分别如下:
对于网络存档数据源和本地数据源:该类数据源由于没有服务化,对其构建OpenSearch数据网格节点需要从底层数据源元数据库建立开始,到服务建立,最后服务发布。其中元数据提取过程如图18所示。
[0083]对服务接口不公开的数据源:如果可以建立其镜像元数据库,则通过爬虫等技术建立,可以在此基础上构建OpenSearch数据网格节点。
[0084]对于公开的OpenSearch服务数据源:只需要建立参数转换机制即可将其转化为网格系统的节点。
[0085]对于公开的非OpenSearch服务数据源:对此数据服务开发适配器(Adapter)进行数据格式和互操作协议的转换,即可既保证该数据数据系统的独立自治性,又能将其纳入网
当前第4页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1