一种面向盾构场景的多源异构数据交互与融合方法及系统

文档序号:30582454发布日期:2022-06-29 13:08阅读:来源:国知局

技术特征:
1.一种面向盾构场景的多源异构数据交互与融合方法,其特征在于,所述方法应用于多源异构数据交互与融合系统,包括以下步骤:s1:通过网络服务web service技术对来自不同系统的多源异构数据源利用进行集成,建立不同施工场景下的数据库,形成多源数据库;s2:预设微服务粒度,通过多个微服务组件对所述多源数据库的数据进行数据中转;s3:建立统一的数据交互服务网关,对中转后输出的数据进行统一的语义查询调用,完成多源异构数据交互与融合。2.根据权利要求1所述的面向盾构场景的多源异构数据交互与融合方法,其特征在于,所述步骤s1中,通过网络服务web service技术对来自不同系统的多源异构数据源利用进行集成,建立不同施工场景下的数据库,形成多源数据库,包括:s11:通过网络服务web service技术跨平台进行多源异构数据源的统一调用和集成;s12:引入混合本体思想,对不同的数据源自动构建局部本体;s13:利用领域专家知识构建全局本体,进行局部本体和全局本体的映射,进行数据结构集成;在数据结构集成的基础上,建立不同施工场景下的数据库,形成多源数据库。3.根据权利要求2所述的面向盾构场景的多源异构数据交互与融合方法,其特征在于,所述多源数据库类型包括:关系型数据库管理系统mysql、甲骨文数据库oracle、db2数据库、sql server数据库;数据类型格式包括:逗号分隔值文件格式csv、文件传输协议ftp、电子表格excel、文档、关系型数据。4.根据权利要求1所述的面向盾构场景的多源异构数据交互与融合方法,其特征在于,所述步骤s2中,预设微服务粒度,通过多个微服务组件对所述多源数据库的数据进行数据中转,包括:s21:预设微服务粒度,划分多个微服务组件;所述微服务组件在服务注册中心进行注册;s22:根据用户数据请求的应用,在服务注册中心为用户调用相应的微服务组件;s23:所述多个微服务组件通过rest api接口与核心微服务模块进行通信,以获取用户的请求数据;s24:通过所述微服务核心模块对获取到的所述请求数据进行融合;s25:根据融合后的数据,通过所述微服务核心模块进行数据再分配。5.根据权利要求4所述的面向盾构场景的多源异构数据交互与融合方法,其特征在于,所述多个微服务组件包括:数据可视化微服务组件、数据分析微服务组件和故障预测微服务组件。6.根据权利要求5所述的面向盾构场景的多源异构数据交互与融合方法,其特征在于,每一个微服务组件均预设有固定的作用,且能够单独运行。7.根据权利要求5所述的面向盾构场景的多源异构数据交互与融合方法,其特征在于,所述步骤s24中,通过所述微服务核心模块对获取到的所述请求数据进行融合,包括:s241:通过java数据库连接jdbc获取数据源的关系模式信息,制定映射规则;通过jena技术,利用所述关系模式信息为数据源自动构建局部本体;所述数据源为每个用户的请求数据;所述数据源的关系模式信息包括:表名元数据、数据类型元数据、约束关系元数据;s242:利用七步法,结合盾构机领域知识,构造全局本体;利用本体映射算法,进行局部
本体和全局本体的映射融合;s243:采用cxf技术构建web service框架,为每个数据源分别创建一个web service,通过web服务描述语言wsdl向服务注册中心进行注册;向服务注册中心发送查找请求,选择合适的数据源,通过简单对象访问协议soap协议从数据源获取对应数据;s244:将cxf技术构建的web service框架与轻量级开源框架spring框架进行融合,形成数据集成微服务组。8.根据权利要求5所述的面向盾构场景的多源异构数据交互与融合方法,其特征在于,所述步骤s25中,根据融合后的数据,通过所述微服务核心模块进行数据再分配,包括:s251:通过查询生成器接收用户发出的查询请求;将接收到的用户信息提取出传输至本体管理器;s252:通过查询分解器将查询到的符合要求的全局本体的查询数据,分解为对各局部本体的查询数据;s253:在服务注册中心查找对应局部本体的位置,向不同的数据源发出查询请求;s254:根据查询请求,通过查询分解器针对各局部本体的数据源进行查询转换为,获得查询数据;s255:将不同数据源的所述查询数据集中到结果处理器,经过所述结果处理器的处理得到适配于应用的数据结构,将所述适配于应用的数据结构进行数据再分配。9.根据权利要求1所述的面向盾构场景的多源异构数据交互与融合方法,其特征在于,所述步骤s2还包括:在所述适配于应用的数据结构再分配至应用之前,对用户操作合法性进行验证;所述验证包括:对用户的查询进行有效性验证,以及对用户权限进行验证。10.一种面向盾构场景的多源异构数据交互与融合系统,其特征在于,所述包括:数据集成子系统,通过web service技术对来自不同系统的多源异构数据源利用进行集成,建立不同施工场景下的数据库,形成多源数据库;数据中转子系统,用于预设微服务粒度,通过多个微服务组件对所述多源数据库的数据进行数据中转;数据交互子系统,用于通过统一的数据交互服务网关,对中转后输出的数据进行统一的语义查询调用,完成多源异构数据交互与融合。

技术总结
本发明提供了一种面向盾构场景的多源异构数据交互与融合方法及系统,涉及数据融合技术领域。包括:通过网络服务Webservice技术对来自不同系统的多源异构数据源利用进行集成,建立不同施工场景下的数据库,形成多源数据库;预设微服务粒度,通过多个微服务组件对所述多源数据库的数据进行数据中转;通过统一的数据交互服务网关,对中转后输出的数据进行统一的语义查询调用,完成多源异构数据交互与融合。本发明将整个系统划分为多个微服务,同时各个微服务之间通过统一的RestAPI接口进行通信,提高了系统的扩展性,降低了运行维护难度;核心的数据集成微服务利用Webservice和本体技术实现多源异构数据源的集成,有效提高了数据的语义集成度和数据交互性。据的语义集成度和数据交互性。据的语义集成度和数据交互性。


技术研发人员:宁焕生 杨培臣 毛凌锋 李莎 李荣洋
受保护的技术使用者:北京科技大学
技术研发日:2022.03.31
技术公布日:2022/6/28
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1