一种高并发实时多属性聚合地图集群服务系统

1.本发明涉及地理信息数据处理技术领域，具体是一种高并发实时多属性聚合地图集群服务系统。


背景技术：

2.随着互联网与大数据的发展，每天都产生着海量地理数据。挖掘其中包含的多重属性，结合地理信息，可以驱动多种服务，包括：地图导航服务、周边地点推荐服务、交通流量预测与疏导服务、城市建设规划服务等。受限于数据规模与实效性的要求，需要提供一种实时可处理海量数据的系统，来为以上服务提供底层驱动。本系统采用hadoop技术提供了高通量实时性的服务响应，同时结合自适应的属性聚类推理模块，挖掘其中的多重属性，为上层应用提供支持。


技术实现要素：

3.本发明的目的在于提供一种高并发实时多属性聚合地图集群服务系统，以解决上述背景技术中提出的问题。
4.为实现上述目的，本发明提供如下技术方案：一种高并发实时多属性聚合地图集群服务系统，包括用户前端服务模块、基于hadoop的聚合地图集群服务模块、地理元数据服务模块、系统开发运维模块和代码版本库模块，所述用户前端服务模块由第一方客户端、直接服务接入模块和开放平台接入模块、合作企业业务模块和开放平台权限认证模块组成，所述基于hadoop的聚合地图集群服务模块由用户后端微服务模块、属性聚合与推理模块和hadoop基础服务模块组成，所述地理元数据服务模块由基础服务模块、消息中心模块、关系数据集群备份模块、静态资源文档持久化服务模块和服务配置与发现模块组成，所述系统开发运维模块由自动化服务模块和devops模块构成。
5.作为本发明进一步的方案：所述基于hadoop的聚合地图集群服务模块通过服务器为前端服务模块提供实时服务，所述用户后端微服务模块和开放平台接入模块均包括restful api、业务层驱动服务和数据库，所述数据库由nosql与rdb组成。
6.作为本发明进一步的方案：所述基础服务模块用于提供任务调度服务、log服务、工作流服务和消息推送服务。
7.作为本发明进一步的方案：所述服务配置与发现模块利用apollo提供配置中心服务，使用eureka提供服务发现任务，所述系统开发与运维模块利用devops方式提供自动化服务，所述自动化服务具体是利用travis实现构建自动化，使用docker实现部署自动化。
8.作为本发明进一步的方案：所述代码版本库模块具体利用git服务对代码版本与分支迭代进行管理。
9.作为本发明进一步的方案：所述用户前端服务模块通过直接服务接入模块直接驱动第一方客户端，所述第一方客户端具体为ios/android端、pc端、微信公众号、移动web端中的一种或任意几种的组合。
10.作为本发明进一步的方案：所述基于hadoop的聚合地图集群服务模块可通过开放平台接入模块为第三方提供服务。
11.作为本发明进一步的方案：所述开放平台接入模块通过api gateway与安全策略同时控制来自第一方客户端直接服务接入模块的请求。
12.与现有技术相比，本发明的有益效果是：1、能够挖掘实时地理文本数据中的隐层属性；2、能够提供即时的地理信息api响应；3、为地理信息服务提供基于人工智能的paas支持。
附图说明
13.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
14.图1为本发明系统构架图；图2为本发明运行原理图。
具体实施方式
15.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
16.请参阅图1-2，本发明实施例中，一种高并发实时多属性聚合地图集群服务系统，包括用户前端服务模块、基于hadoop的聚合地图集群服务模块、地理元数据服务模块、系统开发运维模块和代码版本库模块，所述用户前端服务模块由第一方客户端、直接服务接入模块和开放平台接入模块、合作企业业务模块和开放平台权限认证模块组成，所述基于hadoop的聚合地图集群服务模块由用户后端微服务模块、属性聚合与推理模块和hadoop基础服务模块组成，所述地理元数据服务模块由基础服务模块、消息中心模块、关系数据集群备份模块、静态资源文档持久化服务模块和服务配置与发现模块组成，所述系统开发运维模块由自动化服务模块和devops模块构成，所述用户前端服务模块通过直接服务接入模块直接驱动第一方客户端，所述第一方客户端具体为ios/android端、pc端、微信公众号、移动web端中的一种或任意几种的组合，所述基于hadoop的聚合地图集群服务模块可通过开放平台接入模块为第三方提供服务，当基于hadoop的聚合地图集群服务模块作为开放平台使用时，需要开放平台接入模块实行鉴权。
17.值得注意的是，所述基于hadoop的聚合地图集群服务模块通过服务器为前端服务模块提供实时服务，所述用户后端微服务模块和开放平台接入模块均包括restful api、业务层驱动服务和数据库，所述数据库由nosql与rdb组成。
18.值得注意的是，所述基础服务模块用于提供任务调度服务、log服务、工作流服务和消息推送服务，所述属性聚合与推理模块在模块中输入属性表示、多重属性聚合，通过自
适应聚合模型，输出聚合属性与聚合语义，所述自适应聚合模型具体采用r树和神经网络的方法挖掘地理位置与多维度属性的聚合特性。
19.值得注意的是，所述服务配置与发现模块利用apollo提供配置中心服务，使用eureka提供服务发现任务，所述系统开发与运维模块利用devops方式提供自动化服务，所述自动化服务具体是利用travis实现构建自动化，使用docker实现部署自动化。
20.值得注意的是，所述代码版本库模块具体利用git服务对代码版本与分支迭代进行管理，所述开放平台接入模块通过api gateway与安全策略同时控制来自第一方客户端直接服务接入模块的请求。
21.对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
22.实施例：用户前端服务模块，接入第一方服务并直接驱动ios/android端、pc端、微信公众号、移动web等客户端。模块也可作为开放平台为第三方提供服务。当作为开放平台提供服务时需要通过开放平台oauth2.0实现鉴权，第一方服务模块与开放平台模块，可选的安全策略和访问认证同时控制的api gateway，oauth2.0模块，可选的restful api与业务层驱动服务，数据库由nosql与rdb组成；基于hadoop的聚合地图集群服务模块，通过服务路由为前端服务模块提供实时服务，包含用户后端微服务模块、属性聚合与推理模块、hadoop基础服务模块，用户后端微服务模块，可选的restful api与业务层驱动服务，数据库由nosql与rdb组成，属性聚合与推理模块在模块中输入属性表示、多重属性聚合，通过自适应聚合模型，输出聚合属性与聚合语义，所述自适应聚合模型具体采用r树和神经网络的方法挖掘地理位置与多维度属性的聚合特性，hadoop基础服务模块，采用mapreduce的分布式架构、使用hdfs分布式存储系统，采用yarn资源管理系统；地理元数据服务模块包含基础服务模块、基于rabbitmq的消息中心模块、关系数据集群备份模块、基于cdn服务的静态资源文档持久化服务模块、服务配置与发现模块，基础服务模块提供任务调度服务、log服务、工作流服务、消息推送服务，服务配置与发现模块使用apollo提供配置中心服务，使用eureka提供服务发现任务，系统开发与运维服务模块使用devops方式驱动系统开发与运维并提供自动化服务。自动化服务使用travis实现构建自动化，使用docker实现部署自动化。
23.此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。