一种智慧城市大数据整合系统及方法与流程

本发明涉及智慧城市，具体涉及一种智慧城市大数据整合系统及方法。

背景技术：

智慧城市是指在信息技术和互联网相结合的基础上，通过各种智能化的应用，提升城市基础设施的运作效率，提升城市运行管理和公共服务水平，提高人们的生活质量。大数据是支撑智慧城市发展的重要信息资源，城市运行体征是通过数据进行量化表现出来的，通过大数据技术收集各部门有关城市运行体征的数据，可帮助城市管理者进行数据汇总、分析，最终对城市体征的量化形态(即各类数据)进行管理；可见，城市中数据资源的整合是智慧城市建设首要解决的问题。

城市中的人、地、事、物、企业等基础信息是每个城市重要的大数据基础信息，现行的数据管理模式和信息应用模式是一种“条块分割”式的管理，各个相关部门只是从本部门的角度出发对信息进行管理，指标数据自成体系，标准不一，共享程度较差，相互间不能协调、共享。随着智慧城市的建设发展，要求政府必须能够全面、准确掌握全地区经济、社会发展态势，强化政府部门掌控决策信息资源的能力，政府部门间信息资源整合与共享需求越来越高；“条块分割”式的、孤立的信息管理和应用模式的弊病已显端倪，一方面是造成了许多不必要的重复劳动，另一方面各部门间信息不能共享，不能更好地服务百姓。

本专利提出了基于要素的大数据整合与共享系统的构建方法，解决智慧城市中大数据的整合、共享和服务的问题。

技术实现要素：

本发明所要解决的技术问题是目前“条块分割”式的、孤立的信息管理和应用模式存在重复劳动多、相同指标数据不一致、部门间信息共享难的问题。

为了解决上述技术问题，本发明所采用的技术方案是提供一种智慧城市大数据整合系统，包括：

数据接入区，位于各业务管理部门的业务系统前置机上，用于接入智慧城市中各类数据源；

数据缓存区，用于临时存储智慧城市中各类数据源的增量数据；并对临时存储的数据进行清洗、映射、转换，得到标准数据；

标准数据资源池，分类存放所有标准数据；

基础要素数据资源池，在所述标准数据资源池的基础上，按照城市的基础要素对数据进行关联和整合，形成基础要素库，并在所述基础要素库之上根据城市和各部门应用的需要构建相应的应用专题库；

数据共享服务总线，对所述基础要素数据资源池中的所有数据进行针对对外服务的发布与调用。

在上述系统中，所述智慧城市中的各种数据源包括资源环境的感知数据、各个管理部门的工作数据以及网络上的各种数据；

所述智慧城市中的各类数据源以批量非实时或流数据实时计算方式进入所述数据缓存区。

在上述系统中，所述标准数据资源池包括：

结构化数据存储区，存放各部门采集的各种结构化数据；

非结构化数据存储区，存放各种视频、音频、文档类的非结构化数据；

时空数据存储区，存放各种城市地图以及城市规划图空间数据。

在上述系统中，

所述结构化数据存储区采用并行数据库或者分布式关系型数据库的形式存放数据；

所述非结构化数据存储区采用文件系统的方式存放非结构化数据；

所述时空数据存储区采用时空数据库的形式存储数据。

本发明还提供了一种智慧城市大数据整合方法，包括以下步骤：

接入智慧城市中的各类数据源，并缓存在数据缓存区；

对缓存在数据缓存区的各类数据源的数据增量按照预设的统一的标准格式进行清洗、映射和转换，得到标准数据；

将标准数据分类存在标准数据资源池的不同类型存储区域；

在标准数据资源池的基础上，按照智慧城市基础要素对标准数据资源池的数据进行关联和整合，构建基础要素库，并在基础要素库的基础上根据业务需求建立业务专题库。

在上述方法中，标准数据资源池的存储区域类型包括结构化数据存储区、非结构化数据存储区以及时空数据存储区。

在上述方法中，对结构化数据存储区、非结构化数据存储区中存储的数据创建全文索引，索引文件存入全文库，对外提供全文检索服务；

其中，非结构化数据存储区的非结构化数据分为文档类与非文档类；

对文档类数据建立全文索引，并将索引文件存入全文库，对外提供全文检索服务；

非文档类数据通过在其结构化信息加上文件名的方式建立全文索引，并将索引文件存入全文库，对外提供全文检索服务。

在上述方法中，基础要素库包括与人、地、事、物、企业基础要素一一对应的五个子基础要素库；每个子基础要素库包括多个子基础要素；每个子基础要素库设有一个基本信息表；每个基本信息表包含对应子基础要素库中所有子基础要素的基本信息。

在上述方法中，基础要素库的建立具体包括以下步骤：

步骤S10、从标准数据资源池中找出基础要素相关业务表；

步骤S20、建立每个子基础要素的基本信息表；

步骤S30、通过关键字段建立基本信息表与业务表的关联；

步骤S40、在子基础要素库之内和子基础要素库之间，通过中间关联表建立子基础要素的基本信息表和其他子基础要素的基本信息表之间的关联。

在上述方法中，

所述业务表用于保存子基础要素的基本信息以外其他信息，其根表是基本信息表，所属业务表通过关键字段与根表进行关联；

所述中间关联表用于构建子基础要素库之内和子基础要素库之间的子基础要素的关联关系；

所述中间关联表的建立具体为：每个子基础要素库分别以“人、地、事、物、企业”为基础要素，对不同来源、不同类型的基础要素数据，以对应子基础要素为单位提取关键字段，通过关键字段构建该子基础要素与对应子基础要素库和其他子基础要素库内的子基础要素的关联关系，形成中间关联表。

本发明采用基于要素的大数据整合方式，将智慧城市中的数据按照城市的要素进行关联整合，实现基于要素的大数据的服务，更易于各部门之间进行数据共享，同时可以更方便的基于城市要素进行大数据分析，以及更好的为市民、企业等进行大数据服务。

附图说明

图1为本发明提供的一种智慧城市大数据整合系统的结构示意图；

图2为本发明提供的一种智慧城市大数据整合方法的流程图。

具体实施方式

从智慧城市的业务需求角度来说，一方面，智慧城市管理需要深度整合、分析数据；另一方面，大数据环境下的智慧城市运行体征管理，需要对城市运行状况进行信息的收集和整合；因此，需要从整合现有信息资源并为未来的信息化建设提供统一支撑的角度，打破各个部门间数据不能共享的现状，实现数据信息的统筹管理、统一服务、共享共用。本发明采用基于城市基础要素的数据整合方法，将智慧城市中的数据按照城市基础要素进行关联整合，形成以城市基础要素为核心的城市基础要素大数据资源池，以便城市中的各管理部门之间进行数据的共享，为城市中的企业、市民等进行数据的服务。

下面结合说明书附图和具体实施例对本发明做出详细的说明。

如图1所示，本发明提供的一种智慧城市大数据整合系统，包括数据接入区10、数据缓存区20、标准数据资源池30、基础要素数据资源池40和数据共享服务总线50。

数据接入区10位于各业务管理部门的业务系统前置机上，用于接入智慧城市中各类数据源，智慧城市中的各种数据源包括资源环境的感知数据(包括监测到的结构化数据和非结构化数据等，比如天气类的数据、空气污染的监测数据、水质监测数据等)、各个管理部门的工作数据以及网络上的各种数据等，智慧城市中的各类数据通过数据接入区以批量非实时或流数据实时计算方式进入数据缓存区20。

数据缓存区20用于临时存储智慧城市中各类数据源的增量数据(数据缓存区的数据结构与数据源一致)；并对临时存储的数据进行清洗、映射、转换，得到标准数据；这样清洗、映射、转换操作就只针对数据缓存区20中的数据，而不会对数据源产生任何影响；由于标准数据资源池30存放的是按照标准制定的智慧城市的标准数据，因此所有数据要同数据标准进行数据对标，变成标准数据。

标准数据资源池30存放所有标准数据，作为后续数据整合与服务的基础。

在本发明中，标准数据资源池30包括结构化数据存储区、非结构化数据存储区和时空数据存储区；结构化数据存储区存放各部门采集的各种结构化数据；非结构化数据存储区存放各种视频、音频、文档类的非结构化数据；时空数据存储区存放各种城市地图以及城市规划图等空间数据；其中，结构化数据存储区采用并行数据库或者分布式关系型数据库的形式存放数据；非结构化数据存储区采用文件系统的方式存放非结构化数据；时空数据存储区采用时空数据库的形式存储数据。

基础要素数据资源池40在标准数据资源池30的基础上，按照城市的基础要素(人、地、事、物、企业等核心要素)对数据进行关联和整合，形成基础要素库，并在基础要素库之上可以根据城市和各部门应用的需要构建相应的应用专题库；即基础要素库和所有应用专题库构成了对外服务和共享的基础要素数据资源池，再对基础要素库和应用专题库的数据进行统一的资源编目，形成对外共享和服务的基础要素数据目录。

各种主题的应用专题库主要存放基于快速数据处理平台数据加工处理后的主题数据，以共享服务形式或数据访问接口形式对外服务。

数据共享服务总线50对服务接口的发布与调用；通过提供面向服务的架方式，对所有基础要素数据资源池40的数据以服务的形式发布和注册到服务总线上，供各政府各部门以及其它应用共享，数据共享服务总线50通过对数据和服务实行集中管理，实现不同应用之间的通信和整合。

在本发明中，数据共享服务总线50能充分发挥总线的服务管理作用，所有数据都通过服务总线实现服务发布、调用、注册、订阅以及路由等服务治理功能；基础要素数据资源池40把数据以服务的形式进行封装，然后将服务地址发布到服务总线50中，服务调用方通过数据共享服务总线50获得实际服务地址后，直接调用服务提供方提供的服务。

如图2所示，本发明提供的一种智慧城市大数据整合方法，包括以下步骤：

第一步、接入智慧城市中的各类数据源接入，并缓存在数据缓存区；

第二步、对缓存在数据缓存区的各类数据源的数据增量按照预设的统一的标准格式进行数据清洗、映射和转换，得到符合统一格式要求的标准数据；

第三步、将标准数据分类存在标准数据资源池的不同类型存储区域；标准数据资源池存放全量数据。标准数据资源池的存储区域类型包括结构化数据存储区、非结构化数据存储区以及时空数据存储区。

在本发明中，对结构化数据存储区、非结构化数据存储区中存储的数据创建全文索引，索引文件存入全文库，对外提供全文检索服务；其中，非结构化数据存储区的非结构化数据分为文档类与非文档类(如图片/视频等)，这两类数据文件直接存放于文件中存储，文档类数据会被建立全文索引，索引文件存入全文库，对外提供全文检索服务；非文档类则通过对其结构化信息加上文件名的方式建立全文索引，索引文件存入全文库后对外提供全文检索服务。

第四步、在标准数据资源池的基础上，按照智慧城市基础要素对标准数据资源池的数据进行关联和整合，构建基础要素库，并在基础要素库的基础上根据业务需求建立业务专题库。

在智慧城市中，我们将智慧城市中的基础要素分为“人、地、事、物、企业”五类，因此在智慧城市的数据整合中，需要按照这五个基础要素分别进行整合，构建五大子基础要素库，即在本发明中，基础要素库包括与人、地、事、物、企业基础要素对应的五个子基础要素库，每个子基础要素库包括该类基础要素(例如人)的多个子基础要素(相对于“人”这类基础要素的子基础要素为“每个人员”)；每个子基础要素库的构建需要建立一个基本信息表，每个基本信息表包含对应子基础要素库中所有子基础要素的最基本的信息(如身份信息、背景信息、社会信息等)，是其对应的其他附属信息表的根表，例如，一个人员的基本信息表，就包含该人员的基本身份信息、背景信息以及社会信息等，而其他信息则以业务表和辅表的形式存在；业务表和辅表通过关键字段与根表进行关联。

子基础要素库之内和子基础要素库之间的子基础要素通过中间关联表构建关联关系，中间关联表作为一个辅助表，记载各子基础要素库之内和子基础要素库之间的子基础要素的关联关系；对于中间关联表的建立，每个子基础要素库分别以“人、地、事、物、企业”为基础要素，对不同来源、不同类型的基础要素数据，以对应子基础要素为单位提取关键字段，并通过关键字段建立该子基础要素与对应子基础要素库和其他子基础要素库内的子基础要素的关联关系，并保存在中间关联表中。

由此可见，基础要素库的建立具体包括以下步骤：

步骤S10、从标准数据资源池中找出基础要素相关业务表；

步骤S20、建立每个子基础要素的基本信息表；

步骤S30、通过关键字段建立基本信息表与业务表的关联；

步骤S40、在子基础要素库之内和子基础要素库之间，通过中间关联表建立子基础要素的基本信息表和其他子基础要素的基本信息表之间的关联。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。