政务大数据平台系统的制作方法

本申请涉及一种政务大数据平台系统，属于计算机技术领域。

背景技术：

大数据时代的到来给政府管理变革带来了新的契机。为打破各种信息壁垒和数据“孤岛”，有些地方政府建设数据交换平台，通过数据接口的方式，实现数据相互交换。

但是，现有的数据交换平台交换的数据类型只限于格式化数据，对于非格式化数据(如照片、音视频等)，则仍需要需求部门和提供部门“点对点”来互传，不能通过工具共享和监督。随着政务数据的日益增长，数据的量级和复杂度也不断提高，传统的数据交换平台也难以处理超大规模的数据，限制了政务数据的共享效率。

技术实现要素：

本申请提供了一种政务大数据平台系统，可以解决现有的数据交换平台所交换的数据质量不高、标准不统一、敏感数据存在安全风险等问题。本申请提供如下技术方案：提供了一种政务大数据平台系统，所述系统包括：

数据汇聚子系统，用于汇聚异构多源的数据；

数据资产子系统，用于对所述数据汇聚子系统中的数据按照政务数据资产化管理规则进行全生命周期地管理；

数据服务子系统，用于确定所述数据汇聚子系统中的数据的使用方式；

数据治理子系统，用于对所述数据汇聚子系统中的数据质量进行管控；对所述系统中服务运行和平台运维进行监控。

可选地，所述数据汇聚子系统的数据接入方式包括以下方式中的至少一种：

数据库方式，支持mysql、oracle、sqlserver、hive和/或hbase多种主流数据库；

文件方式，支持格式化文件和非格式化文件；通过数据上报，支持提取格式化文件里的数据并保存到关系型数据库；通过文件上传汇聚非格式化文件；

接口方式，支持restful和webservice接口类型。

可选地，所述数据汇聚子系统，用于：

周期性地按照调度计划运行作业实现数据汇聚；

使用作业运行监控来监控作业的运行过程，所述运行过程包括以下信息中的至少一种：运行时间、运行状态、成功处理的数据、疑问数据、运行日志和历史运行情况；

使用设备运行监控来监控运行所述数据汇聚子系统的服务器的硬件信息，所述硬件信息包括以下信息中的至少一种：cpu占用情况、内存占用情况和磁盘占用情况；

在所述硬件信息指示所述服务器存在异常时进行预警。

可选地，所述数据资产子系统，用于：

对所述数据汇聚子系统中的数据按照预设资源编目规则进行分类，得到资源分类；

对所述数据汇聚子系统中的数据对应的资源信息进行登记，建立登记后的资源信息对应的数据关联表，所述数据关联表用于将所述资源信息与所述数据汇聚子系统中的数据相关联；所述资源信息包括基础信息和资源信息项；所述基础信息包括资源名称、资源分类、资源摘要、资源类型、共享类型、共享方式和/或更新周期；所述资源信息项用于描述所述分类后的资源；

对登记后的资源信息进行发布，并提供发布的资源信息的查询服务；

在接收到对目标资源信息对应的目标数据的查看请求时，若所述目标数据的共享类型为有条件共享时，需求部门向资源提供部门发送资源查看需求，以供资源提供部门对所述资源查看需求进行审核；所述资源查看需求包括所述目标资源信息的资源信息项、需求理由和需求时间；

在所述资源提供部门对所述资源查看需求审核通过后，在数据管理部门进行备案，以形成三方协议；在审核和备案通过后，允许需求部门使用所述目标资源信息对应的目标数据；所述需求部门按照所述目标数据对应的共享方式进行数据调用。

可选地，所述数据服务子系统，用于：

接收接口提供部门注册发布的接口服务，所述接口服务用于调用外部数据、或者根据输入条件反馈结果，所述接口服务包括以下信息中的至少一种：基本信息、出参入参信息、示例代码和错误代码；

根据所述接口服务生成服务说明文档，并提供所述服务说明文档的导出功能，以使开发者参考调用。

可选地，所述数据服务子系统，还用于：

接收服务需求部门提出的需求申请；

将所述需求申请发送至申请审核部门进行审核；

在所述申请审核部门审核通过后，为所述服务需求部门分配授权口令；

接收服务需求部门使用对应的授权口令发送的文档调用请求；

基于所述授权口令为所述服务需求部门提供所述服务说明文档，记录所述服务说明文档的调用信息，所述调用信息包括以下信息中的至少一种：调用服务名称、调用ip、调用时间、调用参数和调用状态。

可选地，所述数据服务子系统，还用于：

根据预设的白名单确定所述服务需求部门是否可靠；

确定所述服务需求部门请求的服务说明文档的调用频次是否超过预设阈值；

在所述服务需求部门可靠且所述调用频次未超过所述预设阈值时，执行所述基于所述授权口令为所述服务需求部门提供所述服务说明文档，记录所述服务说明文档的调用信息的步骤。

可选地，所述数据治理子系统，用于：

设置治理标准，所述治理标准包括对数据脱敏、数据权威、数据码值和数据校验的管理标准；

按照所述治理标准制定etl作业和所述etl作业的调度计划；

按照所述调度计划调度所述etl作业运行，以按照所述治理标准清洗数据，得到治理结果；

对所述治理结果进行处理。

可选地，所述数据治理子系统，用于：

对于不符合所述治理标准的数据归置为疑问数据；

对所述疑问数据的数据字段内容和疑问原因进行展示；

对所述疑问数据的源头业务数据库进行检查；

根据检查结果调整所述源头业务数据库的相关业务操作；

通过所述etl作业抽取数据。

本申请的有益效果在于：通过数据汇聚子系统，汇聚异构多源的数据；数据资产子系统对数据汇聚子系统中的数据按照政务数据资产化管理规则进行全生命周期地管理；数据服务子系统确定数据汇聚子系统中的数据的使用方式；数据治理子系统对数据汇聚子系统中的数据质量进行管控；对系统中服务运行和平台运维进行监控；可以解决现有的数据交换平台所交换的数据质量不高、标准不统一、敏感数据存在安全风险等问题；通过对异构的数据的采集、交换和管理，可以提高数据交换的效率和准确性。

另外，数据汇聚子系统、数据资产子系统，消灭传统信息化平台建设中的“竖井式”业务、“数据孤岛”、重复建设、资源浪费等问题。各业务系统均由各个部门自行建设，系统集成度低、数据信息分散，数据标准不统一。通过政务大数据平台整合人口基础信息资源库、法人基础信息资源库、地理空间信息资源库、电子证照信息资源库等四大基础库，以及整合产业经济、平安等主题库，为平台的各类应用提供基础数据资源，实现资源整合与利用率的提升。

另外，数据共享交换平台可以实现多用户接入、多应用支撑；通过整合各用户之间的数据共享渠道，为安全、高效、有序、可靠的数据共享交换提供平台支撑。通过平台资源的统一整合，在数据存储与交换机制中采用数据可用不可见、数据服务调用等交换模式，大大提升了交换效率。

另外，随着it信息化与政府业务日趋紧密的结合，业务需求具有周期短、需求异、要求简的特征。传统的建设模式，采购流程多，部署时间长，无法快速适应业务需求变化。政务大数据平台可以支持数据的业务系统与相关的其他部门的业务系统的数据交互，使得业务系统的部署上线省去考虑各类数据层的可靠性、可交互、安全性等问题，大大提升政府信息化效率。

另外，通过加强政务数据的获取、组织、分析、决策，依据法律法规和各部门的需求对政务信息资源进行统一管理和开发利用，可以提高数据资源利用率、避免重复建设、降低维护成本；通过政务信息资源的深度挖掘，进一步提高决策的效率。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本申请的较佳实施例并配合附图详细说明如后。

附图说明

图1是本申请一个实施例提供的政务大数据平台系统的结构示意图；

图2是本申请一个实施例提供的数据资产子系统的流程示意图；

图3是本申请一个实施例提供的数据服务子系统的流程示意图。

具体实施方式

下面结合附图和实施例，对本申请的具体实施方式作进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

图1是本申请一个实施例提供的政务大数据平台系统的结构示意图，如图1所示，该系统至少包括：

数据汇聚子系统110，用于汇聚异构多源的数据。异构的数据包括结构化数据(如oracle、mysql、sqlserver)、半结构化数据(如xml、json)、以及非结构化数据(如文本、图片、图像、音视频)。

数据资产子系统120，用于对所述数据汇聚子系统110中的数据按照政务数据资产化管理规则进行全生命周期地管理；数据服务子系统130，用于确定所述数据汇聚子系统中的数据的使用方式。通过数据资产子系统120和数据服务子系统130，可以实现不同类型数据的共享交换，且发布资源目录时自动生成相应的服务接口，无需技术人员手动开发，提高效率和准确性。

数据治理子系统140，用于对所述数据汇聚子系统中的数据质量进行管控；对所述系统中服务运行和平台运维进行监控。通过数据治理子系统140制定元数据标准、数据脱敏规则、数据权威等标准规则，实现数据稽核和脱敏、转换，保证数据质量和隐私安全。

其中，数据资产子系统120面向政务办公人员，通过提出需求、需求审核、使用监控等功能实现政务办公人员自主管控数据的共享交换，提高共享效率。

本实施例中，政务大数据平台采用hadoop大数据架构体系，支持亿万数据秒级处理的高并发应用场景。

可选地，所述数据汇聚子系统110的数据接入方式包括以下方式中的至少一种：数据库方式，支持mysql、oracle、sqlserver、hive和/或hbase多种主流数据库；文件方式，支持格式化文件和非格式化文件；通过数据上报，支持提取格式化文件里的数据并保存到关系型数据库；通过文件上传汇聚非格式化文件；接口方式，通过kettle作业实现，支持restful和webservice接口类型。数据汇聚子系统110是通过数据库作业、接口作业、文件上传、网络抓取等多种采集方式实现结构化、半结构化、非结构化的异构数据汇聚，打破数据壁。

所述数据汇聚子系统110周期性地按照调度计划运行作业实现数据汇聚；使用作业运行监控来监控作业的运行过程，所述运行过程包括以下信息中的至少一种：运行时间、运行状态、成功处理的数据、疑问数据、运行日志和历史运行情况；使用设备运行监控来监控运行所述数据汇聚子系统的服务器的硬件信息，所述硬件信息包括以下信息中的至少一种：cpu占用情况、内存占用情况和磁盘占用情况；在所述硬件信息指示所述服务器存在异常时进行预警。

数据资产子系统120是按照政务数据资产化管理思路，实现资源编目、资源注册、关联数据、资源发布、生成数据服务，到数据共享需求提出，到审核、调用的全生命周期管理。

参考图2，所述数据资产子系120，用于：对所述数据汇聚子系统中的数据按照预设资源编目规则进行分类，得到资源分类(即资源编目)；对所述数据汇聚子系统中的数据对应的资源信息进行登记(即资源注册)，建立登记后的资源信息对应的数据关联表，所述数据关联表用于将所述资源信息与所述数据汇聚子系统中的数据相关联；所述资源信息包括基础信息和资源信息项；所述基础信息包括资源名称、资源分类、资源摘要、资源类型、共享类型、共享方式和/或更新周期；所述资源信息项用于描述所述分类后的资源；对登记后的资源信息进行发布(即资源发布)，并提供发布的资源信息的查询服务；在接收到对目标资源信息对应的目标数据的查看请求(即资源需求)时，若所述目标数据的共享类型为有条件共享时，需求部门向资源提供部门发送资源查看需求，以供资源提供部门对所述资源查看需求进行审核(即需求审核)；所述资源查看需求包括所述目标资源信息的资源信息项、需求理由和需求时间；在所述资源提供部门对所述资源查看需求审核通过后，在数据管理部门进行备案，以形成三方协议；在审核和备案通过后，允许需求部门使用所述目标资源信息对应的目标数据(即资源使用)；所述需求部门按照所述目标数据对应的共享方式进行数据调用(即使用监控)。

可选地，数据的共享类型包括：无条件共享、有条件共享和不予共享。在数据的共享类型为无条件共享时，需求部门可以直接查看数据；在数据的共享类型为不予共享时，需求部门不能查看数据。

数据的共享方式包括在线浏览、文件下载和数据服务。在共享方式为在线浏览时，需求部门只能在页面上浏览数据，不能从操作；在共享方式为文件下载时，需求部门可以把数据导出成表格；在共享方式为数据服务时，需求部门可以通过资源自动生成的服务接口调用数据，供业务系统直接使用。

数据服务子系统130主要解决用数据的问题，需求部门通过接口服务调用数据，平台对数据的使用进行授权、鉴权和监控，保证数据共享安全。

数据服务子系统130提供第三方服务注册及共享使用，主要有两种业务场景，一种是条件数据或结果的反馈。比如在行政审批过程中，为减少办件人重复提交相关证照，可以根据办件人的姓名和身份证信息调用个人信息接口得到其证照信息。像这种需要根据输入条件返回具体某类信息或某类结果的接口，就可以在数据服务子系统里注册发布。还有一种业务场景是外部数据的调用。政府数据除了业务条线生产的数据，还有一部分来自于外部数据的采集，如网络运营商的数据、气象数据、相关监测实验室的数据等，这些数据的共享，一般都由提供单位通过接口的方式提供，为了便于统一共享管理，可以把这些接口在数据服务子系统里注册发布。

参考图3(黑色背景框为前端界面操作，白色背景框为后端服务器操作)，数据服务子系统130，用于：接收接口提供部门注册发布的接口服务(即前台注册，后端发布)，所述接口服务用于调用外部数据、或者根据输入条件反馈结果，所述接口服务包括以下信息中的至少一种：基本信息、出参入参信息、示例代码和错误代码；根据所述接口服务生成服务说明文档，并提供所述服务说明文档的导出功能，以使开发者参考调用。具体地，根据所述接口服务生成服务说明文档，并提供所述服务说明文档的导出功能，包括：接收服务需求部门提出的需求申请(即前端申请，后端提供需求)；将所述需求申请发送至申请审核部门进行审核；在所述申请审核部门审核通过后，为所述服务需求部门分配授权口令(即前端审核，后端授权)；接收服务需求部门使用对应的授权口令发送的文档调用请求；基于所述授权口令为所述服务需求部门提供所述服务说明文档(即前端调用，后端鉴权)，记录所述服务说明文档的调用信息(即前端分析，后端监控)，所述调用信息包括以下信息中的至少一种：调用服务名称、调用ip、调用时间、调用参数和调用状态。

可选地，数据服务子系统130还提供白名单功能，保证服务调用者安全可靠；同时提供频度管控功能，防止服务大并发调用，堵塞网络。此时，所述数据服务子系统130，还用于：根据预设的白名单确定所述服务需求部门是否可靠；确定所述服务需求部门请求的服务说明文档的调用频次是否超过预设阈值；在所述服务需求部门可靠且所述调用频次未超过所述预设阈值时，执行所述基于所述授权口令为所述服务需求部门提供所述服务说明文档，记录所述服务说明文档的调用信息的步骤。

数据治理子系统140，一方面通过数据标准的创建和执行，保障数据质量；另一方面，通过对服务运行、平台运维等监控，保障数据在传输、存储过程中的安全和稳定。

数据治理子系统140，用于：设置治理标准，所述治理标准包括对数据脱敏、数据权威、数据码值和数据校验的管理标准；按照所述治理标准制定etl作业和所述etl作业的调度计划；按照所述调度计划调度所述etl作业运行，以按照所述治理标准清洗数据，得到治理结果；对所述治理结果进行处理。

其中，对所述治理结果进行处理，包括：对于不符合所述治理标准的数据归置为疑问数据；对所述疑问数据的数据字段内容和疑问原因进行展示；对所述疑问数据的源头业务数据库进行检查；根据检查结果调整所述源头业务数据库的相关业务操作；通过所述etl作业抽取数据。

其中，数据脱敏主要针对姓名、手机号码、身份证号码、住址等敏感数据的脱敏设置。数据权威是对一数一源、多源校核的问题处理。一数一源是指每条数据对应一个源头业务数据库；多源校核是指对多个来源的数据进行矫正审核。数据码值是对标准数据代码的设置，如性别代码、省市区代码、学历代码、职业代码等。数据校验是转换规则的设置，如非空设置、固定长度设置等。

展示方式可以快速灵活定制，比如：灵活定义bi数据图表，支持列表、折线图、柱状图、饼图、漏斗图、雷达图等多种可视化图表。

综上所述，本实施例提供的政务大数据平台方法，通过数据汇聚子系统，汇聚异构的多源数据；数据资产子系统对数据汇聚子系统中的数据按照政务数据资产化管理规则进行全生命周期地管理；数据服务子系统确定数据汇聚子系统中的数据的使用方式；数据治理子系统对数据汇聚子系统中的数据质量进行管控；对系统中服务运行和平台运维进行监控；可以解决现有的数据交换平台所交换的数据质量不高、标准不统一、敏感数据存在安全风险等问题；通过对异构的数据的采集、交换和管理，可以提高数据交换的效率和准确性。

另外，数据汇聚子系统、数据资产子系统，消灭传统信息化平台建设中的“竖井式”业务、“数据孤岛”、重复建设、资源浪费等问题。各业务系统均由各个部门自行建设，系统集成度低、数据信息分散，数据标准不统一。通过政务大数据平台整合人口基础信息资源库、法人基础信息资源库、地理空间信息资源库、电子证照信息资源库等四大基础库，以及整合产业经济、平安等主题库，为平台的各类应用提供基础数据资源，实现资源整合与利用率的提升。

另外，数据共享交换平台可以实现多用户接入、多应用支撑；通过整合各用户之间的数据共享渠道，为安全、高效、有序、可靠的数据共享交换提供平台支撑。通过平台资源的统一整合，在数据存储与交换机制中采用数据可用不可见、数据服务调用等交换模式，大大提升了交换效率。

另外，随着it信息化与政府业务日趋紧密的结合，业务需求具有周期短、需求异、要求简的特征。传统的建设模式，采购流程多，部署时间长，无法快速适应业务需求变化。政务大数据平台可以支持数据的业务系统与相关的其他部门的业务系统的数据交互，使得业务系统的部署上线省去考虑各类数据层的可靠性、可交互、安全性等问题，大大提升政府信息化效率。

另外，通过加强政务数据的获取、组织、分析、决策，依据法律法规和各部门的需求对政务信息资源进行统一管理和开发利用，可以提高数据资源利用率、避免重复建设、降低维护成本；通过政务信息资源的深度挖掘，进一步提高决策的效率。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。