电子政务大数据服务系统的制作方法

本发明涉及大数据技术领域，尤其涉及一种电子政务大数据服务系统。

背景技术：

在大数据时代，政府和社会、企业时时刻刻都在产生着大量的数据，政府作为国家主权的代表，负责国家管理与民生服务的主体，拥有十分庞大的数据资源，并且也对当前的大数据应用有着迫切需求。随着近几年多种领域大数据概念的兴起，政府大数据己经被世界各国公认为是推动国家经济与社会发展的重要战略资源，受到各国政府的高度关注。

政府大数据产业，是指以政府为主体的大数据应用产业，通过对数据采集整理，描绘出数字化的社会全景图，并通过对数据的分析，研究社会运转模式、规律，洞悉社会问题和国际安全问题，帮助政府工作高效化、科学化开展，维护国家安全。政府大数据产业对各国的社会影响深远而广泛，在大数据应用领域中占据着重要地位。在进行政府大数据产业发展的同时，政府还应注意保护公民个人隐私、商业机密和国家安全。

过去几年大数据安全和隐私问题是国内外的研究热点，未来大数据的安全和隐私问题依然将是学术界和企业界研究与探讨的热点。大数据及其相关核心资源涉及企业商业机密和国家主权，引发了社会各界人士的广泛关注，因此，如何保护大数据的安全以及用户的隐私成为一个亟待解决的社会热点问题。

技术实现要素：

本发明提供的电子政务大数据服务系统，能够为大数据应用提供电子政务大数据服务平台，有效保护大数据的安全以及用户的隐私。

第一方面，本发明提供一种电子政务大数据服务系统，所述系统自下而上包括基础设施层、数据资源层、应用支撑层、业务应用层和用户及服务层，其中，

所述基础设施层，用于提供电子政务大数据服务所需的基础设备；

所述数据资源层，用于实现信息资源共享目录与数据交换功能以及提供各种电子政务数据；

所述应用支撑层，用于为所述业务应用层中的各种大数据应用提供大数据服务支撑；

所述业务应用层，用于提供大数据应用中心和社会共治服务云功能；

所述用户及服务层，用于提供用户访问大数据应用的服务接口，实现与外部数据的接入服务。

可选地，所述基础设施层包括云计算设备、网络设备、服务器及存储设备以及信息安全设施。

可选地，所述资源数据层用于提供资源与投诉数据、社会服务数据、串并案数据、制假售假信息、投诉过程信息库和互联网抓取数据。

可选地，所述应用支撑层用于提供大数据平台以及网络爬虫、数据可视化、信息交换和消息服务功能。

可选地，所述大数据应用中心提供串并案中心、制假地图分析、交易平台和产品服务功能，所述社会共治服务云提供知识服务、打假、维权和吹哨人服务功能。

可选地，所述用户及服务层用于通过内部管理门户、公共服务门户、信息交易平台、移动app或呼叫中心为用户提供电子政务大数据服务。

可选地，所述系统还包括标准规范与管理制度，所述标准规范与管理制度包括组织机构、管理制度和标准规范。

可选地，所述系统还包括安全与运维保障体系，所述安全与运维保障体系包括安全组织体系、安全策略体系和运维保障体系。

本发明实施例提供的电子政务大数据服务系统，通过大数据服务平台汇集多方数据，充分利用数据交换和应用两个关键，提供面向各类社会对象提供市场治理、消费维权等服务；大数据模式在打破数据开放和协同困境的同时，能够有效降低市场管理、企业打假和消费维权成本，提升公共服务效率和水平，助力形成精准治理和多方协作治理的新模式，为政府提供精准化的公共服务支撑，同时为第三方行业服务机构及企业提供服务支持。

附图说明

图1为本发明实施例提供的电子政务大数据服务系统的结构框图；

图2为本发明实施例提供的电子政务大数据服务系统的总体技术框架示意图；

图3为本发明实施例提供的电子政务大数据服务系统的业务数据流向分析图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种电子政务大数据服务系统，如图1所示，所述系统自下而上包括基础设施层、数据资源层、应用支撑层、业务应用层和用户及服务层，其中，

所述基础设施层，用于提供电子政务大数据服务所需的基础设备；

所述数据资源层，用于实现信息资源共享目录与数据交换功能以及提供各种电子政务数据；

所述应用支撑层，用于为所述业务应用层中的各种大数据应用提供大数据服务支撑；

所述业务应用层，用于提供大数据应用中心和社会共治服务云功能；

所述用户及服务层，用于提供用户访问大数据应用的服务接口，实现与外部数据的接入服务。

可选地，所述基础设施层包括云计算设备、网络设备、服务器及存储设备以及信息安全设施。

可选地，所述资源数据层用于提供资源与投诉数据、社会服务数据、串并案数据、制假售假信息、投诉过程信息库和互联网抓取数据。

可选地，所述应用支撑层用于提供大数据平台以及网络爬虫、数据可视化、信息交换和消息服务功能。

其中，所述大数据平台可以提供大数据分布存储、大数据智能分析、大数据治理监控、大数据开放应用等功能。

可选地，所述大数据应用中心提供串并案中心、制假地图分析、交易平台和产品服务功能，所述社会共治服务云提供知识服务、打假、维权和吹哨人服务功能。

可选地，所述用户及服务层用于通过内部管理门户、公共服务门户、信息交易平台、移动app或呼叫中心为用户提供电子政务大数据服务。

其中，用户可以为自然人、法人、中介机构或政府。用户可以通过短信、互联网、呼叫热线、微信或者移动终端访问内部管理门户、公共服务门户、信息交易平台、移动app或呼叫中心。

可选地，所述系统还包括标准规范与管理制度，所述标准规范与管理制度包括组织机构、管理制度和标准规范。

可选地，所述系统还包括安全与运维保障体系，所述安全与运维保障体系包括安全组织体系、安全策略体系和运维保障体系。

下面对本发明实施例电子政务大数据服务系统进行详细说明。

本发明实施例电子政务大数据服务系统能够提供如下服务：

(1)基础数据服务

提供各类数据的融合与共享服务；提供交通、法人、税务基础融合数据；提供大数据目录的注册、发布、查询、获取、应用、数据定制、数据api等服务。

(2)大数据分析服务

实现对各类数据的深度处理，包括对结构化的、非结构化的、音频、视频、包括各种结构的数据处理能力，特别是有来自于互联网的日志数据等。

整合多种政务领域的业务模型框架、数据模型框架、技术模型框架，并形成高可用的大数据分析服务项目。

(3)大数据公众服务类网站服务支撑

向各委办局大数据应用平台提供大数据服务支撑，为各政务数据开放网站提供数据使用服务和增值大数据分析服务。

(4)各类接入服务

为需求单位提供大数据处理通用接口及工具，并统一实现与外部数据的接入服务。

(5)数据共享交互体系

实现政府部门之间的大数据的交互体系，助力政务领域内跨部门数据共享。

本发明实施例电子政务大数据服务系统采用以hadoop为核心的大数据平台，总体技术框架如图2所示：

所采用的hadoop是为大规模分布式数据而开发的软件框架，是解决政务涉及的数据大数据存储、大规模数据计算、快速数据分析的基础数据平台。

大数据平台通过内存计算、高效索引、执行优化和高度容错的技术，使得一个平台能够处理10gb到100pb的数据，并且在每个数量级上，都能比现有技术提供更快的性能；可以伴随市场环境治理应用数据增长，动态不停机扩容。

本发明实施例电子政务大数据服务系统的业务数据流如图3所示，数据流向图整体反应了大数据平台应用分布数据流向、应用逻辑关系、内部交互和外部交换等关系。

如图3所示，本发明实施例电子政务大数据服务系统的业务数据流分为9个层次，主要功能是对多种数据库及网页等数据进行采集、解析、清洗、整合、etl，利用大数据分析模型支持后台统计分析算法，提供可信的结果数据。具体如下：

1、数据源

依托已积累的全国税务、工商、社保、药监、交通、信访等行业省(市)级近200家政府服务系统12亿条公众诉求与政务服务数据及每年l亿多条增量数据为基础，结合政府授权使用的基础信息库及互联网抓取的数据等结构化、半结构化以及非结构化数据为补充作为大数据平台的数据源。

2、数据获取层

接收数据源的数据和抓取网页，建立知识图谱将网页数据结构化，为人工和机器决策提供依据。

3、数据导入层

数据接入层采用sqoop把投诉、办理、咨询等结构化数据导入hbase，用flume、kafka把数据源的文件、日志网页等导入hbase，实现推拉模式的各种主流方式，并可作为统一数据接入平台，支持日志及页面源码数据，实现各类接口数据的无缝可视化接入，如关系型和非关系型数据、各种主流非结构化数据等。

4、数据加工层

数据加工层对导入的数据经过联合、数据清洗、数据抽取、数据整合等处理后，并根据各目标的路由条件，并发的将结果存入数据核心存储层。

5、数据核心存储层

采用hbase、关系数据库保存加工后的数据。

6、数据分析处理层

利用spark、yarn、hive、pig等读取处理数据，通过统计分析、数据挖掘、机器学习、专业模型分析等对大数据进行分析处理。

数据分析处理层采用了mahout、mlib的二元分类、线性回归、聚类、协同过滤、卷积神经网络(cnn)进行机器学习，采用rf(随机森林)、svm(支持向量机)、半监督学习，通过训练达到权重等参数的最佳化，优化样本空间，并实现完全自动化调参和学习。同时结合群体特征、个性行为历史及各种显式、隐式反馈进行人脑分析，实现个体用和群体用户的立体化推荐和全过程的人工干预。以算法平台为支撑，建立了可视化的算法训练和推荐结构的过滤植入，增强客户性化服务配置。实现了各种算法的替换、组合和深度学习，如传统的ucf、icf及业务创新的二度人脉剪枝算法等，已经符合人脑思维习惯。

7、数据服务存储层

存储分析结果，包括elasticsearch分布式搜索，redis分布式缓存。

8、应用层

包括报表引擎、规则引擎、专业分析模型、用户认证系统、统计分析接口等。

9、服务层

本发明实施例提供的电子政务大数据服务系统，通过大数据服务平台汇集多方数据，充分利用数据交换和应用两个关键，提供面向各类社会对象提供市场治理、消费维权等服务；大数据模式在打破数据开放和协同困境的同时，能够有效降低市场管理、企业打假和消费维权成本，提升公共服务效率和水平，助力形成精准治理和多方协作治理的新模式，为政府提供精准化的公共服务支撑，同时为第三方行业服务机构及企业提供服务支持。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。