一种海量数据下的公共服务系统的制作方法
【技术领域】
[0001]本发明属于信息技术领域，具体涉及对海量数据的处理与应用。
【背景技术】
[0002]现阶段，随着信息技术的不断发展，海量数据不断呈现、数据格式复杂化、数据应用多样化，数据在当前信息化建设扮演的角色愈发重要，作为数据集中管理的数据中心起着中转枢纽的作用。目前大多数数据中心存储管理的数据不能有效、便捷的为上层应用提供服务，没有真正体现出数据潜在的价值，主要由于上层应用与用户实际需求紧密贴合，与数据中心存储的数据存在部分脱节的情况，故需要在上层应用和基础数据之间搭建可以转换用户需求与数据利用的桥梁，对上为上层应用提供全面、无缝的应用服务，对下充分调用数据、挖掘数据利用价值。在这样的背景和需求之下，针对对数据中心，尤其是大数据公共服务系统的研究和应用逐渐成为各地数据中心重点关注领域。
[0003]数据中心的公共服务系统根据复用、共享、模块化的设计思想，以底层应用支撑组件作为运行的基本单元，在组件之上搭建公共服务系统，为数据中心上层应用环境提供运行和管理服务。公共服务系统采用面向服务的、流程驱动的体系架构，使用合适的平台开发工具支撑服务化的基础应用开发，为软件应用系统的开发、运行和整合提供一个基础的框架。通过采用一致结构的、基于标准服务的支撑平台技术，实现大数据下各上层应用之间的互联、互通和互操作，以及数据的安全、共享与集成。
【发明内容】
[0004]本发明的目的在于提供一种海量数据下的公共服务系统，通过有效挖掘、利用海量数据，通过服务目录聚合相关数据资源，整合通用公共服务组件，为上层应用提供全面性、深层次、高效率的公共服务，有效保证上层应用对底层海量数据利用的有效性、针对性和便捷性。
[0005]本发明的的设计思想是:
[0006](I)采用面向服务架构(SOA)的方式，基于先进的企业服务总线(ESB)技术，遵循XML技术标准和规范，为跨地域、跨部门、跨平台的不同应用系统、不同数据库之间的互联互通提供包括提取、转换、传输和加载等操作的数据整合服务，实现扩展性良好的“松耦合”结构的应用和数据集成；
[0007](2)通过分布式部署和集中式管理架构，可以有效解决各节点之间数据上传下达的及时与高效问题，在安全、方便、快捷、顺畅地进行信息交换的同时，保证数据的一致性和准确性，实现数据的一次采集、多系统共享。
[0008](3)基于节点服务器适配器的可视化配置功能，可以有效解决数据中心应用快速搭建问题，实现不同机构、应用系统、数据库之间基于不同传输协议的数据快速交换与信息共享，为各种应用提供良好的运行管理环境。
[0009](4)依托快速构建应用服务，通过统一的组件标准以及部署工具实现服务的应用部署，让用户迅速体验应用服务功能。基于工具软件的服务封装，实现集成化的管理和应用。
[0010]本发明的技术方案是:
[0011]一种海量数据下的公共服务系统，其特征在于:包括地理信息、视频综合、数据管理、部件运维、统一接入、全文检索、多语言和数据总线8个模块，其中:
[0012](I)地理信息模块，采用电子地图分析展示数据中心各类重要资源点位信息、业务热点数据信息，实现对数据在空间层次上的利用，为用户提供了更为直观的展示方式和辅助决策支撑；
[0013](2)视频综合模块，实现对各类异构视频按需进行统一整合接入，包括高清视频、标清视频、以及不同厂家不同协议的各类视频资源；同时根据业务需要进行视频资源管理、交换共享和智能分析，各类业务应用系统针对功能实现的需要提出视频公共服务的请求，系统接收到请求指令，并进行智能分析后，将服务结果反馈给业务应用系统；
[0014](3)数据管理模块，实现对各个系统采集和产生的数据进行数据集中存储管理、数据请求响应服务并对数据库中的数据完整性、有效性、鲜活性进行实时监测，确保完成数据中心与外部数据交换共享，各项公共服务与应用系统之间的数据交换与共享；
[0015](4)部件运维模块，实现对数据中心范围内所有软硬件其运行状态进行监测，保证平台的健壮，稳定运行，对其进行监测都统一通过调用运行状态监测服务接口来实现，部件运维公共服务前端采用B / S架构，用户通过网页来访问平台各个软硬件运行状况；
[0016](5)统一接入模块，提供了统一服务，将单点登录、用户管理、权限管理、系统接口进行菜单式集成，为用户提供统一风格的接入服务；
[0017](6)全文检索模块，完成各应用系统的搜索功能，主要包括抓取数据信息、建立索引数据库、索引数据库搜索及对搜索结果进行排序；
[0018](7)多语言支持模块，为上层各业务系统内容提供多语言支持，根据用户实际需求，支持多种语言间相互翻译以及语料库的动态维护；
[0019](8)数据总线模块，提供了系统内部服务的注册、申请、审核、授权等管理功能和服务访问权限等安全功能，从而杜绝了非法的服务调用；服务总线采用开放的API，对于本信息平台SOA架构中实现上层业务应用服务间智能化集成与管理的中介。
[0020]本发明利用先进的设计理念和技术架构，遵循相关技术标准规范，在数据中心底层海量数据和上层业务应用之间搭建一套通用的、完备的、扩展的公共服务系统，有效解决了不同部门、异构系统之间的互联互通，同时提供包括数据提取、转换、传输和加载等操作的数据整合服务，实现扩展性良好的“松耦合”结构的应用和数据集成，同时也通过可视化配置和快速应用搭建服务，通过统一的组件标准以及工具集实现上层应用对公共服务的高效调用，实现了数据中心上层业务应用集成化的管理。
【具体实施方式】
[0021]本发明大数据公共服务主要包括地理信息、视频综合、数据管理、部件运维、统一接入、全文检索、多语言和数据总线等8个模块，各个模块具体方式如下:
[0022](I)地理信息模块，地理信息公共服务子系统主要为综合态势显示系统中应用层的展示做技术支撑，为显示系统中的展示、查询、分析提供相关的服务，地理信息公共服务主要包括:
[0023]空间数据存储服务；基础地理信息服务(包括空间数据库引擎、空间服务引擎、地图服务引擎、基础二次开发接口)；栅格地图图片服务；空间数据抽取服务；空间数据访问更新服务；空间拓扑分析服务；业务信息渲染服务；统计分析展示服务。
[0024](2)视频综合模块，为满足业务需求，建设视频综合公共服务，实现各类视频信息的统一接入、存储、管理和智能应用，视频综合公共服务主要包括:
[0025]异构信息接入；视频存储服务；流媒体服务；中心调度服务；平台互联服务；资源目录服务；前端设备控制。
[0026]视频综合公共服务系统各服务之间的数据流控制，包括视频图像信号、设备控制信号、SIP通信指令及管理数据的流向。
[0027](3)数据管理模块，数据中心通过数据交换共享服务实现异构业务系统的整合与集成，并充当数据中介，当业务系统使用其它业务系统数据时只需要调用数据交换共享服务接口进行交互，不需要直接与业务系统进行交互。数据管理公共服务主要包括:
[0028]数据采集；数据管理；目录管理；数据交换；数据整合；数据应用。
[0029](4)部件运维模块，主要包括:信息采集；设备监察；事件警告；故障维护；统计分析；工单管理；值班管理；系统管理。
[0030](5)统一接入模块，提供基于平台各支撑系统的原子服务，并聚合成相应的功能接口集，以支撑构建于数据中心海量数据基础上的各类应用，实现数据中心“统一门户服务”。统一接入公共服务主要功能包括:
[0031]门户首页；单点登录；用户管理；权限管理；系统接口 ；在线帮助。
[0032](6)全文检索模块，主要完成各应用系统的搜索功能，主要包括抓取数据信息、建立索引数据库、索引数据库搜索及对搜索结果进行排序。
[0033](7)多语言支持模块，为上层各业务系统内容提供多语言支持，根据用户实际需求，支持多种语言间相互翻译以及语料库的动态维护。
[0034](6)数据总线模块，上层业务系统的所有系统在进行系统间信息交互和业务协同工作时都需要调用服务总线相应接口。服务总线采用开放的API，对于本信息平台SOA架构中实现上层业务应用服务间智能化集成与管理的中介。服务总线主要包括:
[0035]引擎服务；消息服务；BPM流程引擎服务；XSLT引擎服务；数据交换引擎服务；LDAP目录服务。
【主权项】
1.一种海量数据下的公共服务系统，其特征在于:包括地理信息、视频综合、数据管理、部件运维、统一接入、全文检索、多语言和数据总线8个模块，其中: (1)地理信息模块，采用电子地图分析展示数据中心各类重要资源点位信息、业务热点数据信息，实现对数据在空间层次上的利用，为用户提供了更为直观的展示方式和辅助决策支撑； (2)视频综合模块，实现对各类异构视频按需进行统一整合接入，包括高清视频、标清视频、以及不同厂家不同协议的各类视频资源；同时根据业务需要进行视频资源管理、交换共享和智能分析，各类业务应用系统针对功能实现的需要提出视频公共服务的请求，系统接收到请求指令，并进行智能分析后，将服务结果反馈给业务应用系统； (3)数据管理模块，实现对各个系统采集和产生的数据进行数据集中存储管理、数据请求响应服务并对数据库中的数据完整性、有效性、鲜活性进行实时监测,确保完成数据中心与外部数据交换共享，各项公共服务与应用系统之间的数据交换与共享； (4)部件运维模块，实现对数据中心范围内所有软硬件其运行状态进行监测，保证平台的健壮，稳定运行，对其进行监测都统一通过调用运行状态监测服务接口来实现，部件运维公共服务前端采用B / S架构，用户通过网页来访问平台各个软硬件运行状况； (5)统一接入模块，提供了统一服务，将单点登录、用户管理、权限管理、系统接口进行菜单式集成，为用户提供统一风格的接入服务； (6)全文检索模块，完成各应用系统的搜索功能，主要包括抓取数据信息、建立索引数据库、索引数据库搜索及对搜索结果进行排序； (7)多语言支持模块，为上层各业务系统内容提供多语言支持，根据用户实际需求，支持多种语言间相互翻译以及语料库的动态维护； (8)数据总线模块，提供了系统内部服务的注册、申请、审核、授权等管理功能和服务访问权限等安全功能，从而杜绝了非法的服务调用；服务总线采用开放的API，对于本信息平台SOA架构中实现上层业务应用服务间智能化集成与管理的中介。
【专利摘要】一种海量数据下的公共服务系统，包括地理信息、视频综合、数据管理、部件运维、统一接入、全文检索、多语言和数据总线8个模块；本发明整合通用公共服务组件，为上层应用提供全面性、深层次、高效率的公共服务，有效保证上层应用对底层海量数据利用的有效性、针对性和便捷性。
【IPC分类】G06F17/30, G06Q50/26
【公开号】CN104933658
【申请号】CN201410104110
【发明人】罗克刚, 陈加
【申请人】北京航天长峰科技工业集团有限公司
【公开日】2015年9月23日
【申请日】2014年3月19日