一种基于大数据模式的信息资源整合方法与流程

本发明属于大数据技术应用领域，涉及一种基于大数据模式的信息资源整合方法。

背景技术：

1、大数据时代，信息资源已经成为社会运行和发展不可缺少的生产要素、无形资产和社会财富。在信息化建设的初期阶段，由于各业务部门在数据采集和加工时的管理条块化、任务分割化，导致数据分散、资源碎片化、标准不统一，导致目前数据资产同一管理和利用难度大，无法实现信息增值。

技术实现思路

1、本发明的目的是针对上述问题，提供一种基于大数据模式的信息资源整合方法，对各部门信息进行统一整合，便于数据挖掘和利用。

2、本发明的技术方案如下：

3、一种基于大数据模式的信息资源整合方法，其特征在于，包括：

4、(1)数据采集入库：数据采集入库分为两个阶段，第一个阶段为数据准备阶段，制定数据抽取方案，同时根据抽取数据的特点制定校核规则；第二个阶段为数据采集入库阶段，根据第一个阶段准备的前置数据库进行直接抽取，将数据存储入共享资源数据库；

5、(2)数据资源处理：通过数据质量分析工具对共享信息资源库的数据进行相应的校验，发现问题数据，并将问题数据信息记录到问题数据库中；

6、(3)数据整合：数据整合的流程主要依托大数据整合平台solr来操作，主要分为以下几个流程：

7、(31)批量数据按条件迁入：从信息资源整合平台发起批量数据整合，明确所需数据种类、范围、数据项，根据需求参数完成数据的配置文档编写，将编写好的配置文件上传至solr服务平台，按照配置文件更新任务；

8、(32)数据程序调试：将数据抽取至专用的整合服务器集群上，在上传完部分数据后，根据用户提交的查询服务请求，按关键字段或者层级字段筛选获得相应的信息；

9、(4)数据资源管理：数据资源管理主要包括数据注册管理、数据标准管理、数据质量管理和数据运行监控四个方面：

10、(41)数据注册管理：通过可视化、规范化的数据资源地图管理，帮助数据管理人员了解管理的数据内容，对应数据的含义；同时，利用记录数据环境的相关信息，为其他应用系统的数据转换、加工和应用提供信息支持；

11、(42)数据标准管理：建立统一的数据信息资源共享标准规范，为信息资源质量管理、信息资源运行监控功能提供支持；

12、(43)数据质量管理：提供对平台上数据整合处理过程以及处理后形成的资源库中的数据进行数据质量检测，形成质量问题数据记录；同时将在使用中所发现的信息资源数据质量问题，录入登记为质量问题数据记录；

13、(44)数据运行监控：对数据转换过程中的各个环节进行整理与归类，针对各个环节的特定指标进行实时监控，一旦某个环节出现异常，通过报警接口向指定人员提供多种方式报警。

14、本发明针对现有的信息管理系统提供的信息增值性不强，造成信息使用者对信息的理解有困难的问题，通过广泛的信息收集，深入的整合分析，能够将各种多元异构信息有机融合，实现信息平滑流动和共享，向信息使用者提供多元化的有效信息。

技术特征：

1.一种基于大数据模式的信息资源整合方法，其特征在于，包括：

技术总结
本发明涉及一种基于大数据模式的信息资源整合方法，包括：数据采集入库，制定数据抽取方案和校核规则，将数据存储入共享资源数据库；数据资源处理，通过数据质量分析工具对共享信息资源库的数据进行相应的校验；数据整合，依托大数据整合平台solr，将批量数据按条件迁入服务平台并进行数据程序调试；数据资源管理，包括数据注册管理、数据标准管理、数据质量管理和数据运行监控。本发明能够将各种多元异构信息有机融合，实现信息平滑流动、共享和增值。

技术研发人员：张欢
受保护的技术使用者：北京航天长峰科技工业集团有限公司
技术研发日：
技术公布日：2024/1/12