基于大数据分析挖掘的公共信息智能分析平台的制作方法
【技术领域】
[0001]本发明涉及大数据信息处理领域，具体而言，涉及基于大数据分析挖掘的公共信息智能分析平台。
【背景技术】
[0002]大数据是规模非常巨大和复杂的数据集，具有4V特性，一是数据量巨大(Volume)且持续快速增加；二是具有高速度(Velocity)的数据输入、输出流；三是数据类型和来源多样化(Variety);四是价值(Value)密度低。
[0003]大多数企业，尤其是大型企业和上市公司等，每天都产生海量的业务与运行数据，故需要对及时且高效的对这些信息数据进行处理。其中，信息数据种类繁多(Variety)，规模庞大(Volume)，对信息数据的输入和处理速度要求较高(Velocity)。信息数据包含的信息与知识很丰富，但由于数据稀疏性的影响，信息数据的价值(Value)密度较低。综上可以看出，信息数据完全符合大数据所具有的4V特性，是大数据概念范畴当中的一个典型样本。
[0004]在企业中(尤其是大型国企和大型上市企业)数据量庞大且急剧增加、日常业务分析需求日趋复杂的背景下，企业状况分析与评估工作的数据梳理过程和信息挖掘过程十分复杂，且对数据展现的速度、维度、精细度要求较高，传统数据处理方法的实时性、高效性和交互性已经不能适应企业大数据分析的需求。为此，海量企业数据的获取、存储、检索、共享、分析和可视化等方面都需要新的大数据处理技术。
【发明内容】
[0005]本发明的目的在于提供一种基于大数据分析挖掘的公共信息智能分析平台，采用大数据的方式对企业的信息数据进行处理，以提高信息数据的处理速度，灵活度高且用户体验较好。
[0006]第一方面，本发明实施例提供了一种基于大数据分析挖掘的公共信息智能分析平台，包括:
[0007]大数据预处理模块，用于通过云化的方式对企业信息进行存储和预处理；预处理用于实现负载均衡、资源虚拟化和分布式数据存储管理；
[0008]智能分析模块，用于根据上层发送指令对上层发送的任务数据进行大数据分析，并综合利用大数据预处理模块提供的数据，进行事件因果分析、公司整体情况评估、未来趋势预测，以及将分析结果返回给上层；
[0009]信息展示模块，用于生成数据分析任务传递给智能业务分析模块并接收返回的结果；通过可交互的可视化技术将企业信息的分析评估结果、各类详情数据分层级进行综合、实时的展现；以及为用户提供操作界面；操作界面至少包括以下功能中的一种或多种:具有可视化图表、分析报告、内容检索和消息推送/订阅。
[0010]结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，该基于大数据分析挖掘的公共信息智能分析平台中，大数据预处理模块包括:大数据存储模块和云平台管理模块；
[0011]大数据存储模块通过分布式系统基础架构Hadoop存储企业信息的管理数据；
[0012]云平台管理模块与智能业务分析模块，用以实现负载均衡、资源虚拟化、分布式数据存储管理和应用程序编程接口 API接口功能。
[0013]结合第一方面的第一种可能的实施方式，，本发明实施例提供了第一方面的第二种可能的实施方式，其中，该基于大数据分析挖掘的公共信息智能分析平台中，大数据存储模块基于大数据技术体系，采用HadoopHDFS+Hive的模式构建大数据仓库，在大数据仓库的基础上构建多维数据集，为上层模块提供数据支持。
[0014]结合第一方面的第二种可能的实施方式，，本发明实施例提供了第一方面的第三种可能的实施方式，其中，该基于大数据分析挖掘的公共信息智能分析平台中，智能分析模块包括分析模块和指标评估模块；
[0015]分析模块，用于实现即席查询/组合条件查询、多维0LAP、KPI指标、MDX查询等分析功能，同时实现分类、聚类、关联规则等数据挖掘功能，以及灵活的参数配置功能；
[0016]指标评估模块，用于根据预设数据信息进行实时公司情况实时评估；预设数据信息包括:人力、财务、物质和业务。
[0017]结合第一方面的第三种可能的实施方式，，本发明实施例提供了第一方面的第四种可能的实施方式，其中，该基于大数据分析挖掘的公共信息智能分析平台，还包括运行监控模块；
[0018]运行监控模块，用于对公共信息智能分析平台的整体运行情况进行实时监控，并将大数据平台中所有组件的监控信息发送至信息展示模块进行集中展示。
[0019]结合第一方面的第四种可能的实施方式，，本发明实施例提供了第一方面的第五种可能的实施方式，其中，该基于大数据分析挖掘的公共信息智能分析平台，还包括运行统计模块；运行统计模块包括:计时模块和统计模块；
[0020]计时模块，用于根据预设周期进行计数，并在每一次计数到达一个预设计数周期时生成提不?目息；
[0021]统计模块，用于根据提示信息，定时对平台上完成的业务监控数据进行统计，并将周期性业务监控数据进行抽取和存储。
[0022]结合第一方面的第五种可能的实施方式，，本发明实施例提供了第一方面的第六种可能的实施方式，其中，该基于大数据分析挖掘的公共信息智能分析平台中，运行统计模块还包括:统计分析模块和对比模块；
[0023]统计分析模块，用于对公共信息智能分析平台上的业务运行情况进行统计和分析；分析业务运行过程信息，获取业务运行过程中的资源使用统计、数据周转统计、执行信息统计和趋势；
[0024]对比模块，用于分析周期性业务信息，对同一业务在一定时间段内每次运行情况进行对比，发现此业务的运行趋势和异常。
[0025]结合第一方面的第六种可能的实施方式，，本发明实施侧提供了第一方面的第七种可能的实施方式，其中，该基于大数据分析挖掘的公共信息智能分析平台中，统计分析模块包括:第一分析模块和第一统计模块:
[0026]第一分析模块，用于对业务运行过程中的网络流量、1读写、资源使用情况和运行中的Map和Reduce运行信息进行分析；
[0027]第一统计模块，用于统计出业务执行过程中的计算偏重率、本地数据操作优化率和数据处理速率趋势。
[0028]结合第一方面的第七种可能的实施方式，，本发明实施例提供了第一方面的第八种可能的实施方式，其中，该基于大数据分析挖掘的公共信息智能分析平台中，统计分析模块包括:第二分析模块和第二统计模块；
[0029]第二分析模块，用于对同一业务在一段时期内每次运行结束后的统计信息的分析；
[0030]第二统计模块，用于获取该业务在此时间段内的运行趋势，这些运行趋势有:业务操作数据量变化、业务执行时间信息的变化和业务资源使用量变化。
[0031]结合第一方面的第八种可能的实施方式，，本发明实施例提供了第一方面的第九种可能的实施方式，其中，该基于大数据分析挖掘的公共信息智能分析平台中，云化数据支撑模块利用云平台进行ETL调度，实现数据的清洗和集成；
[0032]信息展示模块中的分析报告包括业务类型、业务标题、基本情况介绍、原因分析、分析图、相关报表、建议，可以进行在线编辑、下载操作。
[0033]本发明实施例提供的一种基于大数据分析挖掘的公共信息智能分析平台，通过灵活创建、配置分析模型，采用集群化计算方法，对企业运行中的海量数据进行智能分析，解决了传统数据处理方法实时性、高效性和交互性不能适应企业大数据分析需求的问题，帮助用户实时地感知校情，从而提高企业管理效率和业务处理水平。
[0034]与现有技术相比，本发明有如下优点:
[0035]1、处理速度快:系统架构方案采用大数据技术对计算、存储任务进行合理调度，可以充分发挥系统中每一个集群节点的运算能力；业务需求增长时，能够方便地通过添加集群节点来扩展系统规模、提升系统性能。
[0036]2、用户体验较好:系统支持多种终端运行，支持各级校情指标的实时可视化，提供简单直观的交互方式；
[0037]3、灵活度高:可以根据本企业的实际情况灵活创建、配置分析模型；系统采用分层设计，易于部署实施、升级维护。
[0038]为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
【附图说明】
[0039]为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0040]图1示出了本发明实施例所提供的一种基于大数据分析挖掘的公共信息智能分析平台的结构示意图；
[0041]图2示出了本发明实施例所提供的一种基于大数据分析挖掘的公共信息智能分析平台中大数据预处理模块的结构示意图；
[0042]图3示出了本发明实施例所提供的一种基于大数据分析挖掘的公共信息智能分析平台中智能分析模块的结构示意图；
[0043]图4示出了本发明实施例所提供的另一种基于大数据分析挖掘的公共信息智能分析平台的结构示意图
[0044]图5示出了本发明实施例所提供的一种基于大数据分析挖掘的公共信息智能分析平台中运行统计模块的结构示意图；
[0045]图6示