本发明涉及电子技术领域，尤其涉及一种大数据智能化处理系统。
背景技术：
随着社会工业化、信息化水平的不断提高，如今数据已取代计算成为信息计算的中心，云计算、大数据正在成为一种趋势和潮流，包括存储容量、可用性、i/o性能、数据安全性、可扩展性等诸多方面。大数据是规模非常巨大和复杂的数据集。大数据有4v：volume(大量)，数据量持续快速增加；velocity(高速)，数据i/o速度更快；variety(多样)，数据类型和来源多样化；value(价值)，其存在各方面的可用价值。如何从海量的数据中提取、获得想要的知识或感兴趣的信息，这是利用好大数据，进而更好地服务于社会发展的要求。因此，数据挖掘方法应运而生。
数据挖掘是作为一门学科诞生于20世纪80年代，从技术的角度看就是从大量复杂的、不规则的、随机的、模糊的数据中获取隐含的、人们事先没有发觉的、有潜在价值的信息和知识的过程。在大数据应用领域，往往可以根据用户的各种行为特征将用户群体划分成若干类，以便于针对用户群的特征进行精准式、个性化的服务。聚类是对用户群体进行划分一种方式。聚类是将数据对象分成类的过程，使同一个类中的对象具有很高的相似度，而使不同类中的对象高度相异。相异度通常使用距离来进行度量。
但是，聚类操作中针对用户行为特征对用户群体进行划分的效果在很大程度上依赖于基础数据的质量，现有的基于聚类算法的用户群体划分往往不能够很好的反映用户的行为特征，存在聚类不准确的问题，难以利用聚类结果对用户群进行精准式、个性化的服务。
技术实现要素：
本发明的目的在于提供一种大数据智能化处理系统，解决了传统数据处理方法实时性、高效性和交互性较差的问题，帮助用户实时地感知企业情况，从而提高企业管理效率和业务处理水平。
为了达到上述目的，本发明公开了一种大数据智能化处理系统，所述系统包括：
大数据平台，用于存放接收已采集的大数据；
大数据预处理模块，用于对所述已采集的大数据进行预处理；所述预处理用于实现负载均衡、资源虚拟化和分布式数据存储管理；
智能分析模块，用于根据接收到的指令进行所述大数据的分析，并综合利用大数据预处理模块提供的数据，进行事件因果分析；
智能处理模块，用于获取用户的应用服务请求；确定所述应用服务请求对应的处理算法，以及利用所述应用服务请求对应的处理算法和所述表征学习模块得到的所述事件因果分析的高维向量，采用神经网络对所述高维向量进行处理。
作为本发明的一种优选技术方案，所述大数据平台操作界面至少包括以下功能中的一种或多种：具有可视化图表、分析报告、内容检索和消息推送/订阅。
作为本发明的一种优选技术方案，所述大数据预处理模块通过分布式系统基础架构hadoop存储所述已采集的大数据。
作为本发明的一种优选技术方案，所述大数据预处理模块用于实现负载均衡、资源虚拟化、分布式数据存储管理和应用程序编程接口api接口功能。
作为本发明的一种优选技术方案，所述分析模块，用于实现即席查询/组合条件查询、多维olap、kpi指标、mdx查询等分析功能，同时实现分类、聚类、关联规则等数据挖掘功能，以及灵活的参数配置功能；
作为本发明的一种优选技术方案，所述智能处理模块用于根据预设数据信息进行实时公司情况实时评估；所述预设数据信息包括：人力、财务、物质和业务。
与现有技术相比，本发明有如下优点：
1、处理速度快：系统架构方案采用大数据技术对计算、存储任务进行合理调度，可以充分发挥系统中每一个集群节点的运算能力；业务需求增长时，能够方便地通过添加集群节点来扩展系统规模、提升系统性能。
2、用户体验较好：系统支持多种终端运行，支持各级校情指标的实时可视化，提供简单直观的交互方式；
3、灵活度高：可以根据本企业的实际情况灵活创建、配置分析模型；系统采用分层设计，易于部署实施、升级维护。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的大数据的智能分析系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的大数据的智能分析系统的流程示意图，该方法包括步骤：
大数据平台11，用于存放接收已采集的大数据；
大数据预处理模块12，用于对所述已采集的大数据进行预处理；所述预处理用于实现负载均衡、资源虚拟化和分布式数据存储管理；
智能分析模块13，用于根据接收到的指令进行所述大数据的分析，并综合利用大数据预处理模块提供的数据，进行事件因果分析；
智能处理模块14，用于获取用户的应用服务请求；确定所述应用服务请求对应的处理算法，以及利用所述应用服务请求对应的处理算法和所述表征学习模块得到的所述事件因果分析的高维向量，采用神经网络对所述高维向量进行处理。
本实施例中，整个分析平台是基于开源的hadoop架构实现云平台，集群硬件配置如下：16核32线程的cpu，64或128的gb的内存，由cpu的主板控制器直接连接的多张预设转速的硬盘(总存储达24tb)，并采用千兆以太网构建集群。其中，硬盘的数量和转速可以根据需要进行设置，如数量为20，转速为3600r/s等。
其中，hadoop集群有四种基本任务角色：名称节点(包括备用名称节点)、工作追踪节点、任务执行节点和数据节点。名称节点负责协调集群上的数据存储；作业追踪节点负责协调数据处理任务；任务执行节点负责进行数据采集、数据处理等任务；数据节点负责存储数据。集群内大部分的节点需要同时作为数据节点和任务执行节点。
在hadoop集群的基础上，通过map/reduce来实现对分布式并行任务处理的支持。map/reduce是一个用于大数据量并行计算的编程模型，同时也是一种高效的任务调度模型，它将一个大任务分成很多更细粒度的子任务，通过在空闲的处理节点之间进行子任务调度，避免处理速度慢的节点延长整个任务的完成时间。
本发明中，整个智能分析平台包括三大部分，如大数据预处理模块11、智能分析模块12和智能处理模块14；其中，大数据预处理模块11内搭建了大数据仓库，用于存储etl过程抽取的数据源中的关键原始数据，在大数据仓库的基础上构建多维数据集(cube)，为系统分析、展示提供数据支持。
大数据预处理模块12还用于通过云平台管理模块实现对底层节点设备的负载均衡、资源虚拟化、分布式数据存储管理、容错策略管理和提供api接口等功能，实现了大数据处理和管理。
上述的数据源是企业各业务部门独立所有的业务系统及数据库，包括人事处数据、财务处数据、研发部门数据、财务处数据、市场部数据、评估处数据、互联网部数据和综合管理数据；其中，上述部分可能会细分很多小部门，如市场部可能还包括秘书组，市场组等，此时的数据均包括在市场部中。大数据预处理模块，通过分布式系统基础架构hadoop存储所述已采集的大数据，并且用于实现负载均衡、资源虚拟化、分布式数据存储管理和应用程序编程接口api接口功能。
所述智能分析模块13，用于实现即席查询/组合条件查询、多维olap、kpi指标、mdx查询等分析功能，同时实现分类、聚类、关联规则等数据挖掘功能，以及灵活的参数配置功能；指标评估模块，用于根据预设数据信息进行实时公司情况实时评估；所述预设数据信息包括：人力、财务、物质和业务。
上述的大数据仓库基于hdfs和hive实现，采用分布式存储方式集中了企业各相互独立的业务系统中的海量数据，为多维数据集提供数据。进一步的，大数据仓库中的数据以维度和事实表的形式存储，这里的维度是数据的属性，表示分析数据的角度，类型有一般维度、时间维度和渐变维度；事实表是存储所要分析的数据的主表，只包括主键、外键和度量值。
操作界面至少包括以下功能中的一种或多种：具有可视化图表、分析报告、内容检索和消息推送/订阅。
本发明实施例中，智能处理模块14采用javaweb技术搭建了b/s模式的系统客户端，实现了单点登录控制，为用户提供展示、操作界面；采用开源的extjs框架创建丰富的图形和图表，将企业信息分析评估结果、各类详情数据分层级进行综合、实时的展现；系统客户端具有可视化图表、分析报告、内容检索、消息推送/订阅等功能，可以通过浏览器运行在移动端、pc端。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。