一种基于工业大数据的云平台数据管理系统及其构建方法
【技术领域】
[0001]本发明涉及一种数据管理系统，尤其涉及一种基于工业大数据的数据管理系统以及构建方法。
【背景技术】
[0002]随着云计算技术的不断成熟，云计算以其虚拟化、高可靠、可扩展、低成本等特点得到广泛的应用，越来越多的企业通过云计算技术将将其数据中心存储至云端，从而保证数据的可靠性，并节约大量成本。云平台架构从下至上主要包括三层，即基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)，当前比较成熟的云计算相关技术主要有openstack，Hadoop，spark等，而主流的云平台数据管理系统也都是在它们的基础上构建的。目前基于消费级海量数据这一应用场景的云平台数据管理系统构建方案已比较成熟，并得到大量应用，与消费级数据相比，工业数据对平台的实时性、可靠性及安全性及可靠性有着更高的要求，因此已有的云平台数据管理系统构建方案不能很好的应用到工业大数据这一场景中，而且目前专门针对工业大数据的云平台数据管理系统构建方案还比较少，因此如何根据工业数据本身的特点，发明出一种能够适应工业需求的云平台数据管理系统构建方案，是当前比较迫切的一个问题。
[0003]当前已有的云平台数据管理系统构建方案都是基于消费级海量数据这一应用场景，而工业数据云平台管理系统对数据的实时性、可靠性及安全性有着更高的要求，当前已有的云平台数据管理系统构建方案不能很好的应用到工业数据环境中，本发明根据工业数据本身的特点，发明出一种能够适应工业需求的云平台数据管理系统构建方案。
【发明内容】
[0004]本发明的主要目的在于根据工业大数据本身的特点，发明出一种能够适应工业需求的云平台数据管理系统构建方案，能够满足工业大数据对云平台数据管理系统可靠性、实时性及安全性的要求。
[0005]为解决上述问题，本发明提出一种基于工业大数据的云平台数据管理系统，其特征在于:所述的云平台数据管理系统包括数据采集系统、工业现场数据模块、Hadoop集群模块、数据聚合模块、数据分发模块和数据持久存储模块，其中，所述的工业现场数据模块位于数据采集系统中，所述的数据采集系统将采集到的非结构化工业数据传输给工业现场数据模块，所述的工业现场数据模块与所述的Hadoop集群模块连接，所述的Hadoop集群模块与所述的数据聚合模块连接，所述的Hadoop集群模块将处理后的数据发送给所述的数据聚合模块;所述的数据聚合模块与所述的数据分析模块连接，所述的数据聚合模块将处理后的数据发送给所述的数据分析模块进行分析;所述的数据分发模块与所述的数据持久存储模块连接，所述的数据分发模块将接收到的数据分配到数据持久存储模块中。
[0006]优选地，所述的云平台数据管理系统还包括安全模块，所述的安全模块分别与所述的Hadoop集群模块、所述的数据聚合模块、所述的数据分发模块、所述的数据持久存储模块连接。
[0007]优选地，所述的Hadoop集群模块包括数据结构化模块、数据除错模块、数据去重模块、数据整合模块，各模块之间串联连接。
[0008]优选地，所述的数据聚合模块包括数据聚类模块、数据耦合模块和数据压缩模块；所述的数据聚类模块与所述的数据耦合模块连接，所述的数据耦合模块与所述的数据压缩模块连接。
[0009]本发明还公开了一种根据上述基于工业大数据的云平台数据管理系统的构建方法，包括以下步骤:
[0010]S1.所述的数据采集系统采集工业现场数据，并将采集到的数据传输给工业现场数据模块；
[0011 ] S2.所述的工业现场数据模块将接收到的非结构化工业数据进行结构化处理并生成半结构化数据，然后将所述的半结构化数据通过网络传输给所述的Hadoop集群模块；
[0012]S3.所述的Hadoop集群模块处理所述的半结构化数据，并发送给所述的数据聚合丰旲块;
[0013]S4.所述的数据聚合模块处理相应的数据，并发送给所述的数据分发模块；
[0014]S5.所述的数据分发模块将接收到的数据分配到数据持久存储模块中。
[0015]优选地，所述的构建方法还包括步骤S6:所述的云平台数据管理系统还包括安全模块，所述的安全模块与各个处理模块进行通信，保证数据的安全性。
[0016]优选地，步骤S3包括:所述的Hadoop集群模块还包括数据结构化模块、数据除错模块、数据去重模块、数据整合模块，所述的数据结构化模块结构化处理接收到的所述的半结构化数据，生成结构化数据;所述的数据除错模块去除错误的结构化数据，所述的数据去重模块排除重复的结构化数据，所述的数据整合模块整合所述数据除错模块和所述数据去重模块模块处理后的数据。
[0017]优选地，步骤S4包括，所述的数据聚合模块包括数据聚类模块、数据耦合模块和数据压缩模块;所述的数据聚类模块将相似的数据聚集在一起，生成相似数据类，所述的数据耦合模块整合所述的相似数据类，优化所述相似数据类的数据;所述的数据压缩模块调用数据压缩算法压缩所述相似数据类的数据。
[0018]本发明的技术方案具有以下有益效果:
[0019](1)利用分布式思想，将现场工业数据的结构化处理下放至企业端，这样处理后的数据能够直接交付给Hadoop集群使用，不仅降低了云平台数据管理系统的负载，而且提高了云平台数据处理的实时性。
[0020](2)在将数据聚类生成相似数据类之后，在之前数据整合的基础上再次对相似数据类进行整合，进一步提高了数据的有效性。
[0021](3)在数据分发模块中使用数据压缩算法对一个相似数据块进行压缩，从而降低数据块的大小，提高数据存储效率。
[0022](4)在数据处理及传输过程中，使用安全模块进行多次认证和授权，充分保证数据的可靠性。
【附图说明】
[0023]图1为本发明的一种基于工业大数据的云平台数据管理系统的示意图。
【具体实施方式】
[0024]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
[0025]如图1为本发明的一种基于工业大数据的云平台数据管理系统的示意图。其中，所述的云平台数据管理系统包括数据采集系统、工业现场数据模块、Hadoop集群模块、数据聚合模块、数据分发模块和数据持久存储模块，其中，所述的工业现场数据模块位于数据采集系统中，所述的数据采集系统将采集到的非结构化工业数据传输给工业现场数据模块，所述的工业现场数据模块与所述的Hadoop集群模块连接，所述的Hadoop集群模块与所述的数据聚合模块连接，所述的Hadoop集群模块将处理后的数据发送给所述的数据聚合模块;所述的数据聚合模块与所述的数据分析模块连接，所述的数据聚合模块将处理后的数据发送给所述的数据分析模块进行分析;所述的数据分发模块与所述的数据持久存储模块连接，所述的数据分发模块将接收到的数据分配到数据持久存储模块中。
[0026]所述的云平台数据管理系统还包括安全模块，所述的安全模块分别与所述的Hadoop集群模块、所述的数据聚合模块、所述的数据分发模块、所述的数据持久存储模块连接。
[0027]所述的Hadoop集群模块包括数据结构化模块、数据除错模块、数据去重模块、数据整合模块，各模块之间串联连接。
[0028]所述的数据聚合模块包括数据聚类模块、数据耦合模块和数据压缩模块;所述的数据聚类模块与所述的数据耦合模块连接，所述的数据耦合模块与所述的数据压缩模块连接。