本发明大数据处理
技术领域：
：，具体为一种大数据多网融合科研一体机平台装置。
背景技术：
：：数据是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。它是可识别的、抽象的符号。它不仅指狭义上的数字，还可以是具有一定意义的文字、字母、数字符号的组合、图形、图像、视频、音频等，也是客观事物的属性、数量、位置及其相互关系的抽象表示。例如，“0、1、2...”、“阴、雨、下降、气温”“学生的档案记录、货物的运输情况”等都是数据，数据经过加工后就成为信息。在各大高校的学生实验过程中常常会产生大量的实验数据，这些大数据处理时常常需要用到大数据实验一体机，大数据实验一体机通过应用容器技术，以少量机器虚拟大量实验集群，可供大量学生同时拥有多套集群进行试验，而每个学生的实验环境不仅相互隔离，方便高效地完成实验，而且实验彼此不干扰，即使某个实验环境被破坏，对其他人也没有影响。目前的大数据实验一体机对于数据的存储大多数都是采用自身的存储机构和外置的存储设备进行，但是这样的存储方式硬件和人员管理的投入成本高，储存量小，适用性差。技术实现要素：(一)解决的技术问题针对现有技术的不足，本发明提供了一种大数据多网融合科研一体机平台装置，解决了目前大数据实验一体机采用自身的存储机构和外置的存储设备进行存储，硬件和人员管理的投入成本高，储存量小，适用性差的问题。(二)技术方案为实现以上目的，本发明通过以下技术方案予以实现：一种大数据多网融合科研一体机平台装置，包括cproc云处理平台、应用层、虚拟资源层和立方数据库，所述cproc云处理平台分别与storm云存储系统、hbase分布式数据库和hdfs分布式文件系统双向连接，所述cproc云处理平台还与大数据实验一体机双向连接，所述大数据实验一体机与分布式计算机双向连接。所述storm云存储系统包括管理监控中心，所述管理监控中心分别与元数据管理服务器、数据存储节点服务器和客户端双线连接。所述管理监控中心包括配置中心和监控中心，所述配置中心包括卷配置、节点参数配置、存储参数配置、用户配额管理、qos管理和告警装置，所述监控中心包括存储空间监控、设备状态监控、程序状态监控、硬盘状态监控、流量监控和全面警告。所述hbase分布式数据库和立方数据库构成管理层，且管理层分别与处理层和存储层连接，存储层由storm云存储系统和hdfs分布式文件系统构成，处理层由mapreduce引擎组成，处理层还与业务层连接。优选的，所述cproc云处理平台搭建在云存储系统上，且cproc云处理平台为向业务层直接提供对外开发接口和数据传输接口的分布式数据处理平台。优选的，所述立方数据库是以b+树的结构建立了字段的索引，每个b+树结构的字段索引相当于一个数据平面，这样一个全局数据表与其多个重要字段的索引就组成了一个类似于立方体的数据组织结构。优选的，所述mapreduce引擎由jobtrackers和tasktrackers组成。优选的，所述hdfs分布式文件系统由为其提供元数据服务namenode和提供存储块的datanode构成。优选的，所述业务层和存储层还分别与应用层和虚拟资源层连接，且应用层为智能终端、笔记本、pc机或者瘦客户机，所述虚拟资源层为网络资源。优选的，所述应用层、业务层、处理层、管理层、存储层和虚拟资源层对数据处理的同时监控协调层对应用层、业务层、处理层、管理层、存储层和虚拟资源层进行监控和协调，且监控协调层由zookeeper和chukwa组成。(三)有益效果本发明提供了一种大数据多网融合科研一体机平台装置。具备以下有益效果：1、该大数据多网融合科研一体机平台装置，通过storm云储存系统、hbas分布式数据库和hdfs分布式文件系统的配合对大数据进行存储，stor云存储系统采用云计算技术、网络通信技术以及分布式文件系统技术，将廉价的、性能低下的硬件存储节点组织管理起来，hbas分布式数据库可以获取距离某个时间最近的数据，或者一次获取所有数据，hdfs分布式文件系统既可以将数据合并化简，也可以将数据分成多个小单元，减少了硬件和人员管理的投入成本，储存量大，适用性强，可靠性高。2、该大数据多网融合科研一体机平台装置，storm云储存系统采用包括元数据管理服务器(管理节点)、数据存储节点服务器(存储节点)以及客户端节点的结构构成一个虚拟的海量存储卷，有效提供了高性能、高可靠的存储系统，便于使用者及时的提取数据资料。3、该大数据多网融合科研一体机平台装置，storm云储存系统提供的管理监控中心可以对每一个节点进行管理，包括设备运行状态、磁盘运行状态、服务在线情况以及异常告警等功能；另外，网管监控中心还提供有如ftp账户添加等客户端管理和配置工具，便于使用者及时的了解数据的实时状态，便于使用者对数据进行管理。附图说明图1为本发明系统原理图；图2为本发明storm云储存系统的结构框图；图3为本发明cproc架构图具体实施方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。请参阅图1-2，本发明实施例提供一种大数据多网融合科研一体机平台装置，包括cproc云处理平台、应用层、虚拟资源层和立方数据库，cproc云处理平台分别与storm云存储系统、hbase分布式数据库和hdfs分布式文件系统双向连接，cproc云处理平台还与大数据实验一体机双向连接，大数据实验一体机与分布式计算机双向连接。本发明中：cproc云处理平台搭建在云存储系统上，且cproc云处理平台为向业务层直接提供对外开发接口和数据传输接口的分布式数据处理平台，cproc云处理平台是一种处理海量数据的并行编程模型和计算框架，用于对大规模数据集的并行计算。cproc架构图如图3所示，cproc云处理平台是一种处理海量数据的高效分布式软硬件集合的云处理平台，该平台可以从tb乃至pb级的数据中挖掘出有用的信息，并对这些海量信息进行快捷、高效的处理，cproc云处理平台支持和关系数据库混合模式，绝大部分海量数据存放于分布式平台并进行分布式处理，少量实时性要求很高的数据存放于关系数据库，以满足支撑各种类型的业务需求，支持支撑查询、统计、分析业务；可支撑深度数据挖掘和商业智能分析业务，要求对标准sql规范支持度达到50％以上，提供属性选择、分类预测、回归预测、聚类分析、关联分析、时间序列分析等数据挖掘算法，提供食品二维码扫描功能，能够对各类信息实现溯源，通过cproc云处理平台解析后，可以大大增加数据查询和检索等业务，可以让系统平台具备数据实时入库、实时查询、查询结果实时传输等优势，通过cproc对元数据进行分析之后，可以大大加快数据的查询和检索效率。本发明中：hdfs分布式文件系统由为其提供元数据服务namenode和提供存储块的datanode构成，hdfs分布式文件系统是开源云处理平台hadoop框架的底层实现部分，适合运行在通用硬件上的分布式文件系统，具有高容错性，能提高吞吐量的数据访问，非常适合于大规模数据集上的应用。本发明中：hbase分布式数据库类似bigtable的分布式数据库，是一个稀疏的，长期存储的，多维的，排序的映射表，这张表的索引是行关键字，列关键字和时间戳，所有数据库的更新都是一个时间戳标记，每个更新都是一个新的版本，而hbase会保留一定数量的版本，这个值是可以设定的，客户端可以获取距离某个时间最近的数据，或者一次获取所有数据。storm云存储系统包括管理监控中心，管理监控中心分别与元数据管理服务器、数据存储节点服务器和客户端双线连接。管理监控中心包括配置中心和监控中心，配置中心包括卷配置、节点参数配置、存储参数配置、用户配额管理、qos管理和告警装置，监控中心包括存储空间监控、设备状态监控、程序状态监控、硬盘状态监控、流量监控和全面警告。本发明中：管理监控中心在使用过程中具有提供存储机架的虚拟化管理，可以监测到每个节点服务器的运行状态，对磁盘的运行状态和使用情况监控，对卷管理服务器的设置和账户管理，对系统操作日志管理及审计的功能。本发明中：storm云储存系统针对绝大多数数据密集型应用的特点从多个方面进行了优化，从而在一定规模下达到成本、可靠性和性能的最佳平衡。storm云储存系统凭着超低的价格、优异的性能、高度可靠、绿色节能、无限容量、在线自动伸缩、易用通用等诸多压倒性优势，获得了用户的一致称赞。本发明中：stor云存储系统所有的节点均通过网络的方式连接起来，其中存储节点采用廉价的计算机节点，运用自适应副本管理技术进行容错，所有存储节点同时担任对外服务功能，客户端分别挂载到不同存储节点访问云存储系统，通过增加或者减少存储节点的方式，即可以对存储系统进行在线伸缩，由于采用了自适应副本管理技术进行容错，系统在线伸缩的过程中，不影响系统对外提供服务。对于stor云存储的用户来说，通过stor客户端可以将海量云存储系统映射成一个本地海量磁盘(windows客户端)或者映射到一个目录(linux客户端)，对于此磁盘或者目录的读写操作，即可实现云存储系统数据的读写。同时，由于stor文件系统支持posix接口规范，对于目前一般的应用不需要做二次开发即可使用。hbase分布式数据库和立方数据库构成管理层，且管理层分别与处理层和存储层连接，存储层由storm云存储系统和hdfs分布式文件系统构成，处理层由mapreduce引擎组成，处理层还与业务层连接，业务层和存储层还分别与应用层和虚拟资源层连接，且应用层为智能终端、笔记本、pc机或者瘦客户机，虚拟资源层为网络资源，应用层、业务层、处理层、管理层、存储层和虚拟资源层对数据处理的同时监控协调层对应用层、业务层、处理层、管理层、存储层和虚拟资源层进行监控和协调，且监控协调层由zookeeper和chukwa组成。本发明中：mapreduce引擎由jobtrackers和tasktrackers组成。本发明中：立方数据库是以b+树的结构建立了字段的索引，每个b+树结构的字段索引相当于一个数据平面，这样一个全局数据表与其多个重要字段的索引就组成了一个类似于立方体的数据组织结构。综上所述，该大数据多网融合科研一体机平台装置，通过storm云储存系统、hbas分布式数据库和hdfs分布式文件系统的配合对大数据进行存储，stor云存储系统采用云计算技术、网络通信技术以及分布式文件系统技术，将廉价的、性能低下的硬件存储节点组织管理起来，hbas分布式数据库可以获取距离某个时间最近的数据，或者一次获取所有数据，hdfs分布式文件系统既可以将数据合并化简，也可以将数据分成多个小单元，减少了硬件和人员管理的投入成本，储存量大，适用性强，可靠性高。同时，storm云储存系统采用包括元数据管理服务器(管理节点)、数据存储节点服务器(存储节点)以及客户端节点的结构构成一个虚拟的海量存储卷，有效提供了高性能、高可靠的存储系统，便于使用者及时的提取数据资料。其次，storm云储存系统提供的管理监控中心可以对每一个节点进行管理，包括设备运行状态、磁盘运行状态、服务在线情况以及异常告警等功能；另外，网管监控中心还提供有如ftp账户添加等客户端管理和配置工具，便于使用者及时的了解数据的实时状态，便于使用者对数据进行管理。尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。当前第1页12当前第1页12