一种大数据一体机的制作方法

本实用新型实施例涉及计算机教学技术领域，尤其涉及一种大数据一体机。

背景技术：

进入21世纪以来，信息技术特别是互联网悄然变革了人们的生活方式、工作方式和思维方式。IT产业未来发展的阵营中，电子商务、电子政务、社交网络等一系列导向型应用背后，是海量大数据基础支撑。数据库相关的专业技术人才需求存在庞大的缺口。

目前，大数据的教学和培训活动非常普遍，课程内容丰富多样。数据科学与大数据技术是一门技术操作性很强的课程，不仅要学员掌握理论知识，更要学员能精通操作技术。但多数授课过程中，缺乏方便、快捷、友好的大数据教学实验和体验环境，不能很好培养学员动手能力。

针对大数据教学，当前普遍采用三种方式：一是借助于高校信息中心共享资源池，安排专业人员提前安装部署实验所需环境，但是高校使用资源需要的申请手续复杂，时间漫长，并且共享平台资源紧张，此外每次使用需要部署课程所需的实验环境，工作量较大。二是构建集群模式的多种设备实验环境平台，安排专人负责维护管理，而采购多种设备搭建专门的大数据实验平台，成本高，使用效率低，维护管理成本高。三是租用第三方云服务平台部署的实验环境，但是实验环境比较固定，不能定制化个性所需的体验和实验环境，且对于大规模多次教学课程租用成本高。

技术实现要素：

本实用新型实施例提供一种大数据一体机，用以解决现有的大数据教学工作量大、成本高且实验环境固定的问题。

本实用新型实施例提供一种大数据一体机，包括数据处理单元和存储单元，数据处理单元与存储单元连接；

存储装置内存储有数据集和大数据实验模板，数据处理单元通过虚拟机将数据集提供给学习终端，并通过虚拟机内的Docker容器将大数据实验模板提供给学习终端。

优选地，数据集包括传感数据、文本数据、图像数据和地理信息数据中的至少一种，数据集的领域包括经济建设、交通服务、医疗健康和环境保护中的至少一种。

优选地，大数据实验模板包括Hadoop生态环境实验模板、开发环境实验模板、大数据教学实验模板、机器学习实验模板中的至少一种。

优选地，数据处理单元包括计算单元和随机存储器。

优选地，还包括有线网口和/或无线网卡。

优选地，Hadoop生态环境实验模板包括Hadoop集群构建与管理实验模板、HDFS分布式文件系统实验模板、MapReduce计算框架实验模板和Spark环境编译与部署实验模板中的至少一种；

开发环境实验模板包括Java语言实验模板和/或Python语言实验模板；

大数据教学实验模板包括HBase数据库实验模板、Hive数据仓实验模板、Pig数据库实验模板和MangoDB数据库实验模板中的至少一种；

机器学习实验模板包括逻辑回归实验模板、支持向量机实验模板、贝叶斯实验模板和深度学习实验模板中的至少一种。

优选地，计算单元包括两个Xeon E5-2600v4系列处理器，随机存储器为DDR4 2133 16G RECC。

优选地，有线网口包括两个10/100/1000BASE-TX RJ45端口，无线网卡为300M双频无线PCI-E网卡。

本实用新型实施例提供的一种大数据一体机，通过设计虚拟机+Docker容器的结构，基于大数据一体机实现了虚拟机管理与Docker容器管理的高度统一，为大数据教学和培训提供了友好、便捷、真实可操作的实践环境，减轻了大数据教学的工作量，降低了教学成本，提高了教学灵活性。

附图说明

为了更清楚地说明本实用新型实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本实用新型的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本实用新型实施例提供的大数据一体机的结构示意图。

具体实施方式

为使本实用新型实施例的目的、技术方案和优点更加清楚，下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

图1为本实用新型实施例提供的大数据一体机的结构示意图，如图1所示，一种大数据一体机，包括数据处理单元和存储单元，数据处理单元与存储单元连接；存储单元内存储有数据集和大数据实验模板，数据处理单元通过虚拟机将数据集提供给学习终端，数据处理单元通过虚拟机内的Docker容器将大数据实验模板提供给学习终端。

具体地，大数据一体机包括数据处理单元和存储单元，存储单元用于为数据集和大数据实验模板提供存储空间，数据处理单元用于对存储装置内存储的数据集和大数据实验模板进行资源管理和调度。此处，数据集可以是各个领域的数据，用于为大数据实验提供数据基础。大数据实验模板可以是各种大数据实验的模板，为执行大数据实验提供参考和教程，以便于进行大数据实验的教学。

数据处理单元内部署有虚拟机，虚拟机中挂载数据集，同时虚拟机内安装有Docker容器，Docker容器内置有大数据实验模板。学习终端与大数据一体机连接，通过访问大数据一体机的数据处理单元下的虚拟机中的Docker容器，得到学习终端所需的数据集和大数据实验模板，并通过发送指令指示大数据一体机进行运算，执行基于上述数据集和大数据实验模板的大数据实验，实现大数据实验的教学和练习。

需要说明的是，为了实现IP隔离，便于多个用户(即多个学习终端)能够同时共享同一台大数据一体机，每一学习终端对应大数据一体机数据处理单元中的一个虚拟机，各个虚拟机之间不相互影响。

本实用新型实施例提供的大数据一体机，通过设置虚拟机+Docker容器的结构，基于大数据一体机实现了虚拟机管理与Docker容器管理的高度统一，为大数据教学和培训提供了友好、便捷、真实可操作的实践环境减轻了大数据教学的工作量，降低了教学成本，提高了教学灵活性。

基于上述实施例，数据集包括传感数据、文本数据、图像数据和地理信息数据中的至少一种，数据集的领域包括经济建设、交通服务、医疗健康和环境保护中的至少一种。具体地，大数据一体机可提供多种国内外公开的数据集，数据集的类型和领域本实用新型实施例不作具体限定。数据集可以随时进行拓展更新，以优化大数据实验结果。

基于上述任一实施例，大数据实验模板包括Hadoop生态环境实验模板、开发环境实验模板、大数据教学实验模板、机器学习实验模板中的至少一种。

具体地，Hadoop是一个开发和运行处理大规模数据的软件平台，是Apache的一个用Java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。Hadoop生态环境实验模板包括Hadoop集群构建与管理实验模板、HDFS分布式文件系统实验模板、MapReduce计算框架实验模板和Spark环境编译与部署实验模板中的至少一种。

开发环境实验模板可以是基于某一程序语言设计的开发环境实验模板，例如Java语言实验模板、Python语言实验模板等。

大数据教学实验模板是指能够提供大数据教学培训课程的实验模板，例如HBase数据库实验模板、Hive数据仓实验模板、Pig数据库实验模板和MangoDB数据库实验模板等。

机器学习实验模板是指用于提供机器学习教学练习课程的实验模板，例如逻辑回归实验模板、支持向量机实验模板、贝叶斯实验模板和深度学习实验模板。

基于上述任一实施例，数据处理单元包括计算单元和随机存储器。作为优选，计算单元为两个Xeon E5-2600v4系列处理器，随机存储器为DDR4 2133 16G RECC。

基于上述任一实施例，还包括有线网口和/或无线网卡。此处，有限网口和无线网卡均可用于与学习终端连接。作为优选，有线网口为两个，均为10/100/1000BASE-TX RJ45端口，无线网卡为300M双频无线PCI-E网卡。

为了更好地理解与应用本实用新型提出的一种大数据一体机，本实用新型进行以下示例，且本实用新型不仅局限于以下示例。

大数据一体机是独立的软硬件一体化设备，包括数据处理单元、存储单元、有线网口和无线网卡。其中，数据处理单元包括两个Xeon E5-2600v4系列处理器和一个DDR4 2133 16G RECC内存。存储单元为两个3.5英寸串行硬件驱动器接口4TB磁盘，有线网口为两个，均为10/100/1000BASE-TX RJ45端口，无线网卡为300M双频无线PCI-E网卡。上述各部件均装设在机箱内，且通过额定500W的电源为大数据一体机供电。

存储单元内存储有数据集和大数据实验模板，其中，数据集为多种国内外公开的免责领域数据集，包含传感数据、文本数据、图像数据、地理信息数据等多种类型，覆盖经济建设、交通服务、医疗健康、环境保护等多种领域，作为大数据实验的数据基础。大数据实验模板包括完整的Hadoop生态环境(HDFS+MapReduce+Spark)的实验模板，Java、Python等通用开发环境的实验模板，规范的大数据培训课程内容(Hbase，Hive，Pig，MangoDB)的实验模板，机器学习(逻辑回归、支持向量机、贝叶斯)的实验模板，以及深度学习环境(TensorFlow)实验模板。此外，大数据实验模板还结合数据集提供不同的机器学习方法与大数据分析方法在各个领域的实施例。

数据处理单元内部署有虚拟机，虚拟机中挂载数据集，同时虚拟机内安装有Docker容器，Docker容器内置有大数据实验模板。学习终端与大数据一体机连接，通过访问大数据一体机的数据处理单元下的虚拟机中的Docker容器，得到学习终端所需的数据集和大数据实验模板，并通过发送指令指示大数据一体机进行运算，执行基于上述数据集和大数据实验模板的大数据实验，实现大数据实验的教学和练习。

本示例提供的大数据一体机，通过设置虚拟机+Docker容器的结构，基于大数据一体机实现了虚拟机管理与Docker容器管理的高度统一，为大数据教学和培训提供了友好、便捷、真实可操作的实践环境，减轻了大数据教学的工作量，降低了教学成本，提高了教学灵活性。

最后应说明的是：以上各实施例仅用以说明本实用新型的实施例的技术方案，而非对其限制；尽管参照前述各实施例对本实用新型的实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本实用新型的实施例各实施例技术方案的范围。