一种基于Hadoop的电力云平台设计方案的制作方法【
技术领域：
】[0001]本发明涉及分布式计算技术、分布式存储技术，属于云计算领域，具体涉及是一种基于Hadoop的电力云平台设计方案。【
背景技术：
】[0002]随着各种电器设备的增多，电力数据正变得越来越大，越来越复杂。传统的数据出具处理方式很难处理TB甚至PB级别的数据，即使能正确处理，效率也很低，其次，数据的一致性、可靠性得不到保证，而且即使具有成套的系统，系统的吞吐量也有限，没有合适的接口，可以提供第三方的数据接入。[0003]不仅在学术领域，而且在工业领域，云计算都被广泛研究。由于其大规模、虚拟化、失败连接组件之间的控制，异步交流沟通等特点，使其具有独特的优势。分布式系统的要求与按需服务、计算能力和存储资源变得越来越紧迫。MapReduce，由谷歌提出的MapReduce、GFS和BigTable,很好的解决了，传统处理电力数据的困难，MapReudce—直是在云环境中最受欢迎的分发编程模型。云基础设施中使用MapReduce，可以轻松高效地处理这些数据集。[0004]一种基于Hadoop的电力云平台设计方案，综合运用ApacheHadoop，灵活运用MapReduce、HadoopDistributedFileSystem(HDFS)、HBase等能够高效地处理数据，解决数据一致性的问题。【
发明内容】[0005]本发明的目的是提供一种基于Hadoop的电力云平台设计方案，解决了传统数据数据处理过程中效率低下，性能差的缺点，传统单机情况下数据处理过程中效率低下，即使依靠分布式计算，数据的一致性和集群的稳定也很难得到保障性能差的缺点。[0006]技术方案:[0007]本发明所提供的一种基于Hadoop的电力云平台设计方案主要包括多个模块组成:HDFS、MapReduce、HBase、WebService和网站。DFS作为分布式的文件存储系统用与电力数据的一般存储；同时有部分数据方便查询等，存入HBase；MapReduce可以从HBase或者HDFS中读取数据处理，并且写回；其次，网站也可以从HBase进行读写操作。APP和电力数据都可以通过WebService与HBase进行交互。[0008]具体运行过程如下:[0009](1)数据上传:[0010]电力传感器的数据通过WebService上传到我们的集群，也可以用户或者电力部门采集的数据通过WebService直接上传。[0011]⑵数据处理:[0012]数据上传后，默认会会进行一些分类和统计运算，后期会进行一些用电量的预测。这些步骤由多个MapReduce程序组成。分别负责数据的一些操作，最后会写到HBase之中。[0013](3)数据的展示和管理:[0014]数据的展示通过网站进行，同时通过调用WebService开发APP，网站和APP都可以进行一些近期用电量的展示，一些相似用电行为用户推测，以及推荐一些比较省电的设备。[0015]各模块具体功能如下[0016](l)HDFS:在云环境中，传统的文件系统已经不能满足用户对数据灾备、数据一致性等方面的需求。HDFS运行在通用硬件上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它一个高度容错性的系统，适合部署在廉价的机器上。在本设计方案中，采用HDFS作为基本的文件系统，提供高吞吐量的数据访问，可以与MapReduce、HBase等进行数据的交互。[0017](2)MapReduce:由于电力数据发送频率高，数据量大，用户数据量多等特点，传统的处理程序已经不能满足需求。MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。在本方案中，MapReduce负责处理HDFS和HBase里面的一些数据，定并且时将数据写回HBase。电力云平台主要包括一些基于MapReduce统计的程序、SVM预测模型程序以及其他一些程序。具体的处理操作有:[0018]2-1)单个用户总用电量统计；[0019]2-2)用户用电等级划分；[0020]2-3)未来24小时用户用电量预测；[0021]2-4)电器设备的分类划分(按照耗电情况)；[0022]2-5)电器设备历史用电分析；[0023]2-6)其余一些统计操作。[0024](3)HBase:HBase是一个分布式的、面向列的开源数据库，谷歌Bigtable的开源实现，是一个结构化数据的分布式存储系统。HBase是一个列式存数数据库，属于N0SQL数据库的一种，它是一个适合于非结构化数据存储的数据库。在本设计方案中，HBase代替了传统的数据库，同时具备了灾备和数据一致性等功能，等功能，可以与HDFS进行很好的交互，HDFS中的电力数据可以随意的交给HDFS进行操作，HBase也可以与一些基于MapReduce编写的电力数据处理程序进行交互。[0025](4)网站和APP:网站基于JSP和J2EE编写，APP包括安卓版和10S版，提供给用户访问，进行一些数据的图形化展示，同时提供一些定制的服务，具体来说包含以下功能:[0026]4-1)每月用电提醒；[0027]4-2)提醒方式设置；[0028]4-3)省电的电器型号推荐；[0029]4-4)电器老化预测。[0030](5)WebService:开放了Rest标准的一种WebService,作为我们的数据的来源，电力传感器的数据通过WebService上传到我们的集群，然后交由多个MapReduce程序进行处理。同时，WebService也支持第三用户直接将大批量的数据上传，或者通过WebService从电力部门直接获取数据。除此意外Rest标准的service支持以下操作:[0031]5-1)PUT[0032]对应电力数据的上传云平台，具体用法如:[0033]PUThttp://aaa.com/userl/devicel[0034]5-2)DELETE[0035]对应对电力数据的删除，如删除20150101的数据，具体用法如下:[0036]DELETEhttp://aaa.com/userl/devicel/20150101[0037]5-3)GET[0038]获取电力数据，如某一天的数据总量，如获取20150101的数据具体用法如下:[0039]GEThttp://aaa.com/userl/devicel/20150101[0040]5-4)POST[0041]可以修改云平台中数据，如要修改lightl的数据，具体用法如下:[0042]POSThttp://aaa.com/userl/devicel/lightl[0043]有益效果[0044]基于Hadoop的电力云平台设计方案能够高效地处理数据，解决数据一致性的问题，保证集群的稳定运行，具有很高的吞吐量，同时提高了较高标准的数据接口，支持第三方数据的接入，避免很多重复开发带来的成本。【附图说明】[0045]图1为一种基于Hadoop的电力云平台设计方案结构图。[0046]图2为一种基于Hadoop的电力云平台设计方案实现的数据流向图。【具体实施方式】[0047]下面将参考附图并结合实施例，来详细说明本发明。以下结合实际部署情况为例来说明本发明。[0048]平台结构如图1所示:电力云平台的设计包含:HDFS、MapReduce、HBase、WebService和网站。DFS作为分布式的文件存储系统用与电力数据的一般存储；同时有部分数据方便查询等，存入HBase；MapReduce可以从HBase或者HDFS中读取数据处理，并且写回；其次，网站也可以从HBase进行读写操作。APP和电力数据都可以通过WebService与HBase进行交互。[0049]进一步的来说，所述的云平台由1个主节点、1个第二主节点、20个从节点组成，15个从节点有15个硬盘为500GB、内存为4GB的物理机器、5台虚拟机组成，虚拟机通过Oracl公司的OracleVMVirtualBox软件实现。2台配置为200GB硬盘、4GB内存，3太配置为。3台配置为500当前第1页1 2