一种海量电力计量数据的快速检索方法
【专利摘要】本发明公开了一种海量电力计量数据快速检索方法，它包括终端、数据采集层和数据层，其特征在于：该方法首先从各计量点及采集终端抽取需要检索的电流、电压、功率因素、表码等计量数据，并基于LVS技术进行服务器均衡进行快速入库；然后将大规模数据按格式上送云平台，云存储平台采用Hadoop分布式文件系统HDFS，具有高度容错性的系统，适合部署在廉价的机器上，能提供高吞吐量的数据访问，非常适合大规模数据集上的应用；根据系统对各计量点电量、线损等的精确统计与计算，用户可通过数据检索服务，实施对电力计量数据的快速检索。为对电流、电压、功率因素、表码等这类电力计量大规模数据能有效快速的提供检索服务。
【专利说明】一种海量电力计量数据的快速检索方法
【技术领域】
[0001]本发明涉及集群管理、云存储服务、云数据库服务、数据查询、监控管理、信息快速检索等领域，具体为一种基于云计算技术的电力计量数据快速检索方法。
【背景技术】
[0002]近年来，电网公司不断投入电能计量自动化系统的建设，各供电局已基本建成了涵盖各种计量点及采集终端的集信息采集、监控、分析和计量管理于一体的计量自动化应用平台，完成了对电厂、变电站、公变、专变、低压集抄等发电侧、供电侧、配电侧、售电侧的综合性统一数据的自动采集监。供电企业的抄表结算、电能计量管理、营销管理、线损管理、错峰管理、节能及优质服务等多项核心业务从手工人工水平发展到系统自动化水平，实现对居民用电的远程集中抄表功能。计量自动化系统与营销管理系统、生产调度系统等均不同程度的通过数据接口实现了数据共享。规范了计量现场管理，提高了计量准确率，为供电企业经济运行、配网生产管理、线损管理、电力营销服务提供了先进的技术手段，提高了营销管理自动化、信息化水平。然而，随着系统的日趋完善和计量数据的积累，如何快速、有效地对计量数据进行检索，已经成为当前电力企业越来越迫切想要解决的问题，如用电异常分析中最为直接和最为重要的指标是线损异常，而线损异常分析需基于采集终端及相关计量系统收集到的电流、电压、功率因素、表码等数据，这些数据每日上亿数据，每年几百亿，要对这类海量数据进行存储，还要对数据进行快速检索，传统技术很难处理，目前的关系型数据库到I亿条的数据量将难以有效的进行管理和检索查询。因此以往关系型数据库完全不能满足需求，要能实现数据快速的检索并支持模糊查询，需要用到云计算相关技术。
[0003]本发明针对区计量主站系统的各类数据，研究电力计量信息的快速检索方法，设计基于云计算技术的运算平台。采用LVS(Linux Virtual Server)技术,实现采集与导入节点机的集群管理；云存储平台采用Hadoop分布式文件系统HDFS (Hadoop DistributedFile System);云存储数据库建立基于HBase (Hadoop database),使用Hive进行结构化存储和检索，并提供相应的数据服务接口 ；搭建Ganglia监控，实时监控各个节点的状态、性能、网络。
【发明内容】
[0004]本发明的目的是提供一种基于云计算技术的海量电力计量数据的快速检索系统，以解决现有计量数据量大，难以进行有效的电力管理和检索查询等问题。
[0005]为了达到上述目的，本发明所采用的技术方案为:
一种海量电力计量数据的快速检索方法，它包括终端、数据采集层和数据层，其特征在于包括:
数据采集层直接面对电力终端，通过光纤专网、无线网络、短信通信塔和相应的通讯方式与终端进行数据交互。
[0006]所述的终端主要由负控终端、厂站终端、配网终端和集抄终端，以及相关数据采集设备组成，负责采集电力相关数据；其中，负控终端、厂站终端和配网终端通过无线网络与数据采集层通信；集抄终端通过短信通信与与数据采集层通信。
[0007]所述的数据层包括数据库服务器，通过GPRS，SMS，CDMA，光纤，电力载波，电话拨号等通信方式与数据采集层及数据应用层联系。
[0008]所述的数据采集层采用“集群前置机”结构，含若干台前置机、一个短信服务器和一个前置路由器形成集群前置机，是前置采集部份。
[0009]所述的数据应用层包括一组由含计算机构成的服务器节点、交换机、路由器和用户端，其中节点主要 有主节点、从节点、和若干节点，各节点通过路由器、交换机连接到高速的局域网或者地理分布的广域网上，并与数据层的数据库服务器连接；主节点负责负载调度(Load Balancing Scheduler),将用户发出的请求调度到各服务器节点上,从而使得服务器集群的结构对客户是透明的，用户端访问集群系统提供的网络服务就像在访问一台高性能、高可用的服务器一样。
[0010]本海量电力计量数据的快速检索方法，基于云计算技术的运算平台，采用LVS技术，实现采集与导入节点机的集群管理；云存储平台采用Hadoop分布式文件系统HDFS，存储数据以及存储云数据库元数据；云存储数据库建立基于HBase，使用Hive进行结构化存储和检索，提供相应的数据服务接口 ；可通过数据检索服务，快速对实时负荷、电流电压、负载率的快速检索；搭建Ganglia监控，以实时监控各个节点的状态、性能、网络。用户端实现对电流、电压、功率因素、表码等相关数据快速检索可通过下面步骤完成:
步骤1:计量数据抽取，包括以下子步骤:
S1.1:确定抽取数据
确定检索数据需用到的基础数据信息，如线损分析需抽取电流、电压、功率因素、表码等计量数据信息；
51.2:抽取实时数据
从各计量点及采集终端抽取需要检索的电流、电压、功率因素、表码等计量数据；
步骤2:服务器均衡，包括以下子步骤:
应用LVS技术，主节点和从节点部署前端的主从LVS-DR均衡调度器，各个采集节点机部署采集程序以及Keepalived模块，均衡算法采用加权LCS (Least-ConnectionScheduling)调度算法；
52.1:应用LVS技术
应用LVS技术，主节点和从节点部署前端的主从LVS-DR均衡调度器；LVS (LinuxVirtual Server)集群采用IP负载均衡技术和基于内容请求分发技术；从LVS-DR均衡调度器为集群服务器的唯一入口点，用于接收用户的请求，采用IP负载均衡算法选取一台采集节点机，将包转发过去；
S2.2:采集节点机部署
各个采集节点机部署采集程序及Keepalived模块，Keepalived模块负责对各节点进行健康状况的检测，确保处理TCP数据的节点可用；
S2.3:服务器负载分配
采用加权LCS调度算法确定服务器负载分配；权LCS调度算法实现；
步骤3:数据入库，基于步骤2实现服务器均衡，进行大规模的数据快速入库；用1^5技术，主节点和从节点部署前端的主从LVS-DR均衡调度器，各个采集节点机部署采集程序以及Keepalived模块，均衡算法采用加权LCS调度算法；
步骤4:大数据导入云平台，包括以下子步骤:
S4.1:建立云存储平台
云存储平台采用Hadoop分布式文件系统HDFS，HDFS设计成适合运行在通用硬件commodity hardware上的分布式文件系统,它和现有的分布式文件系统有很多共同点；同时，它和其他的分布式文件系统的区别也是很明显的，具有高度容错性，HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用；
S4.2:建立云数据库服务
云数据库建立基于HBase，使用Hive进行结构化存储和检索，提供相应的数据服务接口 ；Hive是建立在Hadoop之上的数据仓库架构，提供了一套方便的实施数据抽取(ETL)的工具，一种让用户对数据描述其结构的机制，支持用户对存储在Hadoop中的海量数据进行查询和分析；
步骤5:数据快速检索，在上述步骤完成后，包括对实时负荷、电流电压、负载率这类日数据量上亿，年数据量上百亿进行云存储，建立HBASE的云数据库，基于云存储服务的方式提供大规模海量数据的存储服务。通过HIVE开发接口提供快速的检索服务，用户可通过数据检索服务，实施对实时负荷、电流电压、负载率的快速检索。
[0011]为实现以上要求，按照功能需求对数据检索服务划分为:检索接口组件、检索服务组件和检索执行组件。
[0012](I)检索接口组件接收客户端的数据检索查询请求，通过向分布式应用服务注册，同服务器端建立会话连接，与查询服务组件进行交互，并返回查询结果给客户端。
[0013](2)检索服务组件运行在各个数据服务器节点上，与查询接口组件建立会话连接，对客户端进行管理，负责响应检索查询接口组件的查询请求，对查询请求进行调度管理，并将查询的结果数据返回给查询接口组件。
[0014](3)检索执行组件实现分布式的数据检索，以原始状态或内插值拟合状态返回给检索服务组件。该组件通过调用本地接口获取当前节点的快照子系统实时数据、系统历史数据，通过分布式应用服务请求获取备份节点数据。
[0015]本发明与已有技术相比具有以下优点:
本发明云平台基于Hadoop管理理念,利用Map/Reduce框架来处理数据，使Hadoop具有高效性的特点。Hadoop是并行工作的，以加快任务的处理速度，除此之外它还有很多特色的功能，因此可以说是云计算平台上的最佳选择。云计算系统采集与导入节点机的集群管理，采用LVS技术，LVS的伸缩空间比较大，如果对并发连接进行扩展，最多可以扩展到百万级，具有高可扩展性的优点。因此，相对于Microsoft集群支持的较少的节点数目、MOSIX集群依赖单个硬件供应商等，基于LVS的集群是解决负载均衡的理想方式。
[0016]本发明方法简单易行，便于实现，安装简单，基于云计算技术的运算平台采用LVS技术，整个服务器集群的结构对客户是透明的，无需修改客户端和服务器端的程序。云存储平台采用Hadoop分布式文件系统(HDFS)，HDFS是一个高度容错性的系统，适合部署在廉价的机器上，同时，HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。建立HBASE的云数据库，通过HIVE开发接口提供快速的检索服务，对实时负荷、电流电压这类日数据量上亿，年数据量数百亿进行云存储并提供基于云的快速检索服务。系统具有透明性、可伸缩性、高可用性和易管理性。
【专利附图】
【附图说明】
[0017]图1是本发明的结构示意图；
图2是本发明提出的一种负载动态平衡策略示意图；
图3是本发明的数据快速检索流程示意图。
【具体实施方式】
[0018]下面结合附图，对本发明的技术方案作进一步具体的说明。
[0019]图1所示，是是本发明的结构示意图，从图中可知，它包括终端、数据采集层和数据层，以及数据应用层。其中，终端主要由负控终端、厂站终端、配网终端和集抄终端，以及相关数据采集设备组成，负责采集电力相关数据；负控终端、厂站终端和配网终端通过无线网络与数据采集层通信，集抄终端通过短信通信与与数据采集层通信。数据采集层采用“集群前置机”结构，含若干台前置机、一个短信服务器和一个前置路由器形成集群前置机，是前置采集部份，通过光纤专网、无线网络、短信通信塔等通讯方式采集终端数据。数据层包括数据库服务器，主要完成数据预处理、数据检查和数据入库等应用逻辑功能。
[0020]数据应用层采集与导入节点机的集群管理，基于LVS技术。LVS网络架构包括一组服务器节点、交换机、路由器和用户端，其中节点主要有主节点、从节点、和若干节点，各节点通过路由器、交换机连接到高速的局域网或者地理分布的广域网上，并与数据层的数据库服务器连接；主节点负责负载调度(Load Balancing Scheduler),将用户发出的请求调度到各服务器节点上，从而使得服务器集群的结构对客户是透明的，用户端访问集群系统提供的网络服务就像在访问一台高性能、高可用的服务器一样。
[0021]从图1中可知，本发明的数据采集层采用“集群前置机”方式，能实现大规模的数据快速入库。前置机为数据接入前端，完成通信的核心功能，直接面对采集终端，本实施例
中采集终端主要采集的电流(I )、电压)、功率因数(COS#)、表码等计量数据。各部分
的作用为:
前置路由器作用:路由转发，根据应用服务器的报文，寻找此报文的终端地址所在的前置机n，将此报文转发给相应的前置机和相应的主站模块。
[0022]前置机进行数据汇总。对于下行数据，将数据汇总，统一将数据转发给应用服务器，为应用服务器提供统一的数据接口。
[0023]通信调度:前置路由器统一调度各前置机，可以根据数据采集实时性高低级别和内容，按照最优方式进行负载均衡，互为备用，协同工作。多个前置机和一个前置路由器(可以还有备份前置路由器)形成集群前置机，是前置采集部分。
[0024]数据层还包括应用服务器，通过网络与数据采集层联系。应用服务器主要完成数据预处理、数据检查、数据计算、用户数据下发、采集任务调度和数据入库等应用逻辑功能，是数据预处理部分。
[0025]在这里采用“集群”的技术，前置接入服务器的数量可以根据实际情况进行扩展，如果要支持新增规约的终端，则只需要加入支持此规约的前置机，后续的前置路由器相应配置一下，就可以实现不同类型、不同厂商的计量自动化终端的接入。
[0026]如图2所示，是本发明提出一种负载动态平衡策略的设计框架，主要思想是根据LoadManager不断接收真实服务器(RealServer,简称RS)的负载信息来调整RS的权值，以避免RS超载时依然收到大量请求，从而提高整个系统的吞吐率。
[0027]用户端通过以下步骤能进行电流、电压、功率因素、表码相关数据的快速检索，包括以下步骤:
步骤1:计量数据抽取；
步骤2:服务器均衡；
步骤3:数据入库；
步骤4:大数据导入云平台；
步骤5:数据快速检索。
[0028]所述的步骤I包括以下子步骤:
S1.1:确定抽取数据
确定检索数据需用到的基础数据信息，如线损分析需抽取电流、电压、功率因素、表码等计量数据信息；
51.2:抽取实时数据
从各计量点及采集终端抽取需要检索的电流、电压、功率因素、表码等计量数据。
[0029]所述的步骤2包括以下子步骤:
应用LVS技术，主节点和从节点部署前端的主从LVS-DR均衡调度器，各个采集节点机部署采集程序以及Keepalived模块，均衡算法采用加权LCS (Least-ConnectionScheduling)调度算法；
52.1:应用LVS技术
应用LVS技术，主节点和从节点部署前端的主从LVS-DR均衡调度器；LVS (LinuxVirtual Server)集群采用IP负载均衡技术和基于内容请求分发技术；从LVS-DR均衡调度器为集群服务器的唯一入口点，用于接收用户的请求，采用IP负载均衡算法选取一台采集节点机，将包转发过去；
S2.2:采集节点机部署
各个采集节点机部署采集程序及Keepalived模块，Keepalived模块负责对各节点进行健康状况的检测，确保处理TCP数据的节点可用；
S2.3:服务器负载分配
采用加权LCS调度算法确定服务器负载分配；权LCS调度算法实现，包括以下步骤:
(1)对服务器集合Sf= I^l5Sf23L>1)，确定每个服务器的权值
M?),设每个服务器节点已建立好的相应连接数艰)0.<?<η),则服务器集群当前总的连接数为:
M = L(S1) + L(S2) +L + L(Sn) (I)
(2)计算节点连接数与其权值的比例值，当服务器Si满足公式:
【权利要求】
1.一种海量电力计量数据的快速检索方法，它包括终端、数据采集层和数据层，其特征在于: 数据采集层直接面对电力终端，通过光纤专网、无线网络、短信通信塔和相应的通讯方式与终端进行数据交互； 快速检索包括以下步骤: 步骤1:计量数据抽取； 步骤2:服务器均衡； 步骤3:数据入库； 步骤4:大数据导入云平台； 步骤5:数据快速检索。
2.根据权利要求1所述的快速检索方法，其特征在于: 所述的终端主要由负控终端、厂站终端、配网终端和集抄终端，以及相关数据采集设备组成，负责采集电力相关数据；其中，负控终端、厂站终端和配网终端通过无线网络与数据采集层通信；集抄终端通过短信通信与与数据采集层通信。
3.根据权利要求1所述的快速检索方法，其特征在于: 所述的数据采集层采用“集群前置机”结构，含若干台前置机、一个短信服务器和一个前置路由器形成集群前置机，是前置采集部份。
4.根据权利要求1的快速检索方法，其特征在于: 所述的数据层包括数据库服务器，通过GPRS，SMS，CDMA，光纤，电力载波，电话拨号等通信方式与数据采集层及数据应用层联系。
5.根据权利要求1、3所述的快速检索方法，其特征在于: 所述的数据应用层包括一组由含计算机构成的服务器节点、交换机、路由器和用户端，其中节点主要有主节点、从节点、和若干节点，各节点通过路由器、交换机连接到高速的局域网或者地理分布的广域网上，并与数据层的数据库服务器连接。
6.根据权利要求1所述的一种海量电力计量数据的快速检索方法，其特征在于: 所述的步骤I包括以下子步骤: S1.1:确定抽取数据 确定检索数据需用到的基础数据信息，如线损分析需抽取电流、电压、功率因素、表码等计量数据信息； S1.2:抽取实时数据 从各计量点及采集终端抽取需要检索的电流、电压、功率因素、表码等计量数据。
7.根据权利要求1所述的一种海量电力计量数据的快速检索方法，其特征在于: 所述的步骤2包括以下子步骤: 应用LVS技术，主节点和从节点部署前端的主从LVS-DR均衡调度器，各个采集节点机部署采集程序以及Keepalived模块，均衡算法采用加权LCS (Least-ConnectionScheduling)调度算法； S2.1:应用LVS技术 应用LVS技术，主节点和从节点部署前端的主从LVS-DR均衡调度器；LVS (LinuxVirtual Server)集群采用IP负载均衡技术和基于内容请求分发技术；从LVS-DR均衡调度器为集群服务器的唯一入口点，用于接收用户的请求，采用IP负载均衡算法选取一台采集节点机，将包转发过去； S2.2:采集节点机部署 各个采集节点机部署采集程序及Keepalived模块，Keepalived模块负责对各节点进行健康状况的检测，确保处理TCP数据的节点可用； S2.3:服务器负载分配 采用加权LCS调度算法确定服务器负载分配；权LCS调度算法实现，包括以下步骤: 对服务器集合
8.根据权利要求1所述的一种海量电力计量数据的快速检索方法，其特征在于: 所述的步骤3数据入库，基于步骤2实现服务器均衡，进行大规模的数据快速入库；用LVS技术，主节点和从节点部署前端的主从LVS-DR均衡调度器，各个采集节点机部署采集程序以及Keepalived模块，均衡算法采用加权LCS调度算法。
9.根据权利要求1所述的一种海量电力计量数据的快速检索方法，其特征在于: 所述的步骤4包括以下子步骤: S4.1:建立云存储平台 云存储平台采用Hadoop分布式文件系统HDFS，HDFS设计成适合运行在通用硬件commodity hardware上的分布式文件系统,它和现有的分布式文件系统有很多共同点；同时，它和其他的分布式文件系统的区别也是很明显的，具有高度容错性，HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用；S4.2:建立云数据库服务 云数据库建立基于HBase，使用Hive进行结构化存储和检索，提供相应的数据服务接口 ；Hive是建立在Hadoop之上的数据仓库架构，提供了一套方便的实施数据抽取(ETL)的工具，一种让用户对数据描述其结构的机制，支持用户对存储在Hadoop中的海量数据进行查询和分析。
10.根据权利要求1所述的一种海量电力计量数据的快速检索方法，其特征在于: 所述的步骤5包括: 在上述步骤完成后，包括对实时负荷、电流电压、负载率这类日数据量上亿，年数据量上百亿进行云存储，建立HBASE的云数据库，基于云存储服务的方式提供大规模海量数据的存储服务；通过HIVE开发接口提供快速的检索服务，用户可通过数据检索服务，实施对实时负荷、电流电压、负载率的快速检索。
【文档编号】G06F17/30GK103955509SQ201410180099
【公开日】2014年7月30日 申请日期:2014年4月30日 优先权日:2014年4月30日
【发明者】何艺, 刘路, 黄富凡, 陈俊, 李刚, 曾博, 秦丽娟, 唐利涛, 张良均, 陈俊德, 刘名军, 樊哲, 郑宗锐 申请人:广西电网公司电力科学研究院, 从兴技术有限公司