一种用电信息采集系统的海量数据存储方法及系统的制作方法
【专利摘要】本发明涉及一种用电信息采集系统的海量数据存储方法及系统，属于用电信息采集数据存储【技术领域】。本发明通过在每个存储子节点上配置有监测客户端，将各节点的CPU负载、系统内存的余量、网络的流量、当前已建立的连接数等相关运行负载信息实时传递到调度和管理节点，经由调度与管理节点的分配，前置机集群中的某个节点与一个存储子节点直接建立通讯链路进行数据传输和入库，数据流并不通过调度和管理节点。通过合理调度可建立起由多个点对点通信链路构成的用于数据存储的通信网络，可有效避免数据热点的产生，最大化利用系统的网络传输资源，分布式存储子节点集群的部署成本较低、扩展性好。
【专利说明】一种用电信息采集系统的海量数据存储方法及系统
【技术领域】
[0001]本发明涉及一种用电信息采集系统的海量数据存储方法及系统，属于用电信息采集数据存储【技术领域】。
【背景技术】
[0002]在现有用电信息采集系统的入库过程中，其数据流向主要是:首先，由前置机通过与终端的通信，获取原始的采集数据并进行相应的规约解析，生成可以入库的数据文件；然后，由一个数据采集服务节点与前置机集群建立socket连接，来收集这些数据文件。最后，根据不同的存储方案(集中式存储或分布式数据库)，由数据采集服务节点转发数据文件至一台数据库服务器或多台数据存储子节点。
[0003]随着智能电网建设规模的扩大，现在各网省电力公司用电信息采集系统的用户规模，基本处于百万甚至千万级用户以上，由此将产生海量的量测数据。入库时，如果无法在以15min为一个采集周期的时间内处理完本周期内大量数据，就会造成队列堆积和后续数据处理的延迟，因此用电信息采集系统在数据存储上将面临着千万级数据潮涌的巨大压力。然而，在现有体系下，由于大量的数据文件都要经过数据采集服务节点的转发，该节点容易产生数据热点，并成为入库过程中的网络瓶颈，影响整个系统的实时性和可靠性。
【发明内容】
[0004]本发明的目的是提供一种用电信息采集系统的海量数据存储方法及系统，以解决现有用电信息采集系统入库过程中出现的网络瓶颈问题。
[0005]本发明为解决上述技术问题而提供一种用电信息采集系统的海量数据存储方法，该存储方法包括以下步骤:
[0006]I)采集各存储子节点的CPU负载、系统内存余量、网络流量和当前已建立的连接数的运行负载信息；
[0007]2)根据上述采集到各存储子节点的运行负载信息分配能够与前置机建立通信的存储子节点；
[0008]3)将分配的存储子节点与需要传输数据的前置机建立通信连接，使前置机中的数据直接传输到存储子节点。
[0009]所述步骤I)是通过在各存储子节点上配置监测客户端实现的。
[0010]所述步骤2)存储子节点的分配是由调度和管理节点实现，该调度和管理节点与各存储子节点通过专用线通信连接，所述调度和管理节点与前置机通信连接，用于接收前置机的写入请求。
[0011]在存储子节点出现故障时，所述调度和管理节点能够对存储子节点进行更换和重新接入操作。
[0012]所述存储方法还能够进行系统扩容，具体过程如下:
[0013]A.添加新的存储服务器到分布式存储子节点集群；
[0014]B.在调度和管理节点中注册该服务器；
[0015]C.调度和管理节点将该服务器纳入管理，获取其运行信息；
[0016]D.调度和管理节点将该服务器加入到可分配的服务节点列表，该服务器正式成为分布式存储子节点。
[0017]本发明还提供一种用电信息采集系统的海量数据存储系统，该存储系统包括存储子节点、前置机以及调度和管理节点，所述存储子节点上配置有监测客户端，采集存储子节点的CPU负载、系统内存余量、网络流量和当前已建立的连接数的运行负载信息，所述调度和管理节点与存储子节点通信连接，用于接收存储子节点的运行负载信息并根据该信息分配能够与前置机建立通信的存储子节点，所述调度和管理节点还与前置机通信连接，用于接收前置机的写入请求。
[0018]所述存储子节点和前置机均为集群设置。
[0019]在存储子节点出现故障时，所述调度和管理节点能够对存储子节点进行更换和重新接入操作。
[0020]所述存储系统还能够进行系统扩容，具体过程如下:
[0021]a.添加新的存储服务器到分布式存储子节点集群；
[0022]b.在调度和管理节点中注册该服务器；
[0023]c.调度和管理节点将该服务器纳入管理，获取其运行信息；
[0024]d.调度和管理节点将该服务器加入到可分配的服务节点列表，该服务器正式成为分布式存储子节点。
[0025]所述的调度和管理节点采用主节点和备用节点相结合的方式进行部署，负责与前置机集群以及存储子节点集群进行双向通信。
[0026]本发明的有益效果是:本发明通过在每个存储子节点上配置有监测客户端，将各节点的CPU负载、系统内存的余量、网络的流量、当前已建立的连接数等相关运行负载信息实时传递到调度和管理节点，经由调度与管理节点的分配，前置机集群中的某个节点与一个存储子节点直接建立通讯链路进行数据传输和入库，数据流并不通过调度和管理节点。通过合理调度可建立起由多个点对点通信链路构成的用于数据存储的通信网络，可有效避免数据热点的产生，最大化利用系统的网络传输资源，分布式存储子节点集群的部署成本较低、扩展性好。
【专利附图】
【附图说明】
[0027]图1是是用电信息采集系统的海量数据存储系统的结构示意图；
[0028]图2是用电信息采集系统的海量数据存储方法的流程图。
【具体实施方式】
[0029]下面结合附图对本发明的【具体实施方式】作进一步的说明。
[0030]本发明的一种用电信息采集系统的海量数据存储方法的实施例
[0031]本发明通过在每个存储子节点上配置有监测客户端，将该节点的CPU负载、系统内存的余量、网络的流量、当前已建立的连接数等相关运行负载信息实时传递到调度和管理节点，经由调度与管理节点的分配，前置机集群中的某个节点与一个存储子节点直接建立通讯链路进行数据传输和入库，数据流并不通过调度和管理节点。该方法的流程如图2所示，具体步骤如下:
[0032]1.前置机生成入库文件并向管理与调度节点发送写入请求。
[0033]2.管理与调度节点上的分布式存储调度服务接收写入请求，向前置机发送回复，要求等待。
[0034]3.汇集监测客户端传来的各存储子节点的运行信息和负载情况。
[0035]4.分布式存储调度服务根据调度策略，这里选择负载量最小的存储子节点进行分配，指定若干相关存储子节点同时执行相应的数据存储任务。
[0036]5.分布式存储调度服务将建立连接所需的通信信息分发给前置机和相关存储子节点。
[0037]6.由前置机发送请求向各相关存储子节点建立通信链接，如果成功则将连接成功的信息返回给分布式存储调度服务，否则请求分布式调度服务重新执行步骤3。
[0038]7.存储子节点执行存储任务，进行数据存储。
[0039]该存储方法还能够进行系统扩容，具体过程如下:
[0040]A.添加新的存储服务器到分布式存储子节点集群；
[0041]B.在调度和管理节点中注册该服务器；
[0042]C.调度和管理节点将该服务器纳入管理，获取其运行信息；
[0043]D.调度和管理节点将该服务器加入到可分配的服务节点列表，该服务器正式成为分布式存储子节点。
[0044]本发明一种用电信息采集系统的海量数据存储系统的实施例
[0045]如图1所示，本发明的用电信息采集系统海量数据存储系统包括前置机集群、调度和管理节点以及存储子节点集群，存储子节点集群中各存储节点上均配置有监测客户端，用于采集相应存储节点的CPU负载、系统内存的余量、网络的流量、当前已建立的连接数等相关运行负载信息，调度和管理节点通过“心跳”专用线通信连接，用于接收各存储子节点上的相关运行负载信息，调度和管理节点与前置机集群通信连接，用于接收前置机的写入请求，同时根据各存储子节点上的相关运行负载信息分配合适的存储子节点，建立该存储子节点与前置机的通信，使前置机中的信息直接存储到存储子节点上。
[0046]前置机集群是N台相互独立、通过高速网络互联的计算机，它们构成一个组，统一用于收集采集终端上传的量测数据，根据一定的负载均衡策略，该集群以单一系统模式加以管理。存储子节点集群是由分布式存储调度服务同时管理的多个分布式存储子节点。存储子节点按照分布式存储调度服务的要求，在本地保存数据。
[0047]该系统的工作过程如下:前置机生成入库文件后，向调度和管理节点发送写入请求并等待确认；同时，各存储子节点的实时负载经过集群与调度和管理节点之间的“心跳”专用线传输。调度和管理节点上提供分布式存储调度服务，在获得写入请求后，结合当前负载情况根据一定的规则负责建立前置机与存储子节点的通信。另外，该节点上具备通信故障处理机制，在存储子节点出现故障时能够进行存储子节点更换、重新连入等操作。
[0048]上述存储系统还能够进行系统扩容，具体过程如下:
[0049]a.添加新的存储服务器到分布式存储子节点集群；
[0050]b.在调度和管理节点中注册该服务器；
[0051]c.调度和管理节点将该服务器纳入管理，获取其运行信息；
[0052]d.调度和管理节点将该服务器加入到可分配的服务节点列表，该服务器正式成为分布式存储子节点。
【权利要求】
1.一种用电信息采集系统的海量数据存储方法，其特征在于，该存储方法包括以下步骤: 1)采集各存储子节点的CPU负载、系统内存余量、网络流量和当前已建立的连接数的运行负载信息； 2)根据上述采集到各存储子节点的运行负载信息分配能够与前置机建立通信的存储子节点； 3)将分配的存储子节点与需要传输数据的前置机建立通信连接，使前置机中的数据直接传输到存储子节点。
2.根据权利要求1所述的用电信息采集系统的海量数据存储方法，其特征在于，所述步骤1)是通过在各存储子节点上配置监测客户端实现的。
3.根据权利要求2所述的用电信息采集系统的海量数据存储方法，其特征在于，所述步骤2)存储子节点的分配是由调度和管理节点实现，该调度和管理节点与各存储子节点通过专用线通信连接，所述调度和管理节点与前置机通信连接，用于接收前置机的写入请求。
4.根据权利要求3所述的用电信息采集系统的海量数据存储方法，其特征在于，在存储子节点出现故障时，所述调度和管理节点能够对存储子节点进行更换和重新接入操作。
5.根据权利要求4所述的用电信息采集系统的海量数据存储方法，其特征在于，所述存储方法还能够进行系统扩容，具体过程如下: A.添加新的存储服务器到分布式存储子节点集群； B.在调度和管理节点中注册该服务器； C.调度和管理节点将该服务器纳入管理，获取其运行信息； D.调度和管理节点将该服务器加入到可分配的服务节点列表，该服务器正式成为分布式存储子节点。
6.一种用电信息采集系统的海量数据存储系统，其特征在于，该存储系统包括存储子节点、前置机以及调度和管理节点，所述存储子节点上配置有监测客户端，采集存储子节点的CPU负载、系统内存余量、网络流量和当前已建立的连接数的运行负载信息，所述调度和管理节点与存储子节点通信连接，用于接收存储子节点的运行负载信息并根据该信息分配能够与前置机建立通信的存储子节点，所述调度和管理节点还与前置机通信连接，用于接收前置机的写入请求。
7.根据权利要求6所述的用电信息采集系统的海量数据存储系统，其特征在于，所述存储子节点和前置机均为集群设置。
8.根据权利要求7所述的用电信息采集系统的海量数据存储系统，其特征在于，在存储子节点出现故障时，所述调度和管理节点能够对存储子节点进行更换和重新接入操作。
9.根据权利要求8所述的用电信息采集系统的海量数据存储系统，其特征在于，所述存储系统还能够进行系统扩容，具体过程如下: a.添加新的存储服务器到分布式存储子节点集群； b.在调度和管理节点中注册该服务器； c.调度和管理节点将该服务器纳入管理，获取其运行信息； d.调度和管理节点将该服务器加入到可分配的服务节点列表，该服务器正式成为分布式存储子节点。
10.根据权利要求6-9中任一项所述的用电信息采集系统的海量数据存储系统，其特征在于，所述的调度和管理节点采用主节点和备用节点相结合的方式进行部署，负责与前置机集群以及存储子节点集群进行双向通信。
【文档编号】H04L29/08GK104320495SQ201410647064
【公开日】2015年1月28日 申请日期:2014年11月13日 优先权日:2014年11月13日
【发明者】雷鸣, 周逢权, 徐大青, 张展国, 谢学征, 王林, 贺彪 申请人:许继电气股份有限公司, 许昌许继软件技术有限公司