电网数据处理云平台系统的制作方法_2

文档序号:9711538阅读:来源:国知局
任务用于侦听每个采集节点最新的网络地址,以保证系统和采集节点间可靠的通信连接;③数据读取任务用于实现从多个采集节点中电力运行实时数据的采集、处理与存储。
[0016]本发明采用创建多个数据采集子任务并发工作的方法,每个子任务负责一个采集节点的数据采集工作,保证每个采集节点RAM的电力运行实时数据被及时读取,同时多任务并发运行能充分利用CPU资源。为合理地配置以及调度数据采集子任务,以达到在服务器能够承受的负荷范围内取得高效的数据采集效果,采用以下过程:
[0017]首先,定义数据采集子任务数目N。采集子任务数量的大小与服务器性能以及网络带宽有关,具体设定方法如下:将系统部署于特定服务器上,分别测试当系统内开启不同数量的数据采集子任务时,机器资源的使用情况,包括RAM、CPU使用率等;以及系统在进行采集数据的同时对其他操作的响应速度。经过不断调整数据采集子任务的数量,最终应满足在保证系统稳定运行的前提下实现高效的、实时的数据采集工作。
[0018]其次,由多任务管理器将配置文件列表划分为多个子列表,每个子列表长度为采集子任务数量大小。系统为第一个子列表创建N个子任务进行数据采集,采集结束后不销毁任务,而是让这些任务进入休眠状态,待休眠结束后用这N个子任务对第二个子列表中的采集节点进行数据采集。依此类推,当配置文件列表的每个子列表遍历结束时即完成对所有采集节点的一次完整的数据采集,接下来继续遍历配置文件列表进行第二轮采集。
[0019]每个数据采集子任务又包括如下步骤:
[0020]步骤I。调用连接模块与采集节点建立连接,连接成功则进入步骤2;连接失败则重新读取采集节点的IP地址和端口,若始终失败则判定该采集节点通信异常,并终止数据采集子任务;
[0021]步骤2。调用收发模块的消息发送函数向采集节点发送数据采集命令;
[0022]步骤3。调用收发模块的消息接收函数接收来自采集节点返回的数据,若收到响应消息则进入步骤4;若没有收到相应消息,则再次向采集节点请求实时数据,若始终失败则判定该采集节点通信异常,并终止数据采集子任务;
[0023]步骤4从采集节点反馈的响应消息中提取电力运行实时数据,将数据首先存入缓冲队列中供客户浏览器端直接调用,其次存储于数据库中作为备份;
[0024]步骤5数据采集子任务进入休眠,休眠结束后进行下一轮数据采集。
[0025]为了确保系统在同一时刻采集到采集节点中所有数据,若第一次采集未能获得所需全部数据,则标记该子任务为读取超时状态,并重新启动数据采集命令,再次采集成功则取消读取超时标记。
[0026]当采集节点的网络地址不稳定时,为与节点取得可靠的通信连接,提高系统对网络动态变化的自适应性。利用监测任务时刻监测来自采集节点的请求。在监测任务的实现过程中采用任务队列,通过重复利用在任务队列中创建的工作任务,避免新任务创建和销毁造成不必要的CPU消耗,并且能够提高系统响应速度。监测任务实现过程:
[0027]步骤1。初始化任务队列。首先在监测任务内定义任务队列,任务队列可以容纳固定数量的工作任务。工作任务个数可调动,但不宜过多,避免系统资源过度消耗;
[0028]步骤2。当采集节点的IP地址和端口发生变化,或者有新的采集节点节点加入,采集节点主动向监测端口发送请求,监测任务收到请求后调用任务队列管理器创建工作任务处理请求。当工作任务个数达到任务队列的基本容量时,停止创建,当有新的请求到达时,加入等待队列;
[0029]步骤3。工作任务实现从采集节点发送的消息中提取IP地址和端口,并将这些信息更新至配置文件列表中;
[0030]步骤4。出现终止事件时关闭任务队列,并停止监测任务。
[0031]在多任务运行环境中,监测任务需要将最新的采集节点配置文件写至配置文件列表中,数据读取任务需要从配置文件列表中读取采集节点的IP地址和端口。当读写操作同时进行时会发生任务同步问题,因此访问采集节点配置文件列表必须进行同步互斥以保证各任务安全运行。将对采集节点配置文件列表的互斥操作封装在任务安全的类中,该类向各任务提供两个接口:读取配置文件和修改配置文件的接口。读写操作针对每一条配置文件,所以要对每一条配置文件进行互斥操作,实现过程中进行局部封锁,这样就可以避免读写配置文件时发生冲突。
[0032]结合电网数据处理云平台架构,本发明采用双机热备份的方式部署域名解析服务器和管理平台;在各省公司和(或)地市公司部署末梢缓存节点,为相关片区的客户提供网络优化。
[0033]主节点是整个云平台运行、管理和维护的核心。利用电力通信专网丰富的大带宽网络资源,满足云平台中心单元对主干网络链路的速度要求,实现和每个末梢缓存节点跳数最短的网络环境。作为云平台的核心,主节点并不直接参与对末端客户的服务,而是作为云平台运作的中枢,起到两个关键作用:负责对电网数据处理云平台系统的网元进行管理,为整体的电网数据处理云平台运营网络提供网络节点监控,远程配置和故障上报及恢复等能力;负责云平台的数据发布管理,把需要服务的内容通过合适的格式和方式,发布到所有的末梢缓存节点。
[0034]末梢缓存节点是为客户直接提供服务的节点。理想状况下,末梢缓存节点应部署在尽可能靠近客户的网络节点。末梢缓存节点主要完成的功能包括:面对大量客户直接提供服务;通过分布式服务机制,实现服务能力的提高,实现对大并发服务的需求;云平台末梢缓存节点部署在各省公司、直属单位的网络主干节点处。
[0035]末梢缓存节点采用三级存储架构,根据内容的访问频度、重要性等因素对数据的生命周期进行管理,实现分级存储和多级存储设备间的数据自动迀移。将RAM、闪存、硬盘三种存储介质搭建为一个混合存储架构,既利用了RAM、闪存的高性能优点,又兼顾硬盘驱动器的高容量、低成本。第3级存储(L3)采用成本小、读取速率相对较低(240Mbit/s左右)的硬盘,存储了系统提供的所有缓存数据。第2级存储(L2)采用成本相对硬盘高、读取速率较高(4Gbit/s左右)的闪存。对客户请求进行记录和统计,采用预定算法计算数据的频度,将频度达到一定阈值的文件存储于此单元,并定期进行频度的统计和资源的更新。第I级存储(LI)采用读取速率最高(160Gbit/s左右)的RAM进行数据存储。该单元存储的数据是最及时/最敏感(“最热”)的数据,如80 %的客户最常访问的20 %的资源。对于客户刚请求的数据,若该数据是从L3或L2读入,RAM也会在一定时间内将这部分数据进行保存,以供其他有可能请求此数据的客户快速获取。若一定时间过后,该数据未能达到存储于LI的频度值,系统会将其从RAM中删除。
[0036]电网数据处理云平台管理接口功能模块。管理接口由网元管理、性能管理、拓扑管理、告警管理、网元配置、报表管理、安全管理7部分组成,为整体的云平台运营网络提供了网络节点监控、远程配置和故障上报及恢复的能力。客户可以通过该平台来查看当前云平台系统的内部运行情况,包括云平台系统部署架构的展示,当前系统配置文件、各网元节点性能信息、告警信息的查看等,并支持对云平台的配置文件进行修改。
[0037]在电网数据处理云平台系统中,调度控制单元的网络侦测模块对网络链路状况进行侦测,并将数据交由调度执行模块进行处理,通过平台管理单元的网络管理模块与调度执行模块进行交互,完成节点负载状态的侦测。域名解析服务器发现缓存节点负载和链路状态最佳的缓存节点,并将客户请求重定向至该缓存节点。
[0038]基于HTTP业务的电网数据处理云平台系统在不改动客户端配置和电力网现有网络拓扑的前提下,提供网络加速服务。基于HTTP的全业务云平台网络优化包括网络动态/静态数据发布及网络优化、视频点播/直播数据发布及网络优化、文件下载网络优化。
[0039]对于网站的静态数据,可以通过云平台的主动推送或被动拉取的方式发布到最接近客户的末梢缓存节点,利用调度策略将客户重定向到离客户最近的节点,使客户就近取得这些静态资源,缓解主干网压力,提高客户访问服务器的响应速度。
[0040]动态数据的提供需要有后台数据库、应用逻辑程序的
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1