电网数据处理云平台系统的制作方法
【技术领域】
[0001]本发明涉及电网数据处理，特别涉及一种电网数据处理云平台系统。
【背景技术】
[0002]随着电网技术的高速发展，大型管理信息系统数目不断增加，覆盖范围广，客户数量庞大，对电网设备运行数据网提出了新的挑战。因网络地域跨度大而导致的网络时延差距巨大，造成位于不同的网络地域的客户在面对集中式部署业务访问时，服务质量降低。另一方面由网络带宽资源紧张，因而客户访问突发性强、热点内容重复访问明显造成了网络拥塞、响应慢等问题，使得网络的稳定性随之下降。
【发明内容】
[0003]为解决上述现有技术所存在的问题，本发明提出了一种电网数据处理云平台系统，包括:
[0004]系统对电网设备运行数据进行采集和发布，同时对网络状况进行侦测和分析，根据当前网络状况采用相应的调度策略来进行数据优化传输。
[0005]优选地，所述电网数据处理云平台包括运行数据采集单元、数据发布单元、平台管理单元、通信单元和调度控制单元;所述运行数据采集单元连接于多个采集节点，实时采集电网设备运行数据;所述数据发布单元用于数据的存储、管理以及全网发布，由数据管理、数据存储、数据发布3个功能模块组成;所述平台管理单元用于云平台内部配置管理，并包括统计分析模块和网络安全模块，统计分析模块用于采集云平台的带宽流量数据、流量缓存数据、节点流量比例、资源访问的统计数据，进行客户行为分析并提供给外部数据分析系统；网络安全模块用于客户身份认证和内容安全访问；所述通信单元用于处理终端客户的业务请求，实现广域网传输优化;所述调度控制单元基于内容频度、客户位置、客户行为、网络测量的上报数据决定调度内容的策略、调度的内容、节点选取。
[0006]优选地，所述电网数据处理云平台系统采用双机热备份的方式部署域名解析服务器和管理平台；在各省和/或地市部署末梢缓存节点;末梢缓存节点是通过分布式服务机制为客户直接提供服务的节点；主节点并不直接参与对末端客户的服务，而是用于对所述云平台系统的网元进行管理，为云平台运营网络提供网络节点监控，远程配置和故障上报及恢复，并且实现云平台的数据发布管理，把需要服务的内容通过合适的格式和方式，发布到所有的末梢缓存节点；所述末梢缓存节点采用RAM、闪存、硬盘三种存储介质的多级存储架构，并实现多级存储设备间的数据自动迀移;第3级存储L3采用硬盘，存储了系统提供的所有缓存数据;第2级存储L2采用闪存，用于对客户请求进行记录和统计，采用预定算法计算数据的频度，将频度达到一定阈值的文件存储于闪存，并定期进行频度的统计和资源的更新;第1级存储LI采用RAM进行数据存储，存储频度最高或最近访问的数据；
[0007]所述调度控制单元包括网络侦测模块，用于对网络链路状况进行侦测，并将数据交由调度执行模块进行处理，通过所述平台管理单元的网络管理模块与调度执行模块进行交互，完成节点负载状态的侦测;所述数据优化传输包括网络动态/静态数据优化、视频点播/直播数据优化、文件下载优化;对于网站的静态数据，通过云平台的主动推送或被动拉取的方式发布到最接近客户的末梢缓存节点，利用调度策略将客户重定向到离客户最近的节点；对于动态数据，缓存节点将应用程序和相应的业务组件直接在云平台的末梢服务器中计算，直接生成动态网络内容;通过视频传输协议和分片，将视频文件和网络内容进行一致部署，将这些视频文件分片文件在云平台上进行发布;客户在下载资源时，可就近从缓存节点上下载，采用资源分片，将大数据量文件进行资源分片，通过创建多条服务端和接收端之间的连接路径，对文件进行多路径并行下载；
[0008]所述网络安全模块在身份认证方面实现客户权限管理，选用挑战/响应认证、基于芯片密钥的认证和智能卡认证的方式，并使用专网或者虚拟专网进行隔离保护;在传输安全方面，采用对称加密算法进行信息的加密传输，防止信息被非法窃听;文件传输支持使用安全文件传送协议，云平台节点按预定频率更新操作系统漏洞;关闭不使用的服务和端口；网站服务器和云平台共享密钥，同时使用对称算法AES进行加密和解密；网站服务器在返回给客户的网址中增加安全字符串，客户采用包含防盗链信息的网址到云平台中请求内容播放，云平台进行网址检查，保证客户访问的合法性。
[0009]优选地，所述运行数据采集单元，配置多个任务并发工作，从网络地址动态变化的数据节点中实时地采集电网设备运行数据;数据采集节点通过串行接口从现场获取电力运行实时数据;所述采集单元从采集节点中采集电网设备运行数据，每个采集节点在一个采集周期内缓存数据，而所述采集单元在采集节点中数据更新之前从中采集实时数据;所述采集单元包括连接模块和收发模块，其中连接模块用于与采集节点之间建立Socket连接；收发模块封装与采集节点间的数据传输协议，实现与采集节点间数据包的发送和接收;在多任务机制中:主任务负责系统的初始化工作首先从数据库读取各采集节点配置文件，包括IP地址、端口、ID，并存入配置文件列表中，其次创建监测任务和数据读取任务;监测任务侦听每个采集节点最新的网络地址，以保证系统和采集节点间可靠的通信连接;数据读取任务用于实现从多个采集节点中电力运行实时数据的采集、处理与存储。
[0010]本发明相比现有技术，具有以下优点:
[0011]本发明提出了一种电网数据处理云平台系统，整合了数据采集发布、网络侦测、数据传输功能，在处理大量客户访问时减少网络拥塞，提高了服务的稳定性。
【具体实施方式】
[0012]下文提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。
[0013]本发明将数据采集发布、网络侦测、数据传输等技术融入电网数据处理云平台系统，形成灵活可扩展、可管理、高性能的电网数据处理云平台体系架构。电网数据处理云平台功能逻辑架构分为运行数据采集单元、数据发布单元、平台管理单元、通信单元和调度控制单元。运行数据采集单元连接于多个采集节点，实时地采集电网设备运行数据。数据发布单元负责数据的存储、管理以及全网发布，由数据管理、数据存储、数据发布3个功能模块组成。平台管理单元负责云平台管理。平台管理单元中的统计分析模块负责采集云平台的带宽流量数据、流量缓存数据、节点流量比例、资源访问的统计数据，进行客户行为分析并提供给外部数据分析系统；网络安全模块负责客户身份认证、内容安全等。通信单元负责处理终端客户的各种业务请求，实现广域网传输优化。调度控制单元是基于内容频度、客户位置、客户行为、网络测量的上报数据决定以何种策略调度内容、调度哪些内容、节点如何选取。调度控制单元由网络侦测和调度执行模块组成。
[0014]运行数据采集单元，配置多个任务并发工作以实现从网络地址动态变化的数据节点中可靠地、高效地、实时地采集电网设备运行数据。运行数据采集单元基本工作流程如下:电网设备运行数据采集节点通过串行接口从现场的多个电力监控仪表中获取电力运行实时数据;所述采集单元从采集节点中采集电网设备运行数据，将采集到的数据一方面展示于客户浏览器端，以便客户实时地监测电网设备运行数据变化状况，另一方面存入数据库中作为备份。
[0015]米集单兀多任务机制以提尚系统资源利用率和执行效率。米集单兀的每台米集节点在一个采集周期内缓存上千条电网设备运行数据，本系统需要实现在采集节点中数据更新之前从中采集实时数据所述采集单元包括连接模块和收发模块，其中连接模块负责实现与采集节点之间建立Socket连接;收发模块封装与采集节点间的数据传输协议，实现与采集节点间数据包的发送和接收。在多任务机制中:①主任务负责系统的初始化工作:首先从数据库读取各采集节点配置文件，包括IP地址、端口、ID等，并存入配置文件列表中，其次创建监测任务和数据读取任务;②采集节点启动后每隔一段时间IP地址和端口会动态变化，并且偶尔会有新的采集节点节点加入数据网络。建立监测