一种分布式光伏数据回填系统及方法与流程

1.本发明涉及一种分布式光伏数据回填系统及方法，属于分布式光伏技术领域。


背景技术：

2.随着分布式光伏电站的规模化发展，为了方便对所属光伏电站进行统一管理，发电集团一般会建立区域/全国的集控中心/运维中心，集控中心建设云平台系统，与所有的所属分布式光伏电站的智能终端设备交互，负责汇集光伏电站的相关数据，进行统一的监控和管理。目前，分布式光伏电站点多面广，与集控中心之间的链路一般为2g/3g/4g无线。由于多方面的原因，2g/3g/4g无线通信异常或中断的情况时有发生。在无线通信中断期间，分布式光伏电站采集的数据无法正常上传到集控中心，造成集控中心侧数据的缺失，并对后期各种生产指标的计算和运维管理产生较大影响。
3.为了避免这种情况的发生，光伏集控系统一般要求具备数据回填的功能，即当无线通信中断时，光伏电站侧的采集设备能够暂存所采集的电站数据，当无线通信恢复时，需要把光伏电站侧暂存的数据回填到集控中心侧，补充缺失的数据。但现有的断点续传技术都或多或少存在一些问题，有些续传时，历史数据的传输，会影响实时数据的传输，对集控中心的实时监视造成影响；有些对数据包的传输效率和可靠性未予考虑，一般应用于通信通道稳定且短时间中断后的数据同步，不适用于分布式光伏系统通信通道质量差，时断时续的应用场景。


技术实现要素：

4.本发明的目的在于克服现有技术中的不足，提供一种分布式光伏数据回填系统及方法，有效提高了不稳定通信通道下的通信灵活性，既可文件准备完毕即时上送，也可在通信通道频繁通断时安排后续批量上送。
5.为达到上述目的，本发明是采用下述技术方案实现的：
6.第一方面，本发明提供了一种分布式光伏数据回填系统，包括：云平台系统、智能终端设备和供云平台系统与智能终端设备数据交互的通信模块，其中：
7.所述云平台系统包括断点检查模块、任务列表管理模块和数据处理模块，
8.所述断点检查模块接收监控数据包，判断监控数据包是否有断点；响应于监控数据包有断点时，更新包含数据回填任务项的任务列表；
9.所述任务列表管理模块基于任务列表中任务项初始状态，向智能终端发送数据回填选择数据包；接收智能终端设备反馈的数据回填返校数据包，更新任务项；基于任务项就绪状态，接收智能终端设备上载的数据回填压缩文件；删除任务列表中处理完成的任务项，响应于任务列表清空时，通知智能终端设备删除所有数据回填压缩文件；
10.所述数据处理模块对上载的数据回填压缩文件进行校验、解压缩和数据回填。
11.进一步的，所述智能终端设备包括数据组织模块，所述数据组织模块基于数据回填选择数据包查询相应的数据后，将数据组织成数据回填压缩文件，并结合文件校验码生
成数据回填返校数据包。
12.进一步的，所述监控数据包包括数据包时标和终端编号，所述数据包时标基于数据产生的时间顺序按秒生成，所述终端编号为智能终端设备的编号。
13.进一步的，所述断点检查模块判断接收到的监控数据包中的终端编号与已断线的终端编号是否一致：若不一致，那么执行实时数据存储；否则进行实时数据存储并更新终端编号相应的数据回填任务列表。
14.进一步的，所述数据回填任务列表包括多个任务项，所述任务项为每次断线到重新上线之间没有被传输的数据包的起始时标和结束时标组成的时标对集合，且相邻时标对的时间间隔小于阈值的归入同一个任务项。
15.进一步的，所述任务列表管理模块接收智能终端反馈的数据回填返校数据包后，更新任务项就绪标记、对应的数据回填压缩文件名和文件校验码。
16.进一步的，所述任务列表管理模块基于任务列表的任务项就绪标记建立允许断点续传方式的文件上载过程，接收智能终端设备上载的数据回填压缩文件。
17.第二方面，本发明提供了一种分布式光伏数据回填方法，由所述的分布式光伏数据回填系统中的云平台系统执行，包括：
18.接收智能终端设备发送的监控数据包，判断监控数据包是否有断点；
19.响应于监控数据包有断点时，更新包含数据回填任务项的任务列表；
20.基于任务列表中任务项初始状态，向智能终端发送向数据回填选择数据包；
21.接收智能终端设备反馈的数据回填返校数据包，更新任务项；
22.基于任务项就绪状态，接收智能终端设备上载的数据回填压缩文件；
23.对数据回填压缩文件进行校验、解压缩和数据回填；
24.删除任务列表中完成的任务项，响应于任务列表清空时，通知智能终端设备删除所有数据回填压缩文件。
25.与现有技术相比，本发明所达到的有益效果：
26.一、本发明提出了多场景的“云”层数据回填任务列表生成方法以及基于“选择-执行”机制实现数据回填压缩文件准备和数据包发送的异步处理，有效提高了不稳定通信通道下的通信灵活性，既可文件准备完毕即时上送，也可在通信通道频繁通断时安排后续批量上送，可有效解决通信通道不稳定，频繁通断的应用场景下光伏智能终端设备与云平台系统的可靠、高效数据同步问题。
27.二、本发明通过数据回填任务列表可实现数据回填任务的动态、可靠管理，保证回填数据的精准和高效定位，有效减小数据包大小；数据回填数据转换成压缩文件，加上允许断点续传的文件上载过程，可有效提高数据包通信效率和可靠性，降低通信压力。推荐空闲时段(如晚间，实时数据通信量大幅下降)发起数据回填文件上载过程，可充分利用闲置通信带宽。
附图说明
28.图1是本发明实施例一提供的分布式光伏数据回填系统结构示意图；
29.图2是本发明实施例一提供的分布式光伏数据回填流程示意图。
具体实施方式
30.下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
31.实施例一：
32.如图1所示，一种分布式光伏数据回填系统，包括云平台系统和智能终端设备。云平台系统定期检查数据是否有断点，如有断点，会自动创建数据回填任务列表(任务列表由若干任务项组成，一个任务项是每次断线到重新上线之间没有被传输的数据包的起始时标和结束时标组成的时标对集合，相邻时标对的时间间隔小于阈值的归入同一个任务项)，然后根据任务项初始状态启动数据回填选择任务，通知智能终端设备将相关数据组织成数据回填压缩文件，再根据任务项就绪状态，建立允许断点续传方式的文件上载过程，完成数据回填压缩文件的上载、校验、解压缩和数据回填，最后任务列表清空后，由云平台系统发送数据回填任务完成的消息包，通知智能终端设备删除所有数据回填压缩文件。
33.云平台系统包括断点检查模块、任务列表管理模块、通信模块和数据处理模块，智能终端设备包括数据组织模块、通信模块。云平台系统通过断点检查模块定期检查数据是否有断点，如有断点，会自动创建数据回填任务项；云平台任务列表管理模块根据任务项初始状态启动数据回填选择任务，根据任务项就绪状态，建立允许断点续传方式的文件上载过程，任务列表清空后，通知智能终端设备删除所有数据回填压缩文件；云平台系统通过通信模块与智能终端设备互动，发送数据回填选择数据包，接收数据回填返校数据包并更新任务项就绪标记，在文件上载过程中作为客户端运行上载数据回填压缩文件，发送数据回填任务完成的消息包；云平台数据处理模块实现数据回填压缩文件的校验、解压缩和数据回填。智能终端设备通过通信模块与云平台系统互动，接收数据回填选择数据包并调用数据组织模块，发送数据回填返校数据包，在文件上载过程中作为服务器运行上传数据回填压缩文件，接收数据回填任务完成的消息包并删除所有数据回填压缩文件；智能终端设备通过数据组织模块查询相应的数据，将数据组织成数据回填压缩文件。
34.为了实现数据回填功能，每一个智能终端设备都有唯一的终端编号，每一个监控数据包不仅有唯一的、按照数据产生的时间顺序按秒生成的数据包时标，而且附带了前面唯一的终端编号。
35.实施例二：
36.如图2所示，一种分布式光伏数据回填方法，其中云平台系统执行如下步骤：
37.(1)接收智能终端设备发送的监控数据包，所述监控数据包中包括数据包时标和终端编号。
38.(2)判断接收到的监控数据包中的终端编号与已断线的终端编号是否一致，若不一致，那么执行实时数据存储，否则进行实时数据存储并更新终端编号相应的数据回填任务列表。
39.数据回填任务列表由若干任务项组成，一个任务项是每次断线到重新上线之间没有被传输的数据包的起始时标和结束时标组成的时标对集合，相邻时标对的时间间隔小于阈值的归入同一个任务项，阈值定为0.5小时。
40.云平台系统对接收到的监控数据包进行解析，判断新连接的终端编号与已断线的终端编号是否一致，不一致的话则可以识别出是正常终端设备，若是正常终端设备，那么将
接收到的监控数据包存储到云层历史数据存储空间中；若不是正常终端设备，即是在监控过程中断线的终端设备，当前监控数据包的数据包时标记为b，已断线前最后一个监控数据包的数据包时标记为a，时标对a-b组成终端编号相应的数据回填任务项，添加到任务列表中。阈值时间内同一终端编号的终端设备再次断线并恢复后，形成的时标对a
i-bi将并入同一个数据回填任务项。
41.(3)根据任务列表的任务项初始状态启动一个数据回填选择任务，即创建并发送数据回填选择数据包，数据回填选择数据包的格式如下：
[0042][0043][0044]
(4)接收智能终端设备发送的数据回填返校数据包，更新任务项就绪标记、对应的数据回填压缩文件名和文件校验码，数据回填返校数据包的格式如下：
[0045]
包头终端编号返校标记文件名文件校验码包尾
[0046]
(5)根据任务列表的任务项就绪标记建立允许断点续传方式的文件上载过程，完成任务项对应的数据回填压缩文件上载。
[0047]
文件上载过程根据数据回填压缩文件的大小，可由多个线程组成，具有断点续传属性，如lftp作为客户端，vsftpd作为服务器端。
[0048]
文件上载过程可安排在分布式光伏系统通信通道空闲时段进行(如晚间)；可采用批处理方式上载任务列表所有就绪任务项对应的数据回填压缩文件。
[0049]
(6)完成数据回填压缩文件的校验、解压缩和数据回填。
[0050]
根据任务项的文件校验码，校验数据回填压缩文件的接收正确性。校验算法与智能终端设备保持一致，包括md5、sha-1、sha-256和sha-512等。
[0051]
解压缩算法与智能终端设备的压缩算法保持一致，包括字典转换、霍夫曼编码或两者组合的算法等。
[0052]
数据回填存储空间包括数据库和数据高速缓存，即，可将数据回填数据存储在数据库中或者将数据回填数据存储在数据高速缓存中。将数据回填数据存储在数据库中的好处是能够存储较多的数据，将数据回填数据存储在数据高速缓存中的优势是存储快、读取快、利于刷新。
[0053]
(7)从任务列表删除完成的任务项。任务列表清空后，发送数据回填任务完成的消息包。
[0054]
如图2所示，一种分布式光伏数据回填方法，其中智能终端设备执行如下步骤：
[0055]
(1)侦听云平台系统发送的数据回填选择数据包。
[0056]
数据回填通信服务端口与实时数据通信服务端口采用不同的端口(两个端口并非两个单独的硬件接口，而是通过软件实现的两个数据接口)。可采用tcp或是udp来通讯，这个由云平台系统确定。
[0057]
(2)根据数据回填选择数据包，查询相应的数据，将数据组织成数据回填压缩文件。
[0058]
数据压缩算法包括字典转换、霍夫曼编码或两者组合的算法等。
[0059]
数据回填压缩文件以数据回填选择数据包中的时标a命名。
[0060]
(3)生成数据回填压缩文件后，发送数据回填返校数据包，返校数据包中包括数据回填压缩文件名和文件校验码。
[0061]
校验算法包括md5、sha-1、sha-256和sha-512等。
[0062]
(4)通过在线文件下载服务，响应云平台系统发起建立的文件上载过程，完成数据回填数据包发送。
[0063]
数据回填数据包中的数据体是文件上载过程指定的数据回填压缩文件的全部或分拆内容。
[0064]
(5)收到数据回填任务完成的消息包后，删除所有数据回填压缩文件。
[0065]
本发明公开了一种分布式光伏数据回填系统及方法，云平台系统定期检查数据是否有断点，如有断点，会自动创建数据回填任务列表(任务列表由若干任务项组成，一个任务项是每次断线到重新上线之间没有被传输的数据包的起始时标和结束时标组成的时标对集合，相邻时标对的时间间隔小于阈值的归入同一个任务项)，然后根据任务项初始状态启动数据回填选择任务，通知智能终端设备将相关数据组织成数据回填压缩文件，再根据任务项就绪状态，建立允许断点续传方式的文件上载过程，完成数据回填压缩文件的上载、校验、解压缩和数据回填，最后任务列表清空后，由云平台系统发送数据回填任务完成的消息包，通知智能终端设备删除所有数据回填压缩文件。
[0066]
任务列表可实现数据回填任务的动态、可靠管理，保证回填数据的精准和高效定位，有效减小数据包大小。数据回填数据转换成压缩文件，加上允许断点续传的文件上载过程，可有效提高数据包通信效率和可靠性，降低通信压力。“选择-执行”机制实现数据回填压缩文件准备和数据包发送的异步处理，有效提高了不稳定通信通道下的通信灵活性，既可文件准备完毕即时上送，也可在通信通道频繁通断时安排后续批量上送。推荐空闲时段(如晚间，实时数据通信量大幅下降)发起数据回填文件上载过程，可充分利用闲置通信带宽。
[0067]
本发明提出了多场景的“云”层数据回填任务列表生成方法以及基于“选择-执行”机制和允许断点续传方式的文件上载过程的异步数据同步方法，可有效解决通信通道不稳定，频繁通断的应用场景下光伏智能终端设备与云平台系统的可靠、高效数据同步问题。
[0068]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0069]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0070]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0071]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0072]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。