智能表计数据采集完整性的方法、数据采集服务器及系统与流程

本发明涉及电力系统数据采集技术领域，特别涉及一种智能表计数据采集完整性的方法、数据采集服务器及系统。

背景技术：

在物联网、能源互联网等应用领域中涉及大量的智能表计的数据采集与发送，由于传统的电力监控系统SCADA，建立在以专线为基础的专网环境下，随着社会进步和改革开放的深入，互联网的迅速崛起，大量应用建立在以互联网为基础的平台上，传统的高成本专线建设必将被逐步取代。

在传统的专线通讯联网模式下，被黑客、病毒攻击产生的网络阻塞等各种原因引起的网络阻塞或断网基本不会发生；同时在认知上传统的管理需求下采集的数据时效性要求也远没有现在那么高，数据出现断点也不会引起重大问题；而大数据时代，数据的完整性直接影响到数据分析和挖掘的正确性，从而避免巨大商业价值错失。

在配电领域，数据采集具有特殊意义，被采集的数据一定要安全、有效，这样的数据才能为配电行业进行电量需量的分析和挖掘起到真正有效的指引。但配电领域的数据往往存在颗粒度小，但对实时采集以及数据安全性要求较高。

目前通过网络实时采集数据的一般为通过在每个电站内设置一台公共机(一台计算机、服务器或其他具有网络通信功能的可直接通过网络采集表计数据的设备)，由该公共机统一采集各个节点的数据，但这种采集方式每个公共机的服务器所能采集数据的节点数量有限，且单机价格昂贵，当需要对多个电站以及具有大量数据节点的电站来说，其无法满足需求，而配置集群式服务器价格往往难以承受。而对于单个的表计，其存储空间有限，由于表计数量庞大、存在多种类型及采用不同的通信协议，出于需求与成本的考虑不可能为每个表计扩展出足够的存储空间，当出现异常情况当前采集数据无法及时通过网络传输到数据中心时，往往造成数据丢失，不利于对电站的监控和管理。

技术实现要素：

本发明的目的在于提供一种智能表计数据采集完整性的方法、数据采集服务器及系统，以解决现有的采集系统所存在的数据并发量大影响数据正常采集、数据存储量小、数据传输不稳定、网络拥塞或故障时数据易丢失的问题。

为实现上述目的，本发明提供了一种智能表计数据采集完整性的数据采集的系统，包括数据采集服务器，以及数据采集策略服务器，所述数据采集服务器用于采集供电网中各类的智能表计的数据，并与供电网的所述数据采集策略服务器进行数据交互，所述数据采集策略服务器通过互联网与供电网的监控分中心服务器进行通信；

还包括与监控分中心服务器相连的监控终端、维护终端及数据挖掘终端，所述监控终端用于获取采集的数据并显示；所述维护终端用于获取采集的数据并在检测到数据异常时通知维护人员；所述数据挖掘终端用于根据采集的数据进行处理分析供电网的各表记及传感器的工作性能；

其中，所述数据采集服务器包括eMMC存储单元、数据采集单元、通信单元及控制单元，所述控制单元用于控制所述数据采集单元定期采集供电网中各类的智能表计的数据，所述eMMC存储单元用于存储采集的数据；所述通信单元用于在网络正常的情况下将采集的数据发送至数据采集策略服务器，进而通过所述数据采集策略服务器将采集的数据发送至互联网中的监控分中心服务器。

较佳地，还包括发布服务器，所述发布服务器与所述监控分中心服务器相连，用于获取采集的数据并通过云端设备发布给用户端以供用户使用。

本发明还提供了一种智能表计数据采集完整性的数据采集服务器，该数据采集服务器用于采集供电网中各类的智能表计的数据，并与供电网的数据采集策略服务器进行数据交互，所述数据采集策略服务器通过互联网与供电网的监控分中心服务器进行通信，其中，所述数据采集服务器包括eMMC存储单元、数据采集单元、通信单元及控制单元，所述控制单元用于控制所述数据采集单元定期采集供电网中各类的智能表计的数据，所述eMMC存储单元用于存储采集的数据；所述通信单元用于在网络正常的情况下将采集的数据发送至数据采集策略服务器，进而通过所述数据采集策略服务器将采集的数据发送至互联网中的监控分中心。

较佳地，所述控制单元包括：

网络检测模块，用于检测所述通信单元使用的通信网络是否正常通信；

存储控制模块，用于在通信网络正常通信时控制所述通信单元将采集的数据发送至数据采集策略服务器，以及在通信网络不正常时控制所述数据采集单元将采集的数据存储在所述eMMC存储单元中。

较佳地，所述控制单元还包括：

阈值监测单元，用于检测当前采集的数据是否超出预先设置的阈值范围；

报警单元，用于在检测到当前采集的数据超出预先设置的阈值范围后发送报警信息至数据采集策略服务器。

较佳地，eMMC存储单元的存储容量为8G。

较佳地，所述eMMC存储单元的3G存储容量用作Linux系统区，5G存储容量用于存储采集的数据。

较佳地，所述通信单元包括基站、移动交换机、以太网、移动交换机网络接口、RS-232、RS-485中的一种或多种。

较佳地，所述通信单元包括GSM/GPRS模块、GSM/GPRS网络接口、CDMA模块、CDMA网络接口中的一种或多种。

本发明还提供了一种智能表计数据采集完整性的方法，包括以下步骤：

(1)数据采集服务器采集配电站内各类的智能表计的数据；

(2)数据采集服务器检测其与数据采集测量服务器间的通信网络是否正常，如正常，进入步骤(3)；

(3)数据采集服务器将采集的数据通过所述通信网络发送至数据采集策略服务器；数据采集策略服务器将采集的数据通过网络共享至监控分中心服务器；

(4)如通信网络不正常，则将采集的数据存储至eMMC存储单元，待网络恢复后，将eMMC存储单元内的数据发送至数据采集策略服务器；再由数据采集策略服务器将采集的数据通过网络共享至监控分中心服务器。

较佳地，获取采集的历史数据，根据历史数据计算每条采集数据的平均长度L，获取采集周期T，数据采集点N，根据所述平均长度L及采集周期T计算31天的采集数据的总占用存储空间Z为：

Z＝(L*N*3600秒/小时*24小时/天*31天)/T，

其中，这里取L＝4字节，T＝10秒，N＝5000点，则Z为5G；

则根据计算得到的Z的大小，设置eMMC存储单元的容量大小设置为8G，其中，分配eMMC存储单元的3G容量用于系统运行，分配eMMC存储单元的5G量用于数据存储。

本发明的技术方案具有以下有益效果：

(1)选择在数据采集主板端安装存储单元可以极大的解决数据并发量问题，同步性较好；

(2)可以将全部表计的数据整合储存，解决了智能表端安装存储单元的数据存储量小和不稳定的问题，数据采集频率较高；

(3)可以极大的提高数据存储安全性，解决传统智能表安装存储单元的易被黑客攻击修改数据、乃至断网影响数据完整性的问题；

(4)成本较低，应用方便，便于推广。

附图说明

图1为本发明优选实施例的数据采集服务器组成结构示意图；

图2为优选实施例的数据采集服务器控制单元组成结构示意图；

图3为优选实施例的数据采集系统组成结构示意图。

标号说明：100-数据采集服务器；110-eMMC存储单元；120-数据采集单元；130-通信单元；140-控制单元；200-数据采集服务器；141-网络检测模块；142-存储控制模块；143-监测单元；144-报警单元；200-数据采集策略服务器；300-监控分中心服务器；310-监控终端310；320-维护终端320；330-数据挖掘终端330；400-发布服务器。

具体实施方式

为更好地说明本发明，以下述各实施例，并配合附图对本发明作详细说明，具体如下：

如图1所示，本实施例中提供的智能表计数据采集完整性的数据采集服务器中，数据采集服务器100可根据需要设置为PLC控制器，用于采集供电网中各类的智能表计的数据，其中，该PLC控制器与供电网的数据采集策略服务器进行数据交互，数据采集策略服务器通过互联网与供电网的监控分中心服务器进行通信，其中，数据采集服务器100包括eMMC存储单元110、数据采集单元120、通信单元130及控制单元140，其中，控制单元140用于控制数据采集单元120定期采集供电网中各类的智能表计的数据，eMMC存储单元110用于存储采集的数据；通信单元130用于在网络正常的情况下将采集的数据发送至数据采集服务器200，进而通过所述数据采集策略服务器将采集的数据发送至互联网中的监控分中心服务器300。

具体地，本实施例中的控制单元140为ARM主板的CPU及必要的内存，eMMC存储单元110为一eMMC芯片，数据采集单元120为具有与多个待采集数据的智能表计相连的数据采集电路或引线(表计中的数据直接通过引脚输入数据采集单元)，通信单元130具有多种可与外部的服务器通信的通信接口或通信模块。而CPU与作为存储器的eMMC芯片相连且集成在一块板上，配置与CPU相连的数据采集单元120、通信单元130共同构成可实时采集大量表计中数据的数据采集服务器，由于数据采集单元120直接对表计中的数据进行实时采集，因此，采用该数据采集服务器进行多节点表计的数据采集可以保证良好的及时性，数据采集不受网络质量(如中断或拥塞)影响，不会产生数据丢失，在极端情况下如网络持续不可恢复的情况下，仍可将表计的数据完整地采集，有效地保证了供电网中各个电站中大量表计数据的完整性。

另外，采用数据采集服务器进行数据采集后再转发给网络中的数据采集策略服务器，可以对不同表计数据根据其使用的通信协议类型对数据进行转换后，按统一标准发送给数据采集策略服务器，降低数据采集策略服务器的压力，便于数据采集策略服务器收集及处理大量的表计数据。且对数据采集服务器来说，无需互联网即可直接读取各个节点的表计数据，能够适应并发量较大的情况的数据采集，避免了直接由公共机等通过通信网络采集造成的网络拥塞。而采集卡统一执行表计的数据采集还可以实现保证各表计数据采集的良好同步，避免了传统直接由公共机采集各个智能表计时，由于各个智能表计自身时钟的差异造成的数据不同步的问题。CPU采用Linux系统，直接用于控制各个模块，如调用存储单元，而无需设置输入模块(如键盘)，使得该采集卡工作过程中不受外部的影响。

进一步地，如图2所示，本实施例中的控制单元140包括：

网络检测模块141，用于检测通信单元130使用的通信网络是否正常通信，也即该供电网表计数据采集服务器是否可将采集的数据及时地上传至数据采集策略服务器200。

存储控制模块142，用于在通信网络正常通信时控制通信单元130将采集的数据发送至数据采集策略服务器，以及在通信网络不正常时控制数据采集单元120将采集的数据存储在所述eMMC存储单元中。

控制单元还包括：

监测单元143，用于检测当前采集的数据是否超出预先设置的阈值范围，这里的预先设置的阈值范围可为通过与数据采集策略服务器相连监控中心终端310、维护终端320、云端设备或服务器本身直接设置或系统根据历史数据计算生成，这里对阈值如何得到不做限制(参见图3)。

报警单元144，用于在检测到当前采集的数据超出预先设置的阈值范围后发送报警信息至数据采集策略服务器。

在一优选实施例中，本实施例中的eMMC存储单元的存储容量为8G。其中，eMMC存储单元的3G存储容量用作Linux系统区，5G存储容量用于存储采集的数据。也即，本实施例中的控制单元的CPU采用Linux系统执行对各部分的控制。该存储容量的设置是基于以下较极限的情况计算，以满足在最差的情况下，该采集卡仍能采集到全部的数据，保证数据完整性。具体计算方式为：以一个5000个点的大型采集规模，按一个采集点的数据平均占4字节计算，采集周期以10秒计算单位为例：

(4字节*5000个点*3600秒/小时*24小时/天*31天)/10秒＝5G，

经以上计算可知，采用本实施例的采集卡，纵然在1个月连续网络不通的情况下，一共需要5G的存储空间，为此，采用了eMMC 8G快速稳定存储单元，并分配3G的存储空间作为Linux系统区，5G的存储空间作为数据区，以确保断网时采集数据的存储。

通信单元可根据需要设置为包括基站、移动交换机、以太网、移动交换机网络接口、RS-232、RS-485中的一种或多种。

通信单元还可根据需要设置为包括GSM/GPRS模块、GSM/GPRS网络接口、CDMA模块、CDMA网络接口中的一种或多种。

如图3所示，本发明还提供了一种供电网表计数据采集系统，该系统包括数据采集策略服务器200，以及如上述实施例所述的数据采集服务器100，数据采集策略服务器200通过互联网与供电网的监控分中心服务器300进行通信。数据采集服务器100与数据采集策略服务器200相通信。数据采集服务器100设置为PLC控制器，用于采集供电网中各类的智能表计(例如温度传感器、湿度传感器、红外传感器、视频采集设备(此处也视作为智能表计)等)的数据，PLC控制器101与数据采集策略服务器200进行数据交互。

其中，该系统中的数据采集服务器可为一个或多个，可根据各个电站需要采集的智能表计设备的数量、种类等进行适应性设置。该些数据采集服务器所采集数据的表计可为具有主动通信能力的也可以不具有主动通信能力的智能表计，通过数据采集服务器对不同的智能表计的数据进行数据类型转换、汇总以及检测，以进一步传输给数据采集策略服务器进行使用或存档。特别时，在数据异常时，该数据采集服务器可以按阈值及时检测到异常情况的发送，从而可以立即通知数据采集服务器，便于设备维护人员及时发现。

其中，该系统还包括与监控分中心服务器相连的监控终端310、维护终端320、数据挖掘终端330，监控分中心服务器300通过网络(互联网)与数据采集服务器200进行通信。监控终端310用于获取采集的数据并显示；维护终端320用于获取采集的数据并在系统检测到数据异常时通知维护人员；数据挖掘终端330用于根据采集的数据进行处理分析供电网的各表记及传感器的工作性能。

该系统还包括发布服务器400，发布服务器400与监控分中心服务器300相连，用于获取采集的数据并通过云端设备发布给用户。

这样，对于监控终端的管理人员来说，其可以通过与监控中心服务器300相连的监控终端310直接获得各个电站的表计采集的数据的情况。一般地，数据采集服务器可在每个电站设置一个即可，而每个电站的数据采集服务器可为多个或一个。而对于用户来说，也可通过与云端设备相连的各类终端获得其权限内的可查看的相关数据，使用是否方便，且整个系统的信号传输可靠，数据不会丢失。该系统通过数据采集服务器进行数据完整性采集，使得该系统相比现有的通过公共机直接进行数据采集的方式来说，成本较低，不会出现数据传输拥塞、数据丢失的情况。

由于在互联网基础之上的配电领域的数据采集系统，网络阻塞或断网是不可避免的，为此，本发明提出在数据采集服务器的主板上加入了存储芯片--eMMC存储单元，将互联网无法通讯时的采集数据及时地存储在eMMC存储单元里，待网络恢复通信再进行传输，以确保采集数据的完整性，为大数据的数据分析和挖掘提供了保障。

这里的eMMC存储单元为eMMC存储芯片。而eMMC存储芯片相对于现有的CF卡、SD卡来说，发热量较低且耐高温，数据擦写的速度及稳定性更好，特别时CF卡、SD卡为插拔件，易损坏。触点易磨损、易氧化，而本发明的eMMC存储单元直接与控制单元集成在一起即可。

本发明还提供了一种智能表计数据采集完整性的方法，包括以下步骤：

(1)数据采集服务器采集配电站内智能表计的数据；

(2)数据采集服务器检测其与数据采集测量服务器间的通信网络是否正常，如正常，进入步骤(3)；

(3)数据采集服务器将采集的数据通过所述通信网络发送至数据采集策略服务器；数据采集策略服务器将采集的数据通过网络共享至监控分中心服务器；

(4)如通信网络不正常，则将采集的数据存储至eMMC存储单元，待网络恢复后，将eMMC存储单元内的数据发送至数据采集策略服务器；再由数据采集策略服务器将采集的数据通过网络共享至监控分中心服务器。

其中，优选地，获取采集的历史数据，根据历史数据计算每条采集数据的平均长度L，获取采集周期T，数据采集点N，根据所述平均长度L及采集周期T计算31天的采集数据的总占用存储空间Z为：

Z＝(L*N*3600秒/小时*24小时/天*31天)/T，

其中，这里取L＝4字节，T＝10秒，N＝5000点，则Z为5G；

则根据计算得到的Z的大小，设置eMMC存储单元的容量大小设置为8G，其中，分配eMMC存储单元的3G容量用于系统运行，分配eMMC存储单元的5G量用于数据存储。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何本领域的技术人员在本发明揭露的技术范围内，对本发明所做的变形或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述的权利要求的保护范围为准。