基于数据截获和spark的配网运行评价方法及系统与流程

本发明属于电力系统自动化技术领域，涉及配网关键运行指标评价方法及系统，尤其是一种基于数据截获和spark的配网运行评价方法及系统。

背景技术：

当前，现有技术获取配网数据无法保证数据的实时性和真实性，同时在处理海量数据时存在性能瓶颈，无法实时计算配网运行的关键指标，对于配网运行状况的评价也没有采用合适的评价指标。

技术实现要素：

本发明的目的在于克服现有技术的不足，提出一种设计合理、成本低、可靠性高且实时性强的基于数据截获和spark的配网运行评价方法及系统。

本发明解决其现实问题是采取以下技术方案实现的：

一种基于数据截获和spark的配网运行评价方法，包括以下步骤：

步骤1、抓取终端通信报文，通过交换机镜像端口，获取到镜像报文；

步骤2、对步骤1的镜像报文进行分析，过滤101,104规约的报文，并将报文存储到hdfs；

步骤3、从hdfs中获取报文，在spark平台上对报文进行解析，获取到报文中的参数，并对参数进行分析处理后，根据参数计算得出评估配网运行状况的关键运行指标的量化评价结果，以对配网运行情况进行评价；

步骤4、将获取到的评价结果，通过web页面展示。

而且，所述步骤1的具体方法为：获取来自采集终端的报文，通过给采集交换机设置镜像端口，将镜像的报文转发至报文处理服务器进行处理。

而且，所述步骤2的具体步骤包括：

(1)获取报文，基于libpcap数据包捕获库对镜像中的报文实施循环抓捕，从而过滤出101、104规约的报文；

(2)将101，104规约的报文存储到hdfs。

而且，所述步骤3的具体步骤包括：

(1)从hdfs中获取报文，基于spark平台对报文进行规约解析，判断规约内容是否正常，正常则进入步骤(2)，否则丢弃；

(2)判断规约格式为可变帧格式还是固定帧格式，对于101规约，可变帧启动字符是0x68，结束字符是0x16，固定帧启动字符是0x01，结束字符是0x16；

对于可变帧格式，进行解析识别，获取到报文包含的各个参数，包括遥测、遥信和遥控；

对于固定帧格式，进行识别判断，获取到报文包含的各个参数，包括链路确认和测试帧；

(3)对获取的参数进行处理；

(4)结合处理过的参数和评价方法，基于spark平台计算出配网的关键运行指标的量化评价结果；

而且，所述步骤3的第(4)步的具体方法为：

①fa启动率：

其中，故障次数a是指馈线发生故障的次数；fa启动次数b是指在故障发生后，馈线自动化系统正常启动的次数；

②fa正确率：

其中，fa正确次数c是指能在fa启动后正确动作，定位并隔离故障，恢复非故障区域供电的次数；

③主站在线率:

其中，全日历时间a是指主站启动到某一时刻的时间跨度，主站停运时间b是指在全日历时间内，主站停运的多段时间之和；

④遥信动作正确率:

其中，遥信正确动作次数a是指遥信正确执行的次数；拒动误动次数b是指遥信中错误动作和拒绝动作的次数之和；

⑤遥测采集正确率：

其中，遥测采集正确数目b是指遥测采集的正确数据的数量，遥测采集总数a是指遥测采集总的次数；

⑥遥控使用率：

其中，可遥控次数总数a是指总的可以遥控的次数。

⑦遥控正确率：

其中，遥控成功次数c是指遥控成功的次数，实际遥控次数b是指实际遥控总的次数。

⑧终端在线率：

其中，当前使用的终端设备在线时长b是指当前在线的终端设备的运行在线时长，所有在使用的终端应在线时长a是指所有应该在线运行的终端设备的在线时长；

一种基于数据截获和spark的配网运行评价系统，包括采集终端、采集交换机、报文处理服务器和spark处理平台；所述采集终端与采集交换机相连接，用于采集报文并将所采集的报文输出至采集交换机；所述采集交换机与报文处理服务器相连接，用于接收采集终端采集的报文，对报文进行镜像；并将镜像报文转发到报文处理服务器；报文处理服务器与spark处理平台相连接，用于将报文过滤处理后，存储到hdfs中；所述spark处理平台用于从hdfs中获取报文，并对所获取的报文进行分析处理，计算出配网运行的关键评价指标；

而且，所述spark处理平台包括：获取报文单元，用于从hdfs获取报文；规约分析单元，用于对获取到的报文进行规约分析，判断规约内容是否为正常，正常则进入下一步，否则丢弃；规约格式判断单元，用于判断规约格式，并根据所述规约格式获取相应的参数；参数处理单元，用于指标参数的处理，根据电力系统拓扑结构和运行原理，处理参数；指标评价计算单元，用于结合评价方法和处理过的参数，计算指标量化评价的结果。

本发明的优点和有益效果：

1、本发明能够获取实时、准确的配网运行数据，当需要处理的报文数量巨大时，将报文存储在适合存储海量数据的分布式文件系统hdfs中，通过高性能的spark计算框架，结合合适的评价指标，能实时计算配网运行的关键评价指标，评价配网运行状况，优化配网的调度控制，提升配网的自动化水平。

2、本发明提供的基于数据截获和spark的配网运行评价方法及系统，本发明涉及报文镜像，报文过滤，hdfs存储，spark数据分析，评价计算等多个技术，从采集终端获取报文，能够保证数据的真实性。结合spark平台能够对海量的报文进行解析计算，具有良好的实时性；

3、本发明的基于数据截获和spark的配网运行评价方法及系统，通过计算主站在线率、自动化覆盖率、遥信动作正确率、遥控正确率、遥控使用率、遥测采集正确率、fa启动率、fa正确率、终端在线率等关键运行指标，实现配电自动化系统功能及性能运行评估，进而能确保配电自动化系统在配电生产调度业务过程中的可靠运行及有效利用；

4、本发明是在现有网络部署的条件下进行的改进，改进方便，成本低。

附图说明

图1是本发明的处理流程图；

图2是本发明的镜像报文处理流程图；

图3是本发明的spark平台处理流程图；

图4是本发明的数据截获处理流程图；

图5是本发明的系统整体架图；

图6是本发明的spark处理平台功能单元及执行流程图。

具体实施方式

以下结合附图对本发明实施例作进一步详述：

一种基于数据截获和spark的配网运行评价方法，如图1所示，包括以下步骤：

步骤1、抓取终端通信报文，通过交换机镜像端口，获取到镜像报文；

在本实施例中，所述步骤1的具体方法为：获取来自采集终端的报文，通过给采集交换机设置镜像端口，将镜像的报文转发至报文处理服务器进行处理。

步骤2、对步骤1的镜像报文进行分析，过滤101,104规约的报文，并将报文存储到hdfs；

如图2所示，所述步骤2的具体步骤包括：

(1)获取报文，基于libpcap数据包捕获库对镜像中的报文实施循环抓捕，从而过滤出101、104规约的报文；

(2)将101，104规约的报文存储到hdfs。

在本实施例中，所述步骤2的具体方法为：在报文处理服务器中，采用libpcap数据包捕获库进行报文的过滤，然后存储报文到hdfs中；

所述步骤2的第(1)步的报文过滤的具体方法如图4所示：

首先通过pcap_open_live打开用于报文抓捕的网络处理器，获得用于捕获网络数据包的数据包捕获描述字；其次使用pcap_setfilter设置数据过滤器，过滤出需要的101,104报文；过滤器是一个包含过滤表达式的ascii字符串，可以根据需求对各类报文进行过滤；通过pcap_loop设置回调，捕获数据包,通过使用pcap_read读ip取包，作为启动pacp_callback回调执行的判断条件，对报文实施循环抓捕，从而过滤出101、104规约的报文；

步骤3、从hdfs中获取报文，在spark平台上对报文进行解析，获取到报文中的参数，并对参数进行分析处理后，根据参数计算得出评估配网运行状况的关键运行指标的量化评价结果，以对配网运行情况进行评价；

所述步骤3的具体步骤包括：

(1)从hdfs中获取报文，基于spark平台对报文进行规约解析，判断规约内容是否正常，正常则进入步骤(2)，否则丢弃；

(2)判断规约格式为可变帧格式还是固定帧格式，对于101规约，可变帧启动字符是0x68，结束字符是0x16，固定帧启动字符是0x01，结束字符是0x16；

对于可变帧格式，进行解析识别，获取到报文包含的各个参数，包括遥测、遥信、遥控等；

对于固定帧格式，进行识别判断，获取到报文包含的各个参数，包括链路确认、测试帧等；

(3)对获取的参数进行处理；

(4)结合处理过的参数和评价方法，基于spark平台计算出配网的关键运行指标的量化评价结果；

在本实施例中，所述步骤3的基于spark平台对报文进行规约解析的具体方法如图3所示，spark处理平台主要通过读取hdfs中存储的报文，对报文进行解析操作，详细处理过程：在获取报文后，对报文进行规约分析，根据规约鉴别不同的报文类型，首先判断规约类型是101规约还是104规约；在此基础上对规约进行判断，是否正常的规约，如果规约内容出错，则直接丢弃；如果规约正确，再进行规约格式的判断，判断其为固定帧格式还是可变帧格式，对于101规约，0x10是固定帧启动字符，0x16是结束字符，可变帧以0x68作为启动字符，0x16是结束字符；对于固定帧格式，则进行判断控制，提取出报文的各个参数，包括链路确认、测试帧等；对于可变帧格式，进行判断控制，提取出报文的各个参数，包括遥测、遥信、遥控等。解析完报文后可获取报文中参数，结合参数和评价方法，计算出配网关键运行指标的量化评价结果。

所述步骤3的第(4)步的具体方法为：

①fa启动率是指在某条馈线发生故障后，fa能够根据故障信息启动的次数占故障次数的比例，其计算公式如下：

其中，故障次数a是指馈线发生故障的次数；

在选定的时间范围内，根据出口断路器的跳闸动作和继电保护装置的动作进行综合评定，当报文中的soe信息中的断路器状态位中的信息由合位变为分位，同时继电保护信号由分位变为合位，则判定馈线发生一次事故；通过可选的时间间隔，统计出发生的总的故障次数a。

fa启动次数b是指在故障发生后，馈线自动化系统正常启动的次数；

fa启动次数的判定通过遥控信号的变位进行统计，在上述事故发生时刻t+δt时刻内，当遥控指令发送一次，并由分位变为合位，则判定fa启动，根据所选的时间间隔，统计出发生总的fa启动次数。

②fa正确率是指在某条馈线发生故障后，fa启动后能否正确动作，定位并隔离故障区域，恢复非故障区域的供电，其计算公式如下所示：

其中，fa正确次数c是指能在fa启动后正确动作，定位并隔离故障，恢复非故障区域供电的次数；

在可选的时间范围内，当遥控指令发生变位，获取到报文中的遥信信号，根据fa正确性评价方法，可以对fa动作的正确次数进行评价。根据所选的时间间隔，当fa启动后判定为正确，则fa正确次数加1，从而统计出总的fa正确次数。

③主站在线率是指主站在系统启动后，到某一时刻主站在线运行时间占比:

其中，全日历时间a是指主站启动到某一时刻的时间跨度，主站停运时间b是指在全日历时间内，主站停运的多段时间之和。主站停运通过报文的收发情况来判断。

④遥信动作正确率表征遥信动作正确程度:

其中，遥信正确动作次数a是指遥信正确执行的次数；拒动误动次数b是指遥信中错误动作和拒绝动作的次数之和；

根据开关变位的“分闸”、“合闸”信息和遥信soe信息，可以计算出遥信变位与遥信soe匹配的次数，以及遥信变位的次数；从而评价出遥信正确率。

⑤遥测采集正确率反映遥测采集数据的正确程度：

其中，遥测采集正确数目b是指遥测采集的正确数据的数量，遥测采集总数a是指遥测采集总的次数。

⑥遥控使用率是指遥控控制整个使用情况：

其中，可遥控次数总数a是指总的可以遥控的次数。

根据开关变位的“分闸”、“合闸”信息，可以计算出三遥开关的变位次数，综合上述的遥控信息，从而评价出遥控使用率。

⑦遥控正确率是指所用的遥控控制中正确的程度：

其中，遥控成功次数c是指遥控成功的次数，实际遥控次数b是指实际遥控总的次数。

根据对三遥开关设备进行遥控的具体信息，包括遥控预置、遥控下发、遥控结果返回信息，可以计算出三遥开关的遥控成功次数和遥控总次数，再通过这些信息来进行配网遥控成功率的评价分析。

⑧终端在线率是指当前在使用的终端设备在线时长与所有在使用的终端应在线时长的比值：

其中，当前使用的终端设备在线时长b是指当前在线的终端设备的运行在线时长，所有在使用的终端应在线时长a是指所有应该在线运行的终端设备的在线时长；

根据记录的终端“运行”、“断开”和时标信息，可以计算出终端在线时长和离线时长，然后结合这些信息来评价配网终端在线率。

步骤4、将获取到的评价结果，通过web页面展示。

本发明提出一种基于数据截获和spark的配网运行评价系统，如图5所示，包括采集终端1、采集交换机2，报文处理服务器3和spark处理平台4；

所述采集终端与采集交换机相连接，用于采集报文并将所采集的报文输出至采集交换机；

所述采集交换机与报文处理服务器相连接，用于接收采集终端采集的报文，并对报文进行镜像；镜像是将采集交换机某个端口的流量拷贝到另一端口(镜像端口)，镜像后，将镜像报文转发到报文处理服务器；

报文处理服务器3与spark处理平台4相连接，用于将报文过滤处理后，存储到hdfs中；

spark处理平台从hdfs中获取报文，用于对所获取的报文进行分析处理，计算出配网运行的关键评价指标；

所述spark处理平台包括：获取报文单元41，用于从hdfs获取报文；规约分析单元42，用于对获取到的报文进行规约分析，判断规约内容是否为正常，正常则进入下一步，否则丢弃；规约格式判断单元43，用于判断规约格式，并根据所述规约格式获取相应的参数；参数处理单元44，用于指标参数的处理，根据电力系统拓扑结构和运行原理，处理参数；指标评价计算单元45，用于结合评价方法和处理过的参数，计算指标量化评价的结果，其结构示意图如图6所示。

在本实施例中，一个采集交换机2对应多个采集终端1，可以同时对多个采集终端1的报文进行分析处理，结构简单，节约成本。

需要强调的是，本发明所述实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。