电网EMS系统的数据采集方法和系统与流程

本发明涉及电气系统技术领域，特别是涉及一种电网EMS系统的数据采集方法和系统。

背景技术：

随着电网能量管理系统(EMS)的发展，用户对电网EMS系统的需求不断增加，特别是对电网数据采集的要求和采集方式也越来越高。

传统的EMS系统采集方式，主要包括网络光纤、专线通道、电话拨号以及无线等方式等，这些采集方式要求数据采集接收方和转发方共同配合，包括通讯参数、采集数据等，双方配置一致才能实现数据采集功能。

但是在一些应用场景中，例如，EMS旧系统还在运行，EMS新系统改造升级的模式下，传统方式数据采集数据时，工程化进度慢，且需要子站同时改造，影响EMS旧系统正常运行，同时也影响EMS新系统改造升级总体进度。

技术实现要素：

基于此，有必要针对新EMS旧系统同时运行下，影响EMS旧系统正常运行的技术问题，提供一种电网EMS系统的数据采集方法和系统。

一种电网EMS系统的数据采集方法，包括：

在EMS旧系统的前置交换机上选择一端口，将该端口设置成镜像端口，将EMS旧系统的各个前置机对应在前置交换机的配置端口镜像到所述镜像端口上，通过所述镜像端口获取所述前置机的源端口的所有网络报文；所述EMS旧系统为升级改造前的EMS系统；

在EMS新系统中选择一前置机设置为网络侦听服务器，在该网络侦听服务器上选择一镜像网卡，把该镜像网卡设置成混杂监听模式，并建立该镜像网卡与所述镜像端口之间的网络连接；所述EMS新系统为升级改造后的EMS系统；

在网络侦听服务器上部署网络侦听管理进程，用于接收和处理所述网络报文；根据EMS旧系统的采集配置信息配置与EMS新系统的采集通道一一对应的网络侦听通道，以及网络侦听通道对应的侦听规约插件；通过所述网络侦听通道从所述镜像网卡上采集EMS旧系统的网络报文，利用侦听规约插件对所述网络报文进行处理。

一种电网EMS系统的数据采集系统，包括：设于EMS旧系统的多个前置机，前置交换机；设于EMS新系统的网络侦听服务器；

所述EMS旧系统的前置交换机上的一端口设置成镜像端口；

所述EMS旧系统的各个前置机对应在前置交换机的配置端口镜像到所述镜像端口上，通过所述镜像端口获取所述前置机的源端口的所有网络报文；

所述网络侦听服务器是从EMS新系统中选择的一前置机；

所述网络侦听服务器上选择的一镜像网卡设置成混杂监听模式，该镜像网卡与所述镜像端口之间通过网络进行连接；

所述网络侦听服务器上部署有网络侦听管理进程，用于接收和处理所述网络报文；所述网络侦听管理进程配置有EMS新系统的网络侦听通道及其对应的侦听规约插件其中，所述网络侦听通道是根据EMS旧系统的采集配置信息进行配置；所述网络侦听管理进程通过所述网络侦听通道从所述镜像网卡上采集EMS旧系统的网络报文，利用侦听规约插件对所述网络报文进行处理。

上述电网EMS系统的数据采集方法和系统，在EMS新系统改造升级过程中，在不影响EMS旧系统配置的前提下，通过设置EMS旧系统的前置交换机端口镜像，在EMS新系统上部署网络侦听管理进程，侦听并采集EMS旧系统中已有的采集数据，从而实现EMS新系统对EMS旧系统的采集数据快速采集；对原有的EMS旧系统和采集子站设备没有任何影响，极大地加快EMS新系统数据的采集工程化进度，缩短了EMS新系统工程化进度。

附图说明

图1是电网EMS系统的数据采集方法的流程图；

图2是一种电网EMS系统的数据采集系统的网络拓扑图；

图3是网络侦听管理进程网络报文侦听采集过程的逻辑流程图。

具体实施方式

下面结合附图阐述本发明的电网EMS系统的数据采集方法和系统的实施例。

为了加快EMS新系统改造升级尤其是数据采集工程化进度，而又不影响EMS旧系统正常运行，本发明提供了一种新的数据采集技术方案，在EMS新系统建设过程中且EMS旧系统还同时在运行时，以及在对EMS旧系统本身不作修改的情况下，通过对EMS旧系统的前置交换机的端口进行数据侦听，抓取网络报文分析，获取EMS旧系统所有采集数据，从而实现EMS新系统数据的采集功能。

为此，提供一种电网EMS系统的数据采集方法，参考图1所示，图1是电网EMS系统的数据采集方法的流程图，包括如下步骤：

(1)在EMS旧系统的前置交换机上选择一端口，将该端口设置成镜像端口，将EMS旧系统的各个前置机对应在前置交换机的配置端口镜像到所述镜像端口上，通过所述镜像端口获取所述前置机的源端口的所有网络报文；所述EMS旧系统为升级改造前的EMS系统；

具体地，所述镜像网卡的IP地址与EMS旧系统的前置机的IP地址处于同一网段。

(2)在EMS新系统中选择一前置机设置为网络侦听服务器，在该网络侦听服务器上选择一镜像网卡，把该镜像网卡设置成混杂监听模式，并建立该镜像网卡与所述镜像端口之间的网络连接；所述EMS新系统为升级改造后的EMS系统；

(3)在网络侦听服务器上部署网络侦听管理进程，用于接收和处理所述网络报文；根据EMS旧系统的采集配置信息配置与EMS新系统的采集通道一一对应的网络侦听通道，以及网络侦听通道对应的侦听规约插件；通过所述网络侦听通道从所述镜像网卡上采集EMS旧系统的网络报文，利用侦听规约插件对所述网络报文进行处理；

进一步地，所述采集配置信息包括：各个采集厂站下的采集通道以及各个采集通道配置的通讯参数。

作为实施例，所述EMS旧系统与EMS新系统同时在运行，一般情况下，所述EMS旧系统与EMS新系统采集的数据点表一致，且各个采集通道的通讯参数基本一致。

配置网络侦听通道时，可以从EMS旧系统中将各个采集通道的通讯参数和规约插件导入到EMS新系统；在EMS新系统上，利用所述通讯参数和规约插件为每个采集通道配置一个网络侦听通道和侦听规约插件。

上述实施例，由于升级后的EMS新系统中采集的数据以及各个采集通道的通讯参数和EMS旧系统一致，因此可以由软件程序实现，不需要进行人工工程化配置，实现了升级改造接站工作的免维护。

可选的，网络侦听管理进程以网络侦听方式从所述镜像网卡上采集侦听到的EMS旧系统的网络报文；对采集的网络报文的TCP帧头进行分析，得到每帧网络报文中发送方的通讯参数(子站的IP地址和端口号)；将所述发送方的通讯参数与预先在EMS新系统中配置的各通道链路的通讯参数进行匹配，确定每帧网络报文所对应的采集通道。

在一个实施例中，在利用侦听规约插件对所述网络报文进行处理过程中，可以将所述网络报文的TCP帧头进行剔除获取应用层报文；将所述应用层报文分发给各个网络侦听通道对应的侦听规约插件；通过所述侦听规约插件对应用层报文进行解析，得到EMS旧系统的各个采集通道的数据(包括变电站的遥测数据、遥信数据等)。

作为实施例，所述侦听规约插件一般为IEC60870-5-104规约插件，也可以是其他电力采集规约。

本发明提供的技术方案，能极大地加快新系统数据采集工程化进度，提前创造EMS新系统后台高级应用等功能模块的调试条件，大大缩短了整个EMS新系统工程化进度，同时对原有的EMS旧系统和采集子站设备没有任何影响。

参考图2所示，图2是一种电网EMS系统的数据采集系统的网络拓扑图，图中只是示出了本发明改进结构部分，如图中省略了EMS旧系统的前置交换机与EMS新系统的网络侦听服务器之间所涉及相关网络连接的部分，包括：设于EMS旧系统的多个前置机，前置交换机；设于EMS新系统的网络侦听服务器；

所述EMS旧系统的前置交换机上的一端口设置成镜像端口；所述EMS旧系统为升级改造前的EMS系统；

所述EMS旧系统的各个前置机对应在前置交换机的配置端口镜像到所述镜像端口上，通过所述镜像端口获取所述前置机的源端口的所有网络报文；

所述网络侦听服务器是从EMS新系统中选择的一前置机；所述EMS新系统为升级改造后的EMS系统；

所述网络侦听服务器上选择的一镜像网卡设置成混杂监听模式，该镜像网卡与所述镜像端口之间通过网络进行连接；

所述网络侦听服务器上部署有网络侦听管理进程，用于接收和处理所述网络报文；所述网络侦听管理进程配置有EMS新系统的网络侦听通道及其对应的侦听规约插件其中，所述网络侦听通道是根据EMS旧系统的采集配置信息进行配置；所述网络侦听管理进程通过所述网络侦听通道从所述镜像网卡上采集EMS旧系统的网络报文，利用侦听规约插件对所述网络报文进行处理。

如图2中，采用在EMS旧系统前置交换机配置镜像端口，将EMS旧系统中前置机1-4在前置交换机上对应端口1-4统一合并到镜像端口上，并连接到EMS新系统选中的一台网络侦听服务器的镜像网卡上，从而从物理层面上实现网络报文的网络侦听通道的连通，实现了EMS新系统通过报文侦听方式采集数据。

对于网络侦听的过程：主要是利用以太网(Ethernet)协议的工作方式，将要发送的数据包发往所连接的所有前置机。在通过混杂监听模式接收到网络报文后，根据TCP/IP协议，解析网络报文中的TCP帧头对应目标子站的IP地址和端口号，分析出每个TCP数据包对应在EMS旧系统中的子站的采集通道，再根据采集通道中配置的规约情况，对TCP中的应用层报文进行规约解析，从而获取数据子站遥测，遥信等采集数据。

上述系统中，在原有的EMS旧系统的前置交换机上选择一端口，将该端口设置成各个前置机配置端口的镜像端口，通过镜像端口镜像获取源端口(一个或多个)所有网络报文。同时在EMS新系统的前置机中，选择一个前置机设置为网络侦听服务器，从网络侦听服务器上选择一镜像网卡，将该镜像网卡设置成混杂监听模式，将该镜像网卡和镜像端口通过网络连接起来。

在EMS新系统的网络侦听服务器中根据原有EMS旧系统中的采集配置信息(包括采集通道，各个采集通道配置的通讯参数)，配置与采集配置参数新系统的采集通道一一对应的网络侦听通道和侦听规约插件，通过网络侦听方式侦听采集EMS旧系统的各个采集通道的数据。

实施过程中，在采用侦听模式采集数据的网络侦听服务器上，开发和部署一网络报文监听进程，该网络报文监听进程负责将镜像网卡设置为混杂监听模式，并进行侦听采集数据。

参考图3，图3是网络侦听管理进程网络报文侦听采集过程的逻辑流程图；网络侦听管理进程通过网络侦听通道抓取镜像网卡中所有从EMS旧系统镜像来的网络报文，然后对抓取的网络报文的TCP帧头进行分析，得到每帧网络报文中发送方的IP地址和端口号(即EMS旧系统中各子站的通讯参数)，通过与EMS新系统中预先配置的各个采集通道链路IP地址和端口号进行匹配，得到每个网络报文所对应的采集通道；同时，网络报文监听进程还负责把采集的网络报文剔除TCP帧头后的应用层报文分发给各个通道规约插件，由各个规约插件负责解析和处理应用层报文内容，从而得到各个采集通道的遥测，遥信等数据；实现通过基于网络报文侦听的数据采集过程。

本发明的技术，在实际应用中取得了较好的技术效果，以下以一电力备用调度系统升级改造项目为例，进一步阐述本发明的技术方案。

在该电力备用调度系统升级改造项目中，升级后的EMS新系统采集通道的通讯参数和数据模型和原有正在运行的EMS旧系统一致，在升级过程中不能影响原有旧系统运行，也没有独立的新采集通道进行数据采集(采集通道采用原有的EMS旧系统的采集通道)，在数据全部采集完成，后台功能调试完毕后，最后在整个新旧EMS系统切换过程中，把原有的EMS旧系统撤下，切换成EMS新系统运行，在此项目实施过程中，采用本发明技术方案采集原有EMS旧系统所有采集通道的数据，能保证整个项目平稳升级。

具体方案实施过程中：

首先配置电力备用调度系统的前置交换机镜像端口，结合图2，选择端口8为镜像端口，通过在交换机设置端口8为EMS旧系统中四台前置机对应前置交换机上端口1-4的镜像端口，即前置交换机端口1-4上所有的接收到的网络报文都同时镜像到端口8上。

然后在EMS新系统中选择一台前置机sfe1设为网络侦听服务器，在该网络侦听服务器上选择一网卡enc2为对应的镜像网卡，设置该镜像网卡IP地址与EMS旧系统的前置机对应IP地址为同一网段，同时通过网络将EMS旧系统的前置交换机的镜像端口8与EMS新系统的网络侦听服务器sfe1的镜像网卡enc2连接起来。

据此，网络侦听采集在物理上搭建完成，然后在EMS新系统中配置部署网络侦听管理进程，并利用采集通道进行网络侦听数据采集工作。由于升级后EMS新系统中采集的数据以及采集通道的通讯参数与EMS旧系统一致，因此通过软件程序把EMS旧系统中采集的各RTU点表，各采集通道的通讯参数以及规约插件全部导入到EMS新系统中，不需要进行人工工程化配置，实现了升级改造接站工作的免维护。

在此基础上，在各个采集厂站下原有的采集通道的基础上配置一个网络侦听通道，用于接收和处理网络侦听服务器sfe1上的网络侦听管理进程分发的网络报文，该网络侦听通道上配置的通讯参数(子站的IP地址和端口号)和原有EMS旧系统的采集通道一致，应用层的规约插件也和原采集通道的配置一致，即IEC60870-5-104规约插件，侦听规约插件中规约参数设为侦听模式，在侦听模式下只分析和处理接收到的网络报文，不主动下发网络报文。

在采集厂站和网络侦听通道配置完成后，在前置应用下配置网络侦听管理进程，该网络侦听进程是整个网络报文侦听数据采集最关键的功能模块，该功能模块主要负责把网络侦听服务器sfe1的镜像网卡enc2设置为混杂监听模式，抓取该网卡中所有从EMS旧系统镜像来的网络报文，对抓取的网络报文的TCP帧头进行分析和处理，从而得到每帧网络报文中发送方的IP地址和端口号，通过与EMS新系统中配置的各个采集通道链路IP地址和端口号进行匹配，得到每个网络报文所对应的采集通道，网络报文监听进程还负责把该网络报文剔除TCP帧头后的应用层报文分发给各个网络侦听通道的侦听规约插件，由各侦听规约插件解析和处理应用层报文内容，从而采集到各个采集通道的遥测、遥信等数据。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。