一种用电信息采集系统采集质量分析方法及装置与流程

本发明实施例涉及用电信息采集系统技术领域，具体涉及一种用电信息采集系统采集质量分析方法及装置。

背景技术：

用电信息采集系统(简称：采集系统)是对电力用户的用电信息进行采集、处理和实时监控的系统，实现了用电信息自动采集、计量在线监测及智能诊断、费控管理、有序用电管理、电能质量监测、用电分析等功能。采集系统由采集主站、通信信道、采集终端、计量设备组成。计量设备负责用户用电信息的计量；采集终端实现电能表数据的采集、数据管理、数据双向传输以及转发或执行控制命令的设备；通信信道作为采集终端数据与采集主站数据双向互动的通道；采集主站负责数据的定时采集、协议解析、数据入库、采集任务管理。

本发明人发现，现有技术中，为提高采集成功率，提升采集质量，通常采用调整采集定时任务策略，即修改采集任务的执行时间、采集数据项、采集对象、补召次数、补召间隔等参数，达到错开任务执行时间、减少无效的采集数据项、剔除离线的采集终端、增加召测的次数。虽然调整采集策略可以提高提采集质量，但是，不能够实时进行调整采集定时任务策略，导致采集质量不高。

技术实现要素：

为此，本发明实施例提供一种用电信息采集系统采集质量分析方法及装置，以解决现有技术中的问题。

为了实现上述目的，本发明的实施方式提供如下技术方案：

在本发明的实施方式的第一方面中，提供了一种用电信息采集系统采集质量分析方法，包括：

获取源数据；

对所述源数据进行解析，得到解析结果；

根据所述解析结果建立分析指标；

根据所述分析指标基于层次分析法计算用电信息采集系统采集质量结果。

在本发明的另一实施例中，所述获取源数据包括，采用旁路方式获取tcp/ip数据包和采集系统主站与终端电表通信规约报文数据，将获取到的tcp/ip数据包和采集系统主站与终端电表通信规约报文数据作为源数据。

在本发明的另一实施例中，所述对所述源数据进行解析，得到解析结果，包括：根据tcp/ip协议和用电信息采集系统主站与采集终端之间标准的通信协议，按字节解析所述tcp/ip数据包和采集系统主站与终端电表通信规约报文数据，得到的解析结果。

在本发明的另一实施例中，所述根据所述解析结果建立分析指标，包括：根据所述解析结果计算通信时延、通信成功率、采集流量、报文通信次数、终端在线率，将所述通信时延、所述通信成功率、所述采集流量、所述报文通信次数和所述终端在线率，作为用电信息采集系统采集质量的分析指标。

在本发明的另一实施例中，所述根据所述解析结果计算通信时延包括，根据所述解析结果计算通信应答时间、通信发生时间以及时段内正常通信次数，根据所述通信应答时间、所述通信发生时间以及所述时段内正常通信次数计算通信时延。

在本发明的另一实施例中，根据所述解析结果计算通信成功率包括：根据所述解析结果计算通信成功总次数、通信总次数，根据所述通信成功总次数和所述通信总次数计算通信成功率。

在本发明的另一实施例中，根据所述解析结果计算终端在线率，包括：根据所述解析结果计算在线终端总数量和终端总数量，根据所述在线终端总数量和所述终端总数量计算终端在线率。

在本发明的另一实施例中，所述根据所述分析指标基于层次分析法计算用电信息采集系统采集质量结果，包括：

对所述分析指标中的各要素分别进行数据分析，得到各要素占全部要素的权重比，及各要素得分，根据所述分析指标中的各要素占全部要素的权重比，及各要素得分计算采集质量结果。

在本发明的实施方式的第二方面中，提供了一种用电信息采集系统采集质量分析装置，包括：

获取模块，用于获取源数据；

解析模块，用于对所述源数据进行解析，得到解析结果；

指标建立模块，用于根据所述解析结果建立分析指标；

质量结果生成模块，用于根据所述分析指标基于层次分析法计算用电信息采集系统采集质量结果。

在本发明的实施方式的第三方面中，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序用于实现如上所述的用电信息采集系统采集质量分析方法。

根据本发明的实施方式，具有如下优点：通过获取源数据，基于源数据的解析结果统计、分析影响采集质量的分析指标，并且根据分析指标基于层次分析法，以归纳各指标变化规律及对采集质量的影响程度，从而构建用电信息采集系统采集质量分析方法，得到用电信息采集系统采集质量结果，实现实时对用电信息采集系统采集质量进行分析。进一步地，通过对影响采集质量各指标数据的分析，能回溯整个数据采集过程，及时发现数据采集异常、快速定位数据采集异常根源，为数据采集异常预警、采集应用程序优化提供数据支撑，从而保证数据采集更高效、更及时、更稳定，使采集系统基础计量数据更加完整、实时、可靠，有效解决了采集质量评价指标单一、采集过程难以回溯、采集异常问题难以准确定位的难题。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

图1为本发明的一实施例提供的一种用电信息采集系统采集质量分析方法流程图；

图2为本发明的另一实施例提供的一种用电信息采集系统采集质量分析方法流程图；

图3为本发明的另一实施例提供的一种用电信息采集系统采集质量分析装置结构示意图；

图中：401为获取模块、402为解析模块、403为指标建立模块、404为质量结果生成模块。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明第一方面，提供一种用电信息采集系统采集质量分析方法，如图1所示，包括：

步骤201：获取源数据；

在本发明实施例中，用电信息采集系统主站通过网络tcp连接采集终端、电表的计量数据，采集过程中的通信报文需要通过交换机实现数据交互，本方法通过旁路方式获取通信报文数据即源数据，其中，旁路方式是指通过交换机等网络设备的“端口镜像”功能来实现监测，借助网络系统承载所有业务流量的优势，利用流量镜像采集技术对网络流量进行精细化监测与分析。

通过旁路方式获取通信报文数据即源数据，借助网络系统承载所有业务流量的优势，利用流量镜像采集技术对网络流量进行精细化监测与分析。通过旁路方式获取的源数据包括tcp数据包、ip数据包和采集系统主站与终端电表通信规约报文数据。

步骤202：对源数据进行解析，得到解析结果；

在本发明实施例中，根据tcp/ip协议和采集系统主站与采集终端之间标准的通信协议《q/gdw1376.1主站与采集终端通信协议》，按字节解析tcp/ip数据包和采集系统主站与终端电表通信规约报文数据，其中，采集系统主站与终端电表通信规约报文数据包括：控制码、地址码、功能码、帧序列域、帧附加域、数据单元组合和校验码等。tcp/ip数据包解析内容包括：连接建立时间、连接断开时间、数据发送时间、数据接收的时间、发送字节数、接收字节数、源ip地址、目标ip地址、源端口、目标端口、总字节数、tcpsyn标志位、tcprst标志位。解析的采集系统主站与终端电表通信规约报文数据按终端地址、通信链路标识(ip+端口)、功能码存储，作为分析指标数据的基础数据。

步骤203：根据解析结果建立分析指标；

在本发明实施例中，根据解析结果统计通信时延、通信成功率、采集流量、报文通信次数、终端在线率，将通信时延、通信成功率、采集流量、报文通信次数、终端在线率，作为用电信息采集系统采集质量的分析指标。通过归纳各指标变化规律及对采集质量的影响程度，从而构建用电信息采集系统采集质量分析方法。

通信时延是指一组报文在采集系统主站与采集终端之间应答通信所需的时间，即报文从采集系统主站传送开始，到采集终端接收并返回应答报文，直到采集主站收到采集终端返回的报文需要的时间。通信时延包括：客户端时延、服务端时延、网络时延，即通信时延等于客户端时延、服务端时延以及网络时延之和。报文通信时间通过tcp数据包的发送时间或接收时间获得，两个时间点之间的差值即为通信时延。

根据通信方式及设备类型，测试数据通信时延，包括下行时延、信道时延等对数据采集性能的影响。通信时延计算公式如下：

pτ：时段通信平均时延，t1i：i次通信应答时间，t0i：i次通信发生时间，n：时段内正常通信总次数。

本发明中，当通信时延较小时，通信信道的质量较好；当通信时延较大时，信道不稳定或应用程序运行不稳定。通信时延可以反映出采集系统的运行状态和采集终端通信信道的运行状态，从而反映出采集系统采集质量。按时段统计采集系统主站召测终端数据和透抄数据需要的时长，并计算时长最大值、最小值、平均值，用以监测通信信道和通信服务的运行情况。通过通信最大时长可为采集程序设置超时等待时间提供参考。根据一天时间中透抄时长的变化情况及透抄成功率，为制定透抄任务时间提供参考，以提高采集成功率。

采集系统主站和采集终端采用异步应答通信方式，采集系统主站发送数据请求报文，采集终端收到报文后进行数据处理，然后返回给采集系统主站应答报文，至此完成一次完整的报文交互，此次通信成功。在通信信道不稳定、主站应用程序异常、采集终端异常的情况下，当采集系统主站发送数据请求报文后，采集终端无应答，主站等待一定时间后，做无响应处理，这种情况下通信失败。记录并统计采集系统主站下发的报文数量(通信总次数)、采集终端有应答的报文数量(通信成功次数)，以此计算通信成功率。

通信成功率计算公式如下：

通信成功率按小时、天记录，形成曲线数据，通过曲线数据的波动、曲线环比比较，判断采集成功率是否异常。通信成功率直接反映出采集到数据的多少，当通信成功率降低时，终端返回的数据大幅减少，能采集到的终端、电表的数据也相应减少，导致采集成功率降低，采集质量下降。

采集流量是指采集系统主站和采集终端以二进制字节流交互时报文的字节数。采集流量按小时统计一个小时内交互的上下行的总字节数，形成小时流量曲线；按天统计24小时内交互的上下行的总字节数，形成月流量曲线，通过比较曲线数据的波动和曲线环比，确定采集流量是否异常。

按时段分析采集系统数据采集时的通信报文流量，识别业务峰值时段，合理配置采集任务，以提高采集成功率。监测数据采集流量曲线，及时预警采集异常情况。查看采集终端不同通信端口、服务器的连接信息，对比前一天的数据可以判断当天的采集终端通信是否正常。

将一个报文从采集系统主站传送到采集终端或从采集终端传送到采集系统主站计算为通信一次。按小时统计一个小时内交互的上下行的报文数量，形成小时报文通信次数曲线；按天统计24小时内交互的上下行的报文数量，形成月报文通信次数曲线。

统计各数据项报文通信次数的时段分布情况，实现对数据采集业务报文交互数量监测，进行环比分析，为监测数据采集异常及非常规采集任务的配置策略提供参考依据。报文通信次数可直观的看出采集系统采集任务的执行情况，在采集任务异常的情况下，对应时段的采集报文数会明显减少。通过对比前一天或一周内的数据，可以判断当天的采集任务执行状态，采集任务执行状态直观体现出采集质量变化情况。

采集终端通过tcp方式连接到采集系统主站，连接通过心跳报文保持长连接。一般情况下，当采集终端连接到采集系统主站后，会一直保持连接，不会断开。在通信信道不稳定、采集主站应用程序异常、采集终端异常的情况下，连接会断开，此时采集终端会按照配置的策略重新连接到主站。与采集系统主站保持长连接的终端即为在线终端。定时统计采集系统所有终端的在线情况，分别计算出在线终端数量和终端总数量。

终端在线率计算公式如下：

根据采集终端报文或采集终端ip记录登录、离线信息及终端频繁登录信息。采集系统主站在执行定时采集任务时，若采集终端离线，则无法进行召测，无法采集回数据，导致采集成功率降低，降低采集质量。

步骤204：根据分析指标基于层次分析法计算用电信息采集系统采集质量结果。

在本发明实施例中，对分析指标中的各要素分别进行数据分析，得到各要素占全部要素的权重比，及各要素得分，根据分析指标中的各要素占全部要素的权重比，及各要素得分计算采集质量结果基于层次分析法建立用电信息采集系统采集质量评价体系。层次分析法把复杂的采集系统数据采集问题中的各种因素通过划分相互联系的有序层次使之条理化，根据对通信时延、通信成功率、采集流量、报文通信次数、终端在线率，评价指标的数据分析就每一种指标的相对重要性给出定量表示，利用数学方法表达全部要素相对重要性次序的权值，得到用电信息采集系统采集质量结果。

采集质量计算公式如下：

y＝ω1x1+ω2x2+…+ωmxm

y：采集质量总得分即采集质量结果，ω：指标权重比，χ：各指标得分。

根据运行数据得出通信时延、通信成功率、采集流量、报文通信次数、终端在线率指标对采集质量影响的权重比，权重比的累加总值为1。对各指标通过设置不同的阈值、同比数据对比、环比数据对比获得单向指标的得分数值。当指标正常运行时，其值为满分100分；当指标异常时，根据设置的不同等级的阈值，减去阀值级别对应的分数数值。对于权重比小的指标，当指标异常时，单向指标得分对采集质量的影响较弱；对于权重比大的指标，当指标异常时，单向指标得分对采集质量的影响较大。采集质量的得分以100分为满分，分值越高，则采集质量越好。

在本发明的第二方面，提供一种用电信息采集系统采集质量分析装置，如图3所示，包括：

获取模块401，用于获取源数据；

在本发明实施例中，用电信息采集系统主站通过网络tcp连接采集终端、电表的计量数据，采集过程中的通信报文需要通过交换机实现数据交互，获取模块401，用于通过旁路方式获取通信报文数据即源数据，其中，旁路方式是指通过交换机等网络设备的“端口镜像”功能来实现监测，借助网络系统承载所有业务流量的优势，利用流量镜像采集技术对网络流量进行精细化监测与分析。

通过旁路方式获取通信报文数据即源数据，借助网络系统承载所有业务流量的优势，利用流量镜像采集技术对网络流量进行精细化监测与分析。通过旁路方式获取的源数据包括tcp/ip数据包和采集系统主站与终端电表通信规约报文数据。

解析模块402，用于对源数据进行解析，得到解析结果；

在本发明实施例中，解析模块402，用于根据采集系统主站与采集终端之间标准的通信协议《q/gdw1376.1主站与采集终端通信协议》，按字节解析tcp/ip数据包和采集系统主站与终端电表通信规约报文数据，其中，采集系统主站与终端电表通信规约报文数据包括：控制码、地址码、功能码、帧序列域、帧附加域、数据单元组合和校验码等。tcp/ip数据包解析内容包括：连接建立时间、连接断开时间、数据发送时间、数据接收的时间、发送字节数、接收字节数、源ip地址、目标ip地址、源端口、目标端口、总字节数、tcpsyn标志位、tcprst标志位。解析的采集系统主站与终端电表通信规约报文数据按终端地址、通信链路标识(ip+端口)、功能码存储，作为分析指标数据的基础数据。

指标建立模块403，用于根据解析结果建立分析指标；

在本发明实施例中，指标建立模块403，用于根据解析结果统计通信时延、通信成功率、采集流量、报文通信次数、终端在线率，将通信时延、通信成功率、采集流量、报文通信次数、终端在线率，作为用电信息采集系统采集质量的分析指标。通过归纳各指标变化规律及对采集质量的影响程度，从而构建用电信息采集系统采集质量分析方法。

通信时延是指一组报文在采集系统主站与采集终端之间应答通信所需的时间，即报文从采集系统主站传送开始，到采集终端接收并返回应答报文，直到采集主站收到采集终端返回的报文需要的时间。通信时延包括：客户端时延、服务端时延、网络时延，即通信时延等于客户端时延、服务端时延以及网络时延之和。报文通信时间通过tcp数据包的发送时间或接收时间获得，两个时间点之间的差值即为通信时延。

根据通信方式及设备类型，测试数据通信时延，包括下行时延、信道时延等对数据采集性能的影响。通信时延计算公式如下：

pτ：时段通信平均时延，t1i：i次通信应答时间，t0i：i次通信发生时间，n：时段内正常通信总次数。

本发明中，当通信时延较小时，通信信道的质量较好；当通信时延较大时，信道不稳定或应用程序运行不稳定。通信时延可以反映出采集系统的运行状态和采集终端通信信道的运行状态，从而反映出采集系统采集质量。按时段统计采集系统主站召测终端数据和透抄数据需要的时长，并计算时长最大值、最小值、平均值，用以监测通信信道和通信服务的运行情况。通过通信最大时长可为采集程序设置超时等待时间提供参考。根据一天时间中透抄时长的变化情况及透抄成功率，为制定透抄任务时间提供参考，以提高采集成功率。

采集系统主站和采集终端采用异步应答通信方式，采集系统主站发送数据请求报文，采集终端收到报文后进行数据处理，然后返回给采集系统主站应答报文，至此完成一次完整的报文交互，此次通信成功。在通信信道不稳定、主站应用程序异常、采集终端异常的情况下，当采集系统主站发送数据请求报文后，采集终端无应答，主站等待一定时间后，做无响应处理，这种情况下通信失败。记录并统计采集系统主站下发的报文数量(通信总次数)、采集终端有应答的报文数量(通信成功次数)，以此计算通信成功率。

通信成功率计算公式如下：

通信成功率按小时、天记录，形成曲线数据，通过曲线数据的波动、曲线环比比较，判断采集成功率是否异常。通信成功率直接反映出采集到数据的多少，当通信成功率降低时，终端返回的数据大幅减少，能采集到的终端、电表的数据也相应减少，导致采集成功率降低，采集质量下降。

采集流量是指采集系统主站和采集终端以二进制字节流交互时报文的字节数。采集流量按小时统计一个小时内交互的上下行的总字节数，形成小时流量曲线；按天统计24小时内交互的上下行的总字节数，形成月流量曲线，通过比较曲线数据的波动和曲线环比，确定采集流量是否异常。

按时段分析采集系统数据采集时的通信报文流量，识别业务峰值时段，合理配置采集任务，以提高采集成功率。监测数据采集流量曲线，及时预警采集异常情况。查看采集终端不同通信端口、服务器的连接信息，对比前一天的数据可以判断当天的采集终端通信是否正常。

将一个报文从采集系统主站传送到采集终端或从采集终端传送到采集系统主站计算为通信一次。按小时统计一个小时内交互的上下行的报文数量，得到小时报文通信次数；按天统计24小时内交互的上下行的报文数量，得到月报文通信次数。

统计各数据项报文通信次数的时段分布情况，实现对数据采集业务报文交互数量监测，进行环比分析，为监测数据采集异常及非常规采集任务的配置策略提供参考依据。报文通信次数可直观的看出采集系统采集任务的执行情况，在采集任务异常的情况下，对应时段的采集报文数会明显减少。通过对比前一天或一周内的数据，可以判断当天的采集任务执行状态，采集任务执行状态直观体现出采集质量变化情况。

采集终端通过tcp方式连接到采集系统主站，连接通过心跳报文保持长连接。一般情况下，当采集终端连接到采集系统主站后，会一直保持连接，不会断开。在通信信道不稳定、采集主站应用程序异常、采集终端异常的情况下，连接会断开，此时采集终端会按照配置的策略重新连接到主站。与采集系统主站保持长连接的终端即为在线终端。定时统计采集系统所有终端的在线情况，分别计算出在线终端数量和终端总数量。

终端在线率计算公式如下：

根据采集终端报文或采集终端ip记录登录、离线信息及终端频繁登录信息。采集系统主站在执行定时采集任务时，若采集终端离线，则无法进行召测，无法采集回数据，导致采集成功率降低，降低采集质量。

质量结果生成模块404，用于根据分析指标基于层次分析法计算用电信息采集系统采集质量结果。

在本发明实施例中，质量结果生成模块404，用于对分析指标中的各要素分别进行数据分析，得到各要素占全部要素的权重比，及各要素得分，根据分析指标中的各要素占全部要素的权重比，及各要素得分计算采集质量结果基于层次分析法建立用电信息采集系统采集质量评价体系。层次分析法把复杂的采集系统数据采集问题中的各种因素通过划分相互联系的有序层次使之条理化，根据对通信时延、通信成功率、采集流量、报文通信次数、终端在线率，评价指标的数据分析就每一种指标的相对重要性给出定量表示，利用数学方法表达全部要素相对重要性次序的权值，得到用电信息采集系统采集质量结果。

采集质量计算公式如下：

y＝ω1x1+ω2x2+…+ωmxm

y：采集质量总得分即采集质量结果，ω：指标权重比，χ：各指标得分。

根据运行数据得出通信时延、通信成功率、采集流量、报文通信次数、终端在线率指标对采集质量影响的权重比，权重比的累加总值为1。对各指标通过设置不同的阈值、同比数据对比、环比数据对比获得单向指标的得分数值。当指标正常运行时，其值为满分100分；当指标异常时，根据设置的不同等级的阈值，减去阀值级别对应的分数数值。对于权重比小的指标，当指标异常时，单向指标得分对采集质量的影响较弱；对于权重比大的指标，当指标异常时，单向指标得分对采集质量的影响较大。采集质量的得分以100分为满分，分值越高，则采集质量越好。

在本发明实施例中，通过网络旁路方式获取采集系统主站与采集终端、电表交互数据时的通信报文，基于通信报文统计、分析影响采集质量的通信时延、通信成功率、采集流量、报文通信次数、终端在线率指标，归纳各指标变化规律及对采集质量的影响程度，从而构建用电信息采集系统采集质量分析方法。通过对影响采集质量各指标数据的分析，能回溯整个数据采集过程，及时发现数据采集异常、快速定位数据采集异常根源，为数据采集异常预警、采集应用程序优化提供数据支撑，从而保证数据采集更高效、更及时、更稳定，使采集系统基础计量数据更加完整、实时、可靠，有效解决了采集质量评价指标单一、采集过程难以回溯、采集异常问题难以准确定位的难题。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。