基于电力通信网流量的业务交互特征提取方法与流程

1.本发明属于电网数据挖掘技术领域，具体涉及一种基于电力通信网流量的业务交互特征提取方法。


背景技术：

2.随着经济技术的发展和人们生活水平的提高，电能已经成为了人们生产和生活中必不可少的二次能源，给人们的生产和生活带来了无尽的便利。因此，保障电能的稳定可靠供应，就成为了电力系统最重要的任务之一。
3.电力通信网能够实现电力控制系统与物理设备间的信息交互；电力通信网主要用于承载电力工业控制系统业务。在电力通信网内，业务流量具有其自身的固有属性，主要表现为稳定性、周期性和有限性。相同业务包含稳定的业务逻辑，体现在具有相似的数据交互过程。因此，通过挖掘业务交互特征，能够帮助电网人员更清晰地理解业务内在逻辑。
4.随着工业信息化的不断发展，电力行业已经与先进的信息通信和计算技术实现了深度融合，电力通信网已经可实现海量数据的采集和传输。数据量的增加，对数据管理和网络优化带来了挑战。目前，运维人员已经无法通过人工的方式实现业务分析，而需要利用数据挖掘抽象出业务交互特征。此外，对于为解决工业互联网安全问题所采用的加密传输方式，研究人员也将无法利用数据包净荷来描述业务特征。


技术实现要素：

5.本发明的目的在于提供一种能够完整和实时地提取电力通信网内任意节点和任意时段内的业务稳定的周期性交互特征，而且可靠性高、实用性好的基于电力通信网流量的业务交互特征提取方法。
6.本发明提供的这种基于电力通信网流量的业务交互特征提取方法，包括如下步骤：
7.s1.采集电力通信网的流量，并构建原始数据；
8.s2.对步骤s1获取的原始数据进行解析，得到传输层以下的元信息；统计元信息的特征，实现异常检测和告警；
9.s3.对步骤s2获取的元信息，依次进行业务初始化和特征计算，从而提取得到最终的业务交互特征。
10.步骤s1所述的采集电力通信网的流量，具体为通过镜像采集技术，实时复制并采集电力通信网的流量数据；并在采集过程中增加异常响应节点，在采集异常时发出告警。
11.所述的在采集过程中增加异常响应节点，在采集异常时发出告警，具体包括如下步骤：
12.首先，统计单位时间内数据包的个数和数据包之间的平均时间间隔；
13.然后，判断是否发生采集异常；
14.最后，当判定为发生采集异常时，异常响应节点立刻停止采集过程，并释放采集缓
存数据，同时在设定的时间后自动恢复采集。
15.步骤s2所述的对步骤s1获取的原始数据进行解析，得到传输层以下的元信息，具体为以数据包粒度，对步骤s1获取的原始数据进行解析；同时，仅解析传输层以下的数据包元信息。
16.所述的解析传输层以下的数据包元信息，具体为解析以下数据包元信息：包的时间戳，包头长度，载荷字节数，源ip地址，目的ip地址，源端口，目的端口，传输协议，数据包fin、syn、psh、rst、ack、cwr、urg、ece配置标识，以及初始化窗口大小。
17.步骤s2所述的统计元信息的特征，具体为解析并获得数据包元信息，并计算单位时间内数据包的个数、数据包之间的平均时间间隔以及业务类型数统计特征。
18.步骤s2所述的实现异常检测和告警，具体为采用如下规则判定是否发生采集异常并告警：
19.统计到稳定状态下，数据包个数的平均值为μ
packet
，方差为数据包时间间隔平均值为μ
iot
，方差为业务数均值为μ
service
，方差为
20.r1.若当前时段数据包个数小于μ
packet
‑
3σ
packet
且数据包之间的平均时间间隔在(μ
iot
‑
3σ
iot
,μ
iot
+3σ
iot
)内，则判定出现流量漏采异常，并告警；
21.r2.若当前时段业务数在(μ
service
‑
3σ
service
,μ
service
+3σ
service
)、数据包个数在(μ
packet
‑
3σ
packet
,μ
packet
)区间且数据包之间的平均间隔时间大于μ
iot
+3σ
iot
，则判定属于由于网络拥塞引起网络波动的异常，并告警；
22.r3.若当前时段业务数在(μ
service
,μ
service
+3σ
service
)、数据包个数大于μ
packet
且数据包之间的平均间隔时间小于μ
iot
‑
3σ
iot
，则判定属于由于通信网拓扑内新增节点造成网络波动的异常，并告警。
23.步骤s3所述的业务初始化，具体包括如下步骤：
24.a.设定提取周期时长和最小数据包个数；
25.b.采用如下规则，进行业务初始化：
26.针对pmu和故障滤波业务，通过设定的提取周期时长进行业务初始化；
27.针对稳控、电能量采集和保信业务，通过设定的最小数据包个数进行业务初始化；
28.针对远动业务，通过交互完整性进行业务初始化。
29.步骤s3所述的特征计算，具体包括如下步骤：
30.a.对信息集中的首条数据进行处理：
31.若首条数据为响应数据，则删除该条响应数据，直至首条数据为请求数据；
32.b.根据传输方向，对处理后的数据分为前向数据和返向数据；
33.c.针对前向数据和返向数据，分别计算数据包个数、数据包字节数、数据包时间间隔、配置信息和传输速率；其中，数据包个数用于表示业务交互方式；数据包字节数用于表示业务载荷的信息量；数据包时间间隔用于表示业务交互频次；配置信息用于表示业务载荷的类型；传输速率用于表示业务占用带宽。
34.所述的计算数据包个数、数据包字节数、数据包时间间隔、配置信息和传输速率，具体为数据包个数和配置信息计算，均采用累加计算，通过循环读取周期内数据包配置标识计数实现；针对数据包字节数、数据包时间间隔和传输速率，增加总量、最大值，最小值，
均值和方差这五个统计量，用以度量交互过程的稳定性。
35.所述的特征计算，具体还包括如下步骤：
36.在进行特征计算时，对完成计算的信息集释放对应的内存空间；
37.对占用内存时间大于所有业务周期最小公倍数的异常数据进行释放；
38.设置提取周期时长的上限，以限制周期内一次性缓存的业务数据。
39.本发明提供的这种基于电力通信网流量的业务交互特征提取方法，整合了采集、解析和特征计算三个部分，并增加采集与解析之间的逆向反馈，可完整地实时提取电力通信网内任意节点和任意时段内的业务稳定的周期性交互特征，确保同一业务生成一致的业务特征集，有助于理解业务交互逻辑，便于监控和管理业务运行状态进行，而且可靠性高、实用性好。
附图说明
40.图1为本发明方法的方法流程示意图。
41.图2为本发明方法中的电力通信网流量镜像采集示意图。
42.图3为本发明方法中的电力通信网一区流量业务特征提取结果示意图。
43.图4为本发明方法中的电力通信网一区流量特征统计结果示意图。
44.图5为本发明方法中的电力通信网pmu业务特征提取结果示意图。
45.图6为本发明方法中的电力通信网保信业务特征提取结果示意图。
46.图7为本发明方法中的电力通信网远动业务特征提取结果示意图。
具体实施方式
47.如图1所示为本发明方法的方法流程示意图：本发明提供的这种基于电力通信网流量的业务交互特征提取方法，包括如下步骤：
48.s1.采集电力通信网的流量，并构建原始数据；具体为通过镜像采集技术(如图2所示)，实时复制并采集电力通信网的流量数据；并在采集过程中增加异常响应节点，在采集异常时发出告警；
49.此外，在采集过程中增加异常响应节点，在采集异常时发出告警，具体包括如下步骤：
50.首先，统计单位时间内数据包的个数和数据包之间的平均时间间隔；
51.然后，判断是否发生采集异常；
52.最后，当判定为发生采集异常时，异常响应节点立刻停止采集过程，并释放采集缓存数据，同时在设定的时间后自动恢复采集；
53.网络流量镜像采集技术是一种成熟的应用型技术，但采集过程仍存在流量漏采的情况，且无法感知网络波动引起的流量变化，本方法在镜像采集技术之上增加异常响应节点，用以解决由网络异常或漏采引起的交互特征结果不稳定的问题，该节点能够响应s2的异常判断过程发出的告警信息；
54.s2.对步骤s1获取的原始数据进行解析，得到传输层以下的元信息；统计元信息的特征，实现异常检测和告警；电力系统中iec规约数据采用tcp/ip方式实现传输，尽管目前数据包净荷采用明文传输，但出于安全考虑，未来必将会引入数据加密技术，因此本方法不
解析净荷内容，仅解析传输层以下的数据包元信息，具体为解析以下数据包元信息：包的时间戳，包头长度，载荷字节数，源ip地址，目的ip地址，源端口，目的端口，传输协议，数据包fin、syn、psh、rst、ack、cwr、urg、ece配置标识，以及初始化窗口大小；
55.解析并获得数据包元信息，并计算单位时间内数据包的个数、数据包之间的平均时间间隔以及业务类型数统计特征；此外，仅设置一组变量用以缓存该特征，通过迭代更新并记录上一时间段内统计数值，减少存储空间占用率；
56.此外，采用如下规则判定是否发生采集异常并告警：统计到稳定状态下，数据包个数的平均值为μ
packet
，方差为数据包时间间隔平均值为μ
iot
，方差为业务数均值为μ
service
，方差为
57.r1.若当前时段数据包个数小于μ
packet
‑
3σ
packet
且数据包之间的平均时间间隔在(μ
iot
‑
3σ
iot
,μ
iot
+3σ
iot
)内，则判定出现流量漏采异常，并告警；
58.r2.若当前时段业务数在(μ
service
‑
3σ
service
,μ
service
+3σ
service
)、数据包个数在(μ
packet
‑
3σ
packet
,μ
packet
)区间且数据包之间的平均间隔时间大于μ
iot
+3σ
iot
，则判定属于由于网络拥塞引起网络波动的异常，并告警；
59.r3.若当前时段业务数在(μ
service
,μ
service
+3σ
service
)、数据包个数大于μ
packet
且数据包之间的平均间隔时间小于μ
iot
‑
3σ
iot
，则判定属于由于通信网拓扑内新增节点造成网络波动的异常，并告警；
60.s3.对步骤s2获取的元信息，依次进行业务初始化和特征计算，从而提取得到最终的业务交互特征；具体包括如下步骤：
61.a.设定提取周期时长和最小数据包个数；尽管电力系统中的业务具有周期性特征，但不同业务间的周期各不相同，并且同一业务的交互周期在不同设备间也有所差异，本方法通过用户自定义周期，自定义最小数据包个数和交互完整性作为业务初始化判断标准；
62.b.采用如下规则，进行业务初始化；
63.针对pmu和故障滤波业务，通过设定的提取周期时长进行业务初始化；
64.针对稳控、电能量采集和保信业务，通过设定的最小数据包个数进行业务初始化；
65.针对远动业务，通过交互完整性进行业务初始化；
66.具体实施时，特征计算包括如下步骤：
67.a.对信息集中的首条数据进行处理：
68.若首条数据为响应数据，则删除该条响应数据，直至首条数据为请求数据；
69.b.根据传输方向，对处理后的数据分为前向数据和返向数据；
70.c.针对前向数据和返向数据，分别计算数据包个数、数据包字节数、数据包时间间隔、配置信息和传输速率；其中，数据包个数用于表示业务交互方式；数据包字节数用于表示业务载荷的信息量；数据包时间间隔用于表示业务交互频次；配置信息用于表示业务载荷的类型；传输速率用于表示业务占用带宽；
71.数据包个数和配置信息计算，均采用累加计算，通过循环读取周期内数据包配置标识计数实现；针对数据包字节数、数据包时间间隔和传输速率，增加总量、最大值，最小值，均值和方差这五个统计量，用以度量交互过程的稳定性；
72.同时，特征计算包括如下步骤：
73.在进行特征计算时，对完成计算的信息集释放对应的内存空间；
74.对占用内存时间大于所有业务周期最小公倍数的异常数据进行释放；
75.设置提取周期时长的上限，以限制周期内一次性缓存的业务数据。
76.以下结合具体实施例，对本发明方法进行进一步说明：
77.实施例1中展示实际电力通信网中多类业务交互特征提取结果，并分析现实场景下电力通信网流量内在的稳定性，用于异常检测判断；实施例2中展示pmu业务的交互特征，该业务用以表示从时间层面提取的特征结果；实施例3中展示保信业务的交互特征，该业务用以表示从空间层面提取的特征结果；实施例4中展示远动业务的交互特征，该业务用以表示从业务完整层面提取的体征结果。
78.实施例1：本实施例基于电力通信网内一区流量所提取的业务交互特征结果，参考图3所示(图中为了保密，将源ip和目的ip进行了隐藏)；其中预定义周期为1分钟，预定义最小数据包个数为1000。一区流量中包含pmu，远动等多类业务，相同业务在不同设备间的交互特征有所差异，相同设备间的业务具有一致性和稳定性，图4为一区流量单位时间内的业务类型、数据包个数和时间间隔的归一化图示，其中单位时间内包含业务数最大值为9，最小值为5，众数和中位数为7；单位时间内数据包个数均值为4030，标准差为51；单位时间内数据包时间间隔均值为7376.57毫秒，标准差为273毫秒，数据包个数与时间间隔的标准差远小于均值，由此可以看出，一区流量每分钟内包含业务类型数，数据包个数和数据包时间间隔具有稳定性，因此根据该统计值可以判断当前时段流量是否异常。
79.实施例2：本实施例提取电力通信网中pmu业务交互特征，参考图5(图中为了保密，将源ip和目的ip进行了隐藏)，其中预定义周期为1分钟，预定义最小数据包个数为1000。pmu业务交互周期短，频率高，在预定义周期内包含多次业务交互过程，数据包个数大于预定义最小数据包，因此pmu业务通过预定义周期实现业务交互特征提取。数据包字节数、数据包时间间隔和业务传输速率这三类特征为预定义周期内平均统计值，可以看出，pmu前/返向数据各维度特征具有稳定性，其中前向数据的波动性大于返向数据波动，说明返向数据稳定性更优。
80.实施例3：本实施例提取电力通信网中保信业务交互特征，参考图6((图中为了保密，将源ip和目的ip进行了隐藏))，其中预定义周期为1分钟，预定义最小数据包个数为1000。由于在预定义周期内前/返向数据包数之和小于1000，数据量不足以体现业务交互特征，因此继续缓存该业务元信息，当总数据包大于1000时初始化该业务并计算业务交互特征，由结果可知，该业务进行1000此数据传输的平均时长为97.9秒，且按最小数据包个数所统计的业务交互特征同样具有稳定性，如下表1所示：
81.表1交互特征示意表
[0082][0083]
实施例4：本实施例提取电力通信网中远动业务交互特征，参考图7(图中为了保密，将源ip和目的ip进行了隐藏)，其中预定义周期为1分钟，预定义最小数据包个数为1000。远动业务具有完整的交互逻辑，因此特征提取过程不受预定义周期和最小数据包个数限制，由提取结果可知，该业务周期为5分钟，并且在完整交互周期内前向包个数均值为43.8，标准差为1.19，返向包个数分别为29.5，标准差为1.44，其标准差远小于均值，可见在完整周期内前/返数据包个数具有稳定性。同理对于数据包字节数，传输速率，时间间隔和配置信息的统计如下表2所示：
[0084]
表2交互特征示意表
[0085][0086]
通过上述实施例可以看到，本发明方法能够完整和实时地提取电力通信网内任意节点和任意时段内的业务稳定的周期性交互特征，而且可靠性高、实用性好。