基于FORL强化学习的中压配电网线路参数辨识方法和系统与流程

本发明属于配电网拓扑及参数辨识，特别涉及一种基于forl强化学习的中压配电网线路参数辨识方法和系统。

背景技术：

1、配电网的线路参数对于配电网的控制和分析有着至关重要的意义。配电网线路参数受温度、运行环境、集肤效应等因素的影响，很难直接通过仪表直接进行测量。由于配电网大量接入具有时变特征新能源和负荷，导致电网状态波动较大，因此对配电网的参数识别的要求逐渐提高，需要能够在线实时辨识配电网参数。

2、配电网包括多个节点，配电网线路参数辨识主要辨识线路电阻、线路电抗，在传统的线路理论计算中，通常利用线路几何均距、材料结构等物理参数，结合气温、地理位置等根据公式计算出电抗、电阻和电纳，或者从产品目录中查得单位长度线路的参数在乘以长度得到。由于电力线路参数受运行环境影响易发生阻抗参数变化，理论计算将会存在较大误差。另外一种方式为离线停电测量，在新建线路投运前或将已运行的线路停电后，采用外加电源，利用电压表、电流表等各种表计测量线路数据，经人工读取表值并结合相应的公式计算出各个参数，但该方法存在被测线路须停电、多回运行的平行线路无法测量互感等问题。

3、近年来，在线测量方法被逐渐应用。目前可用于实时在线的辨识研究主要基于最小二乘法以及在其基础之上的改进方法，王高猛等人《基于ami量测信息的低压配电网线路参数辨识方法》一文中提出利用ami多时间断面的量测信息，建立整个网络支路参数的非线性方程组；侯彦若等人提出一种基于pmu的配电网t型线路参数辨识方法及系统，利用pmu量测装置数值求解辨识模型。但是配电网现阶段量测装置安装数量以及量测信息质量通常无法满足参数辨识的要求，量测数据获取困难，计算精度有待提高。

技术实现思路

1、为了解决现有技术中存在的不足，本发明提供了一种基于forl强化学习的中压配电网线路参数辨识方法和系统，以解决实现简单可靠、能够同时兼顾时效性和准确性的线路参数识别的技术问题。

2、为解决上述技术问题，本发明采用如下的技术方案。

3、本发明首先公开了一种基于forl强化学习的中压配电网线路参数辨识方法，该方法包括以下步骤：

4、步骤1：以中压配电网中的总线作为节点，以连接线路作为边，构建中压配电网拓扑图模型，并采集中压配电网的历史量测数据并进行数据预处理，生成中压配电网线路参数辨识训练样本；

5、步骤2：根据连接线路的待辨识参数，构建forl强化学习智能体和forl强化学习模型；

6、步骤3：利用所述中压配电网线路参数辨识训练样本对所述forl强化学习模型进行训练，将待辨识参数作为当前状态，通过潮流计算迭代更新目标函数和状态，并得到算法最优环境参数，保存训练模型；

7、步骤4：采集中压配电网实时量测数据，将所述实时量测数据输入训练后的forl强化学习模型，获得中压配电网线路电阻与电抗辨识结果。

8、本发明进一步包括以下优选方案：

9、所述步骤1进一步包括：

10、步骤1.1：将所述中压配电网中的总线作为拓扑图模型的节点，连接线路作为拓扑图模型的边，包括支路与联络开关所在支路，设置中压配电网首端电源节点作为基准参考节点，从而得到中压配电网的拓扑图模型记为g＝{v，b}；其中v＝{v1，v2，…，vm}表示拓扑图模型的节点集合，vi为节点，m为拓扑图模型中的节点数；b＝{bij|i∈[0，m]，j∈[0，m]，i≠j}表示拓扑图模型g中的边集合；其中，bij表示vi节点与vj节点之间存在边连接关系，n表示拓扑图模型中的支路总数；对集合b中的边元素进行编号，得到支路集合bline＝{li|i∈[0，n]}；

11、步骤1.2：根据中压配电网中总线节点安装的量测装置所量测的物理量，计算历史初始参数，所述历史量测数据来自智能电表采集数据，包括每15min采集一次的节点电压、电流、有功功率以及无功功率。

12、所述步骤2进一步包括：

13、步骤2.1：针对待辨识参数即第i条连接线路的电阻ri和电抗xi，生成forl强化学习五元组{si，ai，ri，pi，πi}以表征forl问题；其中，si＝{xi}表示第i个变量的状态空间，ai表示第i个智能体的行为空间，ri表示从环境中获得的奖励信号，pi＝{p1，p2}分别表示搜索路径方向和行为选择的概率，πi表示第i个智能体指导采取行为的策略；

14、步骤2.2：每条连接线路含有两个待求解的参数，记第h条线路的待求参数为电抗xh和电阻rh，xh＝xh，rh＝xn+h，h∈{1，2，…，n}。将第i个变量划分为di个单元格；第i个变量的第j个单元格记为cij，其中i∈{1，2，…，n}，j∈{1，2，…，di}；将第i个变量的第j个单元格探索的经验值记为q(i，j)，值函数如下：

15、qk+1(i，j)＝qk(i，j)+α·δk(i)

16、其中α为学习速率，δk(i)为值函数的增量，计算公式如下：

17、δk(i)＝re+γ·[maxqk(i，j)-qk(i，j)]

18、其中，re为奖励信号，γ为折扣率。

19、所述步骤3进一步包括：

20、步骤3.1：首先初始化计算环境、待辨识参数、参数范围、forl强化学习模型网络参数。初始化计数k＝1，xbest＝0。

21、步骤3.2：计算每一个单元格探索的经验值q(i，j)，其中α为学习速率；

22、步骤3.3：智能体i根据经验值的大小，选择搜索方向和单元格；

23、步骤3.4：根据路径计算规则，选择可以使路径计算值最大的一条路径，智能体在路径方向的搜索概率p1计算公式如下：

24、

25、其中τ代表折扣参数；ll(i，j)为路径值函数，更新方式如下：

26、

27、其中ll(i，j)(xi)表示状态xi下的路径值，ω1表示计算路径值时值函数的权重，q(l,m)表示在搜索路径l上将所有行为的值函数按照从大到小排列，第m个值函数的值；

28、在第i个智能体中选择最优行为的概率中，选择最优行为的概率p2(h)：

29、

30、步骤3.5：根据行为探索单元格。在探索单元格后，将新产生的第i个变量x'i和其余不变变量一起组成新的状态空间，k增1，即k＝k+1；

31、步骤3.6：将x'i和r'i代入系统中进行潮流计算，得到对应支路bi首端节点的电压幅值vhi：

32、

33、

34、

35、其中，pei为对应支路bi末端节点的有功功率，qei为对应支路bi末端节点的无功功率，vei为对应支路bi末端节点的电压幅值。

36、步骤3.7：将x'i与此时最优状态下的变量xbest分别代入目标函数f(x)；

37、

38、

39、其中n是参与辨识的样本总数，ωt是每个参与辨识的样本权重，xy是待辨识的参数，ya是实际系统的量测电压值vhi，ye是计算出的电压值；

40、步骤3.8：在新的状态空间中，通过计算目标函数和奖励信号评估环境，将奖励信号re反馈至智能体i，更新最优参数xbest：

41、

42、根据更新规则更新值函数q(i，j)；

43、步骤3.9：迭代执行步骤3.1至步骤3.8，直到k>kmax，kmax为预设阈值，得到模型最优网络参数，保存训练模型。

44、所述值函数的权重满足以下约束条件：

45、0≤ω1≤1，

46、

47、

48、本发明同时公开了一种利用前述基于forl强化学习的中压配电网线路参数辨识方法的基于forl强化学习的中压配电网线路参数辨识系统，包括拓扑构建和样本采集模块、强化学习模型构建模块、强化学习模型训练模块和实时线路参数辨识模块。

49、所述拓扑构建和样本采集模块，用于以中压配电网中的总线作为节点，以连接线路作为边，构建中压配电网拓扑图模型，并采集中压配电网的历史量测数据并进行数据预处理，生成中压配电网线路参数辨识训练样本；

50、所述强化学习模型构建模块，用于根据连接线路的待辨识参数，构建forl强化学习智能体和forl强化学习模型；

51、强化学习模型训练模块，用于利用所述中压配电网线路参数辨识训练样本对所述forl强化学习模型进行训练，将待辨识参数作为当前状态，通过潮流计算迭代更新目标函数和状态，并得到算法最优参数，完成模型训练；

52、所述实时线路参数辨识模块，用于采集中压配电网实时量测数据，将所述实时量测数据输入训练后的forl强化学习模型，获得中压配电网线路参数辨识结果。

53、相应地，本技术还公开了一种终端，包括处理器及存储介质；

54、所述存储介质用于存储指令；

55、所述处理器用于根据所述指令进行操作以执行根据前述基于forl强化学习的中压配电网线路参数辨识方法的步骤。

56、相应地，本技术还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述基于forl强化学习的中压配电网线路参数辨识方法的步骤。

57、本发明的有益效果在于，与现有技术相比，本发明提供了一种基于forl强化学习的中压配电网线路参数辨识方法和系统，充分考虑了量测装置采集的数据并通过上述数据实现快速准确的中压配电网参数区间辨识，改善了传统数学优化方法在计算效率以及精度方面存在的不足。在耗费时间少的前提下也能够保证参数预测结果的准确度，提高了辨识效率。