一种电力系统网架规划方法及系统与流程
本发明涉及电力系统规划技术领域，特别是涉及一种电力系统网架规划方法及系统。
背景技术：
随着电力系统网络结构复杂化、数据来源多样化，需要更加完善的规划方法来满足电力系统发展的需求。现有的规划方法往往需要考虑更加细致的约束条件，需要能够适应更大的网络规模，这些新要求的出现使得电力系统规划问题相比以往规模更大，求解难度更高。
电力系统规划问题通常属于大规模混合整数非线性规划问题，属于np难问题，求解难度大，求解速度慢，且不能够保证解的最优性。目前的求解方法主要是通过增加一定的条件将目标函数及约束条件线性化，将大规模混合整数非线性规划问题转化为大规模混合整数线性规划问题；在此基础上，利用启发式算法进行求解。启发式算法虽然能够通过数值的方法逼近规划问题的最优解，但是求解效率较低，且容易陷入局部最优。最重要的是，当系统中有参数发生变化时，启发式算法往往将其当作一个未处理过的新问题，需要重新计算最优解，无法利用相似的原问题及其最优解来加速求解过程，这就更加剧了求解效率低下与局部最优的问题。因此，如何避免传统网架规划问题求解方法求解速度慢且容易陷入局部最优解，是亟待解决的问题。
技术实现要素：
本发明的目的是提供一种电力系统网架规划方法及系统，能够避免求解效率低下以及容易陷入局部最优的问题。
为实现上述目的，本发明提供了如下方案：
一种电力系统网架规划方法，包括：
获取电力系统内的节点以及节点功率的概率密度函数；
对所述节点功率的概率密度函数采用信息熵计算方法确定电力系统节点的多个功率值以及与功率值对应的权重；
根据所述节点的多个功率值以及与功率值对应的权重，以最小化规划成本为目标函数，建立电力系统网架规划模型；
根据所述电力系统内的节点确定电力系统的节点-支路关联矩阵；所述节点-支路关联矩阵为n*m矩阵，n表示电力系统内的节点，m表示支路；
以所述节点-支路关联矩阵的列向量为输入，根据所述电力系统网架规划模型，采用actor-critic算法对指针网络模型进行训练，得到训练好的指针网络模型；所述指针网络模型包括m+1个编码器节点和m+1个解码器节点；
将所述训练好的指针网络模型输出的电力系统支路组合确定为电力系统网架最优规划方案。
可选的，所述对所述节点功率的概率密度函数采用信息熵计算方法确定电力系统节点的多个功率值以及与功率值对应的权重，具体包括：
将所述节点功率的概率密度函数作为初始根节点，并计算所述初始根节点的信息熵；
以信息熵减小量最大化为目标，确定所述初始根节点的分割位置；
根据所述分割位置计算初始根节点分割后的信息熵；
判断所述初始根节点分割后的信息熵是否小于预设临界值；若小于预设临界值，则根据所述分割位置确定电力系统节点的多个功率值以及与功率值对应的权重；若大于或等于所述预设临界值，则以信息熵减小量最大化为目标继续进行节点分割，然后返回步骤“根据所述分割位置计算初始根节点分割后的信息熵”。
可选的，所述以信息熵减小量最大化为目标，确定所述初始根节点的分割位置，具体包括：
根据如下公式确定所述初始根节点的分割位置：
maxδh＝h(v0)-h(v0,x0)
其中，
h(v0,x0)＝h(v0′)+h(v0″)
式中，h为节点的信息熵，v0为初始根节点，x0为分割位置，δh为初始根节点的信息熵h(v0)和所述初始根节点分割后的信息熵h(v0,x0)的差值，x为功率，xmax为功率最大值，p(x)为功率对应的概率密度函数，v0'为分割后形成的左子节点，h(v0′)为分割后形成的左子节点的信息熵，v0”为分割后形成的右子节点，h(v0″)为分割后形成的右子节点的信息熵，p′(x)为分割后形成的左子节点的概率密度函数，p″(x)为分割后形成的右子节点的概率密度函数。
可选的，所述根据所述分割位置确定电力系统节点的多个功率值以及与功率值对应的权重，具体包括：
根据所述分割位置确定叶节点的个数；所述叶节点为概率密度区间；
计算每个叶节点内的功率平均值，并将所述功率平均值作为所述叶节点对应的典型场景；
将叶节点内的功率个数占初始根节点内的功率个数的比重确定为叶节点对应的典型场景的权重；
将多个所述典型场景确定为所述电力系统节点的多个功率值，将所述叶节点对应的典型场景的权重确定为功率值对应的权重。
可选的，所述以所述节点-支路关联矩阵的列向量为输入，根据所述电力系统网架规划模型，采用actor-critic算法对指针网络模型进行训练，得到训练好的指针网络模型，具体包括：
将所述节点-支路关联矩阵的列向量输入所述指针网络模型，得到第一电力系统支路组合；
将所述第一电力系统支路组合输入所述电力系统网架规划模型的目标函数中，得到第一目标函数值；
根据所述电力系统网架规划模型的目标函数确定所述指针网络模型的损失函数；
根据所述损失函数对所述指针网络模型的参数进行优化，得到优化后的指针网络模型；所述指针网络模型的参数包括编码器参数和解码器参数；
将所述节点-支路关联矩阵的列向量输入所述优化后的指针网络模型，得到第二电力系统支路组合；
将所述第二电力系统支路组合输入所述电力系统网架规划模型的目标函数中，得到第二目标函数值；
判断所述第一目标函数值与所述第二目标函数值的差值的绝对值是否小于预设差值；若小于所述预设差值，则将所述优化后的指针网络模型确定为训练好的指针网络模型；若大于或等于所述预设差值，则将所述第二目标函数值作为第一目标函数值，将所述指针网络模型更新为所述优化后的指针网络模型，然后返回步骤“根据所述损失函数对所述指针网络模型的参数进行优化，得到优化后的指针网络模型”。
可选的，所述将所述节点-支路关联矩阵的列向量输入所述指针网络模型，得到第一电力系统支路组合，具体包括：
将所述节点-支路关联矩阵的列向量依次输入编码器前m个节点，将编码器参数输入停止节点；
将所述停止节点的输出以及解码器参数输入解码器的首端节点，得到当前预测节点；
将所述当前预测节点输入解码器的下一个节点，根据所述电力系统网架规划模型的约束条件以及根据预测节点不重复原则，生成下一个预测节点；
判断所述下一个预测节点是否为停止节点，若是停止节点，则将所述停止节点前的所有预测节点确定为第一电力系统支路组合，若不是停止节点，则将所述下一个预测节点作为当前预测节点，并返回步骤“将所述当前预测节点输入解码器的下一个节点”。
可选的，
所述电力系统网架规划模型为：
s.t.x∈xf
式中，l(x)为目标函数值，d为典型场景的个数，ωi为第i个典型场景的权重，ci为电力系统网架规划方案在典型场景i下的成本，fi为仅考虑第i个典型场景时对应的场景最优投资方案，x为电力系统网架规划方案，xf为满足辐射性条件的电力系统网架规划方案集合；
所述指针网络模型的损失函数的梯度为：
式中，
本发明还提供一种电力系统网架规划系统，包括：
电力系统参数获取模块，用于获取电力系统内的节点以及节点功率的概率密度函数；
信息熵计算模块，用于对所述节点功率的概率密度函数采用信息熵计算方法确定电力系统节点的多个功率值以及与功率值对应的权重；
电力系统网架规划模型建立模块，用于根据所述节点的多个功率值以及与功率值对应的权重，以最小化规划成本为目标函数，建立电力系统网架规划模型；
矩阵确定模块，用于根据所述电力系统内的节点确定电力系统的节点-支路关联矩阵；所述节点-支路关联矩阵为n*m矩阵，n表示电力系统内的节点，m表示支路；
指针网络模型训练模块，用于以所述节点-支路关联矩阵的列向量为输入，根据所述电力系统网架规划模型，采用actor-critic算法对所述指针网络模型进行训练，得到训练好的指针网络模型；所述指针网络模型包括m+1个编码器节点和m+1个解码器节点；
电力系统网架最优规划方案确定模块，用于将所述训练好的指针网络模型输出的电力系统支路组合确定为电力系统网架最优规划方案。
与现有技术相比，本发明的有益效果是：
本发明提出了一种电力系统网架规划方法及系统，获取电力系统内的节点以及节点功率的概率密度函数，对节点功率的概率密度函数采用信息熵计算方法确定电力系统节点的多个功率值以及与功率值对应的权重；根据节点的多个功率值以及与功率值对应的权重，以最小化规划成本为目标函数，建立电力系统网架规划模型；根据电力系统内的节点确定电力系统的节点-支路关联矩阵；以节点-支路关联矩阵的列向量为输入，根据电力系统网架规划模型，采用actor-critic算法对指针网络模型进行训练，得到训练好的指针网络模型；将训练好的指针网络模型输出的电力系统支路组合确定为电力系统网架最优规划方案，能够避免求解效率低下以及容易陷入局部最优的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中电力系统网架规划方法流程图；
图2为本发明实施例中基于信息熵的典型场景提取方法流程图；
图3为本发明实施例中改进指针网络模型结构图；
图4为本发明实施例中基于深度强化学习的电力系统网架规划方法流程图；
图5为本发明实施例中四节点系统示意图；
图6为本发明实施例中编码器训练过程示意图；
图7为本发明实施例中最优解示意图；
图8为本发明实施例中电力系统网架规划系统结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种电力系统网架规划方法及系统，能够避免求解效率低下以及容易陷入局部最优的问题。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例
图1为本发明实施例中电力系统网架规划方法流程图，如图1所示，一种电力系统网架规划方法，包括：
步骤101：获取电力系统网络内的节点以及节点功率的概率密度函数。
步骤102：对节点功率的概率密度函数采用信息熵计算方法确定电力系统网络节点的多个功率值以及与功率值对应的权重。
步骤102，具体包括：
将节点功率的概率密度函数作为初始根节点，并计算初始根节点的信息熵。
以信息熵减小量最大化为目标，确定初始根节点的分割位置。
其中，根据如下公式确定初始根节点的分割位置：
maxδh＝h(v0)-h(v0,x0)
其中，
h(v0,x0)＝h(v0′)+h(v0″)
式中，h为节点的信息熵，v0为初始根节点，x0为分割位置，δh为初始根节点的信息熵h(v0)和初始根节点分割后的信息熵h(v0,x0)的差值，x为功率，xmax为功率最大值，p(x)为功率对应的概率密度函数，v0'为分割后形成的左子节点，h(v0′)为分割后形成的左子节点的信息熵，v0”为分割后形成的右子节点，h(v0″)为分割后形成的右子节点的信息熵，p′(x)为分割后形成的左子节点的概率密度函数，p″(x)为分割后形成的右子节点的概率密度函数。
根据分割位置计算初始根节点分割后的信息熵。
判断初始根节点分割后的信息熵是否小于预设临界值；若小于预设临界值，则根据分割位置确定电力系统节点的多个功率值以及与功率值对应的权重；若大于或等于预设临界值，则以信息熵减小量最大化为目标继续进行节点分割，然后返回步骤“根据分割位置计算初始根节点分割后的信息熵”。
其中，根据分割位置确定电力系统节点的多个功率值以及与功率值对应的权重，具体包括：
根据分割位置确定叶节点的个数；叶节点为概率密度区间；计算每个叶节点内的功率平均值，并将功率平均值作为叶节点对应的典型场景；将叶节点内的功率个数占初始根节点内的功率个数的比重确定为叶节点对应的典型场景的权重；将多个典型场景确定为电力系统节点的多个功率值，将叶节点对应的典型场景的权重确定为功率值对应的权重。
步骤103：根据节点的多个功率值以及与功率值对应的权重，以最小化规划成本为目标函数，建立电力系统网架规划模型。
电力系统网架规划模型为：
s.t.x∈xf
式中，l(x)为目标函数值，d为典型场景的个数，ωi为第i个典型场景的权重，ci为电力系统网架规划方案在典型场景i下的成本，fi为仅考虑第i个典型场景时对应的场景最优投资方案，x为电力系统网架规划方案，xf为满足辐射性条件的电力系统网架规划方案集合。
步骤104：根据电力系统网络内的节点确定电力系统网络的节点-支路关联矩阵；节点-支路关联矩阵为n*m矩阵，n表示电力系统内的节点，m表示支路。
步骤105：以节点-支路关联矩阵的列向量为输入，根据电力系统网架规划模型，采用actor-critic算法对指针网络模型进行训练，得到训练好的指针网络模型；指针网络模型包括m+1个编码器节点和m+1个解码器节点。
步骤105，具体包括：
将节点-支路关联矩阵的列向量输入指针网络模型，得到第一电力系统支路组合；具体包括：
将节点-支路关联矩阵的列向量依次输入编码器前m个节点，将编码器参数输入停止节点；将停止节点的输出以及解码器参数输入解码器的首端节点，得到当前预测节点；将当前预测节点输入解码器的下一个节点，根据电力系统网架规划模型的约束条件，生成下一个预测节点；判断下一个预测节点是否为停止节点，若是停止节点，则将停止节点前的所有预测节点确定为第一电力系统支路组合，若不是停止节点，则将下一个预测节点作为当前预测节点，并返回步骤“将当前预测节点输入解码器的下一个节点”。
将第一电力系统支路组合输入电力系统网架规划模型的目标函数中，得到第一目标函数值。
根据电力系统网架规划模型的目标函数确定指针网络模型的损失函数。
指针网络模型的损失函数的梯度为：
式中，
根据损失函数对指针网络模型的参数进行优化，得到优化后的指针网络模型；指针网络模型的参数包括编码器参数和解码器参数。
将节点-支路关联矩阵的列向量输入优化后的指针网络模型，得到第二电力系统支路组合。
将第二电力系统支路组合输入电力系统网架规划模型的目标函数中，得到第二目标函数值。
判断第一目标函数值与第二目标函数值的差值的绝对值是否小于预设差值；若小于预设差值，则将优化后的指针网络模型确定为训练好的指针网络模型；若大于或等于预设差值，则将第二目标函数值作为第一目标函数值，将指针网络模型更新为优化后的指针网络模型，然后返回步骤“根据损失函数对指针网络模型的参数进行优化，得到优化后的指针网络模型”。
步骤106：将训练好的指针网络模型输出的电力系统网络支路组合确定为电力系统网架最优规划方案。
具体的，
本发明的规划模型主要考虑了经济性、适应性、安全性、可靠性、协调性五个方面来进行电力系统网架规划。本发明在此基础上提出基于信息熵的典型场景提取方法(typicalscenariosetwithentropy，tsse)，引入场景信息熵的概念进行典型场景提取。
场景法主要用于对电力系统内的不确定性因素进行定量分析。通过将不确定性因素的概率分布转化成带权典型值组合，将典型值代入计算并对结果进行加权求和即可得到考虑不确定性因素的评价结果。因此，需要先给出不确定性因素的概率分布。本发明考虑的不确定性因素主要有风力发电、光伏发电以及负荷功率。对于风力发电，采用双参数weibull概率分布模型进行模拟；对于光伏发电，采用beta分布进行模拟；对于负荷功率则采用正态分布进行模拟
信息熵的概念来源于热力学，用以度量对象的不确定性。熵的大小表征着信息含量的多少，熵值较大说明信息含量较大，熵值较小说明信息含量较小。信息熵理论已经在很多领域有所应用，包括id3类决策树。id3类决策树模型采用最大化信息熵变化量为评判依据，选取尽可能将样本分为完全不同的两类的节点进行节点分割。本发明采取类似的思路进行典型场景提取，通过最大化场景信息熵变化量进行场景分类，通过递归的方式将原始场景分为多个子类，取每个子类的平均值作为该类的典型场景，所有子类的场景集合即为所提取的典型场景集。
如图2所示，为了保持名称上的前后一致，初始节点先作为叶节点输入，随后才被修改为根节点。
首先输入待分场景功率分布密度函数信息作为初始根节点，并计算初始根节点信息熵
其中，h为节点信息熵，v0为初始根节点，x为功率，p(x)为功率对应的概率密度，xmax为功率最大值。
接下来选取初始根节点的分割位置。对于某一分割位置，其分割后的信息熵为分割后形成的两个新的节点的信息熵之和：
其中，x0为任一分割位置，h(v0,x0)为初始根节点分割后的信息熵，h(v0′)为分割后形成的左子节点，h(v0″)为分割后形成的右子节点，p′(x)为左子节点的概率密度函数，p″(x)为右子节点的概率密度函数。
节点分割之后，父节点所有可能的功率值也会被分成两份，在某一子节点中，不会再出现另一子节点的功率值。因此，每个节点保留的可能的功率值相应的概率会增加，功率概率密度函数会发生变化。
节点分割的选取原则是信息熵减小量最大化，即
δh＝h(v0)-h(v0,x0)(3)
其中，δh为节点分割后信息熵的减小量。
能够使得式(3)最大化的分割位置即为当前节点的最优分割位置。
对初始节点分割完成形成两个子节点后，对产生的新子节点进行校验，校验节点信息熵是否小于临界值εh。小于临界值εh的子结点的信息熵较小，称为“叶节点”。信息熵较小代表节点内功率分布较为一致，在单一节点内进行功率采样得到的功率值趋同，不会发生较大波动。因此，对于叶节点，可以取功率分布的期望作为该节点对应的典型场景。
不通过信息熵校验的新节点则作为待分根节点，继续进行节点分割，直至所有节点都成为叶节点则递归停止。递归停止后，即得到了依据信息熵对场景进行最优分割的树结构。下面通过所建立的树结构生成典型场景。
首先，计算每个叶节点对应的典型场景。每个叶节点对应的典型场景即为该叶节点内部所有场景的平均值。计算所有叶节点对应的典型场景，作为典型场景集合输出。其次，计算每个典型场景对应权重ωi。取每个叶节点内部场景数量占总场景的比例作为该叶节点对应典型场景的权重。
本发明提出电力系统柔性约束规划模型。模型目标函数为最大化成本。其数学描述为：
其中，x为任一可行的规划方案，l(x)为目标函数值，xf为满足辐射性条件的可行方案集合，d为典型场景的数目(即叶节点的数目)，ωi为场景i的权重，ci为方案x在场景i下的成本，fi为仅考虑该场景时对应的场景最优投资方案。
为了解决如遗传算法等启发式算法存在的求解效率低，易陷入局部最优等问题，本发明在原始指针网络的基础上进行改进使其能够适用于电力系统网架规划问题。与原始指针网络应用标签样本进行神经网络训练不同，本发明应用强化学习中的actor-critic模型，从而能够实现无需标签样本的训练。
指针网络(pointernetwork)是一种神经网络结构，用于解决组合优化问题。其结构类似于seq2seq模型，由一个编码器(encoder)和一个解码器(decoder)组成。原始的指针网络被用于解决旅行商问题(travelsalesmanproblem,tsp)，编码器的输入为节点坐标组成的向量，解码器的输出则为节点坐标的某个排序。但是，该模型不能直接应用于网架规划问题中，需要进行一定的改进。因此，本发明提出一种适用于网架规划问题的改进指针网络模型，如图3所示。
与原始模型使用节点坐标作为输入不同，rpn使用网络的节点-支路关联矩阵中对应的向量作为节点的输入，在图3中以n1，n2表示。接受输入的空白框表示编码器与解码器中的循环神经网络(recurrentneuralnetwork,rnn)，rnn每次以一个新节点以及上一个节点的输出作为输入，给出当前节点的输出。当所有的输入节点顺序输入结束后，编码器的最终输出即为指针网络对于电力系统网络结构信息的嵌入(embedding)。
对于解码器来说，解码器中的rnn每次接受上一个节点的输出，并把上一个节点给出的预测节点作为输入。解码器中首节点的输入则为编码器给出的嵌入以及一个用待训练参数表示的起始节点ng。每个节点对应的输出则是编码器输入节点的概率分布，取概率最大的节点作为预测节点，在图3中用指向编码器的箭头表示。此外，解码器每次给出预测节点时，不能出现已经在解码器中出现过的节点，以此保证结果的有效性。如图3所示，圆圈表示不可选节点。所有解码器给出的节点即为rpn给出的一个解。
由于网架规划问题的解往往仅包含可建设线路中的某几条，因此输出向量的长度将远小于输入向量。针对此问题，rpn在输入向量的尾部追加一个停止节点ns，当停止节点出现在输出向量中时，后续产生的节点即无效，仅保留停止节点前的节点。
对于电力系统规划问题，需要保证给出的解网络为辐射状。为此，当解码器在给出预测节点时，对所有节点进行连通性校验，设置不符合辐射性或连通性要求的节点对应的概率为0。
rpn并不能保证单次输出即可得到最优解。因此，在利用训练好的rpn网络进行求解时，需要将输入向量随机排序，重复输入到网络中获得多个输出，并在输出集合中进行搜索，以得分最高者作为最优解输出。
如图4所示，神经网络通常使用监督学习的方法进行训练，但对于包括网架规划在内的组合优化问题来说，获得足够数量的高质量标签数据十分困难且代价高昂。因此，本发明采用强化学习中的actor-critic方法训练rpn，该方法通过自行与环境进行交互来获得训练样本，无需事先给定，适用于网架规划问题。
rpn的损失函数定义为
其中，θ为神经网络参数，j(θ)为神经网络损失函数，pθ为参数θ对应的rpn的决策策略概率分布，π为根据策略概率分布做出的决策，l(π)当前决策的目标函数值，由式(4)给出。
根据actor-critic算法，损失函数的梯度定义为
其中，b为梯度的基准线方程(baselinefunction)，pθ(π)为当前θ对应决策概率分布下决策π的概率。
通过蒙特卡洛采样对式(6)进行逼近，可得
其中，b为蒙特卡洛采样的次数，i为b次采样中的某一次。
对于基准线方程，本发明采用指数移动平均作为基准线方程。指数移动平均相比简单移动平均，更注重近期内的数据；数据的权重会随着时间按照指数规律下降。基准线方程的形式为：
神经网络参数更新选用随机梯度下降(samplegradientdescent,sgd)方式进行计算，提升计算效率。
网络训练完成后，即可应用网络模型对模型进行求解。
规划问题本质上即为给出一组支路组合，组合中存在的支路表示该支路需要建设，使得总目标函数最优，即l(x)最小的支路组合即为最优解。对于训练的改进指针网络模型，模型的输入即为规划问题，模型的输出即为一组描述支路建设情况的支路组合，该支路组合即为模型认为的最优组合，即使得l(x)最小的组合。详细地说，将规划问题所有节点在节支关联矩阵中对应行的列向量(每一列代表一条支路)按任意顺序输入到编码器中(每个列向量代表一个输入节点)，进行一次神经网络前向传播后，解码器即可给出一个含有额外的停止节点的输入支路的排列，取停止节点前的所有支路即为最优规划方案xop。停止节点前的支路表示该网络给出的解中需要建设该支路，停止节点后的支路表示解中不需要建设该支路。
在用于解决tsp(travelsalesmanproblem)问题的原始指针网络模型中，模型的把节点的坐标作为编码器节点输入，解码器输出的节点排列即为最优的路径。相比而言，本发明提出的方法将线路对应的关联向量作为编码器节点输入，解码器输出的节点排列中，停止节点前的部分即为需要建设的线路。
为详细说明上述的流程，本发明给出一个4节点系统应用范例。取模型目标函数为建设总费用最小，考虑到建设费用与输电距离成正比，则目标函数等价于线路总距离最小。
如图5所示，4节点系统总共有6条线路。因此，改进指针网络中，编码器由7个节点组成的，其中6个节点代表线路，剩余1个节点代表停止节点。解码器同样由7个节点组成，与编码器相对应。设置好网络初始参数后，对网络进行训练。将该网络的节点-支路关联矩阵的每一列(对应一条支路)作为节点输入，按照随意顺序输入到编码器中，如图6所示。
此时，解码器会在初始参数的基础上，给出解的概率分布：
其中，t为解码器中的节点序号，πt表示第t个节点给出的线路的序号，s为当前待求解模型，即为该4节点系统，pθ为网络参数为θ时的概率。
对其进行采样，得到一个网络的解，如图6所示。解码器中第一个节点可以给出选择所有输入节点，亦即所有的支路，的概率分布。在此概率分布中，编码其中的第二个节点对应的概率最高，因此，解码器中的第一个节点的输出为节点2。将该输出作为解码器第二个节点的输入，同样又得到指向编码器所有节点的概率分布。在此概率分布中，编码器节点6对应的概率最大，因此，解码器节点2输出为节点6。解码器按此规律进行按序输出，最终给出的一个解是2，6，1，s，5，4。其中，s代表停止节点，停止节点之后的节点舍弃。因此，在当前参数下，解码器给出的解为建设支路2，6，1。之后，基于公式(7)、(8)，对网络参数进行升级。需要注意的是，解的概率分布也随着网络参数发生变化。在进行一次升级后，根据升级后的参数得到新的解的概率分布，进行采样得到一个网络的新的解。
按此方法进行数次迭代计算直至收敛。这里的收敛是指按照解的概率分布贪婪地得到一个解，该解计算出的目标函数值保持不变。此时，网络训练完成。
从此过程中可以看出，本发明提出的基于强化学习方法训练网络，并不需要预先给定训练样本；相反，训练样本在训练过程中由模型自身从解的概率分布中自行得出，不需手动干预。以图6情况为例，该情况得出的一个训练样本即为当解为2，6，1，s，5，4时，对应的目标函数值为线路2，6，1的长度之和。在此训练样本基础上更新参数，则新的参数对应新的概率分布又会有新的解，新的解对应不同的目标函数值，这就构成了新的训练样本。
最后，按照训练好的网络对应的解的概率分布贪婪地得到一个解，为2，6，1，s，5，4，则建设支路2、6、1，如图7所示。该解则为改进指针网络模型给出的规划问题最优解。
图8为本发明实施例中电力系统网架规划系统结构图。如图8所示，一种电力系统网架规划系统，包括：
电力系统参数获取模块201，用于获取电力系统内的节点以及节点功率的概率密度函数。
信息熵计算模块202，用于对节点功率的概率密度函数采用信息熵计算方法确定电力系统节点的多个功率值以及与功率值对应的权重。
电力系统网架规划模型建立模块203，用于根据节点的多个功率值以及与功率值对应的权重，以最小化规划成本为目标函数，建立电力系统网架规划模型。
矩阵确定模块204，用于根据电力系统内的节点确定电力系统的节点-支路关联矩阵；节点-支路关联矩阵为n*m矩阵，n表示电力系统内的节点，m表示支路。
指针网络模型训练模块205，用于以节点-支路关联矩阵的列向量为输入，根据电力系统网架规划模型，采用actor-critic算法对指针网络模型进行训练，得到训练好的指针网络模型；指针网络模型包括m+1个编码器节点和m+1个解码器节点。
电力系统网架最优规划方案确定模块206，用于将训练好的指针网络模型输出的电力系统支路组合确定为电力系统网架最优规划方案。
对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本发明中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上，本说明书内容不应理解为对本发明的限制。
- 还没有人留言评论。精彩留言会获得点赞！