一种考虑优先级别的微电网有功调度控制方法及系统与流程

本发明涉及电力技术领域，尤其涉及一种考虑优先级别的微电网有功调度控制方法及系统。

背景技术：

长久以来，电网调度机构通常是通过“离线计算、在线匹配”的模式来解决传统电力系统绝大部分的运行问题，现有的微电网有功优化调度控制策略实质上也是基于工程人员的经验和认知，其研究方向通常偏向于最优化的理论和方法，即对微电网内部各元件进行建模，再对各个模型进行简化处理，最后利用相应的求解算法对各个模型进行求解。然而，随着微电网及综合能源系统数量的增长与复杂度的提升，这种“离线计算、在线匹配”的预案式控制模式无法适用于所有的应用场景，缺乏对多类调度能源之间的控制调配智能化，难以实现分布式可再生能源的就地消纳。

技术实现要素：

本发明的目的在于克服现有技术的不足，本发明提供了一种考虑优先级别的微电网有功调度控制方法及系统，通过设置优先级别来实现微电网的智能化调度运行，从而实现分布式可再生能源的就地消纳。

为了解决上述问题，本发明提出了一种考虑优先级别的微电网有功调度控制方法，所述方法包括：

对采集到的微电网运行数据进行预处理，形成样本数据集；

搭建深度双Q网络模型，并将所述样本数据集导入所述深度双Q网络模型进行训练，形成各类调度能源所对应的控制策略；

对每一类控制策略进行优先级排序与可行性评估，输出微电网有功调度的最优控制策略。

可选的，所述对采集到的微电网运行数据进行预处理，形成样本数据集包括：

从所述微电网运行数据中剔除去异常数据以及坏数据，并对剩余的微电网运行数据进行归一化处理，形成样本数据集。

可选的，所述搭建深度双Q网络模型，并将所述样本数据集导入所述深度双Q网络模型进行训练，形成各类调度能源所对应的控制策略包括：

在所述深度双Q网络模型中划分出目标Q值网络与主Q值网络，并将所述样本数据集导入所述主Q值网络中进行训练，形成各类调度能源所对应的对照输出结果；

从所述样本数据集中随机抽取出批量样本数据，并将所述批量样本数据导入所述主Q值网络中进行训练，形成各类调度能源所对应的控制策略；

将所述批量样本数据导入所述目标Q值网络中，同时结合各类调度能源所对应的控制策略进行训练，形成各类调度能源所对应的真实输出结果。

可选的，所述对每一类控制策略进行优先级排序与可行性评估，输出微电网有功调度的最优控制策略包括：

确定所述各类调度能源所对应的对照输出结果与所述各类调度能源所对应的真实输出结果之间的误差集；

以所述误差集为影响因素，确定每一类控制策略所对应的优先级权重，或者根据调度管理需求人为设定每一类控制策略所对应的优先级权重；

结合每一类控制策略所对应的优先级权重，对每一类控制策略的运行损失进行最小化处理，再输出微电网有功调度的最优控制策略。

可选的，所述每一类控制策略所对应的优先级权重为：

δj＝Rt,j+γmax Qj(S′,a′j,θtarget)-Qj(S,aj,θ)

其中，ωj为第j类控制策略所对应的优先级权重，δj为第j类控制策略运行时的相对误差值，σ为正常数，N为策略库容量，Rt,j为t时刻下第j类控制策略运行时所获得的奖励值，γ为衰减因子系数，Qj(S′,a′j,θtarget)为第j类调度能源所对应的真实输出结果，Qj(S,aj,θ)为第j类调度能源所对应的对照输出结果，S为所述样本数据集，S′为所述批量样本数据，aj为第j类调度能源所对应的初始控制策略，a′j为第j类调度能源所对应的最终控制策略，θ为所述主Q值网络的参数值，θtarget为所述目标Q值网络的参数值。

另外，本发明实施例还提供了一种考虑优先级别的微电网有功调度控制系统，所述系统包括：

数据预处理模块，用于对采集到的微电网运行数据进行预处理，形成样本数据集；

模型构建与策略形成模块，用于搭建深度双Q网络模型，并将所述样本数据集导入所述深度双Q网络模型进行训练，形成各类调度能源所对应的控制策略；

策略运行评估模块，用于对每一类控制策略进行优先级排序与可行性评估，输出微电网有功调度的最优控制策略。

可选的，所述数据预处理模块用于从所述微电网运行数据中剔除去异常数据以及坏数据，并对剩余的微电网运行数据进行归一化处理，形成样本数据集。

可选的，所述模型构建与策略形成模块用于在所述深度双Q网络模型中划分出目标Q值网络与主Q值网络，并将所述样本数据集导入所述主Q值网络中进行训练，形成各类调度能源所对应的对照输出结果；从所述样本数据集中随机抽取出批量样本数据，并将所述批量样本数据导入所述主Q值网络中进行训练，形成各类调度能源所对应的控制策略；将所述批量样本数据导入所述目标Q值网络中，同时结合各类调度能源所对应的控制策略进行训练，形成各类调度能源所对应的真实输出结果。

可选的，所述策略运行评估模块用于确定所述各类调度能源所对应的对照输出结果与所述各类调度能源所对应的真实输出结果之间的误差集；以所述误差集为影响因素，确定每一类控制策略所对应的优先级权重，或者根据调度管理需求人为设定每一类控制策略所对应的优先级权重；结合每一类控制策略所对应的优先级权重，对每一类控制策略的运行损失进行最小化处理，再输出微电网有功调度的最优控制策略。

可选的，所述每一类控制策略所对应的优先级权重为：

δj＝Rt,j+γmax Qj(S′,a′j,θtarget)-Qj(S,aj,θ)

其中，ωj为第j类控制策略所对应的优先级权重，δj为第j类控制策略运行时的相对误差值，σ为正常数，N为策略库容量，Rt,j为t时刻下第j类控制策略运行时所获得的奖励值，γ为衰减因子系数，Qj(S′,a′j,θtarget)为第j类调度能源所对应的真实输出结果，Qj(S,aj,θ)为第j类调度能源所对应的对照输出结果，S为所述样本数据集，S′为所述批量样本数据，aj为第j类调度能源所对应的初始控制策略，a′j为第j类调度能源所对应的最终控制策略，θ为所述主Q值网络的参数值，θtarget为所述目标Q值网络的参数值。

在本发明实施例中，通过充分利用海量微电网历史运行数据可对未来微电网调度运行控制进行有效指导，同时通过运行误差值或者不同调度管理需求来设定多类调度能源所对应的控制策略优先级别，有助于实现微电网的智能化调度运行，从而实现分布式可再生能源的就地消纳，并且降低用户的用电成本和停电损失。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例中的考虑优先级别的微电网有功调度控制方法的流程示意图；

图2是本发明实施例中的考虑优先级别的微电网有功调度控制系统的结构组成示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例

请参阅图1，图1是本发明实施例中的考虑优先级别的微电网有功调度控制方法的流程示意图。

如图1所示，一种考虑优先级别的微电网有功调度控制方法，所述方法包括如下步骤：

S101、对采集到的微电网运行数据进行预处理，形成样本数据集；

本发明实施过程包括：

(1)采集微电网运行数据，包括元素可再生能源发电数据(光伏发电、风力发电)、其他电源发电数据(微型燃气轮机、柴油发电机)、不可控负荷数据、可控负荷数据、电网购售电价、储能充放电功率以及微电网与电网的交换功率；

(2)从所述微电网运行数据中剔除去异常数据以及坏数据，并对剩余的微电网运行数据进行归一化处理，形成样本数据集S，其中的归一化处理方式可用以下公式表示为：

式中：si为第i个样本数据的归一化值，si.int为第i个样本数据的原始值，smin为所述样本数据集S中的最小值，smax为所述样本数据集S中的最大值。

S102、搭建深度双Q网络模型，并将所述样本数据集导入所述深度双Q网络模型进行训练，形成各类调度能源所对应的控制策略；

本发明实施过程包括：

(1)在所述深度双Q网络模型中划分出目标Q值网络与主Q值网络，并将所述样本数据集导入所述主Q值网络中进行训练，形成各类调度能源所对应的对照输出结果Qj(S,aj,θ)，其中aj为第j类调度能源所对应的初始控制策略，θ为所述主Q值网络的参数值；

(2)从所述样本数据集中随机抽取出批量样本数据S′，并将所述批量样本数据S′导入所述主Q值网络中进行训练，形成各类调度能源所对应的控制策略a′j；

(3)将所述批量样本数据S′导入所述目标Q值网络中，同时结合各类调度能源所对应的控制策略a′j进行训练，形成各类调度能源所对应的真实输出结果Qj(S′,a′j,θtarget)，其中θtarget为所述目标Q值网络的参数值。

S103、对每一类控制策略进行优先级排序与可行性评估，输出微电网有功调度的最优控制策略。

本发明实施过程包括：

(1)确定所述各类调度能源所对应的对照输出结果与所述各类调度能源所对应的真实输出结果之间的误差集，此时通过以下公式可确定第j类调度能源所对应的对照输出结果Qj(S,aj,θ)与第j类调度能源所对应的真实输出结果Qj(S′,a′j,θtarget)之间的误差值为：

δj＝Rt,j+γmax Qj(S′,a′j,θtarget)-Qj(S,aj,θ)

式中：δj为第j类控制策略运行时的相对误差值，Rt,j为t时刻下第j类控制策略运行时所获得的奖励值，γ为衰减因子系数；

此时，Rt,j的取值可由规定的奖励函数来确定，该奖励函数的表达式为：

其中，T为调度周期，N为可控分布式发电机组的总数量，C1_i,t为第i个可控分布式发电机组在t时段内的燃料成本，C2_i,t为第i个可控分布式发电机组在t时段内的启动成本，C3_t为储能电池在t时段内的充放电成本，C4_t为在t时段内微电网与大电网之间的购售电成本，ai、bi、ci均为第i个可控分布式发电机组的燃料成本系数，Pi,t为第i个可控分布式发电机组在t时段内的出力，non_i,t为第i个可控分布式发电机组在t时段内的状态量(non_i,t＝1表示机组处于运行状态，non_i,t＝0表示机组处于停滞不工作状态)，SUi为第i个可控分布式发电机组的启动成本，K为储能电池的单位充放电成本，Pcha,t为储能电池在t时段内的充电功率，Pdis,t为储能电池在t时段内的放电功率，ηcha为储能电池的充电效率，ηdis为储能电池的放电效率，Pex_t为微电网与大电网在t时段内的交换功率，Ppr为电网在t时段内的电价。

(2)以所述误差集为影响因素，确定每一类控制策略所对应的优先级权重，或者根据调度管理需求人为设定每一类控制策略所对应的优先级权重；

具体的，本发明实施例提出以第j类控制策略运行时的相对误差值δj为影响因素，确定第j类控制策略所对应的优先级权重ωj为：

其中，σ为正常数，N为策略库容量；

此外，本发明实施例还提出根据调度管理需求人为设定每一类控制策略所对应的优先级权重，其考虑依据包括：其一，从可持续发展角度考虑，应优先使用太阳能光伏发电、风力发电等不可控可再生能源发电，且在检测到其发电功率大于本地负荷时选择向蓄电池充电或者向电网反送部分电能；其二，从发电经济性制约角度考虑，应优先使用输出功率稳定且响应速度快的微型燃气轮机、燃料电池等可控发电单元，且尽量保证其工作在较高的负荷率；其三，从储能使用寿命角度考虑，应优先使用具备调节峰谷差优势的后备储能电池，且通过综合考虑运行经济性来决定其储能充放电功率。

(3)结合每一类控制策略所对应的优先级权重，对每一类控制策略的运行损失进行最小化处理，再输出微电网有功调度的最优控制策略。

具体的，结合第j类控制策略所对应的优先级权重ωj，可建立第j类调度能源所对应的对照输出结果Qj(S,aj,θ)与第j类调度能源所对应的真实输出结果Qj(S′,a′,θtarget)之间的损失函数为L＝ωj×E(δj)²，此时判断每一类控制策略所对应的损失函数是否处于收敛状态，其相应的判断结果为：若仅存在一类控制策略所对应的损失函数收敛，则将该类控制策略作为最优控制策略输出；若存在两类或者两类以上的控制策略所对应的损失函数收敛，则将优先级权重最高的该类控制策略作为最优控制策略输出；若不存在任意一类控制策略所对应的损失函数收敛，则利用梯度反向传播算法将所述主Q值网络的参数值θ更新为以及将所述目标Q值网络的参数值θtarget更新为θ′target＝θt+T，且其中θt+1为第t+1次迭代时所述主Q值网络的参数值，θt为第t次迭代时所述主Q值网络的参数值，为学习率，Lt(θt)为第t次迭代训练所产生的综合损失值，θt+T为第t+T次迭代时所述目标Q值网络的参数值，其以调度周期T为调整基准，此时返回步骤S102进行迭代训练，直至满足以上任意一种收敛情况为止。

在本发明实施例中，通过充分利用海量微电网历史运行数据可对未来微电网调度运行控制进行有效指导，同时通过运行误差值或者不同调度管理需求来设定多类调度能源所对应的控制策略优先级别，有助于实现微电网的智能化调度运行，从而实现分布式可再生能源的就地消纳，并且降低用户的用电成本和停电损失。

实施例

请参阅图2，图2示出了本发明实施例中的考虑优先级别的微电网有功调度控制系统的结构组成示意图。

如图2所示，一种考虑优先级别的微电网有功调度控制系统，所述系统包括如下：

数据预处理模块201，用于对采集到的微电网运行数据进行预处理，形成样本数据集；

本发明实施过程包括：

(1)采集微电网运行数据，包括元素可再生能源发电数据(光伏发电、风力发电)、其他电源发电数据(微型燃气轮机、柴油发电机)、不可控负荷数据、可控负荷数据、电网购售电价、储能充放电功率以及微电网与电网的交换功率；

(2)从所述微电网运行数据中剔除去异常数据以及坏数据，并对剩余的微电网运行数据进行归一化处理，形成样本数据集S，其中的归一化处理方式可用以下公式表示为：

式中：si为第i个样本数据的归一化值，si.int为第i个样本数据的原始值，smin为所述样本数据集S中的最小值，smax为所述样本数据集S中的最大值。

模型构建与策略形成模块202，用于搭建深度双Q网络模型，并将所述样本数据集导入所述深度双Q网络模型进行训练，形成各类调度能源所对应的控制策略；

本发明实施过程包括：

(1)在所述深度双Q网络模型中划分出目标Q值网络与主Q值网络，并将所述样本数据集导入所述主Q值网络中进行训练，形成各类调度能源所对应的对照输出结果Qj(S,aj,θ)，其中aj为第j类调度能源所对应的初始控制策略，θ为所述主Q值网络的参数值；

(2)从所述样本数据集中随机抽取出批量样本数据S′，并将所述批量样本数据S′导入所述主Q值网络中进行训练，形成各类调度能源所对应的控制策略a′j；

(3)将所述批量样本数据S′导入所述目标Q值网络中，同时结合各类调度能源所对应的控制策略a′j进行训练，形成各类调度能源所对应的真实输出结果Qj(S′,a′j,θtarget)，其中θtarget为所述目标Q值网络的参数值。

策略运行评估模块203，用于对每一类控制策略进行优先级排序与可行性评估，输出微电网有功调度的最优控制策略。

本发明实施过程包括：

(1)确定所述各类调度能源所对应的对照输出结果与所述各类调度能源所对应的真实输出结果之间的误差集，此时通过以下公式可确定第j类调度能源所对应的对照输出结果Qj(S,aj,θ)与第j类调度能源所对应的真实输出结果Qj(S′,a′j,θtarget)之间的误差值为：

δj＝Rt,j+γmax Qj(S′,a′j,θtarget)-Qj(S,aj,θ)

式中：δj为第j类控制策略运行时的相对误差值，Rt,j为t时刻下第j类控制策略运行时所获得的奖励值，γ为衰减因子系数；

此时，Rt,j的取值可由规定的奖励函数来确定，该奖励函数的表达式为：

其中，T为调度周期，N为可控分布式发电机组的总数量，C1_i,t为第i个可控分布式发电机组在t时段内的燃料成本，C2_i,t为第i个可控分布式发电机组在t时段内的启动成本，C3_t为储能电池在t时段内的充放电成本，C4_t为在t时段内微电网与大电网之间的购售电成本，ai、bi、ci均为第i个可控分布式发电机组的燃料成本系数，Pi,t为第i个可控分布式发电机组在t时段内的出力，non_i,t为第i个可控分布式发电机组在t时段内的状态量(non_i,t＝1表示机组处于运行状态，non_i,t＝0表示机组处于停滞不工作状态)，SUi为第i个可控分布式发电机组的启动成本，K为储能电池的单位充放电成本，Pcha,t为储能电池在t时段内的充电功率，Pdis,t为储能电池在t时段内的放电功率，ηcha为储能电池的充电效率，ηdis为储能电池的放电效率，Pex_t为微电网与大电网在t时段内的交换功率，Ppr为电网在t时段内的电价。

(2)以所述误差集为影响因素，确定每一类控制策略所对应的优先级权重，或者根据调度管理需求人为设定每一类控制策略所对应的优先级权重；

具体的，本发明实施例提出以第j类控制策略运行时的相对误差值δj为影响因素，确定第j类控制策略所对应的优先级权重ωj为：

其中，σ为正常数，N为策略库容量；

此外，本发明实施例还提出根据调度管理需求人为设定每一类控制策略所对应的优先级权重，其考虑依据包括：其一，从可持续发展角度考虑，应优先使用太阳能光伏发电、风力发电等不可控可再生能源发电，且在检测到其发电功率大于本地负荷时选择向蓄电池充电或者向电网反送部分电能；其二，从发电经济性制约角度考虑，应优先使用输出功率稳定且响应速度快的微型燃气轮机、燃料电池等可控发电单元，且尽量保证其工作在较高的负荷率；其三，从储能使用寿命角度考虑，应优先使用具备调节峰谷差优势的后备储能电池，且通过综合考虑运行经济性来决定其储能充放电功率。

(3)结合每一类控制策略所对应的优先级权重，对每一类控制策略的运行损失进行最小化处理，再输出微电网有功调度的最优控制策略。

具体的，结合第j类控制策略所对应的优先级权重ωj，可建立第j类调度能源所对应的对照输出结果Qj(S,aj,θ)与第j类调度能源所对应的真实输出结果Qj(S′,a′j,θtarget)之间的损失函数为L＝ωj×E(δj)²，此时判断每一类控制策略所对应的损失函数是否处于收敛状态，其相应的判断结果为：若仅存在一类控制策略所对应的损失函数收敛，则将该类控制策略作为最优控制策略输出；若存在两类或者两类以上的控制策略所对应的损失函数收敛，则将优先级权重最高的该类控制策略作为最优控制策略输出；若不存在任意一类控制策略所对应的损失函数收敛，则利用梯度反向传播算法将所述主Q值网络的参数值θ更新为以及将所述目标Q值网络的参数值θtarget更新为θ′arget＝θt+T，且其中θt+1为第t+1次迭代时所述主Q值网络的参数值，θt为第t次迭代时所述主Q值网络的参数值，为学习率，Lt(θt)为第t次迭代训练所产生的综合损失值，θt+T为第t+T次迭代时所述目标Q值网络的参数值，其以调度周期T为调整基准，此时返回步骤S102进行迭代训练，直至满足以上任意一种收敛情况为止。

在本发明实施例中，通过充分利用海量微电网历史运行数据可对未来微电网调度运行控制进行有效指导，同时通过运行误差值或者不同调度管理需求来设定多类调度能源所对应的控制策略优先级别，有助于实现微电网的智能化调度运行，从而实现分布式可再生能源的就地消纳，并且降低用户的用电成本和停电损失。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可存储于一计算机可读存储介质中，存储介质可包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

以上对本发明实施例所提供的一种考虑优先级别的微电网有功调度控制方法及系统进行了详细介绍，本文中采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。