一种基于拉格朗日松弛强化学习的频率控制方法和装置与流程

1.本发明涉及分布式电网的频率控制技术领域，尤其涉及一种基于拉格朗日松弛强化学习的频率控制方法和装置。


背景技术：

2.目前，随着化石能源供应紧张、温室效应等环境问题日益严峻，实现可再生能源转型是能源发展的必然趋势。为了实现可再生能源转型的目标，需要构建清洁低碳安全高效的能源体系，实施可再生能源替代行动，构建以新能源为主体的新型电力系统。在建设新型电力系统的大背景下，新能源接入电力系统的比例不断增加，其功率间歇性、随机性及不可预测性，给电网带来了较多的问题，其中将新能源的波动性折算到秒级、分钟级短时间尺度上，电网亟需调频资源。
3.随着智能电网的飞速发展，装机容量不断扩大，新能源及分布式能源不断接入，传统集中式自动发电控制模式难以满足电网的发展及运行条件。
4.而分布式控制模式从分布式能源利用率角度，由于电网结构、电厂容量以及机组调节速率的限制，不同类型的电厂在功率分配以及利用率方面存在巨大差异。集中式agc所控制的电厂功率只能通过省调进行分配，分布式能源电厂和新能源电厂难以实现协同控制。没有固定发电量指标的小容量电厂，集中式agc模式下很难有高效的利用率。
5.目前，现有的控制方法大多采用传统控制方法(如pi控制，最优控制)作为调频控制策略，缺少针对不同典型二次调频场景的强化学习控制策略，当大规模新能源接入电力系统时，存在难以维持分布式电网各区域频率稳定的问题。


技术实现要素：

6.本发明提供了一种基于拉格朗日松弛强化学习的频率控制方法和装置，解决了现有的控制方法大多采用传统控制方法作为调频控制策略，缺少针对不同典型二次调频场景的强化学习控制策略，当大规模新能源接入电力系统时，存在难以维持分布式电网各区域频率稳定的技术问题。
7.本发明第一方面提供的一种基于拉格朗日松弛强化学习的频率控制方法，应用于多个新能源电力系统，所述新能源电力系统包括拉格朗日松弛控制器和发电机组，所述方法包括：
8.响应于接收到的频率调整请求，选取所述频率调整请求对应的所述新能源电力系统作为目标新能源电力系统；
9.获取当前时刻所述目标新能源电力系统对应的目标ace状态数据和功率指令值；
10.通过所述拉格朗日松弛控制器采用所述目标ace状态数据输入预设的目标矩阵迭代模型，确定对应的目标矩阵；
11.通过所述拉格朗日松弛控制器采用随机贪婪策略从所述目标矩阵执行选取操作，确定对应的目标功率差值；
12.采用所述功率指令值与所述目标功率差值，确定对应的目标参考总功率，并将所述目标参考总功率发送至所述发电机组；
13.按照预设梯度调整所述发电机组的出力，将所述发电机组当前时刻的输出功率调整为所述目标参考总功率。
14.可选地，还包括：
15.获取所述目标新能源电力系统当前时刻的频率偏差数据和联络线功率偏差数据；
16.将所述目标参考总功率作为新的功率指令值；
17.采用所述频率偏差数据和所述联络线功率偏差数据，确定新的目标ace状态数据，并跳转执行所述通过所述拉格朗日松弛控制器采用所述目标ace状态数据输入预设的目标矩阵迭代模型，确定对应的目标矩阵的步骤。
18.可选地，所述目标ace状态数据包括初始状态数据和初始奖励值数据，所述获取当前时刻所述目标新能源电力系统对应的目标ace状态数据和功率指令值的步骤包括：
19.获取当前时刻所述目标新能源电力系统对应的初始ace状态数据和所述功率指令值；
20.采用所述初始ace状态数据输入预设的ace状态模型，输出对应的所述初始状态数据和所述初始奖励值数据。
21.可选地，所述通过所述拉格朗日松弛控制器采用所述目标ace状态数据输入预设的目标矩阵迭代模型，确定对应的目标矩阵的步骤，包括：
22.初始化目标参数；
23.根据所述初始状态数据与所述初始奖励值数据，通过随机贪婪策略从所述目标参数内的第一动作集数据中选取对应的第一目标动作；
24.采用所述初始状态数据执行所述第一目标动作，通过所述ace状态模型生成第一目标状态数据和第一目标奖励值数据；
25.采用所述第一目标状态数据与所述第一目标奖励值数据输入预设的目标矩阵迭代模型，确定对应的目标矩阵。
26.可选地，还包括：
27.根据所述初始状态数据与所述初始奖励值数据，通过随机贪婪策略从所述目标参数内的第二动作集数据中选取对应的第二目标动作；
28.采用所述初始状态数据执行所述第二目标动作，通过预设的目标矩阵差分模型生成第二目标状态数据和第二目标奖励值数据；
29.采用所述第二目标状态数据和所述第二目标奖励值数据更新所述目标参数内的动作指数矩阵，生成对应的动作指数数据；
30.采用所述动作指数数据输入预设的目标矩阵迭代模型进行更新，并跳转执行所述采用所述第一目标状态数据与所述第一目标奖励值数据输入预设的目标矩阵迭代模型，确定对应的目标矩阵的步骤。
31.可选地，所述通过所述拉格朗日松弛控制器采用随机贪婪策略从所述目标矩阵执行选取操作，确定对应的目标功率差值的步骤，包括：
32.采用随机贪婪策略从所述目标矩阵选取对应的第三目标动作；
33.根据所述第三目标动作从所述第一动作集数据匹配关联的功率差值作为目标功
率差值。
34.可选地，所述采用所述功率指令值与所述目标功率差值，确定对应的目标参考总功率，并将所述目标参考总功率发送至所述发电机组的步骤，包括：
35.计算所述功率指令值与所述目标功率差值之间的和值，生成对应的目标参考总功率；
36.将所述目标参考总功率发送至所述发电机组。
37.本发明第二方面提供的一种基于拉格朗日松弛强化学习的频率控制装置，应用于新能源电力系统，所述新能源电力系统包括拉格朗日松弛控制器和发电机组，所述装置包括：
38.响应模块，用于响应于接收到的频率调整请求，选取所述频率调整请求对应的所述新能源电力系统作为目标新能源电力系统；
39.数据获取模块，用于获取当前时刻所述目标新能源电力系统对应的目标ace状态数据和功率指令值；
40.目标矩阵模块，用于通过所述拉格朗日松弛控制器采用所述目标ace状态数据输入预设的目标矩阵迭代模型，确定对应的目标矩阵；
41.目标功率差值模块，用于通过所述拉格朗日松弛控制器采用随机贪婪策略从所述目标矩阵执行选取操作，确定对应的目标功率差值；
42.目标参考总功率模块，用于采用所述功率指令值与所述目标功率差值，确定对应的目标参考总功率，并将所述目标参考总功率发送至所述发电机组；
43.调整模块，用于按照预设梯度调整所述发电机组的出力，将所述发电机组当前时刻的输出功率调整为所述目标参考总功率。
44.本发明第三方面提供的一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述任一项所述的基于拉格朗日松弛强化学习的频率控制方法的步骤。
45.本发明第四方面提供的一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如上述任一项所述的基于拉格朗日松弛强化学习的频率控制方法。
46.从以上技术方案可以看出，本发明具有以下优点：
47.响应于接收到的频率调整请求，选取频率调整请求对应的新能源电力系统作为目标新能源电力系统，获取当前时刻目标新能源电力系统对应的目标ace状态数据和功率指令值，通过拉格朗日松弛控制器采用目标ace状态数据输入预设的目标矩阵迭代模型，确定对应的目标矩阵，通过拉格朗日松弛控制器采用随机贪婪策略从目标矩阵执行选取操作，确定对应的目标功率差值，采用功率指令值与目标功率差值，确定对应的目标参考总功率，并将目标参考总功率发送至发电机组，按照预设梯度调整发电机组的出力，将发电机组当前时刻的输出功率调整为目标参考总功率；解决现有的控制方法大多采用传统控制方法作为调频控制策略，缺少针对不同典型二次调频场景的强化学习控制策略，当大规模新能源接入电力系统时，存在难以维持分布式电网各区域频率稳定的技术问题；实现了在强随机性负荷情况维持分布式电网各区域频率稳定和提高分布式电网消纳如风电和光伏等间歇性能源的能力。
附图说明
48.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
49.图1为本发明实施例一提供的一种基于拉格朗日松弛强化学习的频率控制方法的步骤流程图；
50.图2为本发明实施例二提供的一种基于拉格朗日松弛强化学习的频率控制方法的步骤流程图；
51.图3为本发明实施例中的目标新能源电力系统示意图；
52.图4为本发明实施例中的拉格朗日松弛控制器更新目标矩阵示意图；
53.图5为本发明实施例中的发电机组示意图；
54.图6为本发明实施例中的采用拉格朗日松弛控制器与现有的faql控制器和q控制器的两区域电网第一控制性能指标示意图；
55.图7为本发明实施例中的采用拉格朗日松弛控制器与现有的faql控制器和q控制器的两区域电网第二控制性能指标示意图；
56.图8为本发明实施例中的采用拉格朗日松弛控制器与现有的faql控制器和q控制器的两区域电网第三控制性能指标示意图；
57.图9为本发明实施例中的采用拉格朗日松弛控制器与现有的faql控制器和q控制器的两区域电网第四控制性能指标示意图；
58.图10为本发明实施例三提供的一种基于拉格朗日松弛强化学习的频率控制装置的结构框图。
具体实施方式
59.本发明实施例提供了一种基于拉格朗日松弛强化学习的频率控制方法和装置，用于解决了现有的控制方法大多采用传统控制方法作为调频控制策略，缺少针对不同典型二次调频场景的强化学习控制策略，当大规模新能源接入电力系统时，存在难以维持分布式电网各区域频率稳定的技术问题。
60.为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
61.请参阅图1，图1为本发明实施例一提供的一种基于拉格朗日松弛强化学习的频率控制方法的步骤流程图。
62.本发明提供的一种基于拉格朗日松弛强化学习的频率控制方法，应用于多个新能源电力系统，新能源电力系统包括拉格朗日松弛控制器和发电机组，方法包括：
63.新能源电力系统，指的是以新能源为主体的新型电力系统，以坚强智能电网为枢纽平台，以源网荷储互动与多能互补为支撑，具有清洁低碳、安全可控、灵活高效基本特征
的电力系统。
64.拉格朗日松弛控制器，指的是引入拉格朗日松弛的频率调整q学习(frequency adjustment q learning-lagrangian relaxation，faql-lr)强化学习控制器。
65.发电机组，指的是为考虑发电机组出力速率控制(generator output rate control，grc)的再热式汽轮机机组，由调速器模块、grc模块、汽轮机模块和功率限幅模块组成。
66.步骤101、响应于接收到的频率调整请求，选取频率调整请求对应的新能源电力系统作为目标新能源电力系统。
67.频率调整请求，指的是新能源电力系统响应接收到的针对系统频率调整的请求。
68.目标新能源电力系统，指的是接收到频率调整请求的新能源电力系统。
69.在本发明实施例中，响应于接收到针对系统频率调整的请求信息，选取接收到频率调整请求的新能源电力系统作为目标新能源电力系统。
70.步骤102、获取当前时刻目标新能源电力系统对应的目标ace状态数据和功率指令值。
71.目标ace状态数据，指的是将当前时刻目标新能源电力系统的ace值对应的初始状态数据和初始奖励值数据作为目标ace状态数据，用于输入目标矩阵迭代模型中以求得对应的目标矩阵的参数。
72.功率指令值，指的是当前时刻目标新能源电力系统内的发电机组按照上一时刻拉格朗日松弛控制器发送的功率指令进行输出的输出功率。
73.在本发明实施例中，获取当前时刻目标新能源电力系统用于输入目标矩阵迭代模型中以求得对应的目标矩阵的参数和目标新能源电力系统内的发电机组按照上一时刻拉格朗日松弛控制器发送的功率指令进行输出的输出功率。
74.步骤103、通过拉格朗日松弛控制器采用目标ace状态数据输入预设的目标矩阵迭代模型，确定对应的目标矩阵。
75.目标矩阵迭代模型，指的是用于生成目标矩阵的矩阵迭代模型。
76.目标矩阵，指的是用于确定目标功率差值的矩阵。
77.在本发明实施例中，将获取到的目标ace状态数据输入拉格朗日松弛控制器内的目标矩阵迭代模型，输出对应的目标矩阵。
78.步骤104、通过拉格朗日松弛控制器采用随机贪婪策略从目标矩阵执行选取操作，确定对应的目标功率差值。
79.随机贪婪策略，指的是强化学习中的随机策略，其含义是选取使得动作值函数最大的动作的概率为而其他动作的概率为等概率，都为
80.目标功率差值，指的是目标参考总功率与功率指令值之间的差值。
81.在本发明实施例中，通过采用随机贪婪策略，对输出的目标矩阵进行选取操作，确定对应的目标功率差值。
82.步骤105、采用功率指令值与目标功率差值，确定对应的目标参考总功率，并将目标参考总功率发送至发电机组。
83.在本发明实施例中，根据获取到的功率指令值与目标功率差值进行和值运算，生
成目标参考总功率，并将目标参考总功率输出至发电机组。
84.步骤106、按照预设梯度调整发电机组的出力，将发电机组当前时刻的输出功率调整为目标参考总功率。
85.在本发明实施例中，按照预设梯度调整发电机组的出力，预设梯度根据人们的需求而设置，将发电机组当前时刻的输出功率调整为目标参考总功率。
86.在发明实施例中，响应于接收到的频率调整请求，选取频率调整请求对应的新能源电力系统作为目标新能源电力系统，获取当前时刻目标新能源电力系统对应的目标ace状态数据和功率指令值，通过拉格朗日松弛控制器采用目标ace状态数据输入预设的目标矩阵迭代模型，确定对应的目标矩阵，通过拉格朗日松弛控制器采用随机贪婪策略从目标矩阵执行选取操作，确定对应的目标功率差值，采用功率指令值与目标功率差值，确定对应的目标参考总功率，并将目标参考总功率发送至发电机组，按照预设梯度调整发电机组的出力，将发电机组当前时刻的输出功率调整为目标参考总功率；解决现有的控制方法大多采用传统控制方法作为调频控制策略，缺少针对不同典型二次调频场景的强化学习控制策略，当大规模新能源接入电力系统时，存在难以维持分布式电网各区域频率稳定的技术问题；实现了在强随机性负荷情况维持分布式电网各区域频率稳定和提高分布式电网消纳如风电和光伏等间歇性能源的能力。
87.请参阅图2，图2为本发明实施例二提供的一种基于拉格朗日松弛强化学习的频率控制方法的步骤流程图。
88.本发明提供的一种基于拉格朗日松弛强化学习的频率控制方法，应用于多个新能源电力系统，新能源电力系统包括拉格朗日松弛控制器和发电机组，方法包括：
89.步骤201、响应于接收到的频率调整请求，选取频率调整请求对应的新能源电力系统作为目标新能源电力系统。
90.如图3所示，图3为本发明实施例中的目标新能源电力系统示意图。
91.值得一提的是，拉格朗日松弛控制器适用于多区域分布式电网，目标新能源电力系统包括拉格朗日松弛控制器和发电机组，其中，区域联络线交换功率δp
tie
、负荷功率δp
l
和电网信息反馈频率偏差δf，tg为火电机组调速器时延常数，t
t
为火电机组时间常数，t
p
为频响函数时间常数，k
p
为频响函数系数，δp
tie
为联络线交换功率，t
12
为联络线时间常数。图1中各字母所表示的物理含义为，ace为区域控制偏差，p为功率，f为频率。
92.在本发明实施例中，步骤201的具体实施过程与步骤101类似，在此不再赘述。
93.步骤202、获取当前时刻目标新能源电力系统对应的目标ace状态数据和功率指令值。
94.进一步地，目标ace状态数据包括初始状态数据和初始奖励值数据，步骤202可以包括以下子步骤：
95.s11、获取当前时刻目标新能源电力系统对应的初始ace状态数据和功率指令值。
96.初始ace状态数据，指的是联络线交换功率、一次调频系数和电网信息反馈频率偏差。
97.在本发明实施例中，获取当前时刻目标新能源电力系统对应的联络线交换功率、一次调频系数、电网信息反馈频率偏差和电网信息反馈频率偏差。
98.s12、采用初始ace状态数据输入预设的ace状态模型，输出对应的初始状态数据和
初始奖励值数据。
99.在本发明实施例中，采用联络线交换功率、一次调频系数和电网信息反馈频率偏差输入预设的ace状态模型，输出对应的初始状态数据和初始奖励值数据。
100.在具体实现中，为方便方法的实现，可以通过将上述过程转换为公式封装的形式，其中，预设的ace状态模型可以如下：
[0101][0102]
式中，acei表示第i次目标ace状态数据，表示第i次联络线交换功率，βi表示第i次一次调频系数，δfi表示第i次电网信息反馈频率偏差。
[0103]
值得一提的是，-(ace)2为初始奖励值数据。
[0104]
步骤203、通过拉格朗日松弛控制器采用目标ace状态数据输入预设的目标矩阵迭代模型，确定对应的目标矩阵。
[0105]
进一步地，步骤203可以包括以下子步骤：
[0106]
s21、初始化目标参数。
[0107]
目标参数，指的是目标矩阵q，动作指数矩阵q
l
，状态转移矩阵p和p
l
，第一动作集数据a，第二动作集数据a
l
,学习率α，调整参数β，折扣因子γ，动作指数η，动作成本c。
[0108]
在本发明实施例中，将拉格朗日松弛控制器中的目标参数进行初始化。
[0109]
s22、根据初始状态数据与初始奖励值数据，通过随机贪婪策略从目标参数内的第一动作集数据中选取对应的第一目标动作。
[0110]
随机贪婪策略指的是∈-greedy策略平衡了利用和探索，其中选取动作值函数最大的部分为利用，其他非最优动作仍有概率为探索部分。其具体公式为：
[0111][0112]
式中，π(a|s)表示在目标ace状态数据关联的当前状态s选择动作a的概率；ε表示随机因子；a表示动作集合；q(s,a)表示在目标ace状态数据关联的当前状态s下a的动作-状态价值。
[0113]
在本发明实施例中，基于初始状态数据和初始奖励值数据，即可确定目标新能源电力系统的初始状态，在初始状态下，通过随机贪婪策略从目标参数内的第一动作集数据中选取对应的第一目标动作。
[0114]
s23、采用初始状态数据执行第一目标动作，通过ace状态模型生成第一目标状态数据和第一目标奖励值数据。
[0115]
在本发明实施例中，根据初始状态数据关联的初始状态作出第一目标动作，通过ace状态模型生成第一目标状态数据和第一目标奖励值数据。
[0116]
值得一提的是，第一目标动作a就是第一动作集数据a的索引。
[0117]
s24、采用第一目标状态数据与第一目标奖励值数据输入预设的目标矩阵迭代模型，确定对应的目标矩阵。
[0118]
在具体实现中，为方便方法的实现，可以通过将上述过程转换为公式封装的形式，其中，预设的目标矩阵迭代模型可以如下：
[0119][0120]
式中，q
t+1
(s,a；η
t+1
)表示更新后的目标矩阵，π(s,a)为在目标ace状态数据关联的当前状态s下执行动作a的概率；q
t
(s,a；η
t
)为在动作指数为η
t
，目标ace状态数据关联的当前状态s执行动作a的q值；a为所有动作的集合；r为环境回报；s与s’分别为第一目标状态数据和第二目标状态数据；α为学习率，决定q值更新的信任度；γ为折扣因子，决定了长期与即时奖励的权重，。
[0121]
在本发明实施例中，采用第一目标状态数据与第一目标奖励值数据输入预设的目标矩阵迭代模型，确定对应的目标矩阵。
[0122]
进一步地，步骤203可以还包括以下子步骤：
[0123]
s25、根据初始状态数据与初始奖励值数据，通过随机贪婪策略从目标参数内的第二动作集数据中选取对应的第二目标动作。
[0124]
在本发明实施例中，根据初始状态数据与初始奖励值数据，通过随机贪婪策略从目标参数内的第二动作集数据中选取对应的第二目标动作。
[0125]
s26、采用初始状态数据执行第二目标动作，通过预设的目标矩阵差分模型生成第二目标状态数据和第二目标奖励值数据。
[0126]
在具体实现中，为方便方法的实现，可以通过将上述过程转换为公式封装的形式，其中，预设的目标矩阵差分模型可以如下：
[0127]
r1＝q
t
(s,a
t+1
)-q
t
(s,a
t
)
[0128]
式中，r1表示第二目标奖励值数据，q
t
(s,a
t
)在目标ace状态数据关联的当前状态s下执行当前目标动作的目标矩阵，q
t
(s,a
t+1
)在目标ace状态数据关联的当前状态s下执行下一目标动作的目标矩阵。
[0129]
值得一提的是，以相同状态-动作值的前后两步差值q
t
(s,a
t+1
)-q
t
(s,a
t
)作为第二目标奖励值数据，根据计算得到的第二目标奖励值数据获取当前时刻的当前状态s作为第二目标状态数据s1’
。
[0130]
s27、采用第二目标状态数据和第二目标奖励值数据更新目标参数内的动作指数矩阵，生成对应的动作指数数据。
[0131]
在本发明实施例中，根据动作指数矩阵在第二动作集数据中选择动作然后计算得到动作指数。
[0132]
s28、采用动作指数数据输入预设的目标矩阵迭代模型进行更新，并跳转执行采用第一目标状态数据与第一目标奖励值数据输入预设的目标矩阵迭代模型，确定对应的目标矩阵的步骤。
[0133]
在本发明实施例中，将获取到的动作指数数据输入预设的目标矩阵迭代模型进行更新，并跳转s24步骤。
[0134]
值得一提的是，在s21-s28中，如图4所示，拉格朗日松弛控制器初始化目标参数，目标矩阵q，动作指数矩阵q
l
，状态转移矩阵p，p
l
，第一动作集数据a，第二动作集数据a
l
,学习率α，调整参数β，折扣因子γ，动作指数η，动作成本c，将联络线交换功率、一次调频系数和电网信息反馈频率偏差输入预设的ace状态模型计算初始状态数据和初始奖励值数据更新两个q矩阵，对两个q矩阵同时用随机-贪婪策略在动作集a，a
l
中选择动作，其中用a动作集的动作计算输出的总功率指令，用a
l
动作集的动作计算动作指数η，最后给出机组具体发电功率值以维护电网的频率稳定和控制性能标准(control performance standard，cps)指标。所述动作指数为引用拉格朗日松弛原理所需要的额外参数，决定了目标矩阵更新对动作成本的信任度。
[0135]
值得一提的是，两个矩阵是同步运行的，ql矩阵是计算动作指数的，他的状态和奖励均来自q矩阵的前后两步的差值，ql做出动作之后计算得到动作指数，然后q矩阵再根据含动作指数的目标矩阵迭代模型进行更新。
[0136]
图4中初始化目标参数均可知，具体为：学习率α＝0.1，折扣因子γ＝0.95，环境信息数量n＝20，动作集a＝[-50:5:50]。其中，动作指数η的计算方法为：以s26中所示q
t
(s,a；η
t
)矩阵的前后两步差值确定其具体数值。
[0137]
步骤204、通过拉格朗日松弛控制器采用随机贪婪策略从目标矩阵执行选取操作，确定对应的目标功率差值。
[0138]
进一步地，步骤204可以包括以下子步骤：
[0139]
s31、采用随机贪婪策略从目标矩阵选取对应的第三目标动作。
[0140]
第三目标动作，指的是从目标矩阵中选取出的动作。
[0141]
在本发明实施例中，在状态为s的情况下，通过随机贪婪策略从目标矩阵这一行中选出一个第三目标动作a。
[0142]
值得一提的是，一次迭代只用选一次动作，所以，此处的第三目标动作与第一目标动作相同。
[0143]
s32、根据第三目标动作从第一动作集数据匹配关联的功率差值作为目标功率差值。
[0144]
在本发明实施例中，选出的这个第三目标动作a即可在第一动作集数据a中确定一个数a(a)，这个选中的数即为与上一次迭代的功率的差值。
[0145]
步骤205、采用功率指令值与目标功率差值，确定对应的目标参考总功率，并将目标参考总功率发送至发电机组。
[0146]
值得一提的是，发电机组如图5所示：
[0147]
发电机组为考虑发电机组出力速率控制(generator output rate control，grc)的再热式汽轮机机组，由调速器模块、grc模块、汽轮机模块和功率限幅模块组成，用这四个模块模拟真实的再热汽轮机组的工作状况。所述区域功率联络线是各个区域的功率交流联络线，当一个区域内的发电-用电不平衡时，通过联络线调用其他区域的功率维持整个电网的稳定。为验证控制器的控制能力，所述负荷为matlab/simulink随机生成的负荷信号。所述再热式汽轮机组的具体参数解释为：tg为调速器时间常数，tr为二次时间常数，tt为汽轮
机延迟时间常数，kr为汽轮机比例系数。
[0148]
进一步地，步骤205可以包括以下子步骤：
[0149]
s41、计算功率指令值与目标功率差值之间的和值，生成对应的目标参考总功率。
[0150]
在本发明实施例中，然后把这个数与上一次迭代的功率指令相加得到本次迭代的总功率指令，然后作为控制器的输出。
[0151]
s42、将目标参考总功率发送至发电机组。
[0152]
在本发明实施例中，将目标参考总功率发送至发电机组。
[0153]
步骤206、按照预设梯度调整发电机组的出力，将发电机组当前时刻的输出功率调整为目标参考总功率。
[0154]
在本发明实施例中，步骤206的具体实施过程与步骤106类似，在此不再赘述。
[0155]
步骤207、获取目标新能源电力系统当前时刻的频率偏差数据和联络线功率偏差数据。
[0156]
在本发明实施例中，获取目标新能源电力系统当前时刻的频率偏差数据和联络线功率偏差数据。
[0157]
步骤208、将目标参考总功率作为新的功率指令值。
[0158]
在本发明实施例中，将当前控制器输出的目标参考总功率作为新的功率指令值。
[0159]
步骤209、采用频率偏差数据和联络线功率偏差数据，确定新的目标ace状态数据，并跳转执行通过拉格朗日松弛控制器采用目标ace状态数据输入预设的目标矩阵迭代模型，确定对应的目标矩阵的步骤。
[0160]
请参阅图6-图9，将拉格朗日松弛控制器与现有的faql控制器和q控制器做比对。
[0161]
请参阅图6，图6为在正弦扰动下，基于faql-lr所提出的拉格朗日松弛控制器始终可以把区域频率偏差维持在0.01hz以内，faql控制器为0.0207hz，q控制器为0.0399hz。
[0162]
请参阅图7，图7为在正弦扰动下，基于faql-lr所提出的拉格朗日松弛控制器始终可以把10minace平均值维持在3.0454mw以内，faql控制器为20.6642mw，q控制器为40.4466mw。
[0163]
请参阅图8，图8为在正弦扰动下，基于faql-lr所提出的拉格朗日松弛控制器始终可以把10min cps平均值维持在199.7586％以上，faql控制器为198.9024％，q控制器为196.4539％。
[0164]
请参阅图9，图9为在正弦扰动下，基于faql-lr所提出的拉格朗日松弛控制器始终可以把联络线功率偏差维持在1.6562mw以内，faql控制器为19.7328mw，q控制器为128.8520mw。
[0165]
在本发明实施例中，采用频率偏差数据和联络线功率偏差数据输入预设的ace状态模型，得到新的目标ace状态数据，并跳转执行通过拉格朗日松弛控制器采用目标ace状态数据输入预设的目标矩阵迭代模型，确定对应的目标矩阵的步骤。
[0166]
在发明实施例中，响应于接收到的频率调整请求，选取频率调整请求对应的新能源电力系统作为目标新能源电力系统，获取当前时刻目标新能源电力系统对应的目标ace状态数据和功率指令值，通过拉格朗日松弛控制器采用目标ace状态数据输入预设的目标矩阵迭代模型，确定对应的目标矩阵，通过拉格朗日松弛控制器采用随机贪婪策略从目标矩阵执行选取操作，确定对应的目标功率差值，采用功率指令值与目标功率差值，确定对应
的目标参考总功率，并将目标参考总功率发送至发电机组，按照预设梯度调整发电机组的出力，将发电机组当前时刻的输出功率调整为目标参考总功率；解决现有的控制方法大多采用传统控制方法作为调频控制策略，缺少针对不同典型二次调频场景的强化学习控制策略，当大规模新能源接入电力系统时，存在难以维持分布式电网各区域频率稳定的技术问题；实现了在强随机性负荷情况维持分布式电网各区域频率稳定和提高分布式电网消纳如风电和光伏等间歇性能源的能力。
[0167]
请参阅图10，图10为本发明实施例三提供的一种基于拉格朗日松弛强化学习的频率控制装置的结构框图。
[0168]
本发明实施例提供了一种基于拉格朗日松弛强化学习的频率控制装置，应用于新能源电力系统，新能源电力系统包括拉格朗日松弛控制器和发电机组，装置包括：
[0169]
响应模块301，用于响应于接收到的频率调整请求，选取频率调整请求对应的新能源电力系统作为目标新能源电力系统。
[0170]
数据获取模块302，用于获取当前时刻目标新能源电力系统对应的目标ace状态数据和功率指令值。
[0171]
目标矩阵模块303，用于通过拉格朗日松弛控制器采用目标ace状态数据输入预设的目标矩阵迭代模型，确定对应的目标矩阵。
[0172]
目标功率差值模块304，用于通过拉格朗日松弛控制器采用随机贪婪策略从目标矩阵执行选取操作，确定对应的目标功率差值。
[0173]
目标参考总功率模块305，用于采用功率指令值与目标功率差值，确定对应的目标参考总功率，并将目标参考总功率发送至发电机组。
[0174]
调整模块306，用于按照预设梯度调整发电机组的出力，将发电机组当前时刻的输出功率调整为目标参考总功率。
[0175]
进一步地，还包括：
[0176]
偏差数据获取模块，用于获取目标新能源电力系统当前时刻的频率偏差数据和联络线功率偏差数据。
[0177]
第一更新模块，用于将目标参考总功率作为新的功率指令值。
[0178]
第二更新模块，用于采用频率偏差数据和联络线功率偏差数据，确定新的目标ace状态数据，并跳转执行通过拉格朗日松弛控制器采用目标ace状态数据输入预设的目标矩阵迭代模型，确定对应的目标矩阵的步骤。
[0179]
进一步地，目标ace状态数据包括初始状态数据和初始奖励值数据，数据获取模块302包括：
[0180]
第一数据获取子模块，用于获取当前时刻目标新能源电力系统对应的初始ace状态数据和功率指令值。；
[0181]
ace状态模型子模块，用于采用初始ace状态数据输入预设的ace状态模型，输出对应的初始状态数据和初始奖励值数据。
[0182]
进一步地，目标矩阵模块303包括：
[0183]
参数初始化子模块，用于初始化目标参数。
[0184]
第一目标动作子模块，用于根据初始状态数据与初始奖励值数据，通过随机贪婪策略从目标参数内的第一动作集数据中选取对应的第一目标动作。
[0185]
第二数据获取子模块，用于采用初始状态数据执行第一目标动作，通过ace状态模型生成第一目标状态数据和第一目标奖励值数据。
[0186]
目标矩阵迭代模型子模块，用于采用第一目标状态数据与第一目标奖励值数据输入预设的目标矩阵迭代模型，确定对应的目标矩阵。
[0187]
进一步地，目标矩阵模块303还包括：
[0188]
第二目标动作子模块，用于根据初始状态数据与初始奖励值数据，通过随机贪婪策略从目标参数内的第二动作集数据中选取对应的第二目标动作。
[0189]
第三数据获取子模块，用于采用初始状态数据执行第二目标动作，通过预设的目标矩阵差分模型生成第二目标状态数据和第二目标奖励值数据。
[0190]
动作指数数据子模块，用于采用第二目标状态数据和第二目标奖励值数据更新目标参数内的动作指数矩阵，生成对应的动作指数数据。
[0191]
跳转子模块，用于采用动作指数数据输入预设的目标矩阵迭代模型进行更新，并跳转执行采用第一目标状态数据与第一目标奖励值数据输入预设的目标矩阵迭代模型，确定对应的目标矩阵的步骤。
[0192]
进一步地，目标功率差值模块304包括：
[0193]
第三目标动作子模块，用于采用随机贪婪策略从目标矩阵选取对应的第三目标动作。
[0194]
匹配子模块，用于根据第三目标动作从第一动作集数据匹配关联的功率差值作为目标功率差值。
[0195]
进一步地，目标参考总功率模块305包括：
[0196]
目标参考总功率计算子模块，用于计算功率指令值与目标功率差值之间的和值，生成对应的目标参考总功率。
[0197]
目标参考总功率发送子模块，用于将目标参考总功率发送至发电机组。
[0198]
在发明实施例中，响应于接收到的频率调整请求，选取频率调整请求对应的新能源电力系统作为目标新能源电力系统，获取当前时刻目标新能源电力系统对应的目标ace状态数据和功率指令值，通过拉格朗日松弛控制器采用目标ace状态数据输入预设的目标矩阵迭代模型，确定对应的目标矩阵，通过拉格朗日松弛控制器采用随机贪婪策略从目标矩阵执行选取操作，确定对应的目标功率差值，采用功率指令值与目标功率差值，确定对应的目标参考总功率，并将目标参考总功率发送至发电机组，按照预设梯度调整发电机组的出力，将发电机组当前时刻的输出功率调整为目标参考总功率；解决现有的控制方法大多采用传统控制方法作为调频控制策略，缺少针对不同典型二次调频场景的强化学习控制策略，当大规模新能源接入电力系统时，存在难以维持分布式电网各区域频率稳定的技术问题；实现了在强随机性负荷情况维持分布式电网各区域频率稳定和提高分布式电网消纳如风电和光伏等间歇性能源的能力。
[0199]
本发明实施例的一种电子设备，电子设备包括：存储器及处理器，存储器中储存有计算机程序；计算机程序被处理器执行时，使得处理器执行如上述任一实施例的基于拉格朗日松弛强化学习的频率控制方法。
[0200]
存储器可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。存储器具有用于执行上述方法中的任何方法步骤的程序代码的存
储空间。例如，用于程序代码的存储空间可以包括分别用于实现上面的方法中的各种步骤的各个程序代码。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(cd)、存储卡或者软盘之类的程序代码载体。程序代码可以例如以适当形式进行压缩。这些代码当由计算处理设备运行时，导致该计算处理设备执行上面所描述的方法中的各个步骤。
[0201]
本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被执行时实现如本发明任一实施例的基于拉格朗日松弛强化学习的频率控制方法。
[0202]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0203]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0204]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0205]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0206]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0207]
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。