一种动态风速预测模型建立方法

1.本发明涉及风速预测技术领域，特别是涉及一种动态风速预测模型建立方法。


背景技术：

2.近年来，能源结构朝低碳式方向不断发展，以风电为代表的可再生能源电网渗透率逐年攀升。随着以风力发电为代表的可再生能源大规模并网，电网调度经济性逐渐提高，但由于风速具有波动性、间接性及低能量密度等特点，因而严重降低了电力系统运行的可靠性。因此，为了更好地利用风力发电，同时兼顾电力系统的稳定性，需要对风速进行短期精准预测，但是应建立怎样的预测模型，以及如何对预测模型进行优化来提高预测精度和泛化能力，目前还尚未给出明确定义。


技术实现要素：

3.本发明的目的是提供一种动态风速预测模型建立方法，采用两次q强化学习算法构建了动态风速预测模型，具有泛化能力强、鲁棒性好、预测精度高的特点。
4.为实现上述目的，本发明提供了如下方案：
5.一种动态风速预测模型建立方法，包括以下步骤：
6.s1)获取目标区域的实测风速数据，并对实测风速数据进行预处理；
7.s2)将预处理后的实测风速数据分为风速训练集、风速测试集和风速检验集，利用多种预测算法对风速训练集进行训练，并对风速测试集进行预测，得到多种风速预测模型，构成q学习模型集；
8.s3)在q学习模型集中添加风速波动情况和属性因素，通过q强化学习算法选出每时段的最佳风速预测模型，得到初步的风速预测数据，并根据初步的风速预测数据以及对应的实测风速数据计算出风速预测误差；
9.s4)基于风速预测误差构建误差q学习模型库，通过q强化学习算法在误差q学习模型库中选出最佳风速预测误差模型以修正初步的风速预测值，得到最终的风速预测数据。
10.可选的，步骤s1)中所述对实测风速数据进行预处理是指采用相邻数据互补法替换实测风速数据中缺失及异常的数值。
11.可选的，所述方法在步骤s4)之后还包括：
12.s5)利用所述风速检验集验证所述最佳风速预测误差模型的有效性。
13.可选的，验证所述最佳风速预测误差模型的有效性选取了均方误差ε1、相对误差ε2和决定系数r2三种评价指标对最终的风速预测数据进行评价，计算公式分别如下：
[0014][0015]
[0016][0017]
其中：x
t
、y
t
、分别为t时刻的实测风速值、最终的预测风速值、实测风速平均值、最终的预测风速平均值。
[0018]
可选的，步骤s2)中所述q学习模型集中采用的多种预测算法为5种，包括lstm、xgboost、svr、bp神经网络和krr的学习算法。
[0019]
可选的，步骤s4)中所述误差q学习模型库中采用的多种预测算法为5种，包括svr、bp神经网络、gkrr、pkrr和mhkrr的学习算法。
[0020]
可选的，步骤s3)中和步骤s4)中所述风速预测误差的计算公式如下：
[0021][0022]
式中：为风速预测误差，x为实测风速值，为初步的风速预测值。
[0023]
可选的，步骤s4)中所述最终的风速预测数据的计算公式如下：
[0024][0025]
式中：y为最终的风速预测值，为初步的风速预测值，为修正的风速预测误差。
[0026]
可选的，步骤s3)中和步骤s4)中所述q强化学习算法采用误差和模型排名混合的奖励函数，奖励函数的计算公式如下：
[0027][0028]
式中：r(s,a)为奖励函数；s为状态空间，s＝{s1,
…
,s
i
,
…
,s
n
}，s
i
为当前风速预测模型，n为风速预测模型的数量；a为动作空间，a＝{a1,
…
,a
j
,
…
,a
n
}，a
j
为在下一个预测时间步长从当前风速预测模型切换到下一风速预测模型的动作；rank(m
i,t
)和rank(m
i,t+1
)分别为第t时刻、第t+1时刻风速预测模型m
i
的排名；time(m
i,t
)和time(m
i,t+1
)为第t时刻、第t+1时刻风速预测模型m
i
的计算时间；α、β为权重系数，且满足α+β＝1。
[0029]
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的动态风速预测模型建立方法，采用两次q强化学习算法构建了动态风速预测模型，其中一个q学习代理负责选出最佳风速预测模型进行初步的风速预测，另一个q学习代理负责通过计算误差将其输入到误差校正部分，从中选出最佳风速预测误差模型，得到最优预测策略；并且q学习在风速预测部分和误差修正部分都有效选择了最佳预测模型；本发明的误差校正使预测平均相对误差减少了50％，误差校正环节对成熟预测模型具有有效性；本发明通过构建风速预测模型对不同季节的典型月进行了预测，结果表明其泛化能力强、鲁棒性好、预测精度高，解决了由于风速波动性、间接性及低能量密度等特点导致的电力系统运行可靠性降低问题，可显著提高含可再生能源并网的电网调度经济性和风电场的运行安全性。
附图说明
[0030]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所
需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0031]
图1为本发明实施例动态风速预测模型建立方法的流程图；
[0032]
图2为本发明实施例动态风速预测模型建立方法的原理图；
[0033]
图3为本发明实施例奖励函数的收敛图；
[0034]
图4为本发明实施例东北某实际风场2019年风速波动图；
[0035]
图5a为本发明实施例春季典型月(3月份)qwsp、lstm、bp神经网络风速预测数据图；
[0036]
图5b为本发明实施例夏季典型月(6月份)qwsp、lstm、bp神经网络风速预测数据图；
[0037]
图5c为本发明实施例秋季典型月(9月份)qwsp、lstm、bp神经网络风速预测数据图；
[0038]
图5d为本发明实施例冬季典型月(12月份)qwsp、lstm、bp神经网络风速预测数据图；
[0039]
图6a为本发明实施例春季典型月(3月份)dpdq风速预测数据图；
[0040]
图6b为本发明实施例夏季典型月(6月份)dpdq风速预测数据图；
[0041]
图6c为本发明实施例秋季典型月(9月份)dpdq风速预测数据图；
[0042]
图6d为本发明实施例冬季典型月(12月份)dpdq风速预测数据图。
具体实施方式
[0043]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0044]
本发明的目的是提供一种动态风速预测模型建立方法，采用两次q强化学习算法构建了动态风速的预测模型，具有泛化能力强、鲁棒性好、预测精度高的特点。
[0045]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0046]
如图1至图2所示，本发明实施例提供的动态风速预测模型建立方法，包括以下步骤：
[0047]
s1)获取目标区域的实测风速数据，并对实测风速数据进行预处理；
[0048]
s2)将预处理后的实测风速数据分为风速训练集、风速测试集和风速检验集，利用多种预测算法对风速训练集进行训练，并对风速测试集进行预测，得到多种风速预测模型，构成q学习模型集；
[0049]
s3)在q学习模型集中添加风速波动情况和属性因素(风速、温度、湿度、风向和湍流速度)，通过q强化学习算法选出每时段的最佳风速预测模型，得到初步的风速预测数据，并根据初步的风速预测数据以及对应的实测风速数据计算出风速预测误差；
[0050]
s4)基于风速预测误差构建误差q学习模型库，通过q强化学习算法在误差q学习模
型库中选出最佳风速预测误差模型以修正初步的风速预测值，对误差进行校正，得到最终的风速预测数据。
[0051]
步骤s2)中所述q学习模型集中采用的多种预测算法为5种，考虑到风速序列的高变异性，深度学习可对实测风速数据进行深层特征挖掘，在风速波动剧烈时能更好的预测风速变换趋势，但在细节上可能存在过拟合的现象，而svr和bp神经网络往往在风速波动较平缓时段，拥有更高的预测精度，在风速波动剧烈时具有较大的预测误差，故选取深度学习算法lstm、集成学习算法xgboost及浅层学习算法svr、bp神经网络、krr五种算法作为风速预测模型集中的基础模型，以期针对不同波动情况，q学习能在其中选取到更适合的预测模型，其中krr选择基于多项式核函数的pkrr。
[0052]
q强化学习算法的原理简述如下：
[0053]
为了训练q学习代表，首先在马尔可夫决策过程中定义了基于强化学习的动态模型选择的数学框架，通常q学习代理根据状态
‑
作用值矩阵(q矩阵)在一系列状态下采取顺序操作，直到达到最终目标，通过评估当前状态空间的预测效果得到奖励更新q矩阵，状态空间s由当前预测模型组成：
[0054]
s＝{s1,
…
,s
i
,
…
,s
n
}
[0055]
式中：s
i
表示当前风速预测模型；n为风速预测模型的数量。同样，动作空间a由下一步骤的风速预测模型组成：
[0056]
a＝{a1,
…
,a
j
,
…
,a
n
}
[0057]
其中a
j
表示在下一个预测时间步长从当前风速预测模型切换到下一风速预测模型的动作。为了使用q学习成功地解决马尔可夫决策过程，最核心的部分是通过适当的奖励函数r(s,a)得到奖励矩阵r，本发明实施例定义误差和模型排名混合奖励函数如下：
[0058]
r
t
(s
i
,a
j
)＝α[rank(m
i,t
)
‑
rank(m
j,t+1
)]+β[time(m
i,t
)
‑
time(m
j,t+1
)]
[0059]
式中：rank(m
i,t
)和rank(m
i,t+1
)分别为第t时刻、第t+1时刻风速预测模型m
i
的排名；time(m
i,t
)和time(m
i,t+1
)分别为第t时刻、第t+1时刻风速预测模型m
i
的计算时间；α、β为权重系数，且满足α+β＝1。由于q学习为无模型的动态模型选择框架，往往会择优选取模型进行预测，故当两模型均排名为1时，该项为0，则失去奖惩作用。故选择加权两个q学习框架，使奖励函数更具普适性。定义状态空间、行动空间和奖励函数后，通过使用q学习训练数据集t
t
训练q学习动态预测模型。
[0060]
采用衰变t贪婪方法的q学习代理从一开始就采取完全随机的动作，同时在学习过程中通过衰减来降低随机性，在n
e
次训练之后，q学习算法最终将收敛到最优策略q*，该策略用于在q学习过程中找到最优动作a*。具体步骤如下：
[0061]
(1)定义模型步长k，预测尺度n，模型库尺寸n
m
，q学习数据集t
t
，动态预测模型数据集t
c
，控制学习的积极性的学习率κ，权衡未来回报的折现因子γ，训练次数n
e
，确保在t
c
的每个步骤中，从n个模型中选择最佳模型；
[0062]
(2)初始化q(s,a)，ω＝1，开始训练；以ω的概率选择随机动作a
e
，否则选择
[0063][0064]
(3)根据奖励函数计算公式计算更新奖励矩阵r；
[0065]
(4)通过下式更新q(s,a)：
[0066][0067]
(5)重复(2)～(4)k次，找到每次的最优动作
[0068]
步骤s3)中和步骤s4)中所述风速预测误差的计算公式如下：
[0069][0070]
式中：为风速预测误差，x为实测风速值，为初步的风速预测值。
[0071]
步骤s4)中所述误差q学习模型库中采用的多种预测算法为5种；对于误差校正模型集(即风速预测误差模型构成的误差q学习模型库)的选取，由于预测误差的波动性和变异性远没有实测风速序列剧烈，更多的是需要对误差序列进行细节上的预测，因此，本发明实施例选取效率较高的svr、bp神经网络、gkrr、pkrr、mhkrr五种模型构成误差校正模型集，其中gkrr、pkrr和mhkrr模型为采用不同核函数的krr模型。
[0072]
所述方法在步骤s4)之后还包括：s5)利用所述风速检验集验证所述最佳风速预测误差模型的有效性；验证所述最佳风速预测误差模型的有效性，选取了均方误差ε1、相对误差ε2和决定系数r2三种评价指标对最终的风速预测数据进行评价，其中ε1、ε2最优期望为0，r2最优期望为1，计算公式分别如下：
[0073][0074][0075][0076]
其中：x
t
、y
t
、分别为t时刻的实测风速值、最终的预测风速值、实测风速平均值、最终的预测风速平均值。
[0077]
选取东北某实际风场2019年风速及相关属性数据开展研究，对该风场各季度典型月(3月、6月、9月和12月)进行短期风速预测，并对实测风速数据进行预处理，采用相邻数据互补法替换缺失及异常数据值，实测风速数据的采样间隔为10min，一个月共计4320个点，取每个月前20天数据为风速训练集，21
‑
25日数据为风速测试集，26
‑
30日为风速检验集(用以检验模型参数设定是否合适)
[0078]
模型超参数设置如下：
[0079]
本发明实施例q学习框架具体参数设置为κ＝0.1，γ＝0.8，以确保动态模型选择的学习速度，n
e
＝100，并充分考虑奖励函数的未来奖惩，选取α＝0.9，β＝0.1；根据风场实际运行情况，选择进行步长为6的日前预测(k＝6，n＝144)，即根据风速训练集数据的训练结果，采用最佳策略为下一个k步做出模型选择决策，基础模型的超参数设置见表1。
[0080]
表1不同算法的超参数设置
[0081][0082]
关于q学习奖励函数的设置，目前在人工智能算法中比较常用的自适应误差函数，但在训练过程中发现采用自适应误差函数为奖励函数进行的q学习未能收敛，这是因为预测评估指标的大小不仅取决于预测模型，而且会随着时间而变化，采取从糟糕的模型切换到最佳模型的操作可能仍会收到负回报(由于预测评估指标的下降)。同时，一个预测模型的成熟与否不仅与预测精度有关，还与其所付出的时间成本相关，由此，提出了另一种奖励函数对模型效果进行评价，即综合考虑模型排名改进和模型预测时间。两种方法的训练结果如图3所示，可以看出，该奖励函数成功收敛，有效避免了时间序列效应。
[0083]
东北风场2019年一整年的风速波动情况如图4所示，可以看出该风场风能量密度较大，其中春冬两季风速波动较为剧烈，不同时刻风速差较大，最高风速超过25m/s。而夏秋两季风速多为低于10m/s，波动较为平缓，风能量密度明显低于春冬季节。
[0084]
为检验和说明基于q学习的动态模型选择的有效性，选取单预测模型lstm和bp神经网络两种不同预测原理的人工智能算法与基于双重q学习的动态预测(dynamic prediction based on double q learning，dpdq)模型中的风速预测部分(q learning wind speed prediction，qwsp)进行仿真对比分析，对各季度典型月风速进行滑动步长为6的日前预测，具体预测结果如图5a至图5d所示。
[0085]
由图5a至图5d可以看出，qwsp在应对各季节不同的风速波动情况下均能得到良好表现，整体的预测效果优于单一预测模型；而从细节上看，夏秋两个季节的风速波动较为平缓，风速也较低，春冬季节的风速相对较高。展开图5a中121
‑
126部分和图5b中115
‑
120部分可以看出，各模型均能得到较好的预测效果；图5c中61
‑
66部分，bp神经网络和lstm由于没有进行动态选择，导致其不能应对所有的风速变化情况，预测结果与实际值偏差较大；而图(d)中的细节预测结果则不然，从右图可以看出，qwsp模型的预测结果偏差大于bp神经网络，这主要是q学习模型选择失误而导致的预测偏差较大，由于奖励函数机制的设置，本次所选模型的排名应较为靠后，导致本次奖励为负值，从而在下一次模型选择中进行修正，以期得到更好的预测结果。在q学习的动态选择正确时，预测精度普遍偏高，模型具有较好的稳健性；而当单预测模型过拟合时，将会出现预测误差较大的情况，由于奖励函数的机制，使模型能够及时在下一时段得到修正。由此，基于q学习的模型选择策略，可使风速预测模型性能得到整体提高。各季度典型月风速预测误差见表2。
[0086]
表2不同方法短期预测误差
[0087][0088]
由表2中数据可知，由于夏季风速波动最小，各模型r2都达到了0.9左右，而冬季风速波动大，给模型带来一定的预测难度，导致预测误差ε1也随之增大。本发明实施例所提模型基于强化学习的动态模型选择使其r2结果在各季度均最接近于1，ε1误差也为三个模型中最小。
[0089]
为验证本发明实施例误差校正环节的有效性，利用dpdq对各季节进行日前风速预测，结果如图6a至图6d所示,可以看出dpdq模型在各季节的预测值均能达到较好的效果，但对于某些风速差过大的极端风况，如图6c中的最高风速点仍存在一定的预测误差，这是不可避免的。
[0090]
本发明提供的动态风速预测模型建立方法，采用两次q强化学习算法构建了动态风速预测模型，其中一个q学习代理负责选出最佳风速预测模型进行初步的风速预测，另一个q学习代理负责通过计算误差将其输入到误差校正部分，从中选出最佳风速预测误差模型，得到最优预测策略；并且q学习在风速预测部分和误差修正部分都有效选择了最佳预测模型；本发明的误差校正使预测平均相对误差减少了50％，误差校正环节对成熟预测模型具有有效性；本发明通过构建风速预测模型对不同季节的典型月进行了预测，结果表明其泛化能力强、鲁棒性好、预测精度高，解决了由于风速波动性、间接性及低能量密度等特点导致的电力系统运行可靠性降低问题，可显著提高含可再生能源并网的电网调度经济性和风电场的运行安全性。
[0091]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。