本发明涉及新能源发电技术领域，特别涉及一种带有储能的新能源输出功率波动最小化调度方法及装置。
背景技术：
新能源技术正在世界范围内迅速发展，然而其出力具有波动性与随机性，导致难以执行调度指令，在大规模并网后难免对具有常规能源电力系统的电力供需实时平衡、电压稳定性、频率稳定性以及电能质量等产生影响。而能源互联网可以通过大规模的分布式储能系统的接入，提高新能源利用率，并缓解新能源的波动性对电网造成的冲击，提高电能质量。
风电、太阳能光伏发电等都属于本发明所讨论的新能源范畴，其出力特性都可以用随机过程来刻画。本发明以新能源领域中代表性较强的风电为例，讲述如何运用本发明的算法和操作步骤，通过对储能装置进行调度，来降低新能源输出功率的波动。本发明所述方法同样适用于光伏发电等其他带有随机性的新能源，也适用于包含新能源、储能和负载的微电网系统。
对于并网运行的风电场，随着其并网规模的增大，其对电网的安全稳定运行带来了很大的挑战；微电网是能源互联网的基本单元，通常包括新能源、储能装置以及电能负载。在以并网状态下运行时，可以与大电网进行能量交换，以保证供给与负荷功率瞬时平衡。然而，新能源较强的随机性与波动性为电网调度问题带来了难度。如：风电场输出功率的波动会降低电能质量，造成输电线路的能量损失，并降低风电变流器的稳定性；风电并网点功率如果频繁波动，会令节点电压波动也随之增大，带来电压闪变等电压稳定问题；功率波动也会对电网频率造成影响，在极端的情况下甚至会导致频率严重下降，危及大电网的稳定与安全。因此，如果不能抑制新能源频繁、大范围的波动，就会使大电网的稳定性受到冲击。
风电的波动可以在不同的时间尺度上进行研究。现有的平滑风电出力波动的方法大多数是在秒或分钟的时间尺度上对风电出力的波动进行平滑，使其符合新能源并网的技术规范。如：利用风机系统中通过转动惯量储存的能量来平滑风电，如转子中的动能、直流母线电容中的能量等；利用储能技术，基于低通滤波器或者滑动平均滤波来生成平滑后的参考功率曲线，再利用储能电力如储能或超级电容等来补充参考曲线与风电出力曲线的差距等，期间会用到诸如最大功率点跟踪等控制技术来配合。然而，此类控制方法仅仅考虑了实时调节或基于短期功率预测的平滑作用，只能被动地改善现有功率曲线的平滑情况，缺少在长期时间尺度下的调度方法的考虑。且由于储能装置容量有限，故不能够有效抑制新能源长期、大范围且频繁的波动。
技术实现要素：
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种带有储能的新能源输出功率波动最小化调度方法，该方法能够降低新能源输出功率的波动，并实时调整至最优调度策略。
本发明的另一个目的在于提出一种带有储能的新能源输出功率波动最小化调度装置。
为达到上述目的，本发明一方面实施例提出了一种带有储能的新能源输出功率波动最小化调度方法，包括以下步骤：采集目标区域的长期风速数据，并根据风机特性得到风电出力值；根据所述风电出力值通过预设离散化规则得到第一离散的状态量，并通过非时齐马氏链建立风速转移概率模型；获取发电厂中储能装置的设备信息，并通过所述预设离散化规则得到第二离散的状态量；将所述风电出力值、所述储能装置的剩余电量与当前时刻生成状态向量，以构建马氏决策模型；通过迭代公式得到每个状态下所采取的最优行为，以得到最优策略；在任意时刻开始阶段，通过统计与学习方法预测所述任意时刻的风电场平均功率；获取所述任意时刻的储能装置剩余电量信息；根据所述预设离散化规则将所述任意时刻的风电场平均功率、所述储能装置的剩余电量信息和所述任意时刻生成当前状态向量；根据所述最优策略与所述当前的状态向量得到最优决策，并根据所述最优决策对所述储能装置进行调度；以及更新下一时刻的风电场平均功率、所述储能装置的剩余电量以及时间信息，以继续下一时刻调度。
本发明实施例的带有储能的新能源输出功率波动最小化调度方法，通过获取风电出力值并建立风速转移概率模型，获取发电厂中储能装置的设备信息得到第二离散的状态量，并结合风电出力值、储能装置的剩余电量与当前时刻生成状态向量构建马氏决策模型，进而获得最优策略，并对此策略进行实时调度，进而得到实时更新的最优调度策略，达到提供长期的、宽时间尺度的调度策略，降低新能源输出功率的波动的目的，并能够实时调度，得到本时刻最优的解决策略，具有简单方便，适用性广的优点。
另外，根据本发明上述实施例的带有储能的新能源输出功率波动最小化调度方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述风电出力值的计算公式为：
其中，w为风电出力实际值，wcap为风机的额定功率，vt为t时刻的风速值，vrated为风机的额定风速值，vcutin为风机的切入风速，vcutout为风机的切出风速。
进一步地，在本发明的一个实施例中，所述通过非时齐马氏链建立风速转移概率模型，进一步包括：将风电发电容量均匀地离散化为w个区间，每一区间代表一个状态；在一天中的时刻k转移到时刻k+1时，状态m转移到状态n的次数为
其中，其中sw为风电状态数。
进一步地，在本发明的一个实施例中，在策略空间ψ中随机选择初始策略l(0)∈ψ，并设置迭代次数l＝0；
对于策略l(l)，获取所述策略l(l)的稳态概率π(l)，同时通过蒙特卡洛仿真估计在所述策略l(l)下的长期平均出力jμ(l)和长期出力方差jσ(l)；
获取联合出力波动指标φ；
根据系统约束检查在各个状态下可采取的行为，并用以下公式更新策略：
l(l+1)(i)：＝argmina∈a∑j∈spa(i,j)φ(l)(j)+[j(l)(i,a)-jμ(l)]2，
其中，l(l)为策略的l步，jμ(l)为长期平均出力，jσ(l)为长期出力方差，φ为计算联合出力波动指标φ，pa为不可约方阵；
令ε>0，并根据计算精度设置成一个小量，其中，如果||jσ(l+1)-jσ(l)||<ε，则得到最佳策略，l*＝l(l)并停止所述迭代算法，否则令l:＝l+1，并重新计算稳态概率。
进一步地，在本发明的一个实施例中，更新时刻的公式为：
kt+1＝(kt％t)+1，
其中，t为一天内时刻数，％表示取模运算符号，kt为上一时刻风电场平均功率。
为达到上述目的，本发明另一方面实施例提出了一种带有储能的新能源输出功率波动最小化调度装置，包括：采集模块，用于采集目标区域的长期风速数据，并根据风机特性得到风电出力值；第一离散模块，用于根据所述风电出力值通过预设离散化规则得到第一离散的状态量，并通过非时齐马氏链建立风速转移概率模型；第一获取模块，用于获取发电厂中储能装置的设备信息，并通过所述预设离散化规则得到第二离散的状态量；构建模块，用于将所述风电出力值、所述储能装置的剩余电量与当前时刻生成状态向量，以构建马氏决策模型；迭代模块，用于通过迭代公式得到每个状态下所采取的最优行为，以得到最优策略；预测模块，用于在任意时刻开始阶段，通过统计与学习方法预测所述任意时刻的风电场平均功率；第二获取模块，用于获取所述任意时刻的储能装置剩余电量信息；第二离散模块，用于根据所述预设离散化规则将所述任意时刻的风电场平均功率、所述储能装置的剩余电量信息和所述任意时刻生成当前状态向量；调度模块，用于根据所述最优策略与所述当前的状态向量得到最优决策，并根据所述最优决策对所述储能装置进行调度；以及更新模块，用于更新下一时刻的风电场平均功率、所述储能装置的剩余电量以及时间信息，以继续下一时刻调度。
本发明实施例的带有储能的新能源输出功率波动最小化调度装置，通过获取风电出力值并建立风速转移概率模型，获取发电厂中储能装置的设备信息得到第二离散的状态量，并结合风电出力值、储能装置的剩余电量与当前时刻生成状态向量构建马氏决策模型，进而获得最优策略，并对此策略进行实时调度，进而得到实时更新的最优结果，达到提供长期的、宽时间尺度的调度策略，降低新能源输出功率的波动的目的，并能够实时调度，得到本时刻最优的解决策略，具有简单方便，适用性广的优点。
另外，根据本发明上述实施例的带有储能的新能源输出功率波动最小化调度装置还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述风电出力值的计算公式为：
其中，w为风电出力实际值，wcap为风机的额定功率，vt为t时刻的风速值，vrated为风机的额定风速值，vcutin为风机的切入风速，vcutout为风机的切出风速。
进一步地，在本发明的一个实施例中，第一离散模块包括：离散单元，用于将风电发电容量均匀地离散化为w个区间，每一区间代表一个状态；第一获取单元，用于在一天中的时刻k转移到时刻k+1时，状态m转移到状态n的次数为
其中，其中sw为风电状态数。
进一步地，在本发明的一个实施例中，所述迭代模块包括：设置单元，用于在策略空间ψ中随机选择初始策略l(0)∈ψ，并设置迭代次数l＝0；第二获取单元，用于对于策略l(l)，获取所述策略l(l)的稳态概率π(l)，同时通过蒙特卡洛仿真估计在所述策略l(l)下的长期平均出力jμ(l)和长期出力方差jσ(l)；第三获取单元，用于获取联合出力波动指标φ；更新单元，用于根据系统约束检查在各个状态下可采取的行为，并用以下公式更新策略：
l(l+1)(i)：＝argmina∈a∑j∈spa(i,j)φ(l)(j)+[j(l)(i,a)-jμ(l)]2，
其中，l(l)为策略的l步，jμ(l)为长期平均出力，jσ(l)为长期出力方差，φ为计算联合出力波动指标φ，pa为不可约方阵；迭代单元，用于令ε>0，并根据计算精度设置成一个小量，其中，如果||jσ(l+1)-jσ(l)||<ε，则得到最佳策略，l*＝l(l)并停止所述迭代算法，否则令l:＝l+1，并重新计算稳态概率。
进一步地，在本发明的一个实施例中，更新时刻的公式为：
kt+1＝(kt％t)+1，
其中，t为一天内时刻数，％表示取模运算符号，kt为上一时刻风电场平均功率。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的带有储能的新能源输出功率波动最小化调度方法的流程图；
图2为根据本发明一个实施例的带有储能的新能源输出功率波动最小化调度装置的结构示意图；
图3是本发明实施例的对带有储能的新能源输出功率的波动最小化实时调度装置的分层控制结构示意图。
具体实施方式
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的带有储能的新能源输出功率波动最小化调度方法及装置，首先将参照附图描述根据本发明实施例提出的带有储能的新能源输出功率波动最小化调度方法。
图1为根据本发明实施例的带有储能的新能源输出功率波动最小化调度方法的流程图。
如图1所示，在本发明实施例的带有储能的新能源输出功率波动最小化调度方法中，步骤101～105为迭代算法流程，可以得到带有储能的新能源输出功率的波动最小化最优调度策略。步骤106～110为实时调度方法流程，可以对带有储能的新能源输出功率进行波动最小化的实时调度。具体而言，该带有储能的新能源输出功率波动最小化调度方法包括以下步骤：
在步骤s101中，采集目标区域的长期风速数据，并根据风机特性得到风电出力值。
进一步地，在本发明的一个实施例中，风电出力值的计算公式为：
其中，w为风电出力实际值，wcap为风机的额定功率，vt为t时刻的风速值，vrated为风机的额定风速值，vcutin为风机的切入风速，vcutout为风机的切出风速。
在步骤s102中，根据风电出力值通过预设离散化规则得到第一离散的状态量，并通过非时齐马氏链建立风速转移概率模型。
进一步地，在本发明的一个实施例中，将风电发电容量均匀地离散化为w个区间，每一区间代表一个状态；
在一天中的时刻k转移到时刻k+1时，状态m转移到状态n的次数为
其中，其中sw为风电状态数，遍历一天24小时，可分别得到每一时刻转移到下一时刻的转移概率矩阵。
在步骤s103中，获取发电厂中储能装置的设备信息，并通过预设离散化规则得到第二离散的状态量。
在步骤s104中，将风电出力值、储能装置的剩余电量与当前时刻生成状态向量，以构建马氏决策模型。
进一步地，在本发明的一个实施例中，采用以下形式表达状态信息：
xt：＝(wt(k),bt(k),kt)
其中，wt(k)为预测的t时段风电机组发电量，bt(k)为t时段储能装置的剩余电量，k为时刻。马氏过程x＝{xt,t＝1,2,…}满足遍历性，状态空间s＝{1,2,…,s}，s＝sw×sb×t。其中sw为风电状态数，sb为储能装置状态数，t为一天内时刻数。
在本发明的一个实施例中，马氏决策模型中的决策行为可以定义为对储能装置采取的充、放电操作，即at：＝bt+1-bt，a∈μ(i)∈a。其中a为决策空间。
进一步地，在本发明的一个实施例中，更新时刻的公式为：
kt+1＝(kt％t)+1，
其中，t为一天内时刻数，％表示取模运算符号，kt为上一时刻风电场平均功率。
在本发明的一个实施例中，状态转移规则定义为状态xt在t时刻采取了决策行为at之后，转移到t+1时刻的过程中，wt(k)、bt(k)以及kt的转移规则，状态转移规则描述了状态量需要满足的约束条件以及转移的特点。具体如下：风电的转移满足随机性，根据风电转移概率矩阵使用蒙特卡洛模拟法，可以得到下一时段的风电值。储能电量以及时刻的变化是确定性的，即bt+1＝bt+at。时刻的转移表现为在一天24小时之间循环转移，即
kt+1＝(kt％t)+1
其中，“％”表示取模运算符号。
对于储能装置的剩余电量和决策行为的约束包括：
其中，bmax为允许储能装置承担的容量上限，bmin为允许储能装置承担的容量下限。设置储能上下限的目的是为了防止过度充电或放电而影响其寿命。dmax为每小时放电最大功率，cmax为每小时充电最大功率。设置充放电最大功率的目的是保护储能装置，延长其寿命。根据此状态转移规则，可以建立对xt的状态转移概率矩阵：
其中，p(1)，p(2)，…，p(t)都是不可约方阵，分别表示在一天内的不同时间该马氏系统的转移概率矩阵。
在本发明的一个实施例中，状态行为报酬定义为对已执行的决策行为的评价，随着研究对象的不同而变化。由于风力发电应用广泛，故在本发明中，用风电出力来代表新能源出力。其他类型的新能源出力如光伏发电等也可以用本发明的内容来进行合理建模。当所研究的对象为带有风电机组和储能的发电厂时，状态行为报酬指在当前状态下的风储联合系统出力，即jt＝wt-at。其中jt的物理意义为风储联合系统在时间单位t的总出力。状态行为报酬，是本发明实施例的带有储能的新能源输出功率波动最小化调度方法中，希望把长期波动减小的对象。
在步骤s105中，通过迭代公式得到每个状态下所采取的最优行为，以得到最优策略。
进一步地，在本发明的一个实施例中，最优策略进一步包括：
在策略空间ψ中随机选择初始策略l(0)∈ψ，并设置迭代次数l＝0；
对于策略l(l)，获取策略l(l)的稳态概率π(l)，同时通过蒙特卡洛仿真估计在策略l(l)下的长期平均出力jμ(l)和长期出力方差jσ(l)；
获取联合出力波动指标φ；
根据系统约束检查在各个状态下可采取的行为，并用以下公式更新策略：
l(l+1)(i)：＝argmina∈a∑j∈spa(i,j)φ(l)(j)+[j(l)(i,a)-jμ(l)]2，
其中，l(l)为策略的l步，jμ(l)为长期平均出力，jσ(l)为长期出力方差，φ为计算联合出力波动指标φ，pa为不可约方阵；
令ε>0，并根据计算精度设置成一个小量，其中，如果||jσ(l+1)4-jσ(l)||<ε，则得到最佳策略，l*＝l(l)并停止迭代算法，否则令l:＝l+1，并重新计算稳态概率。
其中，长期平均出力指在当前策略下，风储联合出力在长期范围内的平均值。长期平均功率，可以通过计算在当前策略下各个状态的稳态分布以及各个状态对应的出力功率间接得到，具体计算公式为：
其中，π为转移概率矩阵具有唯一稳态概率分布π＝(π(1),π(2),…,π(s))；j为在各个状态下的联合出力功率，j＝(j(1),j(2),…,j(s))。
在本发明的一个实施例中，长期出力方差指在当前策略下，对储能装置进行长时间调度之后，得到的状态行为报酬方差。的长期出力方差，体现当前策略能够减小联合出力波动的能力大小，长期出力方差越小，减小波动的能力越强。长期出力方差可以通过蒙特卡洛仿真模拟得到，即
在本发明的一个实施例中，联合出力波动指标定义为当前策略下，各个状态对长期出力方差的贡献度。的联合出力波动指标的定义，等于某状态在此时刻这一步的贡献，加上下一个状态的长期潜在贡献的数学期望。即：
写成向量形式为：
φ＝(φ(1),φ(2),…,φ(s))t
进一步地，在本发明的一个实施例中，用以下算法得到最优策略：
在策略空间ψ中随机选择初始策略l(0)∈ψ，并设置迭代次数l＝0。
对于策略l(l)，计算其稳态概率π(l)，同时用蒙特卡洛仿真估计在此策略下的长期平均出力jμ(l)和长期出力方差jσ(l)；
计算联合出力波动指标φ；
依据系统约束检查在各个状态下可采取的行为，并用以下公式更新策略；
l(l+1)(i)：＝argmina∈a∑j∈spa(i,j)φ(l)(j)+[j(l)(i,a)-jμ(l)]2，
令ε>0并根据对计算精度的要求设置成一个小量。如果||jσ(l+1)-jσ(l)||<ε，则得到最佳策略，l*＝l(l)并停止此算法。否则令l:＝l+1并回到2。
进一步地，在本发明的实施例中，步骤s106～s110为实时调度方法流程，可以对带有储能的新能源输出功率进行波动最小化的实时调度，具体而言：
在步骤s106中，在任意时刻开始阶段，通过统计与学习方法预测任意时刻的风电场平均功率。
在本发明的一个实施例中，在某时刻开始阶段，利用已经成熟的统计与学习方法，预测此时刻风电场平均功率。对此时刻风电场平均功率进行预测的方法，可以是基于统计的方法或基于学习的方法，例如基于时间序列的短期预测、基于支持向量机的回归算法或基于神经网络的预测算法等。这一类方法已经成熟，在拥有风电场历史功率数据的情况下可以取得较好的效果。
在步骤s107中，获取任意时刻的储能装置剩余电量信息。
在步骤s108中，根据预设离散化规则将任意时刻的风电场平均功率、储能装置的剩余电量信息和任意时刻生成当前状态向量。
在本发明的一个实施例中，采用以下形式表达状态信息：
xt：＝(wt(k),bt(k),kt)，
其中，wt(k)为预测的t时段风电机组发电量，bt(k)为t时段储能装置的剩余电量，k为时刻。马氏过程x＝{xt,t＝1,2,…}满足遍历性，状态空间s＝{1,2,…,s}，s＝sw×sb×t。其中sw为风电状态数，sb为储能装置状态数，t为一天内时刻数。
在步骤s109中，根据最优策略与当前的状态向量得到最优决策，并根据最优决策对储能装置进行调度。
在本发明的一个实施例中，决策为调度人员对储能装置的操作，数学定义为储能装置在时段t到t+1的剩余电量的变化量，即：
at：＝bt+1-bt，a∈μ(i)∈a，
其中，a为决策空间。
在步骤s109中，更新下一时刻的风电场平均功率、储能装置的剩余电量以及时间信息，以继续下一时刻调度。
进一步地，在本发明的一个实施例中，更新时刻的公式为：
kt+1＝(kt％t)+1，
其中，t为一天内时刻数，％表示取模运算符号，kt为上一时刻风电场平均功率。
本发明一个实施例的带有储能的新能源输出功率波动最小化调度方法以新能源领域中代表性较强的风电为例，介绍如何运用本发明的算法和操作步骤，通过对储能装置进行调度，来降低新能源输出功率的波动。本实施例的方法同样适用于光伏发电等其他带有随机性的新能源，也适用于包含新能源、储能和负载的微电网系统。
本发明实施例的带有储能的新能源输出功率波动最小化调度方法，通过获取风电出力值并建立风速转移概率模型，获取发电厂中储能装置的设备信息得到第二离散的状态量，并结合风电出力值、储能装置的剩余电量与当前时刻生成状态向量构建马氏决策模型，进而获得最优策略，并对此策略进行实时调度，进而得到实时更新的最优结果，达到提供长期的、宽时间尺度的调度策略，降低新能源输出功率的波动的目的，并能够实时调度，得到本时刻最优的解决策略，具有简单方便，适用性广的优点。
其次参照附图描述根据本发明实施例提出的带有储能的新能源输出功率波动最小化调度装置。
图2是本发明实施例的对带有储能的新能源输出功率的波动最小化实时调度方法的分层控制结构示意图。
如图2所示，该带有储能的新能源输出功率波动最小化调度装置20包括：采集模块201、第一离散模块202、第一获取模块203、构建模块204、迭代模块205、预测模块206、第二获取模块207、第二离散模块208、调度模块209和更新模块210。
其中，采集模块201用于采集目标区域的长期风速数据，并根据风机特性得到风电出力值。第一离散模块202用于根据风电出力值通过预设离散化规则得到第一离散的状态量，并通过非时齐马氏链建立风速转移概率模型。第一获取模块203用于获取发电厂中储能装置的设备信息，并通过预设离散化规则得到第二离散的状态量。构建模块204用于将风电出力值、储能装置的剩余电量与当前时刻生成状态向量，以构建马氏决策模型。迭代模块205用于通过迭代公式得到每个状态下所采取的最优行为，以得到最优策略。预测模块206用于在任意时刻开始阶段，通过统计与学习方法预测任意时刻的风电场平均功率。第二获取模块207用于获取任意时刻的储能装置剩余电量信息。第二离散模块208用于根据预设离散化规则将任意时刻的风电场平均功率、储能装置的剩余电量信息和任意时刻生成当前状态向量。调度模块209用于根据最优策略与当前的状态向量得到最优决策，并根据最优决策对储能装置进行调度。更新模块210用于更新下一时刻的风电场平均功率、储能装置的剩余电量以及时间信息，以继续下一时刻调度。该带有储能的新能源输出功率波动最小化调度装置20可以提供长期的、宽时间尺度的调度策略，降低新能源输出功率的波动的目的，并能够实时调度，得到本时刻最优的解决策略。
其中，风电出力值的计算公式为：
其中，w为风电出力实际值，wcap为风机的额定功率，vt为t时刻的风速值，vrated为风机的额定风速值，vcutin为风机的切入风速，vcutout为风机的切出风速。
进一步地，在本发明的一个实施例中，第一离散模块202包括：离散单元，用于将风电发电容量均匀地离散化为w个区间，每一区间代表一个状态；第一获取单元，用于在一天中的时刻k转移到时刻k+1时，状态m转移到状态n的次数为
其中，其中sw为风电状态数。
进一步地，在本发明的一个实施例中，迭代模块205包括：
设置单元，用于在策略空间ψ中随机选择初始策略l(0)∈ψ，并设置迭代次数l＝0；
第二获取单元，用于对于策略l(l)，获取策略l(l)的稳态概率π(l)，同时通过蒙特卡洛仿真估计在策略l(l)下的长期平均出力jμ(l)和长期出力方差jσ(l)；
第三获取单元，用于获取联合出力波动指标φ；
更新单元，用于根据系统约束检查在各个状态下可采取的行为，并用以下公式更新策略：
l(l+1)(i)：＝argmina∈a∑j∈spa(i,j)φ(l)(j)+[j(l)(i,a)-jμ(l)]2，
其中，l(l)为策略的l步，jμ(l)为长期平均出力，jσ(l)为长期出力方差，φ为计算联合出力波动指标φ，pa为不可约方阵；
迭代单元，用于令ε>0，并根据计算精度设置成一个小量，其中，如果||jσ(l+1)-jσ(l)||<ε，则得到最佳策略，l*＝l(l)并停止迭代算法，否则令l:＝l+1，并重新计算稳态概率。
进一步地，在本发明的一个实施例中，更新时刻的公式为：
kt+1＝(kt％t)+1，
其中，t为一天内时刻数，％表示取模运算符号，kt为上一时刻风电场平均功率。
如图3所示，在本发明的一个实施例中，该带有储能的新能源输出功率波动最小化调度装置20分为两大模块，分别为调度模块(包括模块201-205)与实时控制模块(包括模块206-210)。其中，调度模块通过实施最优调度策略，为下层的实时控制模块提供小时级别的调度规则与约束；下层实时控制模块运用现成的控制方法来进行秒级的控制。
具体地，本发明实施例的带有储能的新能源输出功率波动最小化调度装置20的运行方式，具体包括以下步骤：
步骤s1：建立风电转移概率矩阵，即通过对历史数据的分析，得到的由风电在此时刻转移到下一时刻不同状态下的概率构成的矩阵。风电转移概率矩阵，是非时齐转移概率矩阵，会随着时刻的不同而变化。具体计算方法为：将风电发电容量均匀地离散化为w个区间，每一区间代表一个状态。假设遍历所有的历史数据，在一天中的时刻k转移到时刻k+1时，状态m转移到状态n的次数为
遍历一天24小时，可分别得到每一时刻转移到下一时刻的转移概率矩阵。
步骤s2：状态定义，即当前时刻风电场的状态信息。状态定义，即当前时刻风电场的状态信息，从信息处理中心、储能装置控制器以及时钟读出。状态可定义为xt：＝(wt(k),bt(k),kt)，其中wt(k)为预测的t时段风电机组发电量，bt(k)为t时段储能装置的剩余电量，k为时刻。马氏过程x＝{xt,t＝1,2,…}满足遍历性，状态空间s＝{1,2,…,s}，s＝sw×sb×t。其中sw为风电状态数，sb为储能装置状态数，t为一天内时刻数。
步骤s3：决策行为，即对储能装置采取的充、放电操作。决策行为，指决策行为可控量，在储能装置上一般来说包括充电与放电的区分以及具体充放电量的区别，因此决策行为可以定义为对储能装置采取的充、放电操作要求，即at：＝bt+1-bt，a∈μ(i)∈a。其中a为决策空间。
步骤s4：状态转移规则，即状态xt在t时刻采取了决策行为at之后，转移到t+1时刻的过程中，wt(k)、bt(k)以及kt的转移规则。状态转移规则，描述了状态量需要满足的约束条件以及转移的特点。具体如下：风电的转移满足随机性，根据风电转移概率矩阵使用蒙特卡洛模拟法，可以得到下一时段的风电值。储能电量以及时刻的变化是确定性的，即bt+1＝bt+at。时刻的转移表现为在一天24小时之间循环转移，即
kt+1＝(kt％t)+1
其中“％”表示取模运算符号。
对于储能装置的剩余电量和决策行为的约束包括：
其中，bmax为允许储能装置承担的容量上限，bmin为允许储能装置承担的容量下限。设置储能上下限的目的是为了防止过度充电或放电而影响其寿命。dmax为每小时放电最大功率，cmax为每小时充电最大功率。设置充放电最大功率的目的是保护储能装置，延长其寿命。根据此状态转移规则，可以建立对xt的状态转移概率矩阵：
步骤s5：状态行为报酬，状态行为报酬定义为对已执行的决策行为的评价，随着研究对象的不同而变化。由于风力发电应用广泛，故在本发明中，用风电出力来代表新能源出力。其他类型的新能源出力如光伏发电等也可以用本发明的内容来进行合理建模。当所研究的对象为带有风电机组和储能的发电厂时，状态行为报酬指在当前状态下的风储联合系统出力，即jt＝wt-at。其中jt的物理意义为风储联合系统在时间单位t的总出力。状态行为报酬，是本发明的带有储能的新能源输出功率波动最小化调度方法中，希望把长期波动减小的对象。
步骤s6：长期平均出力，即在当前策略下，风储联合出力在长期范围内的平均值。长期平均出力，可以通过计算在当前策略下各个状态的稳态分布以及各个状态对应的出力功率间接得到。具体计算公式为：
其中，π为转移概率矩阵具有唯一稳态概率分布π＝(π(1),π(2),…,π(s))。j为在各个状态下的联合出力功率，j＝(j(1)，j(2)，…，j(s))。
步骤s7：长期出力方差，即在当前策略下，对储能装置进行长时间调度之后，得到的状态行为报酬方差。的长期出力方差，体现当前策略能够减小联合出力波动的能力大小。长期出力方差越小，减小波动的能力越强。长期出力方差可以通过蒙特卡洛仿真模拟得到，即：
步骤s8：联合出力波动指标定义，指在当前策略下，各个状态对长期出力方差的贡献度。的联合出力波动指标的定义，等于某状态在此时刻这一步的贡献，加上下一个状态的长期潜在贡献的数学期望，即：
写成向量形式为：
φ＝(φ(1),φ(2),…,φ(s))t，
步骤s9：迭代算法，即在随机策略空间中，根据对决策行为的评价，更新当前的策略，使得下一策略下的长期出力方差更小，直至收敛，从而得到联合出力波动最小的最优策略。迭代，指在每次对策略进行估值之后，依据一定的改进策略，对当前策略进行更新，直至收敛得到最优策略：
迭代算法的具体实施步骤为：
在策略空间ψ中随机选择初始策略l(0)∈ψ，并设置迭代次数l＝0；
对于策略l(l)，计算其稳态概率π(l)，同时用蒙特卡洛仿真估计在此策略下的长期平均出力jμ(l)和长期出力方差jσ(l)；
计算联合出力波动指标φ；
依据系统约束检查在各个状态下可采取的行为，并用以下公式更新策略：
l(l+1)(i)：＝argmina∈a∑j∈spa(i,j)φ(l)(j)+[j(l)(i,a)-jμ(l)]2，
令ε>0并根据对计算精度的要求设置成一个小量。如果||jσ(l+1)-jσ(l)||<ε，则得到最佳策略，l*＝l(l)并停止此算法，否则令l:＝l+1并回到2。
需要说明的是，前述对带有储能的新能源输出功率波动最小化调度方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。
本发明实施例的带有储能的新能源输出功率波动最小化调度装置，通过获取风电出力值并建立风速转移概率模型，获取发电厂中储能装置的设备信息得到第二离散的状态量，并结合风电出力值、储能装置的剩余电量与当前时刻生成状态向量构建马氏决策模型，进而获得最优策略，并对此策略进行实时调度，进而得到实时更新的最优结果，达到提供长期的、宽时间尺度的调度策略，降低新能源输出功率的波动的目的，并能够实时调度，得到本时刻最优的解决策略，具有简单方便，适用性广的优点。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。