基于马尔科夫决策过程的变流器统一控制策略的方法
【技术领域】
[0001] 本发明设及电力技术领域，特别设及基于马尔科夫决策过程的变流器统一控制策 略的方法。
【背景技术】
[0002] 电力能源是现代经济的重要组成部分，是人类进步的重要支撑，对社会发展具有 显著的推动作用。随着世界经济的迅速发展，对电力能源需求的急速增长，对不可再生能 源的过度依赖，传统的电力能源系统已经不能满足国民经济发展的需求。分布式能源系统 的出现有效的缓解上述问题，该系统是面对用户层面，根据用户的需要来就地生产与供应 能源，为可再生能源的利用提供了新的途径，能够改善环境污染问题，使能源得到高效的利 用。但其不足在于能源的分布比较散，单机运行的功率比较小，发电效率低，导致不能有效 的管理与利用分布式能源。
[0003] IEC61850 90-7公用通信标准中提到，基于分布式电源系统的先进功率变流器不 仅能够具有基本的交直流电变换功能，同时能够通过软件的定值和命令服务来对电气特性 进行控制。基于分布式系统的先进功率变流器具有多种功能运行模式。合理的决策变流器 运行模式，能够提高分布式能源的利用率。互联的分布式能源系统的出现能很好地管理影 响电网稳定性、可靠性W及高效性的分布式电力能源。
[0004] 随着电力体制的改革和电力市场的不断完善，我国许多省网采用和推行分时上网 电价政策，考虑到电业局发布的电价数据随时间是波动的，不确定的，则经过分析得到的电 价曲线也是变化的，当基于分布式电源系统的先进功率变流器并入电网时，如果能源需求 管理侧不能够很好的优化电力的需求结构，将增加电力系统中各个环节的浪费。智能用电 环境下，如何基于电网电价对分布式能源系统先进功率变流器的控制策略选择是十分有必 要的，它将有利于促进电力资源的合理优化配置，同时也有利于缓解系统峰荷电量紧张的 压力。 阳〇化]针对W上问题，本发明提出了一种基于马尔科夫决策的先进变流器统一控制策略 的方法。
【发明内容】
[0006] 发明目的：本发明提出了基于马尔科夫决策过程的变流器统一控制策略的方法， 解决了现有的技术问题。化enADR服务器收集来自智能电网系统的电价曲线，计算分析得出 变流器所处电路电能质量状态，化enADR客户端获取该状态。结合马尔科夫决策方法，得出 变流器在不同状态下采取不同行为时最优策略。变流器控制器根据当前电路电能质量状态 化及MDP模型最优策略得出变流器最优运行行为，为电力用户提供了经济效益最佳的能源 管理方案。
[0007] 为达到上述目的，本发明采用W下技术方案：
[0008] 基于马尔科夫决策过程的变流器统一控制策略的方法，其中，包括如下步骤：
[0009] 步骤一，化enADR服务器收集智能电网系统的=条电价曲线，计算和判断电路电能 质量状态；
[0010] 步骤二，变流器的化enADR客户端获取电路电能质量状态并传递给先进变流器控 制器；
[0011] 步骤=，建立变流器功能模型与马尔科夫决策过程的映射关系；
[0012] 步骤四，根据马尔科夫决策理论，构建转移概率矩阵和收益函数矩阵；
[0013] 步骤五，通过matl油软件编程，求解构建好的MDP模型，得出变流器在不同状态下 采取不同行为获得经济效益最大的策略；
[0014] 步骤六，变流器控制器根据当前电路电能质量状态W及MDP模型最优策略得出变 流器最优运行行为。
[0015] 本发明提出的基于马尔科夫决策过程的变流器统一控制策略的方法，所述步骤 一，化enADR服务器通过化enADR通信体系标准采集来自电网、电业局的有功电价曲线，频 率支持电价曲线，无功支持电价曲线，并W电价曲线为导向，分析得出当前电路电能质量状 态（即变流器状态，为S。，Si，S2,S3中的一个状态）。
[0016] 本发明提供的基于马尔科夫决策过程的变流器统一控制策略的方法，所述步骤 二，变流器的化enADR客户端通过化enADR通信体系标准获取电路电能质量状态，并将状态 值传递给变流器控制器的存储单元。
[0017] 本发明提供的基于马尔科夫决策过程的变流器统一控制策略的方法，所述步骤 =，建立变流器功能模型与马尔科夫决策过程的映射关系，包括定义变流器对应于马尔科 夫决策过程中的状态与行为。马尔科夫决策过程中，用变量S定义变流器的状态，W变流器 所在电网或微电网电路电能质量为状态，也即是变流器状态。状态S包含两个元素，电压U 和频率f，运两个元素都有两个取值，平衡化alance)或偏离（deviant),-个状态的取值就 有4种可能，所W状态空间共有4种状态，S〇=扣b，Fb)，Si=扣d，Fb)，S2=扣b，Fd)，S3 = OJd，Fd)。用变量曰1代表决策过程中出现的所有行为，i=1，2,3,变流器的行为有；种，曰1 代表有功发电行为，曰2代表无功支持运行行为，a3代表频率支持运行行为。有功发电行为 能收获发电量，但对电路电能质量没有贡献。无功支持行为可W改善电压偏离，在转移概率 矩阵中，其后续状态的电压平衡的概率为1，在收益矩阵中，当前状态为电压偏离时，当变流 器处于无功支持运行行为能够改善电压偏离，此时奖励Award。频率支持行为可W改善频率 偏离，在转移概率矩阵中，其后续状态的频率平衡的概率为1，在收益矩阵中，当前状态为频 率偏离时，变流器处于频率支持运行行为能够改善频率偏离，此时奖励Award。
[0018] 本发明提供的基于马尔科夫决策过程的变流器统一控制策略的方法，所述步骤 四，根据马尔科夫决策理论，构建转移概率矩阵与收益函数矩阵：
[0019]
[0020] 其中P(S;S';曰1)表示变流器在状态S采取曰1行为导致出现状态S'的转移概率 矩阵，因为变流器状态有4种，故矩阵为4*4矩阵；由于外部环境的不确定性，分别用P。与 Pf来表示电路电压偏离概率与频率偏移的概率，因状态包含电压和频率两部分，故转移概 率为运两部分概率相乘。
[0023]R(S;S';曰1)为变流器在状态S采取曰1行为导致出现状态S'所获得到的收益。收 益由S部分组成c*G，Award,Penalty。首先是有功发电收益c*G，可再生能源发电电价乘 W发电量，该部分只有行为a等于有功发电ai时，才会出现；第二部分是行为满足状态需求 的奖励Award(Aw)，无功支持行为可W改善电压偏离，在收益矩阵中，当前状态为电压偏离 时，变流器为无功支持运行行为奖励Award。频率支持行为可W改善频率偏离，在收益矩阵 中，当前状态的频率偏离时，变流器状态为频率支持运行行为时奖励Award;第S部分是电 能质量不正常的处罚Penalty(Pen)，如果后续状态包含电压偏离或频率偏离，该项就应出 现。
[0024] 本发明提供的基于马尔科夫决策过程的变流器统一控制策略的方法，所述步骤 五，通过调用现代工具matl油软件的MDPtoo化OX即可对已构建好的MDP模型进行编程求 解，得出变流器在不同状态下采取不同行为时，最大经济效益时对应的策略。
[00巧]本发明提供的基于马尔科夫决策过程的变流器统一控制策略的方法，所述步骤 六，变流器控制器根据某时刻存储单元的变流器状态值，并结合步骤五中MDP模型的最优 策略，可W得到该时刻变流器最优运行行为。
[00%] 本发明采用上述技术方法，具有W下有益效果：
[0027] 本发明W电业局、电网发出的电价曲线信号为导向，得到对应变流器状态。通过应 用马尔可夫决策过程，对变流器建立智能运行机制，实现W电价曲线为导向的变流器运行 行为策略最优决策，实现先进变流器运行收益最大化，采用本发明的决策方法，能够促进电 力资源的合理优化配置并缓解系统峰荷电量紧张的压力。
【附图说明】
[0028]图1为本发明基于马尔科夫决策过程的变流器统一控制策略的方法流程示意图；
[0029] 图2为本发明某一天24小时电网电价曲线图；
[0030] 图3为本发明基于MDP的变流器matl油平台建模求解程序示意图；
[0031] 图4为本发明基于MDP的变流器matl油平台建模求解结果示意图；
【具体实施方式】
[0032] 下面结合附图对本发明进行进一步地描述，下面的详细说明仅仅是示例性的，并 不限制本发明的应用和范围。 阳〇3引1.项目实施方式
[0034]如图1所示，基于马尔科夫决策过程的变流器统一控制策略的方法，包括如下步 骤：
[00对步骤一：电网、供电局发出立条电价曲线，有功电价曲线，无功支持电价曲线，频率 支持电价曲线，OpenADR服务器通过OpenADR通信服务获取=条电价曲线，OpenADR服务器 依据=条曲线分析计算得到电路电能质量状态。
[0036] 具体地说，在步骤一中，电网可W作为化enADR通信数据模型中的VTN(发布消息 的服务器）发布实时电价曲线，而化enADR服务器作为VEN(订购了此类信息的客户端）接 受来自VTN发布的电价曲线，同时分析得到电路电能质量状态。对S条电价曲线进行比较， 有功电价曲线价格最大时，变流器处于状态S。;当无功支持电价曲线价格最大时，变流器处 于状态Si;当频率支持电价曲线价格最大时，变流器处于状态S2;当无功支持电价曲线与频 率支持电价曲线相等且大于有功发电价格，为状态S3。
[0037] 步骤二：变流器的化enADR客户端通过化enADR通信体系标准获取电路电能质量 状态，并将状态值传递给变流器控制器的存储单元。
[003引具体地说，在步骤二中，化enADR服务器作为VTN，通过TCP协议向先进变流器的 化enADR客户端VEN传递当前电路电能质量状态。化enADR客户端通过网关设备将符合 化enADR2. 0通信标准协议转换成符合IEC61850标准协议的变流器状态信息报告给先进变 流器控制器。
[0039] 步骤建立变流器功能模型与马尔科夫决策过程的映射关系，包括定义变流器 对应于马尔科夫决策过程中的状态与行为。
[0040] 具体地说，在步骤=中，本发明的马尔科夫决策模型中状态空间共有4种状态，S。 =(Ub，Fb)，Si=扣d，Fb)，S2=扣b，F