专利名称：一种采用多种智能代理算法的电力市场混合仿真方法
技术领域：
本发明属于电力系统及其自动化领域，具体涉及一种采用多种智能代理算法的电 力市场混合仿真方法。
背景技术：
电力市场仿真是实现对电力市场运作以及市场参与各方行为的模拟仿真，市场成 员仿真是模拟市场参与者的市场行为，是实现电力市场仿真关键一个环节。电力市场是一 个开放的、多方博弈的复杂动态系统，市场成员的市场行为具有不确定性和相互影响等特 征。电力市场成员仿真需要采用多代理技术，通过系统结构设计和建模，将电力市场成员抽 象为智能主体代理Agent，这些代理Agent能够自主地对电力系统和电力市场运行情况进 行感知、分析、推理和判断，并通过和相关代理Agent进行协商、以及自学习、自适应的规划 能力，制定各自的交易策略和方案。而基于代理的仿真方法主要是通过智能算法来代理发电公司进行竞价策略选择， 然后根据每次出清的结果来研究电力市场的各类问题。电力市场仿真中的智能体是对人的 学习与决策行为的模拟。现有研究工作中对人的学习能力的模拟主要采用遗传算法或强 化学习的方法，尽管具有理性，能清晰地反映出每一个因素的影响，但与实际市场情况差别 较大。而采用多种智能代理算法的电力市场混合仿真方法，能使得电力市场仿真试验中各 个代理Agent具有“理性”的同时，又具有“个性”，更接近于实际的电力市场。本发明一种 采用多种智能代理算法的电力市场混合仿真方法更能接近于电力市场中各个个体具有“共 性”同时的又具有“个性”，为电力市场仿真的研究提供了工具。智能代理算法中各代理Agent代表着每个市场参与者，代理Agent应基于它本身 的信息和对于市场环境的认识做出最优决策，整个电力市场仿真属于一个动态博弈过程。 因此，对每个代理做出最优策略所选的智能算法有较高的要求。
发明内容
本发明为了克服现有技术中的不足，提供了一种采用多种智能代理算法的电力市 场混合仿真方法。电力市场仿真是实现对电力市场运作以及市场参与各方行为的模拟仿真，市场成 员仿真是模拟市场参与者的市场行为，是实现电力市场仿真关键一个环节。在电力市场计 算经济学仿真模型中，各独立的代理Agent根据市场信息以自身收益最大化为目标选择竞 标策略提交给交易中心，交易中心根据市场需求确定各代理Agent的发电量和电价，并将 所需信息反馈给各代理Agent，各代理Agent根据反馈的结果再调整自身策略，如此循环， 直至达到一个平衡的状态。整个电力市场仿真属于一个动态博弈过程，智能代理算法决策 行为直接影响实验的结果，因此，对代理做出最优策略所选的智能算法有较高的要求。应用到电力市场仿真系统中的智能代理算法有R-E算法、规则推理算法、Q学习算 法和协同粒子群算法。在同一个仿真试验中R-E算法代理的报价水平较高，报价策略行为表现为激进，Q-Learning算法代理的报价水平中等，报价策略行为特性表现为中庸，Greedy 算法代理的报价水平偏低，报价策略行为特性表现为保守，而协同粒子群算法报价水平较 高，报价策略行为表现为激进。在实际电力市场中，各市场成员的报价策略特性是不相同 的，所以本发明提出在同一仿真试验中，各代理Agent采用不同的智能代理算法，形成混合 试验的仿真，更接近实际的电力市场。本发明的一种采用多种智能代理算法的电力市场混合仿真方法，在电力市场仿 真模型中，各代理Agent采用不同的智能代理算法，形成混合试验的仿真，各独立的代理 Agent根据市场信息以自身收益最大化为目标选择竞标策略提交给交易中心，交易中心根 据市场需求确定各代理Agent的发电量和电价，并将所需信息反馈给各代理Agent，各代理 Agent根据反馈的结果再调整自身策略，如此循环，直至达到一个平衡的状态，具体步骤如 下(1)建立电力市场仿真实验环境电力市场仿真环境以实际电力系统为原型，建立仿真实验需要的物理电力系统， 包括电厂分布等，在该电力系统上组织电力市场交易，搭建起电力市场仿真实验环境；(2)电力市场仿真实验方案设计电力市场仿真实验方案设计包括市场成员、市场模式、市场出清规则，确定参与市 场竞价交易的成员，采用的市场模式，以及根据投标策略市场出清的规则等；(3)电力市场成员投标策略设计智能代理算法中各代理Agent代表着每个市场参与者，电力市场成员仿真采用的 算法包括智能代理算法和强化学习算法；(4)电力市场仿真实验执行实验设计完毕后，即可执行仿真实验；(5)电力市场仿真实验分析实验执行完毕后，对实验结果进行分析。其中，所述采用的市场模式包括单边市场、双边市场，所述根据投标策略市场出清 的规则包括边际电价出清和结算电价出清。其中，所述强化学习算法基于动物学习原理-条件反射，是指智能系统从环境到 行为映射的学习，以使奖励信号函数值最大，由环境提供的强化信号是对产生动作的好坏 作一种评价，而不是告诉强化学习系统RLS如何去产生正确的动作，目标函数中不存在梯 度信息，故在强化学习网络中需要某种随机因素才能研究可能的输出空间并找到正确的输 出值，所述强化学习算法有R-E算法、规则推理算法、Q学习算法和协同粒子群算法。其中，(I)R-E 算法这个算法主要遵循三个基本原理(1)按照被生物学广泛接受的“条件反射”原 理以前成功的行动总是在以后的行动中更容易被采用；(2)最近的经验比更远的经验更 容易被采用；(3)学习的过程通常具备这样的过程开始学习快速，后来则学习变化的速度 减慢；该算法可在不完全信息有限策略博弈中，即博弈参与人在不知道其他参与人的收 益和决策的条件下，通过有限博弈策略寻找到唯一的贝叶斯纳什均衡.；R-E强化学习算法
5是一种自适应的学习方法，代理通过不断地与环境进行交互所得到的经验来进行学习，可 以用这种算法来模拟不完全信息市场中发电商的策略报价过程；(2) Q-Iearning 算法在Q-Iearning算法中，为了决定智能体在交易周期中使用探索和利用，引入了一 个决策因子，基于智能体收益最大化的目标是否实现来更新行使探索或利用行动的概率; 每个发电商智能体通过探索和利用来行使每次竞价交易的市场策略，通过比较目标收益， 来决定是选择利用或探索。在探索过程中，智能体通过试错模式学习市场环境，如果探索使 得收益增加，智能体将会增加行使探索行动的概率，否则行使利用行动的概率将会增加；(3)规则推理型算法规则推理型算法是一种启发式算法，它在一定程度上能够反映人追求更多利润的 心理与机制，在实验中展现出很好的性能，是一种不可或缺的算法；规则推理型算法是根据 代理报价曲线各容量段被收购与否的状况，来调整其相应容量段的报价，以期达到发电量 与收益最大化；该算法运用前提为代理报价函数为分段梯形上升曲线，各个容量段的报价 根据报出的价格递增；(4)协同粒子群算法电力市场仿真模型中各代理Agent代表着每个市场参与者，代理Agent应基于它 本身的信息和对于市场环境的认识做出最优决策，整个电力市场仿真属于一个动态博弈过 程。协同粒子群算法是将整个种群分解为若干个子种群，每个种群代表一个市场成员代理 Agent，种群中每个粒子代表该发电公司的一个报价策略方案，各个子种群独立地用标准粒 子群进化，达到周期时，更新全局最好位置；这样，各个子种群既能充分地在子种群内部不 断地搜索，不会迷失自己的寻优方向，又能利用周期性地共享全局最好位置促使粒子找到 最好值；协同进化在进化过程中既充分发挥每个个体的自主能动性，又在进化中通过协作 或对抗进行相互学习和自我完善，从而达到整个群体协同进化的目的。本发明的有益效果是不同的智能代理算法报价策略特性不尽相同，采用多种智能代理算法的电力市场 混合仿真方法试验中使得各个代理Agent具有“理性”的同时，又具有“个性”，更接近于实 际的电力市场。
下面结合附图对本发明进一步说明。图1是依据本发明的仿真方法的电力市场仿真模型示意图。图2是依据本发明的仿真方法的仿真试验结果的曲线示意图。
具体实施例方式本发明提供了一种采用多种智能代理算法的电力市场混合仿真方法。在电力市场仿真模型中，各独立的代理Agent根据市场信息以自身收益最大化为 目标选择竞标策略提交给交易中心，交易中心根据市场需求确定各代理Agent的发电量和 电价，并将所需信息反馈给各代理Agent，各代理Agent根据反馈的结果再调整自身策略， 如此循环，直至达到一个平衡的状态。整个电力市场仿真属于一个动态博弈过程，智能代理算法决策行为直接影响实验的结果，因此，对代理做出最优策略所选的智能算法有较高的 要求。应用到电力市场仿真系统中的智能代理算法有R-E算法、规则推理算法、Q学习算 法和协同粒子群算法。在同一个仿真试验中R-E算法代理的报价水平较高，报价策略行为 表现为激进，Q-Learning算法代理的报价水平中等，报价策略行为特性表现为中庸，Greedy 算法代理的报价水平偏低，报价策略行为特性表现为保守，而协同粒子群算法报价水平较 高，报价策略行为表现为激进。在实际电力市场中，各市场成员的报价策略特性是不相同 的，所以本发明提出在同一仿真试验中，各代理Agent采用不同的智能代理算法，形成混台 试验的仿真，更接近实际的电力市场。通过电力市场仿真建模平台，建立东北区域电力市场交易模型。其中电厂机组信 息、安全区划分、联络线限值等系统数据以及市场成员的经济数据按照实际历史数据设定； 市场交易模式按照东北电力市场交易运营规则，采用月度单边集中竞价方式；出清算法规 则按东北电力市场交易运营规则编制部署。市场成员报价行为模拟，采用混合智能代理算 法进行智能代理报价模拟仿真。根据东北电力市场运营规则，设置调整各实验情景的竞价空间，以反映不同的负 荷需求。其它条件在各实验情景下完全相同。12个实验情景的竞价空间从6. 5TWh到12TWh， 每个情景的竞价空间相差0. 5TWh。仿真试验结果如图2的曲线所示(各实验情景电价曲 线)从曲线图2中可以看出，随着负荷需求的增长，整个市场的平均申报电价随之增 加，进而直接影响市场的边际电价随之增加。在电力供应相对比较充足的情况下，电价增长 的速度比较平缓，当出现电力供应紧张时电价增长幅度急剧加大，市场趋于不稳定。
权利要求
一种采用多种智能代理算法的电力市场混合仿真方法，其特征在于在电力市场仿真模型中，各代理Agent采用不同的智能代理算法，形成混合试验的仿真，各独立的代理Agent根据市场信息以自身收益最大化为目标选择竞标策略提交给交易中心，交易中心根据市场需求确定各代理Agent的发电量和电价，并将所需信息反馈给各代理Agent，各代理Agent根据反馈的结果再调整自身策略，如此循环，直至达到一个平衡的状态，具体步骤如下(1)建立电力市场仿真实验环境电力市场仿真环境以实际电力系统为原型，建立仿真实验需要的物理电力系统，包括电厂分布等，在该电力系统上组织电力市场交易，搭建起电力市场仿真实验环境；(2)电力市场仿真实验方案设计电力市场仿真实验方案设计包括市场成员、市场模式、市场出清规则，确定参与市场竞价交易的成员，采用的市场模式，以及根据投标策略市场出清的规则等；(3)电力市场成员投标策略设计智能代理算法中各代理Agent代表着每个市场参与者，电力市场成员仿真采用的算法包括智能代理算法和强化学习算法；(4)电力市场仿真实验执行实验设计完毕后，即可执行仿真实验；(5)电力市场仿真实验分析实验执行完毕后，对实验结果进行分析。
2.如权利要求1所述的方法，其特征在于所述采用的市场模式包括单边市场、双边市 场，所述根据投标策略市场出清的规则包括边际电价出清和结算电价出清。
3.如权利要求1所述的方法，其特征在于所述强化学习算法基于动物学习原理-条 件反射，是指智能系统从环境到行为映射的学习，以使奖励信号函数值最大，由环境提供的 强化信号是对产生动作的好坏作一种评价，而不是告诉强化学习系统RLS如何去产生正确 的动作，目标函数中不存在梯度信息，故在强化学习网络中需要某种随机因素才能研究可 能的输出空间并找到正确的输出值，所述强化学习算法有R-E算法、规则推理算法、Q学习 算法和协同粒子群算法。
4.如权利要求1-3任一所述的方法，其特征在于(1)R-E算法这个算法主要遵循三个基本原理(1)按照被生物学广泛接受的“条件反射”原理以 前成功的行动总是在以后的行动中更容易被采用；(2)最近的经验比更远的经验更容易被 采用；(3)学习的过程通常具备这样的过程开始学习快速，后来则学习变化的速度减慢；该算法可在不完全信息有限策略博弈中，即博弈参与人在不知道其他参与人的收益和 决策的条件下，通过有限博弈策略寻找到唯一的贝叶斯纳什均衡.；R-E强化学习算法是一 种自适应的学习方法，代理通过不断地与环境进行交互所得到的经验来进行学习，可以用 这种算法来模拟不完全信息市场中发电商的策略报价过程；(2)Q-Iearning 算法在Q-Iearning算法中，为了决定智能体在交易周期中使用探索和利用，引入了一个决 策因子，基于智能体收益最大化的目标是否实现来更新行使探索或利用行动的概率；每个发电商智能体通过探索和利用来行使每次竞价交易的市场策略，通过比较目标收益，来决 定是选择利用或探索。在探索过程中，智能体通过试错模式学习市场环境，如果探索使得收 益增加，智能体将会增加行使探索行动的概率，否则行使利用行动的概率将会增加；(3)规则推理型算法规则推理型算法是一种启发式算法，它在一定程度上能够反映人追求更多利润的心理 与机制，在实验中展现出很好的性能，是一种不可或缺的算法；规则推理型算法是根据代理 报价曲线各容量段被收购与否的状况，来调整其相应容量段的报价，以期达到发电量与收 益最大化；该算法运用前提为代理报价函数为分段梯形上升曲线，各个容量段的报价根据 报出的价格递增；(4)协同粒子群算法电力市场仿真模型中各代理Agent代表着每个市场参与者，代理Agent应基于它本 身的信息和对于市场环境的认识做出最优决策，整个电力市场仿真属于一个动态博弈过 程。协同粒子群算法是将整个种群分解为若干个子种群，每个种群代表一个市场成员代理 Agent，种群中每个粒子代表该发电公司的一个报价策略方案，各个子种群独立地用标准粒 子群进化，达到周期时，更新全局最好位置；这样，各个子种群既能充分地在子种群内部不 断地搜索，不会迷失自己的寻优方向，又能 利用周期性地共享全局最好位置促使粒子找到 最好值；协同进化在进化过程中既充分发挥每个个体的自主能动性，又在进化中通过协作 或对抗进行相互学习和自我完善，从而达到整个群体协同进化的目的。
全文摘要
本发明属于电力系统及其自动化领域，具体涉及一种采用多种智能代理算法的电力市场混合仿真方法。本发明采用多种智能代理算法的电力市场混合仿真方法，能使得电力市场仿真试验中各个代理Agent具有“理性”的同时，又具有“个性”，更接近于实际的电力市场，为电力市场仿真的研究提供了方法和工具。
文档编号G06Q10/00GK101908172SQ20101023950
公开日2010年12月8日 申请日期2010年7月29日 优先权日2010年7月29日
发明者史述红, 周海明, 李伟刚, 王文, 王海宁, 陈乃仕 申请人:中国电力科学研究院