一种考虑用户满意度的需求响应激励价格确定方法及装置

1.本发明属于电力供需管理技术领域，涉及一种考虑用户满意度的需求响应激励价格确定方法及装置。


背景技术：

2.电力需求侧管理是构建新型电力系统的重要组成部分，需求响应作为需求侧管理的重要手段，有效地解决了电网高峰负荷时段供需不平衡的问题，避免了建设新电厂和配套电网设施带来的碳排放、生态污染和成本支出问题。需求响应分为价格型和激励型两种模式，价格型需求响应是通过改变电价来引导用户调整用电行为，而激励型需求响应则通过补贴奖励或折扣来鼓励用户削减用电量。相比于价格型需求响应，激励型需求响应在解决短时间内削峰填谷更具有优势和灵活性，对于用户来说也更有吸引力。
3.目前，国内对于需求响应激励价格的研究多从不确定性和主从博弈角度建立模型，属于基于模型的方法，其依赖于精心设计的模型，需要已知全部或者大部分的环境信息，算法复杂，可扩展性和灵活性不高且没有考虑碳排放交易市场对于用户侧用电行为的影响。
4.强化学习是一种数据驱动的方法，不需要了解过多的环境信息，它通过不断对智能体与环境间交互数据的观察和探索，估计策略的长期价值，并最终得到使目标最优的策略。


技术实现要素：

5.针对上述问题，本发明一种考虑用户满意度的需求响应激励价格确定方法及装置，本发明建立了综合考虑碳排放和用户满意度的需求响应激励策略优化模型，从用户真实数据集出发，辨识模型参数并利用强化学习求解。本发明可以在有限信息的条件下，制定精细化的补贴价格策略，激励用户较为精准的完成节能响应。
6.本发明采取的技术方案是：一种考虑用户满意度的需求响应激励价格确定方法，包括步骤：s1、建立基于分层电力市场和碳排放交易市场的激励型需求响应模型，包括电网运营商模型和用户侧模型，以及目标函数模型；s2、通过聚类算法确定用户的需求响应潜力等级；通过历史响应数据确定用户的响应率和不同时段的激励弹性系数；s3、将用户的需求响应潜力等级、响应率和激励弹性系数作为模型参数输入激励型需求响应模型，基于强化学习中的q学习算法对激励型需求响应模型进行求解，得到最优激励补贴价格。
7.进一步优选，所述电网运营商模型包括碳排放收益模型，减少的购电成本模型，激励成本模型；所述电网运营商模型为：
所述碳排放收益模型为：所述减少的购电成本模型为：所述激励成本模型为：其中式中，f
gr
表示电网收益，c
gr
表示碳排放收益，c
rc
表示减少的购电成本，c
ic
表示激励成本，i代表用户，t代表时间，n是用户的集合，t是一天中所有时间段的集合；表示用户i在t时间段参与活动的响应负荷，；表示用户i在t时段的原始用电需求；表示用户i的激励弹性系数，其含义为补贴发生1%的偏差而引起该时段负荷需求调整的百分数；表示用户i在t时段参与需求响应获得的激励补贴价格，由电网运营商制定，表示最低激励补贴价格；表示在t时刻标准煤的交易价格单价；表示在t时刻当地碳交易市场的二氧化碳的交易单价；表示t时刻电力市场批发电价的实时价格。
8.进一步优选，所述用户侧模型包括节约电费收益模型、补贴收益模型、用户不满意度模型；所述用户侧模型为：所述节约电费收益模型为：所述补贴收益模型为：所述用户不满意度模型所述用户不满意度模型
其中，f
ur
表示用户收益，c
sr
表示节约电费收益，c
si
表示补贴收益，c
ud
表示用户不满意度，代表用户i在t时刻的用电价格；是用户i的响应率，通过历史响应效果来计算，代表用户i的历史响应负荷，代表用户i的历史用电需求；代表用户i的需求响应潜力等级；∈[0，1]，∈[0，1]。
[0009]
进一步优选，所述目标函数模型为：式中，ρ是收益权重因子，表示为电网运营商收益和用户收益的重要性比例，ρ∈[0，1]。实施需求响应时，若要控制电网侧成本，可将ρ值设定在(0.5，1)；若更侧重用户收益，可将ρ值设定在(0，0.5)。
[0010]
进一步优选，步骤s2中，获取活动实施地区的用户的前一周的用电负荷曲线，通过负荷曲线聚类识别不同用户的用能特性，根据其用能特性划分其需求响应潜力等级。
[0011]
进一步优选，步骤s2中，获取用户参与需求响应活动的历史响应数据，通过神经网络辨识用户i的响应率和不同时段的激励弹性系数。
[0012]
进一步优选，步骤s3将基于分层电力市场和碳排放交易市场的激励型需求响应模型决策优化问题建模成一个智能体进行学习的有限mdp，电网运营商首先为用户设置一个激励补贴价格，接着用户响应并削减自己的用电负荷，同时把用户和电网的收益反馈给电网运营商，然后电网运营商根据用户的负荷削减量以及当前的总收益重新设置激励补贴价格，当用户和电网的总收益取得最大值，或达到收敛条件时停止迭代过程，此时的激励补贴价格就是所求最优的基于激励的需求响应策略。
[0013]
进一步优选，步骤s3过程如下：步骤s31:初始化参数，包括：用户i的需求响应潜力等级，激励弹性系数，用户i的响应率，收益权重因子ρ，用户i的响应率，折扣系数α，学习率θ，贪婪系数ε，，，，，，t，设置的区间；步骤s32:初始化q表格，q表格中各元素为零，设置时间段t=0，用户i=0;步骤s33:观察用户i在t=0时间段参与活动的响应负荷；步骤s34:用贪婪策略选择用户i在t时段参与需求响应获得的激励补贴价格；步骤s35:计算奖励，观察用户i在t+1时间段参与活动的响应负荷，并且更新q值；步骤s36:判断是否达到最大时间段t，是则转到下一步骤，否则，t=t+1,返回步骤s34；步骤s37:判断q表格是否收敛到最大值，是则转到下一步骤，否则，i=i+1,返回步骤s33；步骤s38:输出一天中t个时间段的最优激励补贴价格。
[0014]
进一步优选，步骤s35中，所述q值可用下面的式子计算：式中，为用户i在t时刻的q值，为用户i在t时刻的响应负荷，为用户i在t时
刻得到的激励补贴价格，α是折扣系数，为用户i在t+1时刻的q值，会在每次迭代过程中进行更新，直到取得最大的累计折扣回报或者达到最大迭代次数，q值更新方式如下式：式中，为用户i在t时刻下一次迭代的q值，为用户i在t时刻下一次迭代的响应负荷，为用户i在t时刻下一次迭代的激励补贴价格，为用户i在t+1时刻下一次迭代的q值，θ是学习率，取值范围是[0,1]。
[0015]
本发明还提供一种考虑用户满意度的需求响应激励价格确定装置，包括非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的一种考虑用户满意度的需求响应激励价格确定方法。
[0016]
本发明有益效果，针对电网运营商和居民用户两类需求响应参与主体，建立了智能电网和双碳环境下考虑碳排放和用户不满意度的需求响应激励策略优化模型，并通过强化学习求解。电网运营商通过向的用户发布不同的补贴价格来引导用户响应节电，以解决某一特定时段内的削峰填谷问题，同时实现电网和用户的综合收益最大化。本发明综合考虑碳排放交易市场和用户不满意度等影响因素，针对用户负荷具有随机性、分散性的特点，通过真实的居民需求历史响应数据辨识模型参数，包括价格弹性系数，不满意度参数等判断用户的响应率，并通过聚类算法得到用户的需求响应潜力等级，精准刻画不同用户在不同时段对于价格的敏感程度；根据用户的相关用能特性和碳交易市场的实时交易价格改变模型的参数，输出补贴价格，帮助供电公司制定科学的需求响应调控策略，引导当地用户合理用电，避开用电高峰，削峰填谷，实现电力资源合理配置。
附图说明
[0017]
图1是本发明的方法流程图。
[0018]
图2是3个用户的用电需求。
[0019]
图3是q值收敛图。
[0020]
图4是用户1每个时段的最优激励补贴价格和电量消耗情况。
[0021]
图5是用户2每个时段的最优激励补贴价格和电量消耗情况。
[0022]
图6是用户3每个时段的最优激励补贴价格和电量消耗情况。
[0023]
图7是一种电子设备的结构示意图。
具体实施方式
[0024]
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0025]
参照图1，一种考虑用户满意度的需求响应激励价格确定方法，包括步骤：s1、建立基于分层电力市场和碳排放交易市场的激励型需求响应模型，包括电网运营商模型和用户侧模型，以及目标函数模型；s2、通过聚类算法确定用户的需求响应潜力等级；通过历史响应数据确定用户的
响应率和不同时段的激励弹性系数；s3、将用户的需求响应潜力等级、响应率和激励弹性系数作为模型参数输入激励型需求响应模型，基于强化学习中的q学习算法对激励型需求响应模型进行求解，得到最优激励补贴价格。
[0026]
本实施例步骤s1中，电网运营商模型包括碳排放收益模型，减少的购电成本模型，激励成本模型；所述电网运营商模型为：所述碳排放收益模型为：所述减少的购电成本模型为：所述激励成本模型为：其中式中，f
gr
表示电网收益，c
gr
表示碳排放收益，c
rc
表示减少的购电成本，c
ic
表示激励成本，i代表用户，t代表时间，n是用户的集合，t是一天中所有时间段的集合；表示用户i在t时间段参与活动的响应负荷，；表示用户i在t时段的原始用电需求；表示用户i的激励弹性系数，其含义为补贴发生1%的偏差而引起该时段负荷需求调整的百分数；表示用户i在t时段参与需求响应获得的激励补贴价格，由电网运营商制定，表示最低激励补贴价格；表示在t时刻标准煤的交易价格单价；表示在t时刻当地碳交易市场的二氧化碳的交易单价；表示t时刻电力市场批发电价的实时价格。
[0027]
本实施例步骤s1的用户侧模型包括节约电费收益模型、补贴收益模型、用户不满意度模型；所述用户侧模型为：所述节约电费收益模型为：所述补贴收益模型为：所述用户不满意度模型
其中，f
ur
表示用户收益，c
sr
表示节约电费收益，c
si
表示补贴收益，c
ud
表示用户不满意度，代表用户i在t时刻的用电价格；是用户i的响应率，通过历史响应效果来计算，代表用户i的历史响应负荷，代表用户i的历史用电需求；代表用户i的需求响应潜力等级；∈[0，1]，∈[0，1]。
[0028]
建立基于分层电力市场和碳排放交易市场的激励型需求响应模型的目的是获得综合考虑电网和用户双方的最大收益，因此，目标函数模型为：式中，ρ是收益权重因子，表示为电网运营商收益和用户收益的重要性比例，ρ∈[0，1]。实施需求响应时，若要控制电网侧成本，可将ρ值设定在(0.5，1)；若更侧重用户收益，可将ρ值设定在(0，0.5)。
[0029]
本实施例步骤s2中，通过聚类算法确定用户i的需求响应潜力等级：获取活动实施地区的用户的前一周的用电负荷曲线，通过负荷曲线聚类识别不同用户的用能特性，根据其用能特性划分其需求响应潜力等级。
[0030]
本实施例步骤s2中，通过历史响应数据确定用户i的响应率和不同时段的激励弹性系数：获取用户参与需求响应活动的历史响应数据，通过神经网络辨识用户i的响应率和不同时段的激励弹性系数，精准刻画不同用户在不同时段对于价格的敏感程度。
[0031]
本实施例步骤s3将基于分层电力市场和碳排放交易市场的激励型需求响应模型决策优化问题建模成一个智能体进行学习的有限mdp，电网运营商首先为用户设置一个激励补贴价格，接着用户响应并削减自己的用电负荷，同时把用户和电网的收益反馈给电网运营商，然后电网运营商根据用户的负荷削减量以及当前的总收益重新设置激励补贴价格，当用户和电网的总收益取得最大值，或达到收敛条件时停止迭代过程，此时的激励补贴价格就是所求最优的基于激励的需求响应策略。
[0032]
本实施例步骤s3具体包括：步骤s31:初始化参数，包括：用户i的需求响应潜力等级，激励弹性系数，用户i的响应率，收益权重因子ρ，用户i的响应率，折扣系数α，学习率θ，贪婪系数ε，，，，，，t，设置的区间；步骤s32:初始化q表格，q表格中各元素为零，设置时间段t=0，用户i=0;步骤s33:观察用户i在t=0时间段参与活动的响应负荷；步骤s34:用贪婪策略选择用户i在t时段参与需求响应获得的激励补贴价格；步骤s35:计算奖励，观察用户i在t+1时间段参与活动的响应负荷，并且更新q值；
步骤s36:判断是否达到最大时间段t，是则转到下一步骤，否则，t=t+1,返回步骤s34；步骤s37:判断q表格是否收敛到最大值，是则转到下一步骤，否则，i=i+1,返回步骤s33；步骤s38:输出一天中t个时间段的最优激励补贴价格。
[0033]
本实施例步骤s35中，所述q值可用下面的式子计算：式中，为用户i在t时刻的q值，为用户i在t时刻的响应负荷，为用户i在t时刻得到的激励补贴价格，α是折扣系数，为用户i在t+1时刻的q值，会在每次迭代过程中进行更新，直到取得最大的累计折扣回报或者达到最大迭代次数，q值更新方式如下式：式中，为用户i在t时刻下一次迭代的q值，为用户i在t时刻下一次迭代的响应负荷，为用户i在t时刻下一次迭代的激励补贴价格，为用户i在t+1时刻下一次迭代的q值，θ是学习率，它表示新的q值替代旧q值的程度，取值范围是[0,1]。当θ=0时，表明智能体只利用了先前的知识，而没有探索新的知识；当θ=1时，表明智能体抛弃了先前的知识，只对新的知识进行了探索。所以在实际应用中，θ取一个0到1之间的数。
[0034]
为便于对本发明的理解，结合实例对本发明一种综合考虑碳排放和用户满意度的需求响应激励价格确定方法进行较为详细的方法过程描述：实验考虑由电网公司和多个用户组成的激励型dr，以一天24h作为一个完整的优化周期，共分为24个时段，每个时段持续1h。设为谷（00：00～05：00）、平（05：00～07：00，11：00～19：00）、峰（07：00～11：00，19：00～23：00）3个区间。
[0035]
选取3个用户参与实验，相关参数信息如下所示：选取3个用户参与实验，相关参数信息如下所示：
用户的用电需求如下图2所示。
[0036]
采用本发明方法进行迭代的q值结果如图3所示，一开始，电网运营商不知道如何选择一个动作来产生较高的q值，然而，随着迭代的进行，q值会随着电网运营商通过反复试验从环境中学习而增加，最终收敛到最大值。
[0037]
本发明输出的是3个用户在不同时段的最优补贴价格，图4、图5、图6显示了3个用户在该场景下的用电需求、实际用电量和响应节电量。
[0038]
用户1的响应率是0.125。从图4中可以看出该用户对于激励补贴价格的敏感性很低，谷时段，激励补贴价格和节电量的波动趋于一致；平时段激励补贴价格波动变大，但是其节电量波动相对较小，且始终处于低水平。经分析可得，该用户在谷时段、平时段和峰时段的7:00-11:00期间的需求响应参与意愿很低，尽管其参与了响应，响应率也处于低水平，不是需求响应优质客户；在峰时段的19:00-23:00期间，尽管该时段的激励补贴价格相对于其他时段并无优势，其响应率（节电量占用电需求的比重）却处于较高水平，可将该用户列为参与晚高峰时段需求响应活动的潜在客户。
[0039]
用户2的响应率是0.21。从图5中可以看出该用户在谷时段和峰时段的价格敏感性相对于用户1有明显的提高，在晚峰时段，其节电量保持在较高水准，且其节电量变化趋势和激励补贴价格变化趋势保持一致。经分析可得，该用户在平时段的11:00-19:00期间的节电意愿很低，激励补贴价格的变化和该用户节电量的变化并无明显的相关性；在谷时段，激励补贴价格并无明显的波动变化，其节电量变化起伏较大，可能与空调等大功率电器的开启和关闭有关；在峰时段（07:00-11:00，19:00-23:00），节电量的变化趋势与激励补贴价格的变化趋势基本保持一致，且节电量保持在高水平，可将该用户列为参与峰时段需求响应活动的优质潜在客户。
[0040]
用户3的响应率是0.18。其价格敏感性低于用户2，节电量在谷时段、平时段、峰时段均有良好的表现。从图6可以看出，该用户在平时段和峰时段的节电量变化趋势与激励补贴价格变化趋势基本保持一致。经分析可得，在谷时段，激励补贴价格的变化幅度并不明显，其节电量的变化幅度却较大，应与其家庭结构中含有老人和小孩有关，夜间空调的开关等生活必需用电受激励补贴价格的影响较小；在平时段的13:00-19:00，其节电量变化与激励补贴价格变化呈正相关，节电总量保持在高水平；在峰时段的20:00-23:00，虽然节电量的变化与激励补贴价格的变化均为下降趋势，但是其节电量依然处于高水平；可将该用户列为参与平时段（13:00-19:00）和晚高峰时段的需求响应活动的首选客户。
[0041]
综上可得，当需求响应活动开展时，将与用户3用能特性相似的用户列为第一优先
级邀约客户，将与用户2用能相似的用户列为第二优先级邀约客户，将与用户1用能相似的用户列为第三优先级邀约客户；若遇到电网负荷短时剧烈变化，需进行紧急削峰填谷情况，可利用用户3和用户2对于价格敏感性较高的特性，加大补贴力度，达到短时间削峰填谷的目的。
[0042]
在另一些实施例中，本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的一种考虑用户满意度的需求响应激励价格确定方法。
[0043]
非易失性计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据一种综合考虑碳排放和用户满意度的需求响应激励价格确定装置的使用所创建的数据等。此外，非易失性计算机可读存储介质可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，非易失性计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至一种综合考虑碳排放和用户满意度的需求响应激励价格确定装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0044]
本发明实施例还提供一种考虑用户满意度的需求响应激励价格确定装置，包括非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的一种考虑用户满意度的需求响应激励价格确定方法。
[0045]
图7是本发明实施例提供的电子设备的结构示意图，如图7所示，该设备包括：一个或多个处理器310以及存储器320，图7中以一个处理器310为例。电子设备还可以包括：输入装置330和输出装置340。处理器310、存储器320、输入装置330和输出装置340可以通过总线或者其他方式连接，图7中以通过总线连接为例。存储器320为上述的非易失性计算机可读存储介质。处理器310通过运行存储在存储器320中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述考虑用户满意度的需求响应激励价格确定方法。输入装置330可接收输入的数字或字符信息，以及产生与一种综合考虑碳排放和用户满意度的需求响应激励价格确定装置的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏等显示设备。
[0046]
上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
[0047]
作为一种实施方式，上述电子设备应用于一种综合考虑碳排放和用户满意度的需求响应激励价格确定装置中，用于客户端，包括：至少一个处理器；以及，至少一个与处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行计算机存储介质存储的指令。
[0048]
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0049]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管
参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。