一种多元负荷资源联合调度方法及系统与流程

本发明涉及电网联合资源调度，尤其涉及一种多元负荷资源联合调度方法及系统。

背景技术：

1、随智能电网建设及需求响应和能效管理技术的协同发展，空调、新能源汽车以及分布式储能等多元负荷快速形成了新的可调度资源，并且，结合强化学习在多元负荷的应用，现有技术能够同时对多元负荷进行调度，以期望发掘多元负荷综合参与电网互动调节的潜力。

2、现有控制策略完全考虑多元负荷完全接入到系统的调度当中，并且，在对多元负荷进行调度时，总是采用相同的调度周期。然而，在实际应用场景当中，不同区域中空调、新能源汽车以及分布式储能对能耗的需求是不同的，随地区和天气的影响，多元负荷参与到电网调度中的积极性并不相同；并且，多元负荷参与到电网调度的周期也存在差异，若总是使用同一周期调度，其生成多元负荷的控制策略精确度低，难以实现对多元负荷资源的精确控制。

技术实现思路

1、本发明的目的是针对上述现有技术的不足，提出一种多元负荷资源联合调度方法及系统，能够提高对多元负荷的资源精确控制。

2、第一方面，本发明提供了一种多元负荷资源联合调度方法，包括：

3、在第一调度周期开始时，根据多元负荷的需求，为得到的需求模型，建立初始的两级强化学习的第一调度模型；所述多元负荷包括：充电桩、空调和微电网；

4、根据对所述多元负荷观测的第一环境，第一调度模型离散的第一级强化学习进行分布式执行，决策是否将所述多元负荷接入到资源调度当中，得到第一调度决策；

5、将所述第一调度决策作为第二级强化学习的至少一个环境，决策接入负荷的资源调度；其中，所述第二级强化学习将输出的第二调度周期作为下一时刻的第三调度周期，以使在所述第三调度周期重新观测环境后决策资源调度；

6、将对应第一调度模型的经验数据上传到经验回访池中，并从所述经验回访池中选择抽样数据进行集中训练后，根据训练好的第二调度模型对所述充电桩、所述空调和所述微电网分别进行实时的分布式资源调度。

7、本发明采用为充电桩、空调和微电网分别建立调度模型，并同时收集充电桩、空调和微电网的经验数据进行集中训练，能够为不同负荷建立同一的资源调度模型，从而能够最大程度上获取到不同负荷潜在的耦合关系，探究充电桩、空调和微电网在相同调度模型下的调度周期，以强化学习适应不同类型资源的动态调度，从而提高多元资源调度的精确度。

8、结合第一方面，在一种可能的实现方式中，所述在第一调度周期开始时，根据多元负荷的需求，为得到的需求模型，建立初始的两级强化学习的第一调度模型，包括：

9、分别观测多元负荷在所述第一调度周期开始时的需求，建立对应的需求模型，并根据所述需求模型，观测当前的时段、对应负荷所处区域的天气和位置、第一调度周期时长、当前电价和对应负荷功率，得到对应负荷第一子环境，并获取上一时刻的第三调度周期结束时对应的负荷第二子环境；

10、根据所述负荷第一子环境和所述负荷第二子环境，建立以对应负荷为初始智能体的两级级联强化学习的第一调度模型。

11、本发明综合考虑当前的时段、对应负荷所处区域的天气和位置、第一调度周期时长、当前电价和对应负荷功率对资源调度的影响，相比于忽略负荷地理位置和天气的现有技术，本发明能够提供多类型资源的动态调度精确度。

12、结合第一方面，在一种可能的实现方式中，所述根据所述负荷第一子环境和所述负荷第二子环境，建立以对应负荷为初始智能体的两级级联强化学习的第一调度模型，具体为：

13、分别以充电桩、空调和微电网为初始智能体，对应得到第一级强化学习与第二级强学习级联的第一充电桩调度模型、第一空调调度模型和第一微电网调度模型；其中，所述第一充电桩调度模型与所述第一空调调度模型和第一微电网调度模型的动作空间相同，且环境的状态空间相同。

14、本发明采用对三种负荷的资源调度采用相同的状态空间和动作空间均相同，有利于不同类型负荷的调度模型进行集中训练，从而有利于均衡不同类型负荷的最优调度策略探索和利用，从而提高多种类型负荷同时调度的精确度。

15、结合第一方面，在一种可能的实现方式中，所述需求模型包括：充电桩需求模型、空调需求模型和微电网需求模型；其中，所述充电桩需求模型可以表示为：

16、，

17、其中，是在第一调度周期第个充电桩分配的单位时间功率，是第一离散变量来控制对应充电桩是否接入到资源调度当中，为充电桩最大单位时间功率门限，是充电桩的第一功率占比；

18、所述空调需求模型可以表示为：

19、，

20、，

21、其中，是在第一调度周期第个空调的单位时间功率；是第二离散变量来控制对应空调是否接入到资源调度当中，为空调的单位时间额定功率；是在第一调度周期内第个空调虚拟储能的空调温度；是空调的温度占比，为最大空调门限；

22、所述微电网需求模型可以表示为：

23、，

24、其中，为第三离散变量来控制微电网参与资源调度的工作方式决策；为储能单位时间最大功率门限；为储能的第三功率占比。

25、结合第一方面，在一种可能的实现方式中，所述根据对所述多元负荷观测的第一环境，第一调度模型离散的第一级强化学习进行分布式执行，决策是否将所述多元负荷接入到资源调度当中，得到第一调度决策；其中，所述第一环境包括：观测到的充电桩第一环境、空调第一环境和微电网第一环境，具体为：

26、将所述充电桩第一环境、所述空调第一环境和所述微电网第一环境分别作为以充电桩为初始智能体的充电桩第一调度模型的第一级强化学习的输入、以空调为初始智能体的空调第一调度模型的第一级强化学习的输入和以微电网为初始智能体的微电网第一调度模型的第一级强化学习的输入，并对应输出是否将对应充电桩接入到资源调度当中的第一离散变量，以所述第一离散变量为第一子调度决策，是否将对应空调接入到资源调度当中的第二离散变量，以所述第二离散变量为第二子调度决策，以及微电网参与资源调度的第三离散变量，以所述第三离散变量作为工作模式决策；

27、其中，所述第一调度决策包括：所述第一子调度决策、所述第二子调度决策和所述工作模式决策。

28、结合第一方面，在一种可能的实现方式中，所述将所述第一调度决策作为第二级强化学习的至少一个环境，决策接入负荷的资源调度；其中，所述第二级强化学习将输出的第二调度周期作为下一时刻的第三调度周期，以使在所述第三调度周期重新观测环境后决策资源调度，包括：

29、将所述第一调度决策作为第二级强化学习的至少一个环境，与所述第一环境共同作为第一调度模型第二级强化学习的第二环境，根据所述第二环境，所述第一调度模型的第二级强化学习分布式决策的第二调度周期，并将所述第二调度周期作为下一时刻的第三调度周期。

30、结合第一方面，在一种可能的实现方式中，所述根据所述第二环境，所述第一调度模型的第二级强化学习分布式决策的第二调度周期，具体为：

31、将第一子调度决策与充电桩第一环境作为充电桩第一调度模型的第二级强化学习的充电桩第二环境，输出参与资源调度的充电桩的第一子调度周期；

32、将第二子调度决策与空调第一环境作为空调第一调度模型的第二级强化学习的空调第二环境，输出参与资源调度的空调的第二子调度周期；

33、将第三子调度决策与充电桩第一环境作为微电网第一调度模型的第二级强化学习的微电网第二环境，输出参与资源调度的微电网的第三子调度周期；

34、以所述第一子调度周期、所述第一子调度周期和所述第一子调度周期中的最小值为第二调度周期。

35、结合第一方面，在一种可能的实现方式中，所述根据训练好的第二调度模型对所述充电桩、所述空调和所述微电网分别进行实时的分布式资源调度，包括：

36、根据实时观测到的充电桩第三环境、空调第三环境和微电网第三环境，分别作为训练好的充电桩第二调度模型、空调第二调度模型和微电网第二调度模型的第一级强化学习的输入，分别输出所述充电桩是否接入到资源分配的第一实时子调度决策、所述空调是否接入到资源分配的第二实时子调度决策，以及所述微电网参与到资源分配的第三实时工作方式；

37、将所述第一实时子调度决策与所述充电桩第三环境作为所述充电桩第二调度模型的第二级强化学习的输入，将所述第二实时子调度决策与所述空调第三环境作为所述空调第二调度模型的第二级强化学习的输入，以及所述第三实时工作方式与所述微电网第三环境作为所述微电网第二调度模型的第二级强化学习的输入，分别得到所述充电桩的第一实时功率分配、所述空调的第二实时功率分配和所述微电网的实时输出功率。

38、结合第一方面，在一种可能的实现方式中，所述将对应第一调度模型的经验数据上传到经验回访池中，将对应第一调度模型的经验数据上传到经验回访池中，并从所述经验回访池中选择抽样数据进行集中训练，其中，所述第一调度模型包括充电桩第一调度模型、空调第一调度模型和微电网第一调度模型，具体为：

39、所述充电桩第一调度模型、所述空调第一调度模型和所述微电网第一调度模型将对应的第一环境、第一调度决策、第二级强化学习的输入以及第二级强化学习输出的分配的资源分配结果和所述第二调度周期分别上传至经验回访池中；

40、从所述经验回访池中按步长随机选择抽样数据进行集中训练，并将训练得到的参数同时对所述充电桩第一调度模型、所述空调第一调度模型和所述微电网第一调度模型进行更新。

41、第二方面，本发明提供了一种多元负荷资源联合调度系统，基于第一方面所述的多元负荷资源联合调度方法，包括：模型建立模块、第一级资源分配模块、第二级资源分配模块和实时调度模块；其中，

42、所述模型建立模块，用于在第一调度周期开始时，根据多元负荷的需求，为得到的需求模型，建立初始的两级强化学习的第一调度模型；所述多元负荷包括：充电桩、空调和微电网；

43、所述第一级资源分配模块，用于根据对所述多元负荷观测的第一环境，第一调度模型离散的第一级强化学习进行分布式执行，决策是否将所述多元负荷接入到资源调度当中，得到第一调度决策；

44、所述第二级资源分配模块，用于将所述第一调度决策作为第二级强化学习的至少一个环境，决策接入负荷的资源调度；其中，所述第二级强化学习将输出的第二调度周期作为下一时刻的第三调度周期，以使在所述第三调度周期重新观测环境后决策资源调度；

45、所述实时调度模块，用于将对应第一调度模型的经验数据上传到经验回访池中，并从所述经验回访池中选择抽样数据进行集中训练后，根据训练好的第二调度模型对所述充电桩、所述空调和所述微电网分别进行实时的分布式资源调度。