一种配电网智能优化方法及装置与流程

本技术涉及配电网优化，更具体的说，是涉及一种配电网智能优化方法及装置。

背景技术：

1、随着电网技术的发展，电网智能化发展到数字电网阶段，数字电网集成了来自太阳能、风能等可再生能源的多样性资源，这使得电力系统更具环保性和可持续性。然而可再生能源具有高时变性和高复杂性。数字电网的高时变性需要快速、灵活的运行决策技术支持，以保证其安全经济运行，而数字电网的高复杂性为快速运行决策带来了严峻挑战。

2、目前，针对配电网运行控制模型规模大、不确定性强，传统方法难以求解得到较为准确的结果，无法保证配电网调度运行决策安全性。

技术实现思路

1、鉴于上述问题，本技术提供了一种配电网智能优化方法及装置，以提高配电网系统调度运行决策安全性。

2、为了实现上述目的，现提出具体方案如下：

3、一种配电网智能优化方法，包括：

4、实时监测配电网以获取所述配电网在线运行时的实时状态数据；

5、将所述实时状态数据输入至预先训练好的配电网智能优化模型，输出优化动作信息；

6、将所述优化动作信息下发至所述配电网的各个可调节装置，以供各个可调节装置按照所述优化动作信息的决策值进行控制；

7、所述配电网智能优化模型的训练过程，包括：

8、获取所述配电网的历史运行数据，并建立用于离线训练的神经网络基础模型；

9、通过所述历史运行数据对所述神经网络基础模型进行离线训练，得到配电网智能半优化模型；

10、在所述配电网智能半优化模型在线运行时，利用实时获取到的运行数据，对所述配电网智能半优化模型进行在线训练，得到配电网智能优化模型。

11、可选的，所述历史运行数据包括第一训练集和第二训练集，所述第一训练集和所述第二训练集均包括状态数据和与之对应的动作数据；

12、通过所述历史运行数据对所述神经网络基础模型进行离线训练，得到配电网智能半优化模型，包括：

13、根据所述神经网络基础模型，利用演员评论家sac算法构建主优化网络和所述主优化网络的辅助优化网络；

14、以所述神经网络基础模型作为主优化网络，并构建所述主优化网络的辅助优化网络；

15、以所述第一训练集的状态数据作为训练样本，以与所述第一训练集的状态数据对应的动作数据作为训练目标，在演员评论家sac算法的熵正则化优化策略下，对所述主优化网络进行训练，得到主优化半训练网络；

16、将所述第二训练集的状态数据输入至所述主优化半训练网络，输出目标动作数据；

17、通过所述辅助优化网络利用所述sac算法中的bellmen方程，计算基于所述第二训练集的状态数据和与其对应的目标动作数据下的目标状态动作值；

18、基于各个所述目标状态动作值，对所述主优化半训练网络的网络参数计算梯度，得到梯度值；

19、通过所述梯度值对所述主优化半训练网络的网络参数进行更新，以得到中间主优化网络；

20、利用所述sac算法的熵正则化优化策略对所述辅助优化网络进行训练，得到中间辅助优化网络；

21、组合所述中间主优化网络和所述中间辅助优化网络得到配电网智能半优化模型。

22、可选的，所述bellmen方程为：

23、

24、其中，y为目标状态动作值，r为奖励函数，γ为预设折扣因子，s′为状态数据s在与s对应的目标动作数据下的下一个状态数据，πθ为所述sac算法的策略，为策略πθ在状态数据s′下预测的下一个动作数据，d为状态数据s′的状态值，d＝1表示状态数据s′为终止状态，d＝0表示状态数据s′为未终止状态，所述辅助优化网络包括两个状态动作神经网络，φtarg,i为所述辅助优化网络的第i个状态动作神经网络的目标参数，为在第i个状态动作神经网络的目标参数下的该个状态动作神经网络的函数。

25、可选的，每个所述状态动作神经网络的更新过程，包括：

26、利用均方误差损失更新函数，对每个所述状态动作神经网络进行更新，所述均方误差损失更新函数为：

27、

28、其中，为目标函数，φi为第i个状态动作神经网络的参数，为数据缓冲区，为从数据缓冲区中采样一批数据，为第i个状态动作神经网络的函数，e为均方误差第一计算函数。

29、可选的，所述sac算法的熵正则化优化策略为：

30、

31、其中，μθ为参数化的所述主优化网络，σθ为参数化的所述辅助优化网络，⊙为点乘运算，为分布ξ服从正态分布

32、可选的，所述策略πθ的优化目标为：

33、

34、其中，为均方误差第二计算函数。

35、可选的，所述配电网智能半优化模型包括中间主优化网络，以及中间辅助优化网络；

36、所述在所述配电网智能半优化模型在线运行时，利用实时获取到的运行数据，对所述配电网智能半优化模型进行在线训练，得到配电网智能优化模型，包括：

37、获取所述配电网的实时运行数据；

38、对所述实时运行数据进行数据清洗、数据整合、数据转换和数据缩减，得到在线训练数据；

39、在所述配电网智能半优化模型在线运行时，以所述在线训练数据作为训练样本，按照所述离线训练的训练策略，对所述中间主优化网络和所述中间辅助优化网络进行在线训练，得到配电网智能优化模型。

40、可选的，所述配电网智能优化模型为：

41、y＝fθ(z)

42、

43、y＝[vt,ps,qs]t

44、其中，y为所述配电网智能优化模型的输出值，z所述配电网智能优化模型的输入值，f为所述配电网智能优化模型，θ为所述配电网智能优化模型的权重，n为所述配电网的母线总数，为所述配电网中n-1条母线的有功注入，为所述配电网中n-1条母线的无功注入，vt为配电网中n条母线的电压值，ps为所述配电网中松弛节点的有功功率注入，qs为所述配电网中松弛节点的无功功率注入。

45、一种配电网智能优化装置，包括：

46、实时状态监测单元，用于实时监测配电网以获取所述配电网在线运行时的实时状态数据；

47、优化动作输出单元，用于将所述实时状态数据输入至预先训练好的配电网智能优化模型，输出优化动作信息；

48、动作消息下发单元，用于将所述优化动作信息下发至所述配电网的各个可调节装置，以供各个可调节装置按照所述优化动作信息的决策值进行控制；

49、基础模型建立单元，用于获取所述配电网的历史运行数据，并建立用于离线训练的神经网络基础模型；

50、离线训练单元，用于通过所述历史运行数据对所述神经网络基础模型进行离线训练，得到配电网智能半优化模型；

51、在线训练单元，用于在所述配电网智能半优化模型在线运行时，利用实时获取到的运行数据，对所述配电网智能半优化模型进行在线训练，得到配电网智能优化模型。

52、可选的，所述配电网智能优化模型为：

53、y＝fθ(z)

54、

55、y＝[vt,ps,qs]t

56、其中，y为所述配电网智能优化模型的输出值，z所述配电网智能优化模型的输入值，f为所述配电网智能优化模型，θ为所述配电网智能优化模型的权重，n为所述配电网的母线总数，为所述配电网中n-1条母线的有功注入，为所述配电网中n-1条母线的无功注入，vt为配电网中n条母线的电压值，ps为所述配电网中松弛节点的有功功率注入，qs为所述配电网中松弛节点的无功功率注入。

57、可选的，所述历史运行数据包括第一训练集和第二训练集，所述第一训练集和所述第二训练集均包括状态数据和与之对应的动作数据；

58、所述离线训练单元，包括：

59、第一离线训练子单元，用于根据所述神经网络基础模型，利用演员评论家sac算法构建主优化网络和所述主优化网络的辅助优化网络；

60、第二离线训练子单元，用于以所述神经网络基础模型作为主优化网络，并构建所述主优化网络的辅助优化网络；

61、第三离线训练子单元，用于以所述第一训练集的状态数据作为训练样本，以与所述第一训练集的状态数据对应的动作数据作为训练目标，在演员评论家sac算法的熵正则化优化策略下，对所述主优化网络进行训练，得到主优化半训练网络；

62、第四离线训练子单元，用于将所述第二训练集的状态数据输入至所述主优化半训练网络，输出目标动作数据；

63、第五离线训练子单元，用于通过所述辅助优化网络利用所述sac算法中的bellmen方程，计算基于所述第二训练集的状态数据和与其对应的目标动作数据下的目标状态动作值；

64、第六离线训练子单元，用于基于各个所述目标状态动作值，对所述主优化半训练网络的网络参数计算梯度，得到梯度值；

65、第七离线训练子单元，用于通过所述梯度值对所述主优化半训练网络的网络参数进行更新，以得到中间主优化网络；

66、第八离线训练子单元，用于利用所述sac算法的熵正则化优化策略对所述辅助优化网络进行训练，得到中间辅助优化网络；

67、第九离线训练子单元，用于组合所述中间主优化网络和所述中间辅助优化网络得到配电网智能半优化模型。

68、可选的，所述bellmen方程为：

69、

70、其中，y为目标状态动作值，r为奖励函数，γ为预设折扣因子，s′为状态数据s在与s对应的目标动作数据下的下一个状态数据，πθ为所述sac算法的策略，为策略πθ在状态数据s′下预测的下一个动作数据，d为状态数据s′的状态值，d＝1表示状态数据s′为终止状态，d＝0表示状态数据s′为未终止状态，所述辅助优化网络包括两个状态动作神经网络，φtarg,i为所述辅助优化网络的第i个状态动作神经网络的目标参数，为在第i个状态动作神经网络的目标参数下的该个状态动作神经网络的函数。

71、可选的，该装置还包括：

72、状态动作函数更新单元，用于利用均方误差损失更新函数，对每个所述状态动作神经网络进行更新，所述均方误差损失更新函数为：

73、

74、其中，为目标函数，φi为第i个状态动作神经网络的参数，为数据缓冲区，为从数据缓冲区中采样一批数据，为第i个状态动作神经网络的函数，e为均方误差第一计算函数。

75、可选的，所述sac算法的熵正则化优化策略为：

76、

77、其中，μθ为参数化的所述主优化网络，σθ为参数化的所述辅助优化网络，⊙为点乘运算，为分布ξ服从正态分布

78、可选的，所述策略πθ的优化目标为：

79、

80、其中，为均方误差第二计算函数。

81、可选的，所述配电网智能半优化模型包括中间主优化网络，以及中间辅助优化网络；

82、所述在线训练单元，包括：

83、第一在线训练子单元，用于获取所述配电网的实时运行数据；

84、第二在线训练子单元，用于对所述实时运行数据进行数据清洗、数据整合、数据转换和数据缩减，得到在线训练数据；

85、第三在线训练子单元，用于在所述配电网智能半优化模型在线运行时，以所述在线训练数据作为训练样本，按照所述离线训练的训练策略，对所述中间主优化网络和所述中间辅助优化网络进行在线训练，得到配电网智能优化模型。

86、借由上述技术方案，本技术通过实时监测配电网以获取所述配电网在线运行时的实时状态数据，将所述实时状态数据输入至预先训练好的配电网智能优化模型，输出优化动作信息，将所述优化动作信息下发至所述配电网的各个可调节装置，以供各个可调节装置按照所述优化动作信息的决策值进行控制，所述配电网智能优化模型的训练过程为：获取配电网的历史运行数据，并建立用于离线训练的神经网络基础模型，通过所述历史运行数据对所述神经网络基础模型进行离线训练，得到配电网智能半优化模型，在所述配电网智能半优化模型在线运行时，利用实时获取到的运行数据，对所述配电网智能半优化模型进行在线训练，得到配电网智能优化模型。由此可见，通过离线训练和在线训练的深度强化学习，使得训练得到的配电网智能优化模型的输出动作信息缓解了大规模分布式能源接入带来的配电网过电压、阻塞、网损的情况，提高了配电网系统调度运行决策安全性。