基于深度Q学习的电力CPS信息风险传播控制方法及系统

本文件涉及电力信息物理系统，尤其涉及一种基于深度q学习的电力cps信息风险传播控制方法及系统。

背景技术：

1、随着计算、通信和控制技术的不断发展，智能通信设备被大量的应用于电力系统，电力系统的结构变得愈加复杂，电力系统的物理系统和通信系统之间的交互也变得越来越频繁，传统的电力系统已经发展成为了电力网和信息网深度耦合的电力信息物理系统(cyber-physical systems,cps)。开放的信息系统环境使得电力cps的信息安全和正常运行面临着各种潜在网络攻击的风险，来自信息系统的网络攻击一方面减弱或破坏信息系统的正常功能，另一方面还会引发物理系统的实际损失，如频率越限、电压大幅度下降，甚至可能引发电力故障导致变电站和整个能源供应系统瘫痪，所以，电力cps的信息安全问题需要引起我们的重视。因此，如何设计出一种高效能低成本的电力cps信息风险传播控制策略为本领域技术人员亟需解决的一个技术问题。

技术实现思路

1、本说明书一个或多个实施例提供了一种基于深度q学习的电力cps信息风险传播控制方法，包括：

2、s1、以电力信息物理系统cps中的信息采集装置作为信息节点，建立基于seibr传染病模型的电力cps信息风险传播模型，其中，所述信息节点按照感染状态分为：易感节点、潜伏期节点、感染节点、故障节点和康复节点；

3、s2、根据电力cps风险传播模型中各个节点的监测成本和控制成本，以所述运行成本函数最小为目标构建电力cps信息风险传播系统的目标函数；

4、s3、基于深度q学习算法，根据所述运行成本函数最小时电力cps风险传播模型控制效果最优计算电力cps风险传播模型的最优控制策略。

5、本说明书一个或多个实施例提供了一基于深度q学习的电力cps信息风险传播控制系统，包括：

6、模型构建模块：用于以电力信息物理系统cps中的信息采集装置作为信息节点，建立基于seibr传染病模型的电力cps信息风险传播模型，其中，所述信息节点按照感染状态分为：易感节点、潜伏期节点、感染节点、故障节点和康复节点；

7、函数构建模块：用于根据电力cps风险传播模型中各个节点的监测成本和控制成本，以所述运行成本函数最小为目标构建电力cps信息风险传播系统的目标函数；

8、策略计算模块：用于基于深度q学习算法，根据所述运行成本函数最小时电力cps风险传播模型控制效果最优计算电力cps风险传播模型的最优控制策略。

9、本说明书一个或多个实施例提供了一种电子设备，包括：

10、处理器；以及，

11、被安排成存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器实现上述基于深度q学习的电力cps信息风险传播控制方法的步骤。

12、本说明书一个或多个实施例提供了一种存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被执行时实现上述基于深度q学习的电力cps信息风险传播控制方法的步骤。

13、采用本发明实施例，基于seibr传染病模型对电力cps的信息风险传播进行数学建模，考虑信息风险传播时延和信息采集设备感染程度对电力cps的风险传播的影响，基于深度q学习设计电力cps信息风险传播控制策略，可以以较为经济的手段迅速抑制电力cps的信息风险传播。

14、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

技术特征：

1.一种基于深度q学习的电力cps信息风险传播控制方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述电力cps信息风险传播模型中信息节点间状态转换过程如下：

3.根据权利要求2所述的方法，其特征在于，所述以电力信息物理系统cps中的信息采集装置作为信息节点，建立基于seibr传染病模型的电力cps信息风险传播模型具体方法为：

4.根据权利要求1所述的方法，其特征在于，所述电力cps信息风险传播系统的运行成本j的目标函数如下所示：

5.根据权利要求1所述的方法，其特征在于，所述基于深度q学习算法，根据所述运行成本函数最小时电力cps风险传播模型控制效果最优计算电力cps风险传播模型的最优控制策略具体包括：

6.根据权利要求5所述的方法，其特征在于，所述当前信息节点根据给定的策略采取一个动作后得到新的状态，并获得奖励的动态变化概率如下：

7.根据权利要求6所述的方法，其特征在于，所述根据所述奖励定义动作-价值函数，通过计算所述动作-价值函数的最大值得到电力cps风险传播模型的最优控制策略具体如下：

8.一种基于深度q学习的电力cps信息风险传播控制系统，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种存储介质，其特征在于，用于存储计算机可执行指令，所述计算机可执行指令在被执行时实现上述权利要求1至7任一所述的基于深度q学习的电力cps信息风险传播控制方法的步骤。

技术总结
本说明书实施例提供了一种基于深度Q学习的电力CPS信息风险传播控制方法及系统，其中，方法包括：以电力信息物理系统CPS中的信息采集装置作为信息节点，建立基于SEIBR传染病模型的电力CPS信息风险传播模型，其中，信息节点按照感染状态分为：易感节点、潜伏期节点、感染节点、故障节点和康复节点；根据电力CPS风险传播模型中各个节点的监测成本和控制成本，以运行成本函数最小为目标构建电力CPS信息风险传播系统的目标函数；基于深度Q学习算法，根据运行成本函数最小时电力CPS风险传播模型控制效果最优计算电力CPS风险传播模型的最优控制策略。本发明可以以较为经济的手段迅速抑制电力CPS的信息风险传播。

技术研发人员：刘贵云,陈俊伟,梁忠伟,钟晓静,程乐峰,刘晓初
受保护的技术使用者：广州大学
技术研发日：
技术公布日：2024/1/16