一种基于深度强化学习的物理模型校准方法及系统

本发明涉及仿真，尤其涉及一种基于深度强化学习的物理模型校准方法及系统。

背景技术：

1、基于物理的模型由物理原理、数学公式推导得出，已经广泛用于各个工程领域，为仿真结果提供了相当程度的可解释性。但是纯粹的使用基于物理的模型会存在一些缺陷，例如模型未能充分考虑物理系统各个部分的特性，导致产生不够准确的结果；将整个物理系统进行建模过于复杂，且成本高昂。因此工程中构建物理模型的时候，往往需要简化某些物理属性。但即便简化了影响较小、无关重要的物理属性，在某些特殊情况下仍然会对物理模型的仿真结果带来不可忽视的干扰。并且物理模型通常需要人为校准参数以将模型结果与观测数据相匹配，而前述的特殊情况会给参数校准工作带来更大的困难。物理模型的这种缺陷广泛地影响着相关行业。

2、深度学习模型具有捕获复杂函数关系的能力，深度学习模型在训练好后往往能获得比物理模型更为精确的计算结果，现有数据测量中已经将深度学习模型应用到物理模型输出结果的优化中，但深度学习的结果并未反馈到物理模型中，测量的精度和准确性还有待提高。而且深度学习模型也存在缺点，最大的问题就是此种模型属于“黑盒模型”，非常缺乏可解释性，无法给出其中的物理原理，难以获得行业专家的认可。特别是，在监督学习问题中，“黑匣子”模型只能在训练数据上表现较好，当训练集和测试集都比较小的时候，模型很容易过拟合。因此，即使黑匣子的数据驱动模型达到了更高的精度，但是由于缺乏了对物理过程原理的描述，仍然不能采用。因此，如何将深度学习模型应用到物理模型的校准中，使得物理模型与实际的物理实体具有尽可能相似的计算能力，成为目前急需解决的难题。

技术实现思路

1、本发明的目的在于克服现有技术中物理模型的校准问题，提供了一种基于深度强化学习的物理模型校准方法及系统。

2、本发明的目的是通过以下技术方案来实现的：

3、在第一方案中，提供一种基于深度强化学习的物理模型校准方法，所述方法包括以下步骤：

4、s1、从物理实验中观测到多通道的实验数据，并根据所述实验数据构建物理模型；

5、s2、将所述实验数据输入到深度学习模型中，通过深度学习模型对实验数据进行预测得到预测值；

6、s3、将所述预测值作为物理模型的中间变量参与物理模型的计算，得到仿真值；

7、s4、根据所述仿真值优化所述深度学习模型；

8、s5、重复步骤s2-步骤s4直至所述仿真值无线接近实验测得的值，物理模型校准成功。

9、作为一优选项，一种基于深度强化学习的物理模型校准方法，所述步骤s4包括：

10、计算所述仿真值与实验测得的值之间的偏差，将所述偏差作为所述深度学习模型损失函数的一部分优化深度学习模型。

11、作为一优选项，一种基于深度强化学习的物理模型校准方法，所述根据所述实验数据构建物理模型，包括：

12、定义一个用于调节物理模型输出的调节系数，所述调节系数是关于某一项实验数据的函数。

13、作为一优选项，一种基于深度强化学习的物理模型校准方法，所述步骤s2包括：

14、基于物理原理计算出标准调节系数；

15、将所述标准调节系数及其对应的实验数据进行归一化运算后，计算两者的差值找出数据异常段；

16、使用深度强化学习算法调节数据异常段对应的测试数据进行修正。

17、作为一优选项，一种基于深度强化学习的物理模型校准方法，所述计算两者的差值找出数据异常段，包括：

18、定义一个阈值，所述差值大于所述阈值的时间段为数据异常段。

19、作为一优选项，一种基于深度强化学习的物理模型校准方法，所述使用深度强化学习算法调节数据异常段对应的测试数据进行修正，包括：

20、使用dqn模型在所述数据异常段上，基于标准调节系数及其对应的实验数据构建状态，智能体选择一个动作调节测试数据；

21、调节后重新计算差值，如果差值减小则得到正向奖励，反之得到负面奖励，并构建新状态；

22、将当前状态、动作、奖励及新状态组合成为四元组，并存入经验池；

23、随机抽取经验池中的样本，更新dqn模型参数，直至dqn模型收敛。

24、作为一优选项，一种基于深度强化学习的物理模型校准方法，所述使用深度强化学习算法调节数据异常段对应的测试数据进行修正，还包括：

25、在使用dqn模型前，对所述dqn模型进行初始化。

26、作为一优选项，一种基于深度强化学习的物理模型校准方法，将所述标准调节系数及其对应的实验数据进行归一化运算，包括：

27、将所述标准调节系数及其对应的实验数据均放缩到0～1之间。

28、在第二方案中，提供一种基于深度强化学习的物理模型校准系统，所述系统包括：

29、物理模型构建模块，用于获取从物理实验中观测到多通道的实验数据，并根据所述实验数据构建物理模型；

30、深度学习修正模块，用于将所述实验数据输入到深度学习模型中，通过深度学习模型对实验数据进行预测得到修正值；

31、物理模型计算模块，用于接收所述深度学习修正模块发送的修正值，并将所述修正值作为物理模型的中间变量参与物理模型的计算，得到仿真值；

32、深度学习优化模块，用于根据所述仿真值优化所述深度学习模型。

33、作为一优选项，一种基于深度强化学习的物理模型校准系统，所述深度学习模型为dqn模型。

34、需要进一步说明的是，上述各选项对应的技术特征在不冲突的情况下可以相互组合或替换构成新的技术方案。

35、与现有技术相比，本发明有益效果是：

36、将多通道的实验数据输入到深度学习模型中，深度学习模型得出一个预测值，深度学习模型学习到的会是物理模型与真实的物理系统之间的差异，预测值进而作为物理模型的中间变量参与物理模型的计算，物理模型的输出结果作为深度学习模型的反馈从而优化深度学习模型，将深度学习模型应用到物理模型的校准中，形成嵌入式的融合模型，使得物理模型与实际的物理实体具有尽可能相似的计算能力，保证物理模型校准成功。

技术特征：

1.一种基于深度强化学习的物理模型校准方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的一种基于深度强化学习的物理模型校准方法，其特征在于，所述步骤s4包括：

3.根据权利要求1所述的一种基于深度强化学习的物理模型校准方法，其特征在于，所述根据所述实验数据构建物理模型，包括：

4.根据权利要求3所述的一种基于深度强化学习的物理模型校准方法，其特征在于，所述步骤s2包括：

5.根据权利要求4所述的一种基于深度强化学习的物理模型校准方法，其特征在于，所述计算两者的差值找出数据异常段，包括：

6.根据权利要求5所述的一种基于深度强化学习的物理模型校准方法，其特征在于，所述使用深度强化学习算法调节数据异常段对应的测试数据进行修正，包括：

7.根据权利要求6所述的一种基于深度强化学习的物理模型校准方法，其特征在于，所述使用深度强化学习算法调节数据异常段对应的测试数据进行修正，还包括：

8.根据权利要求4所述的一种基于深度强化学习的物理模型校准方法，其特征在于，将所述标准调节系数及其对应的实验数据进行归一化运算，包括：

9.一种基于深度强化学习的物理模型校准系统，其特征在于，所述系统包括：

10.根据权利要求9所述的一种基于深度强化学习的物理模型校准系统，其特征在于，所述深度学习模型为dqn模型。

技术总结
本发明公开了一种基于深度强化学习的物理模型校准方法及系统，包括：从物理实验中观测到多通道的实验数据，并根据所述实验数据构建物理模型；将所述实验数据输入到深度学习模型中，通过深度学习模型对实验数据进行预测得到预测值；将所述预测值作为物理模型的中间变量参与物理模型的计算，得到仿真值；根据所述仿真值优化所述深度学习模型。本发明中深度学习模型的输出用于优化物理模型，物理模型的输出反馈优化深度学习模型形成嵌入式的融合模型，保证物理模型校准成功。

技术研发人员：李晓瑜,陆超,杨彩琼,周秋宇,钱伟中,郑德生,周永
受保护的技术使用者：电子科技大学
技术研发日：
技术公布日：2024/1/12