一种基于数据驱动方式的运行优化控制方法与流程

技术领域

本发明涉及一种工业运行控制方法，特别是涉及一种基于数据驱动方式的运行优化控制方法。

背景技术：

工业过程控制中，设计的控制器不仅要镇定被控过程，使被控变量很好地跟踪参考输入，还要优化运行指标，即表征产品在加工中的质量指标、效率指标、能耗与物耗等相关的指标，这就需要研究运行优化控制。如果设定值(Setpoints)选取不适当，即使被控变量跟踪设定值，也不可能优化运行指标。因此，设定值设计是实现运行优化的一个关键问题。

现代工业规模庞大、生产加工工序复杂，例如：我国的流程工业原料变化频繁，工况波动剧烈，并且生产过程涉及物理化学反应，机理复杂，上述特征突出表现为生产过程建模困难。运行指标不仅与工业过程有关，而且受运行条件、原材料价格和产品价格等多种因素影响，因而，其生成轨迹呈现非线性、多变量耦合和时变特征，很难构建精确的数学模型。这给传统的基于模型的运行优化控制方法带来严峻挑战。现有基于模型的运行优化控制方法即使已经在实际的工业运行优化与控制中应用，但是要求过程控制系统模型和运行指标生成轨迹精确已知，优化控制往往涉及参数校正，使得在现代大规模复杂工业生产应用中有很大的局限性，例如：计算量过大、设定值选取不优、运行指标不能保证等。

近年来，得益于数字传感技术的发展和应用延伸，系统信息数据很容易抽取并且费用较低，数据驱动的控制方法得到了极大的关注和发展。

数据驱动的优化控制方法对于复杂工业过程运行优化控制是一种非常有潜质的研究方向。

面向复杂工业过程的数据驱动运行优化控制存在很多挑战性理论问题有待解决，包括：

A. 不依赖运行指标生成轨迹和被控过程动态：以往的运行优化控制往往采用基于模型的实时优化(Real Time Optimization, RTO)控制、模型预测控制(ModelPredictive Control, MPC)、非线性模型预测控制(Nonlinear Model Predictive Control,NMPC)等方法。鉴于复杂工业过程很难精确构建运行指标生成轨迹和被控过程动态的数学模型，如何设计不依赖运行指标生成轨迹和被控过程动态的算法，仅利用收集到的数据(包括控制输入、被控过程输出和实际运行指标值)估计最优设定值，并且保证算法的收敛性和目标优化的可实现性，是一亟待解决的问题；

B. 多时间尺度采样和外界干扰：多时间尺度是复杂工业过程的一个比较常见现象，这种情况一般是由于物理化学现象中的强关联造成的。例如：磨矿过程中，矿石给料速度一般比产生规定的磨矿粒度快几百个数量级。并且，复杂工业过程中被控过程和运行指标受运行条件、外界环境干扰。多时间尺度和外界干扰使多目标多约束(优化多个运行指标，被控变量、控制输入和运行指标受限)运行优化控制问题变得更加复杂。

技术实现要素：

本发明的目的在于提供一种基于数据驱动方式的运行优化控制方法，本发明采用将采用近似动态规划方法，以复杂工业应用为背景，采用双层层级架构，驱动最优运行控制。

本发明的目的是通过以下技术方案实现的：

一种基于数据驱动方式的运行优化控制方法，所述方法包括有双层多率运行控制；多目标多约束最优化运行控制；数据驱动的近似最优设定值设计；算法的收敛性和系统稳定性分析；多目标多约束最优运行控制包括：快时间尺度过程控制系统跟踪控制；用于解决最小化实际运行指标与理想运行指标偏差的慢时间尺度最优运行控制；控制输入、控制输出和运行指标约束；基于ADP的近似最优设定值设计包括两个阶段：将上层运行指标转化为H∞控制问题的具有有界干扰项的慢时间尺度离散系统H∞控制；以及有机融合DP、RL和H∞控制等方法，用于得到近似最优设定值而提出的一种不依赖模型参数的RL算法；面向复杂工业过程控制系统的仿真与实验验证的具体步骤为：采用仿真软件、半实物仿真平台和物理实验平台，联合验证理论方法和结果的有效性，并根据仿真和物理实验结果，对理论方法和控制技术做出相应的调整。

所述的一种基于数据驱动方式的运行优化控制方法，所述快时间尺度过程控制系统跟踪控制中①考虑被控过程为非线性系统，运行指标生成轨迹为呈现非线性动态；②考虑上层运行过程和底层过程控制时间尺度不同；ƒ考虑控制输入受限、控制输出和运行指标受限。

所述的一种基于数据驱动方式的运行优化控制方法，所述采用泰勒公式展开方法将非线性被控过程和运行指标生成轨迹在稳态附近线性化，冗余误差作为有界干扰。

所述的一种基于数据驱动方式的运行优化控制方法，所述设定障碍函数，引入衰减因子，给出L2增益性能指标，将多目标多约束优化问题转化为H∞控制。

所述的一种基于数据驱动方式的运行优化控制方法，所述方法将H∞控制问题转化为具有折扣因子的线性二次跟踪问题，折扣因子适用于理想运行指标非零情况下的最优跟踪问题；利用DP方法，并采用同构映射，给出新的Bellman方程；采用值函数近似，执行性能评估，实现目标最优性的必要条件，得到设定值更新策略，利用策略迭代得到学习最优设定值的RL算法。

所述的一种基于数据驱动方式的运行优化控制方法，所述方法采用off-policy策略，在学习最优设定值过程中，采用任意允许控制作用系统生成数据，更新的设定值不作用于运行控制过程，避免不适当的设定值直接作用系统，影响或破坏系统正常运行。

所述的一种基于数据驱动方式的运行优化控制方法，所述方法底层控制过程跟踪控制器设计采用传统的PI控制器，实现控制输出跟踪设定值。

所述的一种基于数据驱动方式的运行优化控制方法，所述方法采用李雅普诺夫(Lyapuov)稳定性理论，最优控制理论，分析算法的收敛性及运行指标生成轨迹稳定性的条件。

所述的数据驱动的运行优化控制方案，其为保证RL算法的收敛性，对设定值加入探针噪声，丰富数据，保证参数估计准确，确保RL算法的收敛性。

所述的一种基于数据驱动方式的运行优化控制方法，所述方法仿真和物理实验验证的具体步骤为：①采用Java、Matlab相关软件，编写程序，仿真验证运行优化控制算法；②采用磨矿过程半实物仿真平台，执行近似最优设定值设计算法和底层控制环近似最优控制器设计算法，验证磨矿粒度是否控制在理想范围内；③采用污水处理物理实验平台，执行近似最优设定值设计算法和底层控制环近似最优控制器设计算法，验证出水水质和能量使用是否控制在理想范围内。

附图说明

图1为本发明方法中双层层级架构运行优化控制图；

图2为本发明方法中研究内容之间的关系图；

图3为本发明方法中近似最优设定值设计总体方案图；

图4为本发明方法中设计总体技术路线。

具体实施方式

下面结合实施例对本发明进行详细说明。

本发明采用将采用近似动态规划 (Approximate Dynamic Programming, ADP) 方法，以复杂工业应用为背景，采用双层层级架构（详见图1），开展数据驱动的最优运行控制研究（详见图2）。

本发明具体内容如下：

(1) 双层多率运行控制问题阐述；

(2) 多目标多约束最优化运行控制问题描述；

(3) 数据驱动的近似最优设定值设计；

(4) 算法的收敛性和系统稳定性分析；

(5) 仿真实验验证。

通过上述问题研究，给出一套针对复杂工业过程的数据驱动运行优化控制理论和方法，将数据驱动运行优化控制理论向更深层面推进。

双层多率运行控制问题阐述

采用如图1 所示的双网层级架构，构建双层多率运行控制问题。这一部分的研究工作分为以下两个阶段：

快时间尺度过程控制系统最优跟踪控制问题描述

在第一阶段，将考虑被控过程为非线性系统，以实现被控输出以近似最优方式跟踪设定值为目标，构建优化控制问题。在这一阶段，需要解决的科学难题为不同时间尺度下跟踪问题描述。本发明针对非线性被控过程，不仅要求被控变量跟踪设定值，而且要求以近似最优方式跟踪设定值。因此，考虑到设定值变化是一个慢过程，过程控制是一个快过程，在上层运行指标变化周期内，设定值不变，以最小化跟踪误差无穷累积和为优化目标，以被控过程动态，控制输入受限、被控输出受限为约束条件，阐述底层控制环优化控制问题。

慢时间尺度最优运行控制问题描述

在第二阶段，需要解决的科学难题为：a) 如何最小化实际运行指标与理想运行指标偏差；b) 多时间尺度问题。为解决问题a)，鉴于研究内容(2)中要设计近似最优设定值，并且保证实际运行指标以近似最优方式跟踪理想运行指标，在运行指标优化问题描述中，目标函数为实际运行指标与理想运行指标的期望均方误差和设定值的二次型函数，同时考虑实际复杂工业过程运行指标生成轨迹的非线性特征；为解决问题b)，采用提升技术，将第一阶段中得到的底层过程控制系统提升为慢采样系统。

(2) 多目标多约束最优化运行控制问题描述；

结合实施方案一，提出以最小化实际运行指标与理想运行指标期望均方误差和最小化跟踪误差为目标，以运行指标生成轨迹、运行指标受限、底层控制环被控过程动态、控制输入受限和被控输出受限为约束的多目标多约束优化控制问题。

控制目标：

(1)

约束条件：

(2)

其中分别为被控对象状态，控制输入和控制输出。为PI控制器的比例系数，为PI控制器的积分系数。表示设定值与控制输出的误差，。为运行指标，T为运行指标更新周期，k(k=1,2,…)为正整数。

(3) 数据驱动的近似最优设定值设计

为求解所阐述的多目标多约束优化控制问题，需要在上层设计近似最优设定值，在底层设计近似最优跟踪控制器。鉴于运行指标生成轨迹和被控过程动态很难精确建模，在该部分研究中，在ADP 框架下，给出不依赖运行指标生成轨迹和被控过程动态的近似最优设定值设计方案，如图3所示。

具有有界干扰项的慢时间尺度离散系统H∞控制问题

在第一阶段，将上层运行指标最优化问题转化H∞控制问题，需要解决的科学难题包括：a) 运行指标生成轨迹为非线性且存在有界未知干扰；b) 如何将最小化实际运行指标与理想运行指标均方误差优化问题转化为H∞控制问题。为解决问题a)，假设刻画运行指标的非线性函数二阶连续可微，然后利用Taylor 展开式，得到具有有界干扰项的线性时不变系统方程；为解决问题b)，设定障碍函数，将运行指标约束条件、被控输出约束条件和控制输入约束条件转化成二次型函数，并且引入衰减因子，给出L2 增益性能指标，得到H∞控制问题。

不依赖模型参数的H∞控制算法设计

针对上层慢时间尺度，底层快时间尺度的一般的非线性离散运行控制系统，研究对象不同；并且，考虑运行控制中存在有界未知干扰项。在这一阶段，拟在ADP 框架下，有机融合DP、RL 和H∞控制等方法，提出一种不依赖模型参数的不依赖策略（Off-policy）的RL算法，得到近似最优设定值。

(4) 算法的收敛性和系统稳定性分析；

需要解决的科学难题包括：a) 不依赖运行指标生成轨迹和被控过程动态模型；b)运行指标生成轨迹受外界干扰；c) 理想运行指标非零情况下，近似最优设定值设计算法；d)分析算法的收敛性及运行指标生成轨迹的稳定性。为解决上述难题，首先将H∞控制问题转化为具有折扣因子的线性二次跟踪(LinearQuadratic Tracking, LQT)问题，折扣因子适用于理想运行指标非零情况下的最优跟踪问题；其次，利用DP 方法，并采用同构映射，给出新的Bellman 方程；然后，采用值函数近似，执行性能评估，基于实现目标最优性的必要条件，得到设定值更新策略，利用策略迭代得到学习最优设定值的RL 算法。如果运行指标不可测量，可以采用神经网络估计；最后，基于李雅普诺夫(Lyapuov)稳定性理论，最优控制理论，分析算法的收敛性及运行指标生成轨迹稳定性的条件。这里涉及到设定值初始值的选取和有界未知干扰项的处理。

底层过程控制环采用PI控制器，通过极点配置方法或者Z-N参数整定等方法设计控制器参数，保证底层控制输出跟踪最优设定值。

(5) 仿真和物理实验验证

拟采用仿真软件、半实物仿真平台和物理实验平台，联合验证理论方法和结果的有效性。根据仿真和物理实验结果，对理论方法和控制技术做相应调整。模拟仿真采用Java，Matlab软件，编译程序，仿真验证运行优化控制算法。采用磨矿过程半实物仿真平台执行近似最优设定值设计算法和底层控制环近似最优控制器设计算法，验证磨矿粒度是否控制在理想范围内。采用污水处理物理实验平台，执行近似最优设定值设计算法和底层控制环近似最优控制器设计算法，验证出水水质和能量使用是否控制在理想范围内。

本发明在充分考虑复杂工业过程非线性、多时间尺度问题的情况下，采用ADP方法，研究数据驱动的运行优化控制问题方法，为智能制造的实现奠定坚实的理论基础。主要优点如下：

(1) 面向复杂工业运行控制问题，提出了完全利用以往运行指标数据、以往设定值数据和以往控制输入数据的近似最优设定值设计算法和近似最优跟踪控制器设计算法，并且分析了算法的收敛性、运行指标生成轨迹和被控过程动态的稳定性。

(2) 对于一般的非线性离散系统，考虑系统存在未知干扰，在ADP 框架下，有机融合DP、RL 和H∞控制等方法，采用同构映射，给出新的Bellman 方程，运用值函数近似、策略迭代方法，提出一种不依赖模型参数的、完全利用数据的学习最优设定值和最优跟踪控制策略的RL 算法。