丢包环境下批次过程无模型离轨策略最优跟踪控制方法

1.本发明属于工业过程控制技术领域，具体涉及丢包环境下批次过程无模型离轨策略最优跟踪控制方法。


背景技术：

2.随着计算机技术、控制技术和网络通信技术的迅速发展，三者之间的交叉融合也越来越紧密，控制系统的空间分布变得越来越广，控制结构也越来越复杂，无线网络环境下的批次过程控制问题也引起了控制、通信、数学等多学科研究者的广泛关注。以往在对这类系统进行控制器分析设计时，大多数都是在传感器到控制器有完美数据传输的假设下进行的。而在实际工业生产中，由于网络传输的不可靠性、带宽限制以及网络拥塞等原因，难以避免出现如数据包丢失等情况，这在一定条件下会显著降低系统性能甚至使系统失稳，在以往具有数据包丢失的二维批次过程的相关研究中，学者们通常使用依赖系统模型的方法对控制器进行设计，这对控制对象的要求极高，在一定程度上限制了这类方法在工业实际中的应用，因此，这类过于依赖模型的算法通常难以在丢包环境下的批次过程控制器设计中得到满意的效果。
3.批次过程作为一种小规模多工序的生产过程，每天都在产生并存储着大量的数据，这些数据隐含着工况变化、产品质量、生产效率和工业设备运行等重要信息。为了有效利用这些数据，以及在难以对受控系统建立较为准确的机理动态模型的条件下，实现对工业生产过程的控制，数据驱动控制方法应运而生。而作为其中之一的强化学习算法，更是在智能控制、数据预测、图像处理等诸多领域有了广泛应用，并且取得了良好的效果。但是这些研究仅局限于不涉及批次信息的一维系统，对于包含批次方向和时间方向的批次过程出现丢包问题的情况，一维强化学习算法难以解决。另外很多基于强化学习的算法采用的都是同轨策略，限制了数据挖掘的深度和广度。因此，在存在数据丢包且无法获得过程精确模型的情况下，如何有效地利用这些二维数据直接进行批次生产过程的控制器设计，是我们有待解决的问题。为此，研究一种融合史密斯预估器的二维框架下的无模型离轨策略最优跟踪控制方法，在存在数据包丢失的情况下，能得到有效补偿，还能克服模型依赖的问题，仅仅利用数据不断学习，得到最优的控制律。


技术实现要素：

4.本发明考虑到无线网络环境下，数据传输不稳定出现丢包现象会对系统性能带来影响，以及考虑到系统模型信息未知的情况下，针对二维批次过程，提出一种二维框架下的无模型离轨策略最优跟踪控制方法，该方法可有效地解决批次过程无法精确建模的问题，仅仅利用采集到的历史数据即可求解控制律，克服了控制器对模型的依赖，此外，还对网络传输丢包问题进行了史密斯预估补偿，将其融合在无模型离轨策略中，经过不断地学习寻优，得到最优的控制律，并很好地跟踪上设定值，提高系统的控制和跟踪性能。
5.本发明是通过以下技术方案实现的：
6.本发明针对丢包环境下二维批次过程这个控制对象采用一般状态空间方程进行描述，为了减少系统的稳态误差并提高控制器的调节能力，使用系统的增量状态和输出误差作为扩展的系统状态，从而可形成新的状态空间方程，接着构建网络环境下的丢包模型，引入具有丢包补偿的二维史密斯预估器用来补偿丢失的数据，再设计基于模型的最优过程控制器用于对所提出的无模型离轨策略最优跟踪控制方法进行控制效果的对比，接着提出基于强化学习离轨策略的数据驱动最优跟踪控制方法，用于学习及求解最优控制增益，最后进行无模型离轨策略最优跟踪控制方法的无偏性与收敛性分析。本发明所设计的方法能有效克服控制器设计时对模型的过度依赖问题，同时引入二维史密斯预估器，有效地进行了数据丢包补偿，保证了系统的控制性能，并且由于采用离轨策略，避免了不停地采样，减少了时间损耗，也能有效保证数据被充分挖掘，充分学习。
7.步骤一：描述丢包环境下二维批次过程控制问题；
8.通常情况下，二维批次过程的输入输出关系可用如下的状态空间方程描述：
[0009][0010]
其中，x表示系统状态，u表示系统控制输入，y表示系统输出，t表示时间方向，k表示批次；
[0011]
为了减少系统的稳态误差并提高控制器的调节能力，在以下扩展状态空间模型中使用系统的增量状态和输出误差作为扩展的系统状态，根据上面的状态空间方程，可以将两个相邻批次间的增量系统表示为
[0012][0013]
其中，δkx(t,k)＝x(t,k)-x(t,k-1)表示状态变量沿着批次方向的差值，r(t,k)＝u(t,k)-u(t,k-1)表示控制输入沿着批次方向的差值，同样地，δky(t,k)表示输出变量沿着批次方向的差值；
[0014]
在无线网络环境下，考虑到数据包丢失对过程控制变量传输的影响，在经过无线网络传输后，包含丢包情况的系统状态可描述为：
[0015]
xf(t,k)＝δ(t,k)x(t,k)+(1-δ(t,k))xf(t,k-1)
ꢀꢀ
(30)
[0016]
其中，xf(t,k)表示经过无线网络传输后得到的过程控制状态，δ(t,k)表示为传输是否成功的标志，可取值为0或1，δ(t,k)＝0时，表示传输过程中出现了数据包的丢失，δ(t,k)＝1时，表示传输成功，传输过程未发生数据包的丢失；
[0017]
在控制器设计过程中，设计目标为利用网络传输反馈得到的数据xf(t,k)设计控制器，使得过程控制的输出信号y(t,k)在丢包情况下仍能跟踪其设定值yr。因此，将实际输出和设定输出的差值定义为e(t,k)＝y
r-y(t,k)，再令则可根据状态空间方程(28)和增量状态空间方程(29)得到如下扩展的系统方程：
[0018]
[0019]
其中y(t,k)＝δky(t,k)，i表示适当维数的单位矩阵；
[0020]
给出如下批次过程的线性二次型最优跟踪问题的性能指标：
[0021][0021][0022][0023]
以及控制策略
[0024][0025]
其中，q1和q2是半正定矩阵，表示状态权重，r为正定矩阵，表示控制变量权重；
[0026]
步骤二：构建网络环境下丢包模型，引入具有丢包补偿的二维史密斯预估器；
[0027]
xf(t,k)是控制器接收到的系统状态，其表达式如下：
[0028]
xf(t,k)＝x(t-θ
fn
(t,k),k)(34)
[0029]
其中θ
fn
(t,k)是数据传输过程中的连续丢包数，且满足0≤θ
fn
(t,k)≤θ
fmax
(t,k)的取值范围，θ
fmax
(t,k)是连续丢包数的最大值，则可从式(28)中获得以下公式，来预测当前时间的状态量；
[0030][0031]
在tcp或udp协议的情况下，可以认为丢包的数量是已知的；
[0032]
当θ
fn
(t,k)＝0时，
[0033][0034]
当θ
fn
(t,k)＝1时，
[0035][0036]
按照这种方式类推，当θ
fn
(t,k)＝θ
fmax
(t,k)时，
[0037][0038]
再结合式(35)，可构建出如下所示的史密斯预估器：
[0039]
x(t,k)＝mη(t,k)(38)其中
[0040]
步骤三：设计基于模型的最优过程控制器；
[0041]
从系统状态出发，可由性能指标(32)定义出如下所示的值函数：
[0042][0043]
则在初始状态时，指定第一步控制策略后设计q函数如下所示：
[0044]q*
(x(t,k),x(t+1,k-1),r(t,k))
[0045]
＝x
t
(t,k)q1x(t,k)+x
t
(t+1,k-1)q2x(t+1,k-1)+r(t,k)
t
rr(t,k)
[0046]
+v
*
(x(t+1,k),x(t+1,k))
[0047]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(40)
[0048]
值函数和q函数的二次型形式可表述为：
[0049][0050][0051]
其中h
*
可表示为：
[0052][0053]
其中，为了简化表达，h
*
矩阵下角标中的x1用来表示状态x(t,k)，x2用来表示状态x(t+1,k-1)；
[0054]
基于动态规划，可得到如下所示的基于q函数的二维贝尔曼方程：
[0055][0056]
其中s(t,k)＝[x
t
(t,k),x
t
(t+1,k-1),r
t
(t,k)]
t
；
[0057]
根据最优性的必要条件，令得到最优控制输入：
[0058][0059]
步骤四：设计丢包环境下的二维批次过程无模型离轨策略最优跟踪控制方法；
[0060]
根据引入的史密斯预估器，可先构建出基于史密斯补偿的控制策略
[0061][0062]
其中
[0063]
同样地，在引入史密斯预估器后，等式(44)中的二维贝尔曼方程阐述如下：
[0064][0065]
其中其中
[0066]m*
＝m
t
(mm
t
)-1
；
[0067]
行为控制策略和学习的目标策略都为r(t,k)时，每次需要更新参数时都需要重新采样，此外，使用当前控制策略产生数据，同时对当前控制策略进行优化改进，这容易导致一些数据始终没有被探索过，为了更好地解决数据挖掘与数据利用的矛盾，在系统中引入辅助变量得到：
[0068][0069]
其中r(t,k)为行为策略，用于产生算法学习所需的数据，rj(t,k)是所提算法需要学习的目标控制策略，沿着新系统的轨迹，二维贝尔曼方程表示为如下形式：
[0070][0071]
其中
[0072]
进一步化简变形，则等式(49)的等号左边部分可表述为：
[0073][0074]
根据克罗内克积的表达形式：
[0075][0076]
进一步将(49)式改写为如下形式：
[0077][0078]
进而得到如下表达式：
[0079][0080]
其中其中
[0081][0082][0083][0084][0085]
[0086][0087][0088][0089]
通过对上述各项的计算，得到控制器增益：
[0090][0091][0092]
得到上述控制器增益的迭代表达式后，首先利用行为策略产生时间方向和批次方向的二维数据，将数据存储在φj(t,k)和中，接着给定能使系统稳定的初始控制器增益，再通过(53)和(54)迭代求解和一直到满足和差值的绝对值小于一个极小的正整数，则停止求解；
[0093]
步骤五：进行控制算法的无偏性与收敛性分析；
[0094]
为了证明所设计的无模型离轨策略最优跟踪控制方法的无偏性，将探测噪声n(t,k)引入到行为策略r(t,k)中，状态空间则可以写成如下形式：
[0095][0096]
则二维贝尔曼方程则被改写成：
[0097][0098]
将(55)式代入(56)式，则有
[0099][0100]
显然，等式(57)等价于等式(49)，那么两者的解也等价。因此引入的探测噪声时，二维贝尔曼方程求解出的不会出现偏差，那么由矩阵求出的控制器增益也不会变化。因此，所提出的二维无模型离轨策略最优跟踪控制方法具有无偏性。
[0101]
在分析算法的收敛性时，二维贝尔曼方程可以被简化为如下形式：
[0102][0103]
考虑到矩阵和矩阵在(19)式中的关系，并将其代入到(58)，则可以得到：
[0104][0105][0106][0107]
则可以得到矩阵的迭代关系为：
[0108]
[0109]
其中
[0110][0111][0112]
可以看出，矩阵和矩阵迭代过程类似。因此，当给定了初始迭代条件且迭代次数接近无穷大时，满足黎卡提方程的解矩阵在迭代过程中逐渐收敛到最优解，由于矩阵和矩阵收敛迭代趋势类似，因此无模型离轨策略最优跟踪控制方法的解矩阵也逐渐收敛到最优矩阵。
[0113]
本发明的优点与效果为：
[0114]
本发明考虑到无线网络环境下，数据传输不稳定出现丢包现象会对系统性能带来影响，以及考虑到系统模型信息未知的情况下，针对二维批次过程，提出一种二维框架下的无模型离轨策略最优跟踪控制方法；此发明设计了二维史密斯预测器，可以基于通信网络上测量的历史数据来预测当前状态，有效地补偿了数据丢包，保证了系统的控制性能；采用了数据驱动方式，可有效地解决批次系统无法精确建模的问题，仅仅利用批次过程在时间方向以及批次方向的输出数据和控制输入数据，在系统动态未知的情况下，实现控制器的设计并求解出最优的控制器增益，克服了控制器对模型的依赖；此外，采用离轨策略，避免了需要不停地采样的问题，减少了时间损耗，也能有效保证数据被充分挖掘，充分学习；通过进行的无偏性及收敛性分析，有效地保证了系统性能。
附图说明
[0115]
图1为连续最大丢包数为1时的随机丢包序列；
[0116]
图2为的收敛过程；
[0117]
图3为控制器增益的收敛过程；
[0118]
图4为控制器增益的收敛过程；
[0119]
图5为连续最大丢包数为1时的输出曲线；
[0120]
图6为连续最大丢包数为1时的控制输入曲线；
[0121]
图7为连续最大丢包数为2时的随机丢包序列；
[0122]
图8为连续最大丢包数为2时的输出曲线；
[0123]
图9为连续最大丢包数为2时的控制输入曲线；
具体实施方式
[0124]
为了进一步说明本发明，下面结合附图及实例对本发明进行详细地描述，但不能将它们理解为对本发明保护范围的限定。
[0125]
实施例1：
[0126]
注塑成型是重要的塑料制品成型方式，也是一种典型的批次过程。随着注塑产品应用范围越来越广，对产品质量的要求也越来越高。在注塑成型过程中，工艺参数直接影响模具内熔体的流动状态和最终制品的质量，获取并保持优化的工艺参数是得到高质量制品的前提。完整的注塑过程上共包括塑化、填充、保压和冷却四个主要阶段，在注塑过程将近结束时，螺杆停止旋转，只是向前推进，此时注塑进入保压阶段。保压过程中，熔体流速极低，流动不再起主导作用，压力成为了影响保压过程的主要因素。因此，在注塑成型保压阶段，通过阀门开度的大小来控制喷嘴压力是非常重要的。在这一部分中，用所提出的无模型离轨策略最优跟踪控制方法来控制这一阶段的两个参数。
[0127]
在大量试验的基础上，二维注塑成型过程保压阶段喷嘴压力(np)与阀门开度(vo)的关系式为下式：
[0128]
np(t+1,k)＝1.317np(t,k)+171.8vo(t,k)-(0.3259np(t-1,k)+156.8vo(t-1,k))
ꢀꢀ
(63)
[0129][0130]
其中，vo(t,k)表示系统在k批次t时刻的阀门开度，单位％，vo(t-1,k)表示系统k批次t-1时刻的阀门开度，单位％，np(t+1,k)表示系统k批次t+1时刻的腔内压力，单位bar，np(t,k)表示表示系统k批次t时刻的腔内压力，单位bar，系统k批次t-1时刻的腔内压力用np(t-1,k)表示，单位bar，腔内压力的范围为：200bar≤np(t,k)≤400bar；
[0131]
取状态变量x(t,k)＝[np(t,k)-0.3259np(t-1,k)-156.8vo(t-1,k)]
t
，控制量u(t,k)＝vo(t,k)，系统输出y(t,k)＝np(t,k)，得到保压阶段的状态空间方程：
[0132][0133]
其中，c＝[1 0]；
[0134]
仿真中所采用的控制器参数为：q1＝q2＝diag[6,6,6]，r＝1。为了更好地证明所提出的离轨算法的有效性，用黎卡提方程求解得到的最优的p
*
矩阵，进而采用设计的基于模型的控制器求得最优的控制器增益，这些最优的参数将被用来作为一个参照，用于验证所提出的二维无模型离轨策略最优跟踪控制方法的准确性和有效性，最优的控制器增益如下：
[0135][0136][0137]
接着用本文所提出的无模型离轨策略最优跟踪控制方法来验证，无线网络数据包丢失的情况下二维批次过程的最优跟踪控制效果，图1为连续最大丢包数为1的时候，丢包率为0.3时的随机丢包序列。
[0138]
图2和图3，4分别为在不断学习的过程中，矩阵以及逐渐收敛到的过程。从这三张图可以看出，随着运行批次的增加，与之间的偏差越来越小，两者越来越接近，控制器增益和的收敛情况也类似，在第10批次往后，学习过程中的与最优的已基本上相等。
[0139]
图5和图6分别表示二维离轨策略最优跟踪控制方法的输出跟踪轨迹和控制输入轨迹。从这两张图可以看出，在网络最大连续丢包数为1的情况下，采用本文所提出来的不依赖于模型的具有史密斯预估器的最优跟踪控制，系统的跟踪性能良好，且随着运行批次的增加，系统的实际输出与设定值越来越接近，在第10批次之后，系统的实际输出已经达到设定值300。
[0140]
接下来考虑最大连续丢包数为2时的情况，此时的随机丢包序列如图7所示，经过所提出算法的学习后，得到目前系统的输出跟踪轨迹与控制输入轨迹如图8和9所示。仿真结果表明，在网络最大连续丢包数为2的情况下，采用本文所设计的融合了二维史密斯预估器的批次过程无模型离轨最优跟踪控制方法，系统输出能够跟踪上参考输入。因此可以看出，在使用所提出的算法进行控制时，随着网络性能变差，跟踪性能几乎不受影响。同时，系统对丢包数的容忍范围较大，当最大连续丢包数增大时，系统的稳定性也可以得到保障。
[0141]
综上，本发明考虑到无线网络环境下，数据传输不稳定出现丢包现象会对系统性能带来影响，以及考虑到系统模型信息未知的情况下，针对二维批次过程，提出一种二维框架下的无模型离轨策略最优跟踪控制方法；此发明设计出了二维史密斯预测器，可以基于通信网络上测量的历史数据来预测当前状态，有效地补偿了数据丢包，保证了系统的控制性能；采用了数据驱动方式，可有效地解决批次系统无法精确建模的问题，仅仅利用注塑成型过程输出数据和控制输入数据，在系统动态未知的情况下，实现控制器的设计并求解出最优的控制器增益，克服了控制器对模型的依赖；此外，采用离轨策略，避免了需要不停地采样的问题，减少了时间损耗，也能有效保证数据被充分挖掘，充分学习；通过进行的无偏性及收敛性分析，有效地保证了系统性能。
[0142]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。