基于隐半马尔可夫模型的网络控制系统控制器设计方法
【专利摘要】一种基于隐半马尔可夫模型的网络控制系统控制器设计方法。它利用隐半马尔可夫模型描述网络负载状态，再针对具有时延和丢包的网络控制系统进行建模，根据鲁棒控制理论、半马尔可夫跳变线性系统理论和李雅普诺夫理论，利用状态自转移概率的区间表达给出便于求解的网络控制系统状态反馈鲁棒H∞控制器存在的充分条件，并给出控制律的设计方法，进而实现网络控制系统的多模态切换控制。
【专利说明】基于隐半马尔可夫模型的网络控制系统控制器设计方法 (一） 所属【技术领域】
[0001] 本发明涉及一种基于隐半马尔可夫模型的网络控制系统鲁棒He?控制器的设计 方法，它是针对带有时延和丢包的网络控制系统，利用隐半马尔可夫模型进行描述及建模， 然后利用半马尔可夫跳变线性系统理论和状态自转移概率的区间表达，给出了便于求解的 网络控制系统状态反馈鲁棒H c?控制器存在的充分条件，并给出了控制律的设计方法，进 而实现网络控制系统的多模态切换控制，属于自动控制【技术领域】。 (二）
【背景技术】
[0002] 网络控制系统的基本结构图如图1所不，在网络控制系统中，传感器、控制器和执 行器通过共享的通信网络交换信息，可以实现资源共享、节省系统成本和提高系统可靠性 等目的。但是由于通信网络的引入，在信息传输过程中不可避免地存在网络时延和数据包 丢失等问题，这些问题给网络控制系统的分析和设计带来了新的挑战。在网络环境中，由于 多个网络节点共享同一个通信网络且流量变化不规则，同时受网络带宽限制，再加上网络 中由于不可避免地存在网络阻塞和连接中断，数据通过网络传输时必然会产生网络时延和 数据包丢失。网络时延和数据包丢失是网络控制系统的研究中面临的主要问题，它们会降 低系统的性能，甚至导致系统不稳定，从而使得系统的分析变得非常复杂，因此具有丢包的 网络控制系统的稳定性分析和控制器设计问题日益引起人们的关注。
[0003] 网络本质上是一个分布式的随机系统，其随机性主要由网络负荷、网络堵塞、节点 竞争、路由选择等诸多随机因素构成。正是这些随机因素导致网络时延和丢包呈现出不同 程度的随机性。通常将网络负荷、网络堵塞、节点竞争、路由选择等诸多随机因素合并起来 定义为一个随机变量："网络状态"。可见，网络状态是一个抽象的概念，其值很难通过测量 直接获得。但网络状态可以通过一些可测的网络性能指标反映出来，在实际中，我们采用网 络时延和丢包这两项网络服务质量指标。我们把这些网络性能指标定义为网络状态的一组 观察量，它们既受控于网络状态又能反映出网络状态。由此可见，网络状态隐藏于网络时延 和丢包下并决定网络时延和丢包的随机变化特征，同时又可以通过测量网络时延和丢包间 接地获得网络状态信息。
[0004] 网络流量具有自相似性，半马尔可夫链在一定条件下可以描述自相似特性，因此 可以利用半马尔可夫链描述网络状态的变化。每一次传输引起的网络状态变化可以被看成 是半马尔可夫链的状态发生一次转移。由于网络状态不可直接观测，能够观测的是反映网 络状态的时延和丢包。为了获取网络状态的信息，需要对观察变量（即网络时延和丢包） 进行分析，然后对网络状态进行重构和估计从而获得该半马尔可夫链的信息。相应的，隐半 马尔可夫模型是一个双重随机过程，其中之一是隐含的半马尔可夫链，另一个随机过程是 描述状态和观测变量之间的统计关系。因而网络状态与网络时延和丢包之间的关系恰好与 隐半马尔可夫模型相吻合。因此，用隐半马尔可夫模型来描述网络控制系统具有先天的优 越性。这样我们可以用网络状态构成隐半马尔可夫模型中的半马尔可夫链状态，用网络时 延和丢包构成隐半马尔可夫模型中的观测变量，从而将网络状态与网络时延及丢包之间的 概率关系建模成隐半马尔可夫模型。
[0005] 在这种技术背景下，本发明给出一种基于隐半马尔可夫模型的网络控制系统鲁棒 He?控制器设计方法，创造性地提出了利用隐半马尔可夫模型描述网络负载状态，并针对同 时考虑时延和丢包的网络控制系统，利用状态自转移概率的区间表达给出了便于求解的网 络控制系统状态反馈鲁棒H c?控制器存在的充分条件，还给出了控制律的设计方法，而且 实现了网络控制系统的多模态切换控制。 (三）
【发明内容】
[0006] 1、发明目的
[0007] 本发明的目的是：针对网络负载状态辨识的不精确，提出一种能够更好描述网络 负载状态的方法，即采用隐半马尔可夫模型来描述；克服现有控制技术的不足，针对同时 考虑时延和丢包这两大重要问题的网络控制系统，利用状态自转移概率的区间表达给出了 便于求解的网络控制系统状态反馈鲁棒H c?控制器存在的充分条件，以及控制律的设计方 法，实现网络控制系统的多模态切换控制。
[0008] 本发明是一种基于隐半马尔可夫模型的网络控制系统鲁棒H c?控制器设计方法， 其设计思想是：针对同时存在时延和丢包的网络控制系统，利用隐半马尔可夫模型对网络 状态和网络时延及丢包的关系进行建模，估计模型参数和网络负载模态；再根据鲁棒控制 理论、半马尔可夫跳变线性系统理论和李雅普诺夫理论，利用状态自转移概率的区间表达 给出了便于求解的网络控制系统状态反馈鲁棒H c?控制器存在的充分条件，并给出了控制 律的设计方法，进而实现网络控制系统的多模态切换控制。
[0009] 2、技术方案
[0010] 下面结合流程框图2中的步骤，具体介绍该设计方法的技术方案。
[0011] 本发明是一种基于隐半马尔可夫模型的网络控制系统鲁棒He?控制器设计方法， 该方法具体步骤如下：
[0012] 第一步参数识别
[0013] 将网络负载分为：低、中、高、拥塞四个模态，其中低、中、高模态分别对应不同的时 延分布，拥塞模态对应丢包。用网络负载模态构成隐半马尔可夫模型中的半马尔可夫链状 态，用网络时延和丢包构成隐半马尔可夫模型中的观测变量，从而将网络状态与网络时延 及丢包之间的概率关系建模成隐半马尔可夫模型。考虑到网络控制系统的实时性需求，本 发明采用离散隐半马尔可夫模型建立网络控制系统的随机时延和丢包模型。与连续隐半马 尔可夫模型相比，离散隐半马尔可夫模型的参数相对较少，对训练数据集没有过高要求，参 数训练过程更快，计算耗时较低，占用控制器运算时间更短，更能满足网络控制系统的实时 性要求。因而本发明采用离散隐半马尔可夫模型建立网络控制系统的随机时延模型。
[0014] 在对网络负载状态及其转移概率进行识别时，首先对采集的时延数据序列进行平 均量化处理，将量化结果作为隐半马尔可夫模型的输入，利用Baum-Welch算法训练隐半马 尔可夫模型，估计模型参数。然后将当前时刻的时延数据量化后形成观察量，利用已经训练 好的模型和改进的Viterbi算法进行状态识别，从而获得网络负载模态。
[0015] 第二步带有时延和丢包的网络控制系统模型的分析与构建
[0016] 考虑如图3所示的网络控制系统，其中传感器和控制器之间通过网络进行信息交 换，控制器和执行器之间不存在网络，即控制器和执行器位于同一个节点上。为了分析方 便，做以下假设：
[0017] (1)传感器采用时钟驱动，采样周期为h，控制器和执行器采用事件驱动；
[0018] (2)网络时延是时变不确定的；
[0019] (3)传感器的节点采用单包传输，且传感器与控制器之间存在丢包现象；
[0020] (4)数据包在网络中传输无乱序情况发生。
[0021] 将存在数据包丢失的网络看作是一段时断时闭的开关线路，用开关状态表示数据 包是否丢失，即开关闭合时表示无丢包，开关断开时表示丢包。如果在传输过程中数据包丢 失，发送节点将根据系统中所采用的通信网络协议重新传输丢失的数据包或者不重传丢失 的数据包。在控制系统中，重新传输的丢失数据已经不能反映被控对象的真实状态，因此网 络控制系统中的节点通常都采用不重传丢失数据包的方法。
[0022] 数据在网络上传输时，网络时延可能很长而超过了规定的时限，这些数据也会被 故意丢弃。因为长时延的数据可能已经不能满足系统的实时性需求，使用这些数据产生的 效果可能还不如利用原来旧的数据，从而不再具有利用价值。另外丢弃已经过时的数据还 有助于减轻网络负载，从而利用有限的网络资源来传输最新的数据，提高系统的性能。为了 满足控制系统的实时性要求，本文采用主动丢包，即当网络时延大于一个采样周期时，认为 产生丢包。
[0023] 本发明可以在线估计出模型参数和网络负载模态，所以可以对不同的网络负载模 态设计相应的控制器。在线估计网络负载模态后，实时切换到相应的控制器，从而实现多模 态切换控制，有效地提高系统的控制性能，原理结构如图4所示。
[0024] 根据上述分析，可以构建网络控制系统的连续模型：
【权利要求】
1. 一种基于隐半马尔可夫模型的网络控制系统控制器设计方法，其特征是：利用隐半 马尔可夫模型描述网络负载状态，再针对具有时延和丢包的网络控制系统，根据鲁棒控制 理论、半马尔可夫跳变线性系统理论和李雅普诺夫理论，利用状态自转移概率的区间表达 给出便于求解的网络控制系统状态反馈鲁棒H c?控制器存在的充分条件，并给出控制律的 设计方法，进而实现网络控制系统的多模态切换控制。
2. 根据权利要求1所述的基于隐半马尔可夫模型的网络控制系统控制器设计方法，其 特征是：利用隐半马尔可夫模型描述网络负载状态，实现网络负载状态的估计及其转移概 率的识别。
3. 根据权利要求1所述的基于隐半马尔可夫模型的网络控制系统控制器设计方法，其 特征是：在对网络控制系统进行建模和控制器设计时，利用了状态自转移概率的区间表达 给出便于求解的控制器存在的充分条件及控制律的设计方法；并同时考虑了时延和丢包这 两个网络控制系统中的重要问题。
【文档编号】G05B13/04GK104049533SQ201310075144
【公开日】2014年9月17日 申请日期:2013年3月11日 优先权日:2013年3月11日
【发明者】王岩, 李超, 闫影 申请人:王岩, 李超, 闫影