基于马尔科夫决策的自适应跳频方法
【技术领域】
[0001] 本发明涉及工业无线网络技术，具体地说它是一种基于马尔科夫决策的自适应跳 频方法。
【背景技术】
[0002] 无线传感器网络作为21世纪最具影响力的IT技术，已经对人类的生产和生活方 式产生了巨大的影响。它是继Internet之后，发展最为迅速，应用最为广泛，且最为人类所 接受的无线网络技术之一。作为无线传感器网络的重要应用方向，工业无线网络应运而生。 工业无线网络以无线传感器网络为基础，并在此基础上对网络的实时性、可靠性以及抗干 扰能力等方面提出了严格的要求。因此，工业无线网络具有实时性强、可靠性高、成本相对 低廉、可大规模部署等特点。当前，对于工业无线网络的标准化工作已经取得了巨大进展， 主要包括HART基金会的WirelessHART、中国工业无线联盟的WIA-PA以及国际自动化协会 的ISA100.1 la三大国际标准。
[0003] 无线网络技术的广泛应用，特别是对ISM2. 4GHz免申请频段的过度使用，造成了 该频段的严重拥挤。当前，典型的短距离无线通信技术均采用2.4GHz频段通信。除了的 WirelessHART、WIA-PA 和 ISA100.1 Ia 三大工业无线标准，还包括 ZigBee、BlueTooth、Wi-Fi 等民用和商用标准。因此，有效避免同频段的其他射频干扰是无线网络技术的一大研究热 点。特别地，对于工业无线网络来说，当它面对工业环境中的强噪声、多径传播以及温湿度 频繁变化等环境干扰时，信道质量严重下滑，存在更为迫切的抗干扰需求。另外，工业应用 本身对于数据传输的实时性和可靠性具有严格的要求。因此，有效提高工业无线网络的抗 干扰能力和数据传输的可靠性是当前面临的技术难题。
[0004] 工业无线网络主要采用扩频通信技术。扩频通信的优点在于：具有很强的抗干扰 能力；可进行多址通信；安全保密；抗多径干扰。具体来说，它主要包括直接序列扩频和跳 频扩频两种技术。
[0005] 直接序列扩频为IEEE802. 15. 4标准的物理层所采用。而WirelessHART、WIA-PA 和ISA100.1 la的物理层均采用IEEE802. 15. 4标准，因此它们的物理层均支持直接序列扩 频技术。
[0006] 跳频扩频技术可以分为两类：盲跳频和自适应跳频。
[0007] 盲跳频是跳频伪随机序列固定不变的跳频通信技术，属于常规的跳频技术。一般 情况下，如无特殊说明，跳频通信均指盲跳频通信。由于跳频序列具有伪随机特性，因此，跳 频技术具有很好的抗干扰能力和安全性。工业无线标准WirelessHART和ISA100.1 la标准 所采用的跳频技术就属于盲跳频。图1所示为WirelessHART和ISA100.1 la共同采用的跳 频通信示意图，其跳频序列为 19,12, 20, 24,16, 23,18, 25,14, 21，11，15, 22,17,13。该跳频 序列具有伪随机性和固定性，即网络设备的跳频仅按该伪随机序列依次跳频。因此，盲跳频 并没有考虑信道的实时状态，其跳频性能具有一定的局限性。
[0008] 自适应跳频是在盲跳频技术的基础上发展起来的，除了具有基本的跳频通信能力 外，还具备频率自适应控制的功能。它通过实时搜集信道信息，判断信道质量的优与劣，可 以动态决定跳频序列，避免在低质量信道进行数据传输。这样，通过合理选择通信信道，可 以大幅提高通信的可靠性和抗干扰能力。自适应跳频为工业无线标准WIA-PA所采用，该标 准采用两层的分簇结构在特定时隙完成时隙跳频、自适应跳频和自适应频率切换等。
[0009] 另外，BlueTooth也定义了自适应跳频技术，但是其跳频速率和收发器设备成本并 不能满足工业应用的需要，因此未被工业标准所采用。
[0010] 通过以上分析可以看出，自适应跳频对于提高工业无线网络的抗干扰能力、数据 传输的安全性和可靠性方面具有十分重要的作用，是未来工业无线网络发展的重要方向。 但是，当前利用马尔科夫决策方法实现面向工业无线网络的自适应跳频方法还未见报道。
【发明内容】
[0011] 针对工业无线网络易受环境噪声干扰、信道质量动态变化的特点，本发明提出一 种面向工业无线网络的自适应跳频方法，该方法在不增加网络设备计算负担和控制信息开 销的情况下，可以对工业无线网络的通信信道选择进行智能决策，实现自适应跳频。
[0012] 本发明为实现上述目的所采用的技术方案是：一种基于马尔科夫决策的自适应跳 频方法，包括以下步骤：
[0013] 建立工业无线网络的跳频决策模型；
[0014] 定义用于描述网络在时隙t时传输可靠性的效用函数： N
[0015] Rl(^srXl) = YuX hlS ^t) M
[0016] 其中，Sj.(t)表示信道j在时隙t的状态，Xt = {x」e Rn代表系统在第t个时隙 的信道介入策略，布尔变量Xp的定义如下：
[0017]
【主权项】
1. 一种基于马尔科夫决策的自适应跳频方法，其特征在于，包括以下步骤： 建立工业无线网络的跳频决策模型； 定义用于描述网络在时隙t时传输可靠性的效用函数：
其中，s^t)表示信道j在时隙t的状态，xt= {\t}eRN代表系统在第t个时隙的信 道介入策略，布尔变量的定义如下：
于是，有限时间T内的马尔科夫决策过程描述为：
其中，Ex{ ?}代表关于信道状态St的数学期望，约束
的意义是对于任意的 时隙t，网络管理器最多只能介入H个信道； 求解（1); 当网络管理器判断当前通信信道不适合继续进行数据传输时，将在DM子域进行马尔 科夫决策。
2. 根据权利要求1所述的基于马尔科夫决策的自适应跳频方法，其特征在于，所述建 立工业无线网络的跳频决策模型，具体为： 将整个通信频带划分为N个相等带宽且互不重叠的信道，记A= {1，2, ...，N}为信道 集合，每个时隙t上，信道n(nGA)的状态表示为
在时隙t上，N个信道 的状态集合表示为st ={Si(t)，? ? ?，SN (t)}; 由于每个信道都有"优"和"差"两个状态，则N个子信道的整个频带共有2N个状态。令S表示N个信道状态St的集合，则S= {1，2,. . .，2N}，其中1，2,…2N分别代表每个信道状 态的编号；每个信道的状态均随时间变化，且服从马尔科夫过程；PijQ，jeS)为信道状态 转移概率，即信道由状态i转移到状态j的概率。
3. 根据权利要求1所述的基于马尔科夫决策的自适应跳频方法，其特征在于，所述H为 1〇
4. 根据权利要求1所述的基于马尔科夫决策的自适应跳频方法，其特征在于，所述DM 子域是网络管理器进行马尔科夫决策是专用时隙子域。
5. 根据权利要求1所述的基于马尔科夫决策的自适应跳频方法，其特征在于，所述网 络管理器在完成马尔科夫决策后，在TDMA时隙中的CS子域通过控制信道将决策结果通知 给目的现场设备，目的现场设备在收到决策结果后，与网络管理器同时跳频到新的信道，准 备下一时隙的数据通信。
【专利摘要】本发明涉及工业无线网络技术，具体地说它是一种基于马尔科夫决策的自适应跳频方法。本发明包括以下步骤：建立工业无线网络的跳频决策模型；定义用于描述网络在时隙t时传输可靠性的效用函数；进而对有限时间T内的马尔科夫决策过程进行描述并求解；当网络管理器判断当前通信信道不适合继续进行数据传输时，将在DM子域进行马尔科夫决策。本发明在不增加网络计算负担和控制信息传输的情况下，实现了工业无线网络的自适应跳频，有效提高了工业无线网络的抗干扰能力以及数据传输的安全性和可靠性。
【IPC分类】H04B1-713
【公开号】CN104779973
【申请号】CN201410016576
【发明人】于海斌, 郑萌, 许驰, 张晓玲, 梁炜
【申请人】中国科学院沈阳自动化研究所
【公开日】2015年7月15日
【申请日】2014年1月13日