一种基于马尔科夫链的无线体域网低时延传输调度方法与流程

本发明属于无线体域网的安全通信领域，基于信息论的物理层安全技术，具体涉及了一种基于马尔科夫链改进实时动态规划的无线体域网低时延传输调度方法。

背景技术：

无线体域网(wban)已被应用于如消费电子，医疗保健和运动训练等场景。在医疗保健领域，wban通过安装在体内或体表的传感器节点生成监视数据通过无线链接传输到中心节点，中心节点可以将紧急的异常数据及时发送给医护人员，使得突发情况能够得到及时的处理，挽救病人的生命。因此，消息的传输时延是无线体域网算法设计必须考虑的问题。此外，无线信道的开放性使得一些人体保密数据更容易被窃听。基于此，无线体域网的安全性能也获得了日益广泛的关注。

技术实现要素：

针对上述无线体域网的中时延和安全性能这两个方面的问题。本发明公开了一种基于马尔科夫链的无线体域网低时延传输调度方法。该方法针对解码转发多跳无线体域网，提出了一种基于拉格朗日乘子法的解决方案，将具有安全中断概率约束的无线体域网时延最小的路由选择问题建模为寻找动态系统最小时延成本的自动控制问题求解。

为了达到上述发明目的，本发明采用以下技术方案：

一种基于马尔科夫链的无线体域网低时延传输调度方法，包括以下步骤：

s1、初始化阶段，各节点获得网络的基本状态信息并得到节点间的配置参数；

s2、根据网络配置信息，利用无线体域网体内外信道的统计特性，推导出节点间的路由安全中断概率的表达式以及连接成功概率的表达式；

s3、根据路由安全中断概率和连接成功概率，建立离散马尔科夫链优化模型；

s4、利用拉格朗日乘子法，将有约束的优化问题转化为无约束的优化问题；

s5、针对无约束的优化问题，根据贝尔曼优化理论，采用改进的实时动态规划算法获得低时延的传输调度方法。

作为优选方案，所述步骤s1中的初始化阶段，节点获取位置信息的方法如下：

节点之间的参数包括邻居节点的信息，通过hello包交互获取邻居节点的位置信息，节点通过邻居节点的位置信息可以计算得到与邻居节点之间的距离，以及交换彼此的操作权限信息。

作为优选方案，所述步骤s2中，推导出发送节点n的安全中断概率q(n)的表达式如下：

其中，p[·]为概率算子；c(·)表示链路的瞬时频谱效率，其单位是bit/s/hz；n和z分别代表发送节点和体外窃听者；ζ表示发送速率；d为发送节点与体外窃听者之间的距离；α为路径损耗因子；ρ表示单位距离的发送信噪比；go定义为窃听信道的信道增益，其服从均值为1的指数分布。

作为优选方案，所述步骤s2中，推导出从发送节点n到接收节点m的连接成功概率p(n,m)的表达式如下：

其中，n和m分别代表发送节点和接收节点；d为发送节点与接收节点之间的距离；ζ和分别表示发送速率和保密速率；gi定义为从发送节点n到接收节点m的信道增益，服从对数正态分布；μ和σ分别表示对数正态分布的均值和标准差；erf(·)为误差函数，令

作为优选方案，所述步骤s3中，马尔科夫链状态的定义如下：

系统的状态x由这两个因素决定，表示为在x状态时之前所有已经解码保密消息的节点集合，表示全部合法节点的集合；ω(x)表示为保密消息是否被窃听者窃听，当在x状态下保密消息被窃听到，则ω(x)＝1；否则为0；

a(·)代表传输调度策略，即可作为下一跳发送机的节点；此时，离散马尔科夫链由状态x转移到状态y有以下四种情况：

情况1：由ω(x)＝0的状态x，转移到ω(y)＝0，的状态y；

情况2：由ω(x)＝0的状态x，转移到ω(y)＝1，的状态y；

情况3：由ω(x)＝1的状态x，转移到ω(y)＝1，的状态y；

情况4：由的状态x，转移到的状态x；

其中，g表示目标节点；

从状态x到另一状态y的转换是一个随机事件，具体取决于在x状态下的所有可选择的动作

πxy(a)表征在采取动作的前提下，从状态x转移到状态y的状态转移概率；

对于满足上述四个状态转移情况的状态转移概率表达式如下：

其他不满足上述四种状态转移情况的转移概率为零；其中，m代表从状态x转移到状态y过程中新增的已解码消息的节点，q(a)表示当发射节点为a时的安全中断概率，p(a,m)表示从发送节点a到接收节点m的连接成功概率。

作为优选方案，所述步骤s3中，根据节点间的路由安全中断概率和连接成功概率，建立离散马尔科夫链优化模型，其形式如下：

其中，目标函数定义为平均时延，i表示第i次状态转移，表示在第i次状态转移后的已解码节点集合，e[·]为数学期望算子，c(·)表示状态转移过程中的产生的代价；第一个约束条件为保密性约束，表示整条路由的安全中断概率，平均安全中断概率的阈值为∈；第二个约束条件为时延约束，目标节点解码消息时时延为0，否则时延为1；第三个约束为策略约束，集合表示在没有安全中断概率约束的情况下的所有可能策略集；

根据离散马尔科夫链模型，在路由选择策略a(·)下，将无线体域网的安全中断概率h^a(·)(x0)重新定义为如下表达式：

其中，

在式(7)中，x0代表初始状态，xi代表第i次状态转移后的状态，δ(·)代表在马尔科夫链模型中安全中断的定义，ω(·)表示在某一状态下保密消息是否被窃听，若未被窃听其值为0，否则其值为1；

根据重新定义的安全中断概率，优化模型转化为：

作为优选方案，所述步骤s4中，利用拉格朗日乘子法将有约束的优化问题转化为无约束的优化问题：

其中，

表示在策略a(·)下的代价函数，

表示安全中断概率约束，λ是拉格朗日乘子；

对于给定的λ，将选取动作a时状态x转移到状态y的时延成本函数重新定义为：

其中，c(·)表示原成本函数，δ(·)表示安全中断函数；

相应的，在策略a(·)下给定λ的无约束目标函数表达式如下：

作为优选方案，所述步骤s5中，根据贝尔曼优化理论中的价值迭代，获得贝尔曼方程如下：

其中，γ∈[0,1)是贝尔曼方程中的折扣因子，表示状态x的邻居状态集合，y代表邻居状态，a^*(·)表示最优的路由选择策略。

作为优选方案，所述步骤s5中，采用改进的实时动态规划算法获得低时延的传输调度方法，包括以下步骤：

(1)随机产生一个无线体域网拓扑，计算出节点间的距离；根据式(1)和式(2)计算出安全中断概率和连接成功概率，并且初始化所有状态值的上限v；

(2)初始化s为初始状态，此时已解码节点只有源节点且保密消息未被窃听；

(3)根据贝尔曼方程，以概率1-θ选取状态s的最佳动作a；概率θ随机选取状态s的动作集合a(s)中的其他动作；

(4)执行选取的动作，依据状态转移概率随机选择一个状态s'，重复步骤(3)，直到s'为吸收状态，转至步骤(5)；

(5)根据贝尔曼方程，回溯更新从初始状态到吸收状态转移过程中每一状态值v；

(6)重复步骤(2)至(5)，直到初始状态值v(s0)与前一次探索试验的差值小于阈值τ，则停止运行，并且返回最佳调度策略。

本发明与现有技术相比，具有如下优点：

1.在现有的技术中，无线体域网的安全中断概率没有确切的表达式，因此具有安全中断概率约束的路由选择问题一般情况下通过博弈论的方法来解决。而在本发明中将选择路由的过程建模为马尔科夫链决策过程，能够将安全中断概率用马尔科夫链的窃听状态转移来表征。

2.无线体域网应用在医疗领域中，时延可能会导致病人措施最佳抢救时机，因此时延是相当值得关注的问题。在本发明中，将具有安全中断概率约束的无线体域网的时延最小的路由选择问题建模为寻找动态系统最小时延成本的自动控制问题求解，能够根据状态的变化实时的选择最优的中继节点，使得消息在传输的过程在保证安全的条件下，具有最小的时延。

附图说明

图1是本发明实施例的基于马尔科夫链的无线体域网低时延传输调度方法的流程图；

图2是本发明实施例中的存在一个体外窃听者的无线体域网示意图；

图3是本发明实施例的一次状态转移过程；

图4是本发明实施例的一次状态转移过程中最佳策略下的路由。

具体实施方式

为了更清楚地说明本发明实施例，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

如图1所示，本发明实施例的基于马尔科夫链的无线体域网低时延传输调度方法，包括以下流程：初始化阶段，各节点获得网络的基本状态信息并得到节点间的配置参数；根据网络配置信息，计算出节点间的路由安全中断概率以及连接成功概率；根据安全中断概率和连接成功概率，建立离散马尔科夫链优化模型；利用拉格朗日乘子法将有约束的优化问题转化为无约束的优化问题；针对该无约束的优化模型，根据贝尔曼优化理论，采用改进的实时动态规划算法获得低时延的传输调度方法。

具体地，本发明实施例的基于马尔科夫链的无线体域网低时延传输调度方法，包括以下步骤：

s1：初始化阶段，各节点获得网络的基本状态信息并得到节点间的配置参数；

s2：根据网络配置信息，利用无线体域网体内外信道的统计特性，推导出节点间的路由安全中断概率以及连接成功概率表达式；

s3：根据安全中断概率和连接成功概率，建立离散马尔科夫链优化模型；

s4：利用拉格朗日乘子法，将有约束的优化问题转化为无约束的优化问题；

s5：针对该无约束的优化模型，根据贝尔曼优化，理论采用改进的实时动态规划算法获得低时延的传输调度方法。

其中，上述步骤s1中，在初始化阶段，节点获取节点之间的参数包括邻居节点的信息，通过hello包交互获取邻居节点的位置信息，节点通过邻居节点的位置信息可以计算得到与邻居节点之间的距离，以及交换彼此的操作权限信息。

上述步骤s2中，推导出节点间的路由安全中断概率和连接成功概率的表达式如下：

在无线体域网中，将体内信道(即主信道)建模为对数正态衰落信道，因此主信道的接收信噪比(snr)服从对数正态分布；将体外信道(即窃听信道)建模为瑞利衰落信道，因此窃听信道的接收snr服从指数分布。

为了能够达到消息的完全保密，使得发送信号与无线体域网体外窃听者接收信号之间的互信息为零，应当满足以下条件如下，

c(n,z)≤ζ(1)

其中，n和z分别代表发送节点和体外窃听者，ζ表示发送速率，c(·)表示链路的瞬时频谱效率其单位是bit/s/hz。

利用无线体域网中窃听信道的统计特性，推导出发送节点n的安全中断概率q(n)的表达式如下：

其中，p[·]为概率算子；c(·)表示链路的瞬时频谱效率，其单位是bit/s/hz；n和z分别代表发送节点和体外窃听者；ζ表示发送速率；d为发送节点与体外窃听者之间的距离；α为路径损耗因子；ρ表示单位距离的发送信噪比；go定义为窃听信道的信道增益，其服从均值为1的指数分布。

为了确保消息的可靠传输，应满足以下条件，

其中，n和m分别代表发送节点和接收节点，表示保密速率。

与此同时，利用无线体域网主信道的统计特性，获得从发送节点n到接收节点m的连接成功概率p(n,m)的表达式如下：

其中，n和m分别代表发送节点和接收节点，d为发送节点与接收节点之间的距离；ζ和分别表示发送速率和保密速率，gi定义为从发送节点n到接收节点m的信道增益，服从对数正态分布，μ和σ分别表示对数正态分布的均值和标准差；erf(·)为误差函数，令

在传输之前合法节点不知道信道条件，定义为整条路由的安全中断概率，形式如下：

其中，表示从初始状态到吸收状态的动作序列，表示源节点，表示第i次状态转移时，在已解码的节点集合中选择的动作(即发送节点)；在这一过程中，当且仅当保证每条链路的安全，才能使整条路由安全；是当发送节点为时的安全中断概率，即

上述步骤s3中，定义马尔科夫链状态如下：

系统的状态x由这两个因素决定，表示为在x状态时之前阶段所有已经解码保密消息的节点集合；表示全部合法节点的集合；ω(x)表示为保密消息是否被窃听者所窃听，当在x状态下保密消息被窃听到，则ω(x)＝1；否则为0。a(·)代表传输调度策略，即可作为下一跳发送机的节点。

此时，离散马尔科夫链由状态x转移到状态y有以下四种情况：

情况1：由ω(x)＝0的状态x，转移到ω(y)＝0，的状态y；

情况2：由ω(x)＝0的状态x，转移到ω(y)＝1，的状态y；

情况3：由ω(x)＝1的状态x，转移到ω(y)＝1，的状态y；

情况4：由的状态x，转移到的状态x；

其中，g表示目标节点。

从状态x到另一状态y的转换是一个随机事件，具体取决于在x状态下的动作

在本发明中，πxy(a)表征在采取动作a的前提下，从状态x转移到状态y的状态转移概率。

对于满足上述四个状态转移情况的状态转移概率表达式如下：

其他不满足这四种状态转移情况的转移概率为零。

其中，m代表从状态x转移到状态y过程中新增的已解码消息的节点，q(a)表示当发射节点为a时的安全中断概率，p(a,m)表示从发送节点a到接收节点m的连接成功概率。

随后，基于所述马尔科夫链状态转移概率表达式，根据安全中断概率和连接成功概率表达式，建立优化模型，获得在满足安全中断概率约束的条件下最小化平均时延的多跳传输策略，其优化模型的形式如下：

其中，目标函数定义为平均时延，i表示第i次状态转移，表示在第i次状态转移后的已解码节点集合，e[·]为数学期望，c(·)表示状态转移过程中的代价；第一个约束条件为保密性约束，表示整条路由的安全中断概率，平均安全中断概率的阈值为∈；第二个约束条件为时延约束，目标节点解码消息时的时延为0，否则时延为1；第三个约束为策略约束，集合表示在没有安全中断概率约束的情况下的所有可能策略集。

根据离散马尔科夫链模型中对于窃听的表述，在路由选择策略a(·)下，将无线体域网的安全中断概率h^a(·)(x0)重新定义为如下形式：

其中，

在式(11)中，x0代表初始状态，xi代表第i次状态转移后的状态，δ(·)代表在马尔科夫链模型中安全中断的定义，ω(·)表示在某一状态下保密消息是否被窃听，若未被窃听其值为0，否则其值为1；

根据新定义的安全中断概率的表达式，优化模型进一步转化为：

上述步骤s4中，利用拉格朗日乘子法将有约束的优化问题转化为无约束的优化问题：

其中，

表示目标函数；

表示安全中断概率约束，λ是拉格朗日乘子；

对于给定的λ，将选取动作a时状态x转移到状态y的时延成本函数重新定义为：

其中，c(·)表示原成本函数，δ(·)表示安全中断函数；

相应的，在策略a(·)下给定λ的无约束目标函数表达式如下：

上述步骤s5中，根据贝尔曼优化理论中的价值迭代，获得贝尔曼方程如下：

其中，γ∈[0,1)是贝尔曼方程中的折扣因子，表示状态x的邻居状态集合y代表邻居状态，a^*(·)表示最优的路由选择策略；

最后，提出采用改进的实时动态规划方法来求解无线体域网时延最小的安全路由选择问题，步骤如下：

(1)随机产生一个无线体域网拓扑，计算出节点间的距离，根据式(2)和式(4)计算出安全中断概率和连接成功概率，并且初始化所有状态值的上限v；

(2)初始化s为初始状态,此时已解码节点只有源节点且保密消息未被窃听；

(3)根据贝尔曼方程，以概率1-θ选取状态s的最佳动作a；概率θ随机选取状态s的动作集合a(s)中的其他动作；

(4)执行选取的动作，依据状态转移概率随机选择一个状态s'，重做步骤(3)，直到s'为吸收状态，转步骤(5)。

(5)根据贝尔曼方程，回溯更新从初始状态到吸收状态转移过程中每一状态值v；

(6)重复步骤(2)至(5)，直到初始状态值v(s0)与上一次探索试验的差小于阈值τ，则停止运行，并且返回最佳调度策略。

本发明的基于马尔科夫链的无线体域网低时延传输调度方法，适用于无线体域网。在该网络中具有l个合法节点，合法节点集合用表示。合法节点之间能够共享和转发消息。同时存在一个窃听者会窃听保密消息。所有的节点都工作在半双工的模式下，并且以相同地发送信噪比对保密消息进行传输。在此考虑多跳通信，在每一跳中所有的合法节点都尝试对保密消息解码。当目标节点解码消息时，则停止传输过程。在初始化阶段，节点获取节点之间的参数包括邻居节点的信息，通过hello包交互获取邻居节点的位置信息，节点通过邻居节点的位置信息可以计算得到与邻居节点之间的距离，以及交换彼此的操作权限信息。

在无线体域网中，将体内信道(即主信道)建模为对数正态衰落信道，因此主信道的接收信噪比(snr)服从对数正态分布；将体外信道(即窃听信道)建模为瑞利衰落信道，因此窃听信道的snr服从指数分布。

基于无线体域网的信道特点，在节点之间交换信息可获得相邻节点之间的距离后，根据式(2)和(4)可以计算出任意发射节点发送消息后，链路的安全中断概率和连接成功概率。在式(4)中，从合法发送节点到接收节点之间的信道接收信噪比服从均值为3.38且标准差为2.8的对数正态分布。

随后，可以根据式(9)马尔科夫链的状态转移概率，可以获得在x状态下，选择a作为发送节点时，转移到邻居状态y的状态转移概率。然后，根据新的安全中断概率的定义式(12)，优化模型重写如下：

在本发明中，目标是获得时延最小的安全路由。在此，时延由跳数来表征，经过一跳则时延为1。

为了简化求解所述的优化模型，运用拉格朗日乘子法将有约束的优化问题转化为无约束的优化问题。对于给定的拉格朗日乘子λ，将时延成本函数重新定义为

相应的给定λ的无约束目标函数表达式如下，

随后，根据贝尔曼优化理论中的价值迭代，获得贝尔曼方程如下：

其中，γ∈[0,1)是贝尔曼方程中的折扣因子，其值越大则表明策略更加注重长远利益。表示状态x的邻居状态集合。

最后，提出采用改进的实时动态规划方法来求解无线体域网时延最小的安全路由选择问题，步骤如下：

1)随机产生一个无线体域网拓扑，计算出节点间的距离，根据式(2)和式(4)计算出安全中断概率和连接成功概率，并且初始化所有状态值的上限v；

2)初始化s为初始状态,此时已解码节点只有源节点且保密消息未被窃听；

3)根据贝尔曼方程式(21)，贪婪地选择动作(根据式(21)对于可选择的动作集合d(x)中遍历所有的动作，选取代价最小的作为最佳的动作，因此是贪婪的选择动作。)，计算选择不同动作的状态值变化，并且选取使状态值最小的动作确定为最佳动作，然后以概率1-θ选取状态s的最佳动作a；概率θ随机选取状态s的动作集合a(s)中的其他动作；

4)执行选取的动作，在该状态的邻居状态中，依据状态转移概率随机选择一个状态s'作为下一状态，重做3)，直到s'为吸收状态，转步骤5)。

5)根据贝尔曼方程，回溯更新从初始状态到吸收状态转移过程中每一状态值v；

6)重复步骤2)至5)，直到初始状态值v(s0)与上一次探索试验的差小于阈值τ，则停止运行，并且返回最佳调度策略。

如图2所示，存在一个体外窃听者的无线体域网示意图。右脚脚踝处是一个中心节点用于收集数据信息，并且对信息进行简单处理后转发到互联网。其他五个节点为传感器节点，用于收集信息，发送给中心节点。体外存在一个窃听者，窃听合法节点之间共享的消息。在本发明中，以头部的传感器节点作为源节点，右脚脚踝处的中心节点作为目标节点，寻找保密消息从源节点发送到目标节点的最小时延路由。图4是一个100×100的仿真区域，(0,0)处的1是源节点，(100,100)处的6是目标节点，*点为窃听者，其他节点都是合法的传感器节点。在仿真中，设置路径损耗指数α＝3.5，单位发送信噪比ρ＝10db，安全中断概率阈值∈＝10^-2。

由于消息在传输过程中，状态转移是随机的，图3是就是某一状态转移过程。在图中的集合中，第一位的0或者1用于表示在该状态下消息是否被窃听，随后的数字表示在该状态下已经解码消息的节点编号。其中s0＝{0,1}为初始状态，已解码消息的节点只有源节点(节点1)且此状态下消息未被窃听者窃听。初始状态选择源节点1为发送节点，下一随机状态为s1＝{0,1,3}，该状态未被窃听且已经解码保密消息的节点有1和3。依据贝尔曼方程此状态下最佳的发送节点为节点3。随后，下一状态为s2＝{0,1,3，5}，此状态的最佳发送节点为5。最后转移到吸收状态s3＝{1,1,3,4,5,2,6}，此时目标节点(节点6)已经解码消息，且此状态下消息已经被窃听者窃听。图4是在图3的状态转移过程中最佳策略下的路由1→3→5→6。

以上对本发明的主要特征和具体实施例进行了具体且详细的描述，但是本发明不受上述实施例的限制，这也只是一种可行的实施方式。本领域的科研人员可以根据本发明的思想，对实施例进行改进或者变型，这些变型和改进都落入要求保护的本发明范围内。