一种基于增强学习算法的无线体域网数据传输方法与流程

本发明涉及一种利用增强学习算法解决无线体域网数据传输问题的方法，用于利用无线体域网进行监控的医疗保健领域，为保障监控中心所收到数据的准确性提供一种方法。

背景技术：

国家统计局第六次人口普查结果显示，我国60岁及以上人口占13.26％，比第五次人口普查上升2.93％。在60岁及以上的老人中，健康的老人所占比例为44％，基本健康的老人占39％，不健康但能自理的老人占14％，不能自理的老人占3％。由此可见，56％的老人需要时刻被关注着身体的状况。即使对于目前健康的44％的老人，他们的身体也可能发生病变。另外，根据国家统计局2004年至2014年的人口抽样调查结果(尚未公布2015年的调查结果)，60岁、80岁以及90岁以上人口的比例在不断上升。由此可见，社会的老龄化加速。对于老年人来说，他们的健康状况更值得关注。随着年龄的增长，老年人身体的很多机能开始衰弱，抵抗力也越来越差。很多老人患有高血压、高血糖、冠心病等疾病。老年人的健康对子女来说是件重中之重的事情。但是，身为子女的我们需要工作和生活，不可能一直陪伴在老人的身边。父母的健康往往成为子女最为牵挂的事情。尤其对于独居老人，他们的健康状况更是令人担忧，有的地方甚至出现老年人在家中死亡多日才被发现的悲剧。因此，需要一种技术来远程监测老年人的健康状况。另外，对于医院的病人，也需要这样一种技术来使医护人员随时监测他们的身体状况、了解他们的需求。

针对上述问题，一种新兴的网络技术已经出现——无线体域网。无线体域网可对人体的健康状况进行持续监测。将传感设备放置在人体的体表或体内，对血压、血糖和脉搏等体征数据进行采集并传输至汇聚节点。汇聚节点最终将数据发送至医院监控中心、亲人的手机或者社区服务中心。在无线体域网中，由于传感器节点附着于人体，人的移动或者姿势的变化都会引起网络拓扑发生变化。另外，对于无线体域网中的传感器节点，尤其是体内节点，不易补充能量。节点能量耗尽则会造成链路失效，亦会引起网络拓扑的变化。不稳定的网络拓扑容易造成数据包的丢失。而在无线体域网中，传感器节点的部署不具备冗余性，这就要求每个数据包都要可靠传输。丢包会引起采集数据的不准确，进而影响对人体的监测效果，更有甚者，会危及人的生命。因此，对于无线体域网，如何在有效利用能量的同时将数据可靠地传输至汇聚节点成为关键。

无线体域网中已有的数据传输方法存在如下问题：(1)关于无线体域网的数据传输方法，已有的方案主要分为单跳传输和多跳传输两类。然而，这两种方案均存在弊端。对于第一种方案，传感器节点将采集到的数据直接发送给汇聚节点。如果传感器节点距离汇聚节点较远，单跳传输方式则会消耗较多的能量。另外，随着人体的移动或者姿势的变化，节点与汇聚节点之间的信道状态经常发生变化。如果传感器节点与汇聚节点之间的信道状态较差，直接将数据发给汇聚节点则会造成数据包的丢失。对于第二种方案，每个传感器节点采集到数据时，均通过多个节点的转发将数据发送至汇聚节点。毕竟无线体域网的规模不大，如果单纯采用多跳传输方式，势必会带来不必要的数据转发，这将会带来延迟和更多的能量消耗。(2)已有的数据传输方案中没有考虑节点的异构性。无线体域网络中节点存在异构性，主要体现在：各节点能量水平不同，所处位置不同，补充能量的难易程度不同，对体内节点补充能量相当困难；各节点采集的数据业务不同，具有不同的重要性；各节点的工作量不同，有些需要持续监测数据，而有些只需要在很短的时间内采集数据。

技术实现要素：

本发明的目的是针对已有的无线体域网数据传输方法中存在的问题，提供一种高效的数据传输方法，以实现在有效利用能量的前提下将数据从源节点可靠地传输至汇聚节点。

为了达到上述目的，本发明的技术方案是提供了一种基于增强学习算法的无线体域网数据传输方法，其特征在于，包括以下步骤：

步骤1、针对无线体域网中传感节点的能量水平、数据业务和工作量不同这一异构性特点，将节点划分为不同的等级。根据传感节点的部署位置划分等级A，体表节点的等级较高，尽量使用体表节点转发数据；根据节点的重要性划分等级B，重要节点的等级较低，使重要节点少承担转发任务；根据节点的工作量划分等级C，很短时间即可完成采集任务的节点的等级较高，使这类节点多承担转发任务。

步骤2、当前传感器节点采集到数据后，判断与汇聚节点之间的信道状态，若信道状态良好，则当前传感器节点直接将数据发送给汇聚节点，本次数据传输结束；否则，进入步骤3；

步骤3、将当前传感器节点作为源节点；

步骤4、利用增强学习算法为源节点选择通向汇聚节点的中继节点；

步骤5、数据到达步骤4所选择的中继节点后，判断当前中继节点与汇聚节点之间的信道状态，若信道状态良好，则当前中继节点直接将数据发送给汇聚节点，本次数据传输结束；否则，将当前中继节点作为源节点，返回步骤4。

优选地，在所述步骤2或所述步骤5中，利用马尔可夫信道模型判断当前传感器节点或当前中继节点与汇聚节点之间的信道状态。

优选地，所述当前传感器节点或所述当前中继节点发送数据时均以数据报文的形式进行发送，将发送数据的所述当前传感器节点或所述当前中继节点定义为发送节点，则数据报文的字段包括发送节点的位置、发送节点的剩余能量、发送节点至汇聚节点的最优路径的质量、下一跳节点的标识以及负载数据。

优选地，在所述步骤5中，当前中继节点侦听到发送过来的数据报文时，首先提取数据报文中的信息，将有关发送节点的信息插入或更新到本地邻居表中，然后，当前中继节点判断自身是否是数据报文中所指示的下一跳节点，如果不是，则直接丢弃数据报文；否则，判断当前中继节点与汇聚节点之间的信道状态，若信道状态良好，则当前中继节点直接将数据发送给汇聚节点，否则，将当前中继节点作为源节点，返回步骤4。

优选地，所述步骤4中利用增强学习算法为源节点选择通向汇聚节点的中继节点包括以下步骤：

步骤4.1、源节点计算通过每个邻居节点到达汇聚节点的路径的质量，选择路径质量最大的邻居节点作为下一跳节点，其中，源节点i通过相邻节点j到达汇聚节点的当前路径质量为Q_new(i，j)，则有：

Q_new(i，j)＝(1-α)Q_old(i，j)+α(L(i，j)+R_j)，式中，α为学习率，Q_old(i，j)为源节点i通过相邻节点j到达汇聚节点的路径质量历史值，L(i，j)为从源节点i到相邻节点j的直接链路质量，R_j为本地所存储的相邻节点j到汇聚节点的最优路径的质量；

步骤4.2、若源节点i选择相邻节点j作为下一跳转发节点，则更新R_i，R_i表示源节点i至汇聚节点的最优路径的质量：

R_i＝Q_new(i，j)；

步骤4.3、源节点i在将数据报文发送出去之前，更新数据报文，将自身的位置信息、剩余能量、当前所找到的至汇聚节点的最优路径的质量R_i和所选择的下一跳节点，即相邻节点j替换到数据报文的头部，然后，源节点i将更新后的数据报文发送出去。

优选地，所述L(i，j)通过以下公式计算得到：

式中，E_j代表节点j的剩余能量，A_j、B_j和C_j分别代表按照节点部署位置、节点重要性和节点工作量所划分的相邻节点j的等级，D_ij则代表源节点i到相邻节点j的距离。

本发明将无线体域网与人工智能领域相结合，为无线体域网提供了一种基于增强学习的混合式的数据传输方法，可以实现在有效利用能量的同时将数据从源节点可靠地传输至汇聚节点，进而保障监控中心所收信息的准确性，为数据分析奠定基础，从而可以有效地预防疾病并及时抢救突发状况。本发明中的方案可以用来构建健康平台、实时监测人体的健康状况，还可应用于军事演习、体育训练、娱乐共享等其它多个领域。

附图说明

图1为传感器节点采集到数据时的数据传输流程图；

图2为传感器节点侦听到数据时的数据传输流程图；

图3为利用增强学习算法选择中继节点的流程图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明涉及两种类型的节点，一种是传感器节点，一种是汇聚节点。将传感器节点部署在人体的脚踝、腿部、手腕和手臂等处，对血压、血糖和脉搏等体征数据进行采集并传输至汇聚节点。本发明中以手机作为汇聚节点，汇聚节点最终通过外网将数据发送至监控中心。针对无线体域网内部的数据传输问题，本发明提出一种基于增强学习算法的数据传输方法，具体包括如下步骤：

(1)将节点划分为不同的等级。在无线体域网中，传感器节点存在异构性：各节点能量水平不同，所处位置不同致使补充能量的难易程度不同，对体内节点补充能量相当困难；各节点采集的数据业务不同，包含心电图、血压和血氧等，具有不同的重要性；各节点的工作量不同，有些需要持续监测数据，例如：心电图节点需要一天或几天连续监测心电图的动态状况，而有些只需要在很短的时间内采集数据，例如：血氧节点在很短的时间即可完成常规的血氧检查。针对节点异构性这一特点，本发明建立等级划分机制。根据传感节点的部署位置划分等级A，体表节点的等级较高，尽量使用体表节点转发数据；根据节点的重要性划分等级B，重要节点的等级较低，使重要节点少承担转发任务；根据节点的工作量划分等级C，很短时间即可完成采集任务的节点的等级较高，使这类节点多承担转发任务。

(2)根据马尔可夫信道模型判断当前节点与汇聚节点之间的信道状态。无线体域网中常用的信道模型为路径损耗模型和功率延迟分布模型，前者用来描述信号传输过程中的功率损耗，后者用来刻画多径信道的特性。但是，这两种模型缺乏对信道动态变化特性的实时描述。针对这一问题，本发明采用IEEE 802.15.6工作组在无线体域网信道建模文档提出的方案，使用马尔可夫信道模型。该模型基于有限状态的马尔可夫过程，可以根据历史信道状态变动的规律，推测未来信道状态变动的趋势。因此，该模型可以表征信道的动态变化。具体建模过程如下：

(2.1)将无线体域网的信道分为好状态和坏状态两种状态，在好状态下，可以成功传输数据。

(2.2)使用业内普遍认可的两状态马尔可夫信道模型，其状态转移矩阵P如下：

式(1)中，状态集合S＝{0，1}，0表示坏状态，1表示好状态；P_ij表示信道由i状态转为j状态的概率，满足式(2)条件：

设S₀为节点与汇聚节点之间的信道的初始状态变量，则经历n时刻后，该信道为好状态的概率p(n)为：

(2.3)测试人体在行走、静止和起蹲等不同姿势下的数据传输情况；

(2.4)根据这些实测数据对以上马尔可夫模型进行拟合，进而可以根据公式(1)-公式(3)预测任何时刻下节点与汇聚节点之间的信道状态。

(3)在步骤(1)和步骤(2)的基础上，本发明所涉及的数据传输流程如图1-图3所示。

(3.1)如图1所示，当节点采集到数据时，首先根据步骤(2)中的信道模型判断当前节点与汇聚节点之间的信道状态。如果两者之间的信道状态良好，则将数据直接发送给汇聚节点；否则，利用增强学习算法选择中继节点进行数据转发，具体过程见步骤(3.3)。另外，需要说明的是，在发送数据时均以报文的形式进行发送，数据报文的字段包括发送节点的位置、发送节点的剩余能量、发送节点至Sink节点的最优路径的质量、下一跳节点的标识以及负载数据。其中下一跳节点用于指明由哪个节点进行转发。

(3.2)如图2所示，当节点侦听到其它节点发送过来的数据报文时，首先提取报文中的信息，将有关发送节点的信息插入或更新到本地邻居表中。通过这一举措，节点可以在传输数据的过程中不断地获得邻居节点的最新信息。然后，当前节点判断自身是否是报文中所指示的下一跳节点，如果不是，则直接丢弃数据报文；否则，根据步骤(2)的信道模型判断自身与汇聚节点之间的信道状态，如果状态良好，则将数据直接发送给汇聚节点；否则，利用增强学习算法选择中继节点进行数据转发，具体过程见步骤(3.3)。

(3.3)如图3所示，当需要中继节点进行数据转发时，利用增强学习算法选择路由路径。将当前节点到汇聚节点的路径选择过程作为一个增强学习任务，并将该任务描述为一个马尔可夫决策过程MDP(S；A；P；R)，其中S是所有可能的状态集合，A是可能的动作集合，P代表的是状态转移的概率，R是从环境中获得的反馈值。代理在状态s_i采取动作a_i，则会收到环境的一个立即反馈值r_i。一个马尔可夫决策过程则是由这一系列动作s_i、状态a_i和立即反馈值r_i所组成的集合。

(3.3.1)当前节点按照公式(4)计算每个邻居节点相对应的Q值，选择Q值最大的节点作为下一跳节点。

Q_new(i，j)＝(1-α)Q_old(i，j)+α(L(i，j)+R_j) (4)

式(4)中，Q_new(i，j)代表当前节点i通过候选节点j到达汇聚节点的路径质量的当前值，Q_old(i，j)则为历史值；α是一常量，代表学习率，这一因子决定了历史信息和当前信息两部分的权重。如果人体姿势变化较为频繁，则当前信息占较高的权重。反之，如果监测的是卧床病人，则历史信息占较高的权重。本发明综合考虑两方面的因素，α取值为0.5；R_j代表本地所存储的节点j到汇聚节点的最优路径的质量；L(i，j)代表从节点i到节点j的直接链路质量，可通过公式(5)计算。

式(5)中，E_j代表节点j的剩余能量，A_j、B_j和C_j分别代表按照节点部署位置、节点重要性和节点工作量所划分的节点j的等级(详见步骤1所述)，D_ij则代表节点i到节点j的距离。

(3.3.2)若当前节点i选择节点j作为下一跳转发节点，则按照公式(6)更新自身的R_i值。

R_i＝Q_new(i，j) (6)

式(6)中，R_i表示当前所找到的节点i至汇聚节点的最优路径的质量。公式(6)表明，此刻，当前节点i至汇聚节点的最优路径则是通过节点.j到达汇聚节点。

(3.3.3)当前节点i在将报文发送出去之前，更新数据报文，将自身的位置信息、剩余能量、当前所找到的至汇聚节点的最优路径的质量R_i和所选择的下一跳节点j替换到数据报文的头部。然后，节点i将更新后的数据报文发送出去。通过这种方式，节点在发送数据报文的过程中捎带了反馈值R，这就节省了发送控制报文的能量开销。

(3.3.4)当下一跳节点j侦听到数据报文时，按照步骤(3.2)进行。直到数据报文抵达汇聚节点，一次数据传输过程结束。本发明通过这样一个学习过程来不断地优化路径选择，并且在传输数据报文时携带了反馈值R，通过这种方式节省了发送控制报文的能量开销。