一种基于Sarsa算法和蚁群优化的路由控制算法
【技术领域】
[0002]本发明属于计算机算法领域，更具体地说，本发明涉及一种基于Sarsa算法和蚁 群优化的路由控制算法。
【背景技术】
[0003]随着无线通信技术、微电子技术、物联网技术和云计算技术的进一步发展和普及， 出现了大量由成本低廉、部署简单、体积较小和维护方便的传感器节点通过无线自组织的 方式构成监测网络，实现对特定监测区域的全面感知和实时监控，目前已经在医疗卫生、家 居安防、国防军工W及环境生态等领域获得广泛的应用。由于监测网络中的传感器往往通 过电池供电，因此，如何利用有限的能量资源来进一步减少节点能耗和延长网络生命周期， 是目前监测网络研究的重点和热点。目前已有的无线传感器路由算法主要是基于（C/S) 模型，存在着网络延迟长、能量消耗大和负载不均衡等缺陷。
【发明内容】
[0004]本发明所要解决的问题是提供一种对应的总路径长度少的一种基于Sarsa算法 和蚁群优化的路由控制算法。
[0005]为了实现上述目的，本发明采取的技术方案为： 一种基于Sarsa算法和蚁群优化的路由控制算法，包括如下步骤： (1) 初始化：设蚁巢的妈蚁数为以蚁巢初始化为发送数据节点，监测网络中的所有节 点集为Vs,状态动作空间XXU，存在（x，u)GXXU，Q。（x，u)= 0,初始信息素为XU(t) =C，权重调节参数k和h1，调节系数a和目，当前情节数t，情节总数T，最大迭代次数 S，当前迭代次数S; (2) 蚁巢中的L只妈蚁从蚁巢开始出发，s=l; (3) 根据公式，排除兀余节点，并计算出概率，并根据概率选择下一访问节点； (4) Agent从蚁巢出发，根据算法对路径的信息素进行更新； (5) 妈蚁经过某个节点时，根据公式对路径上的信息素进行加强或衰减； (6) s=s+l，判断是否达到迭代次数S，如果达到，则对于若干条最优路径，计算对 应的适应度，将具有最大适应度的路径作为发送数据节点到Sink节点的最优路径；否则转 入步骤2继续执行。
[0006]优选的，所述步骤（3)公式计算节点的距离，公式为：
【主权项】
1. 一种基于Sarsa算法和蚁群优化的路由控制算法，其特征在于，包括如下步骤： (1) 初始化：设蚁巢的蚂蚁数为L，蚁巢初始化为发送数据节点，监测网络中的所有节 点集为Vs，状态动作空间XXU，存在（x，u)GXXU& (x，u)= 0,初始信息素为ti」（t) =C，权重调节参数k和hi，调节系数a和0，当前情节数t，情节总数T，最大迭代次数 S,当前迭代次数s; (2) 蚁巢中的L只蚂蚁从蚁巢开始出发，s=l; (3) 根据公式，排除冗余节点，并计算出概率，并根据概率选择下一访问节点； (4)Agent从蚁巢出发，根据算法对路径的信息素进行更新； (5) 蚂蚁经过某个节点时，根据公式对路径上的信息素进行加强或衰减； (6) s=s+l，判断是否达到迭代次数S，如果达到，则对于若干条最优路径，计算对 应的适应度，将具有最大适应度的路径作为发送数据节点到Sink节点的最优路径；否则转 入步骤2继续执行。
2. 按照权利要求1所述的一种基于Sarsa算法和蚁群优化的路由控制算法，其特征在 于：所述步骤（3)公式计算节点的距离，公式为：
其中：k为权重调节参数，r(i，j)为大于等于0并小 于等于1的数，网络冗余度阈值可以设置为：
n 为节点总数，4为权重调整参数，扫描节点i，并计算其与所有邻居节点的r(i，j)值。
3. 按照权利要求2所述的一种基于Sarsa算法和蚁群优化的路由控制算法，其特征在 于：所述r(i，j)值与Ai进行比较，r(i，j)〈AJU将节点i和j都加入新节点集合Vs'。
4. 按照权利要求1所述的一种基于Sarsa算法和蚁群优化的路由控制算法，其特征在 于：所述步骤（4)中路径的信息素进行更新的算法包括如下步骤： a. 初始化：状态空间X为所有节点位置，动作空间U为一个节点到另一个节点的迁移， 状态动作空间XXU，存在（x，u)GXXKQ^ (x，u)=，当前情节数t，情节总数T; b. t=0,第一个情节的当前状态为x; c. 根据公式选择动作u，Agent采取动作u，获得后续状态X'和立即奖赏r; d. 在状态x'下，重新确定的行为策略选择动作u'； e?计算Agent在（x，u)处的Q值； f. 更新路径ij(x,x'）上的信息素Tij(t); g. 将下一个状态赋给当前状态x-x'，将下一个动作赋 给当前动作U-U'； h. t=t+l，如果达到最大情节数，则算法结束；否则转入（b)继续执行。
5. 按照权利要求4所述的一种基于Sarsa算法和蚁群优化的路由控制算法，其特征在 于：所述步骤（e)中Q值的计算公式为： Q(j- -a).......Qia.n)-f-a^ / "i-yQij:\u) -Q( .r.u) )〇
6.按照权利要求4所述的一种基于Sarsa算法和蚁群优化的路由控制算法，其特征在 于：所述步骤（f)信息素tij(t)更新为r,+.i/} -t.jn+Qt-r.u)。
【专利摘要】本发明公开了一种基于Sarsa算法和蚁群优化的路由控制算法,该方法采用Sarsa算法和蚁群优化相结合的路由控制机制，使得路径寻找的过程中更趋向于全局最优解，从而使对应的总路径长度较短，而且该方法在选择下一个访问节点时，考虑了节点的剩余能量因素，并且在Sarsa算法还是在蚁群算法寻求最优路径的过程中，都充分考虑了能量因素，所以该算法具有较小的总能耗。
【IPC分类】H04L12-701, H04W40-02
【公开号】CN104702497
【申请号】CN201510091076
【发明人】肖守柏
【申请人】江西科技学院
【公开日】2015年6月10日
【申请日】2015年3月1日